'

Семинар «Методологические основы оценки качества образования»

Понравилась презентация – покажи это...





Слайд 0

Методологические проблемы разработки инструментария для оценки качества образования в начальной школе и интерпретации результатов Ковалева Г.С. Семинар «Методологические основы оценки качества образования»


Слайд 1

Содержание Основные подходы к оценке качества начального образования в соответствии с ФГОС Проблемы разработки инструментария для оценки качества начального образования Проблемы интерпретации результатов оценочных процедур Направления дальнейших разработок Вопросы для обсуждения 2


Слайд 2

Участники проекта Институты РАО: Институт стратегических исследований в образовании; Институт содержания и методов обучения; Институт управления образованием Федеральный институт развития образования Московский центр качества образования Центр измерений в образовании издательства «Просвещения» Системы образования 16 субъектов РФ (Иркутская обл., Калининградская обл., Краснодарский край, Красноярский край, Ленинградская обл., г. Москва, Московская обл., Новосибирская обл., Омская обл., Республика Саха, Самарская обл., Тамбовская обл., Томская обл., Хабаровский край,, Челябинская обл., Ярославская обл.) Студенты магистратуры «Измерения в психологии и образовании» НИУ ВШЭ Отдельные специалисты-эксперты


Слайд 3

Основные подходы к оценке качества начального образования в соответствии с ФГОС 4


Слайд 4

Актуальные направления оценки качества начального образования в РФ 1. Проведение внешней (независимой) оценки качества начального образования в образовательном учреждении с целью получения достоверной информации об индивидуальных достижениях выпускников начальной школы образовательного учреждения для широкого круга задач (аккредитации ОУ, аттестации педагогических кадров, получения информации об обеспечении гарантий граждан по обеспечению равного доступа всех обучающихся в данном образовательном учреждении к качественному образованию и др.). 2. Проведение внешней (независимой) оценки качества начального образования на различных уровнях (муниципальном, региональном, национальном) с целью получения достоверной информации о состоянии системы начального образования и тенденциях ее изменения, а также факторах, влияющих на качество начального образования для управления качеством образования (мониторинговые исследования). 5


Слайд 5

Внутренняя оценка: учитель, ученик, ОУ и родители Внешняя оценка: государственные службы аккредитация ОУ аттестация кадров мониторинг системы образования чтение, УУД русский математика три итоговые работы итоговая оценка + накопленная оценка Выборочное обследование работ учащихся Необходимые дополнительные данные/исслед. Система оценки качества образования в начальной школе в соответствии с ФГОС 6


Слайд 6

Задачи, реализуемые в ходе процедур оценки качества образования по двум направлениям - Разработка стандартизированных измерительных и инструктивно-методических материалов для оценки индивидуальных достижений обучающихся в соответствии с требованиями ФГОС (2 комплекта) - Организационное и технологическое обеспечение проведения процедур ОКО; - Проведение обследований в образовательных учреждениях; - Обеспечение достоверности получаемой информации об индивидуальных достижениях выпускников начальной школы; - Подготовка специалистов для проведения процедур ОКО; - Обработка и анализ результатов ОКО; Формирование базы данных результатов ОКО; Информационное обеспечение процедур ОКО; Представление результатов ОКО для возможного их использования различными пользователями; Организация обсуждений результатов ОКО с представителями различных групп пользователей. 7


Слайд 7

Требования ФГОС овладение системой учебных действий с изучаемым материалом личностных: самоопределение смыслообразование морально-этическая ориентация метапредметных: регулятивные коммуникативные познавательные предметных: освоение, преобразование и применение знаний на основе имеющихся знаний и познавательных учебных действий


Слайд 8

Оценка индивидуальных достижений обучающихся планируемые результаты освоения образовательной программы начального образования (раздел «Выпускник научится»). Оценка состояния системы начального образования планируемые результаты освоения образовательной программы начального образования (разделы «Выпускник научится» «Выпускник получит возможность научиться»), а также требования ФГОС к условиях реализации основной образовательной программы начального образования. Содержательная и критериальная основа оценки качества начального образования 9


Слайд 9

Выпускник, педагог, ОУ; Чему учить система образования: система образования, ОУ Ради чего учить и научить Планируемые результаты и оценка их достижения: сферы ответственности


Слайд 10

ЧАСТЬ 1 Особенности системы оценки достижения планируемых результатов Измерительные материалы для итоговой оценки Общие подходы Русский язык Математика Итоговые комплексные работы на межпредметной основе Литературное чтение Технология Физическая культура ЧАСТЬ 2 Иностранный язык (английский) Окружающий мир Изобразительное искусство Музыка ЧАСТЬ 3 Оценка достижения планируемых результатов


Слайд 11

Показатели качества начального образования Группа 1: распределение обучающихся по уровням освоения основной образовательной программы начального общего образования по математике, русскому языку, окружающему миру, личностным и метапредметным результатам (для всех обучающихся и отдельных групп); Группа 2: распределение обучающихся по качеству (структуре) освоения основной образовательной программы начального общего образования (профили обучающихся по выделенным планируемым результатам, элементам содержания, способам действий или компетенциям для всех обучающихся и отдельных групп); 12


Слайд 12

Показатели качества начального образования Группа 3: распределение обучающихся по уровням сформированности учебной мотивации по отдельным предметам (для всех обучающихся и отдельных групп); Группа 4: распределение обучающихся по уровням готовности к обучению в основной школе (для всех обучающихся и отдельных групп). 13


Слайд 13

Оценка индивидуальных достижений обучающихся (все выпускники ОУ) 1. КИМ для оценки предметных результатов (математика, русский язык, окружающий мир) 2. КИМ для оценки метапредметных результатов (учебные компетенции: работа с информацией, регулятивные и коммуникативные умения) 3. Инструктивно-методические материалы (Регламенты, Положения, Методические рекомендации по использованию результатов и др.) Оценка состояния системы начального образования (выборочная совокупность) 1. КИМ для оценки предметных результатов (математика, русский язык, окружающий мир) 2. КИМ для оценки метапредметных результатов (учебные компетенции: работа с информацией, регулятивные и коммуникативные умения) 3. КИМ для оценки личностных результатов (самоидентификация, смыслообразование, этические и моральные нормы) 4. Инструктивно-методические материалы (Регламенты, Положения, Методические рекомендации по использованию результатов и др.) 5. Инструментарий для сбора контекстной информации (анкеты для учащихся, учителей, родителей, администрации ОУ) Состав инструментария оценки качества начального образования 14


Слайд 14

В ходе проекта ФЦПРО (2011-2013 годы) «ДОРАБОТКА, АПРОБАЦИЯ И ВНЕДРЕНИЕ ИНСТРУМЕНТАРИЯ И ПРОЦЕДУР ОЦЕНКИ КАЧЕСТВА НАЧАЛЬНОГО ОБЩЕГО ОБРАЗОВАНИЯ В СООТВЕТСТВИИ С ФЕДЕРАЛЬНЫМИ ГОСУДАРСТВЕННЫМИ ОБРАЗОВАТЕЛЬНЫМИ СТАНДАРТАМИ» разрабатываются: - Регламенты проведения оценки качества начального образования на различных уровнях (муниципальных, региональных, национальном, на уровне ОУ). - Положения о проведении оценки качества начального образования на различных уровнях (муниципальных, региональных, национальном, на уровне ОУ). - Комплекты измерительных материалов для оценки качества начального образования в обозначенных выше областях с инструктивно-методическими материалами. - Система обработки и анализа данных. - Рекомендации по интерпретации и использованию результатов оценки качества начального образования на различных уровнях (муниципальных, региональных, национальном, на уровне ОУ). 15


Слайд 15

Проблемы разработки инструментария для оценки качества начального образования 16


Слайд 16

Общий алгоритм разработки инструментария Требования ФГОС Планируемые результаты Кодификатор Спецификация Демоверсии Процедуры


Слайд 17

Оценка индивидуальных достижений обучающихся Время выполнения: 45 мин. Структура: псевдо-параллельная (за заданиями базового уровня следуют задания повышенного уровня) Варианты независимые или связанные якорными заданиями Теория измерения: классическая теория тестов (+IRT) Преобладает критериально-ориентированная оценка Возможность выделения уровней достижения планируемых результатов Оценка состояния системы начального образования Время выполнения: 90 мин. Структура: блочная (нет строгого правила расположения заданий базового и повышенного уровней ) Варианты связаны повторяющимися блоками (возможность построения единой шкалы и выявления тенденций) Теория измерения: классическая теория тестов и IRT Преобладает нормативно-ориентированная оценка Возможность выделения уровней достижения планируемых результатов, построения профилей овладения планируемыми результатами (по содержанию и видам деятельности) Особенности измерительных материалов (на примере оценки предметных результатов) 18


Слайд 18

Окружающий мир. Кодификаторы Перечень умений, характеризующий достижение планируемых результатов Оценка индивидуальных достижений: ПР по разделам курса, (блок «Выпускник научится») Оценка состояния системы. Структура: Овладение основными понятиями курса Познавательные действия (общелогические приемы познания) Методологические умения Информационно-коммуникационными умениями Блоки «Выпускник научится», «Выпускник получит возможность научиться», УУД, Чтение, работа с текстом Перечень элементов содержания. Основание – примерная программа по курсу «Окружающий мир» Разделы: «Человек и природа», «Человек и общество», «Правила безопасной жизни» Различия – кодификатор для оценки состояния системы НО включает дидактические единицы, выделенные курсивом


Слайд 19

Окружающий мир: Оценка индивидуальных достижений. Конструирование группы вариантов 1. Все варианты должны быть равноценны по сложности для обеспечения равных возможностей при получении учащимися индивидуальной оценки. 2. Каждый из вариантов должен удовлетворять требованиям к построению итоговой работы для выпускников начальной школы по предмету «Окружающий мир». 3. Вся серия вариантов должна обеспечивать проверку всех планируемых результатов, представленных в разделе 1 кодификатора. 4. Серия вариантов должна обеспечить проверку каждого планируемого результата как на базовом, так и на повышенном уровнях сложности. 5. Серия вариантов должна обеспечить проверку всех тем, представленных в разделе 2 кодификатора.


Слайд 20

Окружающий мир. Оценка индивидуальных достижений. Распределение по ПР и уровням сложности Анализ по двум направлениям: Индивидуальная оценка уровня достижения выпускником планируемых результатов обучения по предмету «Окружающий мир». Анализ достижения группой тестируемых всего спектра планируемых результатов по предмету «Окружающий мир».


Слайд 21

Выбор измерительного прибора Тимур увидел в московском магазине термометр, изображенных на рисунке. С какой целью можно использовать этот термометр? Измерить температуру кипящей воды в чайнике. Следить за температурой внутри квартиры. Изучить, как измеряли температуру в Древнем Египте во времена фараонов. Повесить за окно и в течение года измерять температуру воздуха на улице. Окружающий мир. Типология заданий. Методологические умения Показания прибора Утром Катя посмотрела на термометр, висящий за окном. Какому из советов должна последовать Катя на основании показаний термометра? На улице тепло, 22 градусов выше нуля. Можно собираться на речку купаться. На улице холодно больше 20 градусов мороза. Нужно одеться в зимнюю куртку и не забыть варежки. Погода солнечная, но прохладно. Температура чуть выше нуля. Термометр предупреждает, что погода в течение дня может испортиться и сильно похолодает.


Слайд 22

Определение гипотезы Сережа проводил опыт с поваренной солью и водой. Он бросал в стакан с водой по 1 чайной ложке соли и следил за временем до ее полного растворения. В таблице представлены результаты его опыта. Какое предположение проверял Сережа в своем опыте? Сколько соли растворяется в воде при разной температуре Чем выше температура воды, тем больше соли в ней растворяется. Как зависит время растворения соли от температуры воды Как зависит масса растворенной соли от температуры воды Окружающий мир. Типология заданий. Методологические умения Вывод Ксюша налила в стакан воды и бросила в воду комочек почвы. В воде от комочка вверх стали подниматься пузырьки. Какой вывод должна сделать Ксюша на основании своего опыта? Почва вскоре полностью раствориться в воде. В почве есть воздух, выделение которого и наблюдается в опыте. Песчинки, содержащиеся в почве, поднимаются вверх по мере нагревания воды. В почве есть вода перегной, который разлагается в воде.


Слайд 23

Окружающий мир. Типология заданий. Методологические умения Ход опыта. Для того чтобы продемонстрировать, что воздух при нагревании расширяется, учитель провел опыт, изображенный на рисунке. Воздух в колбе нагревали горелкой. Пузырьки воздуха выходила из трубочки в воду. Как нужно изменить этот опыт, чтобы показать, что при охлаждении воздух сжимается? Ответ: _________________________________________________ Каким образом в твоем опыте можно будет увидеть, что воздух сжимается? Ответ: __________________________________________________________ Ошибка в проведении опыта Маша проделала опыт, изучая условия прорастания семян. Она взяла два семечка подсолнуха. Одно семечко она положила во влажную салфетку на окно. Другое семечко в такой же влажной салфетке – в темный шкаф. На окне семечко не проросло, а в шкафу проросло. Маша сделала вывод, что семена подсолнуха прорастают только в темноте. Какую ошибку допустила Маша при проведении своего опыта? Ответ: ________________________________________________________


Слайд 24

Участники апробации 7 федеральных округов 16 субъектов РФ 628 школ(364 городских, 264 сельских) 43594 учащихся


Слайд 25

Общее количество школ


Слайд 26

Процентное соотношение школ по регионам


Слайд 27

Процентное соотношение сельских и городских школ


Слайд 28

Общее количество школ по региону в разрезе сельских и городских


Слайд 29

Процентное соотношение общего количества учащихся по регионам


Слайд 30

Первые итоги апробации: состав участников апробации


Слайд 31

Некоторые характеристики измерительных материалов (1)


Слайд 32

Особенности отбора содержания по окружающему миру Различные соотношения объемов учебного времени для разделов «Человек и природа» и «Человек и общество» в разных вариантах планирования курса. Объем понятийного аппарата сильно зависит от используемого учебно-методического комплекта. Влияние территориальных особенностей, включая особенности растительного и животного мира региона, особенности истории и жизни людей в регионе на выбор конкретных объектов для конструирования заданий


Слайд 33

Некоторые характеристики измерительных материалов (2) Математика 34


Слайд 34

Некоторые характеристики измерительных материалов (3) Русский язык 35


Слайд 35

Некоторые характеристики измерительных материалов (4) Окружающий мир 36


Слайд 36

Некоторые характеристики измерительных материалов (5) МА1 РУ1 ОМ1 37


Слайд 37

Некоторые замечания. Основания для их высказывания. «… Детям не хватает времени для неспешного выполнения заданий…» « … Исключить задания, требующие логического мышления (оно не развито у детей начальной школы) …» « … Не включать задания с текстами, на наблюдения, проведение исследований (трудно) …» « … Уменьшить число разных форм заданий (трудно переключаться) …» « … Ввести строку «Отмена ответов» …» 38


Слайд 38

Планируемыерезультаты. Кодификатор МЕТАПРЕДМЕТНЫЕ ДЕЙСТВИЯ регулятивные коммуникативные познавательные целеполагание речевые средства работа с инфор- мацией: поиск, запись, восприятие планирование способ действия контроль коррекция коммуникация при взаимодействии использование моделей, знаков и символов,схем логические опе- рации: анализ, синтез, сравнение, сериация, класси- фикация, обобще- ние, подведение под понятие, ана- логия, суждение чтение поиск инфор- мации преобра- зование, интерпре- тация инфор- мации оценка инфор- мации Оценка по результатам выполнения Оценка в процессе выполнения


Слайд 39

Проект спецификации и инструментария Комплексные работы на межпредметной основе: работа с текстом решение задач с использованием логических операций, моделей, знаково-символических средств, схем 1 урок 1 урок Работа в группе лист наблюдений лист продвижения по заданию презентация видеозапись листы самооценки материалы наблюдений работы учащихся


Слайд 40

Оценка метапредметных результатов: инструментарий для внутришкольного мониторинга качества образования (1)


Слайд 41

Оценка метапредметных результатов: инструментарий для внутришкольного мониторинга качества образования (2)


Слайд 42

Планируемые резуль-таты. Кодификатор ЛИЧНОСТНЫЕ ДЕЙСТВИЯ само- определение смысло- образование морально- этическая ориентация внутренняя позиция школьника: отношение к школе отношение к учебной деятельности образец “хорошего” ученика основы гражданской идентичности: Я – гражданин России Я и общее благополучие Я и другие (этнос) мотивационная основа и интересы: широта, выраженность, устойчивость мотивов устойчивость интереса к новому материалу и способам решения Знание норм Самооценка и рефлексия: ориентация на самооценку способность к самооценке Моральное сознание: дифференциация моральных и конвенциональных норм нравственная ориентация этические чувства эмпатия (сопереживание) Ценностные установки: здоровый образ жизни охрана природы чувство прекрасного ценность труда Я – школьник Я и другие Моральное сознание и нормы Ценностные установки Рефлексия


Слайд 43

Проект спецификации и инструментария здоровье, отношения, мотивы, интересы, поведение, прилежание, условия … БУКЛЕТ Я – школьник отношения, мотивы интересы ориентация на образец «хоро-шего» ученика Моральное сознание и нормы нормы и нравственная ориентация эмпатия Ценности здоровый образ жизни охрана природы чувство прекрасного ценность труда АНКЕТЫ Ученик, учитель, родители Лист самооценки Итоговые работы Я и другие: личностная самооценка Я – гражданин России Я и другие Я и общее благополучие 1 урок ?15-20 мин после итоговой работы ?30-45 мин


Слайд 44

Примерные типы заданий Личностная самооценка Методика Дембо-Рубинштейна


Слайд 45

Примерные типы заданий Отношения, мотивы, интересы Методика «Настроение»


Слайд 46

Примерные типы заданий Обоснование или Выбор и обоснование ценностного суждения М.Нестеров. Видение отроку Варфоломею З.Серебрякова. За завтраком К.Сомов. Арлекин и дама А.Пластов. Сенокос Д.Жилинский. У моря. Семья В.Попков. Шинель отца Б.Кустодиев. Купчиха за чаем В.Васнецов. Гусляры Ценностные установки, Я – хороший ученик Задание. Рассмотри предложенные тебе восемь незнакомых репродукций. Выбери из них три, которые, по твоему мнению, в большей степени отражают важные для любого человека вещи. Напиши, почему ты так думаешь.


Слайд 47

Проблемы представления и интерпретации результатов 48


Слайд 48

Основные пользователи результатов оценки качества начального образования Обучающиеся и их родители (законные представители); Органы законодательной и исполнительной власти; Ведомства (федерального и регионального подчинения), осуществляющие контрольные функции; Муниципальные органы управления образованием; Учредители образовательных учреждений; Образовательные и научные учреждения; Работодатели и их объединения; Общественные организации, заинтересованные в оценке качества образования; Средства массовой информации; Иные лица, заинтересованные в оценке качества образования. 49


Слайд 49

Показатели качества начального образования (группа 1) 50


Слайд 50

Показатели качества начального образования (группа 1) 51


Слайд 51

Показатели качества начального образования (группа 1) 52


Слайд 52

Показатели качества начального образования (группа 1) 53


Слайд 53

Показатели качества начального образования (группа 1) 54


Слайд 54

Распределение учащихся 5 класса по уровням математической подготовки в соответствии с ФГОС начальной школы 55


Слайд 55

Показатели качества начального образования (группа 2, структура овладения планируемыми результатами) 56


Слайд 56

Направления дальнейших разработок 1. Создание глоссария по оценке качества образования 2. Разработка инструментария для оценки личностных и метапредметных результатов для апробации в 20 регионах 3. Валидизация инструментария для оценки образовательных достижений (параллельное использование инструментария для оценки образовательных достижений, разработанных другими коллективами, например, SAM) начальной школы 4. Разработка инструментария для сбора контекстной информации


Слайд 57

Направления дальнейших разработок 5. Разработка механизмов обеспечения достоверности полученных результатов 6. Разработка инструментария для оценки педагогической компетентности учителей 7 . Проведение НИР в рамках магистерских программ ВШЭ (Исследование эффективных форм заданий для оценки индивидуальных достижений, Валидизация и интерпретация уровней индивидуальных достижений по различным предметным областям)


Слайд 58

Проблемы для обсуждения в профессиональном сообществе Введение единых норм определения уровней индивидуальных достижений по различным предметным областям Обеспечение оптимального соотношения между валидностью и надежностью измерения (форматы инструментария, технологичность проведения и обработки результатов)


Слайд 59

Проблемы для обсуждения в профессиональном сообществе 3. Расширение возможности федерального инструментария оценивать качество образования в ОУ со значительными различиями в образовательных достижениях? 4. Эффективные модели мониторинга качества образования (комплексный или ?, на выборочной или генеральной совокупности?) 5. Оценка качества начального образования в школах с нерусским языком обучения


Слайд 60

Спасибо за внимание! Ковалева Галина Сергеевна, руководитель отдела оценки качества образования Института содержания и методов обучения РАО Тел./факс: (499)-246-24-21 e-mail: centeroko@mail.ru сайты: www.centeroko.ru www.isio.ru 61


Слайд 61

Общее количество учащихся


×

HTML:





Ссылка: