'

Интерпретация и представление результатов ЕГЭ: проблемы и возможные решения.

Понравилась презентация – покажи это...





Слайд 0

Интерпретация и представление результатов ЕГЭ: проблемы и возможные решения. Семинар НИУ ВШЭ «Актуальные исследования и разработки в области образования» 21 января 2014 года Боченков С.А., эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары Вальдман И.А., директор Российского Тренингового центра ИУО РАО, зав. лабораторией ИУО РАО


Слайд 1

Важные вопросы Для каких целей возможно использовать результаты ЕГЭ, а для каких это делать неправомерно? Каковы особенности анализа и интерпретации результатов ЕГЭ для разных целей и групп пользователей? Что можно сказать на основании данных ЕГЭ о результатах работы учителя, школы, муниципалитета?


Слайд 2

Особенности национального интеллекта Дай россиянину в руки какие-нибудь данные и он проявит природную находчивость и придумает много самых разных способов их использования. А что вы хотели? Смекалка, однако!


Слайд 3

Некоторые примеры использования результатов ЕГЭ Итоговая аттестация выпускников школы Проведение приёма в Вузы. Рейтинг школ по результатам ЕГЭ. Рейтинги вузов и специальностей. Сравнение результатов ЕГЭ и ГИА. Сравнение результатов ЕГЭ по годам. Сравнение результатов по разным предметам между собой. Оценка качества работы учителя, директора, школы, … Оценка эффективности деятельности органов исполнительной власти субъектов Российской Федерации . …


Слайд 4

Использование результатов ЕГЭ – в поисках «золотой середины»


Слайд 5

Об использовании результатов ЕГЭ. Авторская позиция. Собственно результаты ЕГЭ без привлечения других данных могут использоваться лишь для двух целей – завершения обучения в школе и отбор кандидатов для продолжения обучения в вузе. При оценке деятельности учителя, школы и образовательных систем результаты ЕГЭ могут использоваться лишь в сочетании с другими данными, характеризующими различные результаты деятельности.


Слайд 6

Об использовании результатов ЕГЭ. Авторская позиция. Корректная интерпретации результатов ЕГЭ позволяет использовать их для управления качеством образования. Результаты ЕГЭ должны выступать лишь одной из характеристик сложного портрета результатов образования


Слайд 7

Особенности, определяющие возможности использования результатов ЕГЭ. Пока ЕГЭ – монополист в российской системе ОКО. ЕГЭ – процедура оценки с высокими ставками. Сложившаяся традиция интерпретации и использования результатов ЕГЭ. …


Слайд 8

Средний балл ЕГЭ. Риски использования. Если не средний балл, то что? Примеры интерпретации результатов оценочных процедур для учителя, школы, системы образования. Давайте обсудим следующие вопросы: 3 1 2


Слайд 9

Условия корректной интерпретации результатов ЕГЭ. Для корректной интерпретации результатов ЕГЭ необходимо: Различать в результатах ЕГЭ результаты итоговой аттестации выпускников средней школы и результаты вступительной компании в учреждения профессионального образования.


Слайд 10

Если под результатами ЕГЭ мы имеем в виду результаты итоговой аттестации выпускников средней школы, то необходимо сравнивать только результаты выпускников школ данного учебного года. Контингент участников ЕГЭ региона А включает незначительную долю других категорий и выпускников вечерних школ, поэтому результаты ЕГЭ будут ожидаемо лучше. Контингент участников ЕГЭ региона В включает много вечерников и ВПЛ, поэтому результаты ЕГЭ будут ожидаемо хуже.


Слайд 11

Для корректной интерпретации результатов ЕГЭ необходимо: Знать технологию процедуры и особенности шкалирования, применяемую в ЕГЭ для правильного понимания оцениваемого результата, корректного сопоставления и оценки динамики. Условия корректной интерпретации результатов ЕГЭ.


Слайд 12

Средний балл ЕГЭ – наиболее распространённый и принятый в системе образования РФ показатель, отражающий образовательные результаты. Самарская область http://www.edc.samara.ru/~school120/ege.htm Чувашия http://ege21.ru/ege/metod/egeh_2012_chuvashija_statisticheskij_sbornik_2_ver.pdf, стр.48. Сопоставление результатов ЕГЭ по школе с результатами по муниципалитету, регионе, стране Динамика результатов ЕГЭ по региону за три года


Слайд 13

© С.А. Боченков 63,4 58,6 67,8 53,5 48,7 72,4 59,5 63,1 100,0% По какому учебному предмету результаты ЕГЭ по РФ за 2013 год лучше? 96,4% 25,0% 11,2% 7,1% 19,5% 57,8% 9,0% Средний балл Доля от общего числа участников Учитываются все участники ЕГЭ или только выпускники? Можно ли сравнивать предметы с разным уровнем охвата? Совпадают ли позиции предмета в рейтингах, построенных по разным показателям?


Слайд 14

Средние величины и шкалирование. Совпадают ли шкалы оценочных процедур? Средний балл по математике по РФ= 48,7 Средний балл по русскому языку = 63,4 Если тесты по двум предметам сопоставимы по сложности и шкалы выровнены, то уровень подготовки по русскому всех выпускников страны в среднем выше, чем по математике. Если тесты по двум предметам не выровнены по сложности, то возможно несколько вариантов: Уровень подготовки по русскому выше, чем по математике. Уровень подготовки по математике выше, чем по русскому языку, просто тест сложнее. Уровень подготовки по двум предметам примерно равный. Какие выводы можно сделать об уровне подготовки, сравнивая результаты по двум предметам? ? ЕГЭ-2013


Слайд 15

Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике ФИПИ «…Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников 2011 — 2013 гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам». http://www.ege.edu.ru/ru/main/scaling/ ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательному предмету ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания


Слайд 16

© С.А. Боченков Сопоставление 100-балльной шкалы и уровней освоения образовательного стандарта показывает несовпадение шкал между учебными предметами (РФ, ЕГЭ-2013) 81 балл 73 63 62 80 79 84 72 82 36 24 36 36 36 40 39 20 Сравнение 100-балльных шкал русского языка и математики по среднепроцентильным рангам показывает несовпадение шкал Средний балл по 100-балльной шкале недопустимо использовать как при сравнении результатов между предметами, так и для оценки динамики по годам!!!


Слайд 17

Пример сравнения результатов ЕГЭ двух школ по среднему баллу ЕГЭ:


Слайд 18

Для корректной интерпретации результатов ЕГЭ необходимо: Выбирать «работающие» показатели. Условия корректной интерпретации результатов ЕГЭ.


Слайд 19

Если не средний балл, то что? Какие показатели имеет смысл использовать при анализе результатов ЕГЭ? Анализ практики использования разных показателей результатов ЕГЭ ? Условные знаки: - Показатель малоинформативен или имеет большие ограничения при использовании Х - Показатель содержит ошибку, приводит к ошибочным суждениям ! - Показатель информативен при грамотном применении


Слайд 20

Группа показателей, характеризующих освоение минимальных требований образовательного стандарта Уровень освоения образовательного стандарта для получения документа о среднем (полном) общем образовании – доля выпускников, успешно сдавших (выше минимального порога) ЕГЭ по двум обязательным предметам, % Уровень освоения образовательного стандарта для получения профессионального образования - получение свидетельства о результатах ЕГЭ с баллами по всем предметам, необходимыми для поступления в выбранное учреждение профессионального образования - доля выпускников, успешно сдавших (выше минимального порога) все экзамены, которые они выбрали для сдачи в форме ЕГЭ в общем числе выпускников, %. Уровень освоения образовательного стандарта по каждому предмету - доля учащихся, преодолевших минимальный порог (по каждому предмету), %. Широкая область применения, т.к. задача учителя, школы, системы образования – создание условий для освоения образовательного стандарта. Примеры показателей: ! ! !


Слайд 21

Группа показателей, характеризующих уровень и качество образовательных достижений Средний балл по 100-балльной шкале (вариации – только по обязательным предметам, только по профильным предметам). Средний балл по каждому предмету Доля выпускников, получивших соответствующее количество баллов ЕГЭ по предметам: от 50 до 75 баллов (вариант - до 50, 51-75); 70 баллов и выше (вариант – 80 баллов и выше, 90 баллов и выше), %. Доля (кол-во) участников, набравших 100 баллов (на 1000 участников), %. Доля выпускников, показавших по профильному предмету результат, относящийся к 10% лучших результатов по РФ). Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне с результатом не ниже ТБ2. Возможно применение для оценки школ, реализующих модели профильного образования на старшей ступени. Необходимы для оценки эффективности профилей заявленных и реализуемых школой. Примеры показателей: ! ! Х Х ! ? ? Вебинар РТЦ «Интерпретация и представление результатов оценки качества образования для разных групп пользователей». Презентация и видео http://www.rtc-edu.ru/trainings/webinar/267


Слайд 22

Для корректной интерпретации результатов ЕГЭ необходимо: Различать характеристики хороших (плохих) результатов ЕГЭ для учителя, для школы, для системы образования и понимать в какой мере эти результаты зависят от деятельности учителя, школы, муниципального или регионального управления образовательной системы. Использовать результаты ЕГЭ в сочетании с контекстными данными, данными об условиях организации образовательного процесса и показателями, полученными из других оценочных процедур. Условия корректной интерпретации результатов ЕГЭ.


Слайд 23

Что такое «результаты ЕГЭ»? Всё зависит от точки зрения... Индивидуальный результат выпускника по предмету – балл по 100-балльной шкале и решаемость заданий общество учитель Хорошие результаты ЕГЭ для школы – это чтобы все учащиеся школы сдали ЕГЭ хорошо… директор школы ? исследователи СМИ руководитель сети школы Хорошие результаты ЕГЭ для учителя – это чтобы все учащиеся сдали ЕГЭ хорошо… выпускник Хорошие результаты ЕГЭ для муниципалитета – это чтобы все учащиеся школ территории сдали ЕГЭ хорошо…


Слайд 24

Интерпретация результатов ЕГЭ для учителя «Рамка качества» работы УЧИТЕЛЯ в результатах ЕГЭ Общие критерии: Учитель обеспечивает освоение образовательного стандарта на минимальном уровне: доля учащихся, успешно преодолевших минимальный порог требований образовательного стандарта, из числа сдававших предмет стремится к 100% Система текущего оценивания адекватна результатам ЕГЭ - если предмет изучается на базовом уровне: все учащиеся из числа слабоуспевающих успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог - если предмет изучается на профильном уровне: востребованность предмета не ниже, чем среднее для территории и аналогичных образовательных учреждений освоение образовательного стандарта на профильном уровне не ниже, чем среднее по территории и для аналогичных школ наблюдается положительная динамика или стабильность в высоких результатах по каждой из значимых позиций Хорошие результаты ЕГЭ для учителя – это чтобы все учащиеся сдали ЕГЭ хорошо… а именно: Чтобы все, кто подготовились к экзамену по предмету, пошли на экзамен, а неподготовленные не ходили. Чтобы все, кто пошли успешно сдали ЕГЭ (преодолели минимальный порог 100%) и получили результаты не хуже, чем у других учителей и школ. Чтобы результаты ЕГЭ были адекватны текущим оценкам, которые выставил учитель. учитель


Слайд 25

Структура и уровень требований контрольно-измерительных материалов ЕГЭ по математике.


Слайд 26

Пример интерпретации результатов ЕГЭ для учителя. Позадачная решаемость КИМов по математике. Графическим выражением успешности, результата выполнения теста группой учеников является профиль решаемости, где видна успешность выполнения каждого задания. При сравнении с коридором ожидаемой решаемости видно, какие темы отработаны лучше, какие хуже, а какие вообще оказались провальными. Практика анализа результатов экзамена в разрезе отдельной школы, класса и учителя даёт разные профили по решаемости заданий.


Слайд 27

Пример интерпретации результатов ЕГЭ для учителя. Результаты освоения содержательных блоков курса и сформированность основных умений. РУССКИЙ ЯЗЫК МАТЕМАТИКА 68,3% 61,5% 83,7% 57,0% 70,2% Задания повышенного и высокого уровня сложности Задания базового уровня сложности Комбинаторика, статистика и теория вероятности Начала математического анализа Алгебра Уравнения и неравенства Геометрия


Слайд 28

Пример интерпретации результатов ЕГЭ для учителя. Группы учащихся по уровню подготовки к ЕГЭ-2013 по математике. Высокий уровень подготовки к ЕГЭ (ТБ 2 и выше) – свидетельствует о высоком уровне подготовки участников, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания. Базовый уровень подготовки Низкий уровень подготовки к ЕГЭ: группа риска, т.к. бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ и аттестата. Доля выпускников, успешно сдавших ЕГЭ по предмету от общего в 11 А классе - 100%, в 11СЭ – 95,8%. Доля выпускников, сдавших ЕГЭ по предмету с результатом равным ТБ2 и выше в 11А классе – 46,2%, в 11СЭ классе – 20,8%


Слайд 29

Интерпретация результатов ЕГЭ для школы. Представление результатов ЕГЭ должно максимально полно раскрывать картину в этой системе координат Хорошие результаты ЕГЭ для школы – это чтобы все учащиеся школы сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные к ЕГЭ получили аттестат и полноценное свидетельство о результатах ЕГЭ. Чтобы спектр выбора выпускниками предметов соответствовал профилю школы. Чтобы результаты по профильным предметам были не ниже в сравнении с аналогичными школами. директор школы Признаки хорошей по результатам ЕГЭ школы: это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы (которые необходимы им для продолжения образования и которые они изучали в 10-11 классах на профильном уровне); это школа, все выпускники которой успешно освоили образовательный стандарт не ниже минимального уровня по двум обязательным экзаменам в форме ЕГЭ (необходимо для получения аттестата о среднем (полном) образовании) и экзаменам по выбору независимо от профиля, т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность; это школа, в которой значительная часть выпускников преодолевают порог профильного уровня по всем предметам, которые они изучали на профильном уровне; это школа, показывающая положительную динамику или стабильность в высоких результатах по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона.


Слайд 30

не обеспечивает качества подготовки по востребованным предметам (биология, химия). обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам. кроме востребованной физики обеспечивает высокий уровень практически по всем предметам. Пример интерпретации результатов ЕГЭ для ШКОЛЫ. Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ


Слайд 31

Пример интерпретации результатов ЕГЭ для ШКОЛЫ. Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ-2013 выпускников СОШ №10 с УИОП города М. Кол-во выпускников школы – 69 человек


Слайд 32

Динамика уровня освоения образовательного стандарта общего образования выпускниками СОШ №3 города N. Доля выпускников, успешно сдавших два обязательных экзамена в форме ЕГЭ. Динамика показателей школы оценивается на фоне динамики показателей кластера аналогичных школ региона Динамика уровня подготовки к освоению стандарта профессионального образования выпускниками СОШ №3 города N. Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ .


Слайд 33

Признаки хорошей системы образования по результатам ЕГЭ: Общеобразовательная и профильная подготовка, предоставляемая сетью школ обеспечивает потребности населения. Все выпускники, допущенные до итоговой аттестации успешно сдают экзамены и получают документы об образовании. Профили школ подтверждаются результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Различия в результатах между школами ниже, чем между результатами внутри школы. Интерпретация результатов ЕГЭ для управления образовательными системами Хорошие результаты ЕГЭ для муниципалитета – это чтобы все учащиеся школ территории сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные до итоговой аттестации успешно сдали экзамены и получили документы об образовании. Чтобы профиль школ сети подтверждался результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Чтобы различия в результатах ЕГЭ между школами были меньше, чем между результатами внутри школ. Чтобы не было нарушений процедуры и аномальных результатов руководитель сети школы


Слайд 34

Уровень освоения образовательного стандарта выпускниками школ города (муниципалитета).


Слайд 35

Физика. Качество предоставляемой образовательной услуги в разрезе общеобразовательных учреждений города N.


Слайд 36

Равенство доступа к образованию соответствующего качества. Качество общеобразовательной подготовки в школах города М. Максимальный результат Минимальный результат Среднее значение ? ? + ? ? - ? Прямоугольники ограничивают зону, в которой находятся результаты 68% учащихся. Чем меньше эта величина в школе, тем более однородны результаты и тем более вероятно наличие отбора (положительного или отрицательного) контингента школы. В хорошей системе образования размеры и высота этих прямоугольников у разных школ отличается слабо.


Слайд 37

Важно различать в результатах ЕГЭ результаты итоговой аттестации выпускников средней школы и результаты вступительной компании в учреждения профессионального образования. В фокусе оказывается совокупный индивидуальный результат выпускника и вытекающие из этих результатов последствия для выпускника. Стобалльная шкала по предметам и по годам не совпадает, поэтому использование среднего бала и показателей, фиксирующий единый для всех предметов порог (например, более 80 баллов) является некорректным. Основные фиксации:


Слайд 38

Важно различать характеристики хороших (плохих) результатов ЕГЭ для учителя, для школы, для системы образования и понимать в какой мере эти результаты зависят от деятельности учителя, школы, муниципального или регионального управления образовательной системы. Необходимо использовать результаты ЕГЭ только в сочетании с контекстными данными, данными об условиях организации образовательного процесса или показателями, полученными из других оценочных процедур. Основные фиксации:


Слайд 39

Адресная подготовка аналитических материалов, выполненных на основе результатов внешних оценочных процедур (ЕГЭ, ГИА) и выстроенных под задачи управления качеством образования. Экспертная оценка и практика применения предлагаемой методики анализа результатов ЕГЭ и ГИА: экспертиза в рамках проекта Рособрнадзора «Совершенствование управления качеством образования в общеобразовательных учреждениях на основе результатов независимого оценивания учащихся 9-х и 11-х классов» (в кн. «Управление качеством образования на основе результатов независимого оценивания учащихся 9-х и 11-х классов». В 2 частях / О.Ф. Батрова., В.И. Блинов, С.А.Боченков и др, – М, Аспект Пресс, 2007.); обсуждение на семинаре Российской Академии Образования «Методологические основы оценки качества образования» http://www.centeroko.ru/seminar/seminar-3.htm включён в Банк данных по оценке качества образования Института управления образованием Российской академии образования (ИУО РАО) http://www.rtc-edu.ru/resources/databank представлена на VIII Международной научно-практической конференции «Тенденции развития образования: Проблемы управления и оценки качества образования» (18-19 февраля 2011 года, г. Москва, МВШСЭН, выступление «Модель анализа и интерпретации результатов ЕГЭ и ГИА на региональном уровне: опыт Чувашской Республики»); применяется в практике подготовки аналитических материалов и управлении качеством образования в Чувашской Республике с 2004 года, в Ханты-Мансийском АО – Югр а с 2008 года, в Чеченской Республике с 2010 года. В ряде регионов используется общая логика и отдельные элементы методики. Анализ результатов ЕГЭ-2012 по Чеченской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. – Грозный, 2012. – 140 с. О состоянии и результатах деятельности системы образования Чувашской Республики, 2012/2013 учебный год. Публичный доклад. – Чебоксары, 2013. – 164 с. Анализ результатов единого государственного экзамена по Ханты-Мансийскому автономному округу – Югре в 2011 году. Серия «По результатам ЕГЭ-2011». Выпуск 1. – Ханты-Мансийск: ООО «ТЕХНОПОЛИС», 2011. – 182 с.. Анализ результатов ЕГЭ по образовательному учреждению Экспресс-анализ результатов ЕГЭ по образовательному учреждению, муниципалитету, региону


Слайд 40

О состоянии и результатах деятельности системы образования Чувашской Республики, 2012/2013 учебный год. Публичный доклад. – Чебоксары, 2013. – 164 с. http://gov.cap.ru/Default.aspx?gov_id=13 Анализ результатов ЕГЭ-2012 по Чеченской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. – Грозный, 2012. – 140 с. http://mon95.ru/content/view/1814/75/ Материалы по теме: Примеры аналитических материалов в открытом доступе: Вебинар РТЦ «Интерпретация и представление результатов оценки качества образования для разных групп пользователей». Презентация и видео доступны здесь http://www.rtc-edu.ru/trainings/webinar/267 Вебинар РТЦ «Представление результатов оценки учебных достижений: почему нельзя полностью доверять среднему баллу теста?» Презентация и видео доступны здесь http://www.rtc-edu.ru/trainings/webinar/224 Учебный курс РТЦ «Актуальные вопросы использования результатов оценки учебных достижений школьников на разных уровнях системы образования» г. Ереван, 24-26.09.2013. http://www.rtc-edu.ru/trainings/study/283 Учебный курс РТЦ «Национальные экзамены и мониторинги учебных достижений: интерпретация и представление результатов для различных групп пользователей» г. Москва, 14-17.09.2013 http://www.rtc-edu.ru/trainings/study/226 Учебный курс РТЦ «Система оценки качества и образовательная политика: ключевые проблемы и направления развития» Кыргызстан, 27-30.06.2013 http://www.rtc-edu.ru/trainings/study/111 Методические материалы по проблеме анализа и интерпретации результатов оценочных процедур: Публикации: Боченков С.А. [Электронный ресурс]: Учитель, школа, система образования в зеркале ЕГЭ// «Проблемы современного образования» Научно-информационный журнал Российской Академии Образования, № 3 2013 с. 27-47 http://www.pmedu.ru/#2013-3 Боченков С.А., Вальдман И.А. Интерпретация и представление результатов ЕГЭ: проблемы и возможные решения // «Вопросы образования», №3 2013 с. 5-24. http://www.rtc-edu.ru/sites/default/files/files/public/USE.pdf


Слайд 41

Ваши вопросы?


×

HTML:





Ссылка: