'

Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО

Понравилась презентация – покажи это...





Слайд 0

Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО


Слайд 1

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования 1. Формирование профессионального сообщества на федеральном и региональном уровнях: федеральный уровень, например, ЕГЭ (разработчики КИМ и тестологи /математика, русский язык, обществознание, физика, химия, биология, география/; региональный уровень – организаторы ЕГЭ, специалисты аттестационных служб и др. Исследование PISA(с 2000 по 2003 годы): Математика – нет изменений Чтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов


Слайд 2

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования 2. Разработка КИМ - создание заданий нового типа, технология разработки, статистические анализ заданий и КИМ, обеспечение качества КИМ. 3. Использование подходов и программного обеспечения для шкалирования и обработки данных Исследование PISA(с 2000 по 2003 годы): Математика – нет изменений Чтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов


Слайд 3

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования 4. Проведение вторичного анализа данных исследований TIMSS-2003 PISA-2003 (например, выявление факторов, связанных с эффективностью образования) 5. Установление профессиональных контактов со специалистами стран, участвующих в международных исследованиях (например, Финляндия, Норвегия, Германия, Япония, Тайвань, страны СНГ и Балтии и др.) Исследование PISA(с 2000 по 2003 годы): Математика – нет изменений Чтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов


Слайд 4

Информация об исследованиях: цели и задачи Исследование TIMSS (более 65 стран) Оценить качество математического и естественнонаучного образования в начальной, основной и средней школе Выявить динамику в результатах (1995, 1999, 2003, 2007, 2008) Выявить факторы, позволяющие объяснить различия в результатах Исследование PISA (57 стран) Оценить обладают ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для жизни Выявить динамику в результатах (2000, 2003, 2006) Выявить факторы, позволяющие объяснить различия в результатах


Слайд 5

Информация об исследованиях: цели и задачи Исследование PIRLS (40 стран) Оценить качество чтения и понимания текстов в начальной школе Выявить динамику в результатах (1991, 2001, 2006) Выявить факторы, позволяющие объяснить различия в результатах Исследование ICES (?) Оценить качество граждановедческого образования в средней школе Выявить динамику в результатах (1999, 2000, 2008) Выявить факторы, позволяющие объяснить различия в результатах


Слайд 6

Информация об исследованиях: цели и задачи Исследование TEDS (более 20 стран) Оценить качество педагогического образования в области математики (программы обучения, учебный процесс, подготовка будущих учителей) Выявить факторы, позволяющие объяснить различия в результатах Исследование SITES (более 20 стран) Изучить опыт использования информационных технологий в образовании Выявить факторы, связанные с эффективным использованием ИКТ в обучении


Слайд 7

Организаторы и участники Исследования TIMSS, PIRLS, ICES, TEDS Международная Ассоциация по оценке образовательных достижений - IEA Более 65 стран Исследование PISA Организация экономического сотрудничества и развития - OECD Около 60 стран


Слайд 8

Организация исследования PISA


Слайд 9

Международные исследования в в России в 2006 году Исследования: PIRLS (основное исследование- 46 регионов, 232 школы, 4955 учащихся 3-4 классов) TIMSS (апробационное исследование - 3 региона, около 3000 учащихся 4 и 8 классов, разработка инструментария для исследования TIMSS-2008, углубленное изучение математики и физики) Исследование PISA (основное исследование – 46 регионов, 210 образовательных учреждений, 6154 учащихся 15-летнего возраста)


Слайд 10

Организационная схема мониторинга образовательных достижений (общее образование)


Слайд 11

Организационная схема мониторинга образовательных достижений (общее образование)


Слайд 12

Организационная схема мониторинга образовательных достижений (общее образование)


Слайд 13

Особенности разработки инструментария мониторинговых исследований качества образования (на примере международных сравнительных исследований PISA, PIRLS и TIMSS)


Слайд 14

Общие требования к разработке инструментария Требования в соответствии с целевыми установками исследования: Разработанный инструментарий должен соответствовать выбранной модели образовательной системы и позволять: Оценить образовательные достижения в соответствии с принятыми стандартами, таксономией и т.д. Получить информацию о факторах, влияющих на образовательные результаты; Установить динамику в изменении образовательных достижений и образовательного контекста; Получить данные для управления качеством образования; Получить данные, необходимые для совершенствования системы образования


Слайд 15

Модель системы образования


Слайд 16

Система инструментария исследования TIMSS


Слайд 17

Общие требования к разработке инструментария Требования теории педагогических измерений: Соответствие выбранной модели измерения Валидность по отношению к проверяемому содержанию образования Надежность оценки Наличие качественных статистических характеристик, позволяющих выстраивать измерительные шкалы (тесты и анкеты)


Слайд 18

Общие требования к разработке инструментария Учет особенностей проведения: Соответствие возрастным особенностям учащихся Обеспечение стандартизации процедуры проведения тестирования Качество инструкций Качество полиграфии


Слайд 19

Общие требования к разработке инструментария Ориентация на форму представления результатов (средние значения, результаты по уровням, по отдельным содержательным областям и уровням учебно-познавательной дея.) Учет финансовых и организационных возможностей.


Слайд 20

Пример инновационных подходов Разработка заданий нового типа


Слайд 21

Формирование представительной выборки учащихся в международных исследованиях PIRLS и PISA


Слайд 22

Зачем необходима выборка? Невозможно провести тестирование всех учащихся по всему изученному материалу Более 2 млн. учащихся Более 200 требований стандарта по предмету (более 1000 заданий) Значительные финансовые и материальные затраты Нет необходимости проводить тестирование всех учащихся по всему изученному материалу Теория формирования выборки Современная теория тестов (IRT) Последствия: При анализе результатов необходимо учитывать характеристики, связанные с выборкой (вес, ошибка выборки и др.)


Слайд 23

Определение целевой совокупности (генеральной совокупности). 2 подхода Подход 1: Выборка, ориентированная на год обучения (класс) Исследование PIRLS: Все учащиеся страны четвертого года обучения в школе (ISCED Level 1) Средний возраст учащихся 9,5 лет В России: выпускники начальной школы 4-го класса (по программе 1-4) и 3-го класса (по программе 1-3), средний возраст - 10,3 лет (2001 г.), - 10,6 лет (2003 г.) В большинстве стран: учащиеся 4 класса, средний возраст 10,3 лет (2001, 2003 г.)


Слайд 24

Определение целевой совокупности (генеральной совокупности). 2 подхода Подход 2: Выборка, ориентированная на возраст Исследование PISA: Все обучающиеся страны 15-летнего возраста (1990 г. рождения) (ISCED Levels 2-3) В России: учащиеся 7-11 классов средней школы, студенты ОУ НПО и СПО


Слайд 25

Совокупности и исключения Исключения на уровне школ Исключения на национальном уровне Исключения внутри школы Международная планируемая совокупность Национальная планируемая совокупность Национальная исследуемая совокупность Реальная совокупность


Слайд 26

Стандарты формирования выборки: 1 Исследование PIRLS и PISA Выборка считается представительной, если исключения разного уровня не превышают 5%. Исключения на национальном уровне: географически удаленные школы (PISA – менее 0,5%), очень малые школы (только PIRLS) Исключения на уровне школ (учащиеся с недостатками умственного и физического развития, с неродным русским языком (обучение на русском языке менее 1 года) не должны превышать 2,5% Общее исключение в исследовании PIRLS – 4,9% Общее исключение в исследовании PISA - 2,96% (0,96% - специальные и коррекционные школы, до 2% исключения на уровне ОУ)


Слайд 27

Стандарты формирования выборки: 2 Исследование PISA Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ и не менее 80% от всех отобранных учащихся Исследование PIRLS Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ, не менее 95% от отобранных классов и не менее 85% от всех отобранных учащихся


Слайд 28

Эффективный размер выборки Число школ и учащихся Определяется структурой собираемых данных Зависит также от требуемой точности измерений, коэффициента внутриклассной корреляции, средней наполняемости класса и надежности теста. Эффективный размер случайной выборки учащихся – 400 При доверительном интервале 95% Средние значения с точностью +/- 0,1 станд. отк. Проценты +/- 5 Корреляции +/- 0,1 Эффективный размер случайной стратифицированной выборки (собираются данные не только об учащихся, но и школах и классах) – 150 школ и 4500 учащихся


Слайд 29

Размер выборки (PISA-2006) Минимум 150 школ Максимум 35 учащихся в образовательном учреждении Размер выборки – минимум 5250 учащихся 210 образовательных учреждений Участвуют 35 учащихся 7-11 классов или 1-2 курсов ОУ НПО и СПО Размер выборки – 6154 учащихся Требования Россия


Слайд 30

Размер выборки (PIRLS-2006) Требования Россия Минимум 150 школ Минимум 1 класс в школе 2 класса выбирается в целях сравнения результатов внутри школы или для достижения необходи- мого размера выборки Участвуют все учащиеся выбранного класса Размер выборки – минимум 4 000 учащихся 232 школы 1 класс в каждой выбранной школе Участвуют все учащиеся выбранного класса Размер выборки – 4955 учащихся


Слайд 31

Состав выборки ИсследованиеPISA Исследование PIRLS Из 210 образовательных учреждений: Средние общеобразовательные школы - 141 Гимназии – 9 Лицеи - 2 Основные школы - 14 Вечерние школы – 12 Школа–интернат – 1 ОУ НПО – 13 ОУ СПО - 18 Из 232 школ: Средние общеобразовательные школы – 182 Основные школы – 12 Начальные школы – 5 Гимназии и лицеи - 33


Слайд 32

Этапы формирования выборки Работа с базами ОУ регионов - «чистка» базы Формирование выборки ОУ - формирование выборок исследований PIRLS и PISA - утверждение выборок в Международных координационных центрах PIRLS и PISA Связь с образовательными учреждениями - PIRLS: получение списков классов и учащихся - PISA: получение списков обучающихся 1990 г.р. Выбор участников исследований - PIRLS: классов (учащихся) - PISA: обучающихся 1990 г.р. Ввод информации об участниках исследований Подготовка документации для проведения тестирования в отобранных ОУ


Слайд 33

Стратификация Группировка ОУ согласно некоторым признакам. Используется, чтобы: улучшить дизайн выборки (сделать оценки выборки более надежными); привести в соответствие пропорциональную представительность разных групп в генеральной совокупности.


Слайд 34

Стратификация Переменные стратификации: Регионы, районы; Тип урбанизации (город-село) Социо-экономический статус ОУ Тип ОУ Ступень обучения и др.


Слайд 35

Стратификация Внутренняя Внешняя PIRLS, PISA: регион (45 регионов – 45 страт) Для каждого региона строится отдельный список ОУ Выборка ОУ проводится внутри каждого региона PIRLS: Тип населенного пункта (9 уровней) PISA: Тип (4 уровня) и вид (16 уровней) образовательного учреждения; тип населенного пункта (9 уровней)


Слайд 36

Технические стандарты международных исследований Обеспечение качества исследования


Слайд 37

Процедуры сбора данных Обеспечение качества Полученные в исследовании данные


Слайд 38

Что включает система обеспечения качества исследования? План исследования – Руководства по проведению, контроль за адаптацией инструментария – NAF, QAS, и др. Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования. Контроль за качеством – Национальные координаторы организуют и контролируют качество большей части исследования Мониторинг качества – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.


Слайд 39

Система обеспечения качества основана на соответствии стандартам качества Консорциум контролирует качество проведения исследования в соответствии с разработанными стандартами качества Формирование выборки Язык, на котором проводится тестирование Участие в проведении апробационного исследования Адаптация инструментария и руководств Перевод инструментария и руководств Проведение тестирования Реализация национальной части исследования Мониторинг качества Тиражирование материалов Проверка заданий с открытыми ответами Анализ полученных данных


Слайд 40

Источники данных об обеспечении качества проведения исследований Выборка Перевод и верификация Проведение тестирования (MAS) Мониторинг качества Мониторинг работы национального центра Проверка работ (Перепроверка работ, Международная проверка), Отправленные данные, Адаптация (QAS, TAS) Анализ проведения исследования (подготовка отчета)


Слайд 41

Стандарты качества Данные В большинстве случаев данные должны соответствовать стандартам. Подтверждение соответствия стандартам


Слайд 42

Что происходит при несоответствии стандартам качества? Решение зависит от : Степени несоответствия стандартам Наличия возможности исправления Чистка данных Проверка данных на соответствии качеству Анализ данных при невозможности их исправить Анализ изменений, внесенных консорциумом Рекомендации по включению в международный отчет Полная публикация Публикация данных только частичная (в некоторых таблицах) Публикация в Приложениях к отчету и др.


Слайд 43

Пример вторичного анализа данных Эффективность ситемы образования


Слайд 44

Актуальная ситуация: Запрос рынка труда на качественно новый результат школьного образования Проблемы и противоречия в системе образования Несоответствие системы образования новым социально-экономическим задачам


Слайд 45

Школы пытаются преодолеть этот разрыв с помощью: авторских программ; уровневого содержания образования; новых педагогических технологий; новых форм организации процесса обучения; и др. (кто как может). Возросло число специфических внутренних задач, которые может ставить и решать каждая конкретная школа


Слайд 46

Преодоление разрыва


Слайд 47

1. Исследование общих закономерностей Без знаний и информации Вы – просто некто со своим мнением … Знание успешности обучения – важнейший аспект … Только этого мало! Необходима информация о других параметрах образовательной среды.


Слайд 48

Образовательная среда Обычно оценивается в терминах "эффективности школы" как социальной системы - эмоционального климата, личностного благополучия, особенностей микрокультуры, качества воспитательно-образовательного процесса и др. Важным фактором школьной эффективности выступает организационный (обеспечивающий солидарность представлений учителей о своем профессиональном долге, их умение увязать личные педагогические философии как друг с другом, так и с учащимися, поддержку автономной инициативы учителей администрацией школы и др.). Параметров так много, что в них легко потеряться!


Слайд 49

Чем же так хороши (помимо четкой постановки целей и задач, отработанных процедур проведения и обработки результатов) международные исследования оценки качества образования?


Слайд 50

международные исследования оценки качества образования: одновременно рассматривают большое количество различных образовательных систем. применяют современные математические многомерные методы, позволяющие объективно сравнивать полученные в разных странах результаты; одновременно рассматривают большое число параметров образовательной среды, способствующих успешности обучения, тщательно отобранных на основании проводившихся ранее экспериментальных исследований; Все это позволяет получить не разрозненные данные, а целостную картину.


Слайд 51

Этапы оценки качества образования в школах Успешность школ по результатам тестирования Равные возможности в обучении (измеряемые не столько результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования) Устойчивость успешности в тесте по школам Гендерные различия Полученные основы для обучения в течение всей дальнейшей жизни (т.е. используемые стратегии обучения, мотивация, установки и др.) Другие качества образовательной среды («климат» в школе, использование ИКТ и др.)


Слайд 52

Этап 1. Успешность школ по результатам тестирования Какую успешность показали школьники по результатам теста PISA 2003


Слайд 53

Уровни успешности в тесте PISA по математике Среднее по странам OECD Уровень 6 Уровень 5 Уровень 4 Уровень 3 Уровень 2 Уровень 1 Ниже уровня 1 OECD (2004), Learning for tomorrow’s world: First results from PISA 2003, Table 2.5a, p.354. 15% 21% 22% 18% 10% 4% 11% РФ 15% 27% 26% 14% 6% 2% 11%


Слайд 54

Процент учащихся на каждом уровне успешности


Слайд 55

Этап 2. Равные возможности в обучении Измеряются не столько непосредственными результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования


Слайд 56

Низкая успешность


Слайд 57

Low Performance High Mathematics performance Strong impact of social background on performance Moderate impact of social background on performance High performance High social equity Low performance High social equity Low performance Low social equity High performance Low social equity


Слайд 58

Этап 3. Устойчивость Успешности в тесте по школам


Слайд 59

Изменение математической грамотности


Слайд 60

Изменение математической грамотности


Слайд 61

Ковалева Галина Сергеевна Центр оценки качества образования ИСМО РАО Тел/факс 8 (495) 246-24-21 www.centeroko.ru e-mail: centeroko@mail.ru www.centeroko.ru Исследование PIRLS, TIMSS: www.isc.bc.edu Исследование PISA: www.oecd.org СПАСИБО ЗА ВНИМАНИЕ! Вопросы и комментарии


×

HTML:





Ссылка: