'

Семинар «Методологические основы оценки качества образования»

Понравилась презентация – покажи это...





Слайд 0

Семинар «Методологические основы оценки качества образования» Методологические основы международных сравнительных исследований качества общего образования (на примере исследований TIMSS, PIRLS, PISA) Г.С.Ковалева, ИСМО РАО


Слайд 1

2 Основное содержание 1. Краткая информация о международных исследованиях качества общего образования 2. Концептуальные основы международных исследований качества общего образования 3. Преимущества международных сравнительных исследований 4. Направления представления и анализа данных международных исследований 5. Примеры углубленного анализа результатов международных исследований


Слайд 2

3 Международные сравнительные исследования качества общего образования Международная Ассоциация по оценке образовательных достижений – IEA TIMSS (1995, 1999, 2003, 2007, 2011 годы) PIRLS (1991, 2001, 2006, 2011 годы) ICCS (1999, 2000, 2008 годы) TEDS (2008 год) Организация экономического сотрудничества и развития – OECD PISA (2000, 2003, 2006, 2009 годы)


Слайд 3

4 Краткая информация об исследованиях Цели и задачи Исследование TIMSS и PIRLS Оценка качества математического и естественнонаучного образования в начальной, основной и средней школе (4, 8 и 11 классы) Оценка качества чтения и понимания текста учащимися начальной школы (4 класс) Выявление динамики в результатах (TIMSS: 1995, 1999, 2003, 2007; PIRLS: 2001, 2006) Выявление факторов, позволяющих объяснить различия в результатах Исследование PISA Оценка функциональной грамотности 15-летних учащихся в области математики, естествознания и чтения Оценка отношений и учебных стратегий Оценка качества и доступности образования Выявление динамики результатов (2000, 2003, 2006, 2009) Выявление факторов, позволяющих объяснить различия в результатах


Слайд 4

5 Планирование международных исследований качества образования Определение цели и задач исследования. Обоснование концептуальной модели исследования. Определение типа мониторингового исследования (срезовое, лонгитьюдное или их сочетание). Определение генеральной совокупности обследуемых учащихся и размера выборки. Определение оснований для стратификации выборки учащихся и процедуры формирования выборки.


Слайд 5

6 Планирование международных исследований качества образования (продолжение) 6. Определение состава инструментария и организаций–разработчиков. 7. Определение показателей, для сбора информации по которым разрабатывается инструментарий. Определение области проверяемого содержания и видов учебно-познавательной деятельности. Обоснование математических моделей и шкал, которые будут использоваться при разработке инструментария и обработке результатов исследования. 10. Описание процедуры предварительной отработки инструментария и его экспериментальной проверки.


Слайд 6

7 Планирование международных исследований качества образования (продолжение) 11. Определение графика и сроков проведения исследования. 12. Определение факторов, которые будут анализироваться в исследовании в соответствии с его задачами. 13. Формулирование гипотез о взаимосвязи между факторами и результатами тестирования учащихся. Анализ, на сколько инструментарий позволяет получить данные по всем отобранным факторам. 14. Отбор и обоснование используемых статистических методов анализа результатов исследования. 15. Форма и регламенты представления результатов исследования для обсуждения и последующего их распространения.


Слайд 7

8 Модель системы образования IEA


Слайд 8

9 Модель системы образования Shavelson et al. (1987)


Слайд 9

10 Концептуальная модель TIMSS


Слайд 10

11 Модель образовательных возможностей TIMSS


Слайд 11

12 Почему более 60 стран мира участвуют в международных сравнительных исследованиях? Международный симпозиум «Методологические преимущества крупно-масштабных кросс-национальных исследований в области образования (2000 г.): Высокое научное и техническое качество проводимых исследований и вследствие этого высокое доверие к их результатам. Страны используют результаты международных исследований для реформирования системы образования. Во многих странах больше доверия к международным исследованиям, чем к национальным 3. Результаты исследований помогают понять систему образования в стране в сравнении с другими странами Международные исследования способствуют обеспечению качества проведения национальных исследований в области образования 5. В рамках международных исследований наиболее эффективно отрабатываются новые методики и технологии в области оценки качества образования


Слайд 12

13 Критерии качества проведения исследований 1. Полнота охвата в сочетании с относительной простотой используемого инструментария. 2. Необходимость и достаточность (система показателей должна быть построена таким образом, чтобы они не дублировали друг друга и в целом обеспечивали получение полной информации по всем блокам системы оценки образовательных достижений и факторов, определяющих полученные результаты). 3. Оперативность (используемые технологии проведения мониторинга должны обеспечивать достаточно быстрый сбор и обработку информации в целях принятия управленческих решений).


Слайд 13

14 Критерии качества проведения исследований (продолжение) 4. Экономическая целесообразность (процесс проведения мониторинга должен быть экономически обоснован по используемым ресурсам). 5. Универсальность (система показателей и инструментарий должны быть инвариантными относительно социально-экономических и других особенностей субъектов РФ в целях технологического обеспечения сравнительного анализа мониторинговой информации на федеральном уровне). 6. Надежность интерпретации значений показателей (информация, получение которой обеспечивают показатели и разработанный инструментарий, не должна допускать возможности противоречивого ее толкования для эффективного принятия стратегических и оперативных управленческих решений).


Слайд 14

15 Критерии качества проведения исследований (продолжение) 7. Открытость концептуальных разработок, методик и технологий проведения исследования до начала проведения мониторинга в образовательных учреждениях. 8. Сопоставимость основных показателей мониторинга образовательных достижений, обеспечивающая сопоставимость и сводимость получаемой на его основе статистической информации. 9. Цикличность исследований (обеспечение возможности оценки динамики изменений, происходящих в системе образования, с целью создания системы стратегического и оперативного планирования, системы прогнозирования развития отрасли).


Слайд 15

16 Обеспечение качества исследований Процедуры сбора данных Обеспечение качества Полученные в исследовании данные


Слайд 16

17 Что включает система обеспечения качества исследования? План исследования – Руководства по проведению, контроль за адаптацией инструментария – NAF, QAS, и др. Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования. Контроль за качеством на национальной уровне – Национальные координаторы организуют исследование в стране и контролируют качество большей части исследования. Мониторинг качества на международном уровне – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.


Слайд 17

18 Основные результаты международных исследований качества общего образования Средний балл страны по международной шкале Многоаспектное сравнение стран Средний балл страны по отдельным группам показателей (гендерные различия, разделы учебного предмета, виды учебной деятельности и др.) Распределение учащихся страны по уровням учебных достижений Тенденции изменения образования в стране Результаты выполнения отдельных заданий и ответов на анкеты и т.д.


Слайд 18

19 Основные результаты учащихся по математике TIMSS-2007


Слайд 19

20 Результаты стран по сравнению с Россией (математика)


Слайд 20

21 Анализ результатов стран в соответствии с содержанием их программам по естествознанию (8 класс)


Слайд 21

22 Сравнение результатов исследования TIMSS 2003 и 2007 годов по математике h - Средний процент выполнения статистически значимо выше среднего среднего международного процента выполнения i - Средний процент выполнения статистически значимо ниже среднего среднего международного процента выполнения


Слайд 22

23 Распределение российских учащихся 4 и 8 классов по уровням математической подготовки Процент учащихся


Слайд 23

24 Переход из начальной школы в основную


Слайд 24

25 Сравнение результатов некоторых стран 2003 и 2007 годов по естествознанию


Слайд 25

26 Сравнение результатов некоторых стран 2003 и 2007 годов по математике


Слайд 26

27 Углубленный анализ результатов международных исследований Анализ результатов стран-участниц Организаторы исследований Например, OECD: Top of the class. High performing learners in PISA 2006 Отдельные страны Например, Германия: What makes the difference Отдельные специалисты Например, Margaret Wu: A comparison of PISA and TIMSS achievement results in Mathematics and Science Анализ результатов отдельных стран Исследовательские группы в странах: Эффективные школы (РАО) Углубленный анализ результатов международного сравнительного исследования PIRLS-2006 (ИРО ГУВШЭ)


Слайд 27

28 Углубленный анализ результатов международных исследований: OECD: Top of the class. High performing learners in PISA 2006 Направления анализа: - характеристика подготовки учащихся, продемонстрировавших 5 и 6 уровни естественнонаучной грамотности; демографические и социальные характеристики особенности школ учебный процесс, Интерес к естествознанию, мотивация к обучению, самооценка, планы на будущее


Слайд 28

29 Вклад стран (процент учащихся стран, продемонстрировавших высокий уровень естественнонаучной грамотности) в международную группу лидеров


Слайд 29

30 Углубленный анализ результатов международных исследований: Margaret Wu: A comparison of PISA and TIMSS achievement results in Mathematics and Science Основные результаты Основные факторы, статистически объясняющие различия в результатах стран: содержание теста: содержание теста PISA дает некоторое преимущество западным странам (например, по математике значительно больше заданий на работу с данными, чем по алгебре). В исследовании PISA западные страны имеют более высокие результаты, чем прогнозируемые. Восточно-европейские и азиатские страны имеют более низкие результаты, чем прогнозируемые. число лет обучения в школе на момент проведения исследования PISA: в восточно-европейских и азиатских странах этот показатель ниже, чем в западных странах Изменения образовательных результатов «легко замаскировать», изменяя содержание теста и методы формирования выборки


Слайд 30

31 Распределение заданий в тестах PISA и TIMSS. Результаты стран по разделам математики


Слайд 31

32 Сравнение результатов стран по отдельным заданиям по математики (PISA 2003) Гонконг Россия Задание «Яблони», вопрос M136Q02 Задание «Скорость гоночной машины», вопрос M159Q03


Слайд 32

33 Число лет обучения в школе на момент проведения исследования PISA


Слайд 33

34 Явное разделение стран на две группы: - западные страны - восточно-европейские и азиатские страны Результаты кластерного анализа данных стран по математике (TIMSS-2003)


Слайд 34

35 Изменения в системе оценки качества образования 1992 1995 1998 1999 2000 2001 2003 2006 2009 2010 2020 2001 2003 2009 1998 2004 2006 2010 1995 1999 2003 2007 2000 2003 2006 2009 2001 2006 PIRLS PISA TIMSS


Слайд 35

36 Для дополнительной информации Исследования TIMSS, PIRLS сайт Международной Ассоциации по Оценке Учебных Достижений - IEA (International Association for the Evaluation of Educational Achievement): http://timss.bc.edu/ http://pirls.bc.edu/ ссылка на международную базу данных результатов PIRLS-2006 http://pirls.bc.edu/TIMSS2007/idb_ug.html ссылка на международную базу данных результатов TIMSS-2007 http://timss.bc.edu/pirls2006/user_guide.html Исследование PISA сайт Организации Экономического Сотрудничества и Развития - OECD (Organisation for Economic Co-operation and Development): www.oecd.org ссылки на международную базу данных результатов PISA-2000: http://pisa2000.acer.edu.au/index.php PISA-2003: http://pisa2003.acer.edu.au/index.php PISA-2006: http://pisa2006.acer.edu.au/ Исследовательский институт IEA-ETS Research Institute (IERI). Направление деятельности: совершенствование методологии исследований; подготовка специалистов; распространение результатов. ссылка на сайт: http://www.ierinstitute.org


Слайд 36

Вопросы и комментарии Ковалева Галина Сергеевна, руководитель отдела оценки качества общего среднего образования Института содержания и методов обучения РАО Тел./факс: (499)-246-24-21 e-mail: centeroko@mail.ru сайт: www.centeroko.ru


×

HTML:





Ссылка: