'

Итоги тестирования в 2009/2010 учебном году и перспективы развития системы тестирования учебных достижений студентов ГУ-ВШЭ Артамонова М.В. martamonova@hse.ru

Понравилась презентация – покажи это...





Слайд 0

Итоги тестирования в 2009/2010 учебном году и перспективы развития системы тестирования учебных достижений студентов ГУ-ВШЭ Артамонова М.В. martamonova@hse.ru


Слайд 1

Где размещены материалы? Вся информация по вопросам тестирования размещается на сайте Отдела методического сопровождения учебного процесса в разделе ТЕСТИРОВАНИЕ http://www.hse.ru/org/hse/aup/6210762/6210771/test


Слайд 2

Локальное нормативное обеспечение тестирования на 2009/2010 уч.г. Приказ № 31-04/1326 от 03.11.2009 г. "Об обеспечении Интернет-тестирования в 2009/2010 учебном году» Приказ № 31-04/1603 от 24.12.2009 г. "О подготовке и проведении аккредитации отдельных образовательных программ Государственного университета – Высшей школы экономики в 2009-2010 учебном году»


Слайд 3

Функциональная схема тестирования


Слайд 4

Виды тестирования: возможности факультетов/отделений ППС – тестирование в рамках самообследования по материалам преподавателей АСТ- тестирование по тестовым базам АСТ-центра ФЭПО – федеральный интернет-экзамен в сфере профессионального образования (Росаккредагентство) Тест-тренажеры – дополнительная услуга НИИ мониторинга качества образования


Слайд 5

Тест-тренажеры - необязательная, но полезная форма самоподготовки, самопроверки для последующих контрольных по срезов всем видам тестирования


Слайд 6

Тест-тренажеры 1370- «подходов»- попыток самоподготовки с учетом организованных на факультетах срезов для подготовки групп к ФЭПО. 3630 – всего тестируемых, с учетом филиалов Ни один преподаватель ГУ-ВШЭ (Москва и филиалы) не воспользовался возможностью тестирования учебной группы.


Слайд 7

Тест-тренажеры Вывод: Рассчитывать на сознательную самоорганизацию процесса тестирования и системы тестирования не приходится. «Никто не делает больше того, к чему его обязывают совесть, профессиональная этика педагога … и четкие указания руководства» М.Н.Скаткин


Слайд 8

Сводная таблица количества тестируемых в 2009/2010 уч. году по всем видам тестирования


Слайд 9

Информация о получении отчетов по тестированию за 2009/2010 («0» - отчетность не предполагалась)


Слайд 10

Диаграмма сравнения результатов по видам тестирования: доля (%)тестируемых получивших положительные результаты


Слайд 11

ФЭПО Федеральный интернет-экзамен в сфере профессионального образования


Слайд 12

Диаграмма результатов тестирования в целом по вузу (ФЭПО 2010)


Слайд 13

Диаграмма обобщенных результатов тестирования по дисциплине Английский язык


Слайд 14

По дисциплине «Информатика» приняли участие 72 студента следующих образовательных программ: - 010500.62 «Прикладная математика и информатика», - 080700.62 «Бизнес-информатика». Результаты тестирования: 70 (97,2%) студентов освоили 100% дидактических единиц дисциплины


Слайд 15

Результат тестирования ООП Философия (бакалавриат) по дисциплине Экономика. Диаграмма ранжирования ООП по показателю освоения дисциплины на соответствие требованиям ГОС в сравнении с вузами РФ (УГН Гуманитарные науки)


Слайд 16

АСТ * с учетом участников факультета менеджмента и МИЭФ проведено 116 срезов (сеансов) тестирования


Слайд 17

Сравнительные данные по видам тестирования


Слайд 18

Диаграмма сравнения результатов тестирования по циклам учебного плана


Слайд 19

Тестирование по материалам ППС Две темы: Получение отчетов о проведении контрольного тестирования и комплектов ТЗ по аккредитуемым в 2010г. образовательным программам. Разработка БТЗ в связи с переходом на новые стандарты


Слайд 20

Аккредитация отдельных образовательных программ в 2010 г. (выдержки из приказа № 31-04/1603 ) 1.1. по направлениям высшего профессионального образования, реализуемым в Государственном университете – Высшей школе экономики: 010500.62 Прикладная математика и информатика 030100.68 Философия 030600.68 Журналистика 030700.68 Международные отношения 1.2. по направлениям и специальностям высшего профессионального образования, реализуемым в Нижегородском филиале Государственного университета - Высшей школы экономики: 010500.62 Прикладная математика и информатика 080506.65 Логистика и управление цепями поставок 1.3. по направлениям высшего профессионального образования, реализуемым в Пермском филиале Государственного университета - Высшей школы экономики: 080500.68 Менеджмент 1.4. по направлениям и специальностям высшего профессионального образования, реализуемым в Санкт-Петербургском филиале Государственного университета - Высшей школы экономики: 030200.62 Политология 030301.65 Психология


Слайд 21

Анализ комплектности тестовых материалов ППС по аккредитуемым в 2010 году образовательным программам


Слайд 22

Анализ комплектности тестовых материалов ППС по аккредитуемым в 2010 году образовательным программам (слайд-2)


Слайд 23

Цитата из тезауруса (неположительные примеры): В отличие от отношений власти, где навязание одной стороной своей воли другой не подразумевает получения на это согласия у последней, отношения политического господства и подчинения в политической социологии Вебера предполагают наличие стремления к повиновению у тех, кому отдаются приказы. В зависимости от того, на основании какого рода мотивов осуществляются отношения господства и подчинения в политическом сообществе, Вебер выделяет три типа легитимного господства: традиционный, харизматический и легально-рациональный.


Слайд 24

Фрагмент Тезауруса (неположительные примеры): основные понятия с определениями и тезисы по дисциплине «Компьютерные технологии в журналистике и научных исследованиях» Основные термины: Автоматизированные измерения Автоматизированные измерения аудитории Автоматизированные измерения аудитории Интернета Автоматизированные измерения аудитории радио Автоматизированные измерения аудитории телевидения Автоматизированная регистрация эфирных событий


Слайд 25

Как доказать, что результат получен? Компетенции, заявленные как результаты обучения, сформированы?


Слайд 26

Образовательная программа это: Заявление о намерениях (соглашение между абитуриентом и вузом о предоставлении некоторых образовательных услуг) Совокупность условий реализации образовательных услуг Результат – подтверждение нового качественного состояния субъекта


Слайд 27

Обоснование достижения результата (сформированности компетенций) Традиционное построение системы оценивания в вузе не содержит нормативно закрепленных процедур формальных измерений приращения качественных изменений субъекта. Тестирование учебных достижений – инструмент оценки достижения результата.


Слайд 28

Образовательный результат – подтверждение нового качественного состояния субъекта (формы, способы, методы) Экспертные: общепринятые, традиционные формы контроля: (итоговые - Итоговый государственный экзамен, защита ВКР; промежуточные – экзамен, зачет, эссе, контрольная, коллоквиум, домашнее задание и пр.) Стандартизированные и объективизированные: тесты (не требующие присутствия, наличия и участия преподавателя) в процессе контроля. Компетентностно-ориентированные задания: методы объективизированные +экспертные. Образовательные компетенции НИУ должны быть подтверждены результатами контрольных мероприятий


Слайд 29

Система контрольно-оценочных материалов Всю систему контрольно-оценочных материалов по дисциплинам, модулям, входящим в определенную образовательную программу, необходимо рассматривать как своего рода договор между педагогами, администрацией вуза и работодателями о том, что первые готовы обеспечить подготовку специалиста определенного качества, а последние удовлетворены его характеристиками.


Слайд 30

Стандартизированные методы контроля Тестирование учебных достижений студентов – инструмент формирования, контроля и обоснования достижения результата (сформированности компетенций)


Слайд 31

Инструмент оценки достижения результата: Согласованность целей участников процесса (администрации, преподавателей, студентов) Мотивация (администрации, преподавателей, студентов) Стандарт разработки, применения Признание внешней средой права применения инструмента (т.е. качества БТЗ НИУ)


Слайд 32

Различия целей использования Moodle и АСТ-тест: Moodle (модульная объектно-ориентированная динамическая учебная среда) — свободная система управления обучением (LMS)  Каждый преподаватель  может воспользоваться возможностями сайта moodle.org для создания своего образовательного ресурса Комфортная информационно-технологическая среда для формирования авторских оригинальных учебных материалов АСТ-тест - адаптивная среда тестирования, программное обеспечение разработки тестовых заданий, их аккумуляции в базы по ООП, администрирования процесса, предъявления результата и его анализа. При наполнении БТЗ преподавателей - инструмент измерения качества образования по образовательной программе в целом, когда отдельные разработки интегрированы в единый комплекс.


Слайд 33

Инструмент оценки достижения результата Тестирование учебных достижений студентов становится КОНТРОЛЬНО-ИЗМЕРИТЕЛЬНЫМ ИНСТРУМЕНТОМ только при едином подходе к стандартизированным правилам разработки, применения и оценки тестовых материалов


Слайд 34

Стандарт разработки, применения инструмента Требует формализации правил разработки тестовых заданий, регламента сбора и формирования университетской базы тестов по ООП, регламента использования в учебном процессе, нормативно закрепленных и признаваемых участниками процесса.


Слайд 35

Разработка инструмента Предпосылки Задачи


Слайд 36

Предпосылки: что есть Проект положения о внедрении системы тестирования в ГУ-ВШЭ (опубликованный, рекомендованный как типовое положение для вузов РФ) Инструкция для разработки комплекта тестовых заданий по учебной дисциплине (для преподавателей, разработчиков тестов) Компьютерная программа: Адаптивная среда тестирования (АСТ-центра) База тестов по 50 учебным дисциплинам ООП ГУ-ВШЭ, заказанных кафедрами в 2009 году (установлена на сервере ГУ-ВШЭ)


Слайд 37

Что сделано Проведены интернет экзамены в форме тестирования (внешние проверки) ФЭПО (Росаккредагентство): 2009 г. (697студентов), 2010 г. (612 студентов) Проведено интернет тестирование по тест-тренажерам НИИ мониторинга качества образования (Росаккредагентство)1037студентов Проведено тестирование по закупленным базам тестов АСТ-центра студентов ГУ-ВШЭ и филиалов 3360 - общее количество студентов, участвовавших в тестировании в 2009/2010 учебном году (без учета повторного тестирования) Собраны тестовые материалы по 10 образовательным программам к аккредитационной проверке вуза в 2009 году (разной комплектации и качества) Закуплено программное приложение Maker, Converter с помощью которого можно формировать собственно университетские банки тестов (соответствующие содержанию образования ФГОС/НИУ)


Слайд 38

Что делать? Для формирования баз тестовых заданий по образовательным программам необходимо разработать комплекты тестовых заданий по дисциплинам учебного плана каждой образовательной программы. В связи с этим предполагается решить задачи: Организационные Содержательные Технические


Слайд 39

Что делать: организационные задачи (взаимодействие участников для ввода тестовых заданий по учебной дисциплине в БТЗ)


Слайд 40

Что делать: технические задачи (взаимодействие участников для ввода тестовых заданий по учебной дисциплине в БТЗ) Установить программное обеспечение Maker, Converter для работы ответственных за тестирование от факультетов в учебных корпусах, размещения факультетов с обеспечением доступа для преподавателей для автономной работы с ПО В ОМСУП организовать ПК для хранения всех БТЗ и тестовых материалов для редактирования и ввода тестовых материалов, последующего размещения на серверах ГУ-ВШЭ Обеспечить сопровождение ДИТ работы ПО и консультативную помощь Обеспечить ввод в программу тестовых материалов по конкретной дисциплине/образовательной программе силами студентов практикантов/учебных ассистентов


Слайд 41

Что делать: Содержательные задачи Тестовые материалы соответствуют тематическим планам программ учебных дисциплин? (Чему учим, то и проверяем) Как проверить в тестовой форме то, что не может быть проверено тестами? (Создать фонд компетентностно-ориентированных заданий - КИМов, которые не могут быть стандартизированы)


Слайд 42

Фонд компетентностно-ориентированных заданий - КИМов Компетентностный формат стандартов ставит педагогическое сообщество перед задачей концептуального обоснования принципов оценивания и создания банка обновленных оценочных средств.


Слайд 43

Создание банка обновленных оценочных средств: Чему учим, то и проверяем Каждый преподаватель по учебному курсу разрабатывает контрольно-измерительные материалы (КИМ) согласно «Требованиям к программам учебных дисциплин» и «Инструкции к разработке комплекта тестовых заданий по учебной дисциплине» http://www.hse.ru/org/hse/aup/6210762/6210771/test Приложение к рабочей учебной программе: фонд контрольно-измерительных стандартизированных тестовых заданий


Слайд 44

Фонд компетентностно-ориентированных заданий - КИМов, которые не могут быть стандартизированы Согласно обозначенным в программе учебной дисциплины формулировкам компетенций, которые должны быть достигнуты, сформированы в результате освоения учебного курса, преподавателем разрабатывается на каждую компетенцию задание, успешное выполнение которого подтверждает достижение заданного в стандарте НИУ уровня компетенции


Слайд 45

В зарубежной практике Университетского образования аналогов подобных разработок нет Мониторинговые исследования Международной ассоциации по оценке учебных достижений IEA Участие в международных сравнительных исследованиях качества образования в России (естественно-математическое образование - IEAP-II, TIMSS-1995, TIMSS-1999, TIMSS-2003, TIMSS-2007, PISA-2000, PISA-2003, PISA-2006; PISA-2009) для 14-15 летних школьников Международное сравнительное исследования «Изучение качества чтения и понимание текста» (Progress in International Reading Literacy Study, PIRLS). Все масштабные исследования проводились на школьниках, а не на студентах!


Слайд 46

Выводы: Новая идеология тестирования: от навязанного контроля к многофункциональному инструменту измерения образовательного процесса и результата Существующие БТЗ могут быть использованы для тренинга, текущего контроля Для объективного контроля разработать тестовые материалы ППС, соответствующие программам учебных дисциплин, создать общеуниверситетскую БТЗ-инструмент измерения


Слайд 47

Благодарим коллег, принявших участие в организации и проведении тестирования на факультетах и отделениях!


Слайд 48

Спасибо за внимание!


×

HTML:





Ссылка: