'

Инструмент оценки информационно-коммуникационной компетентности выпускников основной школы Тестирование компетентности в области использования информационно-коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях

Понравилась презентация – покажи это...





Слайд 0

Учебный курс «Информирование различных целевых групп о результатах оценки учебных достижений школьников» 27-30 сентября 2011 года, г. Москва Инструмент оценки информационно-коммуникационной компетентности выпускников основной школы Тестирование компетентности в области использования информационно-коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева


Слайд 1

Рост образовательных результатов при инвестициях в образовательные результаты Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (World Bank Policy Research Working Paper 4122, February 2007). Десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране 2


Слайд 2

Содержание презентации Оценка ИКТ- компетентности: цели, задачи, целевая аудитория Методика тестирования ИКТ- компетентности Спецификация теста Разработка тестовых заданий: пример Система автоматической обработки результатов тестирования Анализ результатов тестирования 3


Слайд 3

Образование в ХХI веке – образование в век изменений Информатизация – процесс изменения содержания, методов и организационных форм учебной работы для подготовки будущих жителей информационного общества Изменение педагогических практик Образовательные стандарты XXI века Образовательные результаты XXI века ИКТ насыщенная образовательная среда, проблема 1:1… Опора на новые ресурсы Контентно насыщенная образовательная среда Цифровые учебно-методические материалы Нормативная база работы ОУ в ИКТ насыщенной образовательной среде 4


Слайд 4

Почему образовательные результаты XXI века? Какие навыки и характеристики приобретут большую значимость в ближайшие пять лет? 5


Слайд 5

Цели тестирования ИКТ-компетентности Цель: обеспечить реалистичную и разностороннюю оценку ИКТ-компетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИКТ-компетентности. обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе. оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения. Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники) 6


Слайд 6

Существующие тесты оценки ИКТ-компетентности (грамотности) 7


Слайд 7

Существующие тесты оценки ИКТ-компетентности (грамотности) Большая часть существующих тестов измеряет техническую грамотность и основаны на формате вопрос-ответ (не жизненные ситуации), для оценки результатов используют простые баллы или IRT статистику. QCA Key Stage 3 ICT Test (британская национальная система тестирования ИКТ-грамотности, измеряет знания, навыки и умение решать проблемы при использовании ИКТ, основан на сценарии, формирующее оценивание, закрывается из-за низкой валидности) iCritical Thinking, бывшее iSkills, ETS (измеряет ИКТ грамотность студентов вузов, основана на сценариях, оценка результатов – IRT) Australian National Assessment Program – ICT Literacy (выборочное исследование, основано на сценариях, оценка результатов – IRT) Internet and Computing Core Certification - IC3 (понимание как работает компьютер, знание ключевых программ и работа с Интернетом) Information Literacy Test (когнитивный, в форме вопрос-ответ, т.е.не основан на сценарии, результаты только на групповом уровне) International Computer Drivers License (измеряет технические знания, в формате вопрос-ответ на бумаге Standardized Assessment of information literacy skills – SAILS (измеряет информационную грамотность ВНЕ среды ИКТ, форма вопрос-ответ на бумаге или через web- интерфейс) TRAILS: Tool for Real-time Assessment of Information Literacy Skills (измеряет информационную грамотность, в форме вопрос-ответ, отдельно по 5 категориям навыков) 8


Слайд 8

Преимущества данной системы тестирования Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов Использование ситуаций из реальной жизни при разработке сценария для тестовых заданий Акцент на оценке НЕ уровня сформированных технологических навыков и навыков владения учащимися определенным программным продуктом или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире Обязательно условие: соблюдение этических и правовых норм при использовании цифровых технологий и инструментов/средств коммуникации. Это важно для формирования социально-ответственной личности Автоматическая обработка результатов тестирования, основанная на использовании сетей Байеса 9


Слайд 9

ИКТ- компетентность: определение и составляющие 10


Слайд 10

Что такое ИКТ-компетентность ИКТ- компетентность – это способность использовать цифровые технологии, инструменты коммуникации и/или сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы функционировать в обществе, основанном на знании/чтобы успешно жить и трудиться в условиях современного информационного общества . 11


Слайд 11

Составляющие ИКТ-компетентности На основании определения American Library Association 12


Слайд 12

Составляющие ИКТ-компетентности Определение: умение сформулировать запрос таким образом, чтобы он способствовал поиску информации Доступ: умение/способность найти и собрать (retrieve – восстанавливать, исправлять) информацию из различных источников Управление: умение применить существующую организационную или классификационную схемы (для структурирования, размещения/сохранения информации и быстрого ее поиска в дальнейшем) Интеграция: умение интерпретировать и представлять/осмыслять (representing) информацию - вычленять самое главное, сравнивать или противопоставлять информацию, полученную из нескольких источников Оценка: умение составить мнение о качестве, нужности/релевантности, полезности или эффективности информации Создание: умение создавать или адаптировать информацию с учетом конкретной потребности/задачи, выражать главную мысль и приводить информацию, подтверждающую ее Передача: умение адаптировать информацию для конкретной аудитории 13


Слайд 13

Спецификация теста Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социо-культурных и др.), с которыми человек сталкивается в течение всей жизни (7 ИКТ-компетенций) При выполнении заданий от участника тестирования потребуется: осуществлять поиск проводить различные действия с данными и передавать их отбирать и анализировать информацию создавать или выбирать презентационные материалы для конкретной целевой аудитории принимать решения о правомерности и этичности использовании полученной информации. 14


Слайд 14

Тест включает задания разные по степени СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения Тест состоит из 16 заданий, разных по степени сложности и продолжительности выполнения. Общая продолжительность тестирования - не более 2-х академических часов 15


Слайд 15

При выполнении теста используются различные ИНСТРУМЕНТЫ 16


Слайд 16

Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИКТ-компетентности 17


Слайд 17

Компетенции и как их можно измерить Тест, построенный на системе доказательств Компетенция/Компетентность – это то, что мы хотим измерить Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей 18


Слайд 18

Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИКТ-компетентности Что мы измеряем? Уровень ИКТ- компетентности (7 ИКТ- компетенций) Как мы можем оценить уровень ИКТ-компетентности? Как мы можем обнаружить/судить об… Через систему измеряемых доказательств Как мы измеряем уровень ИКТ-компетентности? Через систему тестовых заданий 19


Слайд 19

Пример тестового задания Задание «Работа с почтовым ящиком/ электронной почтой» Данное задание измеряет/определяет уровень компетенции «Управление информацией» с помощью реальной жизненной ситуации: необходимо разобрать/рассортировать электронные письма, накопившиеся в большом количестве в почтовом ящике за время каникул. 20


Слайд 20

Шаг 1. Ситуация 21


Слайд 21

Шаг 2. Интерфейс приложения 22


Слайд 22

Шаг 3. Инструкция по выполнению задания 23


Слайд 23

Шаг 4. Выполнение задания 24


Слайд 24

Шаг 5. Завершение задания 25


Слайд 25

Тестовое задание – обработка результатов «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования Измеряемая компетенция: УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): Точность в управлении информацией Сохранение информации для того, чтобы ее не потерять Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную №1: Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ». 26


Слайд 26

Наблюдаемые признаки/Измеряемые переменные (Observables) 27


Слайд 27

Автоматическая обработка результатов тестирования: сети Байеса 28


Слайд 28

Профили, необходимые для классификации компетенций 29


Слайд 29

Результаты тестирования школьников Результаты тестирования: ПРОДВИНУТЫЙ: 46% ВЫШЕ БАЗОВОГО: 52% БАЗОВЫЙ: 0,9% НИЖЕ БАЗОВОГО: 1% ФОРМИРУЮЩИЙСЯ: 0,1% 30


Слайд 30

Способ проведения тестирования (Test Delivery) Доступ к тестовой системе осуществляется через Интернет или с локального сервера (например, со школьного сервера, или же с любого компьютера, который подключен к локальной сети и в который загружена тестовая система). Технология протокола удаленного рабочего стола (Remote Desktop Protocol technology) Результаты отсылаются на сервер по защищенному каналу (securely) и хранятся там в закрытом доступе/ и доступ к ним ограничен(privately). 31


Слайд 31

Общая схема проведения тестирования 32


Слайд 32

Анализ результатов тестирования/ Отчет о результатах тестирования Отчеты о результатах тестирования доступны по Интернету/ можно посмотреть в Интернете (на закрытом веб-сайте/на веб-сайте с ограниченным доступом). Отчеты представлены как индивидуальные, т.е. на отдельного участника тестирования, так и групповые, т.е. на группу в целом. Планируется разработать специальный инструмент для анализа результатов тестирования в режиме on-line. С его помощью можно будет, например, сравнивать результаты разных групп школьников, разных школ, регионов и т.д. 33


Слайд 33

Некоторые результаты реализации аналогичного проекта в России ИКТ-тестирование 9-классников Республики Татарстан 34


Слайд 34

Методика формирования выборки учащихся Общее количество учащихся, обучающихся в девятых классах, 37854 Требования к проведению тестирования: Надёжность = 95% Доверительный интервал = 5% Вариант 1 Прямая выборка 380 учащихся Ограничения чрезмерные организационные затраты – учащиеся выбираются из более, чем 250 школ республики. Вариант 2 Выборка учащихся формируется из отдельных классов в ОУ РТ Случайный выбор ОУ, из расчёта на то, что в тестировании примет участие лишь один класс К тестированию приглашено 422 учащихся (с резервом при 90% явке ) 35


Слайд 35

Выборка учащихся для оценки ИКТ 36 Оценка ИКТ компетентности учащихся 9 классов Республики Татарстан с 22 по 26 ноября 2010 года


Слайд 36

Сводные результаты обработки данных 37


Слайд 37

Что думают школьники о тестировании ИКТ- компетентности 38


Слайд 38

Спасибо за внимание! Авдеева С.М. 39


×

HTML:





Ссылка: