'

Обзор метода статистической обработки результатов тестирования знаний

Понравилась презентация – покажи это...





Слайд 0

Обзор метода статистической обработки результатов тестирования знаний презентация по дисциплине «Дополнительные главы математики» Студент: Пиликов Д.А. Группа: АММ-06 Преподаватели: к.т.н, доцент Казанская О.В д.т.н, профессор Губарев В.В. Тема магистерской диссертации: Разработка и исследование автоматизированной системы мониторинга переподготовки кадров на предприятии Руководитель: д.т.н, профессор Губарев В.В. Новосибирск, 2007


Слайд 1

Список литературы 1 Челышкова М. Б. Теориия и практика конструирования педагогических тестов: Учеб. пособие. – Москва.: Логос, 2002. – 432 с. 2 Педагогический тест: этапы и особенности конструирова­ния и использования: учеб. пособие / С. В. Клишина, Н. А. Гулюкина. – 2-е изд., испр. и доп. – Новосибирск: Изд-во НГТУ, 2006. – 148 с. 3 Статистическая обработка результатов тестирования [Электронный ресурс]: сборник статей. –Тула., 2003. –Режим доступа: www.tiei.ru/ppage/pages/57/HTML/Podsevalov.htm - Свободный.


Слайд 2

Введение Тест - специально подготовленный и прошедший экспериментальную проверку набор заданий, позволяющий объективно и надежно оценить исследуемые качества и свойства на основе использования экспертных оценок и статистических методов /1/. Для анализа качества теста и его коррекции используется математико- статистическая обработка результатов.


Слайд 3

Постановка задачи обзора Исходные данные: Результаты тестирования группы проверяемых на одних и тех же тестовых заданиях, либо на тестах схожих по структуре и сложности. Необходимо: Использовать метод математико-статистической обработки для анализа качества теста и его коррекции исходя из полученных расчётов по заданным критериям качества. Этапы обработки результатов теста Сбор эмпирических данных тестирования (проведение теста и составление матрицы результатов); Статистическая обработка результатов тестирования Анализ качества теста.


Слайд 4

Математическая модель зависимости результатов от сложности заданий 1958 г. Г. Раш: двухпараметрическая модель зависимости тестового результата i-го испытуемого в j-м задание, где а) вероятности правильных ответов: б) вероятности неправильных ответов где xij = 1, если ответ i-го испытуемого на j-е задание правильный; xij = 0, если ответ i-го испытуемого на j-е задание неправильный; , уровень знаний i-го испытуемого; , уровень трудности j-го задания; pij – вероятность правильного ответа i-го испытуемого на j-е задание; qij – вероятность неправильного ответа i-го испытуемого на j-е задание, равная, как принято в теории вероятностей, q = 1 – p.


Слайд 5

Матрица результатов тестирования Результаты тестирования представляются в виде матрицы размерами М ? N, где М – число заданий в тесте, N – число испытуемых Wj = N – Rj (1? j ? M); dj = pj qj


Слайд 6

– Rj – количество правильных ответов по каждому заданию – Wj – количество неправильных ответов по каждому заданию – pj – доля правильных ответов по каждому заданию всеми испытуемыми – qj – доля неправильных ответов по каждому заданию всеми испытуемыми – dj – дисперсия каждого задания – ?i – среднее квадратическое отклонение по каждому заданию Матрица результатов тестирования Wj = N – Rj (1? j ? M); dj = pj qj – Ri – тестовый балл i-го испытуемого (кол-во единиц в соответствующей строке) – pi – доля правильных ответов испытуемого по всем заданиям теста – qi – доля неправильных ответов испытуемого по всем заданиям теста:


Слайд 7

Матрица результатов тестирования и предварительные выводы о тесте Характеристики по всему тесту: – суммарный тестовый балл всех испытуемых: – среднее арифметическое индивидуальных тестовых баллов испытуемых: Оценка качества теста проводится по результатам апробации теста на репрезентативной выборке тестируемых. Где Ri – тестовый балл i-го испытуемого, N – количество испытуемых


Слайд 8

Матрица результатов тестирования и предварительные выводы о тесте Для оценки вариации тестовых баллов по всему тесту используются три показателя. 1. Сумма квадратов отклонений от среднего: 2. Дисперсия тестовых баллов испытуемых: 3. Стандартное (среднее квадратическое) отклонение:


Слайд 9

Предварительные выводы о тесте Кривая Гаусса (распределение индивидуальных баллов испытуемых) f(x) – плотность распределения случайной величины x – результатов тестирования Связь распределения индивидуальных баллов и трудности заданий теста


Слайд 10

Предварительные выводы о тесте Из-за сложности проверки нормальности распределения, на практике применяют величину среднего квадратического отклонения. Если , то распределение близко к нормальному (гауссовскому) /2/


Слайд 11

Графическое представление результатов тестирования


Слайд 12

Корреляционный анализ результатов


Слайд 13

Если , следовательно скорее всего присутствует предметная связь между заданиями Если < 0,3 (коэффициент корреляции каждого задания с суммарным тестовым балом испытуемых), следовательно такие задания требуют доработки Если < 0, некорректность содержания заданий Корреляционный анализ результатов На основании корреляционного анализа можно сделать следующие выводы /2/:


Слайд 14

Оценка качества теста Надёжность Коэффициентов надежности теста – rнт


Слайд 15

Оценка качества теста Надёжность Характеристики тестов, используемые как критерий качества по надёжности приведены в таблице /2/.


Слайд 16

Выводы В ходе данной работы был рассмотрен метод статистической обработки результатов тестов, подходящий для дихотомических шкал (0,1; «да», «нет»; «правильно», «не правильно»); описан математический аппарат, необходимый для корректировки тестовых заданий в тесте. На основании пробного тестирования, проведённого среди 30 испытуемых, были собраны данные по результатам, построены гистограммы долей правильных ответов и распределения количества испытуемых, вычислены числовые характеристики (среднего статистического, дисперсии и среднего квадратического отклонения), вычислена несколькими методами и проанализирована надёжность тестовых заданий. По результатам вычисления сделаны выводы о качестве теста из которых следовало то, что тест требует доработки. Планируется: рассмотреть методы анализа качества тестов для других шкал; рассмотреть различные виды тестирования (адаптивное); рассмотреть возможности применения описанных методов обработки для других видов тестирования.


×

HTML:





Ссылка: