'

Автоматизированная система контроля уровня знаний в системе дистанционного образования Магистерская диссертация по специальности 05.13.11 ,,Математическое и программное обеспечение вычислительных машин, систем, комплексов и сетей``

Понравилась презентация – покажи это...





Слайд 0

Автоматизированная система контроля уровня знаний в системе дистанционного образования Магистерская диссертация по специальности 05.13.11 ,,Математическое и программное обеспечение вычислительных машин, систем, комплексов и сетей`` Научный руководитель зав.кафедрой ИВТ ГрГУ доцент, к.т.н. Кадан А.М. Петров Сергей Валерьевич


Слайд 1

Актуальность темы определяется 1) Интенсивным характером развития систем дистанционного образования 2) Необходимость создания и внедрения объективных количественных методик оценок качества знаний и качества учебного процесса. 3) Необходимостью достижения экономической эффективности учебного процесса путем автоматизации контроля уровня знаний в ДО. 4) Ролью технологий ДО в освобождения преподавателя от рутинной работы


Слайд 2

Объект исследования системы дистанционного образования Предмет исследования алгоритмы, методы и средства организации контроля знаний в системах дистанционного образования


Слайд 3

Связь работы с научными программами и темами Научно-исследовательские темы кафедры информатики и вычислительной техники ГрГУ: СУ4-03 ,,Разработка и внедрение новых информационных технологий в деятельность университета`` Ф04/3 ,,Развитие информационной структуры математического факультета на основе компьютерных сетей``


Слайд 4

Гипотеза исследования Учет полной информации, содержащейся в ответах испытуемого, использование методов многомерного статистического анализа и компьютерных средств обработки данных позволит получить комплексную объективную оценку уровня знаний


Слайд 5

Цель исследования Разработка инструментальной системы, предназначенной для определения количественной оценки комплексной структуры знаний


Слайд 6

Задачи исследования 1) Разработка алгоритма работы системы 2) Обоснование используемых математических методов 3) Разработка модулей, реализующих основные блоки алгоритма: анализа качества содержания компьютерного теста; автоматического анализа результатов тестирования; адаптивного теста, минимизирующего стоимость контроля знаний. оценки достоверности результата тестирования и оценки устойчивости процедуры тестирования 4) Интеграция компонент системы с существующим ПО ДО 5) Проведение эксперимента по внедрению системы в учебный процесс ГрГУ и анализ его результатов


Слайд 7

Научная новизна и практическая значимость В применении методик многомерного статистистического анализа в области построения алгоритмов автоматического контроля качества образовательного процесса и оценки результатов тестирования уровня знаний В комплексном подходе к тестированию знаний, реализованном в рамках данного исследования, который позволяет повысить возможности компьютерного тестирования знаний до уровня традиционного устного экзамена


Слайд 8

Основные положения работы, выносимые на защиту 1 Возможна эффективная автоматизация методов определения достоверных качественных и количественных оценок результатов тестирования уровня знаний, основывающихся на многомерном статистическом анализе.


Слайд 9

Основные положения работы, выносимые на защиту 2 Автоматизация является адекватным средством, позволяющим сделать объективным этап построения шкалы оценок компонентов теста при его создании


Слайд 10

Основные положения работы, выносимые на защиту 3 Комплексный подход к процессу создания, применения и оценке достоверности контроля знаний позволяет создать условия для переноса центра тяжести учебного процесса на самостоятельную контролируемую работу учащихся


Слайд 11

Основные положения работы, выносимые на защиту 4 Процедуры оценки, основывающиеся на многомерном статистическом анализе, обладают естественно присущими свойствами, позволяющими организовать адаптивную процедуру тестирования знаний


Слайд 12

Апробация результатов и публикации Результаты, полученные в ходе данного исследования применялись для оценки этапного контроля знаний студентов ГрГУ и неоднократно докладывались на заседаниях Советов математического факультета и факультета физической культуры. По теме исследования опубликовано 6 работ.


Слайд 13

Основная идея предлагаемого метода Все имеющиеся способы оценки результатов тестирования ограничиваются использованием лишь части собираемой в ходе тестирования информации. В оценке результатов не используется анализ зависимостей между вариантами ответов разных вопросов теста. С помощью предлагаемого подхода можно увеличить кол-во информации на основании которой вычисляется оценка в десятки раз.


Слайд 14

Входные данные для анализа а) компьютерные тесты, организованные по схеме: б) результаты контрольной группы проверенные традиционным методом контроля знаний в) результаты предъявления вопросов теста испытуемому


Слайд 15

Выходная информация Объективная количественная оценка различных составляющих знаний испытуемого


Слайд 16

Структура оценки знаний испытуемых 1) традиционная оценка 2) желаемая оценка 3) в интерпретации многомерного статистического анализа Общие знания Специальные знания Способности Общие знания Специальные знания Способности Способности Специальные знания Общие знания


Слайд 17

Традиционный метод получения оценки


Слайд 18

Предлагаемый метод получения оценки


Слайд 19

Источник дополнительной информации ! Ответы разных вопросов теста коррелируют между собой, если вопросы относятся к одной компоненте знаний


Слайд 20

Аспекты реализации предлагаемого подхода Вашему вниманию предлагается несколько алгоритмов оценки уровня знаний использующих методы многомерного статистического анализа для учета результатов анализа зависимостей между вариантами ответов в тесте


Слайд 21

Алгоритм объективного формирования теста


Слайд 22

Алгоритм оценки ответа испытуемого


Слайд 23

Алгоритм определения устойчивости оценки знаний


Слайд 24

Алгоритм адаптивного контроля знаний


Слайд 25

Реализация предложенных алгоритмов Методики оценки качества тестов и ответов испытуемых реализованы в программной среде R Решены вопросы интеграции с существующим программным обеспечением поддержки учебного процесса


Слайд 26

APL->S->R


Слайд 27

Пример реализации метода принципиальных компонент на языке R prcomp <- function(x, retx=TRUE, center=TRUE, scale.=FALSE, tol = NULL) { x <- as.matrix(x) x <- scale(x, center = center, scale = scale.) s <- svd(x, nu = 0) if (!is.null(tol)) { rank <- sum(s$d > (s$d[1]*tol)) if (rank < ncol(x)) s$v <- s$v[, 1:rank, drop = FALSE] } s$d <- s$d / sqrt(max(1, nrow(x) - 1)) dimnames(s$v) <- list(colnames(x), paste("PC", seq(len = ncol(s$v)), sep = "")) r <- list(sdev = s$d, rotation = s$v) if (retx) r$x <- x %*% s$v class(r) <- "prcomp“ r }


Слайд 28

Причины использования RDBMS быстрый доступ к выбранной части большой базы данных сохранение данных более структурировано, чем предоставляет возможности прямоугольной модели таблицы фрейма данных R конкурентный доступ множества клиентов, в том числе работающих удаленно, одновременно с разграничением прав доступа к обрабатываемым данным


Слайд 29

Методы интеграции с существующим программным обеспечением ДО Чтение из сокета Использование вызова downlоad.file Интефейс DCOM Интерфейс CORBA


Слайд 30

Пример обращения к данным в среде R с помощью вызова интерфейса CORBA Описание IDL Interface Matrix { long nrow(); long ncol(); double data (in long i, in long); }; Инициализация BOA на порту 2001 CORBAinit(c("-OAport","2001",commandArgs())) Обращение к объекту из среды R: > .Corba("mat","nrov") [1] 3 > .Corba("mat","ncol") [1] 4


Слайд 31

Результаты экспериментов Анализ результатов контрольного среза знаний на 2-ом курсе математического факультета ГрГУ.


Слайд 32

Шаг 1 Первые два выделенные ортогональные фактора содержат 64% всей наблюдаемой дисперсии. Целесообразно проводить анализ используя пространство двух первых выделенных независимых факторов.


Слайд 33

В пространстве первых двух факторов нагрузки наблюдаемых переменных распределились:


Слайд 34

В пространстве значений факторов вычисленных для каждого из сдававших тест наблюдается весь диапазон возможных значений ответов (хотя и не все сочетания за каждой из точек может стоять несколько студентов получивших одинаковый комплект оценок). Существует одна максимальная оценка и одна минимальная оценка, две противоположные вершины ромба.


Слайд 35

Была построена двумерная гистограмму которая отражает особенности ответов на вопросы теста во всей группе второкурсников сдававших тест и особенности групп.


Слайд 36

Выводы Наибольшая доля низких оценок во второй группе. Первая группа середнячки. Первая вторая и пятая группа демонстрирует широкий разброс в направлении «Алгебра -- Геометрия». Пятая группа демонстрирует в целом повышенный уровень знаний. Третья группа резко «алгебраизирована» и демонстрирует в целом высокий уровень оценок. В меньшей степени выражена «алгебраизация» в четвертой группе, оценки средние.


Слайд 37

Анализ результатов контроля качества учебного процесса.


Слайд 38

Анкета состояла из 18 первичных оценок. Вид функциональной зависимости доли дисперсии выделенного первичного фактора от его порядкового номера четко свидетельствует о наличии простой факторной структуры с числом первичных факторов равным двум.


Слайд 39

Первичные оценки равноудалены от центра координат по причине равносильности и достаточно равномерно образуют вклады в значения обоих факторов.


Слайд 40

Требовательность жесткость Доброже-лательность Доступность, понятность предмета Сложность предмета


Слайд 41

С помощью процедур контроля качества можно выделить объективно пределы “нормальной силы” воздействия в отношениях студент-преподаватель.


Слайд 42

Выводы 1 Процедура оценки качества теста знаний заключается в проверке способности теста дифференцировать опрашиваемую аудиторию по заданным критериям отбора. Реализация данного положения формально сводится к процедуре применения, полученной в ходе дискриминантного анализа контрольной группы, дискриминантной функции к результатам тестирования.


Слайд 43

Выводы 2 Решение проблемы объективного и достоверного тестирования уровня знаний можно решить оценкой "образа знаний" тестируемого, привлекая при этом полное сочетание информации даваемой тестом в целом; процедура тестирования при этом строго формализована, и результат однозначно следует из отмеченных ответов проверяемого.


Слайд 44

Выводы 3 Адаптивная процедура тестирования может быть основана на пошаговом выборе оптимального вопроса (дистрактора) в ходе дискриминантного анализа во время ответа тестируемого.


Слайд 45

Выводы 4 Применение процедуры объективного тестирования, в сочетании с дискриминантным анализом на этапе проверки и факторным анализом на этапе создания теста, позволяет перейти от оценки знаний к оценке навыков и умений, выявить имеет ли испытуемый целостную картину знаний.


Слайд 46

Спасибо за внимание


×

HTML:





Ссылка: