'

Методы оценки знаний и навыков студентов

Понравилась презентация – покажи это...





Слайд 0

1 Методы оценки знаний и навыков студентов Семинар-обучение «Инновационные методы обучения в медицинском образовании» Государственный медицинский университет Доцент Керимкулова Айман Сайлаубековна 21.12.2015


Слайд 1

21.12.2015 2 Простая модель способностей Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Знать – базовые знания выполнения навыка Показать как – умение показывать навык Знать, как применить на практике Сделать – практическое выполнение Письменная, устная или оценка, полученная при компьютерном тестировании Оценка за выполнение или активное участие


Слайд 2

21.12.2015 3 Самостоятельный ответ Модифицированный вопрос-эссе (MEQ - Multiply Essay Questions) Сочинение (краткое и длинное) Практическое занятие Краткий ответ Моделирование ситуаций в письменном виде


Слайд 3

21.12.2015 4 Устный экзамен Устный экзамен на произвольные вопросы. Устный экзамен на структурированные вопросы. Устный экзамен с письменными ответами. Устный экзамен с частичным разбором больного. Устный экзамен с полным разбором больного.


Слайд 4

5 Модифицированный вопрос-эссе (MEQ - Multiply Essay Questions) Устный экзамен, студенту предлагается задание и прилагающийся к нему перечень вопросов на которые он должен ответить. Представляет собой решение задачи с последовательным раскрытием условий. Оценивается: Умение собрать полную информацию о больном и его состоянии; Взаимоотношения доктор- пациент; Смог ли доктор понять все явные и скрытые проблемы пациента; Ведение больного: тактика лечения, дальнейшее наблюдение, повторный визит; Профилактика. Используется пятибалльная система оценок. 21.12.2015


Слайд 5

21.12.2015 6 Оценка практических навыков Лабораторные работы OSCE (со станциями проверки навыков) Мини-клинический экзамен Продолжительный случай Ведение дневников Портфолио Клинические записи Наблюдение Другое


Слайд 6

21.12.2015 7 Оценка навыков: сделать Непрямые методы Анализ записей в истории болезни Анализ записей о деятельности врача Анализ выписанных рецептов Прямые методы Клинический рейтинг Стандартизованные пациенты Оценка видеозаписей Отзывы пациентов Отзывы других студентов Наблюдение за клинической работой Мини-клинический экзамен………


Слайд 7

21.12.2015 8 Мини-клинический экзамен (Norcini, 1995) Краткое наблюдение за клинической работой с пациентом (10-20 минут) Устная оценка Заполнение стандартных форм Повторяется по крайней мере 4 раза разными экзаменаторами (см. http://www.abim.org/minicex/)


Слайд 8

21.12.2015 9 Ниже требуемого уровня 1 2 Почти на требуемом уровне 3 Соответствует требуемому уровню 4 Выше требуемого уровня 5 6 Мини-клинический экзамен


Слайд 9

21.12.2015 10 Удовлетворительное выполнение навыков 7 категорий Расспрос Физикальное обследование Навыки общения Клиническое мышление Профессионализм Организованность/ эффективность Общая оценка ухода за больным Мини-клинический экзамен


Слайд 10

21.12.2015 11 Если ли области, где сделано очень хорошо Что следует улучшить Оценка удовлетворенностью результатами по 10-бальной системе Время затраченное на экзамен Время затраченное на обратную связь Мини-клинический экзамен


Слайд 11

21.12.2015 12 «Продолжительный случай» Используется в конце обучения по клиническим дисциплинам. Студент работает с реальным пациентом в течение 45 минут. Преподаватель наблюдает со стороны, выставляет оценку и предоставляет обратную связь. Это не совсем достоверный случай, т.к. нет стандартизации. Для увеличения достоверности необходимо провести несколько раз, в конце суммируется оценка.


Слайд 12

13 Метод «тройного прыжка» - оценивается клиническое мышление, умение предвидеть клиническую ситуацию, способность определить требуемую дополнительно информацию и применить свои знания для решения проблемы пациента (3 раза в год). Метод многокомпонентной оценки Студенты проходят 3 этапа: 1 этап представляется стандартизированный пациент (может быть видеосъемка) или информация о клинической ситуации или показывают больного или предлагают описание анализа, рентгенограмму, ЭКГ. Устно или письменно объясняют ситуацию. Выясняют какая информация необходима дополнительно для постановки предварительного диагноза. 2 этап – через 24-48 ч. Предоставляется время для сбора дополнительной информации на возникшие у него вопросы, включает работу в библиотеке и дальнейшая оценка состояния больного. 3 этап – работа с преподавателем, продолжение письменного или устного экзамена, проведение диф.диагноза, выбора тактики ведения и лечения больного.


Слайд 13

21.12.2015 14 Наблюдение за клинической работой Неоднократные прямые наблюдения за клинической работой студента, используя стандартные формы оценки, заполненные подходящим наблюдателем (клиницистом, медсестрой, другим студентом и т.д.)


Слайд 14

21.12.2015 15 ОСКЭ OSCE ЧТО ЭТО? О бъективный O bjective С труктурированный S tructured К линический C linical Э кзамен E xamination


Слайд 15

21.12.2015 16 ОСКЭ Детализированное, фиксированное по времени шаговый опрос студентов, исключающий элемент субъективизма со стороны экзаменатора


Слайд 16

21.12.2015 17 Метод OSCE Станция


Слайд 17

21.12.2015 18 ОСКЭ ОСКЭ стандартизирует как сами знания преподавателей, так и оценку знаний студентов устраняет субъективизм оценки способствует выработке автоматизма в выполнении врачебный манипуляций максимально приближает к реальной клинической ситуации мобилизует на быстрое решение проблемы


Слайд 18

21.12.2015 19 Организация и планирование оценки


Слайд 19

Матрица оценки


Слайд 20

21.12.2015 21 Методы оценки знаний


Слайд 21

21.12.2015 22 Планирование оценки: «Шаблон» Компетентности Время Методы преподавания Во время занятий / Вне занятий


Слайд 22

«Шаблон» Задачи


Слайд 23

21.12.2015 24 МЕТОДЫ ОЦЕНКИ Все методы оценки имеют ограничения и ни один метод не может полностью оценить знания и навыки Рекомендуется использование нескольких методов оценки


Слайд 24

21.12.2015 25 Прогрессивное тестирование Результаты одного теста Faculty of Medicine Maastricht University


Слайд 25

21.12.2015 26 Mean correct scores on the Progress Test from a number of Maastricht student cohorts (black lines) and reference group of family physicians in training (blue line) Прогрессивное тестирование Тестирование в Maastricht ‘77 - ‘88 Faculty of Medicine Maastricht University


Слайд 26

21.12.2015 27 Оценить успеваемость Оценить способности Выдача сертификата Перевод на следующий курс Обратная связь Определить уровень непонимания Определить сильные/ слабые стороны Изменить стиль преподавания Разработать план обучения Преподаватель Преподаватель/студент Периодически и в конце обучения Часто/постоянно Окончательное решение Улучшение Итоговая Промежуточная Оценка для улучшения результатов обучения


Слайд 27

Аспекты хорошего вопроса Надежность (reliability) – достоверность отражает стабильность результатов теста. Выражает степень достоверности получаемых результатов. Показывает степень точного соответствия полученной оценки действительным способностям студента. Это устойчивость результатов, полученных при повторной проверке, т.е. тест должен показывать одинаковые результаты при повторном его использовании на аналогичном контингенте студентов. Сложность экзамена (level of difficulty) Распределение опций (distribution of option) Качество теста – определяет Дискриминационный индекс (discrimination index) , определение чувствительного вопроса. СГМА, доцент Керимкулова А.С. 28


Слайд 28

21.12.2015 29 Факторы, влияющие на надежность оценки Продолжительность тестирования – длительность общения с экзаменатором способствует более объективной оценке ответа; Разброс оценочной шкалы должен быть по возможности большим, что увеличивает точность оценки; Количество тем влияет на качество проверки пройденного материала – чем меньше тем, тем больше вопросов можно проверить, и не пропустить важные из них; Уровень сложности определит уровень усвоения знаний и навыков, правильные ответы на сложные вопросы покажут высокий уровень усвоения знаний; Объективность оценки определяется соответствием полученной оценки действительным знаниям и навыкам студента, достигается она при высокой надежности метода оценки; Количество экзаменаторов – чем больше экзаменаторов, тем выше надежность метода и точность оценки.


Слайд 29

21.12.2015 30 Достоверность Связана с «обобщаемостью» Насколько данная выборка (набор элементов) представляет генеральную совокупность (общий набор подобных случаев)?


Слайд 30

21.12.2015 31 Достоверность: случайные факторы Изменения в физическом и психическом состоянии человека, подвергающегося оценке Изменения внешних условий


Слайд 31

21.12.2015 32 Достоверность: контролируемые факторы Различия в конкретных заданиях, предъявляемых тестируемому Менее различающиеся задания = более высокая достоверность Различия между экзаменаторами Продолжительность экзамена


Слайд 32

33 Достоверность как функция продолжительности экзамена Продол- житель- ность, ч. 1 2 4 8 MCQ1 0.62 0.76 0.93 0.93 Эссе по исто- рии бо- лезни2 0.68 0.73 0.84 0.82 Устный экзамен3 0.50 0.69 0.82 0.90 Длин- ный случай4 0.60 0.75 0.86 0.90 OSCE5 0.54 0.69 0.82 0.90 Видео- оценка7 0.62 0.76 0.93 0.93 1Norcini et al., 1985 2Stalenhoef-Halling et al., 1990 3Swanson, 1987 4Wass et al., 2001 5Van der Vleuten, 1988 6Norcini et al., 1999 Станд. паци- енты8 0.61 0.76 0.82 0.86 Mini CEX6 0.73 0.84 0.92 0.96 7Ram et al., 1999 8Gorter, 2002 21.12.2015


Слайд 33

21.12.2015 34 Валидность Что на самом деле «измеряет» результат теста? Проверяются заключения о значении и интерпретации результатов теста Доказательства интерпретации и использования результатов теста Дал ли экзамен нам то, что мы хотели измерить


Слайд 34

21.12.2015 35 Валидность Валидность – это степень «Какова степень доказательности результатов тестирования?» Каждое заключение может нуждаться в своих доказательствах


Слайд 35

21.12.2015 36 Подведение итогов Достоверность отражает стабильность результатов теста Валидность: доказательны ли результаты тестирования?


Слайд 36

21.12.2015 37 Заключение Оценка – это больше проблема организации обучения, чем психометрии (т.е. каким образом использовать стратегически оценку для достижения цели обучения) Оценка требует тщательного планирования и мониторинга Эффективна в сочетании со всей пирамидой способностей Необходимо использование нескольких, а не одного метода оценки Cees van der Vleuten


Слайд 37

21.12.2015 38 Путь студентов к достаточным или даже отличным знаниям будет менее трудным, если они будут иметь постоянную информацию о своих достижениях в учебе.


Слайд 38


Слайд 39

21.12.2015 40 СПАСИБО ЗА ВНИМАНИЕ!


Слайд 40

21.12.2015 41


×

HTML:





Ссылка: