'

Исследование качества инженерного образования в пермских вузах с помощью метода нелинейных главных компонент

Понравилась презентация – покажи это...





Слайд 0

Исследование качества инженерного образования в пермских вузах с помощью метода нелинейных главных компонент ПЕРМСКИЙ ФИЛИАЛ ГУ-ВШЭ 2010 Докладчик: Теплых Григорий Васильевич 2 ноября 2010 года


Слайд 1

Исследование университета Стэнфорда В 2009 году по инициативе университета Стэнфорда проведено исследование качества высшего инженерного образования в странах БРИК. В России оно охватило несколько городов, в т.ч. Пермь – 6 факультетов в 2 вузах (ПГТУ и ПГУ – оба национальные исследовательские университеты) Основной инструмент – анкетирование студентов Получено 339 анкет студентов, отобрано 263 Каждая из анкет содержала порядка 200 вопросов Цель исследования – оценка качества высшего образования в пермских вузах с точки зрения студентов с помощью инструментария снижения пространства категориальных показателей (NLPCA) 2


Слайд 2

3 Стейкхолдеры в высшем образовании Высшее образование – сложный многосторонний процесс, задевающий различные стороны Студенты – объект и субъект процесса, их отношение к образованию связано с психологическими моментами Это наиболее трудный для исследования стейкхолдер Среднее образование Высшее образование Работодатели Государство Общество Студенты


Слайд 3

Измерение качества высшего образования Качество высшего образования – сложная и многосторонняя категория, у неё нет единого определения (Harvey, Green) При этом реальное управление качеством требует точных и эффективных методик его измерения Всё большую популярность приобретают концепции, где необходимо учитывать мнение студентов Высшее образование - «чистый сервис», удовлетворённость студентов имеет большое значение (Oldfield and Baron) Двухуровневая система, платное обучение стимулируют борьбу вузов за студентов (Voss, Gruber, Szmigin, Joseph) Студенты становятся более требовательными к вузам и избирательными в их выборе. Общение студентов даёт при этом сильный опосредованный эффект (Marzo-Navarro). 4


Слайд 4

Проблема оценки качества образования Нет одного или нескольких показателей, которые могли бы однозначно приняты за оценку качества высшего образования студентами Нельзя найти показатель оценки, имеющий при этом естественную количественную природу Относительно простой метод – анкетирование студентов, но и он имеет ряд недостатков Невозможность выделения наиболее важных вопросов, истинная природа качества образования априори неизвестна и может иметь скрытый характер и быть «под вопросами» Множество исследуемых показателей (сформулированных в виде вопросов), имеющих различную статистическую природу Коррелированность показателей между собой 5


Слайд 5

Основная проблема анализа анкет Большинство вопросов анкеты характеризуется не количественными (Numerical), а качественными (категориальными) показателями: Номинальные (Nominal) «Какой уровень образования вы получаете?» «На каком факультете вы учитесь?» Порядковые или ординальные (Ordinal) «Оцените по 5-балльной шкале, насколько изменились ваши профессиональные навыки за время учёбы в вузе?» Однако измерение качества образования означает количественную оценку, что ведёт к необходимости квантификации качественных переменных 6


Слайд 6

Квантификация качественных показателей Квантификация зависит от типа факторов 7 Ordinal Numerical Single nominal multiple nominal Рассматривая качественные факторы по отдельности, нет объективных алгоритмов их квантификации На практике распространены экспертные оценки Однако можно решить проблему в рамках некой другой задачи


Слайд 7

Снижение размерности пространства данных 8 Проблему множества и коррелированности показателей может решить статистический инструментарий снижения размерности Он позволяет перейти от множества показателей, к небольшому числу интегральных индикаторов, сохраняя максимум исходной информации об объектах наблюдения


Слайд 8

Снижение размерности пространства данных Анкетные показатели носят в основном качественный характер (ранговый или номинальный). Обычный МГК работает только т с количественными факторами Как инструмент в социально-экономических исследованиях очень слабое распространение и известность получил метод нелинейных главных компонент (NLPCA), разработанный в рамках систем Gifi в университете Лейдена (1970-1990-е гг.) Метод допускает различные типы показателей NLPCA заданным оптимальным образом не только рассчитывает главные компоненты, но и параллельно квантифицирует качественные переменные 9


Слайд 9

Nonlinear Principal Component Analysis Существует несколько пониманий NLPCA Нейросетевое воплощение МГК с учётом нелинейных функций (Salinelli) Категориальные переменные (в рамках систем Gifi) NLPCA в рамках систем Gifi разработан в рамках проекта «Нелинейный многомерный анализ», в школе Лейдена (de Leeuw). , занимающейся им с 1968 года. Albert Gifi – псевдоним группы Важная особенность Gifi-систем – акцент на категориальную природу данных 10


Слайд 10

Ядро Gifi систем Общая задача – минимизация функции потерь X – матрица (N?p) объектов в свёрнутом p-мерном пространстве (содержит главные компоненты) Yj – матрица (Lj?p) переменной j, содержащая координаты (квантификации) всех Lj её категорий в p-мерном пространстве, j = 1,…,J. Gj – матрица смежности (N?Lj) для j-й исходной переменной, j = 1,…,J. Определяет к какой из категорий относятся каждый объект (Gj = 1 или 0) Матрицы X и Yj априори неизвестны 11


Слайд 11

Категориальные данные в системах Gifi В системах Gifi неизвестны как исходные значения факторов Yj, так и интегральные показатели X Известны только взаимосвязь между ними Gj – на основе отнесения объектов к той или иной категории Кроме того, возможны дополнительные условия: Естественные условия центрированности и ортонормированности Ограничения, связанные с типов переменных 12 Если G km = 1, k-й объект относится к категории m-й переменной J-й


Слайд 12

Ограничения первого порядка Для исключения решения X, Yj = 0 необходимы условия центрированности и ортонормированности Решение задачи позволяет одновременно найти как значения главных компонент (Х), так и значения самих квантифицированных переменных (Yj) Учёт типа переменных заставляет дополнительно наложить ограничение 1-го ранга на матрицы Yj Вектор qj содержит квантификации j-й переменной Вектор ?j содержит веса, с которыми j-я переменная входит в расчёт главных компонент 13


Слайд 13

Ограничения на категориальные переменные Ограничения 1 ранга позволяют учесть тип факторов, что связано с дополнительными ограничениями на qj Количественные переменные Порядковые переменные Простые номинальные переменные. Нет ограничений на qj. Множественные номинальные переменные. В этом случае нет никаких ограничений даже на Yj , т.е. одна переменная может иметь разные квантификации для разных компонент Выбор типа переменной зависит не только от природы данных, но и от логики исследования 14


Слайд 14

Процедура расчёта главных компонент Одновременный расчёт матриц X, Yj и корректировка вектора qj требуют два итерационных цикла в ходе решения задачи Процедура построения компонент (процедуры CatPCA, Princals): Инициализация исходной матрицы X Расчёт матриц Yj Оценка векторов нагрузки ?j Оценка векторов квантификации qj Пересчёт значений qj в зависимости от типа переменной Обновление матриц Yj Расчёт матрицы конечных индикаторов X Центрирование и ортонормализация X Проверка критерия сходимости Подобная процедура имеет общий характер, в частности, можно показать, что в её рамках можно воспроизвести обычный метод главных компонент (если все переменные количественные) 15 Цикл 1 Цикл 2


Слайд 15

Предварительный анализ и выбор факторов Для дальнейшего анализа выбрано 37 показателей, сформированных на основе анкетных вопросов Исходные факторы объединены в три группы : Студенческая активность и успеваемость – объективные в целом характеристики, связанные с учебной успеваемостью, общественной активностью, работой и т.п. (14 факторов) Субъективное отношение к образовательным процессам в вузе. «Насколько качественное образование дают мои специальность, факультет, вуз?» (8 факторов) Оценка изменения знаний, навыков и умений за время обучение в вузе. Группа отражает субъективные ощущения студентов о полученном образовании. (15 факторов) NLPCA проводится отдельно по каждой группе 16


Слайд 16

1 группа факторов (студенческая активность и успеваемость) 17


Слайд 17

Квантификация переменных по 1 группе факторов 18


Слайд 18

1 группа факторов Координаты матрицы нагрузок в пространстве главных компонент 19


Слайд 19

1 группа факторов Разброс объектов наблюдения (студентов) по главным компонентам 20


Слайд 20

2 группа факторов (отношение студента к факультету и процессу обучения на нём) 21


Слайд 21

Квантификация переменных по 2 группе факторов 22


Слайд 22

2 группа факторов Координаты матрицы нагрузок в пространстве главных компонент 23


Слайд 23

24 2 группа факторов Разброс объектов наблюдения (студентов) по главным компонентам


Слайд 24

3 группа факторов (оценками студентами изменения своих знаний, навыков и умений за период обучения) 25


Слайд 25

26 Квантификация переменных по 3 группе факторов


Слайд 26

3 группа факторов Координаты матрицы нагрузок в пространстве главных компонент 27


Слайд 27

28 3 группа факторов Разброс объектов наблюдения (студентов) по главным компонентам


Слайд 28

Расчёт и интерпретация главных компонент 29


Слайд 29

Выводы по интерпретации компонент С позиции отношения к студенческой активности выполняется следующее правило: общая вузовская активность > учёба > общественная деятельность > работа Самый значимый критерий активности студента – его общая вузовская активность. При этом она определяется как некие «сверх усилия» студентов, связывается с их участием в дополнительных программах, необязательной учебной и вне учебной деятельностью и т.д. В плане оценки факультета (ГК 2.1) студентов более всего волнует качество подготовки со стороны работодателей На втором месте по субъективной оценке для студентов стоит момент практичности, специализированности, прикладного характера образования (ГК 2.2 и ГК 3.2) Субъективная оценка студентами качества образования может быть достаточно полно выражена в 2-3 интегральных критериях 30


Слайд 30

Квантификация номинальных переменных 5 переменных (из 1 группы факторов) связаны с участием в необязательных учебных программах (семинары, курсы) По разным факторам получены схожие квантификации Общая зависимость: «1» (участие в программе) > «4» (не было возможности) > «3» (не было желания) > «2» (не знал, что есть в вузе) Соотношения легко объяснимы, переменные прямо отражают студенческую учебную активность 31


Слайд 31

Квантификация ординальных переменных 15 переменных (3 группа факторов) отражают оценку студентами изменения своих знаний, навыков и умений за период обучения Квантификация всех переменных имеет схожий вид – всё большее возрастание значения при росте качественной оценки Студенты, лучше оценивающие результат своего обучения, сильнее отличаются по своему статистическому профилю от «общей массы», нежели студенты с худшей самооценкой 32


Слайд 32

Разброс объектов наблюдения по ГК 2 группа факторов 33 Не наблюдается крупных явных кластеров Обратная связь ГК22 и разброса ГК21 – студенты, делающие акцент на специализации и практичности образования, более умеренны и схожи в оценке факультета и качества образования 3 группа факторов


Слайд 33

Разброс объектов наблюдения по ГК Отсутствие кластеров «хорошо» в статистическом смысле – интегральность компонент позволила в заметной степени устранить влияние дискретности значений отдельных категориальных переменных Компоненты можно использовать как количественные переменные для дальнейших исследований качества образования Дополнительный анализ анализирует связи ГК с внешними характеристиками, не входящими в их расчёт (факультет, демографические признаки и т.п.). Близость объектов и их кластеризация в p-мерном пространстве слабо связана с этими свойствами 34


Слайд 34

Анализ компонент по факультетам. Рейтинг. Компоненты ГК21 и ГК 31 в наибольшей степени связаны с оценкой студентами качества образования на факультете Имеет смысл построить рейтинг факультетов пермских вузов Результаты не вполне согласуются с обыденным мнением: так, выпускники ЭТФ весьма востребованы на рынке труда, а физический факультет малопривлекателен для поступающих Студенты факультетов прикладной технической направленности в целом хуже оценивают качество подготовки по специальности 35


Слайд 35

Анализ ГК по оплате и ступеням обучения Магистры уделяют много внимания учёбе, бакалавры – мало, работе Студенты более высокой ступени обучения хуже оценивают свой факультет и качество образования (ГК.2.1 и ГК.3.1) Студенты в рамках 2-уровневой системы менее склонны (ГК.2.2) акцентировать внимание на практической части своего обучения Коммерческие студенты менее активны и успешны во всех сферах деятельности и склонны оценивать хуже качество образования 36


Слайд 36

ГК в разрезе социальных характеристик Гендерные различия влияют на характер активности студентов, но не влияют на оценку качества образования Заметно влияние семейных условий (образование отца, доход семьи) на оценку значимости практичности образования (ГК.2.2), а также на оценку эффективности полученного образования (ГК.3.1) 37


Слайд 37

Анализ главных компонент в иных аспектах Студенты, работающие по специальности, гораздо лучше оценивают свой факультет и качество своего образования Абитуриенты, набравшие большие баллы по математике и (особенно!) по русскому языку, как более активны в учёбе, так и лучше оценивают свой факультет и качество образования Средняя зарплата студентов слабо связана с оценкой качества образования и больше отражает направленность их активности 38


Слайд 38

Выводы NLPCA (Gifi) удобен для свёртки категориальных данных. Это перспективный метод социально-экономических исследований В настоящей работе осуществлена оценка качества высшего образования в пермских вузах со стороны студентов Выделены основные латентные характеристики качества высшего образования в виде главных компонент На первом места для студента стоит общая оценка образования, на второй – практичность, специализированность подготовки Субъективное отношение студентов к качеству образования в целом описывается 2-3 интегральными характеристиками Проанализирована их связь с исходными факторами и внешними характеристиками студентов Студенты факультетов с более прикладной технической подготовкой оценивают качество образование заметно хуже На оценку качества образования оказываются заметное влияние уровень получаемого образования и семейный фактор, слабое влияние – пол и работа 39


Слайд 39

Перспективы исследования Количественные измерения такой сложной категории как качество высшее образование позволяют продолжить и углубить наши исследования в этой области в дальнейшем Пространственный и межвременной анализ данных Взаимосвязь оценок образования различных стейкхолдеров Связь субъективных оценок с социально-экономической средой и условиями обучения Насколько оценка студентов отражает реальные условия обучения на факультете, возможности и перспективы трудоустройства Влияют ли различия студентов по отношению к качеству образования на их будущую производительность труда, качество человеческого капитала, социально-культурное развитие и т.д. Возможность (для руководства университета) управления субъективным восприятием качества образования 40


×

HTML:





Ссылка: