'

Международный опыт оценки деятельности университетов: преимущества и ограничения методологий ранжирования

Понравилась презентация – покажи это...





Слайд 0

Международный опыт оценки деятельности университетов: преимущества и ограничения методологий ранжирования Перфильева О.В. Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» 2011-2013 гг. Развитие профессионального образования в Российской Федерации – основа для модернизации экономики, стабилизации и укрепления социально-общественных отношений Москва 12 апреля 2012 г.


Слайд 1

2 Глобальные рейтинги Критика не снижает влияния используют в основном индикаторы, оценивающие значение и влияние исследований единый агрегированный показатель не дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона) набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности ориентированы на фундаментальные исследования не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов рейтинги представляют собой упрощенную картину сложной реальности


Слайд 2

3 Развитие систем ранжирования университетов Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, 2011. P.14.


Слайд 3

4 Типы анализируемых методологий (19)


Слайд 4

5 Академическая производительность (Per capita) 10% Качество образования (Quality of Education) 10% Качество профессорско-преподавательского состава (Quality of Faculty) 40% Результаты исследований (Research Output) 40% The Academic Ranking of World Universities *Источник: Academic Ranking of World Universities - 2011 http://www.shanghairanking.com/ARWU2011.html


Слайд 5

6 Глобальные одномерные ранжирования: несбалансированность показателей Доля иностранных ппс в общей численности ППС – 2,5% Доля иностранных студентов в общей численности студентов – 2,5% Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5% Репутационная оценка преподавания – 15% Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6% Соотношение принятых студентов к кол-ву ППС университета – 4,5% Доход на одного ППС – 2,25% Соотношение присужденных докторских степеней к бакалаврам – 2,25% Репутационная оценка научно-исследовательской деятельности – 18% Доход от исследований (взвешенный) – 6% Кол-во статей на одного ППС и одного исследователя – 6% Смешение в сторону оценки научно-исследовательской деятельности, в совокупности с индикатором цитирования: 60%


Слайд 6

7 Глобальные одномерные ранжирования: несбалансированность показателей Смешение в сторону оценки академической репутации и качества преподавания: в совокупности 60%


Слайд 7

8 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения


Слайд 8

9 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения Национальный рейтинг Times


Слайд 9

10 Национальные одномерные ранжирования: несбалансированность показателей? Среди лидеров рейтингов оказываются одни и те же университеты


Слайд 10

11 Основные проблемы одномерных ранжирований Проблема надежности: Опора на репутационные оценки определяет недоверие к процедурам проведения глобальных, международных или общенациональных опросов, построения выборочной совокупности, к получаемым результатам Проблема релевантности: Чаще используются индикаторы ресурсов, но не результатов деятельности вузов. Некоторые показатели вызывают сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации необоснованно занижены, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня». Процедура присвоения весов индикаторам часто критикуется экспертами за недостаточную научную обоснованность Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющим высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге Проблема информативности: одномерные ранжирования не оценивают всего многообразия вузов; из всех функций вузов чаще всего оцениваются только функции обучения/преподавания и научно-исследовательской деятельности. В результате потребитель получает ограниченную информацию о деятельности вузов


Слайд 11

12 Места российских вузов в глобальных рейтингах


Слайд 12

13 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings


Слайд 13

14 Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристики качества Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.


Слайд 14

15 Критерии IREG и веса основных и стандартных критериев


Слайд 15

16 Критерии IREG и веса основных и стандартных критериев


Слайд 16

17 Критерии IREG и веса основных и стандартных критериев


Слайд 17

18 Оценка методологий относительно критериев IREG Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию


Слайд 18

19


Слайд 19

20 Оценка методологий относительно критериев IREG Изменение положения методологий с учетом скорректированного среднего


Слайд 20

21 Ограничения методологий, удовлетворяющих критериям IREG (на примере U-multirank, CHE University) Ресурсоемкость Недостаточность сопоставимых данных по деятельности различных университетов Сложность применяемых индикаторов и процедур их сбора Сложность обеспечения объективной оценки при использовании данных опросов Сложности обработки больших объемов данных Сложность соблюдения надежности и качества процедур сбора данных при больших объемах Проблема охвата всех предметных областей


Слайд 21

22 10 элементов построения ранжирования, определяющих качество методологии Четкое определение целевой аудитории Четкое определение цели ранжирования Обеспечение качества методологии ранжирования Обеспечение надежности используемых индикаторов и получаемых данных Обеспечение релевантности используемых индикаторов Обеспечение качества процедур сбора данных Обеспечение транспарентности всех этапов ранжирования Отражение разнообразия деятельности вузов Создание условий для интерактивного использования результатов ранжирования Взаимодействие с целевыми группами


Слайд 22

23 Спасибо за внимание! НФПК www.ntf.ru Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ www.iori.hse.ru


×

HTML:





Ссылка: