CC BY
95
Л.В. ЛЕТОВА, начальник сектора Центр информационных технологий
Модель измерения профессиональной деятельности преподавателей
В статье раскрыты достоинства модели Раша, как методического инструмента для измерения латентных величин в социальной сфере. В статье представлен опыт Омского государственного технического университета по использованию модели для измерения латентной величины «профессиональная деятельность преподавателя».
Ключевые слова: современная теория тестирования, измерение латентных переменных, модель Раша, профессиональная деятельность преподавателя.
Планируемые и происходящие изменения в образовании повысили требования к качеству управления образовательным процессом. Речь идет об обоснованности принятия управленческих решений в рамках системы менеджмента качества, о прогнозировании и предупреждении возможных несоответствий. Профессиональная деятельность преподавателей (ПДП) является важной составляющей успешного функционирования и развития современного вуза, в связи с чем оценка ПДП является актуальным и идеологически важным инструментом в системе управления университетом.
Проблемы оценки ПДП
В настоящее время практически во всех университетах России при оценке ПДП используется классическая теория, получившая широкое распространение благодаря простоте обработки и интерпретации результатов. В рамках этой теории итоговый балл испытуемого (преподавателя) представляет собой дискретную величину и рассчитывается как сумма баллов, полученных за выполнение всех видов ПДП. При подсчете итогового балла используются весовые коэффициенты, назначаемые экспертами. Процесс назначения этих весовых коэффициентов сопровождается многими проблемами, связанными с качественным и количественным составом экспертной комиссии, а мерой качества при этом считает-
ся согласованность мнений экспертов. Междутем интерсубъективность и объективность - это понятия разного ряда. Очевидно, что применение экспертных оценок при получении интегрального показателя качества не дает объективных знаний об объекте исследования, в то время как управление требует точной и адекватной картины действительного процесса.
Характерная особенность социальноэкономических систем (и образования в том числе) состоит в том, что большинство величин здесь являются латентными, т.е. непосредственно не измеряемыми. Вместе с тем такие величины определяются набором индикаторов, которые можно оценить или измерить непосредственно [1] . Таким об-
разом, набор индикаторов представляет собой некий конкретный мысленно созданный образ латентного параметра, в котором отображаются его реальные и/ или предполагаемые свойства, структурные особенности.
Мировой опыт в измерении латентных величин диктуетприменение современной теории тестирования IRT (Item Response Theory) [1; 2], появившейся в середине прошлого столетия. Латентная величина рассматривается здесь не как дискретная, а как одномерный континуум на линейной шкале. К сожалению, Россия явно отстает от мирового научного сообщества в использовании современной теории педагогических измерений. Причиной тому явились такие факторы, как отсутствие русскоязычной литературы, сложный математический аппарат, доступный в большинстве своем для математиков, необходимость специального программного обеспечения. В ОмГТУ для получения статистически значимых оценок качества ПДП используется именно современная теория. В этой связи наш университет можно рассматривать как экспериментальную площадку по апробации научно обоснованных подходов к измерению качества работы преподавателя.
Методические основы измерения ПДП в рамках IRT
В IRT рассматриваются различные модели [2; 3]. Мировой опыт в теории и практике измерения латентных переменных преимущественно базируется на модели Раша [1; 4]. Рассмотрим теоретические основы этой модели на примере дихотомического случая, когда тестовое задание (вид деятельности) либо выполнено, либо нет. Параметрами модели здесь являются уровень измеряемой латентной величины (ПДП) i-го испытуемого (преподавателя) pi и уровень трудности j-го тестового задания 5j. В теории измерения латентных переменных ак-
цент сделан на результате «взаимодействия » уровня испытуемого р. и трудности тестового задания (ТТЗ) 5], а не на тестовом балле (как в классической теории). Если испытуемый имеет более чем достаточную подготовку для решения очередного задания, то он станет вероятным «победителем противоборства »; справедливо и обратное утверждение. В модели Раша результат этого «взаимодействия» описывается логистической функцией [1]:
Г -| ев-5
= ИД 5 }=-Ь»т <*> ■
1 + е 1
Р] - вероятность того, что 1-й испытуемый выполнит ]-е задание (логистическая функция обеспечивает варьирование Р] в интервале [0; 1]),
Р1 - латентный параметр, определяющий уровень измеряемой латентной величины 1-го испытуемого,
Р] - латентный параметр, определяющий уровень трудности ]-го тестового задания.
Из логистической функции видно, что Раш трансформировал исходные значения тестовых баллов в шкалу натуральных логарифмов, введя общую логарифмическую меру измеряемой латентной величины Р1 и трудности тестового задания 5] и назвав ее логитом:
РЫп ^ЧпЦ/р^
где р и q - доли правильных и неправильных ответов соответственно.
Таким образом, задачей модели является установка взаимосвязи между двумя множествами Р1 и 5] и распределение их значений на одной линейной шкале логитов. Очевидно, что вероятность успеха 1-го ис-
Таблица 1
Значения Pij в зависимости от соотношения pi и 6j
Условие Значение Pij
pi > Sj 0,5 < Pij < 1
Pi = Sj Pu = 0,5
ei < Sj 0 < P < 0,5
пытуемого по j -му заданию Pij варьируется следующим образом (табл. 1).
Модель Раша описывает вероятность успеха испытуемого Pij как функцию одного параметра (в i-5j), в связи с чем ее иногда называют однопараметрической моделью IRT.
Опыт ОмГТУ в построении модели измерения ПДП
• Содержательное наполнение системы измерения ПДП
Содержательное наполнение системы измерения ПДП в ОмГТУ было разработано с учетом требований Министерства образования России [5; 6], а также задач, которые вуз ставит перед преподавателями (табл. 2).
♦ идеологическая ценность для университета (имидж, отчетность);
♦ доступность, массовый характер (отсутствие связи с конкретной должностью).
Содержательное наполнение системы ПДП в ОмГТУ было обеспечено 53 индикаторами по видам деятельности (см. список индикаторов ПДП).
♦ Логические основания модели измерения ПДП
В основу построения модели ПДП с помощью современной теории были положены следующие логические основания [7]:
> в связи с отсутствием нормативных требований мерой качества является наилучший результат в рамках каждого вида деятельности; преподаватели оцениваются относительно друг друга;
Таблица 2
Основные задачи, которые университет ставит перед преподавателями, и реализующие их направления деятельности
Задачи Направления деятельности
Решение профессиональных задач с использованием современных средств и методов информатики и ИКТ Информационно-технологическая деятельность
Методическое обеспечение учебного процесса Научно-методическая деятельность
Осуществление научной деятельности в области фундаментальных и прикладных исследований, развитие актуальных научных направлений Научно- исследовательская деятельность Научные исследования на базе университета
Научные публикации
Подготовка научных и научно-педагогических кадров высшей квалификации Руководящая и консультационная деятельность в рамках послевузовского образования
Научная профессионализация студентов, повышение активности и результативности их научноисследовательской деятельности Научно-воспитательная деятельность (НИРС) Конкурсы
Конференции
Олимпиады
Критериями отбора индикаторов, отражающих ПДП, явились:
♦ объективность (отсутствие социологического опроса);
♦ результативность;
♦ соответствие масштабу «преподаватель» (виды деятельности формируются исходя из задач, которые университет ставит перед преподавателем);
♦ повторяемость, воспроизводимость (корректность динамического анализа);
> конструкт (набор индикаторов, отражающих ПДП) одномерный, оценкой качества является итоговый интегральный показатель по всем видам деятельности;
> оценка качества ПДП тем выше, чем выше активность преподавателя по всем видам деятельности; справедливо и обратное.
• Моделирование ПДП Как отмечалось выше, задачей модели является установка взаимосвязи между
Индикаторы ПДП
1) Использование мультимедийных авторских материалов (презентации, демонстрационные материалы и т.д.) при проведении учебных занятий;
2) Использование дистанционных образовательных технологий в учебном процессе;
3) Выпуск учебника с грифом МО РФ;
4) Выпуск учебного пособия с грифом МО РФ;
5) Выпуск учебника с грифом УМО вузов или НМС МО по дисциплинам;
6) Выпуск учебного пособия с грифом УМО вузов или НМС МО по дисциплинам;
7) Выпуск учебника с иным грифом;
8) Выпуск учебного пособия с иным грифом;
9) Выпуск учебника без грифа;
10) Выпуск учебного пособия без грифа;
11) Выпуск учебно-методической литературы без грифа (методические указания, конспекты лекций);
12) Получение патента на изобретение (патентообладатель ОмГТУ);
13) Получение патента на полезную модель (патентообладатель ОмГТУ);
14) Получение свидетельства об отраслевой или государственной регистрации: электронные ресурсы, программы для ЭВМ, базы данных (правообладатель ОмГТУ);
15) Реализация х/д НИР (кроме г/б НИР);
16) Реализация международных/федеральных научно-исследовательских программ (грантов);
17) Выпуск монографии в зарубежном издательстве (кроме стран СНГ);
18) Выпуск монографии в центральном российском издательстве (в издательстве СНГ);
19) Выпуск монографии в издательстве ОмГТУ (другого вуза России);
20) Публикация статьи в международном научном журнале, включенном в систему цитирования Web of Science, Scopus;
21) Публикация статьи в научном журнале РАН;
22) Публикация статьи в научном журнале ВАК (кроме журналов РАН);
23) Публикация статьи в рецензируемом научном журнале, кроме журналов ВАК и РАН;
24) Публикация статьи в прочем журнале, периодическом сборнике научных трудов (труды, сборники материалов и тезисов конференций не включаются);
25) Публикация статьи в трудах и сборниках материалов международных и всероссийских конференций, выпуск депонированной рукописи;
26) Консультация защищенной сотрудником ОмГТУ или другим лицом, обучавшимся в докторантуре ОмГТУ, докторской диссертации;
27) Руководство защищенной сотрудником ОмГТУ или другим лицом, обучавшимся в аспирантуре ОмГТУ, кандидатской диссертации;
28) Руководство НИРС, представленной на международном конкурсе;
29) Руководство НИРС, получившей награду за призовое место в международном конкурсе;
30) Руководство НИРС, представленной на всероссийском конкурсе;
31) Руководство НИРС, получившей награду за призовое место во всероссийском конкурсе;
32) Руководство НИРС, представленной на региональном конкурсе;
33) Руководство НИРС, получившей награду за призовое место в региональном конкурсе;
34) Руководство НИРС, представленной на конкурс РАН;
35) Руководство НИРС, получившей премию РАН;
36) Руководство НИРС, представленной на конкурс грантов;
37) Руководство НИРС, выигравшей грант;
38) Руководство НИРС, представленной на международную конференцию;
39) Руководство НИРС, получившей награду за призовое место на международной конференции;
40) Руководство НИРС, представленной на всероссийскую конференцию;
41) Руководство НИРС, получившей награду за призовое место на всероссийской конференции;
42) Руководство НИРС, представленной на региональную конференцию;
43) Руководство НИРС, получившей награду за призовое место на региональной конференции;
44) Руководство НИРС, представленной на вузовскую конференцию;
45) Руководство НИРС, опубликованной за рубежом (научные публикации);
46) Руководство студентом (группой студентов), участвующим в международной олимпиаде;
47) Руководство студентом (группой студентов), получившим награду за призовое место в международной олимпиаде;
48) Руководство студентом (группой студентов), участвующим во всероссийской олимпиаде;
49) Руководство студентом (группой студентов), получившим награду за призовое место во всероссийской олимпиаде;
50) Руководство студентом (группой студентов), участвующим в региональной/городской олимпиаде;
51) Руководство студентом (группой студентов), получившим награду за призовое место в региональной/городской олимпиаде;
52) Руководство студентом (группой студентов), участвующим во внутривузовской/кафедральной олимпиаде;
53) Руководство студентом (группой студентов), получившим награду за призовое место во внутривузовской/кафедральной олимпиаде.
двумя множествами в1 и 5. и распределение их значений на одной линейной шкале. При моделировании профессиональной деятельности преподавателей в ОмГТУ латентные переменные Р1 (ПДП) и 5] (ТТЗ) распределились следующим образом (рис. 1).
Обратимся к рассмотрению вероятности выполнения видов деятельности Р] в ОмГТУ. Эта вероятность описывается с помощью логистической функции (*) и графически интерпретируется характеристическими кривыми (рис. 2). На характерис-
_ і =
-£| -О. -
° 2 = Т _
і£ -
| ЗЕ 4
-1 О 1
Латентная переменная (потты)
■ 0,0%
-6.7”/..
■10.0"/.
-тз.зк
5 --------------------1---------1-------------------1----------М6.7%
Рис. 1. Соотношение между уровнем ПДП и ТТЗ в ОмГТУ
/
1
1
/
0 —*— / • У
/
/ V
• • •
/
у"
-3.0 -2.0 -1.0 0.0 1.0 2.0
Местоположение объекта (логит)
40 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0
Местоположение объекта (логит)
Рис. 2. Характеристические кривые трудного и легкого индикаторов
тических кривых по оси абсцисс откладывается измеряемая латентная величина в і (ПДП) в логитах, по оси ординат - вероятность выполнения рассматриваемого вида деятельности.
Характеристические кривые, наглядно демонстрирующие «работу» индикаторов, отражают:
> трудность тестового задания,
> вероятность выполнения задания различными группами преподавателей,
- критерий согласия теоретических и экспериментальных данных теста в целом (вероятность хи-квадрат на рис. 3);
- индексы надежности (рис. 3);
> критерии согласия теоретических и экспериментальных данных тестовых заданий (вероятность Р хи-квадрат).
Количественные характеристики качества модели измерения ПДП, разработанной в ОмГТУ, представлены на рис. 3.
Вероятность хи-квадрат - это показа-
Стаггистика Хи-квадрагг: Степени свободы: Вероятность Хн-квадрагт:
185,539
228
0,982
Рис. 3. Суммарные статистики теста
> дифференцирующую способность задания.
Так, первая кривая на рис. 2 описывает трудный вид деятельности - «Выпуск учебника с грифом МО РФ», его трудность 5]=0,447 логита, а средняя вероятность выполнения - 6,3%. Вторая кривая описывает легкий вид деятельности - «Публикация статьи в трудах и сборниках материалов международных и всероссийских конференций », его трудность 5]= -1,415 логита, а средняя вероятность выполнения -почти 68%. На рис. 2 показаны теоретические (континуум) и экспериментальные данные (точки). Экспериментальные точки отражают активность преподавателей разных групп. Здесь представлены три группы пре-подавателей:слабая,средняя,сильная. Из графика видно, что вероятность выполнения задания «слабыми » преподавателями (первая точка) ниже, чем «сильными » (третья точка).
• Качество модели ПДП
Использование модели предусматривает предварительную оценку ее качества. Важными характеристиками качества являются:
> суммарные статистики:
тель совместимости тестовых заданий модели. Критерием согласия теоретических и экспериментальных данных является количественное значение вероятности хи-квадрат, превышающее 0,05. В нашем случае критерий согласия хи-квадрат теста в целом соответствует значению 0,982. По установившейся практике [1-4] этот показатель считается более чем удовлетворительным и свидетельствует о высокой точности измерения. В целом, анализируя качество модели по количественным и качественным показателям, можно сделать вывод о высокой точности измерения и о пригодности теста как измерительного инструмента.
Заключение
Хотелось бы отметить, что модель не дает ответов на вопросы: «Кто виноват? » и «Что делать? ». Основная ценность модели в том, что она представляет правдивую (статистически обоснованную) картину об измеряемой латентной величине, позволяет строить прогнозы на будущее и проводить детальную диагностику настоящего. Ответы на данные вопросы кроются в правовой и организационно-финансовой сферах. Ддя их получения необходим мониторинг род-
ственных вузов по содержанию и нормам, адекватно отражающим категорию качества образования, и методике, позволяющей получить статистически обоснованные объективные оценки качества (модель Раша). Наличие идеологически и статистически обоснованных аналитических данных по различным вузам не только позволит провести детальный анализ их конкурентоспособности, но и предоставит руководству вузов возможность принимать управленческие решения в наиболее важном на данный момент направлении развития, что, безусловно, будет способствовать повышению качества высшего образования в целом.
Литература
1. Маслак А.А. Измерение латентных пере-
менных в образовании и других социально-экономических системах: теория и практика. Славянск-на-Кубани: Изд. центр СГПИ, 2007. 424 с.
2. Masters G.N. The key to objective measure-
ment in the psychosocial sciences. Camber-
well, Vic: Australian Council for Educational Research (MIMEO), 2001.
3. Аванесов В.С. Понятие и методы математи-
ческой теории педагогических измерений (Item Response Theory): статья третья // Педагогические измерения. 2009. № 4. С. 5.
4. Деменчёнок О.Г. Математические основы
Rasch Measurement // Педагогические измерения. 2010. № 1. С. 12.
5. Приказ министерства образования РФ от
19.02.2003 г. № 593 «О рейтинге высших учебных заведений».
6. Приказ федеральной службы по надзору в
сфере образования и науки от 25.10.2011 г. № 2267 «Об утверждении критериев показателей, необходимых для определения типа и вида образовательного учреждения высшего профессионального и среднего профессионального образования».
7. ЛетоваЛ.В. Опыт построения модели оцен-
ки профессиональной компетентности преподавательского состава // Теория и практика измерения и мониторинга компетенций и других латентных переменных в образовании: материалы XVI всероссийской научно-практической конференции. - Славянск-на-Кубани, 2011. С. 134-137.
LETOVA L. MEASUREMENT MODEL OF PROFESSOR PROFESSIONAL WORK The article shows the advantages of the Rush model as a methodological tool for measurement of latent variables in social sphere. The OmSTU experience in using the model to measure the latent value «professional work of a professor» is summarized.
Key words: modern theory of testing, measurement of latent variables, Rush model, professional work of a professor.
