CC BY
44
УДК 378.12
UDC 378.12
А.И. УМАН
доктор педагогических наук, профессор, зав. кафедрой общей педагогики, Орловский государственный университет
М.И. РАБИНОВИЧ
инженер-программист, Научно-образовательный центр «Нанотехнологии», Госуниверситет - УНПК E-mail: rabi@ostu.ru
A.I. UMAN
Doctor of Pedagogics, Professor, Head of the department of General pedagogy, Orel State University M.I. RABINOVICH
Engineer-programmer, Scientific-educational centre "Nan-otechnologies", State University-ESPC E-mail: rabi@ostu.ru
СОСТОЯНИЕ ПРОБЛЕМЫ РЕЙТИНГОВОЙ ОЦЕНКИ ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ РАБОТНИКОВ ВЫСШЕЙ ШКОЛЫ
THE STATE OF RATING EVALUATION OF HIGH SCHOOL TEACHERS' PROFESSIONAL ACTIVITIES
В статье рассматривается спектр вопросов, касающихся рейтинговой оценки профессиональной деятельности преподавателей вуза. Наряду с эволюций методов оценки и места рейтинговой оценки во внутри-вузовской системе управления качества образования обсуждается ряд ключевых проблем проектирования рейтинговой системы.
Ключевые слова: высшее образовательное учреждение, оценка профессиональной деятельности преподавателя, рейтинговая система, верификация методики расчета рейтингов, проблемы внедрения системы.
The article considers the range of issues related to rating evaluation of high school teachers' professional activities. Along with the evolution of assessment methods and the place of rating evaluation in the university system of quality management of education, key problems of designing a rating system are discussed.
Keywords: higher educational institution, evaluation of teacher's professional activity, rating system, verification of rating calculation procedures, system implementation issues.
В настоящее время обсуждение комплекса вопросов, связанных с проектированием, внедрением и функционированием рейтинговой системы оценки профессиональной деятельности преподавателей вуза, широко представлено в современной научной и методической литературе. Выполненный нами теоретический анализ научной литературы по этой тематике показал, что авторы работ едины в отношении того, что глобальной целью применения рейтинговой системы является повышение качества образования. Однако мнения весьма различаются относительно того, какие локальные цели, позитивно влияющие на качество образовательного процесса, достигаются путем внедрения рейтинговой системы в вузе. Здесь просматриваются два противоположных подхода: влияние рейтинговой системы посредством улучшения управления образовательным учреждением (которое можно назвать влиянием «сверху-вниз») и влияние рейтинговой системы путем мотивирования роста профессионального мастерства вузовских преподавателей (влияние «снизу-вверх»).
В понимании В.Н. Фролова [14], целью введения рейтинговой оценки является развитие вуза и его структурных подразделений с целью оставаться востребованным на длительной и конкурентной основе:
• содействие выработке эффективных управленческих решений в области повышения качества образовательной деятельности;
• стимулирование профессионального роста преподавателя и развитие его творческой инициативы;
• определение приоритетов своей деятельности на очередной период, ориентация подразделений и ППС на передовой опыт лидеров.
Данный подход ориентирован на управленческую функцию рейтинговой оценки и действует на образовательный процесс по типу «сверху-вниз»
Эту точку зрения поддерживает Ю.Г. Иванищев [6], подчеркивая при этом, что внедрение рейтинговой системы обеспечивает создание баз данных, отражающих деятельность преподавателей, для анализа и корректировки работы кафедр, факультетов (институтов) и университета в целом.
Представление о влиянии рейтинговой системы, акцентированное по принципу «снизу-вверх» можно найти в работах И. А. Новакова [8, 9]. По мнению автора, цели применения рейтинговой системы могут быть сформулированы следующим образом:
• усилить заинтересованность преподавателей в повышении своей профессиональной квалификации, в освоении передового педагогического опыта, в творческом подходе к преподаванию;
• обеспечить большую объективность оценок деятельности преподавателей за счет повышения полноты и достоверности информации;
• усилить коллективную заинтересованность пре-
© A.K Уман, М.И. Рабинович © A.I. Uman, M.I. Rabinovich
подавателей в улучшении конечных результатов по подготовке специалистов;
• повысить качество преподавания как важнейшего фактора улучшения качества подготовки специалистов.
Данные представления более всего ассоциируются с мотивационной функцией рейтинговой системы. Так, с точки зрения Т. А. Шульгиной [15, С. 5], рейтинговый анализ является основой для системы внутреннего аудита эффективности работы научно -преподавательского со става.
Комплексный подход к оценке профессиональной деятельности вузовского преподавателя, в котором ключевое место отводится рейтинговой системе, сформулирован в работах Е.Ю. Васильевой [3-5]. Нельзя не согласиться с автором в его мнении, что сочетание различных форм оценки деятельности преподавателя (рейтинговая оценка, экспертная оценка, оценка студентами и самооценка) является шагом в направлении создания общих методик оценки качества деятельности преподавателей, которые являют собой своеобразную программу оценочной деятельности, раскрывающую общие задачи, логику этапов оценки и необходимые условия ее осуществления [3]. Автор выделяет рейтинговую оценку как наиболее объективный инструмент оценивания, целью которого является улучшение качества деятельности ППС и совершенствование качества образовательного процесса, главными задачами которого являются:
• повышение обоснованности принимаемых управленческих решений (в первую очередь в области кадровой политики);
• повышение уровня объективности информации о процессе и результатах деятельности вуза;
• повышение уровня мотивации ППС, стимулирование их профессионального и личностного роста;
• дифференциация результатов труда для обеспечения поддержки наиболее эффективной части преподавательского состава.
Подытоживая вышесказанное, можно выделить следующие основные функции оценки профессиональной деятельности преподавателей, получаемой при помощи рейтинговой системы.
1. Информационная, состоящая в аккумулировании необходимой информационной базы для проведения диагностирующих и прогнозирующих вну-тривузовских исследований.
2. Обратной связи, как необходимый компонент управления организационной системой, необходимый для ее успешного функционирования и развития.
3. Дифференцирующая, позволяющая разделить профессорско-преподавательский состав вуза на группы по уровням их личного потенциала и активности.
4. Управленческая, содержанием которой является предоставление объективной исходной информации для принятия обоснованных управленческих (в основном, кадровых) решений на всех уровнях управления высшего образовательного учреждения (кафедра, деканат, ректорат).
5. Контролирующая, проявляющаяся как выявле-
ние личного статуса и активности отдельных вузовских преподавателей и преподавательских коллективов.
6. Диагностическая, которая состоит в определении узких мест и положительных тенденций в работе вуза в целом, его структурных подразделений и отдельных преподавателей.
7. Оценочная, проявляющаяся в получении легко воспринимаемой числовой оценки профессиональной деятельности вузовского преподавателя (его рейтинга), завершающая процесс контроля и обеспечивающая процесс дифференциации его деятельности.
8. Объективизации оценки профессиональной деятельности преподавателей, позволяющая сделать эту оценку максимально независимой от субъективных представлений о работе конкретного преподавателя.
9. Стимулирующая, проявляющаяся при моральном стимулировании преподавателей и сотрудников вуза путем публикации рейтинг-листов и использовании их для организации распределения стимулирующей надбавки на регулярной основе, что способствует систематической работе преподавателей по повышению своего профессионального мастерства.
10. Корректирующая, заключающаяся в возможности корректировки преподавателем своей профессиональной деятельности, основываясь на диагностической, оценочной функциях и функции обратной связи внутривузовской рейтинговой системы.
11. Мотивационная, проявляющаяся в повышении интереса преподавателей к совершенствованию образовательного процесса для повышения его результативности, что непосредственно связано со стимулирующей функцией рейтинговой системы.
Вышеперечисленные функции рейтинговой оценки предполагают наличие (проектирование) соответствующих компонентов рейтинговой системы, что в значительной мере определяет как ее структуру, так и функциональные характеристики составляющих модулей.
Чаще всего структура рейтинговой системы рассматривается как совокупность двух взаимосвязанных модулей. Первый - модуль описания профессиональной деятельности преподавателей, содержащий структурированный набор контролируемых показателей их деятельности и второй - модуль получения рейтинговых оценок, содержащий математический аппарат (формулы) для расчета рейтинговых оценок.
Необходимо особо подчеркнуть значимость тщательной разработки математической модели расчета рейтинговых оценок, поскольку, как отмечает в своем исследовании Д.П. Бураков [2, С. 5], в большинстве случаев постановкой и решением рейтинговых задач занимаются работники, не имеющие глубоких знаний в области принятия решений. По этой причине они допускают ошибки, дискредитирующие доверие к получаемым результатам и препятствующие полноценному использованию рейтинговой системы в качестве многофункционального средства для повышения качества образования.
Теоретической основой для создания математического аппарата, предназначенного для рейтинговой
оценки профессиональной деятельности преподавателей вуза, является теория принятия решений, в частности, такое ее направление, как многокритериальная теория полезности (Multi-Attribute Utility Theory -MAUT). Аксиоматический аппарат классической теории полезности был разработан в работах Дж. фон Неймана и О. Моргенштерна и первоначально предназначался в основном для решения экономических задач. Методы многокритериальной теории полезности (как одно из направлений развития теории принятия решений) получили свое дальнейшее развитие в работах Р. Кини и X. Райфа.
Общая постановка задач, решаемых в рамках этого научного подхода, предполагает поиск оптимальной альтернативы (из некоторого заранее известного множества) при принятии решений. При этом все альтернативы оцениваются фиксированным набором критериев оценки, каждый из которых имеет заранее определенную значимость. Решение данной задачи сводится к поиску максимума многокритериальной функции полезности (обобщенного критерия оценки) на множестве возможных альтернатив.
Применительно к оценке профессиональной деятельности вузовского преподавателя его личный рейтинг следует рассматривать как значение многокритериальной функции полезности, учитывающей различные показатели его работы (первичные критерии оценки).
Однако, как отмечает Фишбейн [13, С. 8], рейтинговая оценка внутривузовской деятельности кафедр и преподавателей «не является оптимизационной задачей в полном смысле этого слова». В частности, полностью лишено смысла в процессе рейтинговой оценки определять множество Парето (подмножество альтернатив, в котором следует искать оптимальное решение, то есть преподавателя, имеющего максимальный рейтинг), поскольку рейтинговая оценка профессиональной деятельности преподавателей должна носить всеобщий характер, а не быть направленной только на поиск лучшего по рейтингу («оптимального») преподавателя. Поэтому нельзя не согласиться с автором в его мнении, что принципы создания математического аппарата для получения внутривузовских рейтинговых оценок не следует механически переносить из тех областей человеческой деятельности, в которых для принятия решений используются рейтинговые оценки. Следует также отметить, что данное положение полностью согласуется с парадигмой классической теории полезности, по которой каждая проблема, решаемая в рамках этого научного подхода, требует построения собственной (уникальной) функции полезности.
Все это в полной мере относится и к практике получения рейтинговых оценок профессиональной деятельности вузовских преподавателей. В работах И.А. Новакова [8, 9], Е.Ю. Васильевой [3-5], Т.А. Шульгиной [15], В.Н. Фролова [14], А.В. Лагерева [7] и других авторов приводятся различные варианты математического аппарата, используемые в рейтинговых системах, которые на данный момент уже внедрены в ряде российских вузов. Приводимые формулы для
расчета рейтингов имеют чисто эмпирический характер. При этом, поскольку применяются различные варианты функции полезности, естественно поставить вопрос об их корректности, то есть применимости того или иного способа свертки значений показателей для получения рейтинговых оценок деятельности преподавателей вуза.
Применимость эмпирических формул можно проверить только на практике путем непосредственного сопоставления исходных данных для получения рейтинговых оценок и получаемых значений рейтингов. Между тем, количество показателей работы преподавателей (первичных критериев оценки), используемых на практике для получения рейтинговых оценок, чаще всего колеблется в пределах от 40 до 70. Это почти на порядок превышает способности человека по восприятию (сопоставлению) количественной информации.
Тем не менее, математический аппарат для получения рейтинговых оценок можно и должно подвергать верификации. Для этих целей можно сопоставлять рейтинговые оценки преподавателей попарно и использовать при этом усеченный набор первичных критериев оценки (не более семи). Это позволит визуально сопоставлять исходные данные для расчета рейтинговых оценок и полученные на их основе результаты и выявлять возможные несоответствия.
Поясним это на простом примере (таблица 1). В таблице приведены данные о рейтинговой оценке двух преподавателей, при которой использовались всего два показателя их работы: «Количество изданных монографий» и «Количество изданных учебников». Такая ситуация вполне может иметь место в реальной ситуации, поскольку значения всех прочих показателей работы преподавателей (за период определения рейтингов) могут быть равны нулю.
Предположим также, что для расчета личных рейтингов преподавателей планируется использовать одну из двух предлагаемых методик расчета («Вариант №1» и «Вариант №2»).
Таблица 1. Пример корректной и некорректной рейтинговой оценки
Контролируемые данные Преп №1 одаватель .№2
Исходные данные для расчета рейтингов
Количество монографий (весовой коэффициент = 1.0) 2 1
Количество учебников (весовой коэффициент = 1.0) 0 1
Результатов расчета рейтингов по различным формулам
Вариант №1 методики расчета рейтингов 100 100
Вариант №2 (некорректная рейтинговая оценка) 60 100
Исходные данные и результаты расчета рейтингов для двух преподавателей приведены во второй и третьей колонках таблицы. В силу ограниченной размерности этих данных их легко визуально сопоставить.
Очевидно, что при таких исходных данных для расчета рейтингов, которые приведены в таблице 1, рейтинговые оценки деятельности обоих преподавателей должны быть одинаковыми. Если это не так, то рейтинговая оценка будет противоречить здравому смыслу (как это имеет место для результатов расчета рейтингов по методике «Вариант №2»). Следовательно, такой математический аппарат следует признать некорректным и непригодным для использования во внутривузовской рейтинговой системе.
Прием сопоставления исходных данных и полученных рейтинговых оценок на тривиальных наборах исходных данных использовался нами для верификации применяемых на практике методик расчета рейтингов преподавателей. При этом были выявлены возможности появления различных типов некорректных рейтинговых оценок в рейтинговых системах многих российских вузов [11, 12].
Нетрудно представить себе, что может произойти в вузе, если внедренная рейтинговая система будет периодически формировать некорректные (сомнительные или даже противоречащие здравому смыслу) оценки деятельности некоторых преподавателей. Рано или поздно несправедливое рейтингование будет положено в основу управленческих решений или в соответствии с ним будет осуществлено материальное и моральное стимулирование. Если данный факт станет достоянием широкой вузовской общественности, он не только дискредитирует принципы оценивания профессиональной деятельности преподавателей вуза в соответствии с их личным рейтингом, но и может подорвать доверие ко всей внутривузовской системе управления качеством образования.
Поэтому нам представляется чрезвычайно важным, чтобы проектирование рейтинговой системы оценки профессиональной деятельности преподавателей вуза с первых его шагов проходило с учетом необходимости тщательной верификации математического аппарата для расчета рейтинговых оценок. Эта задача должна найти свое отражение и в концептуальной модели рейтинговой системы, и в организационной схеме процесса ее проектирования и внедрения.
Решение практических вопросов по проектированию рейтинговой системы следует также предварить анализом работ, посвященных проблемам внедрения рейтинговых систем в конкретных вузах. В работах И.А. Новакова, Е.Ю. Васильевой, О.В. Горшковой отмечают сопротивление со стороны некоторых руководителей и преподавателей введению систематического оценивания их деятельности на основе объективных количественных показателей. О.Г. Басалаева, [1] анализируя результаты социологического исследования отношения преподавателей к введению рейтинговой системы в Кемеровском государственном университете, выделяет следующие основные причины негативного отношения ряда сотрудников вуза к введению рейтинговой системы:
• Часть преподавателей сопротивляется переменам, поскольку не видит в них никакой пользы;
• часть преподавателей опасается стать «жертвами перемен»;
• часть преподавателей опасается, что подготовка данных для рейтинговой системы потребует значительных затрат рабочего времени.
Для успешного внедрения рейтинговой системы в вузе автор рекомендует повышать информированность вузовской общественности относительно целей, задач и возможностей рейтинговой системы, отмечая при этом, что «часть руководителей структурных подразделений, получив полную информацию о состоянии дел в их коллективах с определением конкретного участия каждого сотрудника в обеспечении основных видов деятельности, начинает понимать важность этой информации» [1, С. 68].
Чтобы преподаватели вуза не опасались стать «жертвами перемен», связанных с внедрением рейтинговой системы, в данной работе (как и у других авторов [5, 15]) предлагается направить использование системы не на штрафные санкции к менее результативно работающим преподавателям, а исключительно на стимулирование труда преподавателей, имеющих лучшие результаты в работе.
Для того чтобы подготовка данных для рейтинговой системы не потребовала значительных затрат времени, автор рассматриваемой работы предлагает минимизировать количество критериев оценки. Однако, по нашему мнению, ограничение количества показателей в методике расчета рейтингов не позволит создать на ее основе эффективную систему материального и морального стимулирования в вузе [1]. Поэтому пути преодоления сопротивления внедрению рейтинговой системы следует искать не в уменьшении числа контролируемых показателей, а в повышении эффективности работы системы внутривузовского мониторинга, ответственной за подготовку данных для рейтинговой системы.
В заключение следует сказать несколько слов о взаимоотношении процесса проектирования рейтинговой системы оценки профессиональной деятельности преподавателей вуза и процесса проектирования системы их материального и морального поощрения. Сразу следует отметить, что авторы рассмотренных выше и многих других работ едины во мнении, что разработка и внедрение рейтинговой системы актуализирует разработку и внедрение новых форм материального и морального стимулирования в вузе. Однако процессы проектирования этих двух систем рассматриваются авторами как последовательные: сначала разрабатывается и внедряется рейтинговая система и только после этого на основе рейтинговой системы разрабатывается и внедряется новая системы материального и морального стимулирования.
Нам представляется, что комплексный подход к проектированию рейтинговой системы, при котором принципы построения системы, ее структура и требования к ее основным структурным компонентам изначально учитывают потребности вузовской системы материального и морального стимулирования, позволит поднять планку практической значимости рейтинговой системы в вузе на качественно более высокий уровень.
Библиографический список
1. Басалаева О.Г., Басалаев Ю.М., Садовой А.Н. Проблемы внедрения рейтинговой системы оценки деятельности преподавателей // Университетское управление: практика и анализ. 2006. N 2. С. 65-68.
2. Бураков Д.П. Разработка методик и средств решения рейтинговых задач в организационных системах. Дис. канд. т. н: М.: РГБ, 2007, 175 с.
3. Васильева Е.Ю. Подходы к оценке качества деятельности преподавателя вуза // Университетское управление: практика и анализ. 2006. N 2. С. 74-78.
4. Васильева Е.Ю. Рейтинг преподавателей и кафедр в вузе // Университетское управление: практика и анализ. 2007. N 3. С. 39-48.
5. ВасильеваЕ.Ю., Граничина О.А., Трапицын С.Ю. Рейтинг преподавателей, факультетов и кафедр в вузе. СПб.: Изд-во РГПУ им. А.И. Герцена, 2007. 159 с.
6. Иванищев Ю.Г., Шалобанов С.В. Оценка деятельности подразделений и преподавателей в системе управления вузом // II межвузовский семинар-совещание вузов Хабаровского края и Еврейской автономной области: сб. докл. Биробиджан, 2009. С. 13-19.
7. Лагерев А.В., Горленко О.А. Система рейтинговых оценок факультетов, кафедр, преподавателей, студентов и студенческих групп / Брянск: Изд-во БрянскГТУ, 2005. 74 с.
8. Новаков И.А. Рейтинг преподавателей и управление вузом. Волгоград, 2002. 100 с.
9. Новаков И.А. Рейтинг в вузе: научно-методические основы и практика. Волгоград : изд. ВолгоГТУ, 1999. 102 с.
10. Рабинович М.И., Степанова Е.Ю. Использование рейтинговой системы оценки деятельности сотрудников при создании системы материального стимулирования в вузе // Фундаментальные и прикладные проблемы техники и технологии. 2013. № 3. С. 94-100.
11. Рабинович М.И., Степанова Е.Ю. О разработке типологии рейтинговых оценок деятельности преподавателей и кафедр для системы морального и материального стимулирования профессиональной деятельности // Университетское управление: практика и анализ. 2009. № 3. С. 23-28.
12. СтепановЮ.С., Рабинович М.И. О проблемах получения рейтинговых оценок деятельности преподавателей, кафедр и факультетов во внутривузовской системе управления качеством образования // Университетское управление: практика и анализ. 2006. № 6. С. 53-57.
13. Фишбейн Б.Д. О методологии рейтинг-оценивания деятельности кафедр высшего учебного заведения. Самара: СамГАПС, 2004. 24 с.
14. Фролов В.Н., Поликарпов Э.Д. Рейтинговая оценка деятельности структурных подразделений как элемент системы мониторинга качества образования в университете / Воронеж: ГОУВПО «Воронежский государственный технический университет», 2007. 184 с.
15. Шульгина Т.А., Воробьева Г.Н., Xузина С.А. Рейтинговая оценка качества научно-исследовательской и научно-методической деятельности преподавателя. Челябинск: ООО «Издательство РЕКПОЛ», 2009. 75 с.
References
1. Basalayeva O.G., Basalayev Y.M., Sadovoy A.N. Problems of implementation of rating system of estimation of activity of lecturers // University management: practice and analysis. 2006. N 2. Pp. 65-68.
2. Burakov D.P. Development of methods and means of solving rating tasks in organizational systems. Dissertation of candidate of technical Sciences: M: RSL, 2007, 175 p.
3. VasilievE.J. Approaches to assessing the quality of the activity of the lecturer // University management: practice and analysis. 2006. N 2. Pp. 74-78
4. Vasiliev E.J. Rating instructors and departments in the University // University management: practice and analysis. 2007. N 3. Pp. 39-48
5. VasilievE.J., GranichinaO.A., TrapitsynH.E. Ranking professors, faculties, departments in universities. SPb.: Publishing house of RSPU named after. A.I. Herzen, 2007. 159 p.
6. Ivanishchev Y.G., Shalabanov S.V. Estimation of activity of subdivisions and teachers in the system of University management // II interuniversity seminar universities of Khabarovsk Krai and the Jewish Autonomous region: collection of reports. Birobidzhan, 2009. Pp. 13-19.
7. Lagerev A.V., Gorlenko O.A. Rating system of faculties, departments, teachers, students and student groups / Bryansk: Pub. BryanskSTU, 2005. 74 p.
8. Novakov I.A. Rating of teachers and University governance. Volgograd, 2002. 100 p.
9. Novakov I.A. Rating in the University: scientific-methodological principles and practice. Volgograd: Pub. VolgSTU, 1999. 102 p.
10. Rabinovich M.I., Stepanova E.Y. The use of a rating system of estimation of activity of employees at creating the system of material incentives in the University // Fundamental and applied problems of engineering and technology. 2013. N 3. Pp. 94-100
11. Rabinovich M.I., Stepanova E.Y. On the development of typology rating activity of teachers and chairs for a system of moral and material incentives of professional activity // University management: practice and analysis. 2009. N 3. Pp. 23-28.
12. Stepanov U.S, Rabinovich M.I. To problems of obtaining rating activity of teachers, departments and faculties in the University system of quality management of education // University management: practice and analysis. 2006. N 6. Pp. 53-57.
13. Fishbein B.D. About the methodology of the rating estimation of activity of departments of higher educational institutions. Samara: Samgas, 2004. 24 p.
14. Frolov V.N., Polikarpov E.D. At rating estimation of activity of structural units as part of the monitoring system of quality of education at the University. Voronezh: "Voronezh state technical University, 2007. 184 p.
15. Shulgin T.A., Vorobyova G.N., Huzin S.A. Rating of the quality of scientific-research and scientific-methodical activity of the teacher. Chelyabinsk: LLC "Publishing house of REKOL", 2009. 75 p.
