CC BY
47
УДК 378.12
В. В. Нордин, Н. В. Белкина
КВАЛИМЕТРИЧЕСКАЯ МЕТОДОЛОГИЯ АТТЕСТАЦИИ ПРОФЕССОРСКО-ПРЕПОДАВАТЕЛЬСКОГО СОСТАВА
Представлена методика аттестации профессорско-преподавательского состава, основанная на квалиметрическом подходе к оценке объектов и явлений, сложно поддающихся алгоритмизации. Данный подход используется для определения уровней качества как отдельных компонентов деятельности преподавателей, так и их общего рейтинга. Методика разработана по результатам исследований авторов в рамках выполненного проекта БФУ им. И. Канта Г-2012-16206 «Разработка не-
© Нордин В. В., Белкина Н. В., 2013
Вестник Балтийского федерального университета им. И. Канта. 2013. Вып. 11. С. 19 — 27.
20
зависимой квалиметрической системы оценки учебных достижений обучающихся, а также аттестации профессорско-преподавательского состава» (подрядный коллектив в составе В. В. Нордина, А. В. Юрова,
Н. В. Белкиной, К. Л. Полупан).
This article presents a methodology of academic staff certification based on the qualimetrics approach to the assessment of objects and phenomena that are hardly subject to algorithmisation. This approach is used to identify the quality levels as individual components of the performance and overall ranking of the academic staff. The methodology was developed in the course of a study carried out by the authors at the Immanuel Kant Baltic Federal University in the framework of the project “The development of an independent qual-imetrics system of assessing academic achievements of students and evaluating the academic staff' (the project team included V. V. Nordin, A. V. Yurov,
N. V. Belkina, and K. L. Polupan).
Ключевые слова: аттестация преподавателей, компоненты деятельности, уровни качества, весомости (значимости) компонентов, рейтинг.
Key words: academic staff certification, activity components, quality levels, importance of components, ranking.
Среди требований Болонского процесса одним из основных является наличие систем качества в вузах. Система менеджмента качества (СМК) — механизм, позволяющий достичь поставленные руководителем цели, в первую очередь повысить конкурентоспособность вуза. Итоги работы должны анализироваться и постоянно улучшаться, для чего необходимо определить критерии и методы оценки достижения запланированных результатов и проводить мониторинг и измерение.
Профессорско-преподавательский состав служит основным университетским «активом», поэтому изучение систем оценивания и стимулирования качества преподавательской деятельности имеет определенную практическую ценность.
В литературе, посвященной системным исследованиям, подчеркивается необходимость разработки современных методов оценки уровня подготовки профессорско-преподавательского состава в высших учебных заведениях [1]. В настоящее время для этого широко используются квалиметрические и статистические модели. Однако они носят усредненный характер и не позволяют проводить многофакторный анализ качества педагогической деятельности преподавателей и вуза в целом.
Качество образования складывается из нескольких составляющих. В том числе это уровень профессорско-преподавательского состава (наличие ученых степеней, стажа преподавательской деятельности, количество публикаций, участие в научной работе и т. д.) и эффективность передачи знаний студентам.
Анализ объективных показателей, наиболее полно демонстрирующих качество труда преподавателей и его продуктивность, свидетельствует, что, как правило, эти показатели отражают результаты учебной, учебно-методической, научно-исследовательской, воспитательной, об-
щественной и организационной работы, работы по повышению уровня профессионального мастерства, а также качество подготовки студентов. Кроме того, эффективность передачи знаний от профессорско-преподавательского состава учащимся, по-видимому, не может быть оценена без учета мнений студентов как главных потребителей образовательных услуг.
Комплексный показатель качества и результативности труда можно выразить в вице индивидуального рейтинга преподавателя, который будет складываться из компонентов всех видов деятельности. Оценку успешности (уровень качества) по компонентам и их комплексам предлагается осуществлять по квалиметрическому методу [2 — 4]. Обоснованность такого подхода определяется отсутствием алгоритмизированных оценок неформализуемых сложных процессов.
Для компонента на г-ом уровне, состоящего из п компонентов ц-го уровня, комплексный показатель качества определяется по формуле
где п — количество компонентов на Ц-м уровне для вышестоящего г-го уровня;
Ку — уровень качества ц-го компонента;
Уу — коэффициент участия ц-го компонента в оценке комплексного уровня качества объекта на г-ом уровне.
Единичные показатели качества нижестоящих компонентов (например, ] —го уровня) определяются из следующего выражения:
где Хбу — базовое (наилучшее) значение ц-го компонента;
Ху — значение ц-го компонента у оцениваемого преподавателя;
Ту — разность между предельно возможными или допустимыми значениями К-го компонента.
Все показатели качества, определяемые по формулам (1) и (2), являются относительными (безразмерными) величинами.
Коэффициенты участия, вводимые вместо классических весомостей (значимостей), определяются в соответствии с выражением
где ту — весомость ц-го компонента в комплексной оценке объекта вышестоящего г-го уровня.
Нормированные значения весомостей компонентов обычно определяются посредством экспертных оценок. Если это сложно или невозможно, в работе [2] вычислять определять их по вкладу нижестоящих компонентов в вышестоящие по формуле
(1)
Ку = 1- (Хбц - Хц) / Ту,
(2)
у у = пту,
(3)
(4)
В любом случае должно выполняться условие нормирования: сумма весомостей компонентов одного уровня равна единице.
1. Учебно-методическая работа
1.1. Оценка работы преподавателя по разработке учебно-методических комплексов (весомость тц) должна учитывать как качество каждого УМК, так и их количество, что достаточно подробно показано в статье авторов [4].
1.2. Повышение квалификации (весомость т12) сотрудником в анализируемом периоде целесообразно оценивать по следующим компонентам:
• защита докторской диссертации (весомость тш);
• защита кандидатской диссертации (весомость тиг);
• получение звания профессора (весомость тиз);
• получение звания доцента (весомость тш);
• повышение квалификации за рубежом (весомость т125);
• повышение квалификации в российских научных и учебных учреждениях (весомость т12б);
• повышение квалификации в университете, поступление в аспирантуру (весомость тт).
Единичные уровни качества по этим компонентам могут иметь два значения:
1 — если имеется соответствующий компонент; 0 — если не имеется соответствующий компонент.
1.3. Разработку учебных пособий и методических указаний (весомость т13) из-за трудоемкости предлагается учитывать количеством авторских учебно-методических материалов за последние два года, включая анализируемый год:
• учебные пособия за последние два года (весомость тш);
• методические указания за последние два года (весомость тш). Единичные уровни качества по этим компонентам определяются по
формуле (2).
1.4. Руководство дипломниками (весомость т14). Оценку преподавателя по этому критерию производим по следующей формуле:
где Об — наибольшее число дипломников у кого-либо из преподавателей данного подразделения или университета;
О — число дипломников у аттестуемого преподавателя.
1.5. Участие в ГАК (весомость т15). Оценку преподавателя по этому критерию производим по следующей формуле:
где Об — наибольшее число Государственных аттестационных комиссий, в которых участвовал кто-либо из преподавателей данного подразделения или университета;
О — число ГАК, в которых принимал участие аттестуемый преподаватель.
(5)
К14 = 1 - (Бб - Б) / Бб,
К15 = 1 - (Об - О) / Об,
Комплексный уровень качества оцениваемого преподавателя по учебно-методической работе
купный импакт-фактор сотрудника) (весомость т211);
• издание монографий, учебников, учебных пособий, поддержанных РАН, или с грифом УМО (весомость ттп);
• публикации в российских изданиях, имеющих индекс цитирования (весомость т21з);
• публикации в других изданиях (весомость тгм);
• издание учебников и учебных пособий без грифа УМО (весомость т215).
2.2. Участие в конференциях, симпозиумах (весомость т22):
• число докладов и тезисов конференций, опубликованных в сборниках с уникальным номером книжного издания КБМ (весомость т221);
• количество докладов и тезисов конференций в других сборниках (весомость т222).
2.3. Наличие аспирантов и соискателей (весомость т23):
• суммарное число страниц текста, опубликованных аспирантами и соискателями данного руководителя в научных журналах и сборниках конференций за отчетный период (весомость т231);
• количество аспирантов и соискателей данного руководителя, защитившихся за отчетный период (весомость т232).
2.4. Руководство НИРС (весомость т24):
• число внешних государственных грантов за отчетный период (РФФИ, РГНФ, гранты МОН), в которых аттестуемый сотрудник выступает в качестве руководителя (весомость т241);
• число публикаций студентов за отчетный период, руководимых данным сотрудником (весомость т242);
• число студентов в научных кружках, руководимых данным сотрудником (весомость т243).
2.5. Получение патентов, товарных знаков и свидетельств (весомость т25):
• получение патента (весомость т251);
• получение товарного знака (весомость т252);
• получение свидетельства на нау-хау (весомость т253);
• получение свидетельства на рационализаторское предложение (весомость т254).
2. Научно-исследовательская работа
2.1. Публикации (весомость т21):
• публикации в изданиях, имеющих импакт-фактор (СИФ — сово- 23
Единичные уровни качества компонентов НИР определяются по формуле (2).
Комплексный уровень качества оцениваемого сотрудника по научно-исследовательской работе
3. Организационная и общественная деятельность
3.1. Оценка работы (звания, награды, поощрения) (весомость т31):
• звание «Заслуженный работник высшей школы РФ» или нагрудный знак почетного работника ВПО РФ (весомость т311);
• отраслевые награды (весомость т312);
• награды министерства, правительства (весомость т313);
• награды и поощрения университета (весомость т314).
3.2. Научно-образовательная и просветительская работа (весомость т32):
• инициирование и организация научных семинаров, кружков и конференций для ППС, аспирантов и студентов (весомость т321);
• инициирование и патронаж научно-образовательных мероприятий для студентов (олимпиады, литературные чтения, «Что? Где? Когда?» и др.) (весомость т322);
• просветительская деятельность (выступления в СМИ, научнопопулярные лекции, брошюры и статьи) (весомость т323).
3.3.Профориентационная работа (весомость т33).
3.4.Участие в ЕГЭ в качестве организатора от вуза (весомость т34).
3.5.Подготовка информационных системных мероприятий вуза (весомость т35).
Значения уровней по компонентам организационной и общественной деятельности определяются в соответствии с выражениями (5).
Комплексный уровень качества оцениваемого сотрудника в организационной и общественной деятельности
Цель оценивания преподавателей студентами как главными потребителями образовательных услуг заключается в получении и анализе информации для принятия решений, направленных на повышение уровня передачи знаний и восприятия их студентами.
Объективность оценивания предполагает, что студенту необходимо предоставить право выбора — называть фамилию, должность или оставаться анонимом. Анонимность опрашиваемого может дать преподавателям ценные идеи и позволит узнать о своей работе много полезного.
1/2
4. Оценка преподавателей студентами
В большинстве исследований удовлетворенности потребителей респондентам предлагают оценить продукцию, услуги и эффективность работы организации по определенному набору критериев, каждому из которых должны быть поставлены оценки по уровню удовлетворенности и значимости (важности, весомости) для потребителя.
Анализ мнения студента предполагает установление критериев (признаков, факторов), по которым следует получить его оценки. Такими критериями могут быть следующие:
• профессионализм преподавателя;
• практическая направленность материалов;
• увлекательность и логичность изложения;
• техника чтения лекции: дикция, возможность конспектирования;
• объективность при оценке знаний;
• контакт с аудиторией.
Индексация степени удовлетворенности позволяет количественно оценить вклад различных критериев в общее мнение студентов о преподавателе. При этом учащихся просят охарактеризовать по шести вышеприведенным критериям работу преподавателя по качеству выполнения и значимости (весомости), причем оценку следует дать по пятибалльной шкале (как нам кажется, наиболее удобной для студентов).
Средние оценки в баллах по каждому критерию в соответствии с результатами анкетирования рассчитываются по формуле
где а, Ь, с, й, е — число оценок «5», «4», «3», «2», «1» в анкетах по каждому критерию; г — общее число оценок (заполненных анкет).
Нормированные весомости т{ определяются как доли значимостей (в баллах) каждого критерия к сумме их средних оценок. Коэффициенты участия рассчитываются по формуле
Единичные уровни качества определяются по формуле
где 5 — идеальная оценка качества исполнения по каждому критерию; Bii cp — средняя по всем анкетам оценка качества исполнения i-го критерия; З = 5 - 2 (2 — нижняя допускаемая граница оценки качества исполнения в баллах).
В соответствии с приведенными результатами комплексный уровень качества оцениваемого преподавателя студентов
5a + 4b + 3c + 2d + 1e
r
yi = nmi = 6mi
при идеальном значении, равном l.
Для наглядности результаты можно представить в виде лучевой диаграммы, а также карты профилей потребительской удовлетворенности [2]. С помощью карты профилей можно сравнить итоги оценивания студентами разных преподавателей. Это позволит наметить пути улучшения своей работы.
5. Полный рейтинг преподавателя
Приведем теперь расчеты по всем четырем блокам к одному пока----- зателю, который назовем комплексным уровнем качества деятельности
26 преподавателя или более коротко — рейтингом преподавателя.
Весомости показателей К требуют экспертного уточнения. Но можно определить их по вкладу в общую оценку сотрудника в соответствии с выражением
т = К</ IX.
Коэффициенты участия
у = 4т.1
Комплексный уровень качества деятельности оцениваемого преподавателя (его рейтинг)
Г1 2 11/2
к = 4 Г(*>.)
Можно построить «дерево рейтинга», как это сделано в работе [3], которое наглядно показывает структуру оценки преподавателя, а также в соответствии с возможностями и правилами построения «деревьев» определить количественные характеристики как «дерева» в целом, так и его отдельных «ветвей».
В таблице приведена первичная оценка весомостей компонентов первых двух уровней «дерева рейтинга», значения которых требуют экспертного уточнения.
Весомости (значимости) компонентов рейтинга
Весомость Значение Весомость Значение
т1 0,4 т22 0,2
т2 0,3 т2з 0,2
тз 0,1 т24 0,2
т4 0,2 т25 0,2
тп 0,35 тз1 0,4
ти 0,25 тз2 0,3
тгз 0,25 тзз 0,1
т14 0,1 тз4 0,1
т-15 0,05 тз5 0,1
тгг 0,2 — —
Если экспертные оценки весомостей одноименных компонентов «дерева рейтинга» чрезмерно различаются (можно проверить по критерию согласия Пирсона), то можно определить их по вкладу отдельных компонентов нижестоящего уровня в комплексную оценку вышестоящего в соответствии с выражением вида (4). Коэффициенты участия вычисляются по формуле (3).
Предлагаемая методика позволяет наглядно представить общую структуру определения аттестационной оценки преподавателей, рассчитывать их рейтинг за любой период и использовать единый алгоритм. Это способствует объективности оценки и возможности создания и использования компьютерной программы.
Авторы благодарят профессора А. В. Юрова за ценные замечания и консультации при работе над материалом вышеназванного проекта и статьи.
Список литературы
1. Неволин В. Н. Актуальные вопросы государственной системы аттестации научных и научно-педагогических работников на современном этапе. М., 2004.
2. Нордин В. В. Практические методы повышения качества управления в транспортной и сервисной отраслях : учеб.-практ. пособие. Калининград, 2010.
3. Белкина Н. В. Квалиметрическая оценка учебных достижений обучающихся // Вестник Балтийского федерального университета им. И. Канта. 2013. Вып. 5. С. 158-165.
4. Нордин В. В., Белкина Н. В. Структура учебно-методического обеспечения вузовских дисциплин и оценивание его качества // Известия БГАРФ. 2013. № 2 (24). С. 27-33.
Об авторах
Виктор Владимирович Нордин — канд. техн. наук, проф., Балтийский федеральный университет им. И. Канта, Калининград.
E-mail: [email protected]
Наталья Викторовна Белкина — асп., Балтийский федеральный университет им. И. Канта, Калининград.
E-mail: [email protected]
About the authors
Dr Victor Nordin, Prof., I. Kant Baltic Federal University, Kaliningrad.
E-mail: [email protected]
Natalia Belkina, PhD student, I. Kant Baltic Federal University, Kaliningrad.
E-mail: [email protected]
