Методологические и математические основы количественно-рейтинговых систем оценки деятельности профессорско-преподавательского состава вузов Текст научной статьи по специальности «Науки об образовании»

Н. А. Гайдамакин, А. А. Ялпаев. Системы оценки деятельности ППС вузов

Н. А. Гайдамакин, А. А.Ялпаев

МЕТОДОЛОГИЧЕСКИЕ И МАТЕМАТИЧЕСКИЕ ОСНОВЫ КОЛИЧЕСТВЕННО-РЕЙТИНГОВЫХ СИСТЕМ ОЦЕНКИ ДЕЯТЕЛЬНОСТИ ПРОФЕССОРСКО-ПРЕПОДАВАТЕЛЬСКОГО

СОСТАВА ВУЗОВ

Анализируются трудности процесса оценки деятельности профессорско-преподавательского состава, алгоритмы создания и применения объективных рейтинговых или количественных систем оценки в разрезе следующих составляющих — система оцениваемых видов работ, шкалы измерения/оценивания показателей видов работ, нормативно-организационная и управленческо-технологическая составляющие.

Ключевые слова: оценка, рейтинговая система оценки, профессорско-преподавательский состав, шкалы измерения.

N. A. Gaydamakin, A. A. Yalpaev

Rating systems of the valuation of the university teacher staff activity: methodic and mathematic foundations

The issue is analyzed hardship of the process of the valuation of the university teacher staff activity, algorithms of creation and application of the objective rating systems of the valuation through the next components - system of the valuation of the kind of work, scales of the measurement/valuation of indicators of the kind of work, normative-organizational and management-technological components.

Keywords: valuation, rating systems of the valuation, university teacher staff, scales of the measurement.

Одной из важнейших функций управления какими-либо организационными структурами является оценка деятельности их субъектов (подразделений, работников). Методология оценки в самом общем виде основывается на формализации целевой функции деятельности и системы ее аргументов (показателей, параметров деятельности) и, кроме того, на выстраивании организационно-технологической схемы сбора (измерения, оценки), накопления и агрегирования данных по каждому из системы показателей. Имея возможность вычислять значения целевой функции деятельности по субъектам (за отчетный или анализируемый период), можно их сравнивать по результативности (эффективности) деятельности и формировать обоснованные управленческие решения и воздействия. Однако лишь в немногих случаях целеполагание1 деятель-

ности организационных структур дает возможность построить и обосновать вещественнознач-ную целевую функцию и на этой основе выстроить объективные функции и алгоритмы количественно-рейтингового оценивания эффективности деятельности2.

В большинстве случаев содержательно-целевая сторона деятельности характеризуется множеством локальных (иногда противоречивых, в том числе не основного, а обеспечивающего, вспомогательного характера) целей и задач, большой совокупностью разнородных показателей, отражающих степень (эффективность) решения задач (осуществления различного вида работ) и достижения целей. При этом чаще всего часть показателей имеет количественную, а часть — качественную природу, что еще больше затрудняет процесс и процедуры оценивания.

1 Декомпозиция предназначения деятельности (так называемого целевого лозунга) на глобальные, локальные и вспомогательные (обеспечивающие) цели, на задачи и функции, обеспечивающие достижение целей деятельности, определение показателей, характеризующих выполнение функций и задач, ограничений и других условий деятельности.

© Гайдамакин Н. А., Ялпаев А. А., 2010

2 Как, например, при оценивании эффективности деятельности дорожно-строительного предприятия, когда одним из составляющих оценки эффективности деятельности может быть отношение протяженности построенных дорог к затратам.

В полной мере эти трудности относятся к оценке деятельности профессорско-преподавательского состава (ППС) образовательных учреждений, но, как отмечается во многих исследованиях этой проблематики [3, 7, 8], совершенствование управления образовательным процессом, как одно из важнейших составляющих повышения качества подготовки специалистов, невозможно без создания и применения объективных рейтинговых и/или количественных систем оценки деятельности ППС.

Количественно-рейтинговые системы оценивания деятельности ППС, разработанные и используемые отечественными вузами, можно охарактеризовать в разрезе следующих составляющих:

— система работ, по которым оценивается деятельность ППС;

— шкалы измерения/оценивания показателей работ ППС (так называемых первичных показателей) и функции их агрегирования в промежуточные и обобщенные рейтинговые оценки;

— организационно-нормативные и технологические процедуры сбора данных по деятельности ППС, их обработки, формирования итоговых оценок, выработки и реализации управленческих решений и воздействий.

Чаще всего применяют двухступенчатую структуризацию (классификацию) работ ППС, разделяя их на промежуточном уровне на показатели учебной, методической, научной, воспитательной работы и др.

В частности, обобщая подходы вузов к оценке деятельности ППС, можно предложить следующую систему из 7 групп работ, по которым оценивается деятельность ППС, и соответствующих им промежуточно-обобщенных оценок3:

л

0'~г'ц — обобщенная оценка объема, сложности и других показателей проведенных занятий;

л

0"~га — обобщенная оценка качества проведения занятий и результатов обучения;

л

О-в — обобщенная оценка по показателям воспитательной работы с обучаемыми;

л

0"_1"г4 — обобщенная оценка объема и уровня результатов методической работы;

л

0 ¡5 — обобщенная оценка объема и уровня результатов научной работы;

Система оцениваемых видов работ

Как в теоретическом, так и в практическом отношении (что отмечается во многих публикациях, посвященных рейтинговым системам оценки ППС [1, 3, 7]) качество и эффективность систем оценки в первую очередь определяются полнотой и адекватностью (репрезентативностью) совокупности работ, по которой оценивается деятельность ППС. В содержательном плане формирование совокупности работ ППС определяется нормативной базой, регламентирующей деятельность вузов, кафедр и ППС [5], а также управленческо-образовательной практикой, историческими, культурными и субъективными традициями, сложившимися в вузах. Вместе с тем сложность и многогранность такого феномена, как образовательная деятельность в целом и преподавательская деятельность в частности, обусловливают определенные трудности и разночтения в их структуризации.

В результате процесс формирования системы первичных показателей деятельности ППС в большинстве случаев осуществляется вузами на эвристической основе без какого-либо строгого (формального) обоснования.

О 1 б — обобщенная оценка по показателям участия ППС в развитии и совершенствовании учебно-материальной, учебно-лабораторной базы;

л

0"_1"г7 — обобщенная оценка по показателям других работ ППС (участие в разработке проектов локальных, т. е. внутриучрежденческих нормативных правовых актов и аналитических документов, в разработке различных служебных документов, участие в организации научных, служебных и других мероприятий и т. д.).

В свою очередь, например, по первой группе работ, характеризующих объем, сложность и другие стороны проведения учебных занятий, можно выделить следующие первичные показатели:

л

О — показатель объема (количества) проведенных аудиторных занятий;

л

Оп — показатель сложности учебных дис-

3 Индекс г означает оценивание г-го преподавателя; знак «- 1» обозначает агрегированную (обобщенную) оценку ;по одной из 7 групп работ на уровне, предшествующем высшему обобщенному уровню - рейтингу или обобщенному количественному показателю деятельности г-го преподавателя.

Н. А. Гайдамакин, А. А. Ялпаев. Системы оценки деятельности ППС вузов

циплин (дидактических единиц), по которым проведены занятия;

О.

показатель использования в проведен-

ных занятиях активных форм обучения (деловых игр и т. п.);

о

показатель использования при прове-

дении занятий технических средств обучения (компьютерных презентаций, учебно-наглядных пособий, тренажеров и т. п.).

В публикациях, посвященных анализу и освещению опыта разработки и внедрению в вузах рейтинговых систем оценки деятельности ППС и кафедр [2, 4], особо отмечается, что система первичных оценочных показателей деятельности ППС (по сути — система критериев оценки) должна быть общественно признанной преподавательским сообществом вуза и предполагать участие ППС в ее непосредственной разработке и апробации. Следует также отметить, что помимо позитивного социально-управленческого эффекта общественно-преподавательские признание и апробация в определенной мере заменяют строгое обоснование полноты и адекватности системы первичных оценочных показателей деятельности ППС.

Шкалы измерения/оценивания

показателей видов работ и функции их агрегирования

Традиционным подходом, реализуемым многими отечественными вузами, является «часовое» или балльное нормирование видов работ ППС и, как следствие, «часовое»/балльное оценивание всех составляющих деятельности ППС. Все, что выполнено преподавателем в течение оцениваемого периода, например, за учебный год (проведение занятий, разработка методических материалов, проведение научных исследований, подготовка научных статей, работа с дипломниками, кураторство учебных групп и т. д.), оценивается по определенным правилам (нормам) в так называемых «часах» или баллах. В результате оценить деятельность каждого преподавателя, сравнить ее с деятельностью других преподавателей можно по сумме количества «часов» или баллов, «наработанных» преподавателем за соответствующий период, отдельно по группам работ ППС или сразу по всем видам работ (одноуровневая система):

О =

ЪСк°гк

л

ГЧ/Б'

где О — количественная оценка деятельности ¿-го преподавателя;

л

опч/Б' — оценка «в часах» или баллах к-го

гк

вида работ, выполненных за оцениваемый период ¿-м преподавателем;

Ск — весовой коэффициент (значимость)

к-го вида работ;

К — количество видов работ, по которым оценивается деятельность ППС.

Прежде всего, отметим, что позитивной стороной такого подхода является использование единой количественной (интервальной) шкалы оценки для всех видов работ ППС, в том числе и для тех работ, которые характеризуются скорее качественной, нежели количественной природой4.

Однако существенной проблемой в таком подходе является отсутствие строгого (матема-тико-статистического) обоснования упомянутых выше «норм», переводящих натуральные показатели результатов соответствующих видов работ (например, объем в страницах учебного пособия или научной статьи) в затраченные на них «часы» или в соответствующие им баллы. В частности, в большинстве случаев неясны дисперсионные характеристики и доверительные интервалы подобных оценок. Другой негативной стороной такого подхода являются случаи проявления «начетничества», вызывающие иногда и анекдотичные ситуации, когда общий итог «часов», «наработанных» преподавателем за учебный год, превышает служебный (а порой и астрономический) годовой бюджет времени.

Еще одной слабой стороной существующих в вузах рейтинговых систем оценивания деятельности ППС является отсутствие какой-либо строгой (формальной) обоснованности вида функций агрегирования первичных показателей в обобщенные оценки по группам работ и далее в обобщенный рейтинг деятельности ППС.

Как правило, агрегирование первичных показателей в оценки по группам работ и далее в обобщенный рейтинг деятельности ППС осуществляется в аддитивной логике, т. е. через взвешенное суммирование соответствующих показателей. Однако анализ содержания различных видов работ ППС, их взаимосвязи и взаимообусловленности показывает, что взвешенное суммирование при оценивании деятельности ППС далеко не всегда отражает природу совместного

к=1

(1)

4 Например, разработка учебных пособий или научных статей.

л

л

л

л

учета различных работ ППС или совместного учета показателей разных сторон определенных видов работ ППС5.

В некоторых случаях применяется упрощенный, но весьма наглядный с управленческой и «соревновательной» точки зрения подход к агрегированию оценок, когда первичные показатели по работам ППС сразу преобразуются в рейтинги ППС (рейтинг ППС по объему проведенных занятий, рейтинг ППС по объему подготовленных методических пособий, рейтинг по количеству и/или объему опубликованных научных статей и т. д.), которые взвешенно суммируются для формирования рейтингов по группам работ (рейтинг ППС по учебной работе, рейтинг ППС по методической работе и т. д.), а далее, в свою очередь, производится взвешенное суммирование рейтингов по группам работ для выстраивания обобщенного рейтинга деятельности ППС. К сожалению, такой подход является неправомерным с математической точки зрения — рейтинги, как оценки в порядковой шкале, нельзя складывать. Для агрегирования рейтингов необходимо применять другие математические процедуры6.

В качестве иллюстрации подхода, во многом свободного от отмеченных недостатков, приведем некоторые собственные результаты по обоснованию шкал и функций агрегирования первичных показателей в обобщенную оценку перЛ

вой группы работ ППС (оценка 0"~ГЦ по объему, сложности и другим показателям проведения занятий).

Л

Для показателя Ол (объем проведенных

аудиторных занятий) естественной является шкала количества, относящаяся к интервальным

Л

шкалам [6]. Показатели Oi3 (использование ак-

Л

тивных форм обучения) и Oi4 (использование ТСО) также можно оценивать в часах занятий,

5 Например, при определении показателей разработки учебных пособий вряд ли правильно просто суммировать показатели уровня работы (с рекомендательным грифом Ми-нобрнауки, грифом соответствующего УМО вузов, с рекомендательным грифом ученого/редакционно-издательско-го совета вуза, рекомендацией кафедры для использования в учебном процесса) с нормированными показателями объема учебных пособий в страницах или авторских листах.

6 Корректной для определения итогового рейтинга по

нескольким различным рейтингам является операция, основанная на взятии медианы в ряду рейтинговых значений, получаемом из совокупности рейтингов.

относимых к соответствующим категориям, т. е.

л

в шкале количества. Показатель О имеет скорее качественную природу и может быть оценен в какой-либо порядковой шкале (например, «сверхсложные [дисциплины]», «очень сложные», «сложные» и «несложные»), или его, как степень нарастания некоего трудно- или вовсе неформализуе-мого фактора, можно экспертно оценивать в процентной (100 % — максимальная сложность) или в единичной нормированной шкале [0, 1]7.

В любом случае для агрегирования данных

л л л л пл п

показателей Оп , 012, Ой и 014 в оценку О - ' ¿1 их необходимо привести в единую шкалу. Анализ смысла и логики оценивания деятельности ППС дает основание для выбора и использования единичной нормированной шкалы [0, 1]. При этом первичные показатели, измеряемые в интервальных (количественных) шкалах, переводятся в шкалу [0, 1] на основе следующего соотношения:

л п, _ п

f (O ) - к m®

J norm\ ) ~

ок _ о,

к max к min

(2)

где Ok - исходное значение (первичного) оценочного показателя ¿-го преподавателя по k-му виду работ в количественной шкале;

л

Ok - минимальное значение шкалы показателя по k-му виду работ среди всех преподавателей;

л

Ok - максимальное значение показателя по

max

k-му виду работ среди всех преподавателей.

Функция fnorm(x) выравнивает диапазон раз-

л

броса значений оценочных показателей O1k ,

лл

O2k , ..., о у N преподавателей по любому из k видов работ, измеряемых/оцениваемых в интервальной шкале количества, включая балльные оценки (например, «Количество разработанных учебных пособий с соответствующим рекомендательным грифом» — от 0 до 3, «Объем опубликованных научных статей» — от 5 до 150 стр., «Оценка в 100-балльной шкале сложности учебных дисциплин» — от 15 до 90 баллов и т. п.), в единый интервал относительных значений [0, 1].

Отметим, что для шкал количества, вклю-

л

чая шкалы балльных оценок O = 0, соотно-

kmin

шение (2) является соотношением подобия, а шкала оценивания, получаемая по соотноше-

7 «1» - максимальная сложность, 0< £ < 1 — минимальная степень сложности.

л

л

Н. А. Гайдамакин, А. А. Ялпаев. Системы оценки деятельности ППС вузов

нию (2), является шкалой отношений, воспроизводящей не только порядок (больше/меньше), но отношения степени сравнения измеряемых/ оцениваемых объектов («во сколько больше/

л

меньше»—/ (x. )/f (x )=Х /x )• Если O рас-

J normx f J normv 2' 1 2 k ■

сматривать как минимальное значение в ряду

Olk, о2к

O , то соотношение (2) явля-

Nk

ется линейной функцией общего вида, а шкала оценивания, получаемая по соотношению (2), является шкалой интервалов, воспроизводящей отношения интервалов между двумя парами оцениваемых объектов {(/ (х.) - / (х„)/(/ (X)-

'•^'могт4 1У ^ погтх 2' погтх 3'

/иопи(х4) = (х1 - х2/(х3 - х4)}, но не воспроизводящей отношения степеней сравнения8.

В любом случае соотношение (2) сохраняет порядок на множествах нормированных оценок

O,k, O2k

, O , что дает возможность их адек-

ватного преобразования в рейтинги первичного уровня, если использование таких рейтингов предполагается управленческо-технологической схемой систем оценивания деятельности ППС.

Как уже отмечалось, при построении и обосновании функций агрегирования первичных показателей чаще всего используется простая аддитивная логика. Однако более пристальный анализ природы, соотношений, возможной взаимообусловленности различных составляющих работ ППС показывает необходимость применения более сложных логик и функций.

Проиллюстрируем данное утверждение на примере агрегирования первичных показателей

л л л л л

Ол , °12, 0,3 и 044 в групповую оценку О"'1"и .

Будем исходить из следующих эвристических и общелогических соображений. В частности, если действуют несколько «независимых» («самостоятельных») факторов (причин, оснований), а итоговый результат (следствие, вывод) определяется как воздействием (проявлением) каждого фактора в отдельности (в том числе при отсутствии действия других факторов), так и при их совместном воздействии (проявлении), то итоговый результат характеризуется дизъюнктивной природой (логическое «ИЛИ»). Следовательно, вид агрегирующей функции имеет аддитивный характер.

В противном случае, когда один или несколько факторов являются «самостоятельными (независимыми) игроками», а другие лишь усиливают/ослабляют их действие, в том числе когда при отсутствии проявления первых факторов теряется смысл рассмотрения других факторов9, тогда итоговый результат характеризуется конъюнктивной (логическое «И») или конъюнктивно-дизъ-юнктивной природой. Соответственно, вид агрегирующей функции должен носить мультипликативный или иной более сложный характер.

В нашем случае основным показателем, конечно же, является о (показатель объема проведенных аудиторных занятий), без которого (при его нулевом значении) теряют смысл все

остальные показатели — 0 2 (показатель сложности учебных дисциплин), о,3 (показатель проведения занятий с активными формами обучения)

л

и °4 (показатель использования при проведении занятий технических средств обучения).

Кроме того, будем считать, что в отноше-

л л л

ниях между собой показатели 0 2 , 0 3 и 0 4 являются «самостоятельными игроками», влияю-

л

щими на групповую оценку О"-1" 1 независимо. В итоге вид агрегирующей функции, аргу-

лл

ментами которой являются показатели Оп , 0г2,

лл

О 3 и О 4, а результатом — значение группового

показателя О"-1" 1 , может быть быть определен на основе следующего соотношения:

л л л л л

О"'1'п = Ол (^12 О2 + ^ Оз + С14 0,4 ), (3)

4

где Ъ с1т = 1 - весовые коэффициенты показа-

т=2

л л л

телей О , О и О соответственно.

2 3 4

Основываясь на подобных рассуждениях, в качестве функции агрегирования следующего уровня в обобщенную оценку деятельности ППС можно предложить следующее соотношение10:

8 При этом п-й субъект, имеющий по к-му виду работ в

л л л

ряду О1к , О2к , ..., Ош наименьший показатель, получает после нормирования по соотношению (2) нулевую оцен-

л

ку /погт( ОШ ) = 0.

9 Если не проведено ни одного часа занятий, то для оценки работы преподавателя не важно каких именно занятий не проведено - сложных или нет, с активными формами обучения или без таковых, с использованием ТСО или без использования.

л

10 При условии, что в соотношении (2) Ок = 0, т. е.

является общим нулевым значением шкалы количества (чего-либо).

л

л

л

л

л

O, = O -" ,1 ( c2O'-v i 2 + c3O"-1"",з +

+ c7O _1'' , 7

(4)

где

^ ck = 1 - весовые коэффициенты показате-

лей O 1 , O" 1 ,-3, O" 1 " ,7, соответственно.

Отметим также, что оценки, получаемые по соотношению (3), перед их агрегированием по соотношению (4) необходимо также нормировать по соотношению (2). Кроме того, соотношение (4), обеспечивая порядок на множестве величин

Л

O , также дает возможность их адекватного перевода в обобщенные рейтинги деятельности

ппс.

В работах, посвященных рейтинговым оценкам деятельности ппс, практически никогда не приводятся обоснования методов получения весовых коэффициентов (в нашем случае — ск и ckm). Очевидно, при этом используются методы экспертных оценок, но тогда важно понимать, на каком экспертном базисе, с помощью каких методов оценивания (балльные или ранговые оценки, попарное сравнение) и какими процедурами опроса экспертов (открыто, с обсуждением или анонимно, в один тур, либо методом «Дель-фи») получены значения ck, каковы дисперсионные и иные характеристики этих оценок.

Нормативно-организационная и управленческо-технологическая составляющие систем оценивания деятельности ППС

В рамках создания и функционирования рейтинговых систем вузами выстраивается своя локальная нормативная база отчетности (за учебный год, семестр) и нормативно-организационных документов стимулирующе-мотивационно-го характера в отношении деятельности ппс.

Значения первичных показателей по результатам работы каждого преподавателя формируются соответствующими кафедрами и передаются для обработки в учебно-методическое подразделение вуза. при этом, как правило, используются электронные шаблоны для заполнения на кафедрах специально разработанных отчетных форм по первичным показателям деятельности ппс (обычно в формате табличного редактора Excel) с последующей обработкой и формированием учебно-методическим подразделением аг-

регированных оценок в тех или иных СУБД или в специально разработанных автоматизированных информационных системах.

В отношении некоторых первичных показателей, оценивание которых в «часовой» или бальной шкале характеризуется существенной неопределенностью (например, показатель «владения предметом»), вузами могут выстраиваться специальные контрольно-экспертные, контрольно-оценивающие процедуры, организуемые и проводимые учебно-методическим подразделением или специально создаваемыми комиссиями. В этом случае в течение оцениваемого периода каждый преподаватель должен пройти по соответствующим дисциплинам отмеченные контрольные процедуры (контрольные посещения занятий уполномоченными субъектами с выставлением соответствующих оценок).

Некоторыми вузами (далеко не всеми) практикуется оценивание части показателей деятельности ППС посредством анкетирования обучаемых (студентов). Подобный метод получения оценок деятельности ППС многие считают весьма ограниченным или вовсе неприемлемым, поскольку субъект, оценивающий какую-либо деятельность, должен сам владеть навыками ее осуществления и, кроме того, специальными навыками оценивания. Вряд ли обучаемых (студентов) можно рассматривать в этом качестве. Кроме того, весьма сложно в подобных оценках, в том числе и тогда, когда они касаются тех показателей, оценки по которым действительно разумно получать от обучаемых (например, такой показатель, как «занятия проходят интересно», и т. п.), вычленить так называемую «популистскую» составляющую, и в результате требовательные преподаватели получают, как правило, более низкие оценки.

В некоторых вузах при оценивании деятельности ППС учитываются оценки, получаемые в рамках «обратной связи» от заказчика, т. е. по результатам оценивания качества подготовки выпускников руководителями и специалистами предприятий, где трудятся выпускники вуза. Схема и процедуры таких оценок обычно включают специальные опросные листы со структуризацией по различным аспектам подготовленности выпускников для заполнения их непосредственными руководителями на местах. Получаемые таким образом оценки (с учетом поправок на «неподготовленность» опрашиваемых как специалистов по процедурам оценивания) учитываются в оценках деятельности ППС по соответствующим дисциплинам или видам работ.

Л

k =2

H. A. Гайдамакин, A. A. Ялпаев. Системы оценки деятельности ППС вузов

На основе анализа опыта вузов нельзя также не отметить и некоторые, если так можно выразиться, социально-психологические проблемы, которые могут возникать при разработке и внедрении в образовательно-управленческую практику рейтинговых систем оценивания ППС. В преподавательских коллективах, где нет позитивного настроя на совершенствование преподавательской деятельности, на повышение качества подготовки обучаемых, внедрение рейтинговых систем может сопровождаться демонстративным безразличием, пассивностью, а то и элементами саботажа со стороны отдельных «авторитетных» преподавателей или целых преподавательских коллективов. Поэтому, как уже отмечалось, в разработку и внедрение рейтинговых систем с самого начала должно быть вовлечено преподавательское сообщество вуза. С другой стороны, внедрение рейтинговых систем требует твердой позиции, последовательности и настойчивости администрации вуза и его организационных структур.

В заключение отметим, что правильно построенные рейтинговые системы во многом отражают объективную картину деятельности ППС, способствуют объективизации мер его морального и материального стимулирования. В преподавательских коллективах со здоровым социально-психологическим климатом они создают и/или повышают соревновательный и мотива-ционный аспект преподавательского труда. Поэтому рейтинговые системы оценки ППС в вузах являются важным элементом систем управ-

ления качеством образования, поднимают управление деятельностью ППС на более высокий уровень.

1. Бордовская Н. В., Титова Е. В. Методика оценки качества деятельности преподавателей вуза. Изд. центр Поморского гос. ун-та, 2003. 73 с.

2. Донецкая С. С., Загоруйко Н. Г., Рыскулов С. Н. Методика отбора показателей для рейтинговой оценки деятельности кафедр университета // Университетское управление: практика и анализ. 2006. № 6.

3. Катуржевская О. В. Рейтинговая оценка деятельности преподавателей вуза (опыт Армавирского государственного педагогического университета) // Педагогические измерения. 2008. № 6. С. 43-47.

4. Ковалев В., Ледяев А., Микони С., Якубчик П. Система оценки деятельности кафедр университета // Aima mater. 2002. № 1.

5. Примерные нормы времени для расчета объема учебной работы и основные виды учебно-методической, научно-исследовательской и других видов работ, выполняемых профессорско-преподавательским составом в образовательных учреждениях высшего и дополнительного профессионального образования : прил. к письму Мин-ва образования РФ от 26.06.03 г. № 14-55784 ин/15.

6. Пфанцагль И. Теория измерений. М. : Мир, 1976. 248 с.

7. Резник С. Д. Управление кафедрой : учебник. 3-е изд., перераб. и доп. М. : ИНФРА-М, 2009. 607 с.

8. Степанов Ю. С., Рабинович М. И. О проблемах получения рейтинговых оценок деятельности преподавателей, кафедр и факультетов во внутривузовской системе управления качеством образования // Университетское управление: практика и анализ. 2006. № 6 (46). С. 53-57.