О рейтинговой оценке научно-педагогических работников и научно-образовательных структурных подразделений вуза Текст научной статьи по специальности «Математика»

С. В. Жак, В. Н. Кирой

О РЕЙТИНГОВОЙ ОЦЕНКЕ НАУЧНО-ПЕДАГОГИЧЕСКИХ РАБОТНИКОВ И НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ СТРУКТУРНЫХ ПОДРАЗДЕЛЕНИЙ

ВУЗА

S. V. Zhak, V. N. Kiroy

The rating of scientific-pedagogical workers and scientific-educational structural

subdivision at university

One of actual problems of high school management today is development and use of strict quantitative criteria for an estimation of activity of scientific and pedagogical workers and scientifically-educational structural divisions, high schools and scientific institutes as a whole. As a rule, in these purposes various ratings which essential lacks are subjectivity in purpose of weights of parameters and absence of data on an accessory of objects to set Pareto are used. More objective method of a comparative estimation (rating) of scientifically-educational activity of workers and structural divisions which can be used in an expert, in particular, managements of the personnel and structural divisions of high school is developed and approved.

t

»3

нительная оценка различных объектов, ило, требует решения многокритериаль-_____¡адач, поскольку каждый из них характеризуется целым рядом признаков. Так, в [1] была дпринята попытка классификации критериев оценки деятельности вуза и обоснования рас-етов этих показателей. Такая оценка проводит-по результатам рейтинга объектов, рассчитываемого на основании линейной комбинации признаков), каждому из которых гся определенные веса или баллы. Несмотря на принципиальные недостатки, состоящие, в частности, в том, что обычно принадлежность объекта множеству Парето не определяется, а изменяя веса критериев, можно любой

объект, принадлежащий этому множеству, объя-

¿И©у I || _____________

вить наилучшим, такой подход в настоящее время является общепринятым.

Назначение весов критериев — ключевой момент при проведении рейтинга. Обычно эти веса назначаются некоторыми экспертами, которые являются либо специалистами в рассматриваемой области, либо администраторами, реализующими некоторую политику в сфере управле-

ующими НЄК( ния объектам]

тами.

Несмотря на широкое распрост-зние такого способа, его нельзя считать кор-

'"'ХТНЫМ, поскольку он вноси

эъективизма в

шя сравн

В. Н. Кирой, 2007

значительную дуру сравнения

.лвных методов про-(рейтинга) объек-

тов, в частности образовательной деятельности, должна включать:

1. Предварительное выделение наиболее существенных групп показателей (факторов), для чего могут эффективно использоваться метод факторного анализа или его модификации. Использование слишком большого числа (десятков) критериев (показателей) при решении подобных задач недопустимо, так как, аналогично множественной регрессии, приводит к некорректным задачам, исключающим объективное сравнение. Для показателей, не вошедших в группы (в том числе качественных), но существенных, по мнению экспертов, должны назначаться границы изменчивости, нарушение которых может являться основанием для исключения объекта из рассмотрения.

2. Разбиение объектов на более или менее однородные группы, сравнение их внутри этих групп и лишь затем (по обобщенным показателям) — сравнение лидеров групп между собой. Это позволяет учитывать природу сравниваемых объектов, которые могут существенно различаться своими масштабами, квалификационными характеристиками, относиться к принципиально разным областям знания и т. д.

3. Нормирование показателей [1], их приведение к безразмерному виду одного и того же порядка.

Следует также учитывать, что некоторые критерии по природе своей являются усреднен-

ными (в частности, за определенный период времени) величинами, тогда как другие — нет. Усреднению подлежат и указанные выше границы для менее существенных показателей по каждой из групп объектов.

В нашей статье описывается методология более объективного назначения весов критериев [2, 3], используемых при сравнительной оценке объектов, которая может оказаться полезной при решении практических задач, в частности, проведении рейтинга вузов, их структурных подразделений, образовательных программ, работников.

Как известно, мнения экспертов, учитываемые при ранжировании вариантов (проектов, изделий и т. п.), характеризующихся некоторым множеством показателей, могут быть получены в той или иной форме, начиная от жесткого требования «выдать коэффициенты замещения для всех показателей» (т. е. по вектору показателей или критериев / =(р1, ..., /п) построить аддитив-

П

ную функцию полезности ] = 1 (р = Ъ ) и

кончая более слабыми требованиями попарного сравнения вариантов или указания для данного варианта эквивалентных изменений других показателей. Наиболее слабой формой получения сведений от экспертов, часто применяемой в различных технических приложениях, является требование указать частичное ранжирование (без указания количественных оценок), т. е. из всего множества вариантов I = {*} выделить упорядоченное подмножество:

10 = Ос, *1, ..., О, *С ^ 11 ■■■ > К > (1)

или отдельные частные предпочтения (такое упорядочение будем называть базовым ранжированием).

Возникает вопрос: как можно наиболее полно использовать эту информацию для решения дискретной задачи многокритериальной оптимизации сравнения иных вариантов (I е 1/10) или количественной характеристики рассматриваемых вариантов?

Наиболее простым и распространенным способом сравнения вариантов (хотя и далеко не всегда возможным) является построение уже упомянутой выше аддитивной функции полезности (свертки критериев):

п и

ф3 = IР=ЪИ, 1 > о, Ъ1 = 1

* л 1

и сравнение вариантов по ее значениям:

*1 > *2 ^ <Рч > Ъ '

При этом возникают вопросы:

— можно ли по базовому ранжированию (1) установить возможность его перевода на язык аддитивной функции полезности ф?

— как реализовать построение такой линейной связки критериев, т. е. вектора 1, согласованного с (1)?

— как сказывае

"IX

*

\\

построении этой линейной связки наложение дополнительны ловий?

— как обеспечить при этом инвариантность предпочтений вариантов, не вошедших в 10, т. е. сохранение предпочтений при изменении 1?

Базовое ранжирование (1) эквивалентно (если существует согласованная с ним лине

связка критериев) неравенствам:

Фь > Фк

> >

Фи

т. е. системе линейных неравенств д„„ . весов 1:

1( Р -1

или 1 Б > добавить усл(

к = с, 1, ..., г 1-3

У!)), к которым необходимо отрицательности и норми-

отдельное предпочте-ш ему вектор Ок и по-

)уется для любого

набо-

ш

ровки весов

м, чт

ние дает соотве тому матрица О ра частных предпочтений

Для описания всего множества весовых коэффициентов Л0, отвечающих ранжированию (1), можно было бы применить общие процедуры построения всех решений системы линейных неравенств, но они громоздки и требуют растущей и непрогнозируемо большой памяти для промежуточных вершин многогранника.

В данной задаче удобно использовать искусственный прием, ослабив условие нормировки (заменив его неравенством) и выбирая ту же сумму весов в качестве целевой функции, т. е. решать задачу линейного программирования:

п п

1 Б > 0, 1 > 0, Ъ1 £ 1, Ъ1 ® тах. (2)

j=l j=l

При этом значения 1, отвечающие 1Б = С, должны быть исключены (если рассматривается только строгое предпочтение).

Формально эта задача всегда разрешима, так как 1 = С — допустимое решение (т. е. множество допустимых решений не пусто и ограничено), но нулевое решение — неприемлемо, а решение при 1 > С, 1 # С может и не существовать, так как условия 1Б > С могут быть противоречивыми. Таким образом, мы получаем отрица-

тельный ответ на первый из поставленных вопросов: базовое ранжирование несовместимо со скалярным упорядочением базовых вариантов, т. е. не существует линейной функции полезности, согласованной с (1). При этом, однако, всегда можно ввести еще один дополнительный критерий, согласованный с (1) (например, fa = 0, ДгЛ=Уг fa = r/r =1), и тогда имеется допустимое решение 10 = 1, 1 = 0, j # 0, следовательно, всегда существует оптимальное решение

1> 0, ( XXj = 1).

Когда задача разрешима «в узком смысле» (1 > 0), выбор весов всегда возможен и, следовательно, максимум целевой функции достига-

n

ется на равенстве X1] = 1. Поиск всех оптимальных решений реализуется простой модификацией симплексной процедуры.

Недостатком предложенного подхода является, прежде всего, возможность появления нестрогого предпочтения в ранжировании. Кроме того, неудобно, если значения функции полезности для «смежных» вариантов отличаются незначительно, т. е. функция полезности «слабо различает» варианты.

Для исправления этого недостатка можно наложить на функцию ценности дополнительное требование — порог а изменения функции полезности при переходе от варианта к варианту в базовом ранжировании.

Это требование может быть записано в виде:

<Р,М > %

или опять в виде линейных неравенств для Я:

1 р (1 - a) - fiw) °1вк > 0,

к = 0, 1, ..., r - 1.

Формируя из векторов Bk матрицу B и учитывая условия нормировки весов, получаем аналогично предыдущему задачу линейного программирования:

1B > 0, 1> 0, Xl < 1, (3)

n j=1

X1/ ® max,

М

множество всех оптимальных решений которой позволяет описать все множество весов, порождающих функцию полезности, согласованную с базовым ранжированием и дополнительными условиями:

M ~ M

L 0 ={11 1 = Xm gk gk o^m^1}. (4)

0 k=1 k=1

Очевидно, что Л с Д| и проблема строгого предпочтения базового ранжирования решается автоматически (из 1В > 0 вытекает Ю > 0).

Рассмотрим простейший пример с двумя критериями, значения которых для 7 альтернатив приведены в табл. 1.

Таблица 1

1 2 3 4 5 6 7

f 20 10 15 12 17 17 12

Л 10 20 15 18 11 10 15

Расположение точек, указанных в табл. 1, в критериальном пространстве изображено на рисунке. Точки 6 и 7 не принадлежат П (так как доминируются соответственно точками 5 и 4).

Линейная функция ценности имеет вид ф = + Я,/2 = Я1/1 + (1 - \)/2, зависит от одно-

го параметра Я1 и множество А всех возможных весов является отрезком [0, 1]: А = {Я1, Я2 | Я2 =

1 - Я1, 0 <Я1 < 1}.

Пусть базовое ранжирование, заданное экспертом, имеет вид: 4 ^ 2, т. е. р4 > р2.

Из него следует Я1>Я2, Я1> —, т. е. А01 = {Я1,

1 2 я2 | я2 = 1 - я1, 2 < Я1 < 1}.

Если выбрать крайнюю правую точку этого множества (Я1=1), то ] = /1 (второй критерий игнорируется) и этой функции ценности отвечает следующее упорядочение всех альтернатив множества Парето: 1 ^ 5 ^ 3 ^ 4 ^ 2.

Проверим, при каких Я1 эти условия предпочтения сохраняются:

1 ^ 5 ~ р > ф5, 3Я1 > Я2, Я1 > 1 (т. е. для всех Я е А0),

5 у 3 ~ р5 > р3,Я1 > 2Я2, Я1 > -

7

5 у 4 ~ р5 > р4, 5Я1 > 7Я2, Я1 > —

5 у 2 ~ р5 > р2, 7Я, > 9Я2, Я, > —

2 1 16

3 у 4 ~ р3 > р4, Я, > Я2 (т. е. для всех Я е А,,1).

Таким образом, множество А0 оказалось разбитым на 4 части, каждой из которых отвечают различные упорядочения альтернатив из множества Парето (см. табл. 2, границы исключены, так как на них строгое предпочтение переходит в безразличие).

Таблица 2

V 1 Предпочтения точек П

V 2/3 < Х1 £ 1 1 ^ 5 ^ 3 ^ 4 ^ 2

V 7/12 < 11 £ 2/3 1 ^ 3 ^ 5 ^ 4 ^ 2

V 9/16 < £ 7/12 1 ^ 3 ^ 4 ^ 5 ^ 2

V 1/2 < £ 9/16 1 ^ 3 ^ 4 ^ 2 ^ 5

Если на базовое ранжирование 4 > 2 наложено условие чувствительности с порогом «,= 0,05, то р4^(1,05)р2, т. е. Я> 2Я2, Я,> 2/3, следовательно, А0 совпадает с замыканием Ад и во всех точках этого множества сохраняется одно и то же предпочтение всех альтернатив множества Парето (а значит, и всех альтернатив).

Отметим, что общее число всех возможных предпочтений, т. е., упорядочений 5 точек множества Парето, равно 5! = 120. Задание одного предпочтения сокращает это число до 60. Учет значений критериев сокращает число вариантов до 4, а при условии чувствительности с порогом 5 % — до одного.

Рассмотренная процедура позволяет решать и другие задачи, связанные с предпочтением в условиях многокритериальности, например, проверять совместимость мнений двух экспертов. Если в рассмотренном примере второй эксперт считает, что 5 у 1, то эти эксперты несовместимы (так как из 4 у 2 вытекает 1 у 5), а мнение

2 у 5 (т. е. 4 у 2 у 5) выделяет в А0 одну область Л и единственное упорядочение (1 у 3 у 4 у 2 у 5).

Рассмотренная выше процедура требует «внешнего» задания предварительного ранжирования альтернатив. Это реально при сравнительной оценке вузов, но не вполне корректно при

сравнительной оценке, например, преподавателей или кафедр. В этом случае приходится ограничиваться указанными выше приемами нормировки критериев и отбором «паретовских» точек.

Приведем в качестве примера сравнение кафедр одного из факультетов Южного федерального университета. Получив значения всех показателей, характеризующих деятельность преподавателей кафедр, и учитывая их веса, установленные экспертным методом, сведем их к трем основным критериям, а именно: 1 — «Заслуги»,

2 — «Учебно-методическая работа», 3 — «Научная работа», суммируя эти показатели по всем преподавателям кафедры (табл. 3). Поскольку (как следует из второго столбца таблицы) эти суммарные показатели характеризуют деятельность различного числа преподавателей (от 6 до 17), преобразуем эти данные, разделив их на средние значения по каждому столбцу (табл. 4), а, во-вторых, перейдем к «удельным» значениям, рассчитанным для «одного усредненного препо-давателя»1 (табл. 5).

Анализ сведений, приведенных в таблицах, показывает, что при переходе к «удельным» показателям меняется положение одного из максимумов и соотношения между кафедрами. Из табл.

4 следует, что множеству Парето принадлежат только кафедры 10, 7, 8, 4 (остальные доминиру-ются: 3 и 1 — 10-й, 6 и 2 — 8-й, 11, 9 и 5 — 7-й).

Видно, что при этом положение максимумов показателей не меняется!

Если считать обобщенные показатели равнозначными, т. е. веса их одинаковыми, и просто суммировать показатели, то для «паретовс-ких» кафедр получаем: 10 — 4,159; 7 — 3,54; 8 — 5,187; 4 — 2,785, и упорядочение этих кафедр по суммарному рейтингу таково: 8, 10, 7, 4.

Для «непаретовских» объектов считать рейтинг (аддитивную сумму критериев) вряд ли целесообразно, так как, этот показатель может оказаться больше, чем у «паретовских», но не самых лучших объектов (например, для 6-й он равен 3,012).

Аналогичный анализ, выполненный для результатов, приведенных в табл. 5 («удельные» показатели), приводит к иному множеству Парето: 7, 6, 8, 11 (10, 3 и 1 доминируются 7-й, 9, 5, 2 и 4 - 11-й). Упорядочение объектов этого множества Парето таково: 8, 6, 7, 11 (для кото-

1 Для удобства сравнения после деления на число преподавателей умножим результат на 10.

Таблица 3

Исходные показатели, характеризующие деятельность кафедр

№ кафедры Число преподавателей Критерий 1 Критерий 2 Критерий 3

1 14 208,00 295,33 126,44

2 15 145,82 239,03 401,00

3 7 173,02 404,35 185,17

4 17 109,31 396,95 549,98

5 10 82,35 468,75 246,99

6 6 230,63 242,56 582,25

7 7,5 322,41 572,84 326,29

8 10 462,99* 290,58 1012,34

9 12 299,93 441,09 243,41

10 17 313,10 780,10 392,50

11 7 259,34 502,75 310,44

Сумма 2606,9 4634,33 4375,51

Среднее значение 237 421,3 398

* Здесь и далее выделяются максимальные значения каждого критерия.

Таблица 4

Масштабированные показатели, характеризующие деятельность кафедр

№ кафедры Число преподавателей Критерий 1 Критерий 2 Критерий 3

1 14 0,877 0,701 0,318

2 15 0,615 0,567 1,008

3 7 0,730 0,960 0465

4 17 0,461 0,942 1,382

5 10 0,347 1,113 0,620

6 6 0,973 0,576 1,463

7 7,5 1,360 1,360 0,820

8 10 1,953 0,690 2,544

9 12 1,266 1,047 0,612

10 17 1,321 1,852 0,986

11 7 1,094 1,193 0,780

Таблица 5

«Удельные» показатели, характеризующие деятельность кафедр

№ кафедры Число преподавателей Критерий 1 Критерий 2 Критерий 3

10 17 0,777 1,089 0,580

3 7 1,012 1,371 0,664

7 7,5 1,813 1,813 1,093

6 6 1,622 0,960 2,438

1 14 0,626 0,501 0,227

8 10 1,953 0,690 2,544

11 7 1,563 1,704 1,114

9 12 1,055 0,872 0,510

5 10 0,347 1,113 0,620

2 15 0,410 0,378 0,672

4 17 0,271 0,378 0,813

Таблица 6

Упорядочение кафедр «по местам»

№ кафедры Место по критерию 1 Место по критерию 2 Место по критерию 3 Сумма мест Итоговое место

7 2 1 4 7 1

11 4 2 3 9 2

8 1 8 1 10 3

6 3 6 2 11 4

3 6 3 7 16 5

10 7 5 9 21 6

9 5 7 10 22 7-8

5 10 4 8 22 7-8

2 9 10,5 6 25,5 9

4 11 т © 5 26,5 10

1 8 9 11 28 11

рых суммы показателей равны соответственно 5,187; 5,02; 4,719; 4,381).

Таким образом, модификация показателей не меняет позиций кафедр 8 и 7 (1-е и 3-е места соответственно), а на 2-е и 4-е места выходят другие кафедры.

Для сравнительной оценки деятельности преподавателей может быть применен тот же подход, однако при этом их целесообразно разделить на однородные группы (например, профессора, доценты, преподаватели и др.).

Если все же требуется упорядочить все объекты (например, кафедры), можно использовать «спортивный» принцип: упорядочить объекты по каждому критерию, а затем подсчитать «сумму мест». Такой подход возможен и для исходных, неагрегированных показателей. Применив это подход при анализе сведений, содержащихся в табл. 5, получим табл. 6.

Как видно, первая четверка совпадает (с точностью до порядка) с «паретовским» упорядочением табл. 5.

Все рассмотренные подходы легко реализуются и могут быть использованы в практике управления персоналом и структурными подразделениями вуза.

Литература

1. Долятовский В. А., Рябченко Т. Н., Мазур О. А. Конкурентоустойчивость и технология управления развитием вуза на рынке образовательных услуг. Ростов н/Д; Невиномысск, 2006. 242 с.

2. Жак С. В. Экономика для инженеров. М.: Вуз. книга, 2004.

3. Жак С. В., Руссман И. Б. Аддитивная функция полезности области инвариантного предпочтения и смежные вопросы. Ростов н/Д, 1992. Деп. в ВИНИТИ. 1992. № 1161.