CC BY
66
УДК 378:004
Построение комплексных нечетких оценок эффективности деятельности вуза и публичной формализации деятельности преподавателя*
Е.С. Каган
Кемеровский государственный университет (Кемерово, Россия)
Construction of Comprehensive Fuzzy Evaluations of University Activity Effectiveness and Lecturer Activity Public Formalization
E.S. Kagan
Kemerovo State University (Kemerovo, Russia)
Рассматривается подход к построению комплексных оценок сложных социально-экономических процессов. Явление представляется в виде иерархической модели, компоненты которой характеризуются важностью и степенью выраженности. Для оценки выраженности компонент применяется нечеткий подход. Компоненты модели представляют в виде лингвистических переменных. Для построения функций принадлежностей термов используется апостериорный подход. Предлагается два способа получения комплексных нечетких оценок. Первый способ применяется для процессов, компоненты которых измерены в количественных шкалах. Второй - для работы с ранговыми данными. В качестве прикладной задачи решается задача построения нечетких оценок двух показателей: показателя, характеризующего комплексную оценку эффективности деятельности вузов, и показателя, оценивающего степень публичной формализации деятельности преподавателей. На основании этих данных с помощью кластерного анализа проводится разбиение выборки вузов на кластеры и качественный анализ полученных результатов.
Ключевые слова: комплексные оценки, нечеткие множества, ранговые данные.
DOI 10.14258/izvasu(2015)1.1-27
An approach to construct comprehensive evaluations of complex socio-economic processes is considered in the paper. The phenomenon is presented as a hierarchical model with the components that are characterized with an importance and a severity degree. A fuzzy approach is applied to evaluate the severity degree of the components. The components of the model are presented in the form of linguistic variables. A posteriori approach is used to construct the terms appurtenance function. There are two methods to obtain the comprehensive fuzzy evaluations. The first method is applied for processes with components measured in quantitative scales. The second method is used for operation with the order data. A problem of fuzzy evaluations of two indicators is considered as an applied problem. The first indicator characterizes a comprehensive evaluation of universities activity effectiveness, and the second indicator evaluates the degree of lecturers' activity public formalization. These indicators are used for sampling and clustering the studied data for further qualitative analysis.
Key words: comprehensive evaluations, fuzzy sets, order data.
В настоящее время при моделировании сложных социально-экономических процессов интерес исследователей вызывают различные подходы к построению интегральных показателей или комплексных оценок изучаемых явлений. Так, в медицинских исследованиях при построении прогностических моделей (например, модели бинарной логистической
регрессии) одной из основных задач является повышение мощности исследования, т.е. снижение ошибки второго рода. Мощность исследования зависит как от объема выборочных данных, так и числа факторов, входящих в модель. Например, в асимметричных по объему выборках (недостаточное количество пациентов с неблагоприятными исходами) необходимо зада-
* Работа выполнена при поддержке гранта РФФИ "Оценка последствий введения системы внешнего оценивания деятельности преподавателей российских вузов", проект № 14-06-00251, на основе данных социологических исследований, проведенных Н.Ф. Апариной, И.Г. Доновой, М.В. Курбатовой.
вать не менее 20 наблюдений на каждый включенный в модель фактор. Поэтому использование интегральных показателей, с одной стороны, значительно снижает количество вводимых в модель факторов, таким образом, повышая мощность модели, а с другой — позволяет комплексно и всесторонне отображать изучаемый процесс, составляющие которого являются порой трудноизмеримыми.
Один из подходов к построению комплексных оценок основан на применении метода анализа иерархий (МАИ) [1] и теории нечетких множеств. Изучаемый процесс представляется в виде иерархической модели, составляющие которой характеризуются степенью важности (весовым коэффициентом) и степенью выраженности. Оценки весовых коэффициентов в МАИ рассчитываются путем обработки матриц парных сравнений, построенных на основе опроса экспертов. Однако весовые коэффициенты могут быть рассчитаны на основе обработки результатов корреляционного анализа или анализа поиска различий.
Для оценки степени выраженности компонент применяется нечеткий подход.
Все составляющие нижнего уровня иерархии представляют в виде лингвистических переменных (ЛП) с заданным терм-множеством. В данной работе для построения ФП термов используется апостериорный подход [2]. Весь диапазон изменения значений компоненты разбивают на уровни, соответствующие термам ЛП. Для каждой компоненты подсчитывает-ся число объектов, имеющих данный уровень. ФП строятся таким образом, чтобы площади фигур, ограниченных этими функциями и осью абсцисс, равнялись относительной частоте попадания объектов выборки в заданный интервал. При этом в качестве ФП могут быть использованы функции трапециевидной формы m(x) = (kj,k2,k3,k4), для построения которых
необходимо иметь информацию о значениях основных ее точек: k, k4 — это абсциссы левого и правого нулей ФП, k2, k3, значения вершин верхнего основания трапеции, определяющие интервал, на котором ФП равна 1.
Пусть ЛП имеет терм-множество, состоящее из трех термов: Т1 - «низкий», Т2 - «средний», Т3 - «высокий». Обозначим через f относительную частоту
объектов, значения которых попадают в i-й интервал. Тогда расчет основных точек функции принадлежности для терма «низкий» осуществляется по формулам (1-2):
если f < f2, то mJ(x) = (Otfff, (1)
если fj > f2, то mj (x) = (0;0; f - fs f + ff). (2)
Расчет основных точек для функции принадлежности терма «средний» осуществляется по формулам (3-6):
если /2 < ш1п(/1, /з),
то т2(х) = / - /-; / + /-;1-/з - /--Л-/ + /) ;(3) если /1 < /2 < /з,
то т2(х) = //-л-/з -^л-/з + /); (4) если /з < /2 < /1,
то ^(х) = / -/-;/ + А;1-/,1-/-) ; (5)
если /2 > шах(/1,/з),
то ь(х) = /;/;1-/;1-/). (6)
Расчет основных точек для функции принадлежности терма «высокий» осуществляется по формулам (7-8):
/ /
если /з > /2, то тз(х) = (1-/з -^;1-/з + 2 ^
если /з < /2, то тз(х) = (1-/;1-у^) ■ (8)
Процедура фаззификации (перевода четких значений в нечеткие) для показателей, измеренных в различных шкалах, осуществляется по-разному. При работе с количественными данными четкое значение представляется в виде вектора размерности I (I — число термов ЛП), элементами которого являются значения ФП всех термов ЛП. Подробно данная процедура для иерархических моделей описана в [3].
При построении комплексных показателей, основанных на данных экспертных опросов или анкетирования респондентов, исследователь сталкивается с необходимостью оперировать качественными данными. Однако в ранговых шкалах недопустима операция сложения, так как неизвестно расстояние между значениями шкалы. В этом случае для решения данной проблемы также может быть применен аппарат теории НМ. Компонента модели представляется в виде ЛП, термами которой являются значения ранговой шкалы. Так, при построении комплексного показателя, характеризующего степень публичной формализации деятельности преподавателей, источником данных для оценки его составляющих была информация, представленная на сайтах вузов. Для оценки степени выраженности компонент была проведена экспертная оценка, использующая три значения: 0 - отсутствие документированных правил, представленных в публичном пространстве Интернет, 1 - описание до-
кументации является общим, 2 - описание документации является детализированным. Данные значения соответствовали термам: «0» — Т1 = «низкий», «1» — Т2 = «средний», «2» — Т3 = «высокий». Для каждой компоненты были определены относительные частоты значений «0», «1» и «2» по всей исследуемой выборке вузов, на основании которых строились ФП термов. Фаззификация при работе с ранговыми данными заключается в переводе каждого значения ранговой шкалы в нечеткое (Ъ-Я) число [2], с ФП, соответствующей ФП термов ЛП. Нечеткая комплексная оценка представляется в виде нечеткого числа с ФП, основные точки которой представляют собой взвешенную сумму соответствующих точек всех составляющих модели (9):
т (х) = ^ ш }к1}1, ^ ш }к1}2, ^ ш к)ъ, ^ ш к
1=1 =1 =1 1=1
= (к1, к2, к3,к4),
14
(9)
где п — число компонент в интегральном показателе; i — номер объекта.
Значению четкой комплексной оценки /'-го объекта соответствует центроид Е1 данного нечеткого числа, вычисляемый по формуле (10)
(к3к4 - кк)+1((к4 - к3)2 - (к2 - к;)2)
Е =-—1—1-. (10)
к4 + к3- к2- к1
Рассмотрим возможность применения изложенных выше подходов к построению комплексных оценок для решения конкретной прикладной задачи. Реформирование российской системы высшего про-
фессионального образования предполагает принципиальные изменения в отношениях «государство как учредитель - вузы» и «вуз как работодатель - преподаватели». Данные изменения должны повысить эффективность вузов и уровень их конкурентоспособности. Однако мониторинг эффективности вуза фактически стал дублирующим механизмом, основное назначение которого - сократить количество вузов, в том числе и тех, которые формально соответствуют требованиям лицензирования и аккредитации. В данной работе была предпринята попытка построения двух интегральных показателей: 1) показателя, характеризующего комплексную оценку деятельности вузов и отражающего достижения вузов по разным направлениям деятельности; 2) показателя, характеризующего комплексную оценку степени публичной формализации деятельности преподавателей, с последующим анализом связи между ними.
Для комплексной оценки эффективности деятельности вузов в работе использовались четыре критерия: К1 — национальный рейтинг классических и исследовательских университетов (ИА «Интерфакс»); К2 — рейтинг РА-Эксперт «100 лучших российских вузов»; КЗ — индекс Хирша (^индекс); К4 — средний балл ЕГЭ. Источником формирования выборки стали данные Мониторинга качества приема в вузы РФ-2013, бюджетный прием в головные вузы. Формирование итогового списка проходило итерационно. В результате были отобраны 69 классических и научно-исследовательских вузов, для которых имелась информация о рейтинге Интерфакса и потенциально они могли попасть в топ-100 РА-Эксперта. Для расчета весовых коэффициентов использовались результаты корреляционного анализа. На первоначальном этапе исследования диапазон изменений значений критериев был разбит на три уровня (см. табл. 1).
Таблица 1
Весовые коэффициенты критериев и разбиение диапазонов изменения значений критериев на уровни
Критерий (весовой коэффициент) Диапазон изменений значений критерия в выборке Низкий уровень Средний уровень Высокий уровень
Рейтинг РА-эксперт (0,27)) 15-100 15-35 36-65 66-100
Рейтинговый функционал (0,25) 0-4,7727 0-1,5 1,5-3 3-4,7727
Индекс Хирша (0,24) 5-175 5-20 21-50 51-175
Балл ЕГЭ (0,24) 54,3-93,2 54,3-56 - «красная зона» 56-70 - «желтая зона» 70-93,2 - «зеленая зона»
Каждый из критериев был представлен в виде лингвистической переменной с терм-множеством, состоящим из трех термов: Т1 — «низкий», Т2 — «средний», Т3 — «высокий». Для каждого критерия рассчитывалось число вузов, значения показателей
которых попали в данные диапазоны. На основании этих данных были построены ФП термов. В таблице 2 представлена информация об основных точках ФП термов для всей группы критериев.
Таблица 2
Основные точки ФП термов ЛП (критериев)
Критерий Терм Частота интервала Координаты основных точек ФП
Рейтинг РА-эксперт низкий 0,23 (0; 0; 0,116; 0,348)
средний 0,65 (0,116; 0,348; 0,826; 0,942)
высокий 0,12 (0,826; 0,942; 1; 1)
Рейтинговый функционал низкий 0,42 (0; 0; 0,253; 0,587)
средний 0,33 (0,253; 0,587; 0,63; 0,877)
высокий 0,25 (0,63; 0,877; 1; 1)
Индекс Хирша низкий 0,38 (0; 0; 0,19; 0,57)
средний 0,44 (0,19; 0,57; 0,73; 0,91)
высокий 0,18 (0,73; 0,91; 1; 1)
Балл ЕГЭ низкий 0,03 (0; 0; 0,014; 0,043)
средний 0,61 (0,014; 0,043; 0,457; 0,819)
высокий 0,36 (0,457; 0,819; 1; 1)
Информация о значениях критериев для каждого вуза была переведена в значения функций принадлежности всех трех термов лингвистических переменных. Используя эти данные, расчет комплексной оценки рейтинга вузов мы осуществляли по алгоритму, описанному в [3]. Итоговая нечеткая комплексная оценка, представляющая собой взве-
Результаты расчета комплексной оценки пу
шенную аддитивную нечеткую оценку критериев рейтинга вузов, с помощью процедуры дефаззифика-ции центроидным способом была переведена в четкую оценку. Результаты расчета комплексной оценки публичной деятельности вуза на примере СевероВосточного федерального университета (ФУ) представлены в таблице 3.
Таблица 3
ичной деятельности Северо-Восточного ФУ
Критерий Четкое значение Т1 Т2 Т3
К1 50 0 1 0
К2 1,6182 0,744 0,256 0
К3 14 1 0 0
К4 60,1 0 1 0
Нечеткая комплексная оценка 0,429 0,571 0
Центроиды термов комплексного показателя 0,075 0,537 0,879
Четкая ненормированная комплексная оценка 0,338
Четкая нормированная комплексная оценка публичной деятельности вуза 0,327
В таблице 4 представлены исходные значения кри- ки, а также соответствующая комплексная оценка их териев для нескольких вузов из исследуемой выбор- публичной деятельности.
Таблица 4
Критерии оценки деятельности классических и научно-исследовательских вузов и соответствующая им комплексная оценка их публичной деятельности
Вуз Критерии Публичная оценка деятельности вуза
К1 К2 К3 К4
МГУ 100 4,7727 175 88 1
ВШЭ 59 3,8797 38 89 0,614
РУДН 72 2,878 41 77,6 0,468
Сибирский ФУ 61 3,2844 59 66,9 0,454
Алтайский ГУ 49 1,6837 29 66,2 0,333
Кемеровский ГУ 45 1,5131 34 66,7 0,314
Балтийский ФУ 55 1,4179 19 69,8 0,293
Северо-Кавказский ФУ 38 0 20 66,8 0,236
Как и следовало ожидать, верхние позиции показателя публичной оценки деятельности вузов заняли МГУ, ВШЭ и существенная часть научно-исследовательских университетов. В то же время ряд федеральных университетов оказались далеко во второй части списка вузов с показателем ниже 0,3. С другой стороны, в верхней части рейтинга расположились известные вузы, не вошедшие в группу ФУ и НИУ, например РУДН.
Для оценки степени публичной формализации деятельности преподавателей на основе МАИ была построена двухуровневая иерархическая модель. Первый уровень модели был представлен документами по трем основным направлениям деятельности преподавателей: П 1.1 — документированные правила отбора ППС; П 1.2 — документированные правила нормирования труда и планирования деятельности ППС; П 1.3 — документированные правила стимули-
рования деятельности ППС. На втором уровне каждая составляющая первого уровня была представлена группой документов: для П 1.1: П 2.1.1 — должностные требования, П 2.1.2 — процедуры отбора, П 2.1.3 — аттестация; для П1.2: П 2.2.1 — особое регулирование рабочего времени, П 2.2.2 — нормы учебной нагрузки, П 2.2.3 — нормы времени, для П 1.3: П 2.3.1 — положение об оплате труда, П 2.3.2 — документы по стимулированию труда, П 2.3.3 — рейтинговая система. Для оценки весовых коэффициентов модели были построены матрицы парных сравнений и рассчитаны веса всех ее составляющих. Как отмечалось в начале статьи, все составляющие второго уровня модели были переведены в ЛП, характеризуемые тремя термами, для которых на основании частотного анализа были построены ФП. В таблице 5 представлены веса составляющих исследуемого показателя и основные точки ФП термов.
Таблица 5
Веса составляющих показателя публичной формализации деятельности преподавателей вузов
и основные точки ФП термов ЛП
Компонента Веса Т1 — «0» Т2 — «1» Т3 — «2»
2.1.1 0,193 (0;0;0,6;0,73) (0,6;0,73;0,73;0,86) (0,73;0,86;1;1)
2.1.2 0,083 (0;0;0,13;0,39) (0,13;0,39;0,48;0,83) (0,48;0,83;1; 1)
2.1.3 0,021 (0;0;0,69;0,78) (0,69;0,78;0,78;0,87) (0,78;0,87;1; 1)
2.2.1 0,049 (0;0;0,13;0,39) (0,13;0,39;0,65; 0,88) (0,65; 0,88;1; 1)
2.2.2 0,027 (0;0;0,007;0,02) (0,007;0,02;0,54;0,85) (0,54;0,85;1; 1)
2.2.3 0,088 (0;0; 0,42;0,71) ( 0,42;0,71;0,78;0,93) (0,78;0,93;1; 1)
2.3.1 0,319 (0;0;0,66;0,79) (0,66;0,79;0,79;0,92) (0,79;0,92;1; 1)
2.3.2 0,180 (0;0;0,35;0,61) (0,35;0,61;0,61;0,87) (0,61;0,87;1; 1)
2.3.3 0,040 (0;0;0,10;0,304) (0,10;0,30;0,83;0,94) (0,83;0,94;1; 1)
Помимо общей комплексной оценки публичной формализации деятельности преподавателей вузов, были рассчитаны показатели всех трех составляющих, характеризующих первый уровень модели: П 1.1; П 1.2; П 1.3. Рассмотрим процедуру получения комплексных оценок для ранговых данных на примере построения комплексной оценки компоненты П 1.3 (комплексной оценки стимулирующей деятельности преподавателей) на основе информации по Дагестанскому государственному университету. Значения составляющей П 1.3 были оценены следующим образом: П 2.3.1 - «1»; П 2.3.2 - «1»; П 2.3.3 -«2». В качестве весовых коэффициентов используются приоритеты второго уровня (не синтезированные
(0,75 ■ 0,91-0,57 ■ 0,74) + -((0
Е = -
0,91 + 0,75 - 0,74 - 0,57
приоритеты), равные соответственно 0,592; 0,333 и 0,075. Нечеткой комплексной оценке соответствует нечеткое число, основные точки ФП которого рассчитываются по формуле (9)
к1 = 0,592 ■ 0,66 + 0,333 ■ 0,35 + 0,075 ■ 0,83 » 0,57 ;
к2 = 0,592■ 0,79 + 0,333 ■ 0,61 + 0,075 ■ 0,94 » 0,74 ;
к3 = 0,592■ 0,79 + 0,333 ■ 0,61 + 0,075-1» 0,75 ;
к4 = 0,592 ■ 0,92 + 0,333 ■ 0,87 + 0,075 ■ 1» 0,91.
Тогда четкая ненормированная оценка будет равна
,91- 0,73)2 - (0,74 - 0,57)2)
0,76 .
Соответствующая нормированная оценка компоненты П 1.3 равняется 0,79. В свою очередь значение
показателя, характеризующего публичную деятельность этого вуза, равно 0,18.
На следующем этапе с помощью корреляционного анализа исследовался вопрос о наличии связи между показателями, характеризующими комплексную оценку публичной активности вуза и степень формализации деятельности ППС. Корреляционный анализ свидетельствует, что связь между данными показателями отсутствует (г = -0,02). Поэтому на следующем этапе исследования с помощью кластерного анализа на основании данных показателей было проведено разбиение выборки вузов на кластеры. Кластерный анализ позволил выделить четыре кластера. Первая группа - вузы с высокой оценкой деятельности и низким уровнем формализации деятельности ППС. В эту группу попали восемь вузов: МГУ, Национальный исследовательский ядерный университет «МИФИ», Национальный исследовательский университет «Московский энергетический институт», Московский физико-технический институт (государственный университет), Новосибирский национальный исследовательский государственный университет, Санкт-Петербургский государственный
политехнический университет, Национальный исследовательский Томский государственный университет и РУДН. Вторая группа - вузы с оценкой деятельности выше среднего уровня и высоким уровнем формализации деятельности преподавателей. В этой группе оказалось 23 вуза. В основном это ФУ и НИУ и три вуза, не вошедшие в число статусных. Третья группа вузов -вузы с оценкой деятельности ниже среднего уровня и уровнем формализации деятельности преподавателей выше среднего. В этой группе оказалось 22 вуза, из них семь статусных (ФУ и НИУ). Четвертая группа вузов - вузы с низкой оценкой деятельности и низким уровнем формализации деятельности преподавателей. В этой группе оказалось 16 вузов, из них 5 статусных (ФУ и НИУ).
Таким образом, каких-либо существенных зависимостей между уровнем публичной формализации деятельности преподавателей и публичной оценкой эффективности деятельности вузов данное исследование не выявило.
Библиографический список
1. Саати Т. Принятие решений. Метод анализа иерархий : пер. с англ. - М., 1993.
2. Полещук О.М. Построение интегральных моделей в рамках нечеткой экспертной информации // Лесной вестник / МГУЛ. - 2003. - № 5.
3. Каган Е.С. Применение метода анализа иерархий и теории нечетких множеств для оценки сложных социально-экономических явлений // Известия Алтайского гос. ун-та. - 2012. - №1/1.
