CC BY
7
УДК 51-77
Елена Сергеевна Каган
(кандидат технических наук, доцент кафедры прикладной математики Кемеровского государственного университета, г. Кемерово)
НЕЧЕТКИЙ ПОДХОД К КОМПЛЕКСНОЙ ОЦЕНКЕ ПОСЛЕДСТВИЙ ВВЕДЕНИЯ ВНЕШНЕГО КОНТРОЛЯ ДЕЯТЕЛЬНОСТИ ПРЕПОДАВАТЕЛЕЙ
РОССИЙСКИХ ВУЗОВ*
Ключевые слова: двусторонняя нечеткая шкала, оценка эффектов, деятельность преподавателей вузов.
В последние десятилетия в отношении высшего образования наблюдается существенное изменение экономической политики. Эти перемены являются частью общих программ повышения эффективности общественного сектора и предполагают широкое использование механизмов внешнего контроля деятельности вузов и преподавателей, характерных частному сектору, но ранее не использовавшихся в университетах. Современные институциональные исследования обращают внимание на тот факт, что эти приемы оценки результатов организаций и преподавателей, характерные для частного сектора, нередко дают результаты, отличные от ожидаемых, изменяют поведение и организационную культуру вузов. Данные негативные эффекты описаны в современной экономической литературе, широко обсуждаются вузовской общественностью. Целью же данной работы является количественная оценка этих эффектов.
Для комплексной оценки эффектов внедрения системы внешнего контроля за деятельностью преподавателей вузов был разработан и апробирован на данных социологического опроса нечеткий подход, позволяющий получать количественные оценки отдельных организационных эффектов на микроуровне, а также их интегральную комплексную оценку.
На первоначальном этапе исследования был проведен качественный анализ эффектов внедрения инструментов нового государственного менеджмента в систему российского высшего образования, выделены структурные составляющие (эффекты) внешнего контроля, на основании которых была построена трехуров-
невая иерархическая модель [1]. Так, например, первый уровень модели составили три эффекта: 1.1 - напряженность труда, 1.2 - перераспределение рабочего времени, 1.3 - статусные и поведенческие.
При комплексном оценивании эффектов следует исходить из того, что каждая компонента модели имеет свою важность и степень выраженности. Для оценки важности компонент на основе данных экспертного опроса путем обработки матриц парных сравнений были рассчитаны весовые коэффициенты составляющих модели [2]. В качестве экспертов были привлечены преподаватели вузов Барнаула, Екатеринбурга, Кемерова, Красноярска, Москвы, Новосибирска, Омска, Перми, Санкт-Петербурга (22 эксперта). В таблице 1 представлены составляющие трехуровневой модели с учетом их значимости.
Для оценки степени выраженности компонент модели была разработана анкета, содержащая 29 вопросов, и проведен опрос преподавателей более 40 российских вузов. Для оценки направления эффектов была введена пятибалльная ранговая шкала, соответствующая ответам респондентов: 1 - существенно уменьшились, 2 - уменьшились; 3 - остались без изменений, 4 - увеличились; 5 - существенно увеличились. Для возможности проведения алгебраических операций с ответами респондентов в целях построения их комплексных оценок каждая составляющая последствий была представлена в виде ЛП с термами, соответствующими вариантам ответов. Для построения функций принадлежности (ФП) термов использовался
* Работа выполнена при поддержке гранта РФФИ «Оценка последствий введения системы внешнего оценивания деятельности преподавателей российских вузов», проект №14-06-00251.
апостериорный подход, при котором площадь под ФП равна относительной частоте выбора респондентами данного варианта ответа. При таком подходе ФП термов имеют трингуляр-ную или трапециевидную форму. Процедура фаззификации осуществлялась путем перевода варианта ответа в соответствующее нечеткое число. На следующем этапе для каждого респондента рассчитывалась аддитивная взвешенная комплексная оценка как взвешенная сумма нечетких чисел. Для получения четкой комплексной оценки проводилась процедура дефаззификации методом центра тяжести. В
Составляющие эффектов и
работе [3] подробно описан подход построения комплексных оценок на основе обработки ранговых данных в случае использования односторонних шкал. Например, перевод ранговых данных в диапазон значений [0; 1], где «0» означает полное отсутствие исследуемого свойства или минимальную его степень выраженности, а «1» - максимально возможную степень его выраженности. При таком подходе на этапе де-фаззификации расстояние между центроидами термов для различных компонент и вариантов ответов может быть различным, а фиксируются только значения крайних термов.
Таблица 1
их весовые коэффициенты
Компоненты I уровня модели (весовой коэффициент) Компоненты II уровня модели (весовой коэффициент) Компоненты III уровня модели
1.1. Эффекты напряженности труда (0,3) 2.1.1. Эффекты продолжительности труда (0,5)
2.1.2. Эффекты интенсивности труда (0,5)
1.2. Эффекты перераспределения рабочего времени (0,54) 2.2.1. Эффекты транс-акционных издержек (0,68) 3.2.2.1. Изменение затрат времени на выполнение требований к учебной документации (0,73)
3.2.2.2. Изменение затрат времени на составление отчетов о самом процессе и результатах деятельности (0,19)
3.2.2.3. Изменение затрат времени на освоение новых информационных систем (0,08)
2.2.2. Эффекты подотчетности (0,12)
2.2.3. Эффекты рутини-зации (0,2)
1.3. Статусные и поведенческие эффекты (0,16) 2.3.1. Эффекты администрирования (0,62)
2.3.2. Эффекты изменения норм поведения (0,24) 3.3.2.1. Изменение стандартов отбора (0,26)
3.3.2.2. Изменение стандартов деятельности (0,64)
3.3.2.3. Изменение стандартов идентификации (0,1)
2.3.3. Эффекты конкуренции (0,14)
Однако проблема комплексной оценки эффектов внедрения системы внешнего контроля за деятельностью преподавателей вузов заключалась в том, что на основе ранговых данных необходимо было построить двустороннюю шкалу, характеризующую «ухудшение - улучшение». В этом случае точкой
отсчета должен быть терм «3 - остались без изменений». Применение подхода, описанного в [4], в этом случае не представлялось возможным, так как анализ распределений частот выборов вариантов ответов, соответствующих положительным и отрицательным направлениям, показал, что варианты одного направле-
ния могут преобладать, а другого встречаться редко.
Поэтому для построения двусторонней шкалы был предложен следующий алгоритм. Все термы были сгруппированы в две группы: 1) термы, описывающие степень выраженности ухудшения условий; 2) термы, описывающие степень выраженности улучшения условий. Так, например, вопрос анкеты «Оцените, пожалуйста, пользуясь 5-балльной шкалой, как менялись следующие условия Вашей работы на ставку ППС: а) фактическое количество часов в неделю, необходимое для выполнения всех видов работ на одну ставку; б) интенсивность труда (степень напряженности); в) доля творческих видов деятельности (подготовка лекций, учебных пособий, публикаций) по сравнению с рутинными (заполнение отчетов, корректировка рабочих программ» оценивает степень выраженности трех составляющих модели. При этом если респондент при ответе на пункты а) и б) выставляет оценку «1 - существенно уменьшились», то это означает, что условия его труда улучшились. Эти же оценки в ответе на пункт в) означают ухудшение условий.
Для каждого варианта ответов были рассчитаны относительные частоты выборов этих вариантов группой респондентов:
fl, ^ и ^ З^У
Подсчитывалась сумма относительных частот для каждой группы:
рп = и + и + и и и = и + и + и
Для каждой группы были рассчитаны нормированные относительные частоты:
¿2 «М У 5 Уз
«1 = "Г 2 «2 = -Т2 "Т- = -Т 2 -" = -Т 2 Щ 22 , "-- = .
./я ./я ^ п ^ р Ур Jр
На основании данных частот по соответствующим алгоритмам [5] были вычислены основные точки ФП термов. Для терма «3 -остались без изменений» имелась информация об основных точках ФП двух направлений. Для направления, характеризующего ухудшение положения, точки к1 и к2 принимали отрицательное значение, а точки к3 и к4 были равны нулю, в то время как для направления, характеризующего улучшение, точки к1 и к2 равны нулю, а значения точек к3 и к4 были больше нуля. В качестве основных точек ФП терма Т3,
характеризующего неизменность, были выбраны: к1 и к2 отрицательного направления, как левый ноль и начало интервала толерантности соответственно, к3 и к4 положительного направления, как окончание интервала толерантности и правый ноль соответственно.
Данный подход был апробирован на материалах социологического опроса 367 преподавателей, работающих в вузах разного статуса: в федеральных университетах, научно-исследовательских университетах, вузах, занимающих и высокие, и низкие места в рейтингах и находящихся на разных стадиях государственной аккредитации.
Применение аппарата теории нечетких множеств позволило осуществить преобразование ранговых данных, алгебраические операции с которыми не допустимы, в количественную шкалу. Таким образом, для каждого респондента были рассчитаны комплексные оценки эффектов напряженности труда (1.1), эффектов перераспределения рабочего времени (1.2), статусных и поведенческих эффектов (1.3), а также общий интегральный показатель эффектов.
В таблице 2 представлены описательные статистики, рассчитанные для данной группы составляющих эффектов. Так как предварительный анализ данных показал, что распределения показателей асимметричны (имеют существенные смещения в отрицательном направлении), поэтому в качестве описательных статистик были выбраны: среднее, медиана, нижний и верхний квартили, а также процен-тели (10 и 90%).
Анализ результатов, представленных в таблице 2, позволил сделать вывод о том, что по всем составляющим эффектов наблюдаются негативные тенденции, характеризующие ухудшение условий деятельности преподавателей (более 90% опрошенных отмечают ухудшение условий своей деятельности). Наибольшие негативные оценки, выставленные преподавателями, относятся к эффектам напряженности труда.
Сравнительный анализ результатов описательных статистик различных вузов позволил сделать выводы о том, что в наименьшей мере негативные последствия коснулись вузов, занимающих более высокие позиции в различных рейтингах.
Таблица 2
Описательные статистики составляющих эффектов
Эффекты Среднее Медиана Квартиль Процентель
нижний верхний 10% 90%
Эффекты напряженности труда -0,694 -0,643 -1,000 -0,643 -1,000 -0,253
Эффекты перераспределения рабочего времени -0,430 -0,441 -0,648 -0,251 -0,783 -0,053
Статусные и поведенческие эффекты -0,429 -0,426 -0,633 -0,239 -0,784 -0,113
Комплексная оценка последствий -0,640 -0,632 -0,884 -0,561 -0,934 -0,265
В таблице 3 представлены описательные статистики оценок эффектов первого уровня иерархической модели нескольких вузов: двух государственных университетов (АлтГУ,
Описательные статистики со
КемГУ), Национального исследовательского университета (ТГУ) и двух федеральных университетов (УрФУ и СибФУ), занимающих различные позиции в рейтингах вузов.
Таблица 3
ляющих эффектов пяти вузов
Эффекты первого уровня иерархической модели Среднее Медиана Квартиль Процентель
нижний верхний 10% 90%
Кемеровский государственный университет
Эффекты напряженности труда -0,630 -0,643 -0,853 -0,643 -1,000 0,000
Эффекты перераспределения рабочего времени -0,395 -0,403 -0,525 -0,255 -0,718 -0,138
Статусные и поведенческие эффекты -0,345 -0,408 -0,527 -0,203 -0,648 0,072
Алтайский государственный университет
Эффекты напряженности труда -0,706 -0,643 -1,000 -0,643 -1,000 0,000
Эффекты перераспределения рабочего времени -0,529 -0,582 -0,798 -0,373 -0,821 -0,142
Статусные и поведенческие эффекты -0,477 -0,513 -0,657 -0,296 -0,815 -0,228
Национально-исследовательский Томский государственный университет
Эффекты напряженности труда -0,563 -0,643 -0,853 -0,643 -0,853 0,000
Эффекты перераспределения рабочего времени -0,360 -0,447 -0,632 -0,269 -0,724 0,016
Статусные и поведенческие эффекты -0,351 -0,336 -0,576 -0,123 -0,717 -0,085
Уральский федеральный университет имени первого Президента России Б.Н. Ельцина
Эффекты напряженности труда -0,675 -0,643 -1,000 -0,643 -1,000 0,000
Эффекты перераспределения рабочего времени -0,350 -0,316 -0,641 -0,136 -0,697 -0,088
Статусные и поведенческие эффекты -0,571 -0,616 -0,718 -0,401 -0,868 -0,212
Сибирский федеральный университет
Эффекты напряженности труда -0,596 -0,643 -1,000 -0,602 -1,000 0,000
Эффекты перераспределения рабочего времени -0,182 -0,217 -0,398 0,100 -0,535 0,200
Статусные и поведенческие эффекты -0,282 -0,316 -0,435 -0,186 -0,590 0,231
Сравнительный анализ исследуемой группы вузов показал, что в Национально-исследовательском Томском государственном университете, занимающем 8-е место в рейтинге Интерфакс за 2012-2013 гг. и Сибирском федеральном университете (12-14-е место в рейтинге) меньший процент преподавателей отмечают ухудшение условий их деятельности, чем в Алтайском (37-40-е место) и Кемеровском государственных университетах (51-53-е место). Наиболее значимые различия в оценках наблюдаются в эффектах перераспределения рабочего времени и статусно-поведенческих эффектах.
Как отмечается выше, негативные последствия затронули статусные и поведенческие стороны деятельности преподавателей, что отражает происходящие изменения в организационной культуре. Изменения происходят в отношениях как с руководителями, так и с коллегами. В таблице 4 представлен процентный анализ распределения выборов ответов респондентов на один из вопросов анкеты: «Пожалуйста, выберите из предложенных утверждений те варианты, которые наиболее полно характеризуют обстановку на кафедрах вашего вуза (можно выбрать любое количество вариантов)».
Таблица 4
Распределение выборов ответов респондентов на вопрос анкеты: ««Пожалуйста, выберите из предложенных утверждений те варианты, которые наиболее полно характеризуют обстановку на кафедрах вашего вуза»
Вариант ответа на вопрос %
1. Отношения улучшились, люди активно сотрудничают, оказывают друг другу взаимопомощь 17,1
2. Взаимоотношения на кафедрах были не самыми дружественными, но изменений к худшему не произошло 14,3
3. Отношения в преподавательской среде были и остались ровными, деловыми 51
4. В последнее время отношения среди преподавателей стали отчужденными, люди мало общаются друг с другом по деловым и личным вопросам 20,4
5. Многие преподаватели видят в коллегах конкурентов (из-за нагрузки, претендентов на рабочее место и т.п.) 29,5
6. Отношения внутри кафедральных коллективов стали более напряженными, конфликтными 18,7
Так в группе респондентов, отмечающих, что «отношения внутри кафедральных коллективов стали более напряженными, конфликтными» или «многие преподаватели видят в коллегах конкурентов», наблюдаются более негативные статусные и поведенческие эффекты (соответственно (-0,58) и (-0,39), уровень значимости различий р < 0,00001). Как показано в исследовании И.А. Давыдова и Я.Я. Козьмина, преподавателям российских вузов «важно взаимодействовать с коллегами и руководством, быть информированными о деятельности вуза, иметь определенное влияние в рамках структурного подразделения» [6]. В свя-
зи с этим выявленные негативные сдвиги в отношениях преподавателей с коллегами могут иметь серьезные последствия для дальнейшего развития российских вузов.
Таким образом, применение аппарата теории нечетких множеств, осуществляющее преобразование информации, измеренной в качественных шкалах и полученной путем проведения социологических опросов, в количественную шкалу, позволяет повышать возможность корректного использования построенных на ее основе показателей в различных видах многомерного статистического анализа данных.
Библиографический список
1. Курбатова, М.В. Оценка степени значимости эффектов внешнего контроля деятельности преподавателей вузов / М.В. Курбатова, Е.С. Каган // Journal of Institutional Studies. - 2015. - Т. 7. - №3. - С. 122-143.
2. Там же.
3. Каган, Е.С. Построение комплексных оценок эффективности деятельности вуза и публичной формализации деятельности преподавателя / Е.С. Каган // Известия Алтайского государственного университета. - 2015. - Т. 1. - №1 (85). - С. 152-157.
4. Там же.
5. Там же.
6. Давыдова, И.А. Профессиональный стресс и удовлетворенность работой преподавателей российских вузов / И.А. Давыдова, Я.Я. Козьмина // Вопросы образования. - 2014. - №4. - С. 169-183.
References
1. Kurbatova, M.V. Otsenka stepeni znachimosti effektov vneshnego kontrolya deyatelnosti prepodavateley vuzov / M.V. Kurbatova, E.S. Kagan // Journal of Institutional Studies. - 2015. - T. 7. - №3. - S. 122-143.
2. Tam je.
3. Kagan, E.S. Postroenie kompleksnyih otsenok effektivnosti deyatelnosti vuza i publichnoy formalizatsii deyatelnosti prepodavatelya / E.S. Kagan // Izvestiya Altayskogo gosudarstvennogo universiteta. - 2015. - T. 1. -№1 (85). - S. 152-157.
4. Tam je.
5. Tam je.
6. Davyidova, I.A. Professionalnyiy stress i udovletvorennost rabotoy prepodavateley rossiyskih vuzov / I.A. Davyidova, Ya.Ya. Kozmina // Voprosyi obrazovaniya. - 2014. - №4. - S. 169-183.
