CC BY
67УДК 378.014.5
о РОЛИ РЕЙТИНГОВ В УПРАВЛЕНИИ СИСТЕМОЙ ОБРАЗОВАНИЯ
ф.п. тарасенко
Национальный исследовательский Томский государственный университет [email protected]
На примере образовательных систем обсуждаются трудности, возникающие в практике управления социальными системами на основе рейтингового оценивания состояний управляемых объектов. Рейтинг рассматривается как управленческая модель состояния управляемой системы. Обсуждаются возможности повышения качества управленческих решений за счёт усовершенствования рейтингового моделирования.
Ключевые слова: управление в образовании, рейтинг, упорядочение в многомерном пространстве, сложная система, метод проб и ошибок.
ВВЕДЕНИЕ
Российская общественность сильно обеспокоена состоянием и тенденциями нашей системы образования. Проводимые реформы приводят не к улучшению, а к снижению уровня образованности народа. Многие общественные деятели и авторитетные работники образования бьют тревогу по этому поводу - в СМИ, в художественных произведениях, в профессиональных (научных и методических) публикациях. Видный деятель культуры Н.С. Михалков даже не сдержал эмоций: «.. .У нас просто беда с образованием. Беда-а-а! То, что делает Министерство образования -катастрофа!» (АиФ. 2014. № 41). Стала всем очевидной недостаточная системность управленческих решений в сфере образования. На десятом съезде Российского союза ректоров президент РФ подчеркнул: « ... пре-
тензий к уровню высшего образования ... пока еще много». Необходимой мерой по исправлению ситуации он назвал внедрение объективных систем оценки качества обучения.
о применении рейтингов в управлении
Среди множества причин неудач в любом управлении главное место занимает неадекватность модели управляемой системы. Если в модели содержатся ошибки или в ней недостаёт существенной информации, то разрабатываемые руководителями на основе такой модели управленческие решения заведомо обречены на провал: реальный результат управления будет отличаться от ожидаемого (рассчитанного на модели) результата.
В практике управления социальными системами (в том числе и научно-образовательными) многие решения принимаются на основе рейтинговой оценки управляемых объектов [1, 2]. Состояние каждого объекта отображается набором показателей - измеримых характеристик объекта управления, в совокупности позволяющих описать его текущее состояние и его соотношение с целевым состоянием. Совокупность точек, отображающих состояния всех управляемых объектов, является моделью текущего состояния управляемой системы. Управление состоит в стимулировании продвижения всех объектов в сторону целевого состояния, например, путём поощрений пропорционально степени их продвинуто-сти (частным примером является различное по щедрости госбюджетное финансирование федеральных, национальных исследовательских и всех прочих университетов в РФ). Для оценивания степени продвинутости и вводится ранжирование всех объектов: одномерное (по степени близости к цели) упорядочение точек в многомерном пространстве показателей состояния объекта управления. Инструментом ранжирования является упорядочивающая функция - поверхность, все точки которой «одинаково» удалены от целевого состояния. По мере отдаления от «целевой» точки (состояния, в которое управляющая система желает перевести все управляемые объекты) поверхность по очереди пересекает точки сравниваемых объектов; номера объектов в этой очерёдности есть их ранги, а достигнутые ими значения упорядочивающей функции - их рейтинги (в порядке возрастания меры близости к цели).
По сути, упорядочивающая функция R (up u2 un) = Const выражает, какой вклад в итоговую оценку (рейтинг) вносит каждый показатель. «Объективная» формула, «правильно» связывающая целевое качество R со всеми показателями up u2 un (где n - число введённых нами показателей), неизвестна: мы интуитивно понимаем, что связи между индикаторами разнообразны и по характеру, и по силе. Но если предположить, что эта функция «гладкая», то в окрестности любой точки её можно аппрок-
симировать с достаточной степенью точности плоскостью (что типично для дифференциального исчисления), т.е. линейной комбинацией показателей. В результате формула для подсчёта рейтинга Z приобретает вид (на примере 4-уровневой иерархии рейтинга, индикаторов и показателей -U^X^Y^R ):
R =a!Y! [x„, x2 ... , xij + a2Y2 [x2], x2 ... , X2n2] + ^ ,
Xk = К U1 [ um' ui!2' ■■■• UuJ ] + Ьi2 U2 [ ut21' ui22' U0я0 ] + ~ • где Xk - индикаторы второго порядка являются тоже линейными формами индикаторов третьего Y, а.и bk- коэфициенты относительной «важности, а U 1т - различные подходящие г-му индикатору наборы показателей, измеряемых непосредственно на объекте (u1, u2 un) .
Аппроксимация (удовлетворительное приближённое описание связей между входами Uт и выходом R системы) реальной нелинейности системы линейной моделью достигается благодаря двум особенностям: 1) факт сложного, нелинейного разнообразия взаимосвязей и взаимозависимостей между показателями и индикаторами приближённо отображается иерархичностью структуры их линейных комбинаций: число уровней иерархии связано с разнообразием связей между индикаторами; одни и те же показатели могут фигурировать в нескольких индикаторах и на разных уровнях; 2) факт разной значимости вклада разных показателей и индикаторов в конечный результат отображается различием коэффициентов («весов») каждого слагаемого.
Как и любые модели, рейтинги имеют целевое предназначение, и для разных целей конструируются разные рейтинги на одном и том же моделируемом множестве рассматриваемых объектов. Это можно наглядно видеть на примере рейтингов, употребляемых в современном мировом образовательном сообществе.
Например, в среде американских абитуриентов, для которых самым важным критерием при выборе вуза является гарантия своего будущего, употребляется очень простой рейтинг американских университетов - по размеру средней годовой зарплаты их выпускников.
С другой стороны, рейтинги университетов QS World University Rankings [3] ориентированы на абитуриентов и востребованных профессоров, выбирающих, в какой из мировых университетов стоит поступить с наилучшими шансами своей успешности. Составляются отдельные рейтинги университетов в разных группах, интересующих выбирающего: среди университетов определённой части света (глобальные, Азии, Европы, Америки, стран BRICS); среди университетов, дающих образование нужного вам профиля (гуманитарные науки и искусства; инженерно-технические; биология и медицина; естественные науки; социальные науки и менеджмент).
В качестве индикаторов Y первого уровня иерархии берутся оценки следующих шести качеств университета (с соответствующими весами в процентах):
1. Репутация данного университета в академическом сообществе (авторитетность среди остальных университетов) - 40%.
2. Репутация университета в среде работодателей (потребителей кадров, выпускаемых университетом) - 10%.
3. Отношение численности преподавателей к численности студентов -20%.
4. Цитируемость работ преподавателей данного университета - 20%.
5. Пропорция иностранных студентов - 5%.
6. Пропорция иностранных преподавателей - 5%.
Первый индикатор оценивается по результатам всемирного опроса преподавателей о том, в каком вузе научные работы в области его специальности ведутся на самом высоком уровне (свой вуз называть нельзя). В последней версии QS 2014\15 опрошено 63 000 профессоров. Введены региональные весовые коэффициенты для компенсации различия объёмов выборки по регионам. Судить о качестве преподавания в других вузах сложно, а о качестве исследований - вполне можно в своей специальности, и эти вещи связаны. Достоинство же подисциплинарного опроса состоит в том, что цитируемость зависит от специальности (например, у медиков число публикаций больше, чем у филологов).
Второй индикатор оценивается на основании глобального опроса работодателей о том, какие вузы выпускают лучших профессионалов для принятия на работу (абитуриентам важно знать, как университеты котируются на рынке труда выпускников). Повышенные веса придаются голосам за вузы другой страны (для стимулирования учёбы за рубежом). В текущем году опрошено 28 000 работодателей.
Третий индикатор введён в связи с тем, что нет международного стандарта качества преподавания. Данный показатель характеризует, насколько хорошо данный университет обеспечивает работу студентов в малочисленных группах и персональную работу преподавателя с каждым студентом: предполагается, что чем больше данная дробь, тем более индивидуально (и тем качественнее) даваемое образование.
Четвёртый индикатор оценивает значимость научной продукции университета в научной среде. QS использует для этого базу данных Scopus: общее число цитирований за 5 последних лет делится на число преподавателей университета (этим исключается зависимость от размеров штатов университета).
Пятый и шестой индикаторы (пропорции иностранцев среди студентов и преподавателей) характеризуют степень фактической интернационализации вуза.
Например, в текущем году рейтинг QS университетов стран BRICS (Бразилия, Россия, Индия, Китай, Южная Африка) дал такое упорядочение для российских университетов: МГУ - 5, МИФИ - 13, НГУ - 34, СПбГУ - 64, МФТИ - 69, МВТУ - 90. Первые два места заняли китайские университеты [2].
Принципиально иные цели преследуют рейтинги Times Higher Education (THE) World University Rankings [4], которые Минобрнауки РФ решило использовать в управлении и нашей системой образования: перед ведущими университетами России поставлена задача - пробиться в «топ-100» в этом рейтинге (сейчас МГУ на 196-м месте, НГУ - на 329-м).
Этот рейтинг основан на пяти индикаторах и 13 показателях; перечислим их (вместе с соответствующими весовыми коэффициентами в процентах).
1. Teaching and learning environment; Качество образовательной среды университета с точки зрения студентов и преподавателей - в целом 30%. Этот вес распределяется по показателям:
1.1. Академическая репутация университета - 15%. Проводится всемирный опрос 10 000 респондентов всех пяти категорий специальностей.
2. Степень внимания преподавателя к каждому студенту - 4,5%. Считается, что это можно оценить отношением численности преподавателей к численности студентов: чем выше это число, тем лучше.
1.3. Насколько высокую квалификацию даёт университет своим выпускникам - 2,5%. В качестве показателя принято отношение численности докторантов, аспирантов и магистрантов к численности бакалавров.
1.4. Процент остепенённых преподавателей - 6%.
1.5. Развитость инфраструктуры образования - 2%. Считается, что степень оснащённости учебного процесса пропорциональна общей сумме доходной части бюджета университета и обратно пропорциональна числу преподавателей.
2. Research: volume, income, reputation; Масштабы, качество и эффективность научных исследований в университете - 30%. В качестве показателей этих трёх компонентов индикатора приняты следующие:
2.1. Академическая репутация уровня научных исследований в университете - 18%.
Опрашивается более 10 000 профессоров по всему миру.
2.2. Доходность университета от выполнения внешних заказов на научные исследования - 6%. Оценивается через сумму дохода на одного преподавателя. Используются поправочные коэффициенты на различие размеров грантов на исследования в технических и гуманитарных нау-
ках. Решено учитывать этот показатель, несмотря на то, что его величина зависит не только от усилий университета, но и от экономической и политической ситуации в стране.
2.3. Научная продуктивность университета - 6%. Оценивается количеством научных статей, опубликованных (в среднем) одним преподавателем.
3. Citation: research influence; Социальная значимость научной продукции университета - 30%. Считается, что уровень исполнения университетом его миссионерской функции производства и распространения знаний можно оценить количеством цитирований работ университета за последние пять лет, приходящихся (в среднем) на одного преподавателя.
4. Industry income: innovation; Степень внедрения научных результатов университета в реальную экономику - 2,5%. Оценивать этот показатель предлагается подсчётом отнесённых на одного преподавателя доходов, которые университет получает от бизнеса за внедрение инноваций, продажу патентов, оказание консультаций в разработке управленческих решений.
5. International outlook staff, students and research; Степень интернационализации университета во всех отношениях - 7,5%. Показателями приняты:
5.1. Доля иностранных преподавателей - 2,5%.
5.2. Доля иностранных студентов - 2,5%.
5.3. Доля публикаций с соавторством иностранных учёных - 2,5%.
Рейтинговые оценки широко применяются в управлении обществом,
в том числе и в управлении научно-образовательной сферой. Но именно в этой сфере недовольство результатами такого управления приобрело в последнее время массовый характер. Например, стимулирование пу-бликуемости и цитируемости в научной деятельности (индекс Хирша, импакт-фактор) породило появление некачественных (и даже фальсифицированных) публикаций [5]. И различные рейтинги университетов (отличающиеся не вполне совпадающими наборами показателей и разными их весами) вызывают неудовлетворённость в образовательном сообществе (даже у ректора первого в российском рейтинге университета, В. Са-довничего, - см. «Поиск». 2013, № 11).
возможности повышения качества рейтинговых оценок
Наличие недостатков и погрешностей в применяемых формулах вычисления рейтингов часто истолковывается как доказательство того, что количественный показатель («цифра») вообще не может служить адекватной мерой качества. На самом же деле это лишь проявление того, что
любая (в том числе и рейтинговая) модель реальности может быть неадекватной (т.е. рассчитанное на данной модели управление не приведёт к достижению желаемой цели); но адекватность любой модели может быть повышена.
Несовпадение получаемых результатов управления с ожидаемыми является типичным и неизбежным в управлении сложными системами. Причиной сложности системы является неадекватность модели управляемой системы, на которой управляющая система «обкатывает» возможные управляющие воздействия. Единственным способом оперативного управления сложной (в данном смысле) системой является метод проб и ошибок, совмещающий функцию управления с функцией изучения управляемой системы. Этот метод предписывает последовательно вносить в модель поправки (т.е. порции информации о системе, получаемые при совершении ошибок на каждом предыдущем шаге алгоритма управления) и рассчитывать следующий шаг управления уже на исправленной и дополненной модели.
Возможности совершенствования качества управления системой образования на основе рейтинговой модели заключаются в принятии всяческих мер по повышению качества выполнения каждой операции в системной технологии метода проб и ошибок. Есть несколько возможностей повышения адекватности рейтинговой модели.
Первая - основана на том, что адекватность (достаточная информативность) модели обеспечивается совокупной информативностью её компонентов. Если совокупной информации всех элементов модели недостаточно для достижения цели управления, управление не может быть эффективным. Недовольство рейтингами чаще всего связано именно с этим моментом. Например, в критике стимулирования научной деятельности рейтингом ТНЕ подчёркивается [5], что этот рейтинг не учитывает такие существенные качества научной работы, как новизна и ценность научного результата, соблюдение норм этики в научной работе.
Выход состоит в том, чтобы пополнять модель включением в неё дополнительных характеристик управляемой системы (в случае рейтинга -дополнительных индикаторов и показателей). На этом пути приходится преодолевать две трудности.
Рейтинговое управление основано на сравнении характеристик целевого состояния с характеристиками текущего состояния управляемой системы. Однако в случае сложных (в особенности социальных) систем конкретные характеристики идеального состояния часто могут быть сформулированы только в виде гипотез, привлекательных предположений, реализуемость которых зависит от того, совместимы ли они с законами Природы. (Примерами обратного служат попытки создать вечный
двигатель или реализовать социальные утопии, включая идеи либеральной демократии [7]). В случаях невозможности точно оценить конечную цель степень продвинутости к ней (рейтинг) и упорядоченность по степени удалённости от цели (ранг) оцениваются путём сравнения с рейтингом, достигнутым объектом, наиболее продвинутым - по критериям, включённым в формулу рейтинга (!). Отсюда и возникают необходимость и возможность увеличения числа индикаторов и показателей в рейтинге непосредственно по ходу управления.
Однако на этом пути нас подстерегает другая опасность, о которой предупреждал Р. Акофф: «Менеджеры, которые не знают, как измерить то, что им нужно, переходят к измерению того, что могут измерить» [6. Анти-закон № 51]. При этом модель может загромождаться малоинформативными и зашумлёнными данными, которые только затрудняют разработку управленческих решений. Менеджеры часто страдают не от недостатка данных, а от их избытка.
Доступная возможность некоторого преодоления обеих этих трудностей состоит в том, чтобы искать дополнительные информативные показатели не среди того, что можно измерить, а среди того, что нужно измерить. И это автоматически выводит нас на необходимость оценивания не только количественных, но и качественных характеристик состояния управляемого объекта. Не случайно почти все индикаторы QS и THE рейтингов описаны в качественных терминах. Правда, распространённое (и неверное) убеждение, будто «объективными могут быть только количественные измерения, а качественные суждения имеют сугубо субъективное содержание», заставило авторов рейтингов конструировать совокупности количественных показателей (да ещё и одной числовой размерности) ради получения количественной итоговой оценки рейтинга. А между тем существуют возможности извлечения исчерпывающей информации и из качественных наблюдений.
Наблюдения над качественными характеристиками являются «измерениями», где роль измерительного прибора играет эксперт, выражающий свои оценки в «слабых» измерительных шкалах - номинальной и порядковой. И из этих данных можно извлекать информацию точно так же, как и из данных в количественных шкалах, - подвергая их первичной и вторичной обработке. Только допустимые операции над данными при их обработке различны для разных шкал.
Некоторые качества недоступны прямому измерению даже в слабой шкале, хотя интуитивно осознаётся их принадлежность к порядковой шкале. В таких случаях прибегают к косвенному измерению ненаблюдаемого качества, фиксируя доступные наблюдаемые характеристики, «монотонно» связанные с ним. Часто косвенные данные измеряются в
количественных шкалах. И при первичной обработке их подвергают тем операциям, которые допустимы для сильной шкалы (например, арифметическим), но недопустимы для порядковой шкалы. Это лишает ожидаемого смысла получаемый промежуточный результат и в итоге снижает качество окончательной рейтинговой оценки.
Итак, существенный потенциал для повышения качества рейтингового управления заложен: 1) в повышении информативности набора индикаторов и показателей, составляющих рейтинг; в оценивании и стимулировании не только наращивания того, «что должно быть», но и снижения того, «что должно изживаться»; 2) в повышении качества совместной обработки массива многомерных и разношкальных измеряемых данных; в полном извлечении полезной информации из всех измеряемых и наблюдаемых показателей.
Следует включать в базу первичных данных все наличные показатели -количественные и качественные, позитивные и негативные. И важно проводить обработку этого массива данных с учётом того, что допустимые операции над данными в разных измерительных шкалах различаются. Часто практикуемое «приведение», «нормировка» таблицы разнотипных (разношкальных) данных (оцифровка слабых шкал или огрубление сильных до самой слабой в таблице), производимое ради удобства применения единых операций ко всем данным, приводит к потере и искажению информации. Разработке алгоритмов исчерпывающей обработки многомерных разнотипных данных посвящена обширная отрасль информатики -теория информации, теория измерений, анализ данных, data mining, математическая статистика и др. (начальные сведения об этом можно найти в [8, 9]).
возможности диверсификации рейтингов
Ещё одна возможность увеличить информативность модели - перейти от статического моделирования к динамическому (например, учитывать динамические показатели типа мотивации студентов к учёбе, реакцию вуза на изменения на рынке труда и др.). Некоторые особенности моделирования активных процессов (динамики систем с участием людей) описаны в [10, 11]. Можно также вовлечь в моделирование алгоритмы и общие закономерности нелинейной системной динамики - синергетики. Большие перспективы открываются при рассмотрении нелинейных упорядочивающих функций, связывающих показатели и индикаторы рейтинга. В синергетике обнаружены фазовые портреты систем, названные аттракторами; в рассмотрении активных процессов это привело к выявлению «трубчатых» фазовых портретов. Эти модели также можно подключать к рейтингам.
Дополним сказанное рассуждениями о возможных проявлениях активности всех субъектов, участвующих в работе организации, управление которой осуществляется с помощью рейтинговой оценки её деятельности. Какой-то способ оценивать состояние управляемого объекта абсолютно необходим для разработки управляющих воздействий, и рейтинг -лишь один из таких способов, он даже имеет явные преимущества перед, например, волюнтаристским подходом к управлению. В любом случае, участники управляемой системы вынуждены действовать в соответствии с предъявляемыми требованиями: управление вообще есть определённое насилие, направленное на достижение некоторой цели. Но и при этом возникает вопрос: «что можно сделать, чтобы улучшить управление?».
Принципиальная особенность социальных систем состоит в том, что основные элементы в них - люди - являются не просто составными частями единой системы, выполняющими конкретные частные функции, необходимые для реализации общей целевой функции системы (наподобие частей в механической системе). Каждый человек является целепо-лагающим и целеустремлённым субъектом [12], преследующим не только ту цель, которую определило ему управление данной системой, но, в разных пропорциях, и другие цели (прежде всего, собственные, а также цели, связанные с его одновременным участием в других социальных системах). Отсюда возникают различные оценки событий, происходящих с ними в управляемой системе. В интересах руководства - максимизировать желание работников эффективно исполнять порученные функции, минимизировать их недовольство проводимыми формами и методами управления. Это относится и к рейтинговому методу управления. К перечисленным выше возможностям усовершенствования рейтинговых моделей управляемой системы можно добавить некоторые комментарии.
Улучшающие действия, которые могут предпринять участники управляемой системы, зависят от того, какое место они занимают в иерархической структуре организации. Лица, принимающие решения, могут сами вносить дополнения в конструкцию рейтинга, предложенного вышестоящим руководством, а для внутренних целей и вообще разрабатывать собственный рейтинг. Лица подчинённые могут вносить предложения руководству, как (с их точки зрения) можно улучшить сам рейтинг и что стоит изменить в их работе для более эффективного повышения рейтинга. Понятно, что реализация таких советов в полной мере возможна только при циркулярной организации иерархии управления [13].
Многие трудности управления с помощью рейтингового оценивания связаны с принципиальной неоднозначностью упорядочивания элементов в многомерном пространстве. Поясним это на примере рейтинга Я из двух показателей, q1 и q2 :
R = + а^2 ,
где «кофициенты важности» а1 и а2 определяют наклон упорядочивающей прямой (рис. 1 и 2). Ранжирование одной и той же совокупности двумерных точек будет разным, в зависимости от направления на цель. Практикуемое обычно ранжирование относительно «самого успешного» обманчиво, так как «дальше всех от нуля» в разных направлениях находятся разные точки (на рисунках это две точки с рангами 1 и 2).
Рис. 1. Цель известна Рис. 1. Цель не известна
Поэтому теория считает, что корректным решением задачи упорядочения в многомерном пространстве является нахождение всех недоминируемых альтернатив, для каждой из которых нет альтернатив доминирующих (т.е. превосходящих их по всем критериям). Они доминируют над остальными альтернативами, а между собой несравнимы, т.е. каждая из них хотя бы по одному критерию превосходит остальные. Совокупность недоминируемых альтернатив называется множеством Парето (на рисунках это точки с рангами 1 и 2 в любом рейтинге). Как поступить, если требуется делать выбор на паретовском множестве, зависит от целей более высокого уровня (от критериев, не входящих в число показателей рейтинга).
ЛИТЕРАТУРА
1. Тарасенко Ф.П. О принципиальных трудностях балльной оценки научной деятельности. // Вестник АН СССР. - 1976. - № 6.
2. Тарасенко Ф.П. О применении рейтинговых оценок в управлении вузом // Проблемы управления в социальных системах. - Томск: Изд-во Том. ун-та, 2011. - Т. 3, вып. 5. - С. 81-96.
3. The Shanghai Rankings and US News & World Report. Times Higher Education (THE).
4. URL: сайт THE World University Rankings.
5. Клемент Л., Мостард М.Ч. О сложности оценивания научной деятельности // Проблемы управления в социальных системах. - Томск: Изд-во Том. ун-та, 2014. - Т. 7, вып. 10. - С. 22-39.
6. Акофф Р.Л. и др. Анти-законы менеджмента. - Томск: Изд-во Том. ун-та, 2008. - 124 с.
7. Акофф Р.Л. За пределами социализма и капитализма: развивающееся общество // Проблемы управления в социальных системах. - Томск: Изд-во Том. ун-та, 2009. - Т. 1, вып. 1. - С.112-140.
8. Тарасенко Ф.П. Моделирование и феномен человека. Ч. 1: Моделирование - инфраструктура взаимодействий человека с реальностью. - М.: Научные технологии, 2012. - 137 с.
9. Загоруйко Н.Г. Когнитивный анализ данных. - Новосибирск: Академическое изд-во «Гео», 2013. - 186 с.
10. Перспективные технологии XXI века: в 2 кн. Кн. 1.: монография / [авт.кол.: Абдуллин И.Ш., Абуталипова Л.Н., Азанова А.А., Медведев А.В. и др.]. - Одесса: Изд-во КУПРИЕНКО СВ, 2013. - 162 с.
11. Медведев А.В. О компьютерном исследовании активных систем // Проблемы управления в социальных системах. - Томск: Изд-во Том. унта, 2013. - Т. 5., вып. 8. - С. 86-104.
12. Акофф Р., Эмери Ф. О целеустремлённых системах. - М.: Советское Радио, 1974. - 272 с.
13. Акофф Р. Менеджмент в XXI веке. Преобразование корпорации. -Томск: Изд-во Том. ун-та, 2006. - 418 с.
