CC BY
49о применении рейтинговых оценок в управлении вузом
ф.п. тарасенко
Национальный исследовательский
Томский государственный университет, Россия
ftara@sibmail.com
Рейтинговое сравнение альтернатив рассматривается как задача упорядочивания в многомерном пространстве критериев. Принципиальная неоднозначность решения этой задачи позволяет использовать рейтинги для различных целей управления в социальных системах. Обсуждается применение рейтингов в системе образования.
введение
Индустриальный век уходит в прошлое. Наступает век информационный, когда решающим ресурсом для любой деятельности во всё большей степени становится информация, знания. Усиление информационной составляющей во всех проявлениях жизни общества идёт так интенсивно, что этот процесс называют «глобальной информационной революцией», а степень использования информации в практике управления - «важнейшим стратегическим ресурсом».
Томский университет находится в первых рядах российских организаций, развивающихся в направлении усиления информатизации. В стратегической программе информатизации ТГУ на ближайшие годы среди других направлений предусмотрено и повышение качества управления университетом за счёт внедрения новых информационных технологий в процессы принятия управленческих решений.
Всякое управление состоит из пяти компонентов:
- объект управления - управляемая система,
- субъект управления - управляющая система,
- цель управления - желаемое субъектом состояние объекта управления,
- модель управляемой системы - знания субъекта об управляемом объекте,
- управляющее воздействие - воздействие на вход объекта управления, направленное на получение на его выходе показателей, определенных целью управления.
Успешность управления определяется качествами всех пяти составляющих, но прежде всего тем, насколько качественно мы регистрируем текущее состояние объекта и оцениваем его отличие от целевого состояния. Среди способов выполнения этих операций в последнее время всё шире используются рейтинговые системы. Введение в практику управления университетом рейтинговой методики оценивания состояний подведомственных подразделений требует создания комплекса организационных, информационных, технических средств, обеспечивающих устойчивое управление в условиях непрерывных (и слабо предсказуемых) изменений в окружающей среде и в самом университете. В данной статье обсуждаются особенности рейтингового оценивания и возможности их использования в управлении вузом на примере Томского университета.
1. что такое рейтинг
Термин рейтинг происходит от английского слова rate - оценивание, сравнение и упорядочение состояний некоторых объектов.
Иногда рейтинг основывается на единственном показателе. Например, рейтинг передач по радио и телевидению определяется числом слушателей или зрителей; рейтинг стран-претендентов на грант ЮНЕСКО по здравоохранению - по детской смертности, а на гранты по школьному образованию - по проценту неграмотного населения в стране; рейтинг бестселлеров - по количеству проданных книг; и т. п.
Однако гораздо чаще единственный показатель не может удовлетворительно охарактеризовать состояние объекта, и приходится учитывать большее (иногда очень большое) число характеристик объекта, - тем большее, чем более сложен этот объект. В соответствующем разделе данной статьи будет рассмотрен вопрос о том, от чего зависит количество и качество регистрируемых показателей в рейтинговых системах вообще и применительно к университету, в частности.
Таким образом, рейтинг является одномерной функцией многих переменных («показателей», «индикаторов»). Обсуждение проблем определения такой упорядочивающей функции в многомерном пространстве приводится в последующих разделах статьи.
Министерство науки и образования уже несколько лет использует рейтинговую систему оценивания работы подведомственных вузов. Рей-
тинговый подход используется также для определения сравнительного уровня вузов различных стран. Любые оценки (в том числе и рейтинги) имеют субъективный (целевой) характер, но поскольку в данном случае оценивание имеет экономические (министерский рейтинг) или политические (международный рейтинг) последствия, то мы вынуждены, нравится нам это или нет, предпринимать усилия для повышения собственных внешних рейтингов.
Кроме того, рейтинговую методику можно использовать и для внутри-университетского менеджмента, на всех уровнях управленческой иерархии: на общеуниверситетском уровне - для сопоставления факультетов, институтов, инфраструктурных подразделений; на уровне подразделений университета - для сравнения кафедр и лабораторий; на нижнем уровне иерархии - для оценивания работы каждого преподавателя или студента.
Руководство ТГУ решило ввести рейтинговую методику в практику оперативного управления университетом. Дело это непростое: рейтинговые алгоритмы, сводящие воедино качественно разные показатели, могут приводить к «несправедливым» выводам. Есть несколько причин таких сбоев. Первая - нарушение чисто технических условий обработки данных, например, применение недопустимых операций к исходным данным (типичным примером является выполнение арифметических операций над баллами или операция деления над данными в интервальной шкале), что лишает результат предполагаемого качества (вспомним, например, провалившуюся практику учёта «среднего школьного балла» при поступлении в вузы). Во-вторых, рейтинговая система, как и всякая система голосования (в окончательный результат вносит свой «голос» каждый показатель), обладает неустранимыми особенностями, приводящими (при определённом стечении обстоятельств) к парадоксальным результатам [4. С. 159-169]. Один из парадоксов - победа меньшинства в мажоритарной системе - сознательно используется в рейтинговом управлении: небольшому числу показателей придаются веса, делающие их доминирующими над остальными показателями (примером является число нобелевских лауреатов в международном рейтинге университетов). Третья причина - неадекватность набора показателей либо по отношению к природе оцениваемого объекта, либо по отношению к цели сравнения.
Поэтому введение рейтинговой технологии в управленческую практику требует тщательной подготовки.
2. В каких целях используются рейтинги
Оценивание и сравнение состояний объектов управления бывают необходимы для принятия различных управленческих решений. Рейтинги используются для разных целей:
• для слежения за текущим состоянием управляемой системы (информационная функция, мониторинг);
• для выявления тенденций в текущем этапе жизненного цикла системы (аналитическая функция, прогнозирование);
• для выработки управляющих воздействий на систему (функция управления, проектирование необходимых изменений, стимулирование исполнителей).
Приведем примеры таких ситуаций.
2.1. мониторинг и статическое сравнение
Чаще всего рейтинги используются при подведении итогов за определенный отчетный период (обычно за год). Состояние сравниваемых объектов «фотографируется». Каждый объект характеризуется совокупностью определенных показателей, и сравниваемые объекты упорядочиваются по предпочтению согласно определенной заранее упорядочивающей функции этих показателей.
Пользователями таких рейтингов являются:
• внешние руководящие, контрольные, исследовательские и другие организации (Минобрнауки РФ, аккредитационные органы, социометрические организации и т.п.);
• абитуриенты - при выборе вуза и специальности для получения высшего образования. (Зарубежные университеты, особенно американские, стремящиеся привлечь как можно больше абитуриентов из-за рубежа, уделяют своим рейтингам большое внимание. Однако в российской практике пока преобладающее значение в выборе абитуриентами вуза имеют рекомендации родственников, друзей, знакомых);
• работодатели - при приеме на работу специалиста часто важную роль играет то, в каком вузе он обучался;
• сами вузы и их подразделения - для самооценки и для внутреннего сопоставления подразделений. В этом случае к показателям рейтинга вышестоящей организации обычно добавляются собственные показатели, учитывающие «местную» специфику.
2.2. ВЫЯВЛЕНИЕ ТЕНДЕНЦИЙ И ДИАГНОСТИКА
Совокупность показателей объекта на конец отчетного периода для рейтинга является фиксацией состояния. Если взять эти данные за несколько периодов мониторинга, то можно проследить траекторию объекта в пространстве признаков и выявить происходящие изменения, определить тенденции. Правда, многомерные траектории не обладают
наглядностью. При желании визуально наблюдать траекторию приходится ограничиваться двух- или трехмерными изображениями на экране дисплея. Для этого выбираются 2 или 3 интересующих нас показателя, и траектория строится в этом пространстве. Другой прием заключается в образовании 2 или 3 суммарных индикаторов («факторов»), объединяющих группы исходных показателей. Пример такого двухфакторного анализа динамики университета на плоскости, обобщенно отображающей количественные («масштабность») и качественные («эффективность») параметры организации, приведен в [1].
Пользователями таких представлений становятся первые руководители организации.
2.3. УПРАВЛЕНИЕ
Рейтинговая система может быть эффективным инструментом управления, если моральное и материальное стимулирование объекта связать с получаемым им рейтингом. При этом задание нужного управляющего воздействия сводится к выбору желаемого направления движения управляемого объекта в пространстве признаков. Это выражается в задании «политических коэффициентов» - весовых коэффициентов признаков и их комбинаций. Выбор этих коэффициентов является средством управления и относится к компетенции руководителя.
Использование рейтингов возможно на всех уровнях управления университетом, - не только в целях участия ТГУ в министерских или между -народных рейтингах, но и для внутреннего управления университетом в целом со стороны ректората, а также для внутреннего управления каждым подразделением в отдельности, вплоть до базового уровня организации, - стимулирования членов кафедры, научной лаборатории, студентов учебной группы и т.д. Это означает построение иерархической системы рейтингов, каждый из которых играет локальную роль управления в собственных интересах подразделения и выполняет свою роль составной части в рейтинге верхнего уровня, согласованную с рейтингами соседних подразделений.
Разработка такой системы потребует решить ряд специфических проблем. Все они возникают, по существу, из одного факта: каждая организация (и каждое ее подразделение), хотя и имеет общие для всех систем характеристики, является особенным, отличающимся от других, а в чем-то уникальным объектом.
Поэтому любое сравнение разных объектов может быть только условным (по схожим характеристикам), целевым (привязанным к определенной цели последующих за сравнением действий), субъективным (связанным с культурой сравнивающего субъекта). Это препятствует сравнению
любых объектов и приводит к тому, что сравнивать имеет смысл лишь однородные объекты. Так, Минобрнауки применяет рейтинговое сравнение к группам вузов (классические университеты, технические вузы, медицинские, педагогические и т.д.), а в одном вузе сравниваются «родственные» подразделения («физики» и «лирики» - раздельно; научные, учебные и хозяйственные подразделения - тоже).
Построение всей иерархии целесообразно производить поэтапно, начиная с верхнего уровня. При этом следует придерживаться принципов фрактального построения иерархии, соблюдая единство организационно-технического, алгоритмического, информационного, программного обеспечения на всех уровнях иерархии.
Особой заботой должен стать выбор программной основы для всей работы и обучение сотрудников эффективному использованию этих программных продуктов. Например, в одной из крупных проектных работ подобного типа за основу была принята система Lotus Notes 4.5, а для оперативных контактов между всеми участниками в разных подразделениях взята программа Microsoft’s NetMeeting из Интернета [2].
3. возможность ИСПОЛЬЗОВАНИЯ РЕЙТИНГОВОЙ СИСТЕМЫ в нсот
Отдельного внимания заслуживает возможность использования рейтинговой методики в НСОТ (новая система оплаты труда). В этой системе предусмотрены поощрительные надбавки за повышенные объемы и качество труда; эти надбавки могут достигать 30% от основной части зарплаты.
При этом предусмотрено, что право определять размер надбавок работникам предоставлено руководителю подразделения, исходя из конкретных обстоятельств в работе коллектива.
Опыт внедрения НСОТ в школах уже обнаружил возникновение серьезного недовольства и даже конфликтов в учительских коллективах. Главным источником появления недовольства является несовершенство методики определения личного вклада каждого работника в количественное и качественное улучшение работы коллектива. Кроме неизбежных разногласий из-за субъективности оценок, большие трудности возникают из-за того, что многие желательные характеристики деятельности людей ненаблюдаемы непосредственно, и приходится пользоваться измерениями наблюдаемых величин, лишь косвенно связанных с интересующим нас явлением, либо прибегать к качественным, субъективным суждениям экспертов. Кроме того, очевидная возможность измерять количественно характеристики результатов физического труда, неприменима для описания результатов труда умственного, творческого.
Такую ситуацию можно улучшить с помощью использования рейтинга для определения пропорций распределения поощрительного фонда между членами трудового коллектива.
Снижения произвольной составляющей рейтинга, повышения степени согласия в коллективе можно достичь путем вовлечения в процесс проектирования рейтинговой системы всех членов коллектива. Это относится как к выбору исходных параметров, характеризующих объем и качество работы каждого сотрудника, так и к определению «политических коэффициентов», определяющих значимость каждого параметра. При этом наибольшая эффективность в таком проектировании достигается при соучастии всех в принятии решений по принципу «один человек - один голос» и на основе единогласия («все за») или хотя бы консенсуса («никто не против»).
Если будет принято решение о включении рейтинга в НСОТ, проектирование собственного рейтинга должно состояться в каждом подразделении университета. Тогда АИС «Рейтинг» (в отличие от её составляющих, описанных в предыдущих разделах, где она развивается «сверху вниз») станет развиваться «снизу вверх». При этом необходимо обеспечить, чтобы рейтинги нижнего уровня сохранили совместимость со всей АИС «Рейтинг» в целом.
4. проблемы проектирования алгоритма рейтинга
Для того чтобы сконструировать конкретный адекватный способ вычисления рейтинга, необходимо решить следующие проблемы:
- выбрать показатели, которые должны дать исходную информацию для рейтинга (рассмотрено ниже в п. 4.1);
- определить одномерную функцию, преобразующую набор показателей в итоговую оценку (см. п. 4.2);
- обеспечить адекватность операций, выполняемых над разношкальными показателями в процессе их объединения (см. п. 4.3).
4.1. ВЫБОР ПОКАЗАТЕЛЕЙ
Отправным пунктом для выбора показателей является осознание, что критерии суть модели целей.
Стремясь достичь поставленную цель, мы должны оценивать (измерять) степень близости текущего состояния системы к состоянию целевому. Для этого необходимо найти такие наблюдаемые характеристики, величина которых связана со степенью близости к целевому состоянию. Таким образом, критерии содержат информацию о цели, являются ее моделью.
Это проясняет вопрос о том, сколько и какие критерии брать -столько и такие, чтобы в совокупности они были адекватной моделью цели (т.е. отображали ее с необходимым качеством). При этом имеет смысл минимизировать их число: избыточные критерии не ухудшают описания, но резко увеличивают трудоемкость их обработки. А если измеряемые характеристики зашумлены, то увеличение их числа может и ухудшить итоговую оценку.
Итак, многокритериальность оптимизации связана не только с тем, что целей может быть несколько, но и с тем, что часто одну цель можно адекватно отобразить лишь несколькими критериями. При этом замечено, что чем меньше мы понимаем природу объекта (чем «сложнее» объект), тем больше переменных мы включаем в его модель: некоторые показатели включаются «на всякий случай», т.е. на случай их возможной значимости. Поэтому есть системы, включающие многие десятки показателей.
Выбору показателей предшествует определение целей. Для ТГУ цели определены документом «Миссия и основные приоритеты стратегического развития университета». Анализ этого документа показывает, что главные цели ТГУ зависят от того, с какими внешними и внутренними системами взаимодействует университет; их схема представлена на рис. 1. В «Миссии» формулируются цели ТГУ по отношению к каждой из этих систем. При выборе показателей, подлежащих измерению, можно поочередно подбирать индикаторы для каждого из указанных 12 «направлений». «Миссия» также определяет приоритетные на текущий момент направления деятельности ТГУ; эту информацию тоже следует использовать при выборе показателей. При необходимости можно декомпозировать каждую цель на подцели, что облегчит подбор индикаторов. (Алгоритм декомпозиции приведен в [3]).
Особое внимание должно быть уделено последнему уточнению стратегии Томского университета: в 2010 г. он получил статус исследовательского университета. Отличительной особенностью исследовательского университета является преобладающее внимание к научной составляющей его деятельности. Главным продуктом исследовательского универ-
Мир РФ Регион
Образо- Студенты
вание
Наука [ ТГУ ) Препода-
ватели
Культура Инфра-
структура
Система Техноло- Работо-
Минвуза гии датели
Рис. 1
ситета должны стать научные результаты: новые знания, новые тех-
нологии, новые образцы техники, культуры, общественных отношений. Обязательная для университета функция образования тоже приобретает специфику: она должна сместиться в сторону подготовки кадров высшей квалификации - магистров, кандидатов и докторов наук. (Прототипом может служить Чикагский университет, где вообще нет студентов бакалавриата, - только магистранты и докторанты, где работает много лауреатов Нобелевской премии, где был построен первый атомный реактор Ферми и т.д.)
Однако и для исследовательского университета остаются значимыми все пять видов деятельности вуза: учебная, научная, научнометодическая, культурно-воспитательная (внутренняя), общественно полезная (внешняя).
В ходе определения набора показателей должны учитываться следующие системологические требования.
Во-первых, необходимо учесть действительные интересы всех стэйк-холдеров (существенных участников) проблемной ситуации; в нашем случае это все 12 систем, представленные на рис. 1. Наиболее полным и надежным источником этой информации являются, конечно, сами стэйкхолдеры. Поэтому обычно выдвигается требование привлечения к разработке рейтинговой системы самих стэйкхолдеров либо их компетентных представителей.
Однако в нашем случае дело облегчается тем, что проектируемая рейтинговая система - далеко не первая для всего высшего образования.
В многочисленных зарубежных и отечественных рейтингах, применяемых в российских вузах, уже выражены и представлены интересы соответствующих сторон. Поэтому при конструировании предложенной совокупности показателей, кроме мнений физических представителей некоторых сторон (научной и учебной частей ректората ТГУ, экономистов, психологов, социологов), остальная информация получена путем сравнительного анализа опубликованных рейтинговых систем.
Во-вторых, необходимо иметь в виду, что замечательная способность экспертов давать оценки сопровождается огорчительной, но, к сожалению, неизбежной их подверженностью ошибкам. Если ошибка первого рода (т.е. предложение критериев, которые на самом деле несущественны) лишь увеличивает трудоемкость оценивания, то ошибка второго рода (отнесение существенных критериев к числу несущественных и невключение их в список) и ошибка третьего рода (незнание, неосведомленность о существенных аспектах ситуации) чреваты тем, что итоговая совокупность критериев окажется недостаточно адекватной. Способы
обнаружения и предотвращения ошибок носят эвристический характер. В них больше искусства, чем науки.
Для частичной иллюстрации приведем опубликованный пример формирования критериев для достаточно ясной цели: повысить качество уборки мусора в большом городе. В результате анализа были отвергнуты первоначально предложенные и, на первый взгляд, подходящие критерии: расходы на уборку мусора в расчете на одну квартиру, число тонн убираемого мусора в расчете на один человеко-час, количество мусороуборочной техники и т.д. Эти критерии характеризуют количественную сторону работы, но ничего не говорят о ее качестве. Более удачными были признаны такие критерии, как процент жилых кварталов без заболеваний, связанных с качеством уборки мусора; снижение числа пожаров из-за возгорания мусора; уменьшение числа укусов людей крысами. Этот список был продолжен.
Итак, важным требованием к алгоритмическому и программному обеспечению АИС «Рейтинг ТГУ» является осуществление способности АИС адаптироваться и обучаться в ходе эксплуатации на обнаруженных ошибках.
В-третьих, для повышения адекватности набора признаков следует уделить внимание тому, чтобы критерии характеризовали состояние системы всесторонне, т.е. описывали статическое состояние в данный момент времени, ее динамическое состояние (тенденции изменений во времени) и ее синтетическое описание (эмерджентный, синергетический, ингерент-ный эффекты). В силу различия и специфики целей управления на каждом уровне организационной иерархии рейтинги на разных уровнях и в разных подразделениях одного уровня будут различаться.
4.2. ОТОБРАЖЕНИЕ МНОЖЕСТВА ПОКАЗАТЕЛЕЙ НА ЕДИНСТВЕННУЮ ИТОГОВУЮ ОЦЕНКУ (РЕЙТИНГ)
Обсудим проблемы, связанные с использованием рейтинга как средства управления. Первой задачей является сравнение и упорядочение объектов по некоторому принципу, оценивающему эффективность их деятельности. Общепринятым и «очевидным» является построение некоторого обобщающего показателя д0(х), учитывающего все частные критерии {д. (х)}.
Идея такого подхода состоит в том, что упорядочение по единому глобальному критерию является в принципе элементарным делом: сравниваемые объекты {х.} упорядочиваются естественным образом по величине итоговой оценки д0(х. ): тот, кто добился более высокой оценки, тот и «лучше».
Однако упорядочение в пространстве многих (более одного) крите-
Рис. 2
риев принципиально отличается от однокритериального упорядочивания. Покажем это на примере двух критериев - д2 и д2 (см. рис. 2): увеличение числа критериев лишь увеличивает трудоемкость оценивания, а принципиальное различие проявляется уже при переходе от одного к двум критериям.
Введение глобального критерия д0(х) означает введение упорядочивающей поверхно-
сти в многомерном пространстве частных критериев {д. (х)}.
Эта поверхность определяется уравнением до(х)=а, и тот элемент х, для которого величина а. больше, тот и лучше. И результат, очевидно, зависит от того, какова упорядочивающая функция = / [д/х), д2(х), дк(х)]. На рис. 2 приведены примеры нескольких таких функций. Упорядочение состоит в том, что, увеличивая константу а, мы отодвигаем поверхность / от нуля, и точки х. нумеруются в порядке их пересечения этой поверхностью. Чем позже в своем движении поверхность наткнется на соответствующую точку, тем большую итоговую оценку получит эта точка.
Главный вывод состоит в том, что упорядочение в многомерном пространстве неоднозначно и определяется тем, какова упорядочивающая функция (на рис. 2 разные изображающие точки являются лучшими по разным критериям).
Интегральный показатель д0(х) состояния х есть некоторая функция /от значений критериев д(х) ... д (х) и их коэффициентов важности а ,
Рис. 3
Ч0(х) = Лд,(х) ... дк(х); а.
(1)
(пока для простоты будем считать, что критерии характеризуют лишь одну цель).
а
к
Функция /д,а] в принципе может быть любой, но по соображениям доходчивости ее обычно задают в виде линейной зависимости:
д0(х) = а1 д1(х) + а2 д2(х) + ... + ак д(х). (2)
В этом случае считается, что чем дальше соответствующая плоскость от нуля, тем лучше; усилия руководителей направляются на продвижение точки в направлении, перпендикулярном плоскости. На рис. 3 эта ситуация иллюстрируется на примере двух критериев д и д2; поощряемое направление перпендикулярно соответствующим прямым.
4.3. ПРОБЛЕМЫ ИЗМЕРЕНИЯ И РАЗМЕРНОСТЕЙ
Серьезные трудности возникают в связи с тем, что выбранные показатели характеризуют качественно отличающиеся характеристики объекта. Даже в случае линейной формы глобального критерия необходимо учесть особенности обработки разнотипных данных, чтобы получаемый интегральный показатель (рейтинг) был адекватным, правильным, работоспособным.
Во-первых, различные критерии могут исчисляться в разных измерительных шкалах. В этом случае их сложение является недопустимой, бессмысленной операцией: нельзя складывать часы, рубли и метры. Следовательно, необходимо обеспечить одноразмерность всех слагаемых в линейной форме. Это делают разными способами.
Широко распространён способ экспертного оценивания всех показателей в баллах одной шкалы (обычно 100-балльной), с последующим их суммированием. Такой способ применён в рейтинговой системе «Рей-тОР» [5], во внутренних рейтингах некоторых вузов и НИИ.
Опасность такого подхода состоит в том, что балльные оценки иногда являются огрубленными количествами, а иногда - сугубо качественными суждениями, не имеющими даже следов числовой природы. В последнем случае арифметические операции над баллами приводят к неверным заключениям. К тому же такой подход весьма чувствителен к соотношениям между баллами разных показателей. (Например, в одном институте РАН начисляют 100 баллов за публикацию в реферируемом журнале и 30 баллов за публикацию тезисов в материалах конференции. Сотрудники тут же переключились на тезисы без личного участия в конференциях.)
Второй способ приведения данных в одну шкалу - огрубление их до самой слабой шкалы (обычно это порядковая, балльная шкала). К отмеченным выше особенностям балльных шкал добавляется тот факт, что при огрублении сильной числовой шкалы часть полезной информации теряется.
Третий подход применяется, если все критерии носят числовой характер, но измеряются в разных шкалах. В этом случае разнотипные (раз-
ноименные) данные приводятся к единой безразмерной шкале с помощью нормировки и масштабирования. При этом есть нюансы. Отнесение показателя к единице его измерения, хотя и дает безразмерную величину, положения не спасает: денежный критерий будет в несколько раз отличаться в рублях и долларах, масштабный критерий - в 100 раз в метрах и сантиметрах. Следует также позаботиться о равнозначимости критериев. Выход видится в том, чтобы привести все критерии не только к единой (безразмерной) шкале, но и единому диапазону возможных значений, а именно, пересчитать каждый показатель так, чтобы он принимал значение в интервале [0,1]. Это удается осуществить нормировкой вида д*(х) = (д(х) - д. .)/(д. - д. ■), (3 )
где д . и д . - максимальное и минимальное значения критерия д. (по
природе или среди сравниваемых объектов).
А как быть в случае единственной оцениваемой системы - при самооценке и самоуправлении? Напрашивается предложение нормировать каждый показатель на потенциал оцениваемой организации по данному показателю: полученное число будет выражать степень реализации потенциала, и ее увеличение кажется разумным. Однако не по любому показателю удается определить «потенциал». Например, сколько опубликованных статей в отчетном году, даже в расчете на одного сотрудника, считать малым или большим? Одинаково или по-разному учитывать число публикаций для аспирантов и докторантов? Важным критерием считается процент защитившихся в срок, но как учитывать защиты в годы, последующие за сроком окончания аспирантуры и докторантуры?
Таким образом, нормировка и масштабирование всех показателей желательны, но не всегда осуществимы.
В таких случаях применяются другие приемы.
Один из них - «релейное» управление на основе политики руководства. Например, ректорат может потребовать, чтобы каждый преподаватель публиковал не менее одной статьи в год. Если это условие выполнено, преподавателю начисляется единица, если нет - нуль. Показатели всех преподавателей суммируются, и сумма делится на число штатных единиц. Появляется возможность сравнения научной активности факультетов.
Другой прием - «бенчмаркинг»: круговая диаграмма желаемых и достигнутых уровней по каждому показателю (своеобразная «роза ветров» в пространстве показателей). Расхождение между контурами целевых и достигнутых показателей обнаруживает сильные и слабые стороны объекта. А сравнение таких контуров разных подразделений позволяет не просто суммарно упорядочить их, но и детально охарактеризовать относительные достоинства и недостатки подразделений.
4.4. о «политических коэффициентах»
Коэффициенты {а.} в итоговой оценке
д*о(х) = аг д*(х) + а2 д*(х) + ... + ак д*к(х) (4)
выражают значимость, важность . -того критерия в политике руководства и должны определяться именно лицами, принимающими решения. Для сопоставимости разных политик следует придерживаться условия нормировки
а1+а2+.+ак=1. (5)
Обобщение линейной формы итоговой оценки на случай многоуровневой иерархической структуры критериев очевидно: на каждом уровне образуется своя линейная комбинация, которые с некоторыми весовыми коэффициентами линейно объединяются на верхнем уровне.
Вопрос об итоговой оценке на основе нескольких критериев теперь выглядит как бы решенным достаточно удовлетворительно. Однако это впечатление слишком оптимистично.
Уже очевидно, что упорядочение в многомерном пространстве существенно зависит от конкретного определения упорядочивающей функции / В частности, при линейной форме глобального критерия по-разному будут упорядочиваться сравниваемые варианты при изменении соотношений между коэффициентами важности критериев {а}. Эту относительность, условность и даже произвольность многомерного упорядочивания обнажил и довел до абсурда акад. Я.З. Цыпкин на одной из наших конференций: «Задайте заранее порядок предпочтения альтернатив в многомерном пространстве, а я подберу такую упорядочивающую функцию, которая и обоснует это упорядочение».
Первопричина такой произвольности заключается в стремлении определить единственную наилучшую альтернативу. Это возможно лишь в том (практически нереальном) случае, когда существует единственная альтернатива, лучшая сразу по всем критериям. Обычно это не так, а в каждой паре альтернатив одна из них превосходит другую по одним критериям и проигрывает ей по другим.
Какой из них отдать предпочтение? Тут-то и привлекаются дополнительные (кроме самих критериев) соображения, типа «коэффициентов важности», добавочных критериев, формы упорядочивающей функции и т.д. Но все это - стремление применить однокритериальный подход к решению многокритериальной задачи. На этом пути разработано много разных конкретных способов выбора: задание глобального критерия д0 (обсуждено выше), условная оптимизация, метод уступок, лексикографическое упорядочение, метод задания уровней притязания и их различные
вариации. (Подробности можно узнать в [4]). Существует даже международное научное сообщество, которое каждые два года проводит всемирную конференцию по многокритериальному принятию решений ( MCDM).
Однако хотелось бы привлечь внимание руководителей к тому, что существует адекватный подход к многокритериальному выбору. Он заключается в том, чтобы при выборе наилучшей альтернативы отбросить все те, для которых найдутся варианты, лучшие по всем критериям (первые называются доминируемыми, вторые - доминирующими). В итоге останутся только недоминируемые альтернативы, лучше которых по всем критериям не существует (см. рис. 4). Они-то и являются лучшими в том смысле, что лучше них по всем критериям нет.
Множество недоминируемых альтернатив называется паретовским, по имени давшего этот метод математика-экономиста Парето. Оно и выражает неоднозначность многокритериального выбора. Варианты, вошедшие в паретовское множество, считаются одинаково ценными, несравнимыми между собой (в самом деле, чем хуже факультет, лидирующий по участию в международных конференциях, чем факультет, получивший максимальное число патентов?).
Таким образом, рекомендация по многокритериальному выбору сводится к совету определить паретовское множество. (При большом числе критериев есть алгоритмы, сокращающие трудоемкость этой операции).
А при необходимости выделить только один элемент паретовского множества можно использовать разные способы (волевое решение, случайный выбор, применение дополнительного критерия, использование глобального критерия). Но подчеркнем, что не все методы многокритериального принятия решений выводят в паретовское множество. Именно поэтому рекомендуется начать выбор с определения паретовского множества.
литература
1. Козулин А.В., Ковалёв М.М. Модели рейтинга университетов. «Рейтинг» М., 2008. С.1-17.
2. Акофф Р.Л. Менеджмент в XXI веке. Томск: Изд-во Том. ун-та, 2006.
3. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа. Томск: Изд. НТЛ, 1997.
4. Тарасенко Ф.П. Прикладной системный анализ. М., Изд-во Кно-рус, 2010.
5. Садовничий В. и др. Как посчитать качество образования. http:// www.expert.ru/
