CC BY
75
' НАПРАВЛЕНИЯ МОДЕРНИЗАЦИИ ОБРАЗОВАНИЯ ^
От институциональной аккредитации к мониторингу эффективности
Мотова Галина Николаевна - д-р пед. наук, замдиректора. E-mail: [email protected] Наводнов Владимир Григорьевич - д-р техн. наук, проф., директор. E-mail: [email protected]
Национальный центр профессионально-общественной аккредитации, Йошкар-Ола, Россия Адрес: 424000, г. Йошкар-Ола, ул. Волкова, 206-а
Аннотация. В работе представлен анализ процедуры мониторинга эффективности учреждений высшего образования, который ежегодно в течение последних пяти лет проводит Министерство образования и науки. Технология мониторинга основана на методах сбора и систематизации информации, которые использовались в процедурах государственной аккредитации в 1997-2010 гг. Описаны причины введения мониторинга в практику работы органа управления с позиции интересов государственной образовательной политики. Перечень показателей, ориентиром которых является не столько образовательная, сколько социальная, экономическая и международная политика, а также политические (административные) последействия мониторинга, вызывает серьёзную критику со стороны академической общественности. Предложена модель представления результатов мониторинга в формате таблицы лиг. Она позволяет гибко использовать его итоги как институтам управления системой высшего образования, так и учреждениям высшего образования с целью анализа своих позиций и формирования стратегии своего развития.
Ключевые слова: мониторинг эффективности, показатели деятельности учреждения высшего образования, критерии, рейтинги, многомерное ранжирование, таблицы лиг
Для цитирования: Мотова Г.Н, Наводнов В.Г. От институциональной аккредитации к мониторингу эффективности // Высшее образование в России. 2018. Т. 27. № 4. С. 9-21.
Введение Мониторингу эффективности вузов в этом Пять лет после выхода федерального за- процессе отведена особая роль. кона «Об образовании в Российской Феде- Первоначально использовавшийся как рации» - слишком небольшой срок, чтобы технология получения и накопления доделать серьёзные выводы, но вполне доста- стоверной эмпирической информации о точный для того, чтобы заметить тренды в состоянии системы высшей школы в целях развитии образования и первые последствия проведения процедур государственной ак-его принятия. Явным и наиболее обсуждае- кредитации, в последние годы мониторинг мым общественностью нововведением стало приобрел политическое измерение, став преобладание в законе контрольно-надзор- институтом ранжирования вузов по линии ных процедур. Имеются в виду: лицензиро- «эффективный/неэффективный» с целью вание и лицензионный контроль (плановый принятия административных решений. Дани внеплановый), государственная аккреди- ное «превращение» [1] составляет содержа-тация, государственный контроль качества ние предлагаемой читателю статьи. Ввиду образования (плановый и внеплановый), проведения очередного раунда мониторинга государственный надзор за исполнением за- эффективности вузов в 2018 г. она имеет ак-конодательства (плановый и внеплановый). туальное значение.
Исторические предпосылки мониторинга в сфере высшего образования
С позиции федерального закона «Об образовании в Российской Федерации» мониторинг «представляет собой систематическое стандартизированное наблюдение за состоянием образования и динамикой изменений его результатов, условиями осуществления образовательной деятельности, контингентом обучающихся, учебными и внеучебными достижениями обучающихся, профессиональными достижениями выпускников» (статья 97, п. 3). «Порядок ... а также перечень обязательной информации ... устанавливается Правительством РФ» (статья 97, п. 5). В научных исследованиях мониторинг определяется как специально организованная процедура сбора и анализа информации с целью непрерывного стандартизированного наблюдения за каким-либо процессом, его диагностики и прогнозирования развития. Например: «мониторинг - система сбора, обработки, хранения и распространения информации о какой-либо системе или отдельных её элементах, ориентированная на информационное обеспечение управления данной системой, позволяющая судить о её состоянии в любой момент времени и дающая возможность прогнозирования её развития» [2]. Положение закона в данном случае не противоречит научному определению. Однако, как известно, в практике государственного управления мониторинг стал отнюдь не только «инструментом наблюдения, диагностики и прогнозирования». И в этом суть дела.
Было бы неверным утверждать, что процедура мониторинга деятельности вузов России была впервые введена только в 2012 г. Сбор статистической информации имеет в России исторические традиции. Единый государственный орган (Росстат) ежегодно собирает, анализирует и представляет Правительству информацию по всем социальным, экономическим и производственным отраслям, в том числе по отрасли «Образование». Для эффективного управления системой
образования Министерство также регулярно запрашивает информацию от подведомственных учреждений по различным направлениям их деятельности. Систематический сбор статистической информации о деятельности всех образовательных организаций профессионального образования начал осуществляться с 1996 г., когда был организован Центральный банк данных государственной аккредитации. Его деятельность определялась необходимостью введения в практику работы Министерства образования новой процедуры - государственной аккредитации образовательных учреждений, а также появившейся возможностью сбора и анализа информации в новом формате - в связи с развитием современных инфокоммуникаци-онных технологий.
1990-е годы характеризуются резким увеличением числа образовательных учреждений и их дифференциацией по организационно-правовой форме и статусу. Появились негосударственные образовательные учреждения, для которых отдельные нормы законодательства в области образования носили рекомендательный характер. Как государственные, так и негосударственные вузы расширяли приём студентов на коммерческой основе, открывали новые образовательные программы и филиалы. Кроме того, они получили право изменять статус образовательного учреждения, например политехнический институт становился техническим университетом, педагогический институт - педагогической академией или университетом. Негосударственные вузы по решению учредителя могли выбрать себе фактически любое название. Перед министерством встали задачи сохранения единого образовательного пространства страны, формирования единой государственной политики в отношении всех образовательных учреждений независимо от их профильно-сти, форм собственности и территориального расположения. Поэтому было необходимо разработать прозрачную, понятную, объективную технологию признания (аккре-
дитации) образовательного учреждения и определения его статуса по виду (институт, академия, университет). Процедура ежегодного сбора статистической информации о деятельности образовательных учреждений такую задачу решала: она позволяла иметь полную актуальную информацию о системе высшего образования и устанавливать объективные критерии для определения статуса вуза. Эта процедура не рассматривалась в качестве мониторинга, являясь таковой по сути. Она была одним из условий государственной аккредитации.
Сама процедура государственной аккредитации проводилась в институциональной форме один раз в пять лет. Это была оценка вуза в целом, которая включала внешнюю экспертизу учебной, научной, воспитательной работы, научно-педагогических кадров, учебных ресурсов, возможности продолжения образования в аспирантуре и ДПО, и проводилась экспертной комиссией в составе до 10 человек. Она предполагала также процедуру ежегодного сбора информации в определённом формате по всем направлениям его деятельности. Эта информация сравнивалась с результатами деятельности других вузов и критериями аккредитации. Показатели и критерии аккредитации устанавливались в отношении деятельности вуза в целом (а не отдельных образовательных программ), а именно: спектр и объём образовательной деятельности (количество образовательных программ и их разнообразие по уровням и спектру наук), контингент студентов (количество и дифференциация по уровням подготовки и спектру наук), квалификация научно-преподавательского состава (наличие учёных степеней и научных званий), объём и результативность научной и методической деятельности (наличие грантов, проектов, монографий, учебников и статей).
Экспертная и статистическая информация как «информационное обеспечение управления» позволяла определить тип учреждения в соответствии с реализуемыми уровнями образования (среднее профессио-
нальное, высшее, послевузовское) и вид учреждения (институт, академия или университет) на основе оценки потенциала, объёма, спектра, результативности образовательной, научной и методической деятельности. Для определения типа и вида образовательного учреждения использовалось минимально достаточное количество показателей:
• содержание и уровень подготовки;
• качество (качество приёма и выпуска, результативность подготовки);
• образовательная среда (воспитательная деятельность);
• спектр реализуемых образовательных программ по отраслям наук;
• возможности расширения и продолжения образования (аспирантура, докторантура, дополнительное образование);
• спектр, объём и результативность научных исследований(по отраслям наук);
• эффективность методической деятельности;
• качественный уровень профессорско-преподавательского состава.
Перечень показателей и их критериальные значения корректировались раз в 5-6 лет в зависимости от состояния системы высшего образования и государственной образовательной политики [3]. В целом механизм установления государственного аккредитационного статуса образовательного учреждения по результатам его государственной аккредитации использовался в России с 1997 по 2010 гг. [4; 5]. Статистическая информация о деятельности вузов позволяла не только сопровождать работу коллегиального органа по государственной аккредитации, но и обеспечивать аналитическими отчётами структурные подразделения министерства, а также проводить научные исследования.
Методологический аппарат мониторинговых исследований
Процедура государственной аккредитации была прописана в российском законодательстве в 1992 г., но потребовалось пять
лет, чтобы ввести её в практику работы Министерства образования. Если государственный контроль за учебными заведениями в России со стороны Министерства образования осуществлялся на протяжении 200 лет, то введение процедур лицензирования, аттестации и аккредитации стало новым механизмом управления. Он разрабатывался фактически «с чистого листа», потребовал изучения методов управления качеством в экономике и изучения подходов к оценке качества образования за рубежом. В его основу легли методы управления качеством, методологические подходы, используемые при аккредитации образовательных учреждений в США [6], а также собственные «ноу-хау» - методы сбора, систематизации, анализа и визуализации информации (фактически - мониторинг) для поддержки экспертной оценки [7]. Мировая практика в тот период не располагала опытом объективной, независимой оценки деятельности образовательных учреждений в форме аккредитации. В США организации, проводящие аккредитацию образовательных учреждений, при принятии решений опирались только на экспертное мнение с использованием первичных данных статистики без их систематизации и детального анализа. В европейских странах формировавшиеся с середины 90-х годов прошлого века системы аккредитации образовательных программ и образовательных учреждений также основывались в большей степени на экспертных оценках. Заявленные в Болонском процессе принципы прозрачности, объективности, независимости в оценке качества уже с 1997 г. нашли отражение в действующей технологии аккредитации высших учебных заведений России. Это позволило относительно быстро адаптировать российские подходы к общеевропейским [8; 9].
Системообразующим элементом мониторинга стал перечень показателей аккредитации. Под показателем имелось в виду ключевое направление деятельности вуза, определённое миссией, целями и задачами. На-
пример: «образовательная деятельность», «научная деятельность», «методическая деятельность». Число показателей должно было быть, с одной стороны, не очень большим, с другой - необходимым и достаточным для принятия объективного решения об аккредитации. Определение перечня показателей - важный и ответственный этап разработки методологии мониторинга, определения содержания показателей, их числа и методов измерения. Каждый из показателей по мере его использования становится «вектором развития» для образовательных учреждений и для системы образования в целом. Определённый перечень показателей оценки (мониторинга) деятельности учреждений задается государственным органом управления, т.е. является отражением государственной образовательной политики.
По каждому отдельному показателю (направлению деятельности) там, где это возможно, устанавливается критериальное значение, под которым понимается пороговое (минимально достаточное) значение для принятия положительного решения. Критериальные значения используются для сравнения с расчётными значениями конкретного вуза. Например, показатель квалификации научно-педагогического состава вуза может характеризоваться наличием и долей в его составе лиц, имеющих учёную степень. У каждого вуза доля лиц с учёными степенями будет различной, и эти расчётные значения сравниваются с критериальным (пороговым) значением.
Анализ и визуализация аналитической информации в виде диаграмм позволяют ранжировать вузы по отдельным показателям, давая сравнительную оценку места вуза по показателю в выборке вузов определённого вида (институт, академия, университет), и делать вывод о состоянии данного направления деятельности вуза. Три пороговые линии на диаграмме Парето выделяют четыре квартили; значение верхней квартили - это значение показателя, выше которого по данному показателю находятся 25% вузов дан-
ного вида, медиана - значение показателя, выше которого по данному показателю находятся 50% вузов данной видовой группы, значение нижней квартили - это значение показателя для вуза, выше которого по данному показателю находятся 75% вузов.
В процедуре принятия решения по государственной аккредитации значения показателей вузов, расположенные в зоне выборки выше 75%, рассматривались как «нормальные». Особое внимание обращалось на вузы, расположенные ниже значения показателя нижней квартили. По всем показателям, подкрепленным статистическими данными, устанавливались критериальные значения для поддержки принятия решения коллегиальным органом. Кроме того, для принятия решения использовался «механизм компенсации»: недостижение порогового значения по одним показателям компенсировалось достижениями по другим. Визуально механизм компенсации представлялся в виде лепестковой диаграммы, где каждый луч соответствует расчётному показателю. На луче отмечены критериальные значения и расчётные значения каждого отдельного вуза; такое представление информации значительно упрощало процедуру анализа и принятия решения на заседании аккредитационной коллегии Министерства образования.
Используемая методика оценки имеет неоспоримые достоинства. Она отличается объективностью, вариативностью, гибкостью, мотивационностью и достоверностью. Объективность обеспечивается установлением критериальных значений на основе актуальной статистики. Формирование выборки вузов по видовым группам учитывает их потенциал -действующий или заявляемый статус, обеспечивая вариативность подходов. Гибкость проявляется в наличии механизма компенсации недостатков достижениями. Использование прозрачных методов сравнения достижений вузов по отдельным показателям даёт возможность использования бенчмаркинга, а возможность повышения аккредитационного статуса является действенным механизмом
мотивации. Достоверность полученной информации раз в пять лет проверялась экспертной комиссией с выездом в вуз.
Таким образом, введение процедуры мониторинга учебной, научной, методической деятельности и её результативности позволяло систематизировать и анализировать информацию, а также представлять её в визуализированной форме для принятия решения по государственной аккредитации. Математические подходы к расчёту критериальных значений аккредитации и визуализации информации использовались для оценки состояния и развития системы образования в целом и каждого отдельного образовательного учреждения. Они применялись в качестве системы поддержки экспертного решения коллегиального органа - аккреди-тационного совета.
Мониторинг как инструмент государственной образовательной политики
Кардинальное изменение целевой направленности процедуры мониторинга стало ответом на майский Указ Президента страны и прямое поручение провести «до конца декабря 2012 г. мониторинг деятельности государственных образовательных учреждений в целях оценки эффективности их работы, реорганизации неэффективных государственных образовательных учреждений»1. Осенью 2012 г. Министерство образования и науки провело первый мониторинг «эффективности» государственных вузов, вызвавший небывалую волну негативной реакции академической общественности. Причин для такой реакции было довольно много.
С одной стороны, нет ничего неожиданного в том, что государственный орган управления ввел процедуру мониторинга, ведь он должен владеть полной информацией о деятельности подведомственных ему учрежддений. Однако описанная выше техно-
1 Указ о мерах по реализации государственной политики в области образования и науки, 7 мая 2012 г.
логия сбора и использования информации Центральным банком данных государственной аккредитации оказалась нерелевантной, т.к. находилась в ведении Рособрнадзора. Минобрнауки предложило свои подходы, и Центральный банк данных государственной аккредитации был ликвидирован. Как уже было отмечено, орган управления и раньше собирал различного рода статистическую информацию, но в данном случае мониторинг не только не заменил другие формы отчётности, но и стал настоящей головной болью для вузов. Прежде всего потому, что его целью стало не «наблюдение» и не мотивация, а контроль и реструктуризация сети учреждений высшего образования, а именно: «формирование статистических и аналитических материалов ... для последующего принятия решений в отношении вузов и их филиалов, отнесённых к "группе образовательных организаций, имеющих признаки неэффективности"»2.
Вторая причина - изменение вектора государственной образовательной политики: от предоставления широких прав и автономии вузам к усилению государственной регламентации и оптимизации расходов на образование. Наряду с федеральным законом «Об образовании в Российской Федерации» была разработана дорожная карта развития образования, где одним из инструментов повышения эффективности высшей школы была прописана динамика сокращения сети учреждений3.
2 Протокол от 29 апреля 2013 г. заседания Межведомственной комиссии по проведению мониторинга деятельности государственных образовательных учреждений в целях оценки эффективности их работы и реорганизации неэффективных государственных образовательных учреждений от 29 апреля 2013 г. N ДЛ-12/05пр. URL: https://normativ.kontor.m/document?modul eId=1&documentId=265668
3 Распоряжение Правительства РФ от 30.12.2012 № 2620-р «Дорожная карта» (раздел V.3). URL: https://www.garant.ru/products/ipo/ prime/doc/70191846/
Этот шаг со стороны Правительства и Министерства вполне объясним, прежде всего - объективными причинами. С начала 1990-х гг. вплоть до 2009 г. объёмы высшей школы увеличились в разы: более чем в три раза выросло число студентов (с 2,5 млн. до 7,5 млн. чел.) и число образовательных программ (с 10,2 тыс. до 32,5 тыс.), число вузов (без филиалов) увеличилось в два раза - с 528 до 1134. Образовательный бум не мог не отразиться на качестве подготовки специалистов. Государственный орган управления поставил задачу повышения качества образования, прежде всего - путём сокращения неэффективно работающих учреждений. Инструментом стал мониторинг. С 2013 г. эта процедура проводится ежегодно. Все вузы обязаны предоставлять информацию о своей деятельности по специально разработанным формам. Полученная информация систематизируется и сравнивается с установленным пороговым значением. Результаты рассматриваются специально созданной комиссией, в которую входят представители министерств и ведомств, имеющих отношение к высшему образованию. Результатом работы комиссии, в свою очередь, являются рекомендации в адрес учредителей тех вузов и филиалов, которые признаны «неэффективными». Решением учредителя предполагается закрытие вуза (с переводом студентов в другие вузы) или присоединение к другому вузу, признанному «эффективным».
Поскольку понятие эффективности и критерии оценки эффективности не определены каким-либо нормативным документом до настоящего времени, нет оснований полагать, что административные меры по уменьшению числа учреждений действительно способствуют достижению цели повышения качества высшего образования.
Показатели мониторинга как вектор государственной политики
Показатели мониторинга фактически характеризуют вектор государственной политики, определяют направление развития
всей высшей школы России. Информация собирается по 54 показателям, которые интегрируются в семь основных [ 10]. Таковыми определены следующие.
1. Образовательная деятельность. Это характеристика качественного состава абитуриентов вуза по результатам приёма; показатель рассчитывается по усреднённым результатам Единого государственного экзамена.
2. Научная деятельность. Расчётный показатель поступлений финансовых средств из всех источников на научную деятельность по отношению к одному научно-педагогическому работнику вуза.
3. Международная деятельность вуза. Характеризуется числом принятых на обучение иностранных студентов и рассчитывается относительно общего числа студентов, обучающихся в вузе или филиале.
4. Финансово-экономическая деятельность. Показатель доходов вуза из всех возможных источников: образовательной деятельности (платный приём), научных разработок, грантов, спонсорской поддержки, издательской деятельности и т.д.
5. Инфраструктура вуза. Расчётный показатель учебной площади, приходящейся на одного студента (с 2015 г. исключён).
6. Средняя зарплата профессорско-преподавательского состава по отношению к средней зарплате реального сектора экономики региона, где находится вуз (введён с 2015 г.).
7. Трудоустройство выпускников. Показатель рассчитывается на основании факта поступления налогов в государственный пенсионный фонд от выпускников, трудоустроившихся в течение предыдущего года.
8. Дополнительный показатель. Используется для вузов с особой спецификой деятельности (творческих, спортивных, военных, транспортных, медицинских, сельскохозяйственных) и для филиалов. Для каждой из выделенных специальных групп вузов используются отдельные показатели, как правило, характеризующие качественный состав преподавателей.
Практически каждый из этих показателей подвергся резкой и вполне обоснованной критике со стороны экспертов. Конкурс по результатам ЕГЭ при приёме в вуз характеризует качество приёма, а не образовательной деятельности в вузе, на него влияет также территориальное расположение вуза и конъюнктура. Оценка научной деятельности по объёму её финансирования также некорректна, т.к. технические и естественнонаучные исследования финансируются в заведомо больших объёмах, чем гуманитарные или экономические. Что касается приёма иностранных студентов, то для региональных вузов, а также для вузов, ведущих подготовку специалистов для регионального рынка труда, такая политика вызывает недоумение. Кроме того, решение такой задачи заставляет вузы снижать требования при приёме иностранных абитуриентов, т.е. стремиться выполнить показатель, невзирая на уровень подготовки абитуриентов и готовности к обучению. При этом показатели финансово-хозяйственной деятельности и заработной платы преподавателей выявили ошибки при подсчёте финансирования вузов, а расчёт налоговых поступлений, характеризующий трудоустройство выпускников, - серьёзные пробелы в учёте налоговых поступлений.
Более общими замечаниями в адрес мониторинга являются следующие. Во-первых, перечисленные показатели не имеют прямого отношения к качеству образования или эффективности образовательной деятельности, только косвенное. Во-вторых, статистическая информация, получаемая от вузов, не проходит процедуру верификации, как это осуществляется в процессе аккредитации с выездом экспертной комиссии на место. Известны случаи ошибок и искажения информации при заполнении статистической отчетности. И наконец, практически ежегодно меняются «правила игры»: корректируются показатели, их индикаторы и методики расчёта. Зачастую новые правила не доводятся до вузов, а если доводятся, то очень поздно (менее чем за месяц до официального срока представления информации).
Динамика результатов мониторинга
Нетрудно заметить, что в основу методики расчёта показателей положена модель государственной аккредитации, которая эффективно применялась на практике при установлении аккредитационного статуса вуза. Критерии государственной аккредитации определялись по значению нижней квартили в выборке вузов определённой видовой группы (для институтов, академий, университетов) и устанавливались, как правило, на период в пять лет в виде порогового значения.
Однако в отличие от государственной аккредитации, в методике расчёта мониторинга устанавливается пороговое значение, которое рассчитывается по значению медианы предыдущего года. Правилом принятия решения стало деление всех вузов на эффективные и неэффективные, руководствуясь принятым пороговым значением. В общей совокупности учитывается не статус вуза (университет/ академия/ институт), а специфика (семь групп) и региональная принадлежность (четыре группы). Пороговое значение рассчитывается по каждому показателю, а за основу берётся его медианное значение. Так, в мониторинге эффективности 2014 г. все пороговые значения показателей равнялись медианным значениям. Последние три года пороговые значения показателей не менялись (за исключением показателя «средняя зарплата профессорско-преподавательского состава»). Эффективность вуза определяется по числу его показателей, которые равны или выше пороговых значений. Вуз считается эффективным, если из семи показателей он имеет четыре и более значений выше пороговых. Несложные расчёты показывают, что если пороговые значения совпадают с медианными значениями, то вероятность попадания вуза в число эффективных равна 0,5. Другими словами, половина образовательных организаций высшего образования (вузов и филиалов) будут являться эффективными, вторая половина -неэффективными.
Статистика участия вузов в мониторинге в 2012-2017 гг. свидетельствует, что начиная с 2014 г. наблюдается сокращение числа вузов, представивших статистическую информацию. И это прямое следствие внедрения мониторинга, т. к. по его результатам государственный орган управления активизировал процедуры оптимизации высшей школы. Самое большое число организаций, признанных неэффективными, было рассчитано в 2014 г.: 1010 (43,46%), из них 238 вузов (79 государственных) и 772 филиала (489 государственных). В мониторинге 2017 г. приняли участие 1461 организация высшего образования (769 вузов и 692 филиала). 242 организации (18,8%) признаны невыполнившими необходимые требования. В результате демографического кризиса и государственной образовательной политики за последние пять лет высшее образование России испытало резкое сокращение объёмов выпуска, и по прогнозам, опубликованным в официальных источниках, эта тенденция сохранится и в дальнейшем. Количество студентов уже уменьшилось с 7,5 млн. до 4,3 млн. чел. Количество вузов и филиалов уменьшилось более чем на 1000 единиц.
Такая слишком жёсткая система принятия решений заведомо превращает процедуру мониторинга в «игру с высокими ставками», что не может не вызывать волну недовольства и критики. Между тем нет доказательств того, что используемые регулятором методы повышения качества образования оказывают на него существенное влияние. Реорганизация вузов путём их слияния приносит множество проблем, связанных с перераспределением функций управления, объединением кафедр и факультетов, сокращением числа преподавателей и увеличением их учебной нагрузки. Нет оснований полагать, что сильный вуз, принимая в свой состав слабые вузы и филиалы, сохранит свои позиции. Существуют также большие опасения относительно сохранности научных школ.
Рис. 1. Распределение результатов мониторинга в таблицах лиг
Таблица лиг вузов по результатам мониторинга-2017
Используя процедуру мониторинга, орган управления образованием реализует, прежде всего, задачу оптимизации ресурсов. На наш взгляд, этот процесс в ближайшее время объективно должен изменить вектор: от сокращения числа вузов и филиалов на повышение эффективности оставшихся. Метод деления вузов на две группы - слишком грубый инструмент, т.к. среди успешных вузов есть как абсолютно успешные, так и те, которые при недостаточном внимании могут потерять свои позиции. А среди «неэффективных» вузов есть не совсем безнадёжные - им необходимо помочь выявить проблемы и определить направления развития. Для этого можно использовать уже принятые показатели, изменив политику принятия решения и введя более гибкий инструмент расчёта, например деление выборки вузов не на два основных сегмента - выше и ниже порогового значения, а на несколько областей. По каждому из семи показателей вуз может иметь различные позиции относительно порогового значения, поэтому может быть оценён в форме многомерного вектора.
В многомерном ранжировании можно использовать метод расчёта таблиц лиг (модель МакКинси)4. С одной стороны, он позволяет дать всестороннюю оценку деятельности вуза с акцентом на разнообразие потребностей разных категорий пользователей, с другой - не стремиться соединить оценку разных направлений деятельности в одном агрегированном показателе. Многомерное ранжирование в форме таблиц лиг может стать более гибким инструментом поддержки и определения вектора развития вузов.
Всю совокупность выборки образовательных организаций по отдельному показателю можно разделить на пять областей и использовать буквенные обозначения, где область А представлена значениями показателя, входящими в первую квартиль выборки, область В - вторая квартиль, область С - значения между медианой и пороговым критерием, область D - значения между по-
4 В 1970-х гг. консалтинговой группой McKinsey и компанией General Electric предложена аналитическая модель для оценки стратегических позиций бизнеса, определяющая позиции организации по совокупности различных показателей и её место в таблице лиг.
Таблица 1
Таблица лиг по результатам мониторинга Министерства образования и науки РФ в 2013-2017 годах
Лига 2013 2014 2015 2016 2017
1 1 1 3 3 1
2 7 18 27 35 26
3 91 145 180 208 160
4 239 143 244 290 222
5 509 310 348 406 417
6 444 176 267 306 234
7 320 23 77 131 108
8 84 609 180 155 63
9 100 139 71 86 31
10 79 150 72 126 27
Всего: 1874 1714 1469 1746 1289
роговым и третьей квартилью, область Е -значения четвёртой квартили (Рис. 1).
Используя подход МакКинси, по результатам мониторинга можно выделить заданное количество лиг, например 10. Для определения вхождения образовательной организации в ту или иную лигу, удобно ввести индекс Борда (по имени французского математика, впервые предложившего такую процедуру). Индекс Борда определяется как сумма «рангов» значений координат многомерного вектора: за значение А присваивается «ранг», равный 5 баллам, за В - 4 балла, за С - 3 балла, за D - 2 балла, за Е - 1 балл. Максимальное значение индекса Борда равно 35=7*5, а минимальное - 7=7*1. Таким образом, возможно разбиение всей совокупности образовательных организаций на 29 групп (страт), которые можно объединить в более крупные группы - лиги.
В первой лиге будут представлены вузы, у которых оценки по всем семи показателям равны А, т.е. многомерная оценка представлена вектором (А,А,А,А,А,А,А). В последнюю, десятую, лигу попадут те образовательные организации, у которых по большинству показателей - оценки D и Е. Первые семь лиг представлены вузами, признанными эффективными, в группу неэффективных попадают
вузы со значениями более четырёх D или Е, и они распределены в трёх оставшихся лигах.
На основе такой системы кластеризации можно увидеть, что из 121 вуза, «имевшего признаки неэффективности» по итогам 2017 г., только 27 являются абсолютно безнадёжными, а в отношении 63 вузов можно предложить программу коррекции и развития. Анализ показывает, что в первую лигу в течение пяти лет не попадало больше трёх вузов, в 2017 г. - только один. И это не официально признанный флагман российского образования - Московский государственный университет им. М.В. Ломоносова, а национальный исследовательский университет с большой историей - Российский государственный университет нефти и газа имени И.М. Губкина [11]. Подробные результаты распределения образовательных организаций высшего образования по лигам по результатам мониторинга эффективности представлены на сайте www.msd-nica.ru. В целом распределение вузов и филиалов по таблицам лиг близко к нормальному: большинство вузов представлены в четвёртой, пятой и шестой лигах (Табл. 1). В первых трёх лигах ожидаемо находятся ведущие университеты страны.
Заметим, что порядок расположения вузов по результатам мониторинга явно отли-
чается от рангов российских университетов в мировых рейтингах (QS, ARWU, THE). Конечно, надо учитывать, что показатели мировых рейтингов существенно разнятся с показателями российского национального мониторинга, прежде всего тем, что в них учитывается экспертное мнение (до 40%), наличие выдающихся учёных среди преподавателей и выпускников, мировое признание научных достижений преподавателей и т.п. Показатели мониторинга всё это не учитывают. Прохождение мониторинга и участие в мировых рейтингах инициирует и поддерживает государство, следовательно, процесс вхождения в мировое образовательное пространство, предусмотренный для отдельных вузов, и контроль за эффективностью деятельности остальных - это политика, различающаяся целевыми установками.
Заключение
Мониторинг эффективности вузов в России реализуется государственным органом образования в течение последних пяти лет. При всей оправданности его проведения, он имеет ряд существенных недостатков, среди которых - жёсткие правила принятия решений и последующие меры по сокращению и слиянию вузов. Слишком высокие ставки в этой «игре» вызывают бурные дискуссии на всех уровнях законодательной и исполнительной власти, а также в среде академической общественности.
Используемый перечень показателей отражает основные направления не столько образовательной, сколько социальной и международной политики: повышение качества образования через повышение требований к приёму абитуриентов, расширение экспорта российского образования через увеличение приёма иностранных студентов, повышение мотивации к профессии педагога через повышение заработной платы, востребованность выпускников через свидетельство их трудоустройства и т.д. Проводимый мониторинг может действительно отражать наличное состояние системы образования
и соответствующую динамику, если цели будут прозрачны, а «правила игры» относительно стабильны. Вместе с тем важно, чтобы он предоставлял вузам возможность стратегического и тактического видения дальнейшего развития. Для этого требуется более тонкий, ясный и стимулирующий инструмент управления, не ограничивающийся бинарной шкалой принятия решений. Предлагаемая в данной работе методика кластеризации вузов в формате таблиц лиг по данным мониторинга может помочь вузам разработать стратегию повышения качества своей деятельности.
Литература
1. Тхагапсоев Х.Г., Сапунов М.Б. Российская образовательная реальность и её превращён-ные формы // Высшее образование в России. 2016. № 6 (202). С. 87-97.
2. Майоров А.Н. Мониторинг в образовании. М.: Интеллект-Центр, 2005. 424 с.
3. Мотова Г.Н, Наводнов В.Г. К созданию системы мониторинга качества высшего профессионального образования // Экология человека. 2009. № 9. С. 7-11.
4. Наводнов В.Г, Мотова Г.Н. Практика аккредитации в системе высшего образования России // Высшее образование в России. 2015. № 5. С. 12-20.
5. Геворкян Е.Н, Мотова Г.Н, Наводнов В.Г, Петропавловский М.В. Аккредитация высших учебных заведений в России: учебное пособие. Йошкар-Ола: Марийский государственный технический университет, 2008. 166 с.
6. Мотова Г.Н, Наводнов В.Г, Куклин В.Ж., Савельев Б.А. Системы аккредитации за рубежом. М., 1998. 180 с.
7. Шадриков В.Д, Геворкян Е.Н, Наводнов
B.Г., Мотова Г.Н., Петропавловский М.В. О видах высших образовательных учреждений // Высшее образование в России. 2000. № 3.
C. 13-25.
8. Motova G., Pykko R. Russian Higher Education and European Standards of Quality Assurance [Electron. resource] // European Journal of Education. Spécial Issue: Russian Higher Education and the Post-Soviet Transition. 2012. Vol. 47. Issue 1, March. P. 25-36.
9. Мотова Г.Н. Эволюция системы аккредитации в сфере высшего образования России // Высшее образование в России. 2017. № 10. С. 13-25.
10. Наводнов В.Г., Вильданов Р.К., Рыжакова О.Е. Семь оттенков мониторинга // Аккредитация в образовании. 2017. № 94. С. 64-73.
11. Наводнов В.Г. Новый рейтинг российских вузов по результатам мониторинга эффективности - 2017 // Аккредитация в образовании. 2017. № 98. С. 36-44.
Статья поступила в редакцию 22.02.18 Принята к публикации 04.03.18
From Institutional Accreditation to Monitoring ofEffectiveness
Galina N. Motova — Dr. Sci. (Education), Deputy Director, e-mail: [email protected] Vladimir G. Navodnov - Dr. Sci. (Engineering), Prof., Director, e-mail: [email protected] National Centre for Public Accreditation, Yoshkar-Ola, Russia Address: 206a, Volkov str., Yoshkar-Ola, 424000 Mari El, Russian Federation
Abstract. The article proposes a detailed analysis of the monitoring of higher education institutions effectiveness conducted annually by the Ministry of Education and Science for the last five years. The monitoring technique is based on collection and systematization of information used in state accreditation procedures in 1997-2010. The article also considers the reasons for implementing monitoring into the practice of governing body from the perspective of the state education policy. The list of HEIs' performance indicators oriented mainly on social, economic and international policy, and the results of the follow-up procedures are criticized by the academic community. The authors propose a model of presentation the monitoring results in the League Tables format. It helps using the monitoring results in a flexible manner both by institutions of higher education management and by HEIs aimed at analyzing their policies and forming their development strategies. This paper is especially relevant in the framework of one more round of university effectiveness monitoring to be conducted in 2018. In conclusion, the conducted effectiveness monitoring can reflect the current situation of the education system on conditions of transparency of set goals and stability of "game rules". But this instrument does not give universities the possibility of strategic and tactical vision of further development due to the limitation by the binary scale of decision-making. The given method of university clustering in league tables according to monitoring data may help universities develop a strategy of improving the quality oftheir activity.
Keywords: monitoring of effectiveness, HEI's performance indicators, criteria, ratings, multidimensional ranking, League Tables
Cite as: Motova, G.N., Navodnov, V.G. (2018). [From Institutional Accreditation to Monitoring of Effectiveness]. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 27, no. 4, pp. 9-21. (In Russ., abstract in Eng.)
References
1. Tkhagapsoev, Kh.G., Sapunov, M.B. (2016). [Russian Educational Reality and Its Converted Forms]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 6 (202), pp. 87-97. (In Russ., abstract in Eng.)
2. Mayorov A.N. (2005). Monitoring v obrazovanii [Monitoring in Education]. Moscow: Intellekt- tsentr Publ., 424 p. (In Russ.)
3. Motova, G.N., Navodnov, V.G. (2009). [To the Issue of Developing the System of Monitoring Quality of Higher Education]. Ekologiya cheloveka = Ecology of Man. No. 09, pp. 7-11. (In Russ., abstract in Eng.)
4. Navodnov, V.G., Motova, G.N. (2015). [Development of Accreditation in Russian Higher Education: History and Future]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 5, pp. 12-20. (In Russ., abstract in Eng.)
5. Gevorkyan, E.N., Motova, G.N., Navodnov, V.G., Petropavlovskiy, M.V. (2008) Akkreditatsiya vysshikh uchebnykh zavedeniy v Rossii: uchebnoe posobie [Accreditation of Higher Education Institutions in Russia: Textbook]. Yoshkar-Ola: Mari State Technical University Publ. 166 p. (In Russ.)
6. Motova, G.N., Navodnov, V.G., Kuklin, V.Zh., Saveliev, B.A. (1998). Sistemy akkreditatsii za rubezhom [Accreditation Systems Abroad]. Moscow, 180 p. (In Russ.)
7. Shadrikov, V.D., Gevorkian, E.N., Navodnov, V.G., Motova, G.N., Petropavlovsky, M.V. (2000). [About Types of Higher Education Institutions]. Vysshee obrazovanie v Rossii= Higher Education in Russia. No 3, pp. 13-25. (In Russ.)
8. Motova, G.N., Pykko, R. (2012). Russian Higher Education and European Standards of Quality Assurance. European Journal of Education. Special Issue: Russian Higher Education and the Post-Soviet Transition. Vol. 47, issue 1, March, pp. 25-36.
9. Motova, G.N. (2017). [Evolution of the Accreditation System in Russian Higher Education]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 10, pp. 13-25. (In Russ, abstract in Eng.)
10. Navodnov, V.G., Vildanov, R.K., Ryzhakova, O.E. (2017). [Seven Shades of Monitoring]. Akkreditatsia v obrazovanii = Accreditation in Education. No. 94, pp. 64-73. (In Russ.)
11. Navodnov, V.G. (2017). [New Rating of the Russian HEIs by the Results of Monitoring of Effectiveness -2017]. Akkreditatsia v obrazovanii =Accreditation in Education. No. 98, pp. 36-44. (In Russ.)
The paper was submitted 22.02.18 Accepted for publication 04.03.18
■ НАУЧНАЯ ЭЛЕКТРОННАЯ
* LIBRARY RU Science Index РИНЧ-2016
Вопросы философии 8,525
Психологическая наука и образование 6,925
Вопросы образования 4,847
социологические исследования 4,706
Педагогика 2,884
Философские науки 1,811
Вестник международных организаций 1,601
Эпистемология и философия науки 1,491
Высшее образование сегодня 1,331
образование и наука 1,298
Высшее образование в России 1,287
Экономика образования 1,013
Alma mater 0,966
Университетское управление: практика и анализ 0,751
интеграция образования 0,748
инженерное образование 0,538
