CC BY
51
г
ПРАКТИКА МОДЕРНИЗАЦИИ ОБРАЗОВАНИЯ
)
М.В. СЕРОШТАН, профессор ранЖИр°вание
Б.М. ВЛАДИМИРСКИМ, профессор РОССИЙСКИХ
Южный федеральный университетов: ЧТО И как
университет СЧИтатъ?
Для ранжирования университетов предлагается использовать векторное описание разных сторон их деятельности. Предложено ввести два новых показателя деятельности университетов, отражающих рекомендации экспертов ООН. По экспертным оценкам рассчитан вектор приоритетов, позволяющий «взвешивать » разные стороны деятельности университетов при векторном описании.
Ключевые слова: ранжирование университетов, векторное представление, экспертные оценки, вектор приоритетов
Очевидно, что без качественного высшего образования на базе передовых научных исследований нельзя создать критическую массу квалифицированных и образованных людей, которые смогут обеспечить реальное устойчивое развитие страны с опорой на собственные силы. Решению этой задачи способствуют в том числе обоснованные и тщательно рассчитанные рейтинги вузов, с помощью которых можно сравнивать уровень и качество высшего образования как отдельного вуза, так и вузовской системы страны в целом относительно ведущих университетов мира, оценивать свои сильные и слабые стороны. Кроме того, рейтинги играют важную роль во внутренней самооценке, необходимой для повышения качества университетского образования и университетской жизни в целом.
В предыдущей статье [1] мы привели ряд соображений в пользу конструирования новой рейтинговой системы, которая, являясь многомерной и многокритериальной, более объективно и с учетом наших реалий позволяет ранжировать российские университеты. При этом мы имели в виду необходимость корректировки набора параметров и показателей деятельности университетов, а также использование новой методики их «взвешивания» и представления окончательных результатов.
Сразу следует оговориться, что предлагаемый ниже подход предназначен для ранжирования именно отечественных университетов. Он окажется полезным, если будет принят большинством заинтересованных лиц из академического, управленческого и бизнес-сообщества в нашей стране. Для этого нужно использовать собранную - по крайней мере для трехлетнего периода - исходную информацию. Устойчивость полученных при этом основных кластеров («ведущие», «средние» и «слабые» университеты) будет свидетельствовать об относительной объективности предложенной системы ранжирования. Кроме того, можно будет предъявить полученные результаты международной экспертной группе по ранжированию (IREG) для получения международной сертификации.
С помощью такой системы можно также сделать некую «прикидку» для сравнения зарубежных университетов с нашими. (Естественно, это станет возможным лишь при наличии соответствующей информации, характеризующей зарубежные университеты.) Здесь возможны два результата. Первый - примерное соответствие между позициями отечественных и зарубежных университетов по предлагаемой системе показателей и общепринятым мировым рейтингам. Такой разочаровывающий с точ-
6
Высшее образование в России • № 7, 2014
ки зрения отечественных университетов результат, тем не менее, будет означать, что идейная основа, заложенная в существующие рейтинги, в целом позволяет достаточно точно оценить положение университета в мировой «табели о рангах», и многомерная и многокритериальная оценка ничего нового не добавляет. Второй возможный результат: рейтинговые позиции российских университетов в сравнении с зарубежными существенно изменятся. Ясно, что если эти изменения будут в пользу отечественных университетов, то с этим в мире вряд ли кто согласится, по крайней мере -на начальном этапе. Чтобы все не ограничилось моральным удовлетворением по поводу изменений к лучшему, понадобится большая и длительная работа по обоснованию и продвижению новой системы ранжирования, чтобы она была признана и за пределами России.
Прежде чем приступить к описанию того, что и как считать, коротко напомним те недостатки, которые характерны для существующих систем ранжирования [2]. Так, академическое сообщество ставит под сомнение: надежность получения исходных данных об университетах, правильность выбора индикаторов, процедуру отбора и опроса экспертов, способы агрегирования показателей и приписывание им соответствующих весовых коэффициентов. Вопросы вызывает также связь качества образования с числом лауреатов Нобелевской премии, закончивших данный университет, методика репутационных обследований внутри академического сообщества и работодателей, а также достаточность учета только публикационной активности сотрудников университета и игнорирование других достижений.
Есть еще ряд нареканий относительно качества проводимого ранжирования. И одно из них состоит в том, что когда речь идет о таком многоплановом понятии, как качество высшего образования, для определения места университета в общем спис-
ке университетов, одного числа (суммы баллов) явно недостаточно. Дело в том, что университет как социальный институт описывается совокупностью направлений своей деятельности, каждое из которых ха-растеризуется системой взаимосвязанных показателей. По крайней мере, это следует из описаний методик наиболее широко используемых рейтингов. При этом сложное взаимодействие, существующее между отдельными сторонами функционирования университета и являющееся главным для достижения его целей как социального института, практически не учитывается.
Между тем университет представляет собой не просто реализацию неких видов деятельности (образовательной, научной и т.п.). Такое разделение - лишь способ осуществлять контроль за разными сторонами деятельности университетов, а при необходимости - их ранжирование. Университет - это единый организм. Именно поэтому в последние годы предприняты попытки сконструировать многомерные критерии, которые учитывали бы взгляд на университет как на большую систему [3]. Используемая при этом методология предусматривает выбор некоторого количества релевантных для каждого вида университетской деятельности показателей, которые потом комплексируются и представляются в виде одного числа; далее набор таких чисел для всех видов деятельности используется для ранжирования. Данный подход имеет право на жизнь, однако не является подлинно многомерным - в том смысле, как этот термин понимается в математике.
Для целенаправленных систем, каковыми являются университеты, более адекватными являются, на наш взгляд, интегральные, а не комплексные оценки. Впрочем, использовать для оценки уровня университета и качества образования по отдельности можно и те, и другие. Оба этих вида оценок учитывают совокупности показателей, отражающие разные стороны деятельности университета. При этом интегральные
Практика модернизации образования
7
оценки направлены на раскрытие целостной сущности описываемого объекта (в нашем случае - это общий уровень или качество университетского образования). Комплексные же оценки конструируются, исходя из аддитивности как отдельных видов деятельности, так и показателей, характеризующих эти виды. Таким образом, эти оценки (критерии) отличаются друг от друга, несмотря на то, что могут использовать одни и те же группы показателей.
Как в любом случае принятия решений, при конструировании рейтинговой системы (т.е. при выборе показателей ранжирования и их весовых коэффициентов) необходимо оптимизировать решение исходя не из одной, а из нескольких целевых функций. Последние традиционно связываются с качеством образования, проведением научных исследований, подготовкой кадров высшей квалификации и повышением уровня квалификации наличного профессорско-преподавательского состава и др. Вместе с тем эти учитываемые при ранжировании до настоящего времени параметры деятельности университетов, по нашему мнению, отражают многообразие университетской жизни не полностью. Речь идет о том, что выпускник университета в своих профессиональных и личностных компетенциях должен прежде всего соответствовать требованиям, сформулированным во «Всемирной декларации о высшем образовании для XXI века: подходы и практические меры», принятой ЮНЕСКО в 1998 г. [4]. Поэтому «направления деятельности университета», важные для определения его положения в рейтинге, должны базироваться на основных положениях этой декларации. Соответственно, последние должны учитываться также при выборе показателей, характеризующих те или иные направления деятельности университета. Исходя из этого, в дополнение к таким общепринятым параметрам, как обучение, научные исследования, интернационализация, трансфер знаний и технологий и сотрудничество с реги-
онами, которые приняты в качестве основных в новой методологии системы ранжирования российских вузов, следует добавить еще по крайней мере два.
Значимым показателем уровня развития университета (его привлекательности для абитуриентов и студентов, степени выполнения им своей миссии, вклада в научнотехнический прогресс и культуру) является наличие возможностей для удовлетворения потребностей членов коллектива в творчестве, саморазвитии и самореализации. Так, в качестве показателя «возможности самореализации для студентов » может учитываться число образовательных программ, выбор индивидуальной траектории обучения, реальное участие студентов в выработке политики и принятии управленческих решений, связанных с жизнью университета.
Другое важное направление со своим набором показателей - инфраструктура университета (учебные корпуса, общежития, научное и учебное оборудование, доступность информационных услуг) и финансовое обеспечение (включая студенческие и аспирантские стипендии).
Можно предположить, что оценки именно этих двух направлений смогут выступать в качестве «параметров порядка» при описании функционирования университета как большой нелинейной системы [5] , так как они фактически вбирают в себя все учитываемые сегодня для ранжирования стороны деятельности университета.
После того как основные направления, по которым проводится ранжирование, выбраны, необходимо на основе экспертных оценок получить весовые коэффициенты для отдельных направлений с точки зрения их значимости («веса »). Это можно сделать с помощью методики, разработанной ранее Саати Т. для анализа иерархий [6].
Используя в рамках данной методики специально сконструированную шкалу суждений, привлеченные нами эксперты провели парные сравнения отдельных на-
8
Высшее образование в России • № 7, 2014
правлений деятельности университетов, заполнив квадратную матрицу размерностью ПхП, где П - число таких направлений. Так как сравнения производятся попарно, в итоге получается матрица, обладающая свойством обратной симметричности. Пример заполнения нескольких клеток такой матрицы приведен в таблице 1. Цифры 1, 3 и 5, согласно рекомендуемой для использования шкале суждений, означают соответственно: равную важность, умеренное превосходство одного над другим и значительное превосходство одного над другим.
По полностью заполненной матрице был вычислен вектор приоритетов отдельных направлений деятельности для формирования университета мирового уровня. Этот вектор получился после того, как были вычислены собственные векторы этой матрицы, а результат нормализован так, чтобы сумма «весов » всех направлений деятельности была равна единице.
Ранее для пяти направлений деятельности университетов, используемых в [3], был получен следующий вектор приоритетов: обучение и преподавание - 0,47, научные исследования - 0,32,интернационализация - 0,11, трансфер знаний - 0,04, связь с регионом - 0,06. Добавка еще двух направлений привела к набору весовых коэффициентов, приведенных в таблице.
Достоинство используемой методики состоит в том, что она позволяет рассчитать индекс согласованности и некую связанную с ним величину - отношение согласованности, - показывающую, насколько
сравнения, проведенные экспертом, согласуются между собой по численным и порядковым оценкам. В нашем случае величина индекса согласованности составила 0,16, а величина отношения согласованности - 8,1%, что означает согласованность экспертных суждений в пределах допустимых вариаций (допустимая величина отношения согласованности < 10%).
Точно такая же процедура может использоваться при оценке весовых коэффициентов отдельных индикаторов, характеризующих определенные направления деятельности университетов. Стоит добавить, что используемые разными авторами и отечественными рейтинговыми агентствами в настоящий момент наборы индикаторов избыточны. По нашим оценкам свыше 30% этихиндикаторов сильно коррелированы и могут быть исключены из процедур ранжирования.
Как следует из приведенных в таблице весовых коэффициентов, оценки для обу-
чения и научной деятельности, которые дают непосредственно занимающиеся педагогической деятельностью эксперты, несколько отличаются от тех, что используются в принятых мировых рейтингах.
Оценкам научной продуктивности (число статей) и мере влияния опубликованных статей (индекс цитирования) придается в существующих рейтингах очень большое значение. И это правильно, поскольку такие оценки отражают реальный уровень квалификации научно-педагогического состава университета. Вместе с тем этот уровень важен в первую очередь для тех вы-
Таблица 1
Обучение Наука Трансфер знаний Связь с регионом Само- реализация Инфра- структура Вектор приоритетов
Обучение 1 0,38
Наука 1 5 0,30
Трансфер знаний i 1/ /3 0,04
Связь с регионом >5 3 1 0,04
Самореализация 1 0,10
Инфраструктура 1 0,14
Практика модернизации образования
9
пускников, которые предполагают делать академическую карьеру, а ведь к такой карьере стремится только незначительная часть выпускников. Подавляющая же их часть в своей профессиональной жизни будет от науки достаточно далека, и подготовка именно этой части выпускников является определяющей для развития всех сфер жизни любой страны. Вероятно, понимание именно этого обстоятельства определило полученные результаты обработки мнения экспертов.
Численные оценки для выбранных направлений деятельности отдельных университетов, «взвешенные» в соответствии с вектором приоритетов, могут быть использованы в качестве компонентов вектора, описывающих данный университет. Эти компоненты векторов ранжируемых университетов нормируются по максимальному значению конкретной компоненты, достигаемой одним из университетов, чтобы можно было правильно вычислить модули каждого из векторов, описывающих отдельные университеты. Университет, модуль вектора которого будет максимальным, выбирается как точка отсчета В0 в n-мерном пространстве направлений деятельности при ранжировании;относитель-но него рассчитываются расстояния между ним и остальными ранжируемыми университетами.
Длина вектора (модуль) вычисляется так:
|Д| = Л (Ь )
где r = 1,..., N - порядковый номер университета, включенного в ранжирование; и - число направлений деятельности университетов, учитываемых при ранжировании; k. - весовые коэффициенты, равные компонентам вектора приоритетов отдельных направлений деятельности; bn - соответствующие компоненты для конкретного университета.
Таким образом, в качестве оценки для
ранжирования предлагается использовать вектор, характеризуемый модулем (длиной вектора) и углом, определяющим положение вектора относительно университета, являющегося в данный год лучшим.
Угол между вектором В , описывающим r-тый университет, и В0, описывающим университет, признанный лучшим при данном ранжировании, определяется из соотношения:
cosф
Br Х B0
|Br| х Bo
где Вг х В0 - скалярное произведение двух векторов. Этот угол указывает на то, что для данного университета характерна иная значимость отдельных направлений деятельности, чем для университета, лучшего по данному ранжированию.
Само ранжирование университетов производится по длине вектора. Приближение отдельных векторов к В0 по модулю и минимизация отклонения по углу будет означать движение к лучшему на настоящий момент университету.
Для того чтобы превратить рейтинги в подлинные инструменты принятия решений по развитию университетов, требуется совершенствование как подходов к рейтингованию и вытекающих из них наборов индикаторов, так и аналитических методов анализа статистической информации, получаемых от вузов.
В заключение отметим, что векторному описанию разных сторон деятельности университетов может помочь следующий шаг по учету рекомендаций экспертов ООН: набор показателей и их анализ должен отражать не только и не столько позицию конкретного университета в рейтинге, сколько указывать на более общие тенденции подготовки кадров в целом по стране.
Авторы выражают благодарность Соколову М.М. за предоставленный статистический материал.
10
Высшее образование в России • № 7, 2014
Литература
1. Сероштан М.В., Владимирский Б.М. Ка-
кая система ранжирования российских университетов нам нужна // Высшее образование в России. 2013. №8-9. С. 48-54.
2. Кинчарова А. Мировые рейтинги универ-
ситетов: методология, эффекты и критика. Препринт центра социально-политических исследований технологий ТПУ. Томск, 2012. 29 с.
3. Аржанова И.В., Ларионова М.В., Завары-
кина Л.В., Перфильева О.В., Нагорнов
В.А., Лопатина А.С., Лазутина И.В., Жураковский В.М., Барышникова М.Ю. Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов // Вестник международных организаций. 2013. № 1. С. 8-30.
4. URL: http://www.lexed.ru/mpravo/razdel2/
?doc21.html
5. Малинецкий Г.Г., Потапов А.Б. Современ-
ные проблемы нелинейной динамики. М.: Эдиториал УРСС, 2000. 276 с.
6. Саати Т., Кернс К. Аналитическое плани-
рование. Организация систем. М.: Радио и связь, 1991. 224 с.
Авторы:
СЕРОШТАН Мария Васильевна - д-р экон. наук, профессор, первый проректор по развитию науки и инновациям, Южный федеральный университет, [email protected] ВЛАДИМИРСКИЙ Борис Михайлович - д-р биол. наук, профессор, Южный федеральный университет, [email protected]
SEROSHTANM.V, VLADIMIRSKIYB.M. RANKING RUSSIAN UNIVERSITIES: HOW TO MEASURE?
Abstract. The authors propose to use vector representation of university areas of activities for ranking universities. Two novel indices reflecting UN experts’ recommendations are introduced. Based on expert estimates, a priority vector of weights enables to represent the university activity.
Keywords: universities ranking, vector representation, expert estimates, priority vector
References
1. Seroshtan M.V., Vladimirskiy B.M. (2013)
[What kind of university ranking system do we need?]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 8-9, pp. 4854 (In Russ.)
2. Kincharova A. (2012) Mirovye reytingi universitetov: metodologiya, effekty i kritika. Preprint tsentra sotsial’ no-politicheskikh issledovaniy tekhnologiy TPU [World University Rankings: Methodology, Effects and Critique. Preprint, TPU Center for Social and Political Studies]. Tomsk: TPU Publ., 29 p. (In Russ.)
3. Arzhanova I.V., Larionova M.V., Zavarykina
L.V., Perfil’eva O.V., Nagornov V.A., Lopatina A.S., Lazutina I.V., Zhurakovskiy V.M., Baryshnikova M.Yu. (2013) [Multi-
dimensional ranking methodology: potential for comprehensive university assessment]. Vestnik mezhdunarodnykh organisatsiy [International Organizations Bulletin]. No.1, pp.8-30 (In Russ.)
4. [World Declaration on higher education for the
XXI century: approaches and practical measures]. Available at: http://www.lexed.ru/ mpravo/razdel2/?doc21.html (In Russ.)
5. Malinetskiy G.G., Potapov A.B. (2000) Sovremen-
nye problemy nelineynoy dinamiki [Modern problems of nonlinear dynamics]. Moscow: Editorial URSS Publ., 276 p. (In Russ.)
6. Saaty T.L., Kearns K.P. (1991) Analiticheskoe
planirovanie. Organizatsiya sistem [Analytical planning: the organization of systems]. Moscow: Radio i Svyaz’ Publ., 224 p.
Authors:
SEROSHTAN Maria V. - Dr. Sci. (Economics), Prof., Pro-Rector for Research Development and Innovation, Southern Federal University, Rostov-on-Don, Russia, [email protected] VLADIMIRSKIY Boris M. - Dr. Sci. (Biology), Prof., Department of Biophysics and Biocybernetics, Southern Federal University, Rostov-on-Don, Russia, [email protected]
