CC BY
79
МЕТОДОЛОГИЯ НАУЧНЫХ ИССЛЕДОВАНИЙ
УДК 378
ЗНАЧЕНИЕ И ВИДЫ КЛАССИФИКАЦИЙ
РЕЙТИНГОВ ПРИ ИССЛЕДОВАНИИ ОБРАЗОВАТЕЛЬНОГО ПРОСТРАНСТВА
В статье приведен краткий обзор существующих классификаций рейтингов, предложены два механизма их совершенствования — комплексные классификации рейтингов, приводящие к созданию многоаспектной диагностической матрицы, и ситуационные классификации, которые создаются отдельно под каждый случай. Классификация по позициям предлагаемого алгоритма оценки качества рейтингов позволяет выявить субъективную оставляющую рейтингов и исключить ее влияние.
Ключевые слова: рейтинги, классификация рейтингов, рейтинги университетов, рейтинговый подход.
Рейтинг представляет собой ранжированное упорядоченное множество, но можно ли упорядочить сами рейтинги? Рассмотрим существующие классификации рейтингов и границы их применения.
Первая классификация возникает из самой сути рейтингов, ведь результаты ранжирования, именуемые в русском языке одним словом (рейтинг), в английском языке имеют три отдельных названия (ranking, index, rating) в соответствии с разными основаниями и принципами составления.
В соответствии с энциклопедией рейтингов [5, с. 6] дадим определения этих понятий.
Как цитировать статью: Бебенина Е. В. Значение и виды классификаций рейтингов при исследовании образовательного пространства // Отечественная и зарубежная педагогика. 2018. Т. 1, № 4 (52). С.77-85.
Е. В. Бебенина
Кандидат педагогических наук, старший научный сотрудник центра педагогической компаративистики, Институт стратегии развития образования Российской академии образования, г. Москва E-mail: bebenina@instrao. ru
Ekaterina V. Bebenina
PhD (Education), Seniour Researcher, Centre of Comparative Education, Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
Рейтинг (англ. rating) — «оценка, определение стоимости». Само слово «рейтинг» не обязательно подразумевает ранжирование. Рейтинг — комплексная оценка состояния объекта на основании множества критериев, не всегда формализуемых.
Рэнкинг (англ. ranking) — список субъектов, упорядоченных (ранжированных) по величине какого-либо показателя деятельности. Он позволяет выстроить субъекты экономики по ранжиру, то есть по какому-то одному показателю. Рэнкинги составляют информационные агентства, как правило, на основе известных показателей субъектов, публикуют без согласования.
Индекс (лат. Index — список, реестр, указатель) — «число (а иногда набор символов), указатель места элемента в совокупности или показатель активности, производительности, развития или изменения чего-либо» [5, с. 8]. «Индексы в ряде случаев могут генерировать рейтинги, если упорядочивать субъекты согласно уровню соответствующих им индексов... Индексы остаются факторами, учитываемыми при формировании рейтинга. Вместе с тем в ряде случаев они могут генерировать рейтинг» [5, с. 8].
Так получаем первую классификацию, возникающую из специфики составления рейтинга.
Рейтинги как объект исследования, несмотря на свою короткую историю, а может быть, и благодаря ей, достаточно многогранны, поэтому представим существующие классификации по различным основаниям.
На основании географического масштаба исследований: может включать в себя глобальные, национальные, региональные, областные рейтинги. Региональное исследование может проводиться для групп стран не только на географических, но и на политических, экономических и других основаниях, например рейтинг СНГ, Евросоюза, БРИКС, развивающихся стран и т.д.
По объекту исследования: университетские, школьные, рейтинги отдельных характеристик государств, описываемых как акторы образовательного пространства.
По широте охвата: разносторонние рейтинги, описывающие разные аспекты деятельности, например рейтинги университетов, или односторонние рейтинги, описывающие узкие области: рейтинги веб-сайтов, наукометрические, рейтинги трудоустройства.
Узкие рейтинги могут опосредованно входить в более широкие рей-
тинги (как входит в рейтинг университетов SCI — The Science Citation Index (Научный индекс цитирования, созданный Юджином Гарфилдом в 1964 году и сейчас принадлежащий компании Clarivate Analytics (ранее Thomson Reuters)) или быть самостоятельными, как Webometrics. Рейтинг может появиться из систем библиометрической оценки, например как отдельный продукт РИНЦ (Российского индекса научного цитирования), Web of Science, Scopus.
По составителю: разделяются на рейтинги межправительственных организаций, коммерческих и некоммерческих структур, частных лиц.
По основаниям ранжирования: экспертные, статистические, смешанные.
По давности создания и возможной глубине ретроспективного анализа, что может не совпадать: недавно созданный рейтинг может опираться на статистические данные многих десятилетий или много лет составляемый рейтинг может изменить методологию настолько сильно, что это не позволит вовсе или позволит с серьезными ограничениями проводить ретроспективный анализ.
По открытости. Рейтинги могут быть разделены по степени открытости методологии и исходных данных, а также по воспроизводимости результатов.
Существует множество рейтингов и множество возможностей градации. К примеру, Карминский приводит следующую градацию в энциклопедии рейтингов:
- Рейтинги конкурентоспособности бизнеса, рейтинги качества товаров и услуг;
- Рейтинги наднационального уровня;
- Рейтинги национального уровня;
- Рейтинги высшего образования;
- Рейтинги безопасности;
- Рейтинги свободы и демократии;
- Рейтинги персонального уровня;
- Рейтинги субъектов;
- Индексы научного цитирования [5].
Несмотря на короткую историю их существования, в мире создано множество рейтингов, описывающих практически все сферы жизни общества и государства. В области образования наиболее распространены рейтинги образовательных организаций, прежде всего университетов.
Классификация рейтингов в целом, независимо от направления исследования, может проводиться по множеству оснований.
Рейтинги могут систематизироваться в зависимости от объекта, для изучения которого они применяются. Так, рейтинги, использующиеся при изучении образовательного пространства, как показано нами ранее [1], «условно можно разделить на группы и в зависимости от „удаленности" от образования, иными словами, от того, внутренними или внешними относительно образования они являются» [3].
С этой точки зрения можно выделить три группы рейтингов.
К первой относятся рейтинги, непосредственно характеризующие ситуацию в образовании. В качестве примера можно привести индекс уровня образования и рейтинг стран мира по уровню расходов на образование, рейтинги университетов мира.
Ко второй группе относятся рейтинги, которые строятся на внешних условиях, влияющих на образование, и опосредованно показывают уровень его развития, как наука и технологии, которые являются одними из заказчиков качественного развития образования, то есть качество науки и качество образования тесно взаимосвязаны и взаимообусловлены.
Третья группа рейтингов описывает внешние обстоятельства, характеризуя различные стороны благосостояния и успешности государств мира, связанные с общим уровнем образования ее членов и успешностью применения образования. Эти рейтинги образуют наиболее обширную группу, количество этих рейтингов велико, постоянно появляются новые и новые. К примеру, указатель «Рейтинги стран и регионов» является частью Гуманитарной энциклопедии и содержит сводный перечень рейтингов, индексов и других сравнительных исследований развития стран и регионов в различных сферах [7] и представляет большинство крупнейших рейтингов мира. Представленные рейтинги разделены на следующие подгруппы:
Подгруппа 1. Степень развития человеческого капитала.
Подгруппа 2. Уровень развития экономики.
Подгруппа 3. Способность и готовность финансирования социальной сферы и науки.
Подгруппа 4. Уровень развития науки и техники.
Подгруппа 5. Степень развития информационно-компьютерных технологий.
Подгруппа 6. Уровень удовлетворенности граждан.
Подгруппа 7. Рейтинги по свободе выражения мнения.
Подгруппа 8. Эффективность управления.
Итак, как мы убедились, что при всем разнообразии рейтингов не существует и не может существовать их единой классификации. В случае если мы ставим задачу использовать их для оценки состояния образовательного пространства, то такую классификацию необходимо создать, разработав механизм классификации рейтингов.
Нами представлены существующие основания классификации рейтингов, однако рейтингов настолько много, что их полная классификация была бы весьма громоздкой, а выбор какого-то одного основания приводит к потере информации и является заведомо субъективным. Использование нескольких оснований классификации рейтингов в соответствии с нашими целями может быть достаточным для решения поставленных в исследовании задач.
Приведем пример. Для обзора истории рейтингов, например, иерархия рейтингов может учитывать масштаб исследований (область, страна, регион мира, глобальный), объект исследования (рейтинг персонального уровня, университетский, государственный) и возраст создания.
Для примера возьмем четыре рейтинга, которые представляют разные объекты, масштабы и давность создания:
РИНЦ — Российский индекс научного цитирования — создан в 2005 году, масштаб распространения — Россия, является частным рейтингом, описывающим публикационную активность;
ARWU — (The Academic Ranking of World Universities) — академический рейтинг университетов мира — глобальный университетский рейтинг, создан в 2002 году;
ИРЧП — индекс развития человеческого потенциала — создан в 1990 году, масштаб — региональный, так как не все страны принимают участие в анализе, объект — государство;
SSCI (Social Science Citation Index) — создан в 1960 году и оценивает в глобальном масштабе персональные наукометрические данные.
Такая классификация рейтингов может быть проиллюстрирована графически. Изображение рейтингов в такой иерархии (на примере четырех) выглядит следующим образом (См. рис.1):
По вертикальной оси расположен год создания, по горизонтальной — масштаб исследований, размер окружности отражает объект исследования по возрастанию — рейтинг персонального уровня,
университетский, государственный.
Для других целей (а не как в вышеприведенном примере — для исторического обзора) важны другие основания классификации, которые могут быть своеобразными для каждого конкретного случая или включать множество оснований, в виде, скажем, диагностической матрицы, разработанной М. А. Лукацким и Ю. Г. Куровской [6].
2020 2010 2000 1990 1980 1970 1960 1950
Рис. 1. Комплексная классификация рейтингов
Подобная классификация помимо основной функции систематизации может выполнять функцию оценки субъективности рейтингов, базируясь на разработанных ранее критериях, используемых в методе оценки объективности рейтингов, который стал одним из методов рейтингового подхода наряду с методами, созданными ранее другими исследователями в рамках системного и междисциплинарного подходов. Этот метод подразумевает последовательное изучение создателей рейтингов, методологии, представленности данных. Эта информация позволяет понять мотивы создателей рейтингов и степень объектив-
(и н» ми
V
с
щ
область страна регион мир
ности, так как при использовании готовых рейтингов легко довериться количественным показателям, кажущимся объективными, и не заметить субъективности методологии, используемой создателями со своими целями и в своих интересах.
1. Название. Именно оно дает первое и самое общее представление о направленности рейтинга. И именно название может служить одним из оснований классификации. Помимо того, что есть ряд рейтингов с практически идентичными названиями, различающимися составителями и методологией, можно объединять рейтинги с близкими названиями.
2. Составитель. Знание составителя очень значительно может повлиять на понимание целей и задач рейтинга. Составителем может быть, например, частное лицо или небольшая коммерческая организация. Составителями большинства рейтингов являются всемирные организации, такие как ООН, Всемирный банк. Для организации цель рейтинга должна коррелировать с уставными целями и служить для реализации уставной деятельности организации. Название организации-составителя может быть самостоятельным основанием классификации, например «Рейтинги ООН», или объединяться в группы, к примеру «рейтинги, составленные частными лицами».
3. История составления рейтинга показывает опыт проведения подобных исследований и дальнейшее использование, которое может не совпадать или частично совпадать с целями организации. В соответствии с полученной информацией также могут выявиться новые смысловые акценты названия, может быть скорректирована цель рейтинга. Как основание классификации рейтинга — молодые рейтинги, стабильные рейтинги.
4. Методология рейтинга. Именно в методологии прописаны декларируемые цели рейтинга. Эту информацию следует сопоставить с полученной ранее, провести еще одну уточняющую корректировку. Методология может дать, например, такие основания классификации рейтингов, как экспертные рейтинги, преимущественно экспертные рейтинги, статистические рейтинги...
5. Теперь от описания перейдем к данным рейтинга. Рассмотрим критерии, по которым рассчитывается рейтинг, вес этих критериев, для более сложных рейтингов — показатели критериев, что они включают. Последний аспект — охват исследуемых, насколько полна выборка. Если рейтинг назван глобальным или всемирным, какой процент стран мира
включен в рейтинг, отражает ли название суть. Эти данные исследования могут внести коррективы в ранее полученные данные и дать соответственные основания классификации.
Следующий шаг — изучение сайта. Само наличие отдельного сайта говорит о важности рейтинга для его составителя, как и его дизайн, юзабилити, наличие дополнительного опционала, требующего специальных технических решений, например построение графиков. Следующий аспект — доступность представленных на сайте данных определяется числом языков сайта и наличием исходных данных рейтингов, особенно в скачиваемом виде.
Эти критерии формируют такие основания, как открытые рейтинги, международно открытые рейтинги и, как противоположность,— закрытые или скрытые рейтинги.
Было рассмотрено множество существующих классификаций рейтингов, были предложены множественные основания для создания новых классификаций, в том числе и комплексных, но возможна ли классификация, которая позволяла бы при ее применении в разных целях получать общую картину рейтингов и корректно их в дальнейшем использовать? Исследование особенностей известных классификаций рейтингов показывает, что это маловероятно. По этой причине не следует однозначно принимать или отрицать ту или иную классификацию, как и тот или иной рейтинг [2].
Правильным будет три варианта решения проблемы корректной классификации, расположенных по мере сложности реализации.
1. Иметь информированное понимание, верную интерпретацию целей классификации рейтингов и в связи с этим точнее ее использовать.
2. Использовать общие объективные данные и составить на основании статистических данных свою классификацию рейтингов, что достаточно трудозатратно.
3. Подвергнуть сомнению качество данных при условии, что часть данных может быть не воспроизводима или является результатом манипуляций по выборке частных лиц, составить не только собственную классификацию рейтингов, но и собственные рейтинги, без опоры на чужие исходные данные. Но в силу необходимости огромных затрат (организационных, финансовых, информационных) подобные действия могут быть предприняты в масштабах стран или корпораций.
Литература
1. Бебенина Е. В. Анализ распределения и оценка эффективности использования социально-экономических ресурсов на образование // ЭТАП: экономическая теория, анализ, практика. 2014. Т. 1. С. 104-117.
2. Бебенина Е. В. Обоснованность применения рейтингов в качестве показателей эффективности университетов // Отечественная и зарубежная педагогика. 2016. № 5 (32). С. 75-88.
3. Иванова С. В. О влиянии внешних условий и специфике принятия решений в отечественной системе образования // Ценности и смыслы. 2012. № 2. C. 4-17.
4. Иванова С. В. Современные направления сравнительных исследований образовательного пространства // Педагогика. 2016. № 7. С. 82-88.
5. Карминскии А. М., Полозов А. А. Энциклопедия рейтингов: экономика, общество, спорт. 2-е изд., перераб. и доп. М.: ФОРУМ: ИНФРА-М, 2016. 448 с.
6. Куровская Ю. Г. Языковая картина мира в современном учебнике: когнитивно-лингвистический подход к изучению: монография. М.: АНОО «ИЭТ», 2017. 268 с.
7. Bebenina E. V., Elkina I. M. University ranking as a tool for the formation of educational space // Espacios. 2017. Vol. 38 (No. 40). P. 6-20.
THE IMPORTANCE AND KINDS OF RANKINGS CLASSIFICATIONS AT THE EDUCATION SPACE STUDY
The author gives a brief overview of existing classifications and their limitations and proposes two improving mechanisms — complex classifications leading to the creation of a multidimensional diagnostic matrix and situational classifications, which are created for each case separately. Classification by the positions of the proposed algorithm for rankings quality assessment allows revealing the subjective component of rankings and exclude its impact.
Keywords: rankings, rankings classification, university rankings, rankings approach
Referenses
• Bebenina E. V. Analiz raspredeleniya i ocenka ehffektivnosti ispol'zovaniya social'no-ehkonomicheskih resursov na obrazovanie // EHTAP: ehkonomicheskaya teoriya, analiz, praktika. 2014. T. 1. S. 104-117. [In Rus].
• Bebenina E. V. Obosnovannost' primeneniya rejtingov v kachestve pokazatelej ehffektivnosti univer-sitetov // Otechestvennaya i zarubezhnaya pedagogika. 2016. № 5 (32). S. 75-88. [In Rus]
• Bebenina E. V., Elkina I. M. University ranking as a tool for the formation of educational space // Espacios. 2017. Vol. 38 (No. 40). P. 6-20. [In Rus].
• Ivanova S. V. O vliyanii vneshnih uslovii i specifike prinyatiya reshenii v otechestvennoj sisteme obra-zovaniya // Cennosti i smysly. 2012. № 2. C. 4-17. [In Rus].
• Ivanova S. V. Sovremennye napravleniya sravnitel'nyh issledovanii obrazovatel'nogo prostranstva // Pedagogika. 2016. № 7. S. 82-88. [In Rus].
• Karminskii A. M., Polozov A. A. Enciklopediya rejtingov: ehkonomika, obshchestvo, sport. 2-e izd., pererab. i dop. M.: FORUM: INFRA-M, 2016. 448 s. [In Rus].
• Kurovskaya Yu. G. Yazykovaya kartina mira v sovremennom uchebnike: kognitivno-lingvisticheskij podhod k izucheniyu: monografiya. M.: ANOO «IEHT», 2017. 268 s. [In Rus].
