CC BY
52
I_
ЗАРУБЕЖНЫЙ ОПЫТ
Е.Н. ГРИВЕННАЯ,
заместитель начальника методического отдела управления учебно-методической работы,
кандидат филологических наук, доцент (Краснодарский университет МВД России)
Международный опыт ранжирования высших учебных заведений
В статье проанализирована проблема измеримости качества образования посредством общепринятой в мировой практике рейтинговой оценки деятельности высших учебных заведений, обоснована необходимость дальнейшего развития оценки деятельности высших учебных заведений с использованием рейтинговых технологий как эффективного инструмента управления качеством образования, в частности, в высшей школе МВД России.
Качество образования, управление качеством образования, рейтинговая оценка.
В отечественной и зарубежной педагогике оценка деятельности высших учебных заведений с использованием рейтинговых технологий признана эффективным инструментом управления качеством образования. Методология построения рейтингов их корректности, степени согласованности между собой, а также проблемы манипулирования рейтинговыми данными описаны достаточно подробно [1—4, 6, 7]. Вместе с тем ежегодная публикация многочисленных межвузовских рейтингов неизменно порождает в профессиональном сообществе сомнения относительно их точности, релевантности и полезности. В основе споров вокруг эффективности рейтингов находится вопрос о том, возможно ли количественно охарактеризовать качество многообразных направлений деятельности вузов?
Несмотря на то что многие вузы выступают против внедрения в широкую практику подобных оценочных процедур, более привлекательного метода сравнения высших учебных заведений не существует. Получаемые данные позволяют проанализировать состояние высшей школы в конкретный период, обеспечить потребителей информацией, которая поможет им правильно выбрать вуз. Рейтинг ориентирует руководство вузов и их
научно-педагогические коллективы в области формирования программ собственного развития и косвенным образом способствует повышению качества образования за счет обострения конкуренции на рынке образовательных услуг. Необходимость в рейтинговой оценке вузов возросла в связи с повышением требовательности к прозрачности и информационной открытости их деятельности.
В этой связи важное значение приобретает возможность распространения рекламы и государственная поддержка вузов, их усилий по формированию собственного имиджа, привлечению лучших студентов и преподавателей. Последнее имеет решающее значение в формировании образовательной политики вуза, что подтверждается результатами социологического исследования, проведенного в рамках проекта «Мониторинг экономики образования» по заказу Министерства образования и науки Российской Федерации. Так, при ответе на вопрос о том, на что в большей степени влияет рост репутации Вашего учебного заведения, 66 % руководителей вузов обозначили улучшение возможности трудоустройства выпускников [5, с. 54]. Данный индикатор качества образования, формируемый в значительной степени в рамках межвузовских рейтингов, более чем актуален для развития конкурентоспособности высшего учебного заведения. Следовательно, рейтинги вузов стали элементом политики и борьбы, несмотря на то, что являются серьезным инструментом, который требует тщательного научного подхода.
Согласно толковому словарю Вебстера [8] рейтинг академического качества рассчитывается по некоторому показателю или набору показателей, которые, по мнению его составителей, отражают или измеряют академическое качество. Соответственно, рейтинг вузов представляет собой перечень лучших образовательных учреждений или реализуемых
ими специальностей, где каждый вуз или образовательная программа имеет свой рейтинговый балл. По мнению исследователей [2], данное определение характеризует ключевые характеристики межвузовских рейтингов: первая заключается в том, что набор показателей зависит от субъективных приоритетов и ценностей группы разработчиков рейтинга, вторая — в необходимости расположения вузов в определенном порядке в зависимости от показателей.
Методологические основы построения рейтингов могут быть охарактеризованы через методологические подходы, структуру, частоту, механизм сортировки, источники данных, потребителей и производителей рейтинга, презентацию результатов.
Европейским Центром по высшему образованию (UNESCO-CEPES, г. Бухарест) и Институтом политики в высшем образовании (IHEP, г. Вашингтон) собраны, проанализированы и систематизированы различные типы и виды методов, применяемых в соответствующей области. Мы разделяем полученные выводы о том, что методологические подходы к составлению рейтингов можно подразделить на три категории.
К первой категории относятся рейтинги с вычислением итогового балла — их применяют для ранжирования вузов в целом. Процедура заключается в составлении набора критериев оценки, присвоении им весовых коэффициентов, с учетом которых вычисляется итоговая оценка качества для данного вуза, не сводящаяся к оценкам отдельных подразделений. Основным недостатком подхода является абстрактность получаемой оценки на институциональном уровне. Как правило, в указанной методике сильные стороны вуза некоторым образом компенсируют его слабости, однако процедура позволяет учесть все многообразие ресурсов, формирующих потенциал вуза, которые не всегда можно отнести по принадлежности к отдельному подразделению или образовательной программе. Такие процедуры успешно применяются для оценки образования в США, Франции, Израиле, Японии, показательным примером служит рейтинг журналов «U.S. News&World Report» (США) и «Perspektywy» (Польша).
В рамках второй категории рейтинг вузов рассчитывается по конкретным специальностям, т. е. ранжированию подвергаются не вузы, а реализуемые ими основные образовательные программы. Оценка такого типа предполагает изучение процессов преподавания, обучения и научно-исследовательской деятельности. Специализированная оценка широко распространена в Западной Европе
и США, подобные рейтинги готовят журналы «The Guardian», «Business Week», «Financial Times».
К третьей категории можно отнести все разнообразие иных подходов к ранжированию вузов, примером является подход японской компании «Рекрут», которая готовит рейтинги вузов по каждому из установленного набора показателей (другого механизма сортировки система не предусматривает).
Анализируя структуру рейтинга, по нашему мнению, целесообразно выделить следующие ее стороны:
— порядковую структуру рейтинга (вузам присваиваются порядковые номера, в соответствии с которыми они располагаются в рейтинге; такой подход применяют «U.S. News&World Report», «Times», разработчики рейтингов DAAD в Германии);
— группировку вузов по рейтингу (рейтинг журнала «Stern» объединяет ранжируемые вузы в три группы — лучшую, среднюю, худшую);
— комбинированную структуру рейтинга (каждому вузу присваивается количественная оценка, но данные публикуются только по определенному числу лучших вузов; этот подход применяет компания «Рекрут»).
Имеет место практика составления регулярных и разовых рейтингов. В этой связи значимой категорией в типологии рейтинга является частота подготовки результатов. Практика показывает, что рейтинги составляются в основном каждые 1—3 года либо через неравные промежутки времени. Преимуществом рейтинга является регулярность его составления. Важную роль при этом играет точное воспроизведение методики: если показатели или их весовые коэффициенты изменяются, то динамику рейтинга проследить затруднительно.
Каждой группе показателей соответствует полученное в соответствии с весом количество баллов, в большей степени отражающее точку зрения производителя рейтинга, нежели теоретически обоснованное. В связи с этим исследователи выражают единодушие относительно случайности и субъективности указанных весовых коэффициентов, что позволяет отнести данный недостаток к числу фундаментальных проблем методологии ранжирования. Исследователями изучены изменения оценки и самой формулы ранжирования на примере рейтингов, опубликованных в изданиях «The Times» и «US News» [6], в результате чего установлено, что 85 % изменений относится к весу, определению или методологии, а не к добавлению или устранению показателей.
Итак, регулярность предполагает составление рейтинга через определенный период времени. Повторяемость рассматривается как точное воспроизведение методики составления рейтинга (показатели и их весовые коэффициенты, процедуры сбора данных, процедуры свертки, форма представления результатов) при его регулярности. Наиболее эффективны те из методик составления рейтингов, которые отработаны, и являются одновременно регулярными и повторяемыми.
Тип вузов — очередная составляющая методологии построения рейтингов. Учебные заведения принято ранжировать по местоположению (глобальный, макрорегиональный, национальный рейтинг), ведомственной (отраслевой) принадлежности, году учреждения, объявленным миссиям.
Наиболее проблематичным является такой элемент в составлении рейтингов, как источник данных. На международном уровне практически невозможно составить полный перечень источников сведений для рейтингов в силу их многочисленности. Обычно разработчики применяют для сбора данных стратегии, предполагающие сочетание уже имеющихся данных со сведениями, собранными специально для определенного рейтинга. Дополнительными источниками информации могут служить анкетирование и социологические опросы студентов, преподавателей, работодателей и выпускников, анализ сведений органов занятости, результаты независимой оценки, данные органов государственной аккредитации. Можно выделить следующие группы методов сбора данных: социологические и экспертные опросы; запросы в вузы.
Использование каждого источника данных имеет свои достоинства и недостатки. Так, результаты социологических опросов являются научными в том смысле, что они точно регистрируют наблюдения, однако только в той мере, в которой они используются для опроса работодателей или других лиц, формирующих общественное мнение. Вместе с тем ценность подобного источника для построения межвузовского рейтинга сомнительна потому, что незначительное число работодателей имеют развернутое мнение или знание о каждом вузе — участнике рейтинга. Данные независимой третьей стороны (органов контроля и надзора в сфере образования) считаются «золотым стандартом» среди сравнительных данных, поскольку теоретически являются точными и непредвзятыми. С другой стороны, данная информация не собирается в целях составления ранжирования и является побочным продуктом административной деятельности. Следовательно, может возникнуть си-
туация, при которой выбор показателей будет проистекать из соображений о доступности данных, нежели из их вклада в определение качества.
В случаях когда показатели качества не могут быть установлены исходя из результатов опросов или данных третьих лиц, производители рейтинга обращаются напрямую к учебным заведениям. Преимущество использования этого метода состоит в возможности задать ряд вопросов о качестве, которые иным образом не могут быть заданы. Вместе с тем возникает проблема объективности данных, используемых при расчете межвузовских рейтингов. В этом смысле целесообразно обратиться к опыту издания «The Guardian», где данные рейтинги составляются на основе опубликованной официальной информации по учебным заведениям. Баллы подсчиты-ваются согласно данным, предоставляемым Агентством по статистике высшего образования. Процедурой предусмотрено проведение двух консультативных встреч с учебными заведениям в целях сверки списка предметных областей, составленного для учебных заведений, и данных Агентства по статистике высшего образования. В результате вузы имеют возможность проверить сведения по своему учебному заведению и внести необходимые изменения в составляемые рейтинги. Еще одной проблемой является необходимость создания эффективного механизма контроля за достоверностью сведений, предоставляемых вузами с целью расчета рейтинговой оценки их деятельности.
Потребители — фундаментальная категория в методологии построения рейтингов, поскольку они предназначаются для будущих студентов и их родителей. Результаты рейтингов весьма полезны правительству, работодателям и самим вузам, для которых рейтинг в определенной степени служит точкой отсчета для самооценки и последующей оптимизации деятельности.
С позиции методологии составления межвузовских рейтингов важным является вопрос о том, кто должен осуществлять ранжирование. По мнению исследователей [7], трудность построения рейтингов вузов объясняется двумя причинами. С одной стороны, образование — это услуга, качество которой нельзя напрямую измерить инструментально; оно проявляется со временем (иногда — в течение всей жизни). С другой стороны, рейтинги являются значимым рыночным инструментом, до некоторой степени влияющим на поведение всех заинтересованных в образовании сторон — будущих студентов, их родителей, промышленных предприятий,
государственных организаций и собственно образовательного сообщества. Мы склонны согласиться с точкой зрения о том, что сторонние наблюдатели, не участвующие в повседневной образовательной деятельности, не могут в полной мере оценить ход образовательного процесса. В итоге складывается ситуация, когда оценку образовательной системы приходится проводить работникам этой же системы, т. е. оценивать самих себя. Подобные обстоятельства и обусловливают наличие трех моделей: рейтинга СМИ, рейтинга профессиональных ассоциаций и правительственного рейтинга.
Неоспоримой ценностью рейтинга СМИ является независимость (поскольку оценку образования проводят незаинтересованные лица), но его справедливо критикуют за недостаточную научную обоснованность, неопределенный уровень профессионализма производителей рейтинга и возможность нанесения ущерба престижу оцениваемых вузов.
Подготовку рейтинга профессиональными ассоциациями можно охарактеризовать как совместную деятельность заинтересованных сторон. Сильной стороной модели является профессионализм, слабой — замкнутость и недостаточная объективность вследствие конфликта интересов.
Модель правительственного рейтинга, подготавливаемого государственными органами, ответственными за лицензирование, аккредитацию и руководство образовательной деятельностью — это процедура, опирающаяся на мнение квалифицированных экспертов и различные количественные данные, однако подобный рейтинг сфокусирован на образовательной стороне процесса и в минимальной степени учитывает интересы работодателей.
Имеет место объединение усилий различных групп производителей рейтингов. Представляет интерес опыт разработки и публикации рейтингов в Германии. По решению Конференции немецких ректоров, в 1998 г. создан Центр по развитию высшего образования, который совместно с журналом «Stern» с 1999 г. публикует ежегодные рейтинги немецких вузов. Оба партнера четко разделили между собой сферы влияния: Центр отвечает за методологию, статистические и информационные данные, включая социологические опросы преподавательского состава и студентов, в зоне ответственности журнала находится маркетинг и распространение полученных результатов.
Еще одна составляющая методологии построения рейтинга — презентация результатов, наиболее популярными формами которой являются:
1) составление таблицы лиг (league table) — разбитие совокупности объектов на несколько групп (обычно не менее трех). В рамках каждой группы все сравниваемые объекты получают одинаковый статус. Различия между группами определяются по порядковой шкале;
2) ранжирование, ранги, рэнкинг (ranking) — упорядочивание совокупности объектов, при котором каждый из них имеет свой порядковый номер (в некоторых случаях — несколько объектов имеют одинаковый ранг). Используется порядковая шкала;
3) рейтингование, рейтинг (rating) — упорядочивание совокупности объектов, при котором каждый из них имеет свое количественное значение (используется количественная шкала).
В целом в зарубежных рейтинговых системах ранжирование вузов производится преимущественно независимыми организациями на основе трех групп критериев, используемых для оценки, а именно:
1) качества абитуриентов и популярности вуза среди абитуриентов (показатели — средний балл зачисления, конкурс, стоимость обучения);
2) качества обучения (показатели — оценка репутации вуза в академических кругах; оценка учебного процесса; ресурсы профессорско-преподавательского состава, исследовательский потенциал, остепенен-ность, доля работающих на полную ставку, соотношение преподавателей и студентов, число преподавателей-лауреатов Нобелевской премии, других наград в научных областях, индекс цитирования; способность удержать студентов; затраты на обучение и услуги студентам);
3) качества результатов обучения (показатели — количество поступивших в магистратуру; процент выпускников, получивших работу в течение 3—12 месяцев; стартовая зарплата выпускников; помощь вуза в поиске работы; отзывы союза выпускников, администрации ярмарок вакансий; опросы работодателей; результаты профессиональных экзаменов).
Из представленного анализа развития института академического ранжирования за рубежом следует, что разработчиками рейтингов зафиксирован стабильный социальный заказ на прозрачные, полные и доступные данные для оптимального выбора вуза и планирования карьерной траектории. На совещании Международной экспертной группы по ранжированию (IREG) в Берлине «Методология и стандарты качества рейтингов» (18—20 мая 2006 г.) участниками из 19 стран разработаны Берлинские принципы ранжирования вузов,
ставшие основой создания региональных, национальных и мировых рейтингов и способствующих совершенствованию методик, используемых при проведении таких рейтингов. Появление новых рейтингов вузов по различным показателям свидетельствует о масштабной деятельности национальных и международных оценщиков (рэнкеров) и ее несомненной полезности для всех групп интересов (потребителей образования, органов управления образованием, академического сообщества, работодателей).
Проецируя рассмотренную проблему на деятельность высших учебных заведений МВД России, подчеркнем, что массовое периодическое исследование качества ведомственного образования с использованием рейтинговых технологий позволит создать комплексную базу данных для проведения его статистического анализа. Значимость данного проекта повышается в связи с постановкой Правительством РФ целевых ориентиров долгосрочного социально-экономического развития государства до 2020 г., включающих создание системы независимой общественно-профессиональной аккредитации программ 3 обучения и системы общественных рейтингов § вузов. Согласно Стандартам и рекомендациям в для гарантии качества высшего образования 2 в европейском регионе вузы должны иметь систему учета информации о качестве обра-ы зования, гарантирующую сбор, анализ и использование информации, необходимой для < эффективного управления программами обу-^ чения и другой деятельностью образовательного учреждения. Наконец, в соответствии с Берлинскими принципами ранжирования производителям рейтингов рекомендовано признавать разнообразие учебных заведений и принимать во внимание различия задач и целей их деятельности. Исходя из этого, представляется целесообразной разработка методологии статического исследования качества
высшего образования с использованием рейтинговых технологий в отношении ведомственных вузов МВД России.
Список литературы
1. Траничина О.А. Изучение значимости показателей качества образовательного процесса, используемых при определении рейтингов высших учебных заведений // Высшее образование сегодня. 2007. № 1.
2. Кларк М. Некоторые идеи о рейтингах академического качества // Высшее образование в Европе. 2002. Том XXVII. № 4.
3. Лазарев Т.И. Рейтинги вузов как система их оценки и сравнения // Хрестоматия по проблемам эффективной организации и управлению деятельностью университета и современным проблемам университетов. Екатеринбург, 2006.
4. Нина ван Дайк. Двадцать лет ранжирования университетов: сб. науч. тр. // Высшее образование в Европе / сост. Я.Б. Зеницкая. Екатеринбург, 2006. Вып. 2.
5. Политика учреждений профессионального образования: кадры, экономика, образовательные стратегии: информационный бюллетень. М., 2009.
6. Салми Д., Сароян Э. Рейтинги и ранжирования как инструмент политики: политические аспекты экономической политики отчетности в высшем образовании // Высшее образование в Европе. 2007. № 1.
7. Филинов Н, Ручкина С. Рейтинги российских вузов: некоторые аспекты методологии // Высшее образование в Европе. Том XXVII. 2002. № 4.
8. Webster D.S. Academic Quality Rankings of American Colleges and Universities. Springfield, Illinois, 1986.
E-mail: lady-docc@yandex.ru
104
