CC BY
91
Высшее образование в России Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru
Независимость оценки качества высшего образования: критерии, принципы, реалии
Научная статья
DOI: 10.31992/0869-3617-2021-30-3-26-42
Рубин Юрий Борисович - д-р экон. наук, проф., чл.-корр. РАО, yrubin@synergy.ru Соболева Эрика Юрьевна - канд. экон. наук, доцент, директор Агентства по контролю качества образования и развитию карьеры (АККОРК), esoboleva@akkork.ru Московский финансово-промышленный университет «Синергия», Москва, Россия Адрес: 105318, г. Москва, Измайловский вал, 2
Аннотация. В статье обосновывается актуальность принципа независимости в деятельности по оценке качества высшего образования. На основе кейсов из практики работы признанных международных экспертных организаций предпринят анализ процедур обеспечения их независимости от законных интересов стейкхолдеров сферы, высшего образования. Дана характеристика реалий Российской Федерации в сфере оценки качества высшего образования и обоснованы пути встраивания процедур аудита качества образования и аккредитации университетов в современное мировое пространство высшего образования.
Ключевые слова: оценка качества образования, независимая оценка качества образования, оценка гарантий качества образования, удостоверение качества образования, качество образования, экспертная организация, контроль качества, независимость экспертных организаций, стандарты работы экспертных организаций
Для цитирования: Рубин Ю.Б, Соболева Э.Ю. Независимость оценки качества высшего образования: критерии, принципы, реалии // Высшее образование в России. 2021. Т. 30. № 3. С. 26-42. DOI: 10.31992/0869-3617-2021-30-3-26-42
Independence of Higher Education Quality Assurance: Criteria, Principles, Realities
Original article
DOI: 10.31992/0869-3617-2021-30-3-26-42
Yuri B. Rubin - Dr. Sci. (Economics), Prof., President, yrubin@synergy.ru
Erika Yu. Soboleva - Cand. Sci. (Economics), Assoc. Prof., Agency for Quality Assurance in Higher
Education and Career Development, esoboleva@akkork.ru
Moscow University for Industry and Finance «Synergy», Moscow, Russia
Address: 2, Izmailovskiy Val, Moscow,105318, Russian Federation
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Рубин Ю.Б., Соболева Э.Ю., 2021.
И]
Abstract. The article substantiates the relevance of the independence principle for the higher education quality assurance. Based on cases from the practice of recognized international agencies, an analysis of the procedures for ensuring their independence from the legitimate interests of the stakeholders in the field of higher education was undertaken. The characteristics of the Russian Federation realities in the field of the higher education quality assurance are given and a rationale for the ways of embedding the procedures of education quality assurance and accreditation of universities in the modern global higher education area is given.
Keywords: education quality assurance, independent education quality assurance, quality assurance, education quality, assessment of education quality, expert organization, quality control, independence of quality assurance agencies, standards of work of quality assurance agencies
Cite as: Rubin, Yu.B., Soboleva, E.Yu. (2021). Independence of Higher Education Quality Assurance: Criteria, Principles, Realities. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 3, pp. 26-42, doi: 10.31992/0869-3617-2021-30-3-26-42 (In Russ., abstract in Eng.).
Введение
Тема независимости деятельности экспертных организаций в сфере оценки качества образования давно получила широкое освещение в мировой практике образовательного аудита и аккредитации университетов. В РФ тема независимости оценки качества образования лишь вводится в научные дискуссии. Поэтому требуется теоретическое обсуждение проблемы для обоснования путей встраивания процедур аудита качества российского образования и аккредитации университетов в современное мировое пространство высшего образования.
Отсутствие в законодательстве РФ норм, чётко регулирующих сферу независимой оценки качества образования, стало основанием для деактуализации темы независимости в оценке качества высшего образования в теории. Как следствие, различные проекты реформирования подходов к контролю в сфере образования в России и процедур аккредитации университетов слабо учитывают накопленный мировой опыт. Призывы к независимости остаются призывами и не получают методологического подкрепления. В данной статье детально описана специфика независимости экспертов в сфере оценки качества образования, анализируются кейсы из работы между-
народно признанных экспертных организаций и показаны направления адаптации российской модели контроля качества образования, малочувствительной к давно укоренённым во всём мире процедурам, к мировым трендам в этой сфере.
Обзор литературы
Тема независимости работы экспертных организаций и оценки качества образования поднималась в мировой литературе начиная с 1990-х гг. В теории независимость понимается как способность экспертных организаций принимать решения в сфере своей ответственности без (политического) вмешательства [1, р. 527]. С этой точки зрения независимость может быть «определена масштабом и степенью компетенции агентства в принятии решений» [2, р. 101]. В материале "An Independence Index of Quality Assurance Agencies in Higher Education: European and Latin American countries compared" [3] выделяются три аспекта концепции независимости: политическая автономия, социальная ответственность и круг обязанностей. Соответственно, исследователи концентрируют внимание на формальных характеристиках агентства, адаптируя аналитические инструменты, разработанные в специализированной литературе о независимости национальных регулирующих органов, к случаю
независимых экспертных организаций (см., например, [4; 5]).
В европейском пространстве высшего образования стремление к независимости всегда продвигалось в качестве одного из главных стандартов деятельности экспертных организаций. Согласно Стандартам и руководствам по обеспечению качества в Европейском пространстве высшего образования (ESG), впервые опубликованным в 2005 г. и обновлённым в 2015 г., экспертные организации должны быть «независимыми и действовать автономно», а также «должны нести полную ответственность за свою деятельность и результаты этой деятельности без влияния третьих лиц»1. Экспертные организации в 46 странах следуют сегодня ESG [6], а независимость агентства стала очень важной характеристикой большинства агентств.
В анализ работы экспертных организаций в других частях мира углубляются не многие исследования. Примером могут служить публикации Woodhouse и Yung-Chi et al. [7; 8]. Вопросы о возможности существования единой институциональной модели оценки качества образования и об универсальной практике обеспечения независимости экспертных организаций остаются открытыми. Удачным примером адаптации теоретического обоснования принципа независимости в сфере оценки качества высшего образования с учётом исторической специфики региона является уже упоминавшийся нами материал [3], в котором даётся характеристика путей встраивания процедур аудита качества национального образования и аккредитации университетов в современное общемировое пространство высшего образования. Также стоит упомянуть ряд отчётов, выполненных международными организациями, таких как [9] или [10] по конкретным регионам.
1 ENQA (2015). Standards and Guidelines for Quality Assurance in European Higher Education Area 2015. URL: https://enqa.eu/wp-content/ uploads/2015/11/ESG_2015.pdf (дата обращения: 07.02.2021).
Тема оценки качества высшего образования была предметом научных дискуссий в России на протяжении «девяностых», «нулевых» и начала «десятых» годов, однако это не привело к упорядочению научных представлений о смысле принципа независимости в работе организаций, осуществляющих экспертизу качества высшего образования в российских университетах.
Между тем формирование эффективных механизмов удостоверения качества образования, предоставляемого российскими образовательными организациями, должно входить в число наиболее актуальных теоретических и прикладных задач [11-13]. В отличие от некоторых исследователей авторы данной статьи придерживаются точки зрения, согласно которой принцип независимости имеет ключевое значение для обеспечения устойчивости процедур оценки и сравнительной непротиворечивости содержания конкретных оценок. Данная идея была ранее обоснована в ряде публикаций [14], позднее обсуждалась применительно к вопросам обеспечения качества предпринимательского образования [15; 16]. Предлагаемая вниманию читателей статья развивает указанный подход.
Независимая оценка качества образования в РФ: исторический контекст
Попытки превращения российской системы высшего образования в похожую на другие национальные системы образования могут рассчитывать на успех лишь при условии составления чёткого маршрута становления системы независимой оценки качества высшего образования.
Идеология независимой оценки качества высшего образования просматривалась на образовательном пространстве высшего образования в России уже в начале 90-х гг. прошлого века. Принятый в 1992 г. Закон РФ «Об образовании» вводил на территории Российской Федерации процедуры аттестации и государственной аккредитации в сфере высшего професси-
онального образования. Эти процедуры были предназначены для оценки содержания и качества образовательных программ, а также для установления степени соответствия фактических условий реализации данных программ вузами РФ государственным требованиям. Процедура аттестации нацеливалась на установление степени соответствия содержания образования государственным образовательным стандартам (ГОС). Итоговое значение в системе проверочных мероприятий имела государственная аккредитация. Важной особенностью процедуры стало возложение российским государством в лице федерального органа исполнительной власти функции оценщика и аккредитатора в сфере образования на себя. До 2004 г. эту работу выполняло Министерство образования (в настоящее время - Министерство науки и высшего образования РФ). С 2004 г. данная деятельность стала исключительной прерогативой Федеральной службы по надзору в сфере образования и науки.
Положительное решение по государственной аккредитации образовательных программ в российских учебных заведениях влекло за собой важные последствия. Образовательные программы, признанные имеющими государственную аккредитацию, получали на срок до пяти лет из рук государства как бы удостоверение благонадёжности - на эти программы стоит поступать. Кроме того, образовательные организации получают право выдавать выпускникам таких программ дипломы государственного образца, необходимые для поступления на работу по многим специальностям, либо для продолжения обучения. Важно подчеркнуть, что, согласно нормам российского законодательства, продолжать обучение в российских образовательных организациях, имеющих государственную аккредитацию, могли и могут лишь лица, имеющие дипломы государственного образца, либо дипломы иностранных учебных заведений, получивших нострификацию в РФ. Вы-
пускники российских вузов и колледжей, прежде всего, негосударственных, не имеющие на руках дипломов государственного образца, к продолжению обучения по аккредитованным программам не допускались. Не принимались они, как правило, и на работу в солидные компании или учреждения.
Наконец, важным следствием государственной аккредитации (иногда - самым важным) становилось для учебных заведений право предоставлять своим студентам отсрочку от службы в армии, а для самих студентов - получать её. Для «вечных студентов», пребывавших в стенах родной образовательной организации или ряда родных образовательных организаций до достижения 27-летнего возраста, отсрочка de facto превращалась в освобождение от службы в армии вообще.
Обратим внимание на то, что перечисленными бонусами для образовательных организаций, получавших государственную аккредитацию, по сути, исчерпывался положительный эффект рассматриваемой процедуры. Более значительными могли бы стать последствия, связанные с решением жизненно важных для учебных заведений вопросов, таких как распределение контрольных цифр приёма студентов на места, финансируемые за счёт средств государственного бюджета (или местных бюджетов), увольнение и назначение руководителей образовательных организаций, допуск учебных заведений к федеральным и иным государственным проектам, к государственному финансированию научной деятельности, поощрение экспорта образования, как это происходит за рубежом. Однако решение указанных вопросов напрямую с итогами государственной аккредитации в России не связывалось.
Важной новацией того периода было формирование практики вовлечения в процедуры аттестации и государственной аккредитации экспертов, состав которых формировался из преподавателей и руко-
водителей разных образовательных организаций. Позднее в экспертные группы стали вводиться также представители работодателей. Таким образом, благодаря Закону РФ «Об образовании» образовательная система России пополнилась новой группой участников - экспертами. Эксперты являются знаковыми фигурами в национальных образовательных системах всего мира, подобно оценщикам бизнеса, финансовым, налоговым, управленческим и иным аудиторам в реальном и финансовом секторах экономики любого государства. Именно с деятельностью экспертов и экспертных организаций связано понятие «независимая оценка качества образования» и понятие «аудит».
Другой важной особенностью рассматриваемого периода стала идея аттестации образовательных программ в учебных заведениях. Именно с аттестацией поначалу в первую очередь связывалась перспектива независимой экспертизы качества российского образования. Ведь масштабная экспертная деятельность по оценке содержания и качества образования в учебных заведениях началась в стране как раз с внедрения процедуры аттестации. Функция по периодическому проведению аттестации образовательных программ в образовательных организациях возлагалась не на Министерство образования, а на специальный орган управления - Государственную инспекцию по аттестации при Министерстве образования. В перспективе виделось закрепление данной функции за отдельным ведомством, не подчинённым Министерству (одно из предполагавшихся названий этого так и не возникшего ведомства - Государственная аттестационная служба).
Однако данная идея не была реализована. В начале «нулевых» годов аттестация и государственная аккредитация перестали быть разными процедурами. Они были интегрированы в одно целое - государственную аккредитацию, частью которой становились аттестационные мероприятия. Теперь объединённая процедура была призвана включать оценку содержания образовательных
программ на основе их соответствия требованиям государственных (федеральных) образовательных стандартов, оценку качества образования (постепенно эту роль стало выполнять тестирование так называемых остаточных знаний студентов последующих курсов) и экспертизу условий реализации образовательных программ в учебных заведениях. Экспертная деятельность по оценке качества образования переходила в исключительное ведение Министерства образования и его подведомственных организаций.
Укажем также и на то, что в Законе РФ «Об образовании» 1992 г. содержалась норма, предусматривавшая возможность прохождения учебными заведениями, наряду с государственной аккредитацией, также общественной аккредитации. Авторы закона исходили из того, что оценка качества образования не может быть в перспективе уделом лишь органов государственного управления; она должна стать предметом заботы всего общества. И оценкой рано или поздно начнут заниматься новые институты, которые возьмут на себя от имени общества функцию такой оценки. Экспертные организации, проявляющие такой интерес и доказывающие дееспособность, действительно, стали появляться в России в первой половине «нулевых» годов. Но в течение более 10 лет идея общественной аккредитации вызывала в академическом сообществе лишь недоумение. Руководители образовательных организаций никак не могли взять в толк, для чего им следовало, помимо процедур государственной аттестации и аккредитации, проходить и общественную аккредитацию. Ведь никаких ощутимых последствий участие в общественной аккредитации для вузов и колледжей не несло. Попытки отдельных энтузиастов, предпринятые в 90-е гг. прошлого века, по созданию агентств по общественной аккредитации, воспринимались как курьёз.
Несмотря на законодательные возможности, негосударственные экспертные организации долгие годы не были полноценными
участниками российской системы образования. Круг таких организаций начал формироваться лишь в первые два десятилетия XXI в., и лишь в 2014 г. три наиболее деятельных из них (Ассоциация инженерного образования, АИОР, Агентство по контролю качества образования и развитию карьеры, АККОРК, и Национальный центр профессионально-общественной аккредитации) договорились между собой о создании общего регистра - координирующего органа в этой сфере.
Несмотря на возможность проведения негосударственной, общественной аккредитации, содержавшуюся на законодательном уровне, понятия «аккредитация» и «государственная аккредитация» слились в сознании определяющего большинства участников сферы российского образования в одно нерасторжимое целое - так же, как понятия «образовательный стандарт» и «государственный образовательный стандарт» [14; 17]. Не были реализованы и предпосылки становления независимой оценки качества образования со стороны экспертов, экспертных организаций и отдельного ведомства, которая могла бы сопровождать процедуры государственной и негосударственной аккредитации.
Поэтому тема независимой оценки качества российского образования стала предметом обсуждений и объектом законодательного регулирования на рубеже 2000-х и 2010-х гг. - в период, когда критика процедур государственной аккредитации достигла апогея. Многие заявляли (и продолжают так считать), что процедура государственной аккредитации вообще неэффективна и не может быть эффективной как таковая. В качестве примера рассматривалась зарубежная практика, в которой операторами и субъектами аккредитационной процедуры и экспертной деятельности являются не государство, а независимые агентства, которые осуществляют экспертную деятельность и привлекают для проведения оценки авторитетных экспертов и профессионалов.
Основными объектами критики стали: нацеливание сосредоточенных в руках государства проверочных мероприятий на карательные последствия, отсутствие прозрачности при проведении этих мероприятий, ангажированность экспертов, имеющих интерес либо подвести любую программу образовательной организации к аккредитации (что встречается чаще), либо подвести её к отказу в аккредитации (тренд, набирающий силу в последние один-два года), рекрутирование экспертов без учёта того, что они фактически представляют конкурирующие либо партнёрские учебные заведения, а также сомнительность многих критериев оценки и регламентов проверки. Критика сопровождалась постоянными подозрениями в наличии коррупционной составляющей в деятельности экспертов и в механизмах принятия аккредитационных решений. Вероятно, для устранения какой-то части обвинений в начале 2010-х гг. из процедуры государственной аккредитации была изъята вся институциональная часть - оценка условий реализации образовательных программ, которые должны гарантировать качество образования в образовательных организациях в течение определённого периода времени (например, пять или шесть лет). Между тем потребность в получении подобной информации не исчезла.
Возможно, поэтому Министерство образования и науки РФ пошло на инновации, внедрив в практику мониторинг эффективности университетов. Опыт его применения наглядно продемонстрировал, что показатели, заложенные в него, - это в том числе показатели институциональной части процедуры государственной аккредитации. Однако показатели мониторинга вызывают неоднозначную оценку, поскольку его задача состоит не в выявлении качества образования и не в стимулировании «качественных» вузов, а в том, чтобы, используя институциональные показатели, прекратить деятельность тех или иных образовательных учреж-
дений, то есть чисто механически сократить число вузов в РФ.
На этом фоне деятельность возникших в последние годы экспертных организаций также пока не укоренилась в российском высшем образовании. Каждая из этих организаций добилась значительного признания за рубежом. Так, АИОР стала участником программы «EuroAce» и членом альянса «Washington Accord», объединяющего агентства по аккредитации программ инженерного образования. АККОРК и Национальный центр профессионально-общественной аккредитации являются полноправными членами таких ассоциаций, как Всемирная сеть агентств по удостоверению качества (INQAAHE), Европейская сеть агентств по удостоверению качества высшего образования (ENQA), Азиатско-тихоокеанская сеть агентств по удостоверению качества (APQN), сеть агентств Центральной и Восточной Европы (CEENQA), а нынешний директор АККОРК - членом Совета директоров INQAAHE (с 2013 г.) и APQN (20142016 гг.). Однако их деятельность пока не получила официального признания со стороны Министерства науки и высшего образования РФ.
Многие учебные заведения по-прежнему не понимают, для чего им приглашать к образовательному аудиту эти организации. Серьёзных последствий принимаемые ими решения не имеют. Кроме того, российские вузы поощряются к взаимодействию не с российскими экспертными организациями, а с иностранными, которые являются такими же точно членами перечисленных международных ассоциаций.
Почему оценка качества образования
обязательно должна быть независимой
Независимая оценка качества образования в большинстве стран - такая же священная корова сферы образования, как, скажем, малый бизнес для сферы предпринимательства или вежливость - для сферы межличностного общения. Примером тому могут
служить упор в тренинге экспертов многих европейских агентств и Европейской сети агентств по удостоверению качества высшего образования (ENQA) на концепцию независимости и также сам стандарт ESG 3.3. Этому способствовал Болонский процесс, предусматривавший, помимо прочего, единые подходы в оценке качества и гарантий качества образования.
Основой международной практики является двухъярусная модель признания, включающая независимую экспертизу качества образования и собственно аккредитацию, то есть заверение всех заинтересованных сторон в том, что образовательная организация соответствует определённым стандартам. При этом независимость трактуется не однобоко, как независимость от интересов государства и его действий (именно в такой интерпретации тезис о независимости воспринимался в России в 2000-е гг.). Независимость экспертной деятельности в образовании усматривается обычно в отсутствии у экспертов, производящих оценку, и у организаций, уполномоченных принимать экспертные или аккредитационные решения, прямой или косвенной заинтересованности в том или ином решении. Общемировой тренд состоит в том, что внешней экспертизой образовательных программ и институциональных условий их реализации интересанты того или иного решения: конкуренты, партнёры, контрагенты, государство (если оно является партнёром в финансировании обучения), друзья, даже из числа партнёров-работодателей - не занимаются. Напротив, независимость оценок делает эти оценки репрезентативными с точки зрения любого из стейкхолдеров. Требуется учёт мнения всех заинтересованных сторон сферы оценки качества образования: государства, оцениваемых вузов, их конкурентов, вузовских ассоциаций, работодателей, учащихся.
Исторически для обеспечения независимости оценки качества образования, в результатах которой оказывается заинте-
ресовано всё окружение образовательных организаций, из большого числа соискателей выделились экспертные организации. Их миссия состоит в том, чтобы предоставлять в распоряжение общества, его сегментов (студентов, абитуриентов, работодателей, государства, других образовательных организаций и их союзов, др.), а также самих оцениваемых образовательных организаций следующую, по возможности объективную информацию:
- о качестве результатов обучения студентов по реализуемым образовательным программам и об уровнях фактической профессиональной и личностной компетентности выпускников. Важно не только, какие именно сформированы компетенции [18], но и как они формируются, кто участвует в их формировании, а впоследствии - востребованы ли люди, окончившие образовательную программу рынком труда;
- об институциональных условиях реализации образовательных программ, которые могли бы обеспечивать гарантии качества обучения в будущем (качество самих программ учебных дисциплин / модулей, качество учебников, методических материалов и образовательных технологий, качество академического и иного персонала образовательных организаций, качество менеджмента образовательных программ, уровень материальной, информационно-коммуникационной и финансово-экономической платформ реализации образовательных программ и др.);
- о сильных сторонах, позитивных трендах и сформированных перспективах деятельности образовательных организаций в сравнении с конкурентами (о конкурентных преимуществах);
- о слабых звеньях (конкурентных недостатках) оцениваемых образовательных организаций и обусловленных ими угрозах, а также о рекомендуемых путях их устранения / либо об отсутствии таких путей (что фиксируется в отказе в аккредитации программы);
- о месте образовательной организации среди других учебных заведений аналогичного или смежного профиля (например, следует ли считать данное учебное заведение «ведущим» по отношению к другим образовательным организациям с указанием на то, кого, куда и зачем оно «ведёт» в профессиональной деятельности).
Важно подчеркнуть, что, наряду с качеством результатов обучения, объектом внимания при проведении экспертиз также являются гарантии качества образования. Последние формируются в различных элементах деятельности образовательной организации, а именно: в выдвижении целей образовательных программ, в формировании и формулировании содержания и структуры образовательных программ, в составлении и применении учебно-методических материалов и учебно-методических комплексов. Гарантии качества образования содержатся также в применяемых технологиях и методиках обучения (например, в технологиях дистанционного обучения), в уровне профессорско-преподавательского состава, в моделях организации и управления образовательной деятельностью, в качестве абитуриентов, в эффективности научных исследований, которые производятся в образовательном учреждении, в ресурсной обеспеченности образовательной организации.
Вузы по-разному гарантируют качество своего образования. В одном и том же учебном заведении могут быть абсолютно разные по качеству программы, разные гарантии качества. Поэтому они имеют разные уровни эффективности и конкурентоспособности, разные ранги, что важно иметь в виду, проводя конкурсы на размещение государственных заданий.
Системным результатом оценки качества является уровень конкурентоспособности, который всегда имеет относительный характер [19]. Эффективность вузов при реализации однотипных образовательных программ выражается посредством уровня конкурентоспособности образовательных
программ в вузах и конкурентоспособности самих вузов, которые реализуют такие программы. Таким образом, оценивая качество образования, можно оценить и конкурентоспособность вуза при реализации той или иной образовательной программы. Базируясь на понятии «конкурентоспособность», можно определённым образом ранжировать вузы, причём это ранжирование может осуществляться по широкому перечню гарантий качества и условий реализации программ и по уровню качества образования. В результате такого ранжирования финансирующая сторона, учредитель вуза могут получить обоснованные представления о том, куда именно и почему стоит направлять финансовые ресурсы. Соответственно, университеты могут по-разному финансироваться, причём объёмы финансирования могут зависеть от разных элементов системы показателей, обусловливающих финансирование. Например, преподаватели университета могут быть эффективными при реализации программы в области металлургии и в то же время неэффективными при реализации программы в области юриспруденции. Также можно увидеть, что программа по юриспруденции обеспечена учебно-методическими материалами на приемлемом уровне, а программа по нанотехнологиям не обеспечена ими и т.п.
Критерии независимости экспертных организаций: мировая практика
В применяемых в настоящее время ENQA стандартах членства (ESG) независимость экспертных организаций имеет ключевое значение. Европейскому агентству может быть отказано в членстве в ENQA со всеми вытекающими для него негативными последствиями, если оно не сможет убедить Совет директоров Ассоциации в том, что действует независимо. Например, основанием оценки «Достаточное соответствие» по стандарту ESG 3.3. «Независимость» может стать факт, что генерального директора экспертной организации назначает напрямую министерство или орган, в состав которого
входит министерство. В этом случае экспертные команды, оценивающие экспертную организацию, рекомендуют изменить процедуру назначения на более независимую. Анализ соблюдения агентствами стандарта ESG «Независимость» обсуждался в 2014 г. на семинаре ENQA в Брюсселе2.
Ключевое значение для доказательства независимости экспертной организации имеют следующие позиции:
- обеспечение независимости привлекаемых экспертов от внешнего влияния со стороны самого оцениваемого учебного заведения, его конкурентов, другого ангажированного окружения;
- обеспечение независимости самой экспертной организации в принятии экспертных либо аккредитационных решений от внешних и внутренних обстоятельств;
- независимость апелляционной комиссии экспертной организации.
В первом случае экспертная организация должна доказать окружению, что привлечённые ею эксперты не подвержены позитивным или негативным установкам, а также показать, каким образом она готова обеспечивать свою независимость от любых внешних инициатив в процессе работы экспертов. При этом в стандартах ENQA содержатся требования к привлечению в экспертные группы экспертов разного типа. Среди них -представители академического сообщества, бизнес-сообщества и иных работодателей, студенческого сообщества, государственных организаций. Однако, будучи включённым в экспертную группу, каждый эксперт работает с оцениваемой образовательной организацией не как представитель интересов или глашатай того или иного сообщества, а как эксперт конкретной экспертной
2 Analysis of the European Standards and Guidelines (ESG) in External Review Reports: System-Wide Analysis, Resources, And Independence. ENQA Workshop report 23. URL: https://enqa. eu/indirme/papers-and-reports/workshop-and-seminar/ENQA_workshop_report_23.pdf (дата обращения: 07.02.2021).
организации, которая несёт ответственность за все его действия.
Во втором случае экспертная организация должна показать, как внутренние механизмы принятия решений способствуют независимой от внешних обстоятельств выработке этих решений. Такие механизмы могут опираться на авторитет и квалификацию экспертных советов, отсутствие в них руководителей оцениваемой организации и её потенциальных конкурентов, разведение функций между различными советами, экспертными группами и дирекцией и др. Важное место в этих механизмах занимают меры ответственности экспертных организаций и их руководителей в случае непреднамеренного или умышленного нарушения стандарта независимости.
В третьем случае экспертная организация должна показать, как внутренние механизмы формирования апелляционной комиссии и принятия решения по апелляции позволяют привлекать к этому процессу независимых представителей заинтересованных сторон.
В мировой практике не принято вуалировать конфликты интересов различных сторон системы образования и стесняться говорить о конкуренции на рынке образовательных услуг. Идеология независимости экспертиз воспринимается как естественный ответ системы образования на реалии современного мира. Экспертные организации - это востребованный институт гражданского общества, который реализует потребность общества в объективных оценках того, что происходит в образовании как стратегической области социально-экономических отношений.
Даже ведущие университеты не вправе обходить стороной процедуру независимой оценки качества образования. Никто не заинтересован в поощрении халтуры, напротив, все заинтересованы в фиксации передовых достижений и эталонов независимыми экспертами. В связи с этим следует обратить внимание на двоякость политики органов управления образованием, которая включает поощрение конкуренции между экспертны-
ми организациями и поддержание высоких требований к работе каждого из них. В условиях развитой конкуренции правительства и органы управления образованием не занимаются «выращиванием» таких организаций, их пропагандой и лоббированием. Они исходят из того, что такое выращивание является функцией самой конкурентной среды. Поэтому важным фактором, способствующим развитию системы оценки качества образования, является формирование конкурентной среды. Для этого на общеевропейском пространстве высшего образования создаются единые «правила игры», например, правила относительно механизмов принятия решений экспертными организациями. Мнение одного-единственного эксперта не является окончательным. Как правило, экспертная организация направляет для оценки той или иной образовательной программы не одного, а двух-трёх разных экспертов, составляя экспертную группу таким образом, чтобы этим экспертам было сложно договориться между собой. Окончательное решение принимает экспертная организация.
Например, в немецком агентстве ZEvA решение по аккредитации принимает аккреди-тационный совет, состоящий из:
- председателя (представителя образовательной организации уровня ректора);
- восьми представителей образовательных организаций или аналогичных высших учебных заведений (гуманитарные науки и культура; математика и естественные науки; инженерные науки; право, экономика и социальные науки);
- трёх представителей из областей обучения в университетах прикладных наук (экономика и социальные науки; инженерия и архитектура; естественные и биологические науки);
- двух представителей университетов из областей искусства, дизайна и музыки;
- двух представителей менеджмента качества в университетах;
- двух представителей сообщества работодателей;
- по одному представителю студентов от университета или аналогичного университета и университета прикладных наук.
Все европейские экспертные организации должны обеспечивать прозрачность своей деятельности. Любая экспертная организация обязана публиковать отчёты о проведённых экспертизах в открытых информационных источниках. Причём те, кто работает в общеевропейском пространстве высшего образования, должны демонстрировать эти отчёты не только на государственном, но и на английском языке. Эти отчёты являются объектами проверок, в том числе и со стороны органов, принимающих решение о допуске той или иной экспертной организации к этой деятельности.
Для поддержания единых правил игры в конкурентной среде органы управления образованием ведут реестры экспертных организаций. Так, на общеевропейском пространстве высшего образования с 2009 г. ведётся общеевропейский регистр агентств (EQAR). В ряде стран (Германии, Нидерландах, Бельгии, Испании) ведутся и национальные реестры. Для того, чтобы попасть в реестр, любой экспертной организации нужно пройти очень серьёзную процедуру проверки на соответствие определённым требованиям. Например, в Германии действуют порядка 10 экспертных организаций. Совет по аккредитации ведёт реестр этих организаций, получает отчёты об экспертизе каждой образовательной программы от каждой экспертной организации и может в любой момент проверить их деятельность. Перед Советом стоят следующие задачи:
- аккредитация региональных, межрегиональных и иностранных агентств, уполномоченных проводить оценку на основе разработанных критериев (в соответствии с ESG);
- обеспечение объективности и прозрачности в правилах оценки;
- утверждение критериев, показателей и правил принятия решений по аккредитации агентств;
- определение критериев, показателей и правил принятия решений по аккредитации программ и по системной аккредитации (аккредитация системы гарантии качества, существующей в вузе, так называемой системы менеджмента качества образования);
- определение общих и специфичных требований по аккредитации для каждой из земель (регионов).
Критерии и показатели, которые используются Советом для аккредитации агентств, основаны на Европейских стандартах. Совет проводит аккредитацию всех агентств с определённой периодичностью в соответствии со следующими принципами.
1. Должна быть сформулирована миссия образовательного аудита и определены его инструменты (агентства должны учитывать потребность в системах гарантии качества со стороны самих образовательных учреждений).
2. В процедурах оценки должен использоваться дифференцированный подход в зависимости от качественных и количественных показателей (вузы могут быть крупные и маленькие, и важно, чтобы агентство это учитывало).
3. Стандарты, которые применяются в агентстве, должны быть утверждены Советом по аккредитации. Это обеспечивает добросовестную конкуренцию между агентствами.
4. У агентства обязательно должны быть определённые технологии и методики работы с экспертами, которые являются основными представителями аккредитационного агентства в образовательных организациях.
5. У агентств должен быть сформирован инструмент чувствительности - некий механизм обратной связи, благодаря которому агентство реагирует на возражения и жалобы со стороны университета, в том числе на информацию о коррупции или о совершении вузом нерегламентированных действий.
6. В агентстве должна быть организована процедура движения экспертных отчётов и система взаимодействия всех отделов вну-
три агентства. Это взаимодействие может быть разным. Например, во многих немецких агентствах используется способ взаимозаменяемости сотрудников (т.е. у них нет чёткого разделения сфер труда, поэтому периодически проводится ротация кадров). Таким образом, все по очереди могут представлять организацию на различных мероприятиях, в том числе и международных. Сделано это с такой целью, чтобы все сотрудники агентства были активно вовлечены в деятельность агентства, а также следили за европейскими тенденциями в сфере оценки качества образования.
7. Агентство должно обеспечивать профессиональное развитие персонала для обеспечения высокого уровня его работы. Поэтому как минимум раз в год обязательно должны быть курсы повышения квалификации или какие-то общие тренинги по новым тенденциям и методикам в сфере оценки качества и гарантий качества образования.
8. Каждое агентство должно обеспечивать собственную конкурентоспособность, укрепление своих конкурентных преимуществ.
9. Агентство должно обеспечивать собственную операционную независимость. В частности, это касается независимости в процессе взаимодействия с заинтересованными сторонами (государство, работодатели, академическое сообщество и студенты), а также прозрачности и открытости своей деятельности. Помимо стандартов, утверждённых Советом по аккредитации Германии, агентство может использовать и другие стандарты. Например, при построении своей системы гарантии качества может использоваться модель Европейского фонда по управлению качеством.
10. Агентствам следует соблюдать правило уравновешивающей силы. Это означает, что сам механизм работы аккредитацион-ного агентства должен, с одной стороны, поддерживать высокую культуру качества в тех образовательных учреждениях, которые являются объектами аудита, а с другой -
воспроизводить высокую культуру в своей собственной деятельности.
Каждое агентство должно давать отчёт по каждой проведённой процедуре аккредитации образовательной программы, а также представлять обзорный отчёт в Совет по аккредитации. Для того чтобы гарантировать прозрачность процедуры, Совет по аккредитации публикует решения об аккредитации по завершении каждой процедуры.
С 2013 г. Азиатско-Тихоокеанская сеть агентств по гарантиям качества образования (APQN) развернула масштабную работу по формированию своего реестра добросовестных экспертных организаций APQR. В него будут последовательно включаться наиболее надёжные экспертные организации стран Азиатско-Тихоокеанского региона (Австралия, Япония, Китай, Россия, Сингапур, Южная Корея, США, Тайвань и др.). Подобная практика набирает обороты также в Казахстане, Армении. В Украине в 2014 г. был принят закон, делающий такую практику легитимной.
Современные реалии сферы оценки качества образования в РФ
Как обеспечить независимость подходов в сфере оценки качества высшего образования в России в случае последовательной реализации соответствующей нормы российского законодательства? Вряд ли этого можно добиться, следуя предложениям простого упразднения государственной аккредитации и замены её на иную модель аккредитации, в которой место государственной монополии на оценку качества образования займёт какой-либо другой соискатель монопольного статуса в сфере оценочной деятельности.
К современным процедурам, реализуемым в ходе государственной аккредитации в сфере высшего образования, немало справедливых претензий. Среди них:
- отсутствие презумпции невиновности образовательных организаций высшего образования, являющихся объектами аккреди-тационных процедур или процедур контро-
ля качества образования (они вынуждены доказывать свою правоту в суде после уже состоявшегося отзыва свидетельства о государственной аккредитации и обусловленного этим массового исхода студентов);
- категоричность аккредитационных оценок и отсутствие иных вариантов аккре-дитационных решений кроме «да/нет»;
- отсутствие прозрачности в принятии аккредитационных решений (образовательные организации узнают о них после принятия регулятором окончательных административных решений);
- невозможность внесения конструктивных содержательных или иных исправлений при сохранении на время позитивной реализации замечаний экспертов статуса аккредитованной государством образовательной организации.
Всё это так. Однако сложно согласиться с тем, что замена государственной аккредитации профессионально-общественной (в которой оценки выносятся работодателями сообразно своим интересам) или общественной (в которой оценки выносятся иными представителями общественности), может решительно оздоровить ситуацию.
Действительно, во всём мире процедура аккредитации образовательных программ не является прерогативой непосредственно органов государственного управления. Поэтому представления о полезности отмены государственной аккредитации могут иметь основания. Между тем мировой опыт свидетельствует и о другом: при проведении процедур оценки качества высшего образования следует принимать во внимание интересы всех заинтересованных сторон сферы образования. Работодатели, конечно, являются важными стейкхолдерами, однако они не обладают приоритетом в сфере образования. Образовательная деятельность осуществляется не только и не столько для заполнения рабочих мест. Образование в любом социальном государстве - это, прежде всего, социальное благо для учащихся - граждан государства. И компетенции, которые приоб-
ретают учащиеся в процессе обучения, в том числе социальные, духовные, культурные, общепрофессиональные, далеко не всегда нужны работодателям. Поэтому профессионально-общественная аккредитация не может рассматриваться как полноценная альтернатива государственной аккредитации.
Международный опыт в этой области отражён в серии выполненных в 2008-2014 гг. проектах ФЦПРО, в том числе в проекте «Обеспечение государственных и общественно-профессиональных систем оценки качества профессионального образования», «Разработка модели формирования Общероссийского регистра организаций (ОРРО) в сфере общественной, общественно-профессиональной оценки качества профессионального образования и общественной (общественно-профессиональной) аккредитации программ профессионального образования». Их результаты хранятся в архивах Рособрнадзора, Министерства науки и высшего образования РФ, а также описаны в монографиях и на страницах журнала «Высшее образование в России» [14; 20].
Основными признаками этих процедур являются:
- профессионализм деятельности экспертных организаций и привлекаемых ими экспертов;
- объединение в рамках одной экспертной панели, осуществляющей оценку образовательных программ, экспертов, призванных исследовать программы под углом зрения образовательных потребностей и интересов всей совокупности стейкхолде-ров, включая государство - разработчика и проводника своей (государственной) образовательной политики;
- двусторонний характер процедур контроля качества, при котором внутренний и внешний аудит качества образования сочетаются на платформе долговременного взаимодействия образовательных организаций и экспертных панелей, что обеспечивает сторонам возможность работать над повышением качества образования постоянно, не
прибегая к ежегодным плановым и внеплановым проверкам;
- обеспечение независимости и преодоления конфликта интересов в конкурентном образовательном пространстве за счёт специализированных фильтров и процедур, осуществляемых экспертными организациями;
- обеспечение публичности в деятельности экспертных организаций, принятии ими аккредитационных решений, а также прозрачности экспертных процедур;
- обеспечение для образовательных организаций возможности подвергать сомнению и оспаривать экспертные мнения и решения на всех стадиях их рассмотрения до принятия окончательных решений;
- наличие контроля деятельности данных экспертных организаций со стороны национальных полномочных органов, а также признанных международных институтов.
Роль надзорного органа в России могла бы трансформироваться в составление «правил игры» - нормативной базы применяемых процедур, включая требования к экспертным организациям, формирование и ведение реестра добросовестных организаций, проведение регулярного аудита этих организаций. Работа на постоянной основе с экспертными организациями позволила бы усилить полезную роль государства в обеспечении качества высшего образования.
Для реформирования системы оценки качества образования необходим переходный период, в течение которого целесообразно изучить и обобщить опыт деятельности уже имеющихся в РФ экспертных организаций в сфере оценки качества высшего образования, а также сформировать условия для создания, наряду с действующими, других экспертных организаций. Такими условиями могли бы стать:
- нормативно-правовая база деятельности экспертных организаций, включая правила формирования ими экспертных панелей, обеспечение ими качества работы эксперта, обеспечение процедур сочетания
внутреннего и внешнего образовательного аудита, независимости экспертов и принятия решений, создание схемы преодоления ими конфликта интересов сторон, схемы оспаривания принимаемых решений;
- наличие требований к критериальной базе добросовестных экспертных организаций, которая учитывала бы особенности программ различной направленности, интересы всех заинтересованных сторон, степень публичности деятельности экспертов и экспертных организаций;
- создание типовой финансовой модели работы таких организаций для избегания обременительности процедур экспертной оценки;
- наличие реестра этих добросовестных экспертных организаций и механизма (процедур) их национального аудита;
- регулярное обсуждение действий и мероприятий «переходного периода» на российских и международных площадках.
Победа качественного и доступного высшего образования над «образованщиной» станет возможной, если реалистичное восприятие современной образовательной среды приведёт к осознанию того, что доверие в отношениях сторон института образования обеспечивается повседневной, зачастую рутинной профессиональной работой специалистов по удостоверению действительных успехов образовательных организаций в стремлении к высокому качеству российского высшего образования.
Литература
1. Jordana J., Fernandez-i-Marin X., Bianculli A. Agency proliferation and the globalization of the regulatory state: Introducing a data set on the institutional features of regulatory agencies // Regulation and Governance. 2018. Vol. 12. No. 4. P. 524-540. DOI: https://doi.org/l0.111l/ rego.12189
2. Verhoest K., Peters B.G., Bouckaert G, Ver-schuere B. The study of organisational autonomy: a conceptual review // Public Administration and Development. 2004. Vol. 24. No. 2. P. 101-118. DOI: https://doi.org/10.1002/pad.316
3. Jordana J., Juanatey A.G., Duran I.P, Royo D.S. An Independence Index of Quality Assurance Agencies in Higher Education: European and Latin American countries compared. 2020 // European Journal of Higher Education. DOI: 10. 1080/21568235.2020.1850309
4. Hanrett C, Koop Ch. Measuring the formal independence of regulatory agencies // Journal of European Public Policy. 2012. Vol. 19. No. 2. P. 198-216. DOI: https://doi.org/10.1080/1350176 3.2011.607357
5. Irion K, Ledger M. Measuring independence: Approaches, limitations and a new ranking tool // Schulz W., Valcke P., Irtion K. (Eds). The independence of the media and its regulatory agencies. Chicago-Bristol: Intellect, 2013. P. 15-54.
6. Alzafari K, Ursion J. Implementation of quality assurance standards in European higher education: does context matter? // Quality in Higher Education 2019. Vol. 25. No. 1. P. 58-75. DOI: https://doi.org/10.1080/13538322.2019.1578069
7. Woodhouse D. The Quality of Quality Assessment Agencies // de Wit, H., Knight, J. (Eds). Quality and Internationalisation in Higher Education, OECD 2004. P. 29-44. URL: https://www. oecd-ilibrary.org/docserver/9789264173361-en. pdf?expires=1612874675&id=id&accname=g uest&checksum=AC932C9B8E237343BBC7E-0CDDBFDE810 (дата обращения: 08.02.2021).
8. Yung-Chi Hou A., Martin I., Sandy Tsai, Chung Lin Chiang Quality Assurance of quality assurance agencies from an Asian perspective // Asia Pacific Education Review. 2015. Vol. 16. No. 1. P. 95-106. DOI: https://doi.org/10.1007/ s12564-015-9358-9
9. Ferreyra M.M, Avitabile C, Botero Alvarez J., Haimovich Paz F, Urzúa S. At a Crossroads: Higher Education in Latin America and the Caribbean. Directions in Development - Human Development. World Bank, Washington, DC, 2017. URL: https://openknowledge.worldbank. org/handle/10986/26489
10. Fernández Lamarra N. La evaluación y la acreditación de la calidad: Situación, tendencias y perspectivas. En Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe (IESALC). 2006. Informe sobre la educación superior en América Latina y el Caribe, 2000-2005: la metamorfosis de la educación superior. Caracas: IESALC. URL: https:// www.uned.ac.cr/academica/images/igesca/
materiales/documentos/Infornie_IESALC.pdf (дата обращения: 08.02.2021).
11. Дрондин А.Л. Независимая оценка качества российского высшего образования: зачем она нужна и что можно улучшить // Высшее образование в России. 2020. Т. 29. № 2. С. 41-49. DOI: https://doi.org/10.31992/0869-3617-2020-29-2-41-49
12. Матвеева О.А. Развитие добровольной аккредитации образовательных программ в России // Высшее образование в России. 2019. Т. 28. № 7. С. 19-28. DOI: https:// doi.org/10.31992/0869-3617-2019-28-7-19-28
13. Мотова Г.Н. Охранники или проводники? Новые требования для аккредитационных агентств по обеспечению качества образования // Высшее образование в России. 2020. Т. 29. № 6. С. 9-21. DOI: https://doi.org/ 10.31992/0869-3617-2020-6-9-21
14. Рубин Ю.Б, Соболева Э.Ю, Семкина Т.А, Коваленко А.А. О подходах к созданию общероссийского регистра организаций, удостоверяющих качество образования // Высшее образование в России. 2013. № 5. С. 20-36.
15. Rubin, Yu, Lednev, M, Mozhzhukhin, D. Competition competencies as learning outcomes in bachelor's degree entrepreneurship programs // Journal of Entrepreneurship Education. 2019. Vol. 22. No. 6. URL: https://www.ab-academies.org/articles/competition-competen-cies-as-learning-outcomes-in-bachelor39s-de-gree-entrepreneurship-programs-8768.html (дата обращения: 08.02.2021).
16. Рубин Ю.Б, Леднев М.В, Можжухин Д. Изучение конкуренции: структурирование компетенций в университетских программах по предпринимательству // Высшее образование в России. 2019. Т. 28. № 1. С. 21-33. DOI: https://doi.org/10.31992/0869-3617-2019-28-1-21-33
17. Рубин Ю.Б. Теория конкуренции и задачи повышения конкурентоспособности российского образования // Высшее образование в России. 2007. № 1. С. 26-44.
18. Dneprovskaya, N.V, Koretskaya, I.O., Dik, V.V., Tiukhmenova, K.Ye. Evaluation of the factors affecting the knowledge appliance process efficiency // Naukovyi Visnyk Natsional-noho Hirnychoho Universytetu. 2014. № 4. С. 139-146.
19. Васильев А.И. Качество образования и конкурентоспособность вуза: аспекты взаимосвязи // Высшее образование в России. 2019. Т. 28. № 4. С. 37-43. DOI: https://doi. org/10.31992/0869-3617-2019-28-4-37-43
20. Рубин Ю.Б,, Коваленко А.А., Леднев В.А,, РубинаМ.Ю., Семкина Т.А., СоболеваЭ.Ю., Степанченко Л.С, Шадриков В.Д. Система
оценки качества образования: мировая практика и российский опыт. М: Московский финансово-промышленный университет "Синергия", 2016. 528 с.
Статья поступила в редакцию 10.09.20 После доработки 15.12.20 Принята к публикации 05.02.21
References
1. Jordana, J., Fernández-i-Marín X., Bianculli, A. (2018). Agency Proliferation and the Globalization of the Regulatory State: Introducing a Data Set on the Institutional Features of Regulatory Agencies. Regulation and Governance. Vol. 12, no. 4, pp. 524-540, doi: https://doi.org/l0.111l/ rego.12189
2. Verhoest, K., Peters, B.G., Bouckaert, G., Verschuere, B. (2004). The Study of Organisational Autonomy: A Conceptual Review. Public Administration and Development. Vol. 24, no. 2, pp. 101-118, doi: https://doi.org/10.1002/pad.316
3. Jordana, J., Juanatey, A.G., Duran, I.P., Royo, D.S. (2020). An Independence Index of Quality Assurance Agencies in Higher Education: European and Latin American Countries Compared. European Journal ofHigher Education, doi: 10.1080/21568235.2020.1850309
4. Hanretty, C. and Koop, Ch. (2012). Measuring the Formal Independence of Regulatory Agencies. Journal of European Public Policy. Vol. 19, no. 2, pp. 198-216, doi: https://doi.org/10.1080 /13501763.2011.607357
5. Irion, K., Ledger, M. (2013). Measuring Independence: Approaches, Limitations and a New Ranking Tool. In: Schulz, W., Valcke, P., Irtion, K. (Eds). The Independence of the Media and its Regulatory Agencies. Chicago-Bristol: Intellect, pp. 15-54.
6. Alzafari, K., Ursion, J. (2019). Implementation of Quality Assurance Standards in European Higher Education: Does Context Matter? Quality in Higher Education.. Vol. 25, no. 1, pp. 5875, doi: https://doi.org/10.1080/13538322.2019.1578069
7. Woodhouse, D. (2004). The Quality of Quality Assessment Agencies. In: de Wit, H., Knight, J. (Eds). Quality and Internationalisation in Higher Education. OECD 2004, pp. 29-44. Available at: https://www.oecd-ilibrary.org/docserver/9789264173361-en.pdf?expires=161287467 5&id=id&accname=guest&checksum=AC932C9B8E237343BBC7E0CDDBFDE810 (accessed 08.02.2021).
8. Yung-Chi Hou, A., Ince, M., Sandy Tsai, Chung Lin Chiang (2015). Quality Assurance of Quality Assurance Agencies from an Asian Perspective. Asia Pacific Education Review. Vol. 16, no. 1, pp. 95-106, doi: https://doi.org/10.1007/s12564-015-9358-9
9. Ferreyra, M.M., Avitabile, C., Botero Alvarez, J., Haimovich Paz, F., Urzúa, S. (2017). At a Crossroads: Higher Education in Latin America and the Caribbean. Directions in Development - Human Development. World Bank, Washington, DC. URL: https://openknowledge. worldbank.org/handle/10986/26489
10. Fernández Lamarra, N. (2006). "La evaluación y la acreditación de la calidad: Situación, tendencias y perspectivas". En Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe (IESALC), Informe sobre la educación superior en América Latina y el Caribe, 2000-2005: la metamorfosis de la educaciyn superior. Caracas: IESALC. Available at: https://www.uned.ac.cr/academica/images/igesca/materiales/documentos/Informe_IE-SALC.pdf (accessed 08.02.2021).
11. Drondin, A.L. (2020). Independent Assessment of the Quality of Russian Higher Education: What is the Point and What Can be Improved. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 2, pp. 41-49, doi: https://doi.org/l0.31992/0869-3617-2020-29-2-41-49 (In Russ., abstract in Eng.).
12. Matveeva, O.A. (2019). Development of the Voluntary Accreditation for Study Programmes in Russia. Vysshee obrazovanie v Rossii = Higher Education in Russia.. Vol. 28, no. 7, pp. 19-28, doi: https://doi.org/10.31992/0869-3617-2019-28-7-19-28 (In Russ., abstract in Eng.).
13. Motova, G.N. (2020). New Requirements for Accreditation Agencies on Education Quality Assurance Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 6, pp. 9-21, doi: https://doi.org/10.31992/0869-3617-2020-6-9-21 (In Russ, abstract in Eng.).
14. Rubin, Yu., Soboleva, E., Semkina, T., Kovalenko, A. (2013). On Approaches to Creation of All-Russian Quality Assurance Agencies Register. Vysshee obrazovanie v Rossii = Higher Education in Russia.. No. 5, pp. 20-36. (In Russ., abstract in Eng.).
15. Rubin, Yu., Lednev, M., Mozhzhukhin, D. (2019). Competition Competencies as Learning Outcomes in Bachelor's Degree Entrepreneurship Programs. Journal of Entrepreneurship Education. Vol. 22, no. 6. Available at: https://www.abacademies.org/articles/competition-compe-tencies-as-learning-outcomes-in-bachelor39s-degree-entrepreneurship-programs-8768.html (accessed 08.02.2021).
16. Rubin, Yu., Lednev, M., Mozhzhukhin, D. (2019). Competition Studies: Structuring Competencies in University Entrepreneurship Programs. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 28, no. 1, pp. 21-33, doi: https://doi.org/10.31992/0869-3617-2019-28-1-21-33 (In Russ., abstract in Eng.).
17. Rubin, Yu. (2007). Theory of Competition and Tasks of Russian Higher Education Competitiveness Increase. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 1, pp. 26-44 (In Russ.).
18. Dneprovskaya, N.V., Koretskaya, I.O., Dik, V.V., Tiukhmenova, K.Ye. (2014). Evaluation of the Factors Affecting the Knowledge Appliance Process Efficiency. Naukovyi Visnyk Natsionalno-ho Hirnychoho Universytetu. No. 4, pp. 139-146.
19. Vasil'ev, A.I. (2019). Quality and Competitiveness in the System of Higher Education: Aspects of Interrelation. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 28, no. 4, pp. 37-43, doi: https://doi.org/10.31992/0869-3617-2019-28-4-37-43 (In Russ., abstract in Eng.).
20. Rubin, Yu, Kovalenko, A., Lednev, V., Rubina, M., Semkina, T., Soboleva, E., Stepanchenko, L., Shadrikov, V. (2016). Sistema otsenki kachestva obrazovaniya: mirovaya praktika i rossi-iskii op>yt [System of Education Quality Assurance: World Practice and Russian Experience]. Moscow: Moscow University of Industry and Finance "Synergy", 528 p. (In Russ.)
The paper was submitted 10.09.20 Received after reworking 15.12.20 Accepted for publication 05.02.21
