CC BY
173КАЧЕСТВО ОБРАЗОВА В ЕВРАЗИИ
НЕЗАВИСИМАЯ
ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ: ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ
АЗАРЬЕВА ВЕРА ВЛАДИМИРОВНА
Главный специалист Департамента образовательных проектов и программ Ассоциации по сертификации «Русский Регистр», доцент кафедры менеджмента и систем качества Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», к. т. н., доцент
E-mail: [email protected]
Санкт-Петербург, Россия
ЗВЕЗДОВА АЛЕКСАНДРА БОРИСОВНА
Руководитель проекта профессионально-общественной аккредитации образовательных программ Ассоциации по сертификации «Русский Регистр», к. э. н., доцент E-mail: [email protected] Санкт-Петербург, Россия
АННОТАЦИЯ. В настоящей статье рассматриваются вопросы независимой оценки качества образования, создание добавленной ценности при процедуре экспертизы, правовые основы профессионально-общественной аккредитации образовательных программ в Российской Федерации. Рассмотрены тенденции интернационализации образования в аспекте влияния на практику проведения независимых оценок качества образования, роль рейтингов в практике экспертиз. Продемонстрированы различные практики построения рейтингов образовательных организаций и образовательных программ.
КЛЮЧЕВЫЕ СЛОВА: профессионально-общественная аккредитация, образовательные программы, федеральный государственный образовательный стандарт, профессиональный стандарт, национальные и международные рейтинги, интернационализация образования.
INDEPENDENT EDUCATION QUALITY ASSESSMENT: PROBLEMS AND PROSPECTS
VERA AZARYEVA
Senior Specialist of the Department of Education projects and programs in Certification Association «Russian Register», Associate Professor of Management and Quality Systems Department in Saint Petersburg Electrotechnical University, PhD E-mail: [email protected] Saint Petersburg, Russia
ALEXANDRA ZVEZDOVA
Project Manager of educational programmes professional and public accreditation in Certification Association «Russian Register», PhD E-mail: [email protected] Saint Petersburg, Russia
ABSTRACT. The article describes the issues associated with independent education quality assessment, the value added by the expertise, and the legal framework of professional and public accreditation of educational programs in the Russian Federation. It outlines the tendency for internationalization of education, discusses the ways it relates to independent assessment and the role of international rankings for educational expertise. It provides the discussion of various practices of designing rankings of educational institutions and programs.
KEY WORDS: professional and public accreditation, educational programmes, federal state educational standard, professional standard, national and international ratings, internationalization of education.
Кадровое обеспечение отраслей промышленности необходимо для достижения устойчивого развития экономики страны, поэтому государственные структуры, профессиональные союзы, общественные организации, отраслевые советы, молодежные и студенческие объединения с целью проведения независимой оценки качества образования разрабатывают и применяют широкий спектр методов, моделей и стандартов.
Законодательно независимая оценка качества образования определена в Федеральном законе от 29 декабря 2012 г. № 273-Ф3 «Об образовании в Российской Федерации» (далее - Закон об образовании). В соответствии с современными практиками в данной статье авторами рассматриваются такие виды независимой оценки качества образования, применяемые в настоящее время в России, как профессионально-общественная аккредитация образовательных программ, общественная аккредитация организаций, осуществляющих образовательную деятельность, и международная аккредитация организаций и образовательных программ. [1] Закон об образовании не содержит непосредственно определения международной аккредитации, этот термин можно рассматривать как привнесенный, несмотря на его широкое применение в деловой лексике и упоминание в публикациях различных агентств по оценке и гарантиям качества высшего образования.
Что является мотивационным фактором для независимой оценки качества образования? Относительно профессионально-общественной аккредитации (оценка на программном уровне) практическими аспектами могут быть и учет результатов независимой оценки качества образования при проведении государственной аккредитации, и распределение контрольных цифр приема, и документированное признание якорного работодателя. Наличие соответствующего свидетельства важно и для заинтересованных сторон - абитуриентов, студентов и их родителей, так как является свидетельством востребованности направления подготовки и возможности трудоустройства. Существенным фактором является собственно возможность для улучшения, совершенствования образовательной программы. Эта возможность обусловлена работой экспертной комиссии, или панели, в которую включаются представители академического сообщества, имеющие опыт проектирования и разработки образовательных программ, управления и руководства программами, характеризующиеся высокой публикационной активностью в области качества образования. Кроме компетентных в образовательной деятельности экспертов, в панель включаются представители профессионального сообщества - «играющие тренеры», которые владеют информацией о новых технологиях и перспективных направлениях
научных исследований, знают кадровые проблемы отрасли, на обеспечение которой направлена образовательная программа. Целью оценки, среди прочих, является и мотивирование образовательной организации к улучшению, получение ценного опыта для всех участников процедуры, получение точной обратной связи. Обратная связь добавляет ценность за счет признания сильных сторон образовательной организации и лучших практик, за счет возможности для дальнейшего улучшения, учета рекомендаций экспертов в цикле планирования. На основании обратных отчетов экспертов образовательная организация сможет разработать план корректирующих действий, мероприятия по совершенствованию образовательных программ. Реализацию запланированных мероприятий эксперты анализируют в процессе постаккредитационного мониторинга, учитывая изменение позиции образовательной организации в различных национальных и международных рейтингах, например, рейтинг репутации вузов по укрупненным направлениям RAEX («Эксперт РА»). Результаты репутационных замеров RAEX не только используются для построения рейтингов по направлениям, но и учитываются наряду со статистическими показателями при формировании ежегодного комплексного рейтинга «100 лучших вузов России». Позиция образовательной организации в таких рейтингах важна как для программного, так и для институционального уровня оценки.
Представляется целесообразным рассмотреть создание добавленной ценности при экспертизе для ясного понимания того, как применять результаты аудита. С этой целью вполне возможно обратиться к известной модели - «Окну Джохари». Первоначально данная модель применялась для личностного развития, но в настоящее время рассматривается и в теории менеджмента организации, организационного поведения. [3] Модель, или матрица, представлена на рис. 1.
В основе модели лежат две оси:
• известно организации - не известно организации;
• известно экспертам - не известно экспертам.
Известно Не известно
организации организации
Известно Открытая Слепое
экспертам зона пятно
Не известно Скрытая Зона
экспертам зона неизвестного
Рис. 1. Модель «Окно Джохари»
На пересечении получаются четыре зоны, обозначенные на рисунке. Как трактовать эти зоны?
В процессе подготовки отчета по самообследованию, необходимого при профессионально-общественной аккредитации, организация представляет для экспертной оценки в процессе камерального анализа, предшествующего очному визиту экспертов, свое видение, восприятие своей деятельности. При ознакомлении экспертов с этой информацией, подтверждении в рамках очного визита формируется содержимое «открытой зоны». В «скрытой зоне» содержится информация, которой организация не спешит делиться с экспертной группой. Тем не менее надо понимать, что процедура аккредитации строится на коммуникациях, и методы аудита включают не только анализ документов, но и наблюдение, интервьюирование. Компетентный эксперт управляет ситуацией, граница между «открытой зоной» и «зоной скрытого» становится плавающей, зависит от контекста. «Слепое пятно» содержит те характеристики и черты деятельности организации, о которых сама организация и не подозревает.
Увидеть содержимое «слепого пятна» организация может только с помощью обратной связи. То, что было не известно организации, становится известно экспертам и отражается в обратных отчетах членов экспертной группы. Таким образом и создается добавленная ценность аккредита-ционной экспертизы для организации. Содержимым «скрытой зоны» и «слепого пятна» могут оказаться не только слабые стороны организации, но и открытые экспертами преимущества, ресурсы, сильные стороны и лучшие практики. Сам подход профессионально-общественной аккредитации предполагает мультисубъектность за счет включения в экспертную панель академических экспертов, представителей профессионального и студенческого сообществ, а также представителей разных агентств по гарантиям качества образования; так обеспечивается вариативность оценок и эффективность обратной связи.
То, что находится в «зоне неизвестного», остается неизвестным и экспертам, и организации. Вполне возможно, что последействия организации в постаккредитационном периоде будут способствовать раскрытию потенциала этой зоны.
Далее рассмотрим существенные изменения образовательных стандартов. В 2013 г. инициирована актуализация федеральных государственных образовательных стандартов высшего образования (далее - ФГОС ВО) с целью приведения их в соответствие с Законом об образовании (разработка редакций стандартов, получивших условное наименование ФГОС 3+).
Далее последовал очередной этап актуализации ФГОС ВО. Это связано с принятием Федерального закона «О внесении изменений в Трудовой кодекс Российской Федерации и статьи 11 и 73 Федерального закона "Об образовании в Российской Федерации"» от 2 мая 2015 г. № 122-ФЗ. Следовательно, все утвержденные ФГОС ВО необходимо привести в соответствие с требованиями профессиональных стандартов. Для наискорейшего приведения ФГОС в соответствие с профессиональными стандартами Министерство образования и науки РФ предложило разработать новые редакции ФГОС ВО. Они получили условное название ФГОС 3++, часть требований образовательных стандартов выносится в примерные основные образовательные программы. Целесообразность этого объясняется тем, что профессиональные стандарты - документы с меньшим сроком действия, чем ФГОС, они подлежат актуализации раз в три года, уже сейчас многие профессиональные стандарты первой генерации, созданные в период 2014-2015 гг., устарели. Таким образом, ФГОС 3++ включает только перечень профессиональных стандартов, которые могут быть отражены в образовательных программах образовательных организаций, а функции по актуализации перечня профессиональных стандартов возлагаются на координационные советы федеральных учебно-методических объединений.
В настоящее время уже утверждено значительное количество ФГОС 3++ для различных направлений подготовки и уровней образования. Стандарты имеют одинаковую структуру, рассмотрим в качестве примера раздел IV «Требования к условиям реализации программы бакалавриата».
Добровольность процедуры внешней оценки, определенная Законом об образовании, поддерживается в образовательном стандарте. Четко, так же как в Законе об образовании, стандартом определен вид независимой внешней оценки качества образования - профессионально-общественная аккредитация. Термин «международная аккредитация» в образовательном стандарте не применяется, но прослеживается косвенная связь процедур аккредитации и международных структур. Подтверждается, что основным документом при профессионально-общественной аккредитации является профессиональный стандарт.
Национальный совет при Президенте РФ по профессиональным квалификациям был создан в соответствии с Указом Президента РФ от 16 апреля 2014 г. № 249. Национальный совет координирует работу, направленную на повышение качества профессионального образования, наделяет полномочиями советы по профессиональным квалификациям. Советы по профессиональным квалификациям (далее - СПК) являются постоян-
но действующими органами национальной системы профессиональных квалификаций, создаваемыми с целью формирования и развития систем профессиональных квалификаций по определенным видам профессиональной деятельности. Например, для СПК железнодорожного транспорта базовой организацией является общероссийское отраслевое объединение работодателей железнодорожного транспорта - объединение «Желдортранс». Анализ документов, утвержденных Национальным советом в целях профессионально-общественной аккредитации, позволяет сформулировать некоторые вопросы - как основополагающие для всех заинтересованных сторон, так и носящие частный, оперативный характер. Например, следует ли рассматривать документ «Базовые принципы профессионально-общественной аккредитации профессиональных образовательных программ в рамках деятельности Национального совета при Президенте Российской Федерации по профессиональным квалификациям» как системообразующий, на основе которого должна выстраиваться единая структура нормативных и методических документов? Если рассуждать в рамках деятельности СПК, то это так. С другой стороны, в соответствии с Законом об образовании могут развиваться и другие системы профессионально-общественной аккредитации. Вне системы СПК, но при поддержке и участии заинтересованной стороны - Минобрнауки России проводилось и проводится значительное количество работ в данном направлении.
В рамках государственного задания с целью обеспечения эффективной информационной поддержки процесса осуществления процедур профессионально-общественной аккредитации образовательных программ, реализуемых в Российской Федерации, по заказу Минобрнауки России была создана АИС «Мониторинг профессионально-общественной аккредитации». Перечень организаций, проводящих профессионально-общественную аккредитацию основных профессиональных образовательных программ, основных программ профессионального обучения и (или) дополнительных профессиональных программ (далее - Перечень), размещен на официальном сайте Минобрнауки России. Постановлением Правительства РФ от 11 апреля 2017 г. № 431 утверждены Правила формирования и ведения данного Перечня. Одновременно реестр аккредитующих организаций, аккредитованных программ с возможностью поиска аккредитующей организации по профессиональным стандартам поддерживается Национальным советом и Национальным агентством развития квалификаций. Реестр позиционируется как Национальный реестр. Перечень аккредитующих организаций включает 15 по-
зиций. Алгоритм использования ресурса предполагается следующий: образовательная организация, желающая провести аккредитацию образовательной программы на основе соответствующего ФГОС 3++, определяется с профессиональным стандартом (например, «08.006 Специалист по внутреннему контролю»), на соответствие которому будет проводиться экспертиза. При заданном профессиональном стандарте информационная система определит аккредитующую организацию, за которой закреплен данный профессиональный стандарт (в этом случае - Ассоциация участников финансового рынка «Совет по развитию профессиональных квалификаций»). Казалось бы, при таком распределении работ система аккредитации в СПК должна создавать добавленную ценность для образовательной организации. На практике ситуация складывается несколько иным образом.
Многие образовательные организации РФ имеют отраслевую принадлежность, но при этом реализуют так называемые непрофильные направления подготовки, пользующиеся спросом у абитуриентов. Выпускники таких образовательных программ обычно успешно трудоустраиваются в обеспечивающие подразделения якорного работодателя. Например, учредителем Дальневосточного государственного университета путей сообщения (ДВГУПС) является Правительство РФ, полномочия учредителя ДВГУПС осуществляет Федеральное агентство железнодорожного транспорта (Росжелдор). Среди реализуемых образовательных программ - «38.05.01 Экономическая безопасность». Это уровень специ-алитета, заинтересованной в выпускниках стороной является служба экономики и финансов Дальневосточной железной дороги - филиала ОАО «РЖД». С учетом отраслевой принадлежности и значимости признания отраслевым СПК университету следовало бы обратиться в общероссийское отраслевое объединение работодателей железнодорожного транспорта - объединение «Желдортранс», но в данном СПК нет аттестованных экспертов необходимого профиля. Такие эксперты в соответствии с распределением профессиональных стандартов в системе аккредитации СПК имеются в СПК на базе Ассоциации участников финансового рынка, но свидетельство об аккредитации в данном СПК не создает для университета, готовящего кадры для железнодорожной отрасли, добавленной ценности.
В рассматриваемом случае экспертизу образовательной программы провел «Русский Регистр» с выдачей соответствующего свидетельства и в качестве аккредитующей организации внес информацию в реестр Минобрнауки России. С целью получения признания профильным СПК,
в интересах университета «Русский Регистр» обратился в объединение «Желдортранс». По результатам анализа специалистами объединения полученной «Русским Регистром» в процессе аккредитации документации образовательная программа была аккредитована, соответствующее свидетельство выдано, данные занесены в реестр Национального совета.
Рассмотренный случай демонстрирует возможность пересечения аккредитации в системе СПК и вне этой системы, которое позволило создать для образовательной организации добавленную ценность, получить для стратегически значимого, но непрофильного направления подготовки признание отраслевого СПК. Кроме этого, демонстрируются и ограничения системы, созданной СПК, - отсутствие экспертов в требуемой образовательной организации области.
Рассматривая правовые основы профессионально-общественной аккредитации, необходимо обратиться и к законотворческой деятельности Национального совета, предложениям по внесению изменений в Закон об образовании. Суть предлагаемых новелл заключается в определении как легитимной аккредитации только аккредитации в системе СПК, а рейтинги образовательных программ могут формироваться советами по профессиональным квалификациям. Следовательно, количество рейтингов будет равняться количеству советов (28 в настоящий момент), и с учетом наличия самых разнообразных направлений подготовки, коррелированных с разными СПК, одна и та же образовательная организация будет присутствовать в рейтингах нескольких СПК, рейтинг также является инструментом создания добавленной ценности при процедуре оценки качества образования.
Аккредитация образовательных программ в системе СПК осуществляется по отраслевому принципу, с учетом закрепления профессиональных стандартов за конкретными СПК. Как рассмотрено выше, перечни профессиональных стандартов, рекомендуемых для проектирования основных профессиональных образовательных программ, уже включены в образовательные стандарты ФГОС 3++. Процедура государственной аккредитации образовательных программ предусматривает оценку соответствия требованиям образовательного стандарта, в современном варианте, возможно, и соответствия требованиям профессионального стандарта. В таком случае не произойдет ли в краткосрочном периоде, определяемом сроками завершения разработки профессиональных стандартов, замены профессионально-общественной аккредитации государственной аккредитацией?
Немаловажно, что при предлагаемом подходе и жестком регулировании процедур со стороны Национального совета есть риск значительного сокращения количества аккредитующих организаций, включая те организации, которые создают добавленную ценность для образовательной организации, используя международные подходы к независимой оценке качества образования, проводят процедуры международной аккредитации.
Исследования в этой области выявили низкий уровень сотрудничества между агентствами по гарантиям качества в вопросах гарантии качества международного высшего образования. Для укрепления информационного взаимодействия, преодоления выявленных проблем и выработки единых подходов к гарантиям качества созданы реестры агентств по гарантиям качества, например, Европейский реестр гарантии качества образования (the European Quality Assurance Register for Higher Education, EQAR) и реестр Азиатско-Тихоокеанского региона (the Asia-Pacific Quality Register, APQR). На европейском уровне существуют европейские стандарты и руководства по гарантиям качества в Европейском пространстве высшего образования (ESG), в Азиатско-Тихоокеанском регионе - the Chiba Principles, а также международное руководство INQAHEE для хорошей практики - GGP UNESCO. [9] Эти документы регламентируют общие принципы формирования национальных систем гарантии качества, взаимоотношения основных участников. Какое влияние существование международных сетей, агентств и реестров, разработанных ими стандартов и руководств оказывает на российскую национальную систему гарантий качества в высшем образовании?
Федеральное государственное бюджетное учреждение «Национальное аккредитационное агентство в сфере образования» (ФБГУ «Росаккред-агентство») является полноправным членом нескольких европейских и международных организаций, в сферу деятельности которых входит гарантия качества высшего образования. Таким образом, обязательная процедура внешней оценки качества образования - государственная аккредитация образовательных программ - осуществляется с учетом международного опыта.
Добровольная процедура внешней оценки качества образования -международная аккредитация образовательных программ - характеризуется в вышеприведенном контексте некоторыми особенностями. Международная аккредитация - необходимое условие и основа интернационализации национальных систем гарантии качества высшего образования. [8] При проведении процедуры оператор - аккредитационное агентство применяет международные стандарты, приглашает для уча-
стия в процедуре международных экспертов, которые работают вместе с национальными экспертами для обеспечения объективности оценки. Независимость оценки обеспечивается вышеупомянутым механизмом формирования экспертной панели, включающей экспертов - представителей академического и профессионального сообщества, работодателей. Существенным дополнением является обязательность включения в состав панели представителей студенческого сообщества, это обязательное требование европейских стандартов. Создание добавленной ценности в данном случае определяется степенью доверия к аккредитационному агентству, признанием решений по итогам процедуры. Решение о вступлении в сеть или реестр агентств по гарантиям качества для агентства носит добровольный характер, но вышеуказанное членство существенно влияет на репутацию агентства. Таким образом, признание результатов аккредитационной экспертизы зависит от признания агентства сетью по гарантиям качества. Например, свидетельство об аккредитации со знаком качества (APQN Quality Label) может составить конкурентное преимущество образовательной программы с учетом географического аспекта - региональной принадлежности образовательной организации и наличия контингента иностранных студентов Азиатско-Тихоокеанского региона, направлений академической мобильности студентов и партнерских связей с другими университетами.
В целях аккредитации совместных образовательных программ (СОП) применяется несколько иной механизм. Европейский консорциум по аккредитации определил совместный диплом как «один документ, признанный на национальном уровне в качестве официально признаваемого диплома/степени совместной программы и подписанный уполномоченными лицами, представляющими вузы, участвующие в выдаче совместных дипломов/степеней». [8] Для организации процедуры совместной международной аккредитации требуется серьезная подготовка, так как участвуют не отдельные представители международного экспертного сообщества, а международное аккредитационное агентство. [7] Требуется согласовать и стандарты, и критерии оценки, и многое другое с национальным агентством - оператором. Решение принимается также двумя сторонами, включая оформление свидетельства о международной аккредитации, присвоение знака качества. Процедура сложная и длительная, как свидетельствуют специалисты образовательных организаций -непосредственных участников, но и создающая добавленную ценность также путем создания конкурентных преимуществ аккредитуемой образовательной программы, в том числе и на международном рынке обра-
зовательных услуг. [6] Любопытным фактом является то, что методология сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений разработана в 2011-2012 гг. Для параметра «качество обучения» был предложен индикатор «доля образовательных программ с международной аккредитацией». [6] Таким образом, результат экспертизы на программном уровне учитывался при оценке на институциональном уровне с целью рейтингования. В настоящее время для научно-исследовательских университетов применяется рейтинг QS, используются только индикаторы ресурсов при оценке международной деятельности: это индикаторы долей иностранных преподавателей и иностранных студентов в университете. [5] С учетом одной из целей проведения международной аккредитации - привлечения иностранных студентов - можно отметить, что добавленная ценность экспертизы заключается и в улучшении позиции университета в глобальном рейтинге.
Рейтинг образовательных программ, возможность построения которого определена Законом об образовании, реализуется в рамках проекта «Лучшие образовательные программы инновационной России». [2] Оценка отдельных образовательных программ отдельных образовательных организаций является отличительной чертой данного проекта, выше было показано, что существующие рейтинги оценивают организацию в целом. Следует учитывать, что с формальной точки зрения описываемый проект не является рейтингом; зарубежная практика рейтингования, давно сложившаяся, предполагает оценку объективности и валидности методики рейтингования на основе Берлинских принципов. Качественное ранжирование должно удовлетворять требованиям Международной группы экспертов IREG, это задачи будущих модельных методологий национальных рейтингов образовательных программ. [4]
Основной целью составления рейтингов, проведения конкурсов, различных индексов в области качества является вовлечение организаций во внедрение различных моделей гарантий качества. Учитывая возрастающую роль международных сетей по гарантиям качества высшего образования, распространенную практику привлечения международных экспертов и международных агентств к процедурам международной аккредитации образовательных программ, собственно механизм проведения этих процедур и вопросы признания их результатов, представляется целесообразным инициировать разработку методологии сетевых рейтингов образовательных программ различных образовательных организаций.
СПИСОК ЛИТЕРАТУРЫ
1) Разработка комплексного подхода к оценке качества образования /
B. В. Азарьева, А. Б. Звездова, Е. С. Мартюкова // Качество. Инновации. Образование. - 2016. - № 8-10 (135-137). - С. 5-10.
2) О новом концептуальном подходе к выбору лучших образовательных программ / В. А. Болотов, Г. Н. Мотова, В. Г. Наводнов, О. Е. Рыжакова // Высшее образование в России. - 2016. - № 11 (206). - С. 5-16.
3) Каропа, Е. Модель личностного развития «Окно Джохари» / Егор Каро-па, Ирина Каропа // Эннеаграмма [Электронный ресурс]. - Режим доступа : http://ennea-training.ru/enneagramma/Okno-Johari.pdf.
4) Проект модельной методологии ранжирования российских вузов / Л. В. Заварыкина, А. С. Лопатина, О. В. Перфильева // Вестник международных организаций. - 2012. - № 1 (36). - С. 122-155.
5) Сравнительный анализ международных методологий ранжирования высших учебных заведений / Л. В. Заварыкина, А. С. Лопатина, О. В. Перфильева // Вестник международных организаций. - 2012. - № 1 (36). -
C. 70-121.
6) Загороднюк, О. В. Профессионально-общественная аккредитация образовательных программ: опыт участия / О. В. Загороднюк // Новые технологии оценки качества образования : сб. материалов XI Форума экспертов в сфере профессионального образования / под общей ред. Г. Н. Мото-вой. - М. : Гильдия экспертов в сфере профессионального образования, 2016. - С. 34-39.
7) Матвеева, О. А. Ценностный подход как неотъемлемый методологический компонент при согласовании совместных международных стандартов оценки качества образовательных программ / О. А. Матвеева // Новые технологии оценки качества образования : сб. материалов XI Форума экспертов в сфере профессионального образования / под общей ред. Г. Н. Мотовой. - М. : Гильдия экспертов в сфере профессионального образования, 2016. - С. 53-56.
8) Мотова, Г. Н. Развитие интернационализации в сфере гарантии качества высшего образования / Г. Н. Мотова // Аккредитация в образовании. - 2016. - № 4 (88). - С. 24-28.
9) Navodnov, V. The balance of stakeholder interests in the procedures of HE quality evaluation / V. Navodnov, G. Motova // Globalization and Diversification of Quality Assurance of Higher Education : Academic Proceeding of 2015 APQN Conference, 2015. - P. 389-391.
