CC BY
6
ISSN 2304-120X
ниепт
научно-методический электронный журнал
2024, № 09 (сентябрь) Раздел 5.8. Педагогика
ART 241140 DOI: 10.24412/2304-120X-2024-11140 УДК 378.14:37.072
Квалиметрический подход к построению системы оценки качества сетевых образовательных программ
Qualimetric approach to building a quality assessment system for network educational programs
Автор статьи
I
Author of the article
Кислякова Елена Васильевна,
кандидат педагогических наук, декан физико-математического факультета ФГБОУ ВО «Смоленский государственный университет», г. Смоленск, Российская Федерация [email protected] ORCID: 0000-0001-7569-0665
Elena V. Kislyakova,
Candidate of Pedagogical Sciences, Dean of the Faculty of Physics and Mathematics, Smolensk State University, Smolensk, Russian Federation [email protected] ORCID: 0000-0001-7569-0665
Конфликт интересов
Conflict of interest statement
Конфликт интересов не указан
Conflict of interest is not declared
Для
цитирования
I
For citation
Кислякова Е. В. Квалиметрический подход к построению системы оценки качества сетевых образовательных программ // Научно-методический электронный журнал «Концепт». - 2024. - № 09. - С. 96-110. - URL: https://e-koncept.ru/2024/241140.htm - DOI: 10.24412/2304-120X-2024-11140
E. V. Kislyakova, Qualimetric approach to building a quality assessment system for network educational programs // Scientific-methodological electronic journal "Kon-cept". - 2024. - No. 09. - P. 96-110. - URL: https://e-koncept.ru/2024/241140.htm - DOI: 10.24412/2304-120X-2024-11140
Поступила в редакцию Received 11.06.24 Получена положительная рецензия Received a positive review 18.07.24
Принята к публикации Accepted for publication 18.07.24 Опубликована Published 30.09.24
Creative Commons Attribution 4.0 International (CC BY 4.0) © Кислякова Е. В., 2024
Аннотация
Abstract
L
Сетевая форма реализации образовательных программ приобретает все большую популярность, особенно в региональных университетах, так как позволяет не только открывать новые, востребованные направления подготовки в интересах экономики региона, но и существенно повысить качество образования за счет привлечения к образовательному процессу преподавателей из ведущих университетов и использования ресурсной базы профильных предприятий. Механизмы реализации сетевых программ достаточно подробно определены в федеральных нормативных документах, однако существуют «пробелы» в вопросах оценки качества. На сегодняшний день не существует нормативно закрепленной методики оценки качества сетевых программ, в научной литературе представлены авторские подходы к проблеме, но они, как правило, анализируют отдельные аспекты, чаще всего в области ресурсного обеспечения. Поэтому рассматриваемая в статье проблема построения системы оценки качества сетевых программ является актуальной. Цель исследования - разработка модели внутренней системы оценки качества сетевой образовательной программы на основе квалиметриче-ского подхода. Квалиметрический подход хорошо сочетается с сетевой технологией, так как последняя рассматривается именно как инструмент повышения качества образования. В результате исследования предложена модель системы оценки качества сетевой программы, построенная на основе цикла Шухарта - Де-минга PDCA. Модель содержит четыре основных этапа, на каждом из которых осуществляется оценка качества трех обобщенных показателей: качество сетевого взаимодействия, качество образовательной программы и ресурсного обеспечения, качество подготовки обучающихся. Для мониторинга качества сетевой программы в процессе реализации разработана иерархическая трехуровневая система показателей качества, определена шкала и методика их оценивания, в том числе предложена формула расчета комплексного показателя качества программы и шкала интерпретации полученных значений. Предложенная методика прошла апробацию на сетевой программе физико-математического факультета Смоленского государственного университета. Результаты исследования обладают научной новизной, так как представляют авторскую концепцию комплексной оценки качества сетевой программы, построенной на основе квалиметрического подхода. Теоретическая значимость исследования заключается в разработке динамической итерационной модели оценки качества сетевой программы, которая может использоваться в дальнейших исследованиях по данной проблематике. Практическая значимость определена перспективами использования разработанной системы показателей и методик их определения при построении внутренней системы оценки качества и разработке локальных нормативных актов образовательной организации.
The network form of educational programs is becoming increasingly popular, especially in regional universities, as it allows to open new programs in the interests of the region's economy and significantly improve the quality of education by attracting professors from top universities and using the resource base of specialized enterprises. The mechanisms for implementing network programs are defined in sufficient detail in federal regulatory documents, but there are "gaps" in issues of quality assessment. Today there is no normatively established methodology for assessing the quality of network programs; the scientific literature presents the authors' approaches to the problem, but they, as a rule, consider individual aspects, most often in the field of resource provision. Therefore, the problem of constructing a system for assessing the quality of network programs considered in the article is relevant. The purpose of the study is to develop a model of an internal system for assessing the quality of a network educational program based on a qualimetric approach. The qualimetric approach combines well with network technology, since the latter is considered precisely as a tool for improving the quality of education. As a result of the study, a model of a network program quality assessment system was proposed, built on the basis of the Shewhart-Deming "PDCA" cycle. The model includes four main stages, at each of which the quality of three generalized indicators is assessed: the quality of network interaction, the quality of the educational program and resource provision, and the quality of student training. To monitor the quality of a network program during implementation, a hierarchical three-level system of quality indicators has been developed, a scale and methodology for their evaluation have been defined, including a formula for calculating a comprehensive indicator of program quality and a scale for interpreting the obtained values. The proposed methodology was tested on the network program of the Faculty of Physics and Mathematics of Smolensk State University. The results of the study can be used by educational organizations when developing their own systems for internal assessment of the quality of network educational programs, as well as local regulations governing the implementation of such programs. The results of the study are scientifically novel, as they represent the author's original concept of a comprehensive assessment of the quality of a network program based on a qualimetric approach. The theoretical significance of the study lies in the development of a dynamic iterative model for evaluating the quality of a network program, which can be used in further research on this issue. The practical significance is determined by the prospects of using the developed system of indicators and methods of their determination in building an internal quality assessment system and developing local regulations of an educational organization.
Ключевые слова
Key words
L
сетевая форма реализации образовательных программ, сетевые образовательные программы, оценка качества сетевых программ, квалиметрический подход к оценке качества образовательных программ, комплексный показатель качества сетевой программы
network form of educational programs implementation, network educational programs, assessment of the network programs quality, qualimetric approach to assessing the quality of educational programs, comprehensive indicator of the quality of a network program
Благодарности
_ Acknowledgements
Автор выражает благодарность генеральному директору А. В. Зайцеву и сотрудникам Смоленского научно-инновационного центра радиоэлектронных систем «Завант» за помощь в подготовке статьи.
The author expresses her gratitude to the General Director A.V. Zaitsev and the staff of the Smolensk Scientific and Innovative Center for Radioelectronic Systems "Zavant" for their help in preparing the article.
Введение / Introduction
Сегодня сетевые образовательные программы в высшем образовании находятся на пике популярности. Интерес университетов к таким программам обусловлен не только административными требованиями, но и уникальными возможностями, создаваемыми для развития передовых практико-ориентированных образовательных программ. Среди основных преимуществ сетевых программ можно отметить: участие в образовательном процессе преподавателей из различных организаций, систематическое привлечение к проведению занятий специалистов-практиков, использование ресурсов и современной материальной базы профильных организаций, возможность совмещения двух и более образовательных программ и пр.
Законодательное оформление сетевая форма реализации образовательных программ получила в 2012 году в рамках федерального закона № 273-Ф3 от 21 декабря 2012 года «Об образовании в Российской Федерации» (статьи 13 и 15) [1]. Однако конкретные механизмы реализации таких программ были выработаны только в 2020 году и оформлены приказом Министерства науки и высшего образования РФ и Министерства просвещения РФ № 882/391 от 5 августа 2020 года «Об организации и осуществлении образовательной деятельности при сетевой форме реализации образовательных программ» [2]. Право образовательной организации реализовывать программу в сетевой форме определяют также федеральные государственные образовательные стандарты высшего образования (далее - ФГОС ВО) в п. 1.6 [3]. Данные документы следует считать базовыми при реализации образовательной программы в сетевой форме.
За последние годы образовательные организации накопили достаточный опыт в сфере проектирования, разработки и реализации сетевых программ, но при этом испытывают серьезные затруднения с оценкой их качества. Перечисленные выше нормативные документы не определяют специфику процедур оценки качества именно сетевых программ. Внешние процедуры контроля качества образования, такие как лицензирование образовательной деятельности, государственная аккредитация, профессионально-общественная аккредитация, независимая оценка качества и другие, также не включают в себя механизмы оценки и показатели качества именно сетевых программ.
Целью данного исследования является разработка модели внутренней системы оценки качества сетевой образовательной программы на основе квалиметрического подхода. Квалиметрический подход наилучшим образом сочетается с сетевой технологией, так как последняя появилась и развивалась на протяжении двух последних десятилетий именно как механизм повышения качества образовательного процесса и его результатов.
Задачи исследования:
1) провести анализ существующих методов оценки качества сетевых программ;
2) разработать динамическую модель системы оценки качества для сетевой программы на основе цикла Шухарта - Деминга PDCA;
3) предложить механизм определения и интерпретации комплексного показателя качества для сетевой образовательной программы.
Обзор литературы / Literature review
Как показывает анализ научных публикаций, изучению вопроса оценки качества образования отечественные и зарубежные исследователи уделяют достаточно много внимания. Ряд исследований посвящен особенностям применения квалимет-рического подхода к оценке качества различных этапов и аспектов образовательного процесса. Рассмотрим некоторые из них.
Достаточно большое количество работ посвящено оценке качества высшего и дополнительного образования. Среди них выделим работу А. Е. Марона, Л. В. Резинки-ной и А. А. Моштакова, которые предлагают алгоритм оценки качества процесса сопровождения непрерывной подготовки педагогов, включающий критерии и показатели оценки эффективности [4]. Работы В. М. Гребенниковой посвящены исследованию применения методов квалиметрии к оценке качества дополнительного профессионального образования [5]. Г. М. Туйчиева [6] и А. А. Мирошниченко [7] рассматривают возможности применения квалиметрического подхода к процессу воспитания. В. Г. Миненко и соавторы предлагают методику применения методов квалимет-рии для оценки качества педагогических технологий [8]. О. Ф. Шихова и Ю. А. Шихов рассматривают квалиметрические методы применительно к оценке сформированно-сти компетенций у выпускников вузов [9].
Среди зарубежных авторов популярен субъектный подход к оценке качества образовательного процесса. Э. Беттинсон и соавторы [10] рассматривают проблему оценки качества выпускников бизнес-школ с точки зрения потенциальных работодателей, Х. Чун [11] - с позиции студента, а А. Топузьян и Н. Маркосьян [12] - с позиции преподавателя. Ряд исследований посвящен авторским концепциям оценки качества образовательного процесса, в том числе в нестандартных ситуациях. М. А. Алдхобайб [13] исследует различные интерпретации понятия «качество» и их влияние на успех контроля качества в образовательной организации. Исследование Дж. С. да Сильва и соавторов посвящено проблеме сохранения и оценки качества образования при реорганизации и объединении университетов [14]. А. Пурванто и Дж. Т. Пурба рассматривают качество электронной виртуальной среды вуза на основе уровня успеваемости студентов и удобства предлагаемых механизмов взаимодействия субъектов [15].
В последнее время в научных кругах проблема оценки качества сетевых образовательных программ начинает обсуждаться все активнее. Рассмотрим некоторые из наиболее важных, на наш взгляд, исследований на данную тему.
Работа авторов Г. С. Джарасовой, В. П. Демкина и Н. А. Испулова [16], которая относится к началу появления сетевых программ, рассматривает сетевую форму как инновационную, посредством которой можно достичь нового (более высокого) качества высшего образования прежде всего за счет лучшего ресурсного обеспечения образовательного процесса. Ю. А. Бурдельная [17] считает, что сетевая форма является действенным механизмом повышения эффективности образовательного процесса, так как позволит сочетать в рамках одной программы не только образовательную, но и воспитательную, развивающую и коррекционную работу с обучающимися.
В ряде работ представлены авторские подходы к оценке качества сетевых программ. Так, в статье А. И. Гусевой и Е. Б. Весны рассмотрена система оценки, включающая количественные показатели и индикаторы результативности и эффективности сетевой программы [18]. В исследовании Е. А. Ходыревой приводятся базовые критерии оценки качества сетевой программы в соответствии с требованиями ФГОС ВО, которые носят достаточно общий характер [19]. А. В. Нужина и Т. А. Табишев в своей работе рассматривают применение методов и процедур международной аккредитации к совместным образовательным программам, выделяя три основных «макроблока требований»: систему управления, ресурсы и обеспечение, компетентностно-квалификационную модель выпускника [20]. Г. Н. Мотова и Н. А. Аносова анализируют технологию общественно-профессиональной экспертизы сетевых образовательных программ профессио-
нальных модулей, при этом для формирования показателей качества предлагается использовать комплексный подход, однако в работе отсутствует методика, в соответствии с которой делается итоговое заключение о соответствии/ несоответствии программы [21].
В доступных нам для анализа зарубежных исследованиях акцент делается на оценке качества образовательных программ с позиции усиления их практической направленности. Так, в работе Дж. Бенгсон и Дж. Ланнеблад рассматривается проблема создания совместных обучающих программ в школах Швеции, а также методы их оптимизации и рационализации через введение института координаторов [22]. Исследование К. Ламмерт и Э. А. Акуоки посвящено изучению механизмов совмещения образовательной и профессиональной деятельности с целью улучшения качества практической подготовки студентов педагогических специальностей [23]. В работе Э. Немины и соавторов также приводится анализ эффективности сетевых образовательных программ для подготовки учителей [24]. Исследование Ф. Похленза, С. Берндт и Дж. Хартмана посвящено поиску факторов, определяющих успешность и результативность сетевых программ в высшем образовании [25].
Таким образом, в научной литературе существует достаточно много авторских подходов к оценке качества сетевых программ, но, как правило, они не являются системными и рассматривают только отдельные аспекты программы, чаще всего ресурсное обеспечение. Нормативная база в области оценки качества образовательных программ не содержит специальных требований, распространяющихся на сетевые программы, поэтому для оценки качества таких программ образовательные организации используют общие методики. В то же время следует признать, что сетевая форма имеет свои особенности, поэтому требует разработки особой методологии оценки качества.
Методологическая база исследования / Methodological base of the research
Методологической базой исследования выступает квалиметрический подход, который наилучшим образом сочетается с сетевой технологией, так как последняя появилась и развивалась на протяжении двух последних десятилетий именно как механизм повышения качества образовательного процесса и его результатов.
Квалиметрия - это наука об измерении и количественной оценке качества процессов и объектов любой природы [26]. Поэтому методы квалиметрии могут быть применены и для оценки качества сетевых образовательных программ.
С точки зрения квалиметрии качество - это совокупная характеристика основных свойств объекта, определяющих способность удовлетворять потребности потребителя наиболее приемлемым и экономичным способом [27].
При этом не стоит забывать, что у высшего образования всегда несколько потребителей - это студенты, потенциальные работодатели, государство, общество в целом и прочее, и каждый из них может иметь свои отличающиеся от других потребности. Поэтому квалиметрический подход - это всегда подход комплексный.
Применение квалиметрического подхода в образовании сопряжено с рядом трудностей, так как изначально методы квалиметрии разрабатывались для промышленной продукции, обладающей конкретными и измеримыми характеристиками. Характеристики и свойства образовательной программы не так легко определить количественно, поэтому часто качество оценивают на основе экспертных методов [28, 29], а они всегда приносят в оценку элемент субъективности.
Перечислим основные методологические принципы квалиметрического подхода.
1. Методы квалиметрии должны быть полезными, приводить к правильным результатам, а также включать в себя достоверную систему интерпретации количественных оценок, которая позволит улучшить качество программы.
2. Показатели качества, положенные в основу оценки, должны выбираться с учетом мнения всех заинтересованных сторон.
3. Оценка качества основывается на сравнении с эталоном - базовым объектом, качество которого признано наивысшим в данных условиях. Выполнение этого принципа достаточно сложно обеспечить для сетевой программы, поэтому можно либо выбрать наилучшую из реализуемых сетевых программ, либо прибегнуть к методу экспертной оценки базовых показателей.
4. Показатели качества имеют иерархическую структуру, при этом показатель любого последующего уровня является обобщением предыдущих. Например, единичные показатели качества: результаты текущей и промежуточной успеваемости студентов, контрольных измерений уровня сформированности компетенций и прочие - могут быть объединены в обобщенный показатель более высокого уровня - «качество реализации программы».
5. Все показатели качества должны быть приведены к одной размерности или же выражены в безразмерных единицах, например в баллах по 10-балльной шкале, что удобно как для оценки успеваемости, так и для экспертной оценки.
6. При определении комплексного показателя качества необходимо определить и учитывать весовые коэффициенты единичных показателей, сумма которых должна быть равна единице. Для определения весовых коэффициентов обычно применяется метод экспертной оценки.
7. Качество целого объекта всегда обусловлено качеством его составных частей. Так, качество сетевой образовательной программы зависит от качества студентов, кадрового состава, материально-технического и учебно-методического обеспечения и пр.
Исследование осуществлялось в три этапа.
На первом этапе была построена динамическая модель системы оценки качества для сетевой программы. В основу модели положен итеративный цикл Шухарта - Де-минга, получивший название PDCA (Plan-Do-Check-Act) [30].
На втором этапе была разработана иерархическая система показателей качества сетевой программы, определена шкала и методика их оценивания, а также механизм определения и интерпретации значений комплексного показателя качества программы. При разработке системы оценивания мы исходили из предпосылки, что оценка качества должна проводиться систематически и комплексно, поэтому оптимальным методом для ее реализации на практике является мониторинг [31, 32].
На третьем этапе была проведена апробация разработанных подходов и методов на примере одной из сетевых образовательных программ, реализуемых на физико-математическом факультете Смоленского государственного университета.
Результаты исследования / Research results
Для разработки модели системы оценки качества нами был выбран цикл Шу-харта - Деминга PDCA, широко известный в практике систем управления качеством и положенный в основу стандарта ГОСТ Р ИСО 9001-2015 «Системы менеджмента качества. Требования» [33]. Цикл PDCA - это итерационный цикл, включающий четыре основных этапа: Plan - планирование, Do - выполнение плана, Check - контроль, Act -
улучшение. После того как завершается четвертый этап, начинается первый, но уже на новом, более высоком уровне качества.
Первый этап «Планирование» включает в себя выбор организаций-участников, подписание договора о сетевой форме реализации программы, проектирование и разработку образовательной программы, обеспечение необходимых условий (кадровых, материальных, финансовых и пр.) ее реализации, а также набор студентов на программу. С точки зрения управления качеством на данном этапе необходимо провести следующие мероприятия:
1) оценка организаций-участников, результатом которой должна стать твердая уверенность в том, что партнеры обладают необходимыми компетенциями и/или ресурсами для реализации совместной программы;
2) оценка качества образовательной программы, включающая в себя не только проверку соответствия нормативным документам, но и более глубокую экспертную оценку соответствия программы лучшим отечественным и мировым образовательным практикам, достижениям в области науки, запросам экономики региона, в том числе оценка условий реализации программы в части необходимого учебно-методического обеспечения, материально-технических условий и кадров;
3) оценка качества поступающих на программу, так как именно от уровня контингента студентов во многом зависит успешность реализации программы.
Второй этап «Выполнение» - самый длительный этап цикла, соответствует реализации образовательной программы от приема обучающихся до выпуска. На данном этапе контроль качества должен стать регулярным в форме мониторинга. Основные мероприятия по оценке качества на данном этапе:
1) текущий контроль деятельности организаций-участников в части соответствия требованиям нормативных документов, сетевого договора и содержанию образовательной программы;
2) контроль за соответствием хода образовательного процесса требованиям нормативных документов и содержанию образовательной программы, в том числе в части ресурсного обеспечения;
3) контроль результатов освоения студентами образовательной программы (текущая и промежуточная аттестация, контрольные замеры уровня сформированности компетенций и пр.).
Третий этап «Контроль» предполагает итоговую оценку качества реализации образовательной программы. На данном этапе могут быть запланированы следующие мероприятия по оценке качества:
1) итоговая оценка эффективности работы организаций - участников сетевой программы;
2) итоговая оценка образовательной программы, в том числе с позиции ее результативности и эффективности;
3) итоговая оценка результатов освоения студентами образовательной программы, включающая независимую оценку сформированности компетенций.
Четвертый этап «Улучшение» предполагает пересмотр сетевого договора, образовательной программы и условий ее реализации, требований к поступающим на программу на основании результатов контроля качества, полученных на всех предыдущих этапах. Основные мероприятия данного этапа:
1) обновление перечня организаций - участников сетевого взаимодействия, а также требований к таким организациям;
2) актуализация и обновление образовательной программы, в том числе коррекция и улучшение ресурсного обеспечения;
3) обновление требований к поступающим на программу, а также контрольных материалов и процедур проведения текущего, промежуточного и итогового контроля.
Основными механизмами оценки качества на всех четырех этапах будут мониторинг и анализ его результатов, внутренние аудиты, тестирование и иные формы оценки уровня сформированности компетенций, опросы основных стейкхолдеров.
Для каждого из этапов должны быть разработаны показатели оценки качества и методика их определения. На наш взгляд, наиболее пристального внимания требует методика проведения мониторинга на этапе реализации программы.
Показатели качества сетевой программы должны удовлетворять ряду условий.
1. Показатели должны отображать требования нормативных документов, прежде всего ФГОС ВО.
2. Показатели должны быть измеримыми (или оцениваемыми).
3. Система не должна содержать слишком большое количество показателей, чтобы не усложнять анализ результатов мониторинга.
4. Показатели должны быть полезными не только для текущей оценки качества образовательной программы, но и для ее улучшения.
Схематически предложенная система оценки качества изображена на рисунке.
Г N Планирование 1) Оценка организаций-участников (аудит) _. 2) Оценка образовательной программы и \ условий ее реализации (аудит) * 3) Оценка качества поступающий на программу (анализ результатов приема) ^ У Выполнение 1) Контроль организаций-участников (мониторинг) 2) Контроль за ходом образовательного процесса (мониторинг) 3) Контроль результатов освоения программы (тестирование, анализ успеваемости)
ж ж
/- Л Улучшение 1) Обновление перечня организаций участников и требований к ним, 2) Актуализация и обновление образовательной программы, в том числе л улучшение ресурсов, (_ 3) Обновление требований к поступающим, процедур контроля и аттестации /- N Контроль 1) Оценка эффективности работы организаций-участников (анализ) 2) Оценка эффективности и результативности образовательной программы (анализ) 3) Итоговая оценка результатов освоения программы (ГИА. НОК. анализ трудоустройства) _)
Цикл управления качеством сетевой образовательной программы
Система мониторинга качества, в соответствии с представленной выше моделью, включает три группы показателей, каждая из которых содержит пять единичных показателей качества. Таким образом, комплексная оценка качества складывается из 15 единичных показателей. Рассмотрим показатели качества и критерии их оценивания в рамках каждой из групп.
Группа 1 - показатели качества сетевого взаимодействия, характеризуют качество реализации программы организацией-участником (табл. 1). В зависимости от способа участия организации-партнера в сетевой программе (образовательная организация, реализующая часть программы/организация, предоставляющая ресурсы) показатели данной группы могут варьироваться. Например, если партнер только предоставляет ресурсы для реализации программы, то показатель 1.2 войдет в комплексную оценку с нулевым весовым коэффициентом.
Таблица 1
Показатели качества сетевого взаимодействия
Показатели качества Критерии оценивания Баллы
П. 1.1. Выполнение обязательств по сетевому договору Организация-участник выполняет обязательства в соответствии с сетевым договором: - в полном объеме; - не в полном объеме 10 0
П. 1.2. Кадровое обеспечение части программы, реализуемой организацией-участником Кадры, участвующие в реализации программы со стороны организации участника, соответствуют требованиям п. 4.4.3, 4.4.4 и 4.4.5 ФГОС ВО: - в полном объеме (100%-ное соответствие); - не в полном объеме (соответствие 80% и выше); - не соответствуют (соответствие ниже 80%) 10 5 0
П. 1.3. Материально-техническое обеспечение части программы, реализуемой организацией-участником на своей базе Материально-техническая база, предоставляемая организацией-участником, соответствует требованиям, содержащимся в рабочих программах дисциплин и практик: - в полном объеме (100%-ное соответствие); - не в полном объеме (соответствие 80% и выше); - не соответствует (соответствие ниже 80%) 10 5 0
П. 1.4. Практическая подготовка обучающихся на базе организации-участника Доля занятий, проводимых организацией-участником в форме практической подготовки, от общего количества занятий: - 50% и более; - от 30% до 50%; - менее 30% 10 5 0
П. 1.5. Удовлетворенность студентов качеством обучения на базе организации-участника Доля студентов, высказавших по результатам опроса удовлетворенность частью образовательного процесса, проводимого организацией-участником: - 80% и более; - от 50% до 80%; - менее 50% 10 5 0
Группа 2 включает в себя показатели качества образовательной программы и условий ее реализации (учебно-методического, материально-технического и кадрового обеспечения) в целом (табл. 2). Ответственность за качество программы несет базовая организация. Таблица 2 Показатели качества образовательной программы и условий ее реализации
Показатели качества Критерии оценивания Баллы
П. 2.1. Соответствие содержания, реализуемого в ходе образовательного процесса, утвержденной программе Содержание образования, реализуемое в ходе образовательного процесса, соответствует содержанию, определенному в рабочих программах дисциплин и практик: - в полном объеме; - не в полном объеме 10 0
П. 2.2. Учебно-методическое обеспечение программы Учебно-методическое обеспечение соответствует требованиям п. 4.2.2, 4.3.3 и 4.3.4 ФГОС ВО в части обеспечения учащихся доступом к ЭИОС, учебной литературе и базам данных, в соответствии с перечнем, приведенным в рабочих программах: - в полном объеме (100%-ное соответствие); - не в полном объеме (соответствие 80% и выше); - не соответствуют (соответствие ниже 80%) 10 5 0
П. 2.3. Материально-технические условия реализации программы Материально-техническая база соответствует требованиям п. 4.2.1, 4.3.1, 4.3.2 ФГОС ВО, а также перечню оборудования и иных ресурсов, содержащемуся в рабочих программах:
- в полном объеме (100%-ное соответствие); 10
- не в полном объеме (соответствие 80% и выше); 5
- не соответствует (соответствие ниже 80%) 0
П. 2.4. Кадровое обеспе- Кадровое обеспечение программы соответствует требованиям
чение п. 4.4.3, 4.4.4 и 4.4.5 ФГОС ВО:
- в полном объеме (100%-ное соответствие); 10
- не в полном объеме (соответствие 80% и выше); 5
- не соответствуют (соответствие ниже 80%) 0
П. 2.5. Удовлетворен- Доля студентов, высказавших по результатам опроса удовле-
ность студентов каче- творенность качеством образования:
ством образования - 80% и более; 10
- от 50% до 80%; 5
- менее 50% 0
Группа 3 - показатели качества подготовки студентов в части промежуточной оценки достижения результатов обучения, определенных в программе (табл. 3).
Таблица 3
Показатели качества подготовки студентов
Показатели качества Критерии оценивания Баллы
П. 3.1. Результаты теку- Средний балл по итогам текущей успеваемости:
щей успеваемости обуча- - от 4,1 до 5,0 балла; 10
ющихся - от 3,0 до 4,0 балла; 5
- менее 3,0 балла 0
П. 3.2. Результаты проме- Средний балл по итогам промежуточной успеваемости:
жуточной успеваемости - от 4,1 до 5,0 балла; 10
обучающихся - от 3,0 до 4,0 балла; 5
- менее 3,0 балла 0
П. 3.3. Результаты кон- Доля обучающихся, выполнивших более 70% контрольного те-
троля уровня сформиро- ста: 10
ванности компетенций - более 75%; 5
- от 50 до 75%; 0
- менее 50%
П. 3.4. Сохранность кон- Доля обучающихся от общего количества поступивших:
тингента обучающихся - более 80%; 10
- от 50 до 80%; 5
- менее 50% 0
П. 3.5. Удовлетворен- Доля работодателей, высказавших по результатам опроса удо-
ность работодателей ка- влетворенность качеством подготовки студентов:
чеством подготовки сту- - 80% и более; 10
дентов - от 50 до 80%; 5
- менее 50% 0
В рамках каждой группы необходимо определить весовые коэффициенты для отдельных показателей. Для нахождения значений весовых коэффициентов обычно используют метод экспертной оценки, результаты которого могут быть обработаны с использованием методики ранжирования. Сумма весовых коэффициентов для каждой группы должна быть равна единице.
Итоговый показатель качества Ук определим на основе методики вычисления комплексного показателя качества по формуле:
„ _ 23=12у=1Пгу • ^¿у
где I - номер группы показателей качества, ] - номер показателя качества, Щ - единичный показатель качества, - весовой коэффициент.
Для интерпретации полученного результата введем уровневую шкалу (табл. 4).
Таблица 4
Уровни качества сетевой образовательной программы
Значение комплексного показателя качества Ук Уровень качества Интерпретация
75-100% Высокий Образовательная программа соответствует всем требованиям
50-74% Средний Образовательная программа частично соответствует требованиям
Менее 50% Низкий Образовательная программа не соответствует требованиям
Разработанная методика применяется на физико-математическом факультете Смоленского государственного университета для оценки качества сетевой образовательной программы по направлению подготовки 11.03.01 «Радиотехника», реализуемой совместно с научно-инновационным центром «Завант». В табл. 5 представлены результаты мониторинга по итогам двух лет реализации.
Таблица 5
Результаты мониторинга качества сетевой образовательной программы
Показатели качества Значения Весовые коэффициенты
июнь 2023 г. июнь 2024 г.
П. 1. Качество сетевого взаимодействия
П. 1.1 10 10 0,3
П. 1.2 10 10 0,1
П. 1.3 10 10 0,3
П. 1.4 5 5 0,1
П. 1.5 5 10 0,2
Итоговая оценка П. 1 85% 90% 1
П. 2. Качество образовательной программы и условий ее реализации
П. 2.1 10 10 0,2
П. 2.2 10 10 0,2
П. 2.3 10 10 0,2
П. 2.4 10 10 0,2
П. 2.5 10 10 0,2
Итоговая оценка П. 2 100% 100% 1
П. 3. Качество подготовки обучающихся
П. 3.1 5 5 0,1
П. 3.2 5 10 0,4
П. 3.3 - - 0
П. 3.4 10 10 0,1
П. 3.5 5 10 0,4
Итоговая оценка П. 3 55% 95% 1
Комплексный показатель качества 80% 95%
Уровень качества Высокий Высокий
Представленные результаты мониторинга являются понятным и наглядным средством не только для оценки существующего уровня качества сетевой образовательной программы, но и для выявления «проблемных точек» с целью принятия необходимых управленческих решений и проведения корректирующих действий.
Заключение / Conclusion
Таким образом, в ходе исследования проведен анализ представленных в отечественной и зарубежной научной литературе подходов к оценке качества сетевых программ, в том числе на основе квалиметрического подхода. Установлено, что ни в нормативной документации, ни в научных работах, доступных для анализа, не представлена комплексная система оценки качества сетевых программ, акцент смещен в сторону отдельных свойств таких программ, чаще всего ресурсного обеспечения.
Результатом исследования стала разработка итерационной модели системы оценки качества сетевой программы, в основу которой положен цикл Шухарта - Де-минга PDCA. Представленная модель является наглядной, позволяет выделить наиболее важные контрольные точки для оценки качества программы, а также своевременно принять необходимые управленческие решения и провести корректирующие действия. Для стадии реализации сетевой программы разработана иерархическая система показателей, положенная в основу регулярного мониторинга качества программы. Определены критерии и шкалы оценивания отдельных показателей качества, а также механизм определения и интерпретации значений комплексного показателя качества программы. Представленный мониторинг используется для оценки качества сетевых образовательных программ, реализуемых на физико--математическом факультете Смоленского государственного университета. Мониторинг позволяет получить объективную информацию о качестве программы в целом и ее отдельных составляющих в частности, а его результаты являются наглядными и простыми в интерпретации.
Ссылки на источники / References
1. Федеральный закон «Об образовании в Российской Федерации» от 29.12.2012 № 273-Ф3 (последняя редакция). - URL: https://www.consultant.ru/document/cons_doc_LAW_140174/
2. Приказ Министерства науки и высшего образования РФ и Министерства просвещения РФ № 882/391 от 5 августа 2020 г. «Об организации и осуществлении образовательной деятельности при сетевой форме реализации образовательных программ». - URL: https://www.garant.ru/products/ipo/prime/doc/74526602/
3. Приказ Министерства образования и науки РФ от 19.09 2017 г. № 931 «Об утверждении федерального государственного образовательного стандарта высшего образования - бакалавриат по направлению подготовки 11.03.01 Радиотехника» (с изменениями и дополнениями). - URL: https://fgosvo.ru/upload-files/FGOS%20VO%203++/Bak/110301_B_3_15062021.pdf
4. Марон А. Е., Резинкина Л. В., Моштаков А. А. Квалиметрический подход к оценке качества поддержки и сопровождения непрерывного образования педагогических кадров: управленческий аспект // Человек и образование. - 2021. - № 4(69). - С. 30-38.
5. Гребенникова В. М., Никитина Н. И., Романова Е. Ю. Качество дополнительного профобразования специалистов «помогающих» профессий и математические методы в его оценки // Современные проблемы науки и образования. - 2015. - № 6. - URL: https://science-education.ru/ru/article/view?id=22956
6. Туйчиева Г. М. Квалиметрический подход в национально-духовном воспитании // Экономика и социум. - 2024. - № 3 (118). - URL: https://www.iupr.ru/_files/ugd/b06fdc_5bcecf9e11934cd8bfc50180e832cb43.pdf?index=true
7. Мирошниченко А. А., Салтыкова М. В. Самооценка результативности воспитательной работы учителя на уроке иностранного языка: квалиметрический подход // Вопросы журналистики, педагогики, языкознания. - 2023. - 42(4). - С. 645-657. - URL: https://doi.org/10.52575/2712-7451-2023-42-4-645-657
8. Миненко В. Г., Хорошун К. В., Романова М. Л., Бус Т. В. Квалиметрические методы анализа педагогических технологий // Ученые записки университета им. П. Ф. Лесгафта. - 2023. - № 2 (216). - С. 292-297.
9. Шихова О. Ф., Шихов Ю. А. Квалиметрический подход к диагностике компетенций выпускников высшей школы // Образование и наука. - 2013. - № 4. - С. 40-57. - URL: https://doi.org/10.17853/1994-5639-2013-4-40-57
10. Bettinson E., Young K., Haven-Tang C. et al. Employers' conceptions of quality and value in higher education // Higher Education. - 2024. - № 87. - P. 1394-1409. - URL: https://doi.org/10.1007/s10734-023-01069-x
11. Chun H., Leem B., Lee J. Service Quality Asymmetric Effect on Student Satisfaction in Korean Higher Education // Asia-Pacific Educcation Research. - 2024. - URL: https://doi.org/10.1007/s40299-024-00841-6
12. Topuzyan A., Markosyan N. Pedagogical qualimetry as a means of measuring the quality of the activities of the main subjects of the pedagogical process // Main Issues Of Pedagogy And Psychology. - 2022. - Vol. 21. - URL: https://aspu.am/website/images/journal/23-26-PB.pdf#page=60
13. Aldhobaib M. A. Quality assurance struggle in higher education institutions: moving towards an effective quality assurance management system // Higher Education. - 2024. - URL: https://doi.org/10.1007/s10734-024-01182-5
14. da Silva J. C., dos Reis E. A., Marcon R. et al. Mergers and acquisitions and educational quality of higher education institutions // Tertiary Education and Management. - 2024. - Vol. 30. - P. 17-44. - URL: https://doi.org/10.1007/s11233-023-09132-z
15. Purwanto A., Purba J. T. Investigating the role digital transformation and human resource management on the performance of the universities // International Journal of Data and Network Science. - 2023. - № 7. - P. 1-16. -URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4490083
16. Демкин В. П., Джарасова Г. С., Испулов Н. А. и др. Сетевое взаимодействие вузов как фактор повышения качества образовательных программ // Открытое и дистанционное образование. - 2014. - № 4. - URL: https://vital.lib.tsu.ru/vital/access/manager/Repository/vtls:000499871
17. Бурдельная Ю. А. Сетевое взаимодействие обеспечит эффективную реализацию образовательных программ // Народное образование. - 2015. - № 6. - С. 106-108.
18. Гусева А. И., Весна Е. Б. Оценка результативности и эффективности сетевых образовательных программ // Современные проблемы науки и образования. - 2013. - № 6. - URL: https://science-education.ru/ru/arti-cle/view?id=10934
19. Ходырева Е. А. Особенности оценки качества реализации сетевых образовательных программ высшего образования // Научно-методический электронный журнал «Концепт». - 2019. - № 6 (июнь). - С. 56-65. -URL: http://e-koncept.ru/2019/191044.htm
20. Нужина А. В., Табишев В. А. Оценка качества организации и осуществления образовательной деятельности по реализации совместных образовательных программ высшего образования (российский и международный опыт) // Общество: социология, психология, педагогика. - 2023. - № 1. - С. 128-133.
21. Мотова Г. Н., Аносова Н. А. Технология общественно-профессиональной экспертизы сетевых образовательных программ профессиональных модулей // Образование и саморазвитие. - 2013. - № 2. - С. 69-75.
22. Bengtsson J., Lunneblad J. To 'patch up' or to 'meet the needs': navigating the politics and visions of 'open school' collaboration and equity work in urban areas in Sweden // Pedagogy, Culture & Society. - 2023. - P. 1-16. - URL: https://doi.org/10.1080/14681366.2023.2185659
23. Lammert C., Akuoko E. A., Kyung Suh J. et al. How Do On-Site Teacher Educators Approach Professional Development? A Study of In-sider/Outsider Hybridity // Pedagogies: An International Journal. - 2023. - P. 1-19. - URL: https://doi.org/10.1080/1554480X.2023.2276772
24. Nemiña E. R., Gillanders C., Leone V., Trigo C. Expanding learning environments in initial teacher education // International Journal of Pedagogies and Learning. - 2022. - Vol. 18(3). - P. 519-533. - URL: https://doi.org/10.1080/1554480X.2022.2065995
25. Pohlenz P., Berndt S., Hartmann J. University Networks for Higher Education Quality Development: Between Mutual Trust and Control // Higher Education Policy. - 2024. - URL: https://doi.org/10.1057/s41307-024-00362-3
26. Федюкин В. К. Квалиметрия. Измерение качества промышленной продукции: учеб. пособие. - М.: КНОРУС, 2013. - 316 с.
27. Федюкин В. К. Квалиметрия. Измерение качества промышленной продукции.
28. Артюхов И. П., Горбач Н. А., Бакшеева С. Л. и др. Экспертные оценки: методология и практика применения // Фундаментальные исследования. - 2012. - № 10-1. - С. 11-15.
29. Чистяков В. А. Анализ методов ранжирования в психолого-педагогических исследованиях // Ученые записки университета Лесгафта. - 2016. - № 2 (132). - С. 197-201.
30. Татаркина Л. А., Карельская Е. В. Система менеджмента качества образования в вузе // Научно-образовательные дискуссии: фундаментальные и прикладные исследования: материалы XXX Всерос. науч.-практ. конф.: в 2 ч. Ч. 1. - Ростов н/Д.: Южный Университет (ИУБиП); ООО «Издательство ВВМ», 2021. - С. 170-175.
31. Киселева Г. Н. Мониторинг качества образования как средство управления для повышения эффективности образовательного процесса // Междисциплинарные исследования: опыт прошлого, возможности настоящего, стратегии будущего. - 2020. - № 1. - С. 103-109.
32. Кисель О. В., Зеркина Н. Н., Босик Г. А. Принципы, функции и средства оценки качества обучения в вузе // Современные проблемы науки и образования. - 2020. - № 4. - С. 40-40. - URL: https://web.ar-chive.org/web/20201105163502id _/https://science-education.ru/pdf/2020/4/29996.pdf
33. ГОСТ Р ИСО 9001-2015 «Системы менеджмента качества. Требования». - URL: http://expromtrans.ru/as-sets/images/uploads/gost-r-iso-9001-2015.pdf
1. Federal'nyj zakon "Ob obrazovanii v Rossijskoj Federacii" ot 29.12.2012 № 273-FZ (poslednyaya redakciya) [Federal Law "On Education in the Russian Federation"dated 12/29/2012 No. 273-FL]. Available at: https://www.con-sultant.ru/document/cons_doc_LAW_140174/ (in Russian).
2. Prikaz Ministerstva nauki i vysshego obrazovaniya RF i Ministerstva prosveshcheniya RF № 882/391 ot 5 avgusta 2020 g. "Ob organizacii i osushchestvlenii obrazovatel'noj deyatel'nosti pri setevoj forme realizacii obra-zovatel'nyh program" [Order of the Ministry of Science and Higher Education of the Russian Federation and the Ministry of Education of the Russian Federation No. 882/391 dated August 5, 2020 "On the organization and implementation of educational activities in the online form of educational programs"]. Available at: https://www.garant.ru/products/ipo/prime/doc/74526602/ (in Russian).
3. Prikaz Ministerstva obrazovaniya i nauki RF ot 19.09 2017 g. № 931 "Ob utverzhdenii federal'nogo gosudarstven-nogo obrazovatel'nogo standarta vysshego obrazovaniya - bakalavriat po napravleniyu podgotovki 11.03.01 Ra-diotekhnika" (s izmeneniyami i dopolneniyami) [Order of the Ministry of Education and Science of the Russian Federation dated 19.09 2017 No. 931 "On approval of the Federal State Educational Standard of Higher Education - Bachelor's degree in the area of training 11.03.01 Radio Engineering" (with amendments and additions)]. Available at: https://fgosvo.ru/uploadfiles/FGÜS%20VÜ%203++/Bak/110301_B_3_15062021.pdf (in Russian).
4. Maron, A. E., Rezinkina, L. V., & Moshtakov, A. A. (2021). "Kvalimetricheskij podhod k ocenke kachestva pod-derzhki i soprovozhdeniya nepreryvnogo obrazovaniya pedagogicheskih kadrov: upravlencheskij aspect" [Quali-metric approach to assessing the quality of support of continuous education of teaching staff: management aspect], Chelovek i obrazovanie, № 4(69), pp. 30-38 (in Russian).
5. Grebennikova, V. M., Nikitina, N. I., & Romanova, E. Yu. (2015). "Kachestvo dopolnitel'nogo profobrazovaniya specialistov "pomogayushchih" professij i matematicheskie metody v ego ocenki" [The quality of additional vocational education of specialists in "helping" professions and mathematical methods in its assessment], Sov-remennye problemy nauki i obrazovaniya, № 6. Available at: https://science-education.ru/ru/arti-cle/view?id=22956 (in Russian).
6. Tujchieva, G. M. (2024). "Kvalimetricheskij podhod v nacional'no-duhovnom vospitanii" [Qualimetric approach in national-spiritual education], Ekonomika i socium, № 3 (118). Available at: https://www.iupr.ru/_files/ugd/b06fdc_5bcecf9e11934cd8bfc50180e832cb43.pdf?index=true (in Russian).
7. Miroshnichenko, A. A., & Saltykova, M. V. (2023). "Samoocenka rezul'tativnosti vospitatel'noj raboty uchitelya na uroke inostrannogo yazyka: kvalimetricheskij podhod" [Self-assessment of the effectiveness of the teacher's educational work in a foreign language lesson: a qualimetric approach], Voprosy zhurnalistiki, pedagogiki, yazykoz-naniya, 42(4), pp. 645-657. Available at: https://doi.org/10.52575/2712-7451-2023-42-4-645-657 (in Russian).
8. Minenko, V. G., Horoshun, K. V., Romanova, M. L., & Bus, T. V. (2023). "Kvalimetricheskie metody analiza pedagogicheskih tekhnologij" [Qualimetric methods of pedagogical technologies analysis], Uchenye zapiski universi-teta im. P. F. Lesgafta, № 2 (216), pp. 292-297 (in Russian).
9. Shihova, Ü. F., & Shihov, Yu. A. (2013). "Kvalimetricheskij podhod k diagnostike kompetencij vypusknikov vysshej shkoly" [Qualimetric approach to diagnostics of higher education graduates' competences], Obrazovanie i nauka, № 4, pp. 40-57. Available at: https://doi.org/10.17853/1994-5639-2013-4-40-57 (in Russian).
10. Bettinson, E., Young, K., Haven-Tang, C. et al. (2024). "Employers' conceptions of quality and value in higher education", Higher Education, № 87, pp. 1394-1409. Available at: https://doi.org/10.1007/s10734-023-01069-x (in English).
11. Chun, H., Leem, B., & Lee, J. (2024). "Service Quality Asymmetric Effect on Student Satisfaction in Korean Higher Education", Asia-Pacific Eduscation Research. Available at: https://doi.org/10.1007/s40299-024-00841-6 (in English).
12. Topuzyan, A., & Markosyan, N. (2022). "Pedagogical qualimetry as a means of measuring the quality of the activities of the main subjects of the pedagogical process", Main Issues Of Pedagogy And Psychology, vol. 21. Available at: https://aspu.am/website/images/journal/23-26-PB.pdf#page=60 (in English).
13. Aldhobaib, M. A. (2024). "Quality assurance struggle in higher education institutions: moving towards an effective quality assurance management system", Higher Education. Available at: https://doi.org/10.1007/s10734-024-01182-5 (in English).
14. da Silva, J. C., dos Reis, E. A., & Marcon, R. et al. (2024). "Mergers and acquisitions and educational quality of higher education institutions", Tertiary Education and Management, vol. 30, pp. 17-44. Available at: https://doi.org/10.1007/s11233-023-09132-z (in English).
15. Purwanto, A., & Purba, J. T. (2023). "Investigating the role digital transformation and human resource management on the performance of the universities", International Journal of Data and Network Science, № 7, pp. 116. Available at: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4490083 (in English).
16. Demkin, V. P., Dzharasova, G. S., & Ispulov, N. A. et al. (2014). "Setevoe vzaimodejstvie vuzov kak faktor pov-ysheniya kachestva obrazovatel'nyh program" [Network interaction of universities as a factor in improving the quality of educational programs], Otkrytoe i distancionnoe obrazovanie, № 4. Available at: https://vi-tal.lib.tsu.ru/vital/access/manager/Repository/vtls:000499871 (in Russian).
E. B. KncAHKoBa
17. Burdel'naya, Yu. A. (2015). "Setevoe vzaimodejstvie obespechit effektivnuyu realizaciyu obrazovatel'nyh program" [Networking will ensure effective implementation of educational programs], Narodnoe obrazovanie, № 6, pp. 106-108 (in Russian).
18. Guseva, A. I., & Vesna, E. B. (2013). "Ocenka rezul'tativnosti i effektivnosti setevyh obrazovatel'nyh program" [Evaluation of the network educational programs' effectiveness], Sovremennye problemy nauki i obrazovaniya, № 6. Available at: https://science-education.ru/ru/article/view?id=10934 (in Russian).
19. Hodyreva, E. A. (2019). "Osobennosti ocenki kachestva realizacii setevyh obrazovatel'nyh programm vysshego obrazovaniya" [Assessment features of the quality of network educational programs implementation in higher education system], Nauchno-metodicheskij elektronnyj zhurnal "Koncept", № 6 (iyun'), pp. 56-65. Available at: http://e-koncept.ru/2019/191044.htm (in Russian).
20. Nuzhina, A. V., & Tabishev, V. A. (2023). "Ocenka kachestva organizacii i osushchestvleniya obrazovatel'noj deyatel'nosti po realizacii sovmestnyh obrazovatel'nyh programm vysshego obrazovaniya (rossijskij i mezhdu-narodnyj opyt)" [Assessment of the quality of organization and implementation of educational activities for the implementation of joint educational programs of higher education (Russian and international experience)], Ob-shchestvo: sociologiya, psihologiya, pedagogika, № 1, pp. 128-133 (in Russian).
21. Motova, G. N., & Anosova, N. A. (2013). "Tekhnologiya obshchestvenno-professional'noj ekspertizy setevyh obrazovatel'nyh programm professional'nyh module" [Technology of public professional expertise of network educational programs of professional modules], Obrazovanie i samorazvitie, № 2, pp. 69-75 (in Russian).
22. Bengtsson, J., & Lunneblad, J. (2023). "To 'patch up' or to 'meet the needs': navigating the politics and visions of 'open school' collaboration and equity work in urban areas in Sweden", Pedagogy, Culture & Society, pp. 1-16. Available at: https://doi.org/10.1080/14681366.2023.2185659 (in English).
23. Lammert, C., Akuoko, E. A., Kyung Suh, J. et al. (2023). "How Do On-Site Teacher Educators Approach Professional Development? A Study of In-sider/Outsider Hybridity", Pedagogies: An International Journal, pp. 1-19. Available at: https://doi.org/10.1080/1554480X.2023.2276772 (in English).
24. Nemiña, E. R., Gillanders, C., Leone, V., & Trigo, C. (2022). "Expanding learning environments in initial teacher education", International Journal of Pedagogies and Learning, vol. 18(3), pp. 519-533. Available at: https://doi.org/10.1080/1554480X.2022.2065995 (in English).
25. Pohlenz, P., Berndt, S., & Hartmann, J. (2024). "University Networks for Higher Education Quality Development: Between Mutual Trust and Control", Higher Education Policy. Available at: https://doi.org/10.1057/s41307-024-00362-3 (in English).
26. Fedyukin, V. K. (2013). Kvalimetriya. Izmerenie kachestva promyshlennoj produkcii [Qualimetry. Measurement of industrial product quality]: ucheb. posobie, KNORUS, Moscow, 316 p. (in Russian).
27. Ibid.
28. Artyuhov, I. P., Gorbach, N. A., Baksheeva, S. L. et al. (2012). "Ekspertnye ocenki: metodologiya i praktika prime-neniya" [Expert assessments: methodology and practical application], Fundamental'nye issledovaniya, № 10-1, pp. 11-15 (in Russian).
29. Chistyakov, V. A. (2016). "Analiz metodov ranzhirovaniya v psihologo-pedagogicheskih issledovaniyah" [Analysis of ranking methods in psychological and pedagogical research], Uchenye zapiski universiteta Lesgafta, № 2 (132), pp. 197-201 (in Russian).
30. Tatarkina, L. A., & Karel'skaya, E. V. (2021). "Sistema menedzhmenta kachestva obrazovaniya v vuze" [Quality management system of education in the university], Nauchno-obrazovatel'nye diskussii: fundamental'nye i pri-kladnye issledovaniya: materialy XXX Vseros. nauch.-prakt. konf.: v 2 ch. Ch. 1, Yuzhnyj Universitet (lUBiP); OOO "Izdatel'stvo VVM", Rostov n/D., pp. 170-175 (in Russian).
31. Kiseleva, G. N. (2020). "Monitoring kachestva obrazovaniya kak sredstvo upravleniya dlya povysheniya effektivnosti obrazovatel'nogo processa" [Monitoring the quality of education as a management tool to improve the effectiveness of the educational process], Mezhdisciplinarnye issledovaniya: opyt proshlogo, vozmozhnosti nas-toyashchego, strategii budushchego, № 1, pp. 103-109 (in Russian).
32. Kisel', O. V., Zerkina, N. N., & Bosik, G. A. (2020). "Principy, funkcii i sredstva ocenki kachestva obucheniya v vuze" [Principles, functions and means of assessing the quality of education at the university], Sovremennye problemy nauki i obrazovaniya, № 4, pp. 40-40. Available at: https://web.ar-chive.org/web/20201105163502id _/https://science-education.ru/pdf/2020/4/29996.pdf (in Russian).
33. GOSTR ISO 9001-2015 "Sistemy menedzhmenta kachestva. Trebovaniya" [GOSTR ISO 9001-2015 ""Quality management systems. Requirements"]. Available at: http://expromtrans.ru/assets/images/uploads/gost-r-iso-9001-2015.pdf (in Russian).
