CC BY
35
program for the Period 2017-2021]. Available at: http://www. asu.ru/search/documents/19089/. (In Russian).
5. Zaharova M. B. Tipy i formy setevogo vzaimodejstviya v sisteme obrazovaniya [Types and forms of network cooperation in education]. Yaroslavl Pedagogical Bulletin, 2018, no 3. pp. 8-13. (In Russian).
6. Koncepciya razvitiya geograficheskogo obrazovaniya v Rossijskoj Federacii. [Concept of development of geographical education in the Russian Federation]. Available at: https://docs.edu.gov.ru/ document/54daf271f2cc70fc543d88114fa83250/. (In Russian).
7. Geografiya [Geography]. Open educational portal of the Altai State University. Available at: https://public.edu.asu.ru/course/view. php?id=112. (In Russian).
8. Proekt «Gotovimsya k ekzamenu» [Project «Preparing for the exam»]. Official website of the Altai Institute of Education Development named after A.M. Toporov. Available at: https:// iro22.ru/index.php/kpop-main/end/normativnye-dokumenty-i-metodicheskie-materialy/metodicheskie-materialy-end/ege-i-
gia/473-kpop/end/ege-i-gia/8555-proekt-podgotovka-geograf. html. (In Russian).
9. Gorbatova O. N., Otto O. V. Formirovanie universal'nyh uchebnyh dejstvij shkol'nikov pri podgotovke k OGE po geografii (na primere zadanij, trebuyushchih razvernutogo otveta) [Formation of the universal educational actions of school students by preparation for OGE on geography (on the example of the tasks that require a detailed answer)]. Geography in School, 2017, no. 5, pp. 40-46. (In Russian).
10. Pevsner M. N., Petryakov P. A. Vzaimodejstvie vuza i regiona: opyt stran SNG [The Interaction between the university and the region: experience of CIS countries]. Vestnik of Yaroslav the Wise Novgorod State University, 2014, no. 79, pp. 58-64. (In Russian).
11. Neretina E. A. Setevoe vzaimodejstvie - osnova dinamicheskogo razvitiya vuzov [Networking as the basis of flexible dynamic development of universities]. Higher Education in Russia, 2013, no. 4. pp. 128-133. (In Russian).
УДК/UDC 378 Л. Г. Шутько, Д. Б. Шатько
L. Shutko, D. Shatko
ОЦЕНКА УДОВЛЕТВОРЕННОСТИ ПОТРЕБИТЕЛЕЙ ОБРАЗОВАТЕЛЬНЫХ УСЛУГ В ВУЗЕ И МЕХАНИЗМ ЕЕ АВТОМАТИЗАЦИИ
PRACTICE OF APPLICATION OF AUTOMATED SYSTEM FOR ASSESSMENT OF CONSUMER SATISFACTION OF EDUCATIONAL SERVICES IN HIGH SCHOOL
Введение. В статье предлагается опыт использования автоматизированной системы оценки удовлетворенности потребителей образовательных услуг Кузбасского государственного технического университета (КузГТУ). Цель статьи - на основе анализа передового отечественного опыта по изучению ожиданий потребителей показать преимущества автоматизированной оценки удовлетворенности потребителей в системе менеджмента качества вуза.
Методология. В основе исследования лежит системный подход, принципы менеджмента качества стандартов ISO серии 9000, нормативные документы КузГТУ менеджмента качества. Авторы предлагают обзор литературы по оценке удовлетворенности потребителей образовательными услугами; приводят результаты данной оценки на примере опыта КузГТУ.
Результаты. Анализ результатов оценки удовлетворенности потребителей образовательными услугами позволил выявить преимущества внедрения
автоматизированной системы для измерения степени удовлетворенности потребителей. Показаны примеры визуализации результатов онлайн-опросов на сайте КузГТУ. Разработана методика проведения опросов с учетом особенностей различных групп потребителей. Практическая значимость исследования состоит в возможности распространения положительного опыта разработанной и внедренной автоматизированной системы оценки удовлетворенности потребителей.
Заключение. Результаты оценивания удовлетворенности образовательными услугами позволяют более оперативно реагировать на ожидания потребителей, а автоматизация этого процесса повышает скорость получения результатов, что может быть использовано в деятельности других российских вузов.
Introduction. The article presents a research on consumer satisfaction based on the generalization of the experi-
ence of implementation and use of an automated system for assessing the satisfaction of consumers of educational services at the Kuzbass State Technical University (KuzSTU). The purpose of the article is to analyze the best domestic experience in the field of studying consumer expectations, consider the results obtained and show the advantages of the practical application of automated assessment of customer satisfaction in the quality management system of KuzSTU.
Methodology. The research is carried out on the basis of a systematic approach, quality management principles of ISO 9000 series standards, KuzSTU regulatory documents in the field of quality management; contains a brief review of scientific literature on the assessment of customer satisfaction in educational services; includes an analysis of the results of assessing customer satisfaction at KuzSTU based on the use of an automated system.
Results. The results obtained are generalized and the advantages of introducing an automated system for measuring the degree of satisfaction of consumers of educational services at KuzSTU as a feedback tool are revealed. Examples of visualization of the results of online polls on the university website are shown. The scientific novelty of the research lies in the developed methodology for conducting surveys, as well as original questionnaires formed for the characteristics of various groups of consumers. The practical significance of the study lies in the positive experience gained in using the advantages of the developed and implemented automated system for assessing customer satisfaction at KuzSTU.
Conclusion. The authors suppose that the experience of using the automated assessment of customer satisfaction at KuzSTU is of great practical importance, since it provides a faster response to consumer expectations and can be used in the activities of other Russian universities. At the same time, at present, questions remain open that require special attention from the leadership of the university.
Ключевые слова: автоматизация, удовлетворенность образовательными услугами, оценка удовлетворенности потребителя, система менеджмента качества, онлайн-опрос, высшее образование.
Keywords: automation, satisfaction in learning service, assessment of customer satisfaction, quality management system, online survey, high education.
Введение
Ориентация на требования и ожидания потребителей является одним из основополагающих принципов менеджмента качества. Удовлетворенность потребителей оказывает прямое влияние на успешность и конкурентоспособность образовательной организа-
ции [2; 11] и лояльное к ней отношение заинтересованных сторон [7]. В этой связи возрастает значимость практического опыта использования автоматизированных систем управления качеством образовательных услуг и оценки удовлетворенности потребителей в сфере высшего образования.
Оценка удовлетворенности потребителей наряду с качеством образовательного процесса является важным компонентом университета как образовательной системы [3]. Авторы полагают, что работа, проводимая в российских вузах, в том числе в КузГТУ, по улучшению обратной связи с заинтересованными сторонами побуждает интерес к исследованиям удовлетворенности потребителей, их ожиданиям и восприятию качества образовательных услуг. Так, Н. Ш. Ватолкина выделяет нормативные (определяют оценку качества услуг) и предсказательные ожидания (влияют на удовлетворенность потребителей) [4]. Н. Кано предлагает учитывать требования потребителей по трем составляющим качества услуг: базовое (основное) качество, требуемое (ожидаемое) и привлекательное (опережающее) качество.
Практическую значимость, с точки зрения авторов, представляют обзоры современных методов и инструментов оценки удовлетворенности потребителей в российских вузах, предлагаемые в работах Т. А. Парсеговой, И. Е. Парфеньевой, А. В. Григорьевой, Н. А. Назаровой, В. В. Федотова. Некоторые авторы предлагают собственные методики оценки удовлетворенности потребителей в вузе [5]. Вместе с тем достаточно редко встречаются публикации, посвященные анализу опыта внедрения автоматизированных систем, предназначенных для измерения удовлетворенности потребителей в отечественных вузах. К их числу авторы относят работы О. Н. Андрух, М. К. Чадунели, а также ранее опубликованные статьи одного из соавторов данного исследования [14].
Цель статьи - проанализировать передовой отечественный опыт в области изучения ожиданий потребителей, рассмотреть полученные результаты и показать преимущества практического применения автоматизированной оценки удовлетворенности потребителей в системе менеджмента качества КузГТУ.
Задачи исследования:
1. Проанализировать результаты внедрения автоматизированной системы для оценки удовлетворенности потребителей в системе менеджмента качества КузГТУ, начиная с момента ее разработки в 2017 г. по настоящее время.
2. Показать преимущества внедренной автоматизированной оценки удовлетворенности потребителей
в вузе (онлайн-анкетирования) с точки зрения улучшения обратной связи.
Объектом исследования является КузГТУ как системная образовательная организация. Предмет исследования - результаты автоматизации процесса оценки удовлетворенности потребителей в системе менеджмента качества КузГТУ.
Методология
Исследование включает краткий обзор научной литературы по обозначенной теме и проводится на основе процессного подхода. Авторы рассматривают университет как образовательную организацию, которая функционирует посредством основных, управленческих и вспомогательных процессов на основе полученной обратной связи. Оценка удовлетворенности потребителей в рамках системы менеджмента качества вуза является механизмом обратной связи. «Процессный подход», декларируемый международным стандартом менеджмента качества ISO 9001:2015 и реализуемый в КузГТУ, основывается на семи принципах, два из которых «ориентация на потребителей» и «улучшение» процессов «на основе оценивания данных и информации» представляют особый интерес для данного исследования [10; 11]. Мониторинг удовлетворенности потребителей в КузГТУ ведется на постоянной основе в рамках внутренней оценки качества образовательных услуг с учетом показателей его внешней оценки. Данный мониторинг включает: сбор и обработку информации о потребителях образовательной организации; определение ключевых потребителей с целью мониторинга их ожиданий и требований, предъявляемых к оказываемым образовательным услугам вуза; перечень задач, сроков для измерения уровня их удовлетворенности; выявление проблемных вопросов, снижающих качество образовательного процесса и услуг, а также предоставление результатов обратной связи документально оформленных в соответствии с требованиями стандартов системы менеджмента качества руководству вуза либо по запросам представителей заинтересованных сторон [13]. Удовлетворенность потребителей образовательных услуг КузГТУ измеряется с помощью разных форм и инструментов ее оценки [6; 8] в соответствии с процедурой П 48-06 «Анализ и оценка удовлетворенности потребителей», среди которых важную роль играют онлайн-опросы на основе автоматизированных анкет, размещенных на сайте КузГТУ, в том числе онлайн-рейтинг преподавателей, формирующийся на основе оценок обучающихся.
Авторы проводят анализ внедрения автоматизированной оценки удовлетворенности потребителей в КузГТУ, используя представленные сгенерированные посредством аналитического модуля результаты ответов респондентов на вопросы анкет, что позволяет наглядно продемонстрировать ее преимущества.
Результаты
Исследование, поведенное авторами, показало, что удовлетворенность потребителей - это восприятие потребителями степени выполнения их требований относительно качества и условий образовательного процесса [1; 4; 13]. Внедрение автоматизированной оценки удовлетворенности потребителей в системе менеджмента качества КузГТУ направлено на выявление ожиданий потребителей относительно качества образовательных услуг (его восприятия), степени их удовлетворенности [4]. Определяющее значение в оценках потребителей образовательных услуг КузГТУ имеет совпадение ожидаемого (требуемого) и базового качеств образовательных услуг (Н. Кано). Задача системы менеджмента качества вуза посредством обратной связи выявлять и сокращать образующиеся разрывы между ними, формировать «привлекательное качество» образовательных услуг.
Авторы определили, что автоматизированное измерение удовлетворенности потребителей в системе менеджмента качества КузГТУ осуществляется на «входе» - абитуриенты, «выходе» - выпускники и в ходе образовательного процесса - обучающиеся и сотрудники, что можно расценивать как «повышение ответственности руководства вуза за результативность СМК» [15]. С 2017 г. на портале КузГТУ функционирует отдельный ресурс, разработанный совместно отделом менеджмента качества и центром информационных технологий вуза, предназначенный для оценки обучающимися преподавателей. Результаты рейтинга преподавателей доступны в онлайн-режиме как для самих преподавателей, так и для руководства вуза. Каждый сотрудник оценивался обучающимися по четырем позициям (критериям): 1 - «техника преподавания», 2 -«активизация познавательной деятельности обучающихся», 3 - «педагогический такт», 4 - «отношение обучающихся к педагогу как к личности», 5 - «средний рейтинг преподавателей по всем позициям».
Полученные результаты показывают, что подавляющее большинство преподавателей имеет достаточно высокую оценку со стороны обучающихся - в среднем по вузу 4,2 балла по пятибалльной шкале. В 2017 г. на сайте КузГТУ был разработан раздел «Опросы» и размещены автоматизированные анкеты для обуча-
ющихся, сотрудников, абитуриентов и выпускников. Время проведения онлайн-опроса обучающихся, как правило, связано с истечением срока изучения определенных дисциплин / семестра / учебного года или завершением обучения по образовательным программам. Сама процедура включает в себя размещение на портале КузГТУ в разделе «Опросы» анкет в электронном виде, после чего респондентам предлагается корректно и искренне ответить на представленные вопросы в онлайн-режиме. Анкеты для различных групп потребителей были разработаны лабораторией «Социально-психологических исследований», перечень вопросов составлен с учетом показателей внешней оценки каче-
ства образовательной деятельности. Вопросы анкет корректируются в зависимости от установленной руководством КузГТУ цели и типа проводимого анкетирования. Например, анкета для опроса сотрудников включает 36 вопросов, обучающихся - 13, абитуриентов -10. В анкетах для выпускников вопросы сгруппированы по двум категориям - 10 основных вопросов, связанных с личностью респондента, и 11 дополнительных - отражающих соответствие реального образовательного процесса ожиданиям, в частности уровня подготовки специалистов требуемому уровню при трудоустройстве, а также общую удовлетворенность уровнем образования (табл. 1).
Таблица 1
Категории вопросов в анкетах выпускников
1. Соответствие реального образовательного процесса ожиданиям 1.1. Достижение конечных целей образования 1.2. Квалификация профессорско-преподавательского состава 1.3. Соотношение цена/качество образования (при обучении на платной основе)
2. Общая удовлетворенность уровнем образования для выпускников 2.1. Удовлетворенность качеством полученного образования 2.2. Возможность поступления на работу по специальности 2.3. Профессиональные навыки, полученные в вузе 2.4. Осведомленность о смежных областях полученной специальности
3. Соответствие уровня подготовки специалистов с требуемым при трудоустройстве 3.1. Практические навыки, полученные в вузе 3.2. Теоретическая подготовка 3.3. Соответствие знаний современным требованиям менеджмента 3.4. Формирование вузом личностных качеств (ответственность, активность, трудолюбие, желание дальнейшего развития и т. п.)
Применение методики «весы Лайкерта» при составлении анкет позволяет измерять различные степени восприятия или мнений. Анкеты состоят из вопроса или утверждения с пятью или семью возможными ответами (в зависимости от группы потребителей), отражающими разные уровни согласия респондентов.
После получения массива данных система автоматически в онлайн-режиме производит анализ резуль-
татов опроса и выводит их в удобном для восприятия виде - в виде круговых или столбцовых диаграмм. Любой желающий, включая сотрудника или обучающегося, может ознакомиться с результатами онлайн-анкетирования. Программой также предусмотрено отображение количества проголосовавших потребителей. На рисунке 1 приведены скриншоты страниц сайта данного раздела с анкетами абитуриентов и обучающихся.
а)
б)
Рис. 1. Страницы с анкетами: а) абитуриентов; б) обучающихся
Обобщение опыта КузГТУ и других российских вузов [1] по использованию автоматизированной оценки удовлетворенности потребителей позволяет выделить следующие ее преимущества.
1. Устранение рутинного характера процессов организации и проведения анкетирования потребителей, в том числе сбора, обработки результатов их оценок. На начальном этапе деятельности по оценке и анализу удовлетворенности потребителей вся работа носила рутинный характер, обусловленный большим объемом работы в ручном режиме на бумажных носителях. Например, обработка данных по четырем основным группам потребителей занимала у сотрудников отдела СМК до двух месяцев. Принцип онлайн-анкетирования на сайте КузГТУ в 2017 г. и автоматическая обработка данных обеспечили значительное сокращение затрачиваемого времени и ресурсов на данный вид работы, повысила эффективность работы отдела менеджмента качества.
2. Обеспечение наглядности и доступности результатов онлайн-анкетирования для всех заинтересованных сторон, повышение качества предоставляемой информации за счет исключения ошибок, так называемого человеческого фактора, при обработке анкет.
3. Получение оперативной возможности отслеживать изменение динамики ответов на вопросы и сравнивать с итогами предшествующих периодов, выявлять общие тенденции изменения удовлетворенности потребителей.
4. Повышение оперативности реагирования руководства вуза на потребности и ожидания потребителей за счет своевременного выявления проблемных вопросов, требующих решения, например: корректировка рабочих программ для тех специально-
стей, к которым возникли претензии по качеству подготовки кадров; улучшение ресурсной базы университета; открытие новых направлений подготовки, отвечающих современным требованиям рынка труда; введение дистанционной формы обучения в магистратуре по ряду направлений [13].
На рисунке 2 приведен пример генерирования системой в автоматическом режиме результатов оценки удовлетворенности выпускников ИИТМА в 2019 г. по четырем показателям и шестибалльной шкале.
Полученные результаты показали, что подавляющее большинство респондентов «удовлетворены» либо «скорее удовлетворены» по каждому из 4 приведенных показателей, включая полученные в вузе практические навыки и уровень теоретической подготовки; соответствие знаний современным требованиям менеджмента; формирование вузом личностных качеств.
Наглядные примеры автоматически сгенерированных системой результатов оценки ожиданий обучающихся относительно структур образовательных программ в 2020 г. (в опросе на июнь 2020 г. участвовали 358 чел.) и в 2017-2020 гг. представлены в виде столбцовых диаграмм на рисунке 3.
Как видно из рисунка 3, структуры программ обучения соответствуют ожиданиям обучающихся. Доля оценок «в основном соответствует» и «полностью соответствует» доминировала в ответах и увеличилась с 71 % в 2017 г. до 84 % в 2020 г., количество оценок «не соответствует» в ответах респондентов снизилось в пять раз (с 10 до 2 %) за 2017-2020 гг.
Таким образом, положительными результатами внедрения автоматизированной оценки удовлетворенности потребителей стали: более эффективная
60 50 40 30 20 10 0
35% Р] 31% 35% 37% 7
33%„о, 28% 31 % 5
2 4% 2 | в * 25 % 2 6% !
1->о/ 1 24 %
= = 10% 1
1%1%2% _ [ТТЛ Г-1 12% „ „ „ [77| 0 0 0 = [л]1%1% 0 1 4% [ГТ| 0 0 0
Практические навыки
Теоретическая подготовка
Соответствие знаний современным требованиям менеджмента
Формирование вузом личностных качеств
В Абсолютно удовлетворен - 6
Удовлетворен - 5 Э Скорее удовлетворен - 4 ЕЗ Частично (не)удовлетворен - 3
I Скорее не удовлетворен - 2 ПП Не удовлетворен - 1 П Абсолютно не удовлетворен - 0
Рис. 2. Результаты оценки удовлетворенности выпускников ИИТМА, 2019 г.
а)
Соответствует ли структура программы Вашим ожиданиям?, '
70 60 50 40 30 20 10 0
62
6,28# 2 2,693 3
1 m ЮИ=1
В основном соответствует
Полностью В большей мере Затрудняюсь Не соответствует соответствует не соответствует ответить
б)
Рис. 3. Результаты оценки соответствия структуры программы обучения ожиданиям обучающихся: а) 2020 г.; б) 2017-2020 гг.
■ 2017 г.
□ 2018 г.
0 2019 г.
1=1 2020 г.
работа отдела менеджмента качества за счет сокращения трудоемкости процесса анкетирования и времени обработки информации; обеспечение доступности текущих результатов онлайн-анкетирования, повышение оперативности реагирования руководства вуза на требования потребителей, и в конечном счете улучшение обратной связи в вузе.
Заключение
Проведенный краткий обзор научной литературы позволяет констатировать недостаточную изученность опыта российских вузов по внедрению автоматизированных систем измерения удовлетворенно-
сти потребителей. Результаты внедрения автоматизированной оценки удовлетворенности потребителей в КузГТУ за последние четыре года следует оценивать как положительные, имеющие практическую значимость для других образовательных организаций при решении вопросов улучшения обратной связи с потребителями.
Литература
1. Андрух О. Н., Чадунели М. К. Оценка удовлетворенности потребителей услуг в сфере профессионального образования [Электронный ресурс] // Известия Института инженерной физики. 2014. № 1 (31). С. 94-97. URL: https://www. elibrary.ru/item.asp?id=21223572.
2. Антонова Н. В., Литвинова В.С. Удовлетворенность потребителей образовательной услуги как определяющий фактор успешности деятельности образовательного учреждения [Электронный ресурс] // Российский экономический вестник. 2020. Т. 3. № 2. URL: https://elibrary.ru/download/ elibrary_42724599_27392403.pdf.
3. Бабич В. Н., Кремлёв А. Г Системный подход в представлении университета как образовательной системы [Электронный ресурс] // Альманах современной науки и образования. 2011. № 12 (55). C. 87-91. URL: https://www.gramota.net/ materials/1/2011/12/29.html.
4. Ватолкина В. Ш. Качество услуг и удовлетворенность потребителей: общность и различие концепций [Электронный ресурс] // Наука и мир. 2014. Т. 2, № 2 (6). С. 19-21. URL: https://www.elibrary.ru/item.asp?id=21671378&.
5. Верховцева А. В. Оценка удовлетворенности потребителей образовательных услуг в системе менеджмента качества образовательной организации // Вестник образования и развития науки Российской Академии Естественных Наук. 2014. № 18 (2). С. 60-63.
6. Григорьева А. В., Назарова Н. А. Современные методы оценки удовлетворенности образовательной услугой [Электронный ресурс] // Молодой ученый. 2015. № 10.2. С. 108111. URL: https://moluch.ru/archive/90/19074/.
7. Иванова В. А. Удовлетворенность как показатель качества образования в системе дополнительного профессионального образования [Электронный ресурс] // Научно-методический электронный журнал «Концепт». 2017. Т. 25. С. 36-38. URL: http://e-koncept.ru/2017/770491.htm.
8. Лабуз Л. С., Мазаева Л. Н. Информационные технологии в высшем профессиональном образовании: проблемы и перспективы [Электронный ресурс] // Научно-методический электронный журнал «Концепт». 2016. Т. 37. С. 90-95. URL: http://e-koncept.ru/2016/56791.htm.
9. Парсегова Т. А., Парфеньева, И. Е. Оценка удовлетворенности потребителей в системе менеджмента качества организации // Инновации в науке : сб. ст. по материалам LXII междунар. науч.-практ. конф. № 10 (59). Новосибирск, 2016. С. 75-84.
10. Политика в области качества КузГТУ 2020 [Электронный ресурс]. URL: https://www.kuzstu.ru/upload/iblock/ebc/policy_ kuzstu_2020.pdf.
11. ISO 9004 - 2009. Управление с целью достижения устойчивого успеха организации - Подход с точки зрения менеджмента качества [Электронный ресурс]. URL: http:// iso-management.com/wp-content/uploads/2013/12/IS0-9004-2000.pdf.
12. ISO 9001:2015 «Системы менеджмента качества. Требования». [Электронный ресурс]. URL: http://docs.cntd.ru/ document/1200124394.
13. Федотов В. В. Способы оценки и мониторинга степени удовлетворенности потребителя [Электронный ресурс] // Методы менеджмента качества. 2005. № 9. URL: http://www.icgrp.ru/ docs/list/article/?action=showproduct&id=58.
14. Шатько Д. Б., Мовсесян Т. Х. Механизм мониторинга удовлетворенности потребителей в образовательной организации [Электронный ресурс] // Современные тенденции и инновации в науке и производстве : сб. материалов VIII междунар. науч.-практ. конф. Междуреченск, 2019. С. 2131.1-2131.5. URL: https://elibrary.ru/download/elibrary_38189021_56191689.pdf.
15. Шутько Л. Г, Шатько Д. Б. Лидерство в системе менеджмента качества и его роль в повышении конкурентоспособности организации // Экономика и управление инновациями. 2018. № 2 (5). С. 61-70.
References
1. Andrukh O. N., Chaduneli M. K. Ocenka udovletvorennosti potrebitelej uslug v sfere professional'nogo obrazovaniya [Assessment of customer satisfaction in the field of vocational education]. Institute of Engineering Physics, 2014, no. 1 (31), pp. 94-97. Available at: https://www.elibrary.ru/item. asp?id=21223572. (In Russian).
2. Antonova N. V., Litvinova V. S. Udovletvorennost' potrebitelej obrazovatel'noj uslugi kak opredelyayushchij faktor uspeshnosti deyatel'nosti obrazovatel'nogo uchrezhdeniya [Customer satisfaction with educational services as a determining factor of success activities of an educational institution]. Russian Economic Bulletin, 2020, vol. 3, no. 2. Available at: https:// elibrary.ru/download/elibrary_42724599_27392403.pdf. (In Russian).
3. Babich V. N., Kremlyov A. G. Sistemnyj podhod v predstavlenii universiteta kak obrazovatel'noj sistemy [The systemic approach in the representation of the university as an educational system]. The Almanac of Modern Science and Education, 2011, no. 12 (55), pp. 87-91. Available at: https://www.gramota.net/ materials/1/2011/12/29.html. (In Russian).
4. Vatolkina V. Sh. Kachestvo uslug i udovletvorennost' potrebitelej: obshchnost' i razlichie koncepcij [Service quality and consumer satisfaction: the commonality and distinction of concepts]. Science and Peace, 2014, vol. 2, no. 2 (6), pp. 19-21. Available at: https://www.elibrary.ru/item.asp?id=21671378&. (In Russian).
5. Verhovceva A. V. Ocenka udovletvorennosti potrebitelej obrazovatel'nyh uslug v sisteme menedzhmenta kachestva obrazovatel'noj organizacii [Assessing Satisfaction of Consumers of Educational Services in Quality Management System of Educational Institution]. Herald of education and science development of Russian Academy of Natural Sciences, 2014, no. 18 (2), pp. 60-63. (In Russian).
6. Grigor'eva, A. V., Nazarova N. A. Sovremennye metody ocenki udovletvorennosti obrazovatel'noj uslugoj [Modern methods of assessing satisfaction with the educational service]. Young Scientist, 2015, no. 10.2, pp. 108-111. Available at: https:// moluch.ru/archive/90/19074/. (In Russian).
7. Ivanova V. A. Udovletvorennost' kak pokazatel' kachestva obrazovaniya v sisteme dopolnitel'nogo professional'nogo obrazovaniya [Satisfaction as an indicator of the quality of education in the system of additional professional education]. Scientific-methodological Electronic Journal "Koncept", 2017, vol. 25, pp. 36-38. Available at: http://e-koncept.ru/2017/770491. htm. (In Russian).
8. Labuz L. S., Mazaeva L. N. Informacionnye tekhnologii v vysshem professional'nom obrazovanii: problemy i perspektivy [Information Technology in Higher Professional Education: Problems and Prospects]. Scientific-methodological Electronic Journal "Koncept", 2016, vol. 37, pp. 90-95. Available at: http://e-koncept.ru/2016/56791.htm. (In Russian).
9. Parsegova T. A., Parfen'eva,I. E. Ocenka udovletvorennosti potrebitelej v sisteme menedzhmenta kachestva organizacii [Assessment of customer satisfaction in the quality management system of the organization]. Innovations in Science. Collection of articles on the materials of the LXII international scientific-practical conference no. 10 (59). Novosibirsk, 2016, pp. 75-84. (In Russian).
10. Politika v oblasti kachestva KuzGTU 2020 [Quality Policy of Kuzbass State Technical University 2020]. Available at: https:// www.kuzstu.ru/upload/iblock/ebc/policy_kuzstu_2020.pdf. (In Russian).
11. ISO 9004 - 2009. Upravlenie s cel'yu dostizheniya ustojchivogo uspekha organizacii - Podhod s tochki zreniya menedzhmenta
kachestva [ISO 9004 - 2009. Management for Sustainable Organizational Success - A Quality Management Approach]. Available at: http://iso-management.com/wp-content/ uploads/2013/12/IS0-9004-2000.pdf. (In Russian).
12. ISO 9001:2015 «Sistemy menedzhmenta kachestva. Trebovaniya» [ISO 9001:2015 «Quality Management Systems. Requirements»]. Available at: http://docs.cntd.ru/document/1200124394. (In Russian).
13. Fedotov V. V. Sposoby ocenki i monitoringa stepeni udovletvorennosti potrebitelya [Ways to assess and monitor customer satisfaction]. Methods of Quality Management, 2005, no. 9. Available at: http://www.icgrp.ru/docs/list/article/?action= showproduct&id=58. (In Russian).
14. Shatko D. B., Movsesian T. H. Mekhanizm monitoringa udovletvorennosti potrebitelejv obrazovatel'nojorganizacii [Mechanism for monitoring the consumer meeting in the educational organization]. Modern trends and innovations in science and production. Proceedings of the VIII International Scientific and Practical Conference. Mezhdurechensk, 2019, pp. 2131.1-2131.5. Available at: https://elibrary.ru/download/ elibrary_38189021_56191689.pdf. (In Russian).
15. Shutko L. G., Shatko D. B. Liderstvo v sisteme menedzhmenta kachestva i ego rol' v povyshenii konkurentosposobnosti organizacii [On tax security of the state and its subjects]. Economics and Innovation Management, 2018, no. 2 (5), pp. 61-70. (In Russian).
