CC BY
72
ISSN 1995-2732 (Print), 2412-9003 (Online) УДК 658.562.6
DOI: 10.18503/1995-2732-2020-18-1-63-70
РАЗРАБОТКА МЕТОДИКИ ОЦЕНКИ СИСТЕМЫ МЕНЕДЖМЕНТА КАЧЕСТВА ПРЕДПРИЯТИЯ С ПРИМЕНЕНИЕМ КВАЛИМЕТРИЧЕСКИХ МЕТОДОВ
Черкасов Д.А.
Орловский государственный университет имени И.С. Тургенева, Орёл, Россия
Аннотация. Постановка задачи (актуальность работы): В данной статье описана ситуация в области систем менеджмента качества в настоящее время, отмечены основные недостатки. На основе анализа ряда существующих методик оценивания в статье была изложена разработанная автором методика оценки системы менеджмента качества с применением квалиметрических методов. Также отмечена целесообразность применения методов квалиметрии при оценке систем качества. Цель работы: разработать методику оценки системы менеджмента качества организации, которая имеет широкую сферу применения, соответствует существующим стандартам и регламентам и учитывает все стороны деятельности предприятия. Используемые методы: при разработке методики оценки были применены различные методы квалиметрии. Также были затронуты методы системного анализа и статистические методы. Новизна: новизна проведенного исследования заключается в том, что была разработанна методика, которая производит оценку системы менеджмента качества на основе анализа всей совокупности компонентов, составляющих сферу деятельности организации. Таким образом, учитываются рекомендации, закрепленные в основополагающих концепциях по качеству, имеющихся в настоящее время, таких как системы Исигавы, TQM и т.п. Результат: в данной статье представлена готовая методика оценки системы менеджмента качества на основе методов квалиметрии. Приведен список показателей, составляющих базис для проведения процесса оценки. Также даны все основные формулы для расчета показателей, изложены основные рекомендации по проведению процесса оценки. Практическая значимость: предложенная методика позволяет провести комплексную оценку системы менеджмента качества на любом типе предприятий с учетом всех установленных законодательных норм.
Ключевые слова: показатели качества, система менеджмента качества, квалиметрия, оценка, критерий оценки.
Др.я цитирования
Черкасов Д.А. Разработка методики оценки системы менеджмента качества предприятия с применением квалиметрических методов // Вестник Магнитогорского государственного технического университета им. Т.Н. Носова. 2020. Т.18. №1. С. 63-70. https://doi.org/10.18503/1995-2732-2020-18-1-63-70
© Черкасов ДА., 2020
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
DEVELOPMENT OF AN ASSESSMENT METHODOLOGY
FOR THE QUALITY MANAGEMENT SYSTEM
OF AN ORGANIZATION USING QUALIMETRY METHODS
Dmitry A. Cherkasov
Turgenev Orel State University, Orel, Russia
Abstract. Постановка задачи (актуальность работы): В данной статье описана ситуация в области систем менеджмента качества в настоящее время, отмечены основные недостатки. На основе анализа ряда существующих методик оценивания в статье была изложена разработанная автором методика оценки системы менеджмента качества с применением квалиметрических методов. Также отмечена целесообразность применения методов квалиметрии при оценке систем качества. Цель работы: разработать методику оценки системы менеджмента качества организации, которая имеет широкую сферу применения, соответствует существующим стандартам и регламентам и учитывает все стороны деятельности предприятия. Используемые методы: при разработке методики оценки были применены различные методы квалиметрии. Также были затронуты методы системного анализа и статистические методы. Новизна: новизна проведенного исследования заключается в том, что была разработана методика, которая производит оценку системы менеджмента качества на основе анализа всей совокупности компонентов, составляющих сферу деятельности организации. Таким образом, учитываются рекомендации, закрепленные в основополагающих концепциях по качеству, имеющихся в настоящее время, таких как системы Исигавы, TQM и т.п. Результат: в данной статье представлена готовая методика оценки системы менеджмента качества на основе методов квалиметрии. Приведен список; показателей, составляющих базис для проведения процесса оценки. Также даны все основные формулы для расчета показателей, изложены основные рекомендации по проведению процесса оценки. Практическая значимость: предложенная методика позволяет провести комплексную оценку системы менеджмента качества на любом типе предприятий с учетом всех установленных законодательных норм.
Keywords: quality indicators, quality management system, qualimetry, score, assessment criterion. For citation
Cherkasov D.A. Development of an Assessment Methodology for the Quality Management System of an Organization Using Qualimetry Methods. Vestnik Magnitogorskogo Gosudarstvennogo Tekhnicheskogo Universiteta im. G.I. Nosova [Vestnik of Nosov Magnitogorsk State Technical University]. 2020, vol. 18, no. 1, pp. 63-70. https://doi.org/10.18503/1995-2732-2020-18-1-63-70
Введение
В современном мире производство становится все более и более сложным. Происходит усложнение применяемых машин и агрегатов, а также самих технических и технологических систем. В подобных условиях возможный отказ или неисправность какого-либо одного элемента может привести к краху всей деятельности предприятия. Из-за сложности систем проведение мероприятий по ремонту и восстановлению становится все более затруднительным и затратным. Поэтому в настоящее время главный приоритет в области управления смещается в область обеспечения качества деятельности предприятия, и основным инструментом, призванным способствовать руководству в этом вопросе, -система менеджмента качества (СМК).
Говоря теоретически, СМК - это совокупность структур организации, методик управления, процессов и ресурсов, направленных на достижение необходимого уровня качества [1-5].
Она обеспечивает4 руководство всеми необходимыми инструментами по управлению качеством в организации. Построение любой СМК базируется на двух принципах: системном и процессном подходах. Первый подразумевает4 рассмотрение предприятия как целостной системы взаимодействующих элементов с определенными входами и выходами [6]. Второй принцип подразумевает рассмотрение всей деятельсности как набора взаимосвязанных процессов. Применение подобных принципов дает возможность декомпозировать любую сложную систему на более простые и мелкие элементы, которыми легче управлять. Деление всей деятельности на отдельные процессы дает возможность отследит пошагово каждый вид работ и своевременно устранить все недостатки [7]. В итоге это позволяет проводить более успешную политику в области качества.
Основные направления в развитии систем менеджмента качества на предприятиях в настоящее время задаются системой международных
стандартов ИСО 9000. Они заключают в себя основные требования к построению СМК. В нашей стране также идет работа по стандартизации данной области, основанная на упомянутых выше стандартах ИСО. Кроме того, на построение систем менеджмента качества влияют различные отраслевые стандарты и регламенты, обусловленные спецификой конкретной отрасли.
Однако, если обратиться к отечественной практике, то можно наблюдать достаточно большой процент случаев, когда организация не обеспечивает необходимый уровень качества, либо внедрение СМК не дает результатов [8-11]. По статистике, в среднем 80% проектов по внедрению СМК являются неуспешными. Конечно, большую роль здесь играют различные институциональные факторы, связанные с сознанием управляющего персонала. Но основным фактором является отсутствие четко регламентированной методики оценки самой СМК и мероприятий по обеспечению качества в стандартах и регламентах. Стандарты серии ИСО 9000 определяют лишь общие контуры того, как необходимо строить политику в области качества. Из-за этого зачастую руководство не имеет возможности дать адекватную оценку СМК, понять, есть ли успех в области обеспечения качества, в ка-ком направлении развиваться. Поэтому доста-точно остро встает вопрос о разработке универсальной методики оценки эффективности всей системы менеджмента качества.
Существует достаточно много подходов к тому, как оценить систему качества и само качество продукции или услуги. Наиболее перспективным является подход, основанный на квалиметрических методах. Сама квалиметрия - это научная область, занимающаяся вопросами количественной оценки свойств и параметров какого-либо объекта или системы [12-15]. Привлекательность квалиметрии для оценки качества обусловлена тем, что данная научная дисциплина разрабатывалась изначально именно для этих целей. Применение квалиметрических методов дает возможность вычислить показатели, легко поддающиеся анализу и сопоставлению. Количественные показатели гораздно легче расчи-тать, чем качественные. Также квалиметрия располагает методами унификации разнородных показателей качества, сведения их к единой форме, что тоже является очень существенным при оценке качества сложноструктурированных систем с множеством разнотипных свойств. По этим причинам построение методики оценки эффективности и результативности СМК на базе
квалиметрических методов представляется наиболее целесообразным.
В настоящее время существует ряд методик, разработанных для конкретных типов предприятий на государственном уровне, в основном связанных с наиболее приоритетными областями экономики. Также существует ряд авторских методик, разработанных в последнее время. Проведя их анализ, нами было выявлено, что предложенные методики являются достаточно грамотными, однако не дают полного охвата всех сторон деятельности предприятия и, кроме того, не являются достаточно универсальными по своей сути [16-21]. В частности, не уделяется внимание оценке экономической эффективности СМК. Также не уделено внимание процессу сведения всех показателей к единому виду, что играет довольно существенную роль на тех предприятиях, где показатели качества выражаются в разных шкалах измерения. Поэтому, чтобы устранить данные недостатки, необходимо разработать новую, более универсальную методику.
Методы исследования
Разработка любой методики по ценки СМК начинается с раскрытия основных организационных положений процесса оценка. Здесь подразумевается цель, методы оценки, ответственность руководства, частота проведения. В имеющихся материалах подобные темы изложены достаточно подробно, также об этом указано в основополагющих нормативных документах. По этой причине при проведении данного исследования было решено остановится именно на самом процессе оценки и связанными с ним процессах.
В общем виде процесс оценки состоит из следующих этапов:
- определение показателей качества;
- вычисление весовых коэффициентов;
- сбор данных;
- расчет показателей, приведение данных к единому виду и оценка СМК.
Как правило, многие показатели, характеризующие СМК, обладают схожей природой. Поэтому их определение целесообразно выполнять по группам, отражающим различные аспекты предприятия. Основываясь на главных подходах в области качества, нами были предложены следующие группы показателей:
1) показатели соответствия СМК регулирующей документации;
2) показатели по потребителю;
3) показатели по персоналу;
4) показатели по поставщикам;
5) показатели по продукту/услуге;
6) показатели по инфраструктуре;
7) экономические показатели;
8) показатели соответствия СМК разработанной на предприятии документации.
Последовательность данных групп отражает их значимость для предприятия в области обеспечения качества.
Сбор данных лучше всего осуществлять с применением статистических методов, для чего необходимо разработать различные формы опросников. Также необходимо наличие документальной фиксации всех бизнес-процессов.
Применение квалиметрических методов для оценки качества любого объекта подразумевает расчет определенных количественных показателей. Однако при проведении мероприятий по оценке СМК не всегда бывает возможно оценить какой-либо показатель количественно. Например, степень удовлетворенности потребителей можно оценить лишь по определенной шкале. По этой причине необходимо свести к единому представлению все показатели. Для этих целей необходимо проводить предусмотренное квалиметрией нормирование данных критериев оценки.
Для выяснения степени соответствия каких-либо показателей плановым удобно применять циклограмму качества, представленную на рисунке. Ее использование также поможет при сведении воедино разнотипных показателей, в частности, для качественного выражения количественного расхождения параметров. Именно на описанных выше методах и будет основан процесс оценки СМК в излагаемой методике.
Рис. 1. Циклограммакачества: оси 1-8 - показатели качества; а - желаемые значения; б - реальные значения
Fig. 1. Cyclogram of quality: axes 1-8 - quality parameters; a - desired values; б - actual values
Степень соответствия определяется как разность фигур а и б.
Результаты исследования и их обсуждение
Используя ранее изложенные группы показателей, нами были разработаны критерии оценки СМК, приведенные в табл. 1. Их список может быть расширен исходя из специфики организации.
Дадим некоторые комментарии по таблице. Показатели, характеризующие наличие / отсутствия чего-либо, считаются по принципу «1 -есть, 0 - отсутствует». Экономические показатели высчитываются как изменения в прибыли/издержках при внедрении и выполнении СМК. Показатель степени исполнения положений СМК является сборным и детализируется на каждом предприятии отдельно на критерии, характеризующие прописанные в документации положения.
Следующим шагом идет расчет весовых коэффициентов. Для этого существует множество методов, но самым подходящим для целей данного исследования является метод балльных экспертных оценок. Для этого необходимо выбрать группы экспертов, которые будут проставлять свои оценки весомости показателей по определенной шкале. Наиболее подходящей здесь является десятибалльная. После сбора оценок расчет показателей весомости производится по следующей формуле [22]:
Si
£n_, s,
(1)
где а - показатель весомости;
81 - среднее арифметическое оценок экспертов по 1 - показателю.
Расчеты ведутся как внутри групп показателей, так и по всем группам показателей одинаково.
Далее необходимо определить меру согласованности экспертов. Для этих целей применяют формулу коэффициента конкордации 12Г
пл{Шъ — m) , (2)
X =-
где X - значение коэффициента конкордации;
Т - сумма квадратов отклонений суммы экспертных оценок по ¡-критерию от среднего арифметического оценок; п - число экспертов; т - число критериев.
Мнения считаются согласованными при значении X > 0,5.
Таблица 1. Показатели оценки качества СМК Table 1. QMS assessment indicators
Категория показателя Наименование показателя
Показатели соответствия СМК регулирующей документации - наличие необходимой по стандарту документации; - степень задокуменгированности процессов; - разработка всех необходимых процедур; - степень соответствия отраслевым стандартам; - наличие инструментов проверки качества продукции; - степень полноты регистрируемых данных по качеству
Показатели по потребителю - степень удовлетворенности потребителя; - степень соответствия ожиданиям потребителя; - удельный вес постоянных клиентов в общей массе клиентов; - динамика числа претензий и жалоб; - процент возврата продукции
Показатели по персоналу - наличие квалификации у работников; - степень укомплектованности штата; - уровень текучести кадров; - степень удовлетворенности работников; - уровень расходов на переобучение персонала, от общей доли расходов на персонал
Показатели по поставщикам - уровень сертифицированности поставщиков; - уровень рейтинга поставщиков; - уровень брака в поставках
Показатели по продукту/услуге - степень соответствия стандартам и регламентам; - процент брака в продукции; - процент стандартизированных и унифицированных комплектующих; - процент ремонта/оказания услуг сервиса продукции, в общей доли реализованной продукции; - уровень эргономичности изделий; - отношение числа патентов на изделия к общему числу видов продукции
Показатели по инфраструктуре - уровень безопасности рабочей среды; - динамика частоты ремонта оборудования; - доля сертифицированных средств труда; - степень комфортности рабочей среды; - степень обеспеченности рабочей среды
Экономические показатели - степень влияния СМК на прибыль; - степень влияния СМК на затраты; - уровень затрат на осуществление мероприятий по обеспечению качества; - уровень потерь при несоблюдении СМК
Показатели соответствия СМК разработанной на предприятии документации - степень выполнения поставленных целей; - степень информированности работников о СМК; - степень исполнения положений СМК; - оценка качества выполнения процесса руководителем процесса
Следующий этап - сбор данных. Для этого необходима полная доку мен тиров анность всей деятельсности. Сбор осуществляется следующими спсособами:
- для показателей, связанных с документами, - путем анализа документации;
- для показателей, характеризующих количественные свойства, - путем применения статистических методв сбора;
- для показателей, характеризующих состояние и внешний вид, - путем осмотра и наблюдения. Фиксация производится по балльным шкалам;
- для показателей, характеризующих степень удовлетворения, - путем примения анкет. Форму анкет каждая организация разрабатывает сама, исходя из своей специфики деятельности. Рекомендуется избегать вопросов с развернутым ответом, а использовать балльные шкалы. Только в анкетах, связанных с потребителями, допустимы развернутые ответы (например, что понравилось / не понравилось).
Следующий этап - расчет значений показателей. Дополнительные расчеты требуются для показателей, характеризующих проценты от общего числа, удельный вес, степень влияния и т.п.
Критерии, сводящиеся к определению удельного веса какого-либо события/свойства в общей массе, расчитываются по формуле
я =
O
(3)
где Я - значение критерия;
У - зарегистрированное число событий/свойств;
О - общее число событий/свойств.
Показатели степени влияния СМК на прибыль и затраты вычисляются по следующим формулам:
R = 1 - (-);
' IZp Pt
Rp = (-*) -1,
Pp
(4)
(5)
где Ял и Яр - показатели степени влияния СМК на издержки и прибыль соответственно;
121 и П - издержки и прибыль текущего периода;
]2р и Рр - издержки и прибыль предыдущего периода.
При получении отрицательных значений степень влияния равна 0.
Следующий этап - приведение данных критериев к единому виду или их нормализация. Большинство представленных выше критериев подразумевают итоговое значение в диапазоне от 0 до 1. Однако есть ряд показателей, где осуществляется экспертная оценка по балльной шкале. Для их нормализации следует использовать следующую формулу:
Y =-
P - min p max P — min P
этого сначала вычисляется значение по каждой группе критериев, после итоговое значение оценки СМК.
Для вычислений в группах формула
Rs = S,>, ■ R . (7)
Для вычисления итоговой оценки формула
Rcmk = sn.1«g ■ Rg, (8)
где Rg и RCMK - значение показателя по группе и значение итоговой оценки;
ai и ag - весовые коэффициенты i-показателя и группы показателей;
Ri - значение i-критерия оценки. Состояние СМК после вычислений оценивается по табл. 2.
Таблица 2. Характеристика состояния СМК по значению оценки
Table 2. Description of the QMS state by an assessment value
Значение показателя оценки Rcmk Состояние СМК
0,8 < Rcmk < 1 Отличное
0,6 < RCMK < 0,8 Хорошее
0,3 < Rcmk < 0,6 Удов летворительное
0 < RCMK < 0,3 Неудовлетворительное
(6)
где Yi - нормализованное значение; Pi - ненормализованное значение; min Pi и max Pi - минимальное и максимальное значения в шкале.
Далее идет сам процесс оценки СМК. Для
Заключение
По итогам проведенного исследования получена готовая методика оценки системы менеджмента качества предприятия, основанная на положениях квалиметрии. Квалиметрические подходы позволяют получить сопостовимые, точные, ясные и простые результаты оценки. Благодаря этому полученная методика легко может быть автоматизированна средствами персональных компьютеров. Она может быть доработана под нужды конкретного предприятия. Таким образом, результаты исследования могут служить основанием для дальнейших научных исследований и разработок в данной области.
Список литературы
1. ISO 9004:2018. Менеджмент для достижения устойчивого успеха организации. Подход на основе менеджмента качества. 04.2018. 59 с.
2. ГОСТ Р ИСО 9000-2015. Системы менеджмента качества. Основные положения и словарь. Введ. 2015-1101. М.: Стацдартинформ, 2015. 48 с.
3. ГОСТ Р ИСО 9001-2015. Системы менеджмента качества. Требования. Введ. 2015-11-01. М: Стандартин-форм, 2015. 23 с.
4. Варжапетян А. Менеджмент качества. Принятие решений о качестве, управляемом заказчиком. 2-е изд. М.: Вузовская книга, 2017. 360 с.
5. Гродзенский С.Я. Менеджмент качества: учеб. пособие. М.: Проспект, 2015. 200 с.
6. Трусова С. В., Тараконова Л.К. Системный подход к совершенствованию менеджмента организаций в современных условиях // Молодой ученый. 2016. №12. С. 1476-1478.
7. Бабанский А.В. Системы непрерывного улучшения продуктов и процессов. Минск: ИП «Экоперспекгива», 2009. 237 с.
8. Нежникова Е.В. Проблемы создания и функционирования систем менеджмента качества // Фундамента ль-ные исследования. 2013. № 6-4. С. 958-962.
9. Белоруков А.Э., Василенок А.В., Усик; НИ. Важность системы менеджмента качества на предприятии // Научный журнал НИУ ИТМО. 2016. №4. С. 70-77.
10. Маколов В.И. Проблемы систем менеджмента качества российских организаций в современных условиях // Национальные интересы: приоритеты и безопасность. 2015. С. 16-24.
11. Горбунова О.И., Кородюк И.С. Система менеджмента качества предприятий: проблемы внедрения и особенности российского опыта // Вестник Иркутского государственного технического университета. 2013. №12. С. 317-320.
12. Квалиметрия: методы количественного оценивания качества различных объектов (курс лекций и практических занятий): учеб. пособие / под общ. и науч. ред. д.э.н., профессора Г.В. Астратовой. Сургут: РИО СурГПУ, 2014. 160 с.
13. Азгальдов Г.Г., Костин А.В., Садовов В.В. Квалиметрия: первоначальные сведения. Справочное пособие с примером для АНО «Агентство стратегических инициатив по продвижению новых проектов»: учеб. пособие. М.: Высш. шк., 2011. 143 с.
14. Подольская М.Н. Квалиметрия и управление качеством: лабораторный практикум. Ч. 1. Экспертные методы. Тамбов: Изд-во ФГБОУ ВПО «ТГТУ», 2011. 80 с.
15. Лашко А.Г. Сущность квалиметрического подхода как научной парадигмы // Современная педагогика: электрон. науч. журн. 2016. № 11. URL: http://pedagogika.snauka.ru/2016/11/6236 (дата обращения: 22.10.2019).
16. Горьканова А.В. Методический подход к оценке результативности системы менеджмента качества предприятия // Студенческий электрон. науч. журн. 2019. № 6(50). С. 39-43.
17. Матухнов О. С. Сравнительный анализ подходов к оценке эффективности смк на российских предприятиях // Вестник Саратовского государственного социально-экономического университета. 2011. С. 208-211.
18. Искандерова P.P. Методика оценки результативности СМК предприятия // Молодой ученый. 2015. №5. С. 278-280.
19. Система добровольной сертификации «Военный Регистр». Методика оценки результативности системы менеджмента качества организации. М, 2012. 17 с.
20. Шмелева А.Н Качество продукции и качество менеджмента: как оценить? Качественные инструменты оценки операционной эффективности СМК предприятий // Российское предпринимательство. 2010. № 9-1. C. 88-93.
21. Шмелева А.Н. Оценка операционной эффективности системы менеджмента качества. Количественные подходы к оценке операционной эффективности СМК предприятия // Российское предпринимательство. 2010. № 9-2. C. 57-63.
22. Рязанова А. А. Методы экспертного анализа для определения значимости показателей конкурентоспособности качества высшего образования // Современная конкуренция. 2012. №2(32). С. 10-115.
Поступила 18.11.2019; принята к публикации 27.01.2020; опубликована 25.03.2020 Черкасов Дмитрий Алексеевич - магистр 2 курса
Орловский государственный университет имени Ивана Сергеевича Тургенева, Орёл, Россия, E-mail: chda485@yandex.ru. ORCID 0000-0002-2762-9939
References
1. ISO 9004:2018 Quality management. Quality of an organization. Guidance to achieve sustained success. 04.2018. 59 p.
2. GOST R ISO 9000-2015 Quality management systems. Main provisions and glossary. Introduced on 01.11.2015. Moscow: Standartinform, 2015, 48 p. (In Russ.)
3. GOST R ISO 9001-2015 Quality management systems. Requirements. Introduced on 01.11.2015. Moscow: Standartinform, 2015, 23 p. (In Russ.)
4. Varzhapetyan A. Menedzhment kachestva. Prinyatie resheniy o kachestve, upravlyaemom zakazchikom [Quality management. Taking decisions about quality managed by a customer]. 2nd ed. Moscow: University book, 2017, 360 p. (In Russ.)
5. Grodzenskiy S.Ya. Menedzhment kachestva: uchebnoe posobie [Quality management: learning aid]. Moscow: Prospect, 2015, 200 p. (In Russ.)
6. Trusova S.V., Tarakanova K.L. A system approach to improvement of quality management of organizations in cur-
rent conditions. Molodoy uchenyi [Young Scientist], 2016, no.12, pp. 1476-1478. (In Russ.)
7. Babanskiy A.V. Sistemy nepreryvnogo uluchsheniya produktov i protsessov [Systems of continuous improvement of products and processes]. Minsk: IP Ekoperspektiva, 2009, 237 p. (In Russ.)
8. Nezhnikova E.V. Problems of creation and functioning of quality management systems. Fundamentalnye issledo-vaniya [Basic Research], 2013, no. 6-4, pp. 958-962. (In Russ.)
9. Belorukov A.E., Vasilenok A.V., Usik N.I. Importance of the quality management system in the organization. Nauchnyi zhurnal NIUITMO [Scientific journal of NUST ITMO], 2016, no. 4, pp. 70-77. (In Russ.)
10. Makolov V.I. The problems of quality management systems of Russian organizations in current conditions. Natsionalnye interesy: prioritety i bezopasnost [National interests: priorities and security], 2015, pp. 16-24. (In Russ.)
11. Gorbunova O.I., Korodyuk I.S. The quality management system of organizations: problems of introduction and features of Russian experience. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Irkutsk State Technical University], 2013, no. 12, pp. 317-320. (In Russ.)
12. Astratova G.V. Kvalimetriya: metody kolichestvennogo otsenivaniya kachestva razlichnykh obektov. Ucheb. posobie [Qualimetry: methods of quantitative assessment of the quality of different objects (lectures and practical training): learning aid]. Surgut: RIO SurSPU, 2014, 160 p. (In Russ.)
13. Azgaldov G.G., Kostin A.V., Sadovov V.V. Kvalimetriya: pervonachalnye svedeniya. Spravochnoe posobie s pri-merom dlya ANO «Agentstvo strategicheskikh initsiativ po prodvizheniyu novykh proektov»: ucheb. posobie [Qualimetry: initial data. The guide with an example for ANO Agency for Strategic Initiatives to Promote New Projects: learning aid]. Moscow: Higher school, 2011, 143 p. (In Russ.)
14. Podolskaya M.N. Kvalimetriya i upravlenie kachestvom: laboratornyi praktikum. Ch. 1. Ekspertnye metody [Qualimetry and quality management: laboratory practice. P.1. Expert methods]. Tambov: Publishing House of FSBEI HPE TSTU, 2011, 80 p. (In Russ.)
15. Lashko A.G. The essence of a qualimetry approach as a scientific paradigm. Sovremennaya pedagogika: elektron. nauchn. zhurn. [Modern Pedagogy: Electronic Academic Journal]. 2016, no. 11. Available at: http://pedagogika.snauka.ru/2016/11/6236 (Accessed: 22.10.2019). (In Russ.)
16. Gorkanova A.V. A methodological approach to assessment of efficiency of the quality management system of a company. Studencheskiy elektron. nauchn. zhurn. [The Student Electronic Academic Journal], 2019, no. 6(50), pp. 39-43. (In Russ.)
17. Matukhnov O.S. A comparative analysis of approaches to assessment of QMS efficiency in Russian organizations. Vestnik Saratovskogo gosudarstvennogo sotsialno-ekonomicheskogo universiteta [Vestnik of Saratov State SocioEconomic University], 2011, pp. 208-211. (In Russ.)
18. Iskanderova R.R. The performance assessment methodology of QMS of a company. Molodoy uchenyi [Young Scientist], 2015, no. 5, pp. 278-280. (In Russ.)
19. The voluntary certification system "Military Register". Metodika otsenki rezultativnosti sistemy menedzhmenta kachestva organizatsii [Methods of assessment of QMS performance in a company]. Moscow, 2012, 17 p. (In Russ.)
20. Shmeleva A.N. The quality of products and the quality of management: how to assess? The quality tools of assessment of the operational efficiency of companies' quality management system. Rossiyskoe predprinimatelstvo [Russian Entrepreneurship], 2010, no. 9-1, pp. 88-93. (In Russ.)
21. Shmeleva A.N. Assessment of operational efficiency of the quality management system. Quantitative approaches to the assessment of operational efficiency of the company's quality management system. Rossiyskoe predprini-matelstvo [Russian Entrepreneurship], 2010, no. 9-2, pp. 57-63. (In Russ.)
22. Ryazanova A.A. The expert analysis methods used to determine a value of competitiveness indicators of the quality of higher education. Sovremennaya konkurentsiya [Modern competition], 2012, no. 2(32), pp. 106-115. (In Russ.)
Submitted 18/11/2019; revised 27/01/2020; published 25/03/2020
Dmitry A. Cherkasov - Master's Degree Student
Turgenev Orel State University, Orel, Russia, E-mail: chda485@yandex.ru. ORCID 0000-0002-2762-9939
