CC BY
138
УДК 331
Вестник СибГАУ 2014. № 4(56). С. 282-287
СОВЕРШЕНСТВОВАНИЕ ОЦЕНКИ КАЧЕСТВА ПОДГОТОВКИ ИНЖЕНЕРНЫХ КАДРОВ ДЛЯ ПРЕДПРИЯТИЙ ОБОРОННО-ПРОМЫШЛЕННОГО КОМПЛЕКСА
Т. Г. Окунева
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Важнейшей государственной задачей в настоящее время является инновационное развитие предприятий российского оборонно-промышленного комплекса, в том числе техническое перевооружение производства и вклад средств в развитие инновационных технологий. Для этого необходимы новые подходы как в системе управления предприятием оборонно-промышленного комплекса, так и в системе подготовки и переподготовки инженерных кадров для этих предприятий. В то же самое время приоритетной задачей политики государства в образовательной сфере является обеспечение высокого качества образования. Для обеспечения поставленных государством задач необходимо совершенствовать оценку качества профессионального образования.
Целью статьи является разработка методов по совершенствованию оценки качества образования, методов системного управления качеством в области управления высшим учебным заведением, рекомендаций для включения на федеральном уровне ряда критериальных показателей в систему оценки качества подготовки кадров высшими учебными заведениями. Разработанную методику смогут использовать высшие учебные заведения для самоанализа, самооценки и создания собственной системы управления качеством.
Рассматривается новый подход в системе постоянного публичного мониторинга функционирования и развития государственной системы профессионального образования, предлагается совершенствование оценки качества образования РФ с вовлечением всех заинтересованных сторон в процессы управления качеством.
Ключевые слова: инженерные кадры оборонно-промышленного комплекса, оценка качества образования, мониторинг, компетентность.
Vestnik SibGAU 2014, No. 4(56), P. 282-287
ENGINEERING TRAINING QUALITY EVALUATION IMPROVEMENT FOR DEFENSE COMPANIES
T. G. Okuneva
Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected]
Innovative development of defense enterprises, including manufacturing re-equipment and innovation investment is one of the priorities of government policy. This task requires new approaches to defense enterprise management system and to an education system for management and engineering of defense enterprises. At the same time, the priority state policy task at the education sphere is providing a high quality of education. An improvement of quality evaluation of professional education is necessary to implement the new policy.
The aim of this research is a development of education quality evaluation methods improvement, the methods of system quality management in the field of university management, the recommendations for inclusion a number of criteria indicators in the Federal indicators system of University quality evaluation.
Developed technique can be used for university's self-examination, self-evaluation and for creation of its own quality management system.
A new approach for the permanent public monitoring of functioning and for development of state professional education system is presented in the article, the improvement of education quality evaluation in the Russian Federation with the involvement of all stakeholders in the quality management processes is proposed.
Keywords: engineering personnel of the defense complex, education quality evaluation, monitoring, competences.
Введение. Оборонно-промышленный комплекс (ОПК) занимает особое место и играет заметную роль в развитии экономики и обеспечении национальной безопасности страны, заключающуюся в защите ее независимости, государственной и территориальной целостности. Развитие технологической базы ОПК формирует ключевое направление научно-технологического прогресса страны [1].
Государством ввиду экономического реформирования и политической ситуации в мире разработана Федеральная целевая программа развития ОПК на 2011-2020 годы (ФЦП-2020), Государственная программа РФ «Космическая деятельность России на 2013-2020 годы», ключевыми задачами которых являются создание научно-технического и технологического задела для разработки перспективных образцов ракетно-космической техники, обеспечение производства высокотехнологичной военной продукцией, конкурентоспособной по своим боевым и эксплуатационным характеристикам [2; 3].
В отраслевую структуру предприятий ОПК входят: радиоэлектронный комплекс, авиационная, ракетно-космическая, судостроительная отрасли, отрасли обычных вооружений, боеприпасов и спецхимии. В соответствии с действующей редакцией сводного реестра организаций ОПК, утвержденной приказом Минпромторга России от 05 февраля 2013 года № 137, к ОПК отнесены 1340 организаций [4].
Надо учитывать тот факт, что оборонные предприятия России в рамках проведенной конверсии 1990-х годов провели перепрофилирование своего производства на выпуск продукции повседневного спроса, а многие предприятия совсем были закрыты.
На сегодняшний день при реорганизации ОПК возникает ряд проблем, таких как низкий научно-технический уровень, определяемый износом основных производственных фондов; низкая эффективность инновационных проектов; неотлаженные механизмы государственного и рыночного регулирования развития ОПК; утраченная взаимосвязь предприятий ОПК и образовательных учреждений (ОУ), ведущих подготовку инженерных кадров; низкий уровень кадрового потенциала.
Несмотря на возросший спрос на инженерные специальности и значительный выпуск инженерных кадров, работодателей зачастую не устраивают компетенции выпускников, недостаток практического опыта, направление подготовки выпускника вуза. Кроме этого, причиной упадка качественного инженерного образования стало отсутствие общих требований к квалификации специалистов, постоянное изменение государственных образовательных стандартов, устаревшая материально-техническая и кадровая база вузов, противоречия между требованиями работодателей и системой подготовки кадров [5].
Постановка задачи. В связи с этим государством поставлена задача по модернизации системы образования: разработана Концепция Федеральной целевой программы развития образования на 2011-2015 гг. [6].
Повышение качества профессионального образования, включая развитие системы непрерывного образования, является важной государственной задачей в
модернизации системы образования и развитии производства ОПК. Эффективное решение данной задачи может быть выполнено на основе участия всех заинтересованных сторон: органов государственной власти, работодателей, молодежи и студенческих организаций, представителей учебных заведений, общественности. Для этого необходимо совершенствовать оценку качества образования на федеральном уровне, необходим новый подход в системе постоянного публичного мониторинга функционирования и развития системы профессионального образования, особенно инженерного образования.
Оценка качества образования. Качество образовательного процесса - это интегральное свойство, обусловливающее способность педагогической системы удовлетворять существующим и потенциальным потребностям личности и общества, государственным требованиям по подготовке высококвалифицированных специалистов [7].
Для определения качества образования, учитывая потребности работодателей, необходимо проводить эффективную оценку качества образования. Данная оценка будет результативна, если ее проводить на уровне Министерства образования и науки Российской Федерации. В настоящий момент в России существует внешняя и внутренняя оценка качества высшего профессионального образования. Внешняя оценка осуществляется в следующих формах: обязательная -государственная аккредитация, лицензионный контроль, мониторинг деятельности вузов; по желанию вуза - общественно-профессиональная аккредитация, различные конкурсы по оценке качества в сфере образования.
Мониторинг деятельности вузов позволяет провести анализ эффективности деятельности ОУ и включает в себя такие критериальные показатели, как образовательная, научно-исследовательская, международная, финансово-экономическая деятельность; инфраструктура; трудоустройство. Данные показатели характеризуются количественными составляющими и не предусматривают качественной оценки выпускников ОУ работодателями.
Внутренняя оценка заключается в основном в самообследовании ОУ, в то время как четкие указания от Министерства образования и науки Российской Федерации отсутствуют. В таких условиях внутренней гарантией качества предоставляемой образовательной услуги становится наличие в образовательном учреждении эффективной системы менеджмента качества (СМК). В связи со вступлением России в Болонский процесс за десятилетний период многие вузы внедрили элементы СМК. Для совершенствования механизма оценки качества образования необходимо на федеральном уровне включить обязательным показателем деятельности высших учебных заведений наличие СМК и проводить оценку ее эффективности. Для этого необходимо разработать единую форму опроса работодателей о качестве подготовки молодых специалистов в вузе. Следовательно, необходимо выставлять требования для каждого вуза по внедрению СМК в соответствии с определенными критериями оценки. Критерии оценки должны быть разработаны
на федеральном уровне. В качестве критериев оценки могут быть применены такие показатели, как степень удовлетворенности выпускников и студентов обучением в ОУ, степень удовлетворенности работодателей качеством подготовки выпускников ОУ, повышение квалификации преподавателей и сотрудников ОУ, наличие и эффективность системы мотивации преподавателей и сотрудников ОУ и др. Каждый критерий должен быть измерим.
Элементы оценки качества образования. СМК образовательного учреждения как подтверждение внутренней гарантии качества образовательной услуги должна включать в себя следующие элементы:
- оценка успеваемости студентов по формам обучения;
- система мониторинга качества образовательной услуги заинтересованных сторон (студент, преподаватель, выпускник, работодатель, сотрудник);
- проведение самообследования;
- проведение внутренних аудитов СМК и сбор предложений от сотрудников и преподавателей по улучшению деятельности ОУ.
В свою очередь, система мониторинга качества образовательной услуги высшего учебного заведения должна включать в себя следующие оценки:
- оценка преподавателя студентами;
- оценка удовлетворенности студентов обучением;
- оценка удовлетворенности выпускников обучением;
- оценка удовлетворенности преподавателей и сотрудников работой в ОУ;
- самооценка курса преподавателем [8].
В основе вышеперечисленных элементов должны лежать восемь принципов менеджмента качества: ориентация на потребителя; лидерство руководителя; вовлечение персонала; процессный подход; системный подход к управлению; принятие решений, основанных на фактах; взаимовыгодные отношения с поставщиками; постоянное улучшение [9-11].
Систематическое осуществление сбора и анализа фактических данных в системе мониторинга качества образовательной услуги позволяет отслеживать динамику процесса и выявлять критические места для оперативного устранения причин несоответствий, что способствует реализации принципа постоянного улучшения.
Взаимодействие вышеперечисленных элементов внутренней и внешней оценки качества образования в ОУ для высшего учебного заведения показано на схеме (см. рисунок).
Организация мониторинга качества образования. Для совершенствования механизма оценки качества образования необходимо определить степень удовлетворенности требований заинтересованных сторон. Чем больше заинтересованных сторон будет вовлечено в систему мониторинга, тем целостнее будет видна картина для анализа.
Остановимся подробнее на элементах организации системы мониторинга качества образовательной услуги в высшем учебном заведении.
Система оценки качества профессионального образования в образовательном учреждении
Оценка преподавателя студентами (удовлетворенность студентов качеством преподавания)
Результат качества образования напрямую зависит от компетентности, знаний и опыта преподавателя. Поэтому целью данной оценки является определение степени удовлетворенности студентов работой преподавателя, а именно, качеством преподавания дисциплины.
Каждое ОУ в зависимости от специфики деятельности должно разработать форму проведения оценки преподавателя студентами и систему критериев данной оценки, которая должна в себя включать: оценку освоения программы курса; обеспечение дисциплины методическими материалами, разработанными данным преподавателем; умение преподавателя работать с аудиторией; объективность оценивания знаний студентов; применение активных форм обучения; оценку компетентности преподавателя; самооценку знаний и ряд других параметров.
Анализ полученных данных по факультетам осуществляет уполномоченное структурное подразделение вуза. Для своевременного принятия мер отчеты по оценке преподавателей студентами выдаются деканам факультетов. Результатом осуществления данной оценки может служить проведение индивидуальной беседы с преподавателем, имеющим низкий балл, поощрение на уровне деканата/кафедры. По итогам оставленных замечаний и предложений студентов формируются рекомендации ответственному за учебный процесс в вузе, деканам факультетов, преподавателям.
Оценка удовлетворенности студентов обучением в вузе
Целью проведения данной оценки является ежегодное определение степени удовлетворенности студентов различными сторонами образовательного процесса, а также выявление уровня удовлетворенности образовательными методиками, социальных потребностей студентов, отношения к вузу, учебному процессу, социокультурной среде и психологической атмосфере в коллективе вуза.
Оценка должна осуществляться по следующим параметрам: удовлетворенность студенческой жизнью; материально-техническая база; информационно-техническая база; организация учебного процесса; организация творческой деятельности; бытовые аспекты.
По результатам анализа полученных данных высшее руководство вуза составляет корректирующие действия в отношении организации учебного процесса, развития материально-технической базы, организации творческой и воспитательной деятельности, развития информационно-технической базы, проведения хозяйственно-ремонтных работ, обеспечения социально-бытовых условий и адресует их владельцам данных процессов.
Оценка удовлетворенности выпускников обучением в вузе
Основной целью данной оценки является определение степени удовлетворенности выпускников обучением в вузе, степени удовлетворенности качеством преподавания, а также выявление планов выпускников
на будущее. Анализ данных должен осуществляться ежегодно.
При данной оценке необходимо учесть следующие параметры: удовлетворенность обучением в целом; перспективы трудоустройства выпускников; намерение работать по полученной специальности; организация образовательного процесса и практик и др. Кроме этого, выпускники высказывают замечания и предложения по улучшению образовательного процесса в вузе, которые служат основой для проведения корректирующих действий.
Оценка удовлетворенности преподавателей и сотрудников работой в вузе
Степень удовлетворенности преподавателей и сотрудников работой в вузе является одним из показателей деятельности вуза в области обеспечения качества подготовки специалистов, так как каждый сотрудник оказывает непосредственное влияние на образовательный процесс.
Данную оценку необходимо проводить ежегодно по следующим показателям: привлекательные стороны работы в вузе; удовлетворенность своей деятельностью в данной организации; удовлетворенность системой мотивации и оплатой труда; удовлетворенность организацией и выявлением проблем учебного процесса со стороны преподавателей; оценка материально-технического оснащения учебного процесса со стороны преподавателей; удовлетворенность организацией рабочего места; удовлетворенность условиями обслуживания в вузе.
Самооценка курса преподавателем
По окончании проведения дисциплины преподаватель должен осуществлять самооценку курса. В опросном листе могут быть отражены следующие аспекты: достигнуты ли цели курса; усвоили ли студенты ту или иную тему; какую тему следовало бы осветить в большем объеме и др. В заключение анкеты преподаватель должен составить план действий по улучшению преподаваемой дисциплины.
Вообще, целью проведения самооценки является определение уровня качества деятельности и путей ее совершенствования. Освоение технологий самооценки качества собственной деятельности - это важная и непростая задача, так как существенную роль здесь играют не только технологии, внедряемые при самооценке курса, но и возможные последствия, к которым они могут привести [12].
Отметим, что оценка по критериям системы мониторинга качества образовательной услуги может осуществляться как однозначными ответами «да»/«нет», так и по балльной шкале, например, 5-балльной шкале (5 - самый высокий балл, 1 - самый низкий балл).
Инженерное образование всегда требует высоких знаний естественно--научных дисциплин. Успеваемость студентов характеризует знания обучаемых, соответственно, и качество обучения. Элемент внутренней оценки качества образования «Оценка успеваемости студентов» позволяет отслеживать динамику показателей, характеризующих абсолютную и качественную успеваемость студентов, по формам обучения в разрезе по направлениям подготовки.
Абсолютная и качественная успеваемость студентов направления подготовки «Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов. Ракетные транспортные системы» за 2011/12 - 2013/14 уч. гг.
Курс Абсолютная успеваемость весеннего семестра, % Качественная успеваемость весеннего семестра, %
2011-2012 2012-2013 2013-2014 2011-2012 2012-2013 2013-2014
1 курс 81,3 87,5 73,9 53,8 42,9 41,1
2 курс 91,2 100,0 76,9 51,6 55,6 30,0
3 курс 95,8 96,8 100,0 39,1 53,3 60,0
4 курс 100,0 90,0 97,1 76,9 66,7 41,2
5 курс 100,0 100,0 93,1 92,9 100,0 85,2
В среднем 93,7 94,9 88,2 62,9 63,7 52,1
Абсолютная успеваемость - это отношение числа студентов, сдавших все экзамены в сессию, к числу обязанных сдавать экзамены. Качественная успеваемость - это отношение числа студентов, сдавших все экзамены на отлично, на хорошо и отлично и только на хорошо, к числу студентов, сдавших все экзамены в сессию [13].
Отслеживая динамику этих показателей в зависимости от нового набора студентов, можно увидеть потенциал будущих выпускников, будущих инженерных кадров. Например, проведенные в Сибирском государственном аэрокосмическом университете имени академика М. Ф. Решетнева исследования по оценке успеваемости студентов одного из инженерных направлений подготовки «Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов. Ракетные транспортные системы» показывают снижение качественной и абсолютной успеваемости с каждым годом набора. Результаты успеваемости за три года отражены в таблице. Данное исследование позволяет выявлять причины снижения уровня обучаемости студентов и принимать меры для их устранения. Одной из наиболее часто встречаемых проблем является снижение уровня подготовки школьного образования как по предметам естественно-научного профиля, так и презентационных навыков.
Еще одним важным показателем внутренней оценки качества образования являются полученные выпускником компетенции за время обучения в вузе, которые может оценить работодатель. Соответственно, вуз должен осуществлять эффективное взаимодействие с работодателями, проводить опросы и анализ полученных результатов. Помимо внутреннего взаимодействия вуза с работодателями, необходимо на федеральном уровне установить единую форму оценки качества подготовки выпускников в вузе крупными организациями-работодателями, которая должна осуществляться в виде проведения независимых от вузов опросов и сборов сведений.
Заключение. Предложенная система совершенствования оценки качества образования ориентирована на все заинтересованные стороны, в том числе на оценку выпускников работодателями. Данная модель позволит восстановить утраченную взаимосвязь обра-
зовательных учреждений с предприятиями различного уровня, в том числе с предприятиями ОПК. Установленные на федеральном уровне единые требования и критерии оценки эффективности СМК для всех вузов и реализация механизма независимого сбора информации от работодателей о качестве подготовки молодых специалистов позволит своевременно принимать меры по улучшению качества образовательного процесса и хорошо дополнит существующую на сегодняшний день систему оценки качества образования в Российской Федерации.
Библиографические ссылки
1. Оборонно-промышленный комплекс России в современных экономических условиях [Электронный ресурс]. URL: http://sibac.info/10444 (дата обращения: 20.08.2014).
2. Государственная программа Российской Федерации «Космическая деятельность России на 2013-2020 годы» [Электронный ресурс]. URL: http://www.federalspace.ru/20561/ (дата обращения: 11.05.2014).
3. Федеральная целевая программа развития ОПК на 2011-2020 годы [Электронный ресурс]. URL: http://www.rg.ru/2013/02/11/opk-garantii-site-dok.html (дата обращения: 11.02.2013).
4. Министерство промышленности и торговли Российской Федерации [Электронный ресурс]. URL: http : //www. minpro mto rg.gov. ru/do c s/mpt/o rders/647 (дата обращения: 25.09.13).
5. Инженерное образование: механизм подготовки требует ремонта [Электронный ресурс]. URL: http://www.akvobr.ru/inzhenernoe_obrazovanie_mehanizm. html (дата обращения: 24.01.2013).
6. Распоряжение Правительства РФ от 07.02.2011г. № 163-р «О Концепции Федеральной целевой программы развития образования на 2011-2015 годы» [Электронный ресурс]. URL: http://www.garant.ru/ products/ipo/prime/doc/55070647/#ixzz3F3D7Fz2S (дата обращения: 24.02.2011).
7. Стародубов В. И., Сидоров П. И., Васильева Е. Ю. Оценка качества образовательной среды : учебник для вузов. М. : Литтерра, 2013. 464 с.
8. Окунева Т. Г., Подвербных О. Е. Мониторинг качества подготовки кадров в инженерном вузе: опыт СибГАУ // Управление человеческими ресурсами -основа развития инновационной экономики : материалы V Междунар. науч.-практ. конф. / Сиб. гос. аэрокосмич. ун-т. Красноярск, 2014. С. 59-62.
9. ГОСТ ISO 9000-2011. Системы менеджмента качества. Основные положения и словарь / под ред. H. Н. Кузьминой. М. : ФГУП «Стандартинформ», 2012. 32 с.
10. ГОСТ Р ИСО 9004-2010. Менеджмент для достижения устойчивого успеха организации. Подход на основе менеджмента качества. М. : ФГУП «Стандартинформ», 2011. 47 с.
11. ГОСТ Р 52614.2-2006. Системы менеджмента качества. Руководящие указания по применению ГОСТ Р ИСО 9001-2001 в сфере образования. М. : ФГУП «Стандартинформ», 2007. 70 с.
12. Стародубов В. И., Сидоров П. И., Васильева Е. Ю. Системный мониторинг образовательной среды : учебник для вузов. М. : Литтерра, 2013. 304 с.
13. Окунева Т. Г., Куприянова О. А., Дапку-найте Е. И. Система менеджмента качества в образовании: опыт СибГАУ // Новые информационные технологии и менеджмент качества (NIT&QM'2011) : материалы междунар. научн. конф. / ФГУ ГНИИ ИТТ «Информика». М. : ООО «Арт-Флэш», 2011. С. 155157.
Referenees
1. Oboronno-promyshlennyj kompleks Rossii v sovremennykh jekonomicheskikh uslovijakh. [Russian defense complex in modern economic conditions] (In Russ.). Available at: http://sibac.info/10444 (accessed: 20.08.2014).
2. Gosudarstvennaja programma Rossijskoj Federatsii "Kosmicheskaja dejatel'nost' Rossii na 2013-2020 gody". [State Russian Federation program "Space activity of Russia for 2013-2020"] (In Russ.). Available at: http://www.federalspace.ru/20561/ (accessed 11.05.2014).
3. Federal'naja tselevaja programma razvitija OPK na 2011-2020 gody. [The Federal target program of defense industry development for 2011-2020] (In Russ.). Available at: http://www.rg.ru/2013/02/11/opk-garantii-site-dok.html (accessed: 11.02.2013).
4. Ministerstvo promyshlennosti i torgovli Rossijskoj Federatsii [The Ministry of industry and trade of Russian Federation] (In Russ. Available at: http://www.minpromtorg. gov.ru/docs/mpt/orders/647 (accessed 25.09.13).
5. Inzhenernoe obrazovanie: mekhanizm podgotovki trebuet remonta. [Engineering education: the mechanism of training needs repair] (In Russ.). Available at: http://www.akvobr.ru/inzhenernoe_obrazovanie_mehaniz m.html (accessed 24.01.2013).
6. Rasporyazhenie Pravitel'stva RF ot 07.02.2011 № 163-r "O Kontseptsii Federal'noi tselevoi programmy razvitiya obrazovaniya na 2011-2015 gody" [The decree of the RF Government "On the concept of the Federal target program of education development for 2011-2015" of February 07, 2011 No. 163-r] (In Russ.). Available at: http://www.garant.ru/products/ipo/prime/doc/55070647/#i xzz3F3D7Fz2S (accessed 24.02.2011).
7. Starodubov V. I., Sidorov P. I., Vasil'eva E. Ju. Otsenka kachestva obrazovatel'noj sredy. [Educational environment quality evaluation]. Moscow, Littera Publ.,
2013, 464 p.
8. Okuneva T. G., Podverbnyh O. E. [Engineering training quality monitoring at high school: SibSAU experience]. Upravlenie chelovecheskimi resursami -osnova razvitiya innovatsionnoi ekonomiki : materialy V Mezhdunar. nauch.-prakt. konf. Sib. gos. aerokosmich. un-t. [Human resource management as a basis for the development of innovative economics. Materials V International Research Conference (on March, 20-21th
2014, Krasnoyarsk)]. Krasnoyarsk, 2014, p. 59-62 (In Russ.).
9. GOST ISO 9000-2011. Sistemy menedzhmenta kachestva. Osnovnye polozhenija i slovar'. [Interstate Standard ISO 9000-2011. Quality management systems. Fundamentals and vocabulary]. Moscow, Standartinform Publ., 2012, 32 p.
10. GOST R ISO 9004-2010. Menedzhment dlja dostizhenija ustojchivogo uspekha organizatsii. Podkhod na osnove menedzhmenta kachestva. [State Standard R 9004-2010. Management for the organization steady success. Quality management approach]. Moscow, Standartinform Publ., 2011, 47 p.
11. GOST R 52614.2-2006. Sistemy menedzhmenta kachestva. Rukovodjashhie ukazanija po primeneniju GOST R ISO 9001-2001 v sfere obrazovanija. [Quality management system. Guidanes for the application of GOST R ISO 9001-2001 in education]. Moscow, Standartinform Publ., 2007, 70 p.
12. Starodubov V. I., Sidorov P. I., Vasil'eva E. Ju. Sistemnyj monitoring obrazovatel'noj sredy. [Educational environment system monitoring]. Moscow, Littera Publ., 2013, 304 p.
13. Okuneva T. G., Kuprijanova O. A., Dapkunajte E. I. [The education management quality system: experience of SibSAU]. Novye informatsionnye tekhnologii i menedzhment kachestva (NIT&QM'2011). Materialy mezhdunarodnoi nauchnoi konferentsii [New information technologies and quality management (NIT&QM'2011). Materials of the International Scientific Conference]. Moscow, CO LTD "Art-Flash" Publ., 2011, p. 155-157.
© Окунева Т. Г., 2014
