CC BY
39
DOI: 10.21603/2500-3372-2020-5-4-568-579
оригинальная статья УДК (65.015:378.1)303.4
Методические подходы к оценке прогресса университетов по внедрению бережливого производства
Анна Н. Челомбитко а @ ш
Кемеровский государственный университет, Россия, г. Кемерово @ [email protected]
Ш https://orcid.org/0000-0001-6119-0299
Поступила в редакцию 27.08.2020. Принята в печать 19.10.2020.
Аннотация: Быстрое развитие бережливого производства в российских университетах требует разработки методического подхода к оценке происходящих процессов, качества и зрелости академических систем бережливого производства. Цель исследования - разработка методического подхода, позволяющего оценивать прогресс университета во внедрении методологии бережливого производства. Предложен методический подход, который устанавливает соответствие между основными аспектами бережливого производства (принципы, инструменты, сфера применения) и качественными (определяемыми по принципу да / нет) и количественными показателями. Важными показателями являются число применяемых методов, число реализованных проектов, стандартов работы и другие. Данный подход отличается от существующих тем, что позволяет определять зрелость и общий уровень развития систем бережливого производства на основе количественных показателей, давать комплексную оценку прогресса университета в использовании бережливой методологии, сравнивать разные университеты между собой. Методический подход апробирован на материалах двух университетов - участников «Ассоциации бережливых вузов» (Майкопский государственный технологический университет, Кубанский государственный медицинский университет). Установлено, что по основным показателям развития бережливого производства оба университета достаточно близки (количество реализованных проектов, картированных потоков, визуализаций, а также уровень экономии времени и удовлетворенности стейк-холдеров). Это объясняется общей политикой внедрения бережливого производства и единой научно-методической основой. В Кубанском государственном медицинском университете наблюдается несколько больший охват обучением в области бережливого производства, стандартизацией, существуют отдельные ключевые показатели эффективности. В Майкопском государственном технологическом университете наблюдается более высокая активность в изучении потребностей стейкхолдеров и вовлечении студентов. Оба университета пока уделяют недостаточное внимание стоимостной оценке результатов бережливого производства, не предусматривают в явном виде управленческих показателей по устойчивости процессов. Разработанная методика может представлять интерес для менеджмента университетов, поскольку позволяет более полно обосновывать принимаемые решения на основе сравнительного анализа. Она может послужить основой для разработки рейтингов бережливых вузов.
Ключевые слова: методика оценки, управление университетом, карта потока создания ценности, принципы бережливого производства, инструменты бережливого производства, сравнительный анализ
Для цитирования: Челомбитко А. Н. Методические подходы к оценке прогресса университетов по внедрению бережливого производства // Вестник Кемеровского государственного университета. Серия: Политические, социологические и экономические науки. 2020. Т. 5. № 4. С. 568-579. БО1: https://doi.org/10.21603/2500-3372-2020-5-4-568-579
Введение
Развитие теории и практики управления университетами в последние годы связано с активным внедрением новых для академической среды методов и технологий менеджмента, заимствованных преимущественно из бизнеса. Быстрое изменение университетского менеджмента в значительной степени основано на использовании концепции «нового публичного управления» [1-3] и других инструментов, доказавших свою продуктивность в коммерческих организациях, например системы сбалансированных показателей [4]. Безусловно, перенесение в академическую сферу подходов и инструментов менеджмента, характерных для бизнеса, получает неоднозначную оценку
ученых и экспертов, поскольку часто недооценивается специфика университета, его роль в производстве общественных благ. Тем не менее современный академический менеджмент изменился самым существенным образом и, по-видимому, этот процесс необратим. Необходимо более глубокое изучение конкретных кейсов, накопленного опыта реформирования систем управления отечественными университетами, а также развитие методических подходов к измерению понесенных в ходе данных процессов затрат и достигнутых результатов.
В 2018-2020 гг. российские университеты начали активную деятельность по внедрению такой методологии управления, как бережливое производство (лин-технологии).
DOI: 10.21603/2500-3372-2020-5-4-568-579
Это сравнительно новый инструмент сокращения издержек, экономии времени и повышения удовлетворенности стейкхолдеров [5; 6]. Образовательные организации высшего образования (ООВО) России, объединенные в «Ассоциацию бережливых вузов», в последние годы реализовали ряд бережливых проектов, позволивших, в частности, повысить эффективность работы приемных комиссий, упростить и ускорить выполнение ряда организационно-административных функций (кадровая работа, оформление документов) [7]. Заинтересованность во внедрении бережливых технологий проявляют и другие университеты страны.
Вместе с тем проблематика применения бережливого производства в университетах остается недостаточно исследованной. Многие аспекты внедрения бережливых технологий в академической среде не имеют необходимого научно-методического обоснования и рассматриваются в незначительном числе работ. Среди известных зарубежных публикаций можно выделить проведенный W. K. Balzer и др. обзор 60 работ по использованию бережливого производства в университетах мира [8]. В нем показано, что многие университеты вполне успешно применили бережливые технологий для повышения эффективности, сокращения издержек при выполнении стандартных административных операций. Как правило, внедрение бережливых технологий дает положительный эффект в виде экономии времени и расходов на оплату труда. В то же время, учитывая, что получение прибыли не является целью деятельности университета, определить влияние бережливых технологий на образовательную и научную деятельность гораздо сложнее. Кроме того, более широкому применению бережливого производства может препятствовать академическая свобода, которой нет в коммерческих организациях. Поэтому требуются новые исследования воздействия бережливого производства на деятельность университетов [8].
B. Emiliani указывает на преимущественно экономические предпосылки внедрения бережливого производства в университетах и колледжах США: ужесточение конкуренции, снижение численности абитуриентов и студентов [9; 10]. Эти предпосылки и привели к заимствованию из промышленности практик бережливого производства, которые позволяют сократить затраты, не снижая ценность услуги для клиента. Однако в его работах внимание практически не уделяется роли академической культуры в развитии бережливости и специфике университета как объекта управления. Несколько иную позицию занимают A. J. Thomas и др., которые, анализируя среду внедрения бережливых технологий в университетах, пришли к выводу, что в них существуют более благоприятные условия для внедрения бережливого производства по сравнению с промышленными предприятиями или средними школами. Это объясняется академической культурой, более способствующей, по мнению этих авторов, инновациям и бережливости [11].
Таким образом, использование бережливого производства в университетах требует дальнейших исследований, поскольку многие важные аспекты этой проблемы остаются дискуссионными и недостаточно изученными. Среди них необходимо выделить чисто методическую проблему оценки, измерения того, насколько университет успешен во внедрении методологии бережливого производства. Согласно известному принципу классика менеджмента P. F. Drucker, «можно управлять только тем, что можно измерить», поэтому необходимы количественные оценки успешности внедрения бережливых технологий и зрелости бережливых практик в университете. Такие оценки не только позволяют сравнивать различные университеты друг с другом, но и обеспечивать продуктивное управление по целям, обратную связь, адекватное стимулирование вовлеченных в процесс сотрудников.
Подчеркнем, что речь идет не только и не столько об оценке экономической эффективности реализации бережливых технологий, что наиболее важно для коммерческих организаций, но и об измерении качества процессов, удовлетворенности стейкхолдеров, зрелости, уровня развития самой системы бережливого производства. Представляется, что измерение прогресса университета во внедрении бережливых технологий должно охватывать несколько аспектов: спектр применяемых инструментов, соблюдение принципов бережливого производства в повседневной деятельности, широта охвата бережливыми технологиями разных направлений деятельности организации.
Иными словами, важно не только оценить экономию времени, финансовых ресурсов, степень повышения удовлетворенности стейкхолдеров, но и определить уровень развития самой системы бережливого производства в университете с точки зрения ее зрелости, соответствия лучшим образцам, практической реализации основных положений стандартов по бережливому производству, отражающих лучший опыт. Это весьма важно в контексте сравнительного анализа университетов, внедряющих бережливое производство, который не может проводиться только на основании абсолютных величин экономии средств. Сравнительная оценка зрелости систем бережливого производства позволит также перейти к построению рейтингов бережливых вузов и исследованию взаимосвязей прогресса бережливого производства и результатов деятельности университетов.
В существующих исследованиях рассматриваются в основном методические подходы к оценке сугубо экономической эффективности внедрения бережливых технологий, причем на материалах промышленных предприятий. В работе Т. А. Суетиной и Д. М. Сафиной предлагается использовать несколько показателей: удельный вес продукции, производимой с использованием инструментов бережливого производства (или масштаб внедрения бережливого производства), отношение прироста прибыли за счет внедрения инструментов бережливого
DOI: 10.21603/2500-3372-2020-5-4-568-579
производства к инвестиционным вложениям [12]. По мнению автора, применительно к университету оценка отдачи от инвестиций в бережливые инструменты является важной, но частной задачей, тогда как определить масштаб внедрения бережливого производства в университете в рамках предложенного подхода вряд ли возможно.
А. А. Овчинников и др. предлагают для оценки эффективности мероприятий по внедрению инструментов бережливого производства сопоставлять три величины:
1) производственные затраты до реализации проекта;
2) производственные затраты после реализации проекта;
3) затраты на внедрение бережливых инструментов. Для обоснованного расчета данных величин рекомендуется изучить и оценить ряд категорий и показателей затрат. В число таких категорий входят операционное время производственного цикла, объем производства, транспортировка продукции, качество продукции, использование оборудования и площадей, сырье и материалы, экономика производства. По категории, например, качество продукции учитываются затраты вследствие выпуска забракованной продукции, на исправление брака, на гарантийные ремонты [13].
Сходное видение методических проблем оценки эффективности бережливого производства содержится в работе В. В. Абдрахманова. По каждому из видов потерь, выделяемых в рамках методологии бережливого производства, определены конкретные элементы, сумма которых образует излишние затраты. Например, для потерь из-за выпуска брака это издержки на исправление дефектов и расход ресурсов на производство продукции с неисправимым браком [14]. А. А. Зайцев аналогичным образом анализирует воздействие внедрения инструментов бережливого производства, однако, в отличие от предыдущей работы, не на прибыль, а на денежный поток [15]. Безусловно, подобные показатели сложно применить к деятельности университета, особенно образовательной и научной. Кроме того, необходимые для проведения расчетов по данным алгоритмам показатели отсутствуют в учетных системах даже производственных предприятий, не говоря об университетах.
А. С. Птускин, В. Ю. Анцев, Н. А. Витчук предлагают оценивать эффективность внедрения инструментов бережливого производства на основе общепринятой методологии оценки эффективности инвестиционных проектов, учитывая изменения денежных потоков, вызванные использованием лин-технологий. Не вызывает возражений тезис, что использование бережливых технологий повлияет на такие категории затрат, как расходы на оплату труда, материальные расходы, расходы на ремонт оборудования и т. д., а соответствующие изменения в производственных условиях наиболее правильно оценивать методом прямого счета [16]. Трудоемкость метода прямого счета не исключает возможность его применения, но существенно ограничивает реальные возможности проведения такого анализа в условиях ресурсных ограничений.
Существуют разработки по использованию в качестве основного показателя эффективности внедрения бережливого производства не финансовых, а временных показателей. И. В. Еманаков, С. А. Овчинников, П. В. Грудзинский предлагают в качестве интегрального показателя такого рода эффективность потока. Она представляет собой отношение суммарного времени создания ценности на всех производственных операциях к сумме той же величины и суммарному времени потерь [17]. Чем ближе данный показатель к единице, тем меньше потерь времени и тем эффективнее реализованы проекты по бережливому производству. Оценивать экономию времени в университете может быть более перспективно, чем чисто экономический эффект, но весьма затруднительно интегрировать результаты такой оценки по различным проектам.
Другой подход - использование различных относительных показателей, главным образом, коэффициентов, характеризующих отдельные аспекты бережливого производства. Он представлен в исследовании А. Б. Николаевой, где по каждому инструменту бережливого производства подобраны прямые и косвенные показатели, не связанные напрямую с расходами и прибылью предприятия. Для инструмента всеобщее управление качеством это количество рационализаторских предложений в расчете на одного работника за год и вариация значений качественных характеристик продукции, а для всеобщего ухода за оборудованием - общая эффективность оборудования, удельный вес и доля плановых ремонтов в общих простоях оборудования [18]. Сходная методологическая позиция используется А. Р. Одинцовой, которая предложила показатели «уровень кайдзен» (отношение количества перспективных предложений к численности рабочих) и «эффективность кайдзен» (произведение уровня кайдзен и удельного веса внедренных предложений к числу предложений, признанных перспективными) [19].
В исследовании А. А. Абросимовой для оценки эффективности внедрения инструментария бережливого производства на уровне цеха предложен ряд традиционных и новых показателей. Это коэффициент использования рабочего времени, коэффициент интенсивности труда, коэффициент непрерывности обслуживания рабочих мест (зависит от наличия на рабочих местах нарядов, материалов, инструмента, технической документации в соответствии с регламентами бережливого производства), коэффициент рациональности расположения средств труда на рабочем месте [20].
Более сложный подход к коэффициентной оценке результатов внедрения инструментария бережливого производства обоснован К. В. Белыш. Этот автор использует экспертные оценки важности основных результатов использования бережливых инструментов (в разрезе безопасности, качества, сроков, затрат, культуры). По каждому из этих направлений устанавливается от 1 до 4 ключевых показателей эффективности Например, в рамках направления качество - уровень (доля) сдачи
DOI: 10.21603/2500-3372-2020-5-4-568-579
детали с первого предъявления, безопасность - количество ванн с кипящей смазочно-охлаждающей жидкостью на участке и др. Интегральная оценка проекта внедрения бережливого производства тогда будет представлять собой «сумму произведений коэффициентов выполнения каждого мероприятия и весовых коэффициентов по направлениям» [21, с. 93]. При этом дополнительно оцениваются чисто экономические результаты (изменение прибыли методом прямого счета).
На экспертной оценке эффективности внедрения бережливого производства базируется исследование Н. С. Давыдовой и Ю. П. Клочкова. Для ОАО «КамАЗ» ими было выделено несколько подсистем: стратегическое управление, персонал, процессы - по каждой из которых выделены оцениваемые показатели. Для подсистемы персонал это, помимо прочего, наличие кайдзен-предло-жений, воспитание лидеров, исповедующих философию бережливого производства, создание самообучающейся организации и т. д. По каждому показателю проводится экспертная оценка по десятибалльной шкале [22]. По мнению автора, коэффициенты, КР1 и экспертные оценки более перспективны для оценки процесса внедрения бережливого производства в университете.
Одной из немногих работ, рассматривающих проблему оценки эффективности внедрения бережливого производства применительно к некоммерческим организациям, является исследование В. Ф. Арженцова и др., посвященное медицинским учреждениям. В нем комбинируются результаты экспертных оценок и отдельные частные количественные показатели по пяти направлениям бережливого производства. Так, эффективность по направлению корпоративная культура оценивалась по количеству нарушений этики делового общения, а по направлению исполнение заказа -на основании количества действий, выполненных вовремя [23]. О. О. Шрайнер и С. И. Ультан [24], С. Д. Шешукова, Л. М. Железнов и С. П. Ашихмин [25] предлагают оценивать социальную эффективность бережливого производства в больнице в первую очередь по экономии времени (по показателям времени нахождения пациента в медицинском учреждении, работы с пациентом, количества шагов, сделанных медицинским персоналом, времени оформления пациента, нахождения в очереди и т. д.).
В отечественных и зарубежных работах по проблематике бережливого производства в университетах, как правило, не ставится отдельный вопрос об оценке эффективности соответствующих мероприятий и в целом об определении прогресса образовательной организации во внедрении бережливого производства [5-11; 26-28]. Существуют лишь разрозненные оценки того, насколько бережливые технологии позволили сократить затраты
времени либо дали иной полезный нефинансовый эффект (повышение удовлетворенности потребителей, сокращение ошибок и т. д.).
Исходя из сказанного, целью исследования является разработка методического подхода, позволяющего оценивать прогресс университета во внедрении методологии бережливого производства. Предполагается не только и не столько измерение сугубо экономического эффекта либо экономии времени, сколько комплексная оценка того, насколько соблюдаются принципы бережливого производства, используется необходимый набор инструментов, каков уровень зрелости системы бережливого производства в целом.
Методы и материалы
В исследовании предлагается авторская методика измерения прогресса университета во внедрении бережливого производства, базирующаяся на сопоставлении реального положения дел в ООВО и основных содержательных характеристик бережливого производства. Декомпозиция данных оцениваемых характеристик (переменных) представлена в табл. 1. Материалом для построения декомпозиции послужили положения национальных стандартов РФ в сфере бережливого производства1, поскольку одна из основных задач оценки - определить степень соответствия между реальным (фактическим) положением дел в университете и идеальным состоянием, которое характеризует стандарт. Информация табл. 1 позволяет дать формализованную системную оценку деятельности университетов в сфере внедрения бережливого производства, поскольку охватывает такие его ключевые аспекты, как соблюдение принципов, широта используемого инструментария, распространенность бережливого производства в разных видах деятельности, достигаемые с его помощью результаты. В целом соответствующая характеристика дает достаточно полное представление об уровне зрелости системы бережливого производства и качестве процессов в университете.
Предложенные показатели оценки носят как качественный (по принципу да / нет), так и количественный характер. Это объясняется тем, что первоначально необходимо оценить само наличие документов, мероприятий, практик, соответствующих принципам и базовым положениям бережливого производства. Это дает возможность определить, выполняются ли те или иные требования бережливой методологии как таковой. Далее следует количественное измерение выраженности тех или иных признаков бережливого производства в университете, например, количество проектов, используемых инструментов или удельный вес рабочих мест, видов деятельности, охваченных внедрением бережливого производства.
1 Бережливое производство. Основные методы и инструменты. Национальный стандарт РФ. ГОСТ Р 56407-2015. Введен 02.06.2015 // Кодекс. Режим доступа: http://docs.cntd.ru/document/1200120649 (дата обращения: 10.08.2020); Бережливое производство. Руководство по интегрированной системе менеджмента качества и бережливого производства. Национальный стандарт РФ. ГОСТ Р 57522-2017. Введен 01.01.2018 // Кодекс. Режим доступа: http://docs.cntd.ru/document/1200146133 (дата обращения: 10.08.2020).
DOI: 10.21603/2500-3372-2020-5-4-568-579
Количественные показатели прогресса университета во внедрении бережливого производства не следует абсолютизировать, поскольку это может мотивировать, например, к формальному дроблению проектов, максимальному охвату сотрудников обучением без учета его содержания и качества и т. п. Однако эти показатели полезны с точки зрения диагностики зрелости и уровня развития системы бережливого производства, позволяют дифференцировать университеты, находящиеся на разных стадиях освоения этой методологии.
Апробация предложенной методики проводится в исследовании на материалах двух университетов -
членов «Ассоциации бережливых вузов»: Майкопского государственного технологического университета (МГТУ) и Кубанского государственного медицинского университета (КубГМУ). Выбор этих ООВО в качестве полигона исследования объясняется в основном наличием в открытом доступе достаточно полного и актуального материала по внедрению бережливого производства в этих университетах, позволяющего провести полноценное сравнительное исследование2. Кроме того, представляет интерес сравнение ООВО разного профиля (технологический и медицинский). Временные рамки исследования охватывают период 2018-2019 гг.
Табл. 1. Декомпозиция основных характеристик системы бережливого производства Tab. 1. Decomposition of the main characteristics of the lean production system
Характеристика системы бережливого производства Показатели оценки
Полнота используемого комплекса методов бережливого производства — количество используемых методов; — количество используемых методов по сравнению с университетом-лидером
Создание ценности для потребителя — наличие и количество действий, направленных на изучение существующего уровня удовлетворенности стейкхолдеров; — наличие и количество проектов, ориентированных на стейкхолдеров университета; — результаты оценки удовлетворенности стейкхолдеров
Работа с потоком создания ценности, соблюдение стандартов — наличие и количество картированных потоков; — наличие и количество стандартов работы
Сокращение потерь — снижение затрат времени стейкхолдеров; — снижение финансовых затрат университета
Организационная культура на основе уважения к человеку — наличие мероприятий по развитию организационной культуры; — наличие документированных ценностей бережливой культуры; охват сотрудников обучением
Встроенное качество — наличие показателей возможностей процессов (например, индексы воспроизводимости процесса)
Принятие решений, основанных на фактах — наличие инструментов, методик, процедур, обеспечивающих принятие решений, основанных на фактах (а не субъективных мнениях, домыслах и т. д.); — наличие KPI для проектов внедрения бережливого производства и отдельных сотрудников
Визуализация и прозрачность — наличие и количество визуализированных материалов, отражающих ход процессов
Охват всех видов потерь — охват мероприятиями по бережливому производству семи основных видов потерь (muda); — охват мероприятиями по бережливому производству дополнительных видов потерь (mura, muri и др.)
Стратегический характер и документирование бережливого производства — наличие формализованных документов по внедрению методологии бережливого производства (декларация, положение, политика и т. п.); — наличие документированной связи методологии бережливого производства со стратегией развития университета в целом
Широта использования бережливых инструментов — распространение в разных видах деятельности университета
2 Бережливый вуз - МГТУ Режим доступа: http://bv.mkgtu.ru/index.php (дата обращения 15.08.2020); Центр бережливых технологий Кубанского государственного медицинского университета // КубГМУ Режим доступа: http://www.ksma.ru/centr_berezhlivykh_tekhnologijj/ (дата обращения: 15.08.2020).
DOI: 10.21603/2500-3372-2020-5-4-568-579
Результаты
На первом этапе оценки проводилось изучение набора конкретных инструментов бережливого производства, используемых МГТУ и КубГМУ Отметим, что максимальное число инструментов бережливого производства, используемое участниками «Ассоциации бережливых вузов», как показал анализ их публичных и отчетных материалов, составляет 14 наименований. Это, в частности, картирование (построение карт потока создания ценности), организация рабочего места по системе «5S», немедленное предупреждение о проблеме (Andon), анализ узких мест (Bottleneck analysis), непрерывный поток (Continuous Flow), «поле битвы» (Gemba), развертывание политики (Hoshin Kanri), непрерывное улучшение (Kaizen), вытягивающая система логистики (Kanban), устранение потерь (Muda), защита от ошибки (Poka-Yoke), анализ основных причин (5 «Почему?»), визуализация процессов (Visual Factory) и стандартизированная работа.
Использование данных инструментов в МГТУ и КубГМУ отражают данные табл. 2. Университеты имеют сходный уровень активности в использовании различных инструментов бережливого производства: первый использует 9 инструментов (более 64 % от общего числа), второй - 10 инструментов (более 71 %). Основная часть этих инструментов пересекается, поскольку речь идет о базовых для бережливого производства вещах: картирование потоков создания ценности, анализ и устранение потерь, узких мест, стандартизация работы и рационализация рабочих мест. Разница заключается в том, что МГТУ применяет также метод развертывания политики (Hoshin Kanri), заключающийся в том, что цели и KPI бережливого производства интегрированы в программу развития ООВО. КубГМУ отличается использованием анализа основных причин и вытягивающей логистики. В целом уровень использования конкретных инструментов бережливого производства в двух университетах можно считать весьма близким.
Рассмотрим данные по соблюдению основных принципов бережливого производства в изучаемых университетах. В табл. 3 представлены абсолютные показатели,
Табл. 2. Использование инструментов бережливого производства в МГТУ и КубГМУ
Tab. 2. Lean production tools at Maikop State Technological University and Kuban State Medical University
Инструмент МГТУ КубГМУ
Картирование + +
Организация рабочего места + +
по системе «58»
Немедленное предупреждение - -
о проблеме
Анализ узких мест + +
Непрерывный поток - -
«Поле битвы» + +
Развертывание политики + -
Непрерывное улучшение + +
Вытягивающая система - +
логистики
Устранение потерь + +
Защита от ошибки - -
Анализ основных причин - +
Визуализация процессов + +
Стандартизированная работа + +
Итого инструментов 9 10
Процент от максимального 64,3 71,4
количества
не учитывающие размеры вуза. Это обусловлено двумя причинами. Во-первых, МГТУ и КубГМУ имеют близкую численность студентов (6383 человек и 5880 человек соответственно), численность сотрудников в КубГМУ выше3, но это обусловлено спецификой медицинского вуза, следовательно, университеты сопоставимы по масштабам. Во-вторых, представляется, что количественные индикаторы активности в освоении бережливых технологий не имеют прямо пропорциональной связи с численностью обучающихся, сотрудников или научно-педагогических работников университета. Вполне типичными сферами внедрения бережливого производства
Табл. 3. Основные показатели соблюдения принципов бережливого производства в МГТУ и КубГМУ
Tab. 3. Key indicators of adherence to the lean principles in Maikop State Technological University and Kuban State Medical University
Показатель МГТУ КубГМУ
Количество мероприятий по изучению уровня удовлетворенности стейкхолдеров 9 6
Количество проектов бережливого производства в 2018-2019 гг. 14 12
Результаты оценки удовлетворенности стейкхолдеров 80 % (процедура перевода) в 2 раза (в среднем)
Количество картированных потоков 18 16
Количество стандартов работы 7 10
3 Информационно-аналитические материалы по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования // ГИВЦ. Режим доступа: Ьйр://т^са1:о^.т1ссе^.ги/тош1:оп^/?т=уро (дата обращения: 17.08.2020).
DOI: 10.21603/2500-3372-2020-5-4-568-579
Показатель МГТУ КубГМУ
Снижение затрат времени от 5 до 20 раз по разным процессам около 15 раз (в среднем)
Снижение финансовых затрат - -
Действия по развитию организационной культуры (мероприятия, документы) - -
Охват обучением в области бережливого производства, человек 81 сотрудник 116 студентов 320 сотрудников
Наличие показателей возможностей процессов - -
Наличие действий по принятию решений, основанных на фактах - -
Наличие КР1 по бережливому производству 13 -
Количество визуализированных материалов 27 22
Количество потерь, охваченных мероприятиями по сокращению из числа 7 основных потерь 5 5
Количество потерь, охваченных мероприятиями по сокращению из числа дополнительных видов потерь 3 3
Наличие формализованных документов по внедрению методологии бережливого производства + +
Наличие документированной связи методологии бережливого производства со стратегией развития университета в целом + -
в университете являются работа приемной комиссии, кадровые операции, работа столовой и т. д. Число таких проектов не зависит или слабо зависит от размеров ООВО. Поэтому относительные показатели в исследовании не использованы.
Сопоставление данных табл. 3 по МГТУ и КубГМУ позволяет дать сравнительную оценку зрелости и качества их систем бережливого производства. По параметрам количества реализованных проектов (10-15 за два года), роста удовлетворенности стейкхолдеров (на 80-100 %), количества картированных потоков (более 15), визуализированных материалов (22 и 27) университеты могут считаться весьма близкими. Это объясняется тем, что пулы проектов у членов «Ассоциации бережливых вузов» изначально были схожи вследствие единой политики и методологии участников, одной команды кураторов.
Общее количество проектов существенно не различалось, а этот показатель коррелирует и с числом картированных потоков, и с количеством визуализированных материалов (необходимые составляющие разработки любого бережливого проекта). Близкий уровень удовлетворенности стейкхолдеров также указывает на сопоставимый эффект от реализованных проектов, к тому же следует учитывать, что методология соответствующих опросов может существенно отличаться. Отсутствие единой методологии изучения удовлетворенности, разумеется, снижает информационную ценность соответствующих данных.
Идентичен в МГТУ и КубГМУ и состав потерь, охваченных соответствующими мероприятиями. Из семи видов потерь, традиционно относящихся к категории Muda (перепроизводство, ожидание, запасы, излишняя транспортировка, излишнее перемещение людей, брак, излишняя
обработка), остаются пока неохваченными запасы и брак. С одной стороны, категорию бракованной продукции психологически сложно приложить к деятельности ООВО, а роль материально-производственных запасов в экономике университета не столь велика, чтобы выделять их минимизацию как отдельное направление проектов бережливого производства. Вместе с тем бракованной может быть не только продукция, но и, например, информация, а продуктивное управление запасами может быть весьма эффективным для рационализации вспомогательной деятельности университета, если она не выведена на аутсорсинг.
МГТУ и КубГМУ одинаково подходят к документированию управленческой деятельности по внедрению бережливого производства, имеют локальные нормативные акты, регламентирующие данную сферу. Но ни один из университетов не имеет ни показателей, измеряющих возможности процессов (например, устойчивость), ни в выраженном виде процедур по принятию решений, основанных на фактах. Это указывает на важные направления развития системы бережливого производства на следующем этапе. Кроме того, в доступных документах и материалах ООВО практически отсутствует информация о сокращении затрат в стоимостном выражении благодаря использованию бережливых инструментов.
В качестве отличий систем бережливого производства МГТУ и КубГМУ можно выделить следующее:
• МГТУ более активно проводит мероприятия по изучению уровня удовлетворенности (9 по сравнению с 6 в КубГМУ - в 1,5 раза чаще);
• в КубГМУ разработано больше стандартов работы (10 против 7), охват процессов несколько шире;
• в МГТУ обучение бережливому производству проходят как сотрудники, так и студенты; КубГМУ
DOI: 10.21603/2500-3372-2020-5-4-568-579
обучает преимущественно сотрудников, но общий охват обучением шире, что, впрочем, может объясняться большей численностью научно-педагогических работников по сравнению с МГТУ; • в КубГМУ есть специальные KPI по бережливому производству (не только показатели успешности отдельных проектов), документально закреплено место бережливого производства в документах стратегического планирования университета. Таким образом, система бережливого производства в КубГМУ несколько более «продвинута», отличается более высоким уровнем зрелости и качества. Это объясняется преимущественно тем, что медицинские ООВО несколько раньше начали работу в данном направлении по институциональным причинам.
Оба университета в своей деятельности используют такие инструменты бережливого производства, как маршрутизация и навигация в помещениях, внедрение системы «58» на рабочих местах. В КубГМУ применяются также оптимизация процессов получения студентами допуска к медицинской и фармацевтической деятельности, работы приемной комиссии, планирования диссертаций аспирантов, кадровой работы (трудоустройство, получение допусков). В МГТУ реализуются повышение эффективности использования информационных систем (формирование учебного плана студента, рационализация использования личных кабинетов обучающихся и сотрудников в электронной среде), упрощение ряда процедур (оказание материальной помощи обучающимся, востребование дебиторской задолженности, перевод студентов), рационализация подготовки и проведения мероприятий, развитие системы адаптации студентов.
Видится, что основные направления использования бережливого инструментария весьма близки в университетах. Как правило, рационализации и оптимизации подвергаются важные, но вспомогательные операции (кадровые, административные), где проще внедрить бережливые инструменты и более очевиден полезный эффект. Перспективы развития бережливого производства в университетах во многом связаны с его продвижением в основную деятельность - научную и учебную.
Заключение
На современном этапе развития бережливого производства в российских университетах назрела необходимость в методических инструментах, позволяющих анализировать и оценивать накопленный массив информации, определять уровень развития, зрелости производственных систем. Это необходимо как для сравнительных исследований университетов, так и определения недостатков, проблем в области внедрения бережливого производства, выбора приоритетов на следующий период работы. Нами предложен один из возможных подходов к определению прогресса университета во внедрении бережливого производства. Он базируется на выделении ключевых
составляющих бережливого производства: соблюдении принципов, используемом инструментарии, распространенности бережливых инструментов в разных сферах деятельности. Большинство принципов бережливого производства можно связать с одним или несколькими количественными или качественными показателями.
В настоящее время бережливые университеты оценивают методом прямого счета экономию времени, денежных средств, достигнутую благодаря использованию бережливых технологий, оценивают непосредственные выгоды от реализации проектов в сфере бережливости, т. е. их результативность и эффективность. Наряду с этим необходимы инструменты, которые позволяли бы определять общий прогресс, уровень зрелости университета в использовании бережливого производства, степень проникновения бережливых технологий в разные сферы деятельности. Это позволяет решать несколько задач: оценивать уровень развития системы бережливого производства в сравнении с лидерами, определять перспективные направления внедрения бережливых технологий там, где университет отстает от конкурентов, иметь комплексное представление о масштабах и степени системности применения бережливой методологии. Кроме того, оценка прогресса разных университетов во внедрении бережливого производства необходима для академических сравнительных исследований и изучения влияния бережливости на важнейшие результаты деятельности вузов.
Предложенный методический подход использовался для сравнительного анализа результатов внедрения бережливого производства в двух университетах - участниках «Ассоциации бережливых вузов». Общий уровень развития системы бережливого производства сопоставим. Прежде всего, довольно близко число реализованных в течение 2018-2019 гг. проектов. Вследствие этого нет принципиальных отличий и по показателям количества потоков создания ценности, подвергнутых картированию, количества визуализированных материалов, поскольку они зависят от числа проектов. Сходные результаты достигнуты и по уровню экономии времени (как правило, более чем в 10 раз по большинству проектов), повышению удовлетворенности стейкхолдеров.
По отдельным параметрам уровень развития системы бережливого производства в КубГМУ несколько выше, чем в МГТУ. Это связано с большим охватом сотрудников обучением, значительным числом разработанных стандартов, а также наличием специальных KPI по бережливому производству и связью направления с общей стратегией. МГТУ отличается более внимательным изучением потребностей стейкхолдеров и вовлечением в процесс студентов. Оба университета пока уделяют недостаточное внимание стоимостной оценке результатов бережливого производства, не предусматривают в явном виде управленческих показателей по возможностям процессов, не имеют проработанных процедур по принятию решений, основанных на фактах. Данные направления
DOI: 10.21603/2500-3372-2020-5-4-568-579
перспективны для дальнейшего развития. Быстрое развитие системы бережливого производства в академической сфере предполагает совершенствование методического инструментария для оценки происходящих процессов, сравнительных исследований, возможно, - разработки
рейтингов бережливых университетов. Поэтому перспективы дальнейшего изучения бережливого производства в российских университетах будут зависеть от качества информационного обеспечения, системного подхода к формированию и публикации необходимых данных.
Литература
1. Funck E. K., Karlsson T. S. Twenty-five years of studying new public management in public administration: accomplishments and limitations // Financial Accountability & Management. 2020. Vol. Зб. No. 4. P. 347-37S. DOI: l0.llll/faam.l22l4
2. Bolotov V. A., Motova G. N., Navodnov V. G. ^e monitoring of monitoring: what's wrong with the ministry's new approach to supervision of effectiveness of higher education institutions' performance? // Университетское управление: практика и анализ. 2019. Т. 23. W 3. С. S-13. DOI: 10.15826/umpa.2019.03.015
3. Kурбатова М. В., Донова И. В., ^ган Е. С. Оценка изменений положения преподавателей российских вузов // Мир России. 2017. Т. 2б. W 3. С. 90-11б. DOI: 10.17З2З/1811-0З8Х-2017-2б-З-90-11б
4. TaylorJ., Baines C. Performance management in UK universities: implementing the Balanced Scorecard // Journal of Higher Education Policy and Management. 2012. Vol. 34. Iss. 2. P. 111-124. DOI: 10.1080/1360080Х.2012.662737
5. Давыдова Н. С. Применение принципов и методов бережливого производства в вузах // Бережливое мышление. Вопросы смыслообразования и мотивации: сб. мат-лов IV Междунар. науч.-практ. лин-конф. (Ижевск, 14-16 марта, 2018 г.) Ижевск, 2018. С. 3S-44.
6. Ваганова О. В., ^маргей А. С. Повышение качества образовательных услуг на основе внедрения технологий бережливого производства в НИУ «БелГУ» // Научный результат. Экономические исследования. 2019. Т. S. W 1. С. 3-10. DOI: 10.18413/2409-1634-2019-S-1-0-1
7. Гайворонская С. А. Практика внедрения бережливых технологий в систему управления вузом: проектный подход // Университетское управление: практика и анализ. 2019. Т. 23. W 4. С. 104-11S. DOI: l0.lS826/umpa.20l9.04.032
8. Balzer W. K., Francis D. E., Krehbiel T. C., Shea N. A review and perspective on lean in higher education // Quality Assurance in Education. 2016. Vol. 24. No. 4. P. 442-462. DOI: 10.1108/QAE-03-201S-0011
9. Emiliani B. Lean university: a guide to renewal and prosperity. Wethersfield: CLBM, LLC, 201S. 162 p.
10. Emiliani B., Stec D. J. Leaders lost in transformation // Leadership & Organization Development Journal. 200S. Vol. 2б. W S. P. 370 -387. DOI: 10.1108/01437730S10607862
11. ^omas A. J., Antony J., Francis M., Fisher R. A comparative study of Lean implementation in higher education institutions in the UK // International Journal of Quality and Reliability Management. 201S. Vol. 32. Iss. 9. P. 982-996. DOI: 10.1108/ IJQRM-09-2014-0134
12. Суетина Т. А., Сафина Д. М. Методика оценки экономической эффективности инвестиций во внедрение мероприятий бережливого производства // Российское предпринимательство. 2018. Т. 19. W 10. С. 308S-3094. DOI: 10.18334/ rp.19.10.39490
13. Овчинников А. А., Фаллер K. П., Овчинников С. А., Еманаков И. В. Оценка эффективности внедрения бережливого производства // Методы менеджмента качества. 2016. W 9. С. 12-1S.
14. Абдрахманов В. В. Оценка эффективности внедряемых мероприятий при развертывании на предприятии концепции «Бережливое производство» // Инновации в менеджменте. 201S. W 3. С. 8-1S.
15. Зайцев А. А. Оценка влияния концепции бережливого производства на финансово-экономические показатели инновационного предприятия // Вопросы инновационной экономики. 2017. Т. 7. W 3. С. 2S7-280. DOI: 10.18334/ vinec.7.3.38196
16. Птускин А. С., Анцев В. Ю., Витчук Н. А. Методика расчета показателей эффективности проекта внедрения инструментов бережливого производства // Известия Тульского государственного университета. Экономические и юридические науки. 2014. W S-1. С. 2S3-266.
17. Еманаков И. В., Овчинников С. А., Грудзинский П. В. Выявление и анализ потерь при внедрении бережливого производства на промышленных предприятиях // Ячество и жизнь. 2017. W 3. С. S6-60.
18. Николаева А. Б. Оценка эффективности внедрения бережливого производства на промышленных предприятиях // Вестник экономики, права и социологии. 2016. W 4. С. 69-72.
19. Одинцова А. Р. Методика внедрения бережливого производства на предприятии нефтегазового машиностроения // Современная наука: актуальные проблемы теории и практики. Серия: «Экономика и право». 201S. W 3-4. С. 39-4S.
20. Абросимова А. А. Развитие методов бережливого производства на промышленных предприятиях: автореф. дис. ... канд. экон. наук. Н. Новгород, 2013. 22 с.
21. Белыш K. В. Методический инструментарий внедрения и функционирования бережливого производства на промышленном предприятии: дис. ... канд. экон. наук. Ижевск, 2019. 1S6 с.
DOI: 10.21603/2500-3372-2020-5-4-568-579
22. Давыдова Н. С., Клочков Ю. П. Бережливое производство на предприятиях машиностроения: теория и практика внедрения. М.: Издательский дом Академии естествознания, 2012. 111 с.
23. Арженцов В. Ф., Гайворонская Т. В., Веселова Д. В., Верменникова Л. В., Чабанец Е. А. Оценка эффективности метода «обучения действием» на «фабрике процессов» с целью применения философии, принципов и инструментов бережливого производства в медицинских организациях // Современные проблемы науки и образования. 2019. № 2. DOI: 10.17513/spno.28596
24. Шрайнер О. О., Ультан С. И. Социально-экономическая эффективность как инструмент оценки внедрения бережливого производства в сфере здравоохранения РФ // Экономика и предпринимательство. 2019. № 2. С. 259-266.
25. Шешукова С. Д., Железнов Л. М., Ашихмин С. П. Повышение качества образования через реализацию проекта «Бережливый вуз». Опыт применения симуляционных технологий в обучении применения инструментов бережливого производства в медицинской практике // Оренбургский медицинский вестник. 2018. Т. VI. № 4. С. 74-79.
26. Козырьков Р. В. Внутренние условия и концепции совершенствования управления региональной организацией высшего образования // Baikal Research Journal. 2017. Т. 8. № 3. DOI: 10.17150/2411-6262.2017.8(3).15
27. Устюжанцева А. Н. Бережливое производство как инструмент повышения экономической безопасности организации (на примере ФГБОУ ВО «Югорский государственный университет») // Экономические и социальные факторы развития народного хозяйства: сб. мат-лов II Всерос. науч.-практ. конф. аспирантов и магистрантов (Ханты-Мансийск, 31 января - 1 февраля 2017 г.) Ханты-Мансийск, 2017. С. 90-99.
28. Лихошерстова Г. Н. Алгоритм формирования современной системы «Бережливое производство в вузе» // Научный результат. Экономические исследования. 2019. Т. 5. № 1. С. 33-42. DOI: 10.18413/2409-1634-2019-5-1-0-4
original article
Methodological Approaches to Estimating the Progress of Universities in Lean Production
Anna N. Chelombitko a' @ ID
Kemerovo State University, Russia, Kemerovo @ [email protected]
ID https://orcid.org/0000-0001-6119-0299 Received 27.08.2020. Accepted 19.10.2020.
Abstract: The rapid development of lean production in Russian universities needs new methodological approaches to assess the ongoing processes. The research objective was to develop a new methodological approach to progress assessment of lean production at universities. The approach is based on the effect of principles, tools, and scope of lean production on its qualitative and quantitative indicators, e.g. the number of methods, projects implemented, work standards, etc. This approach makes it possible to determine the development level of lean production systems on the basis of quantitative indicators, as well as to compare different universities with each other. The experiment featured two universities of the Association of Lean Universities, namely Maikop State Technological University and Kuban State Medical University. In terms of the main indicators, both universities appeared to be quite similar: they had almost the same number of implemented projects, mapped flows, and visualizations, as well as the level of time savings and stakeholder satisfaction. This result can be explained by the general policy of implementing lean production, as well as by a shared scientific and methodological basis. Kuban State Medical University had a slightly greater coverage of training in the field of lean production, standardization, etc. Maikop State Technological University proved to be more active in studying the needs of stakeholders and student involvement. Both universities paid insufficient attention to the cost assessment of the results of lean production. They also had poor management indicators for sustainability processes. The developed methodology may be of interest for university management, since it helps to substantiate decisions made on the basis of a comparative analysis. It can also serve as a basis for a new ranking of lean universities.
Keywords: assessment methodology, university management, value stream map, principles of lean production, lean production tools, comparative analysis
For citation: Chelombitko A. N. Methodological Approaches to Estimating the Progress of Universities in Lean Production. Vestnik Kemerovskogo gosudarstvennogo universiteta. Seriia: Politicheskie, sotsiologicheskie i ekonomicheskie nauki, 2020, 5(4): 568-579. (In Russ.) DOI: https://doi.org/10.21603/2500-3372-2020-5-4-568-579
DOI: 10.21603/2500-3372-2020-5-4-568-579
References
1. Funck E. K., Karlsson T. S. Twenty-five years of studying new public management in public administration: accomplishments and limitations. Financial Accountability & Management, 2020, 36(4): 347-375. DOI: 10.1111/faam.12214
2. Bolotov V. A., Motova G. N., Navodnov V. G. The monitoring of monitoring: what's wrong with the ministry's new approach to supervision ofeffectiveness ofhigher education institutions' performance? University Management: Practice and Analysis, 2019, 23(3): 5-13. DOI: 10.15826/umpa.2019.03.015
3. Kurbatova M. V., Donova I. V., Kagan E. S. Changes in the standing of lecturers at Russian higher education institutions. Mir Rossii, 2017, 26(3): 90-116. (In Russ.) DOI: 10.17323/1811-038X-2017-26-3-90-116
4. Taylor J., Baines C. Performance management in UK universities: implementing the Balanced Scorecard. Journal of Higher Education Policy and Management, 2012, 34(2): 111-124. DOI: 10.1080/1360080X.2012.662737
5. Davydova N. S. Application ofprinciples and methods oflean production in universities. Lean thinking. Questions of meaning formation and motivation: Proc. IV Intern. Sci.-Prac. Lin-Conf., Izhevsk, March 14-16, 2018. Izhevsk, 2018, 35-44. (In Russ.)
6. Vaganova O. V., Kumargei A. S. Improving the quality of educational services through the introduction of lean production techniques in "BelSU". Scientific result. Economic research, 2019, 5(1): 3-10. (In Russ.) DOI: 10.18413/2409-1634-2019-5-1-0-1
7. Gayvoronskaya S. A. Practice of introducing lean technologies into the university management system: a project approach. University Management: Practice and Analysis, 2019, 23(4): 104-115. (In Russ.) DOI: 10.15826/umpa.2019.04.032
8. Balzer W. K., Francis D. E., Krehbiel T. C., Shea N. A review and perspective on lean in higher education. Quality Assurance in Education, 2016, 24(4): 442-462. DOI: 10.1108/QAE-03-2015-0011
9. Emiliani B. Lean university: a guide to renewal and prosperity. Wethersfield: CLBM, LLC, 2015, 162.
10. Emiliani B., Stec D. J. Leaders lost in transformation. Leadership & Organization Development Journal, 2005, 26(5): 370387. DOI: 10.1108/01437730510607862
11. Thomas A. J., Antony J., Francis M., Fisher R. A comparative study of Lean implementation in higher education institutions in the UK. International Journal of Quality and Reliability Management, 2015, 32(9): 982-996. DOI: 10.1108/ IJQRM-09-2014-0134
12. Suetina T. A., Safina D. M. Methodology for assessing the economic efficiency of investments in the implementation of lean manufacturing measures. Rossiiskoe predprinimatelstvo, 2018, 19(10): 3085-3094. (In Russ.) DOI: 10.18334/ rp.19.10.39490
13. Ovchinnikov A. A., Faller K. P., Ovchinnikov S. A., Emanakov I. V. Assessment of the efficiency of implementation of lean production. Metody menedzhmenta kachestva, 2016, (9): 12-15. (In Russ.)
14. Abdrakhmanov V. V. Efficiency estimation of implemented measures deployed on the enterprises based on lean production concept. Innovacii v menedzhmente, 2015, (3): 8-15. (In Russ.)
15. Zaytsev A. A. Evaluating the impact of lean production on financial and economic indicators of an innovative enterprise. Russian Journal of Innovation Economics, 2017, 7(3): 257-280. (In Russ.) DOI: 10.18334/vinec.7.3.38196
16. Ptuskin A. S., Anzev V. Ju., Vitchuk N. A. Calculation of indicators efficiency of project implementating lean tools. Izvestiia Tulskogo gosudarstvennogo universiteta. Ekonomicheskie i iuridicheskie nauki, 2014, (5-1): 253-266. (In Russ.)
17. Emanakov I. V., Ovchinnikov S. A., Grudzinskiy P. V. Identification and the analysis of losses at introduction of lean manufacturing at the industrial enterprises. Quality and Life, 2017, (3): 56-60. (In Russ.)
18. Nikolaeva A. B. Assessment of efficiency of implementing lean production in industrial enterprises. Vestnik ekonomiki, prava i sotsiologii, 2016, (4): 69-72. (In Russ.)
19. Odintsova A. R. Technique for introducing lean manufacturing enterprise oil and gas engineering. Sovremennaia nauka: aktualnye problemy teorii i praktiki. Seriia " Ekonomika i pravo", 2015, (3-4): 39-45. (In Russ.)
20. Abrosimova A. A. Development of methods of lean production at industrial enterprises. Cand. Econ. Sci. Diss. Abstr. Nizhny Novgorod, 2013, 22. (In Russ.)
21. Belysh K. V. Methodical tools for implementation and functioning of lean production at an industrial enterprise. Cand. Econ. Sci. Diss. Izhevsk, 2019, 156. (In Russ.)
22. Davydova N. S., Klochkov Iu. P. Lean production at mechanical engineering enterprises: theory and practice of implementation. Moscow: Izdatelskii dom kademii estestvoznaniia, 2012, 111. (In Russ.)
23. Arzhentsov V. F., Gayvoronskaya T. V., Veselova D. V., Vermennikova L. V., Chabanets E. A. Evaluation of the efficiency of the method of "learning by action" at the "factory of processes" for the purpose of application of philosophy, principles and instruments ofprotective production in medical organizations. Sovremennyeproblemy nauki i obrazovaniia, 2019, (2). (In Russ.) DOI: 10.17513/spno.28596
24. Shrainer O. O., Ultan S. I. Socio-economic efficiency as a tool for assessing the implementation of lean production in the health care sector of the Russian Federation. Ekonomika i predprinimatelstvo, 2019, (2): 259-266. (In Russ.)
DOI: 10.21603/2500-3372-2020-5-4-568-579
25. Sheshukova S. D., Zheleznov L. M., Ashihmin S. P. Improving the quality of education through the implementation of the project "lean institution". Experience in the use of simulation technologies in the training of lean tools in medical practice. Orenburgskii meditsinskii vestnik, 2018, VI(4): 74-79. (In Russ.)
26. Kozyrkov R. V. Internal conditions and concepts of improving management of a regional higher education organization. Baikal Research Journal, 2017, 8(3). (In Russ.) DOI: 10.17150/2411-6262.2017.8(3).15
27. Ustyuzhantseva A. N. Lean production as an instrument to improve the economic security of the organization (on the example of Ugra State University). Economic and social factors of the development of the national economy: Proc. II All-Russian Sci.-Prac. Conf. ofgraduate students and undergraduates, Khanty-Mansiysk, January 31 - February 1, 2017. Khanty-Mansiysk, 2017, 90-99. (In Russ.)
28. Likhosherstova G. N. The algorithm of formation of the modern system "Lean production in high school". Scientific result. Economic research, 2019, 5(1): 33-42. (In Russ.) DOI: 10.18413/2409-1634-2019-5-1-0-4
