CC BY
56
РАЗДЕЛ 2 МОДЕЛИ, СИСТЕМЫ, МЕХАНИЗМЫ
В ТЕХНИКЕ
УДК 004.7
АКЦЕНТНАЯ ВИЗУАЛИЗАЦИЯ В ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ ПРОИЗВОДСТВЕННОГО КОНТРОЛЯ
А. В. Иващенко, П. В. Ситников
ACCENTED VISUALIZATION IN INTELLIGENT SYSTEMS OF INDUSTIAL CONTROL
A. V. Ivaschenko, P. V. Sitnikov
Аннотация. Предмет. Исследование посвящено реализации технологий дополненной реальности в автоматизированных системах интеллектуального контроля выполнения ручных операций на современном производстве. Целью работы является повышение качества распознавания деталей и комплектующих изделия, его фрагментов и частей за счет дополнения искусственных нейронных сетей семантическим анализатором, контролирующим ход производственного процесса и учитывающим индивидуальные особенности восприятия оператора. Методы. В основе семантического анализатора лежит представление инженерных данных об изделии в базе знаний - онтологии. Предлагаемое решение реализует метод акцентной визуализации, который заключается в формировании виртуальных объектов, отметок и пояснений для привлечения внимания пользователей с помощью интерфейсов дополненной реальности. Метод основан на выделении сценария, фокуса, контекста и оверлейного контекста, что позволяет конкретизировать ситуацию и сузить перечень возможных решений по распознаванию объектов. Результаты. В качестве примера успешной реализации такого решения приводятся результаты разработки интеллектуальной системы контроля ручных операций в автомобильном машиностроении. Выводы. Предложенный в работе метод позволяет отслеживать и управлять вниманием пользователей в системах дополненной реальности. Результаты работы рекомендуются для использования в интеллектуальных системах производственного контроля в рамках реализации концепции Индустрии 4.0 на научно-производственных предприятиях машиностроения.
Ключевые слова: Индустрия 4.0, дополненная реальность, акцентная визуализация, распознавание образов.
Abstract. Background. Research is devoted to the implementation of Augmented Reality technologies in automated systems of intellectual control of manual operations at modern production enterprises. The aim of the work is to improve the quality of recognition of details and their parts, fragments and components by amplification of artificial neural networks by a semantic analyzer that controls the course of the production process and considers the individual characteristics of the operator's perception. Methods. Semantic analyzer is based on representation of engineering product data in Ontology as a knowledge base. The proposed solution implements the method of accented visualization, which pro-
vides formation of virtual objects, marks and explanations for attracting the attention of users by Augmented Reality interfaces. The method is based on formalization of the scenario, focus, context and overlay context, which allows to specify the situation and narrow down the list of possible solutions for the objects' recognition. Results. As an example of the successful implementation of such a solution, there are presented the results of the development of an intelligent control system for manual operations in automotive industrial engineering. Conclusions. The proposed method provides management of the attention of users in augmented reality systems. The achieved results are recommended for use in intelligent systems of production control according to the concept of Industry 4.0 at the scientific and industrial enterprises of mechanical engineering.
Key words. Industry 4.0, Augmented Reality, accented visualization, image recognition.
Введение
Автоматизированный контроль ручных операций с использованием интеллектуальных технологий анализа изображений (нейронных сетей) является одной из перспективных задач цифровой экономики, решение которой предусмотрено концепцией Индустрии 4.0. Данная концепция предписывает активное внедрение в производство киберфизических систем, обеспечивающих сбор и обработку информации средствами Интернета вещей и визуализацию ее оператору с помощью технологий виртуальной и дополненной реальности. Высокий уровень современных технологий позволяет решать указанные задачи по-отдельности, однако в настоящее время отсутствует комплексное решение, позволяющее реализовать интеллектуальный контроль производства на практике.
Сложности прикладного применения искусственных нейронных сетей связаны с необходимостью длительного их обучения с учетом специфики распознаваемых деталей и их фрагментов в различных проекциях. Для решения этой проблемы предлагается дополнить нейросетевой анализатор семантическим, облегчающим предобработку данных до распознавания с учетом текущей ситуации и интерпретацию результатов распознавания в контексте их восприятия пользователем-оператором. Это позволяет решить ряд проблем, связанных со сложностью подборки универсальных обучающих выборок, большим количеством и разнообразием деталей и сборочных единиц, возможностью взаимного перекрытия элементов конструкции, возможностью изменения режимов освещения и видимости и т.п. В данной статье предлагается реализовать для этого метод акцентной визуализации.
Материалы и методика
Современные цели развития цифровой экономики выделяют концепцию Индустрии 4.0 [1, 2] как один из ключевых технологических трендов, направленных на повышение качества и конкурентоспособности продукции. Эта концепция основана на разработке киберфизических систем, способных отслеживать реальные физические процессы, дополняя их специально сгенерированными виртуальными объектами и обеспечивая контекстную и децентрализованную поддержку принятия решений.
Средствами Интернета вещей [3] киберфизические системы получают данные об объектах и процессах производства, о диагностике оборудования
и качестве продукции в режиме реального времени. Современные протоколы и архитектуры беспроводных сетей позволяют реализовывать различные топологии на техническом уровне [4, 5].
Основные современные тенденции визуализации контекстных данных исследованы в работе [6]. Примеры приведены для медицинских данных, но могут быть легко распространены для описания сложной технической системы. Система должна связывать различные наборы данных (например, изображения, текст, измеренные значения, сканы) и предлагать визуальную аналитику для поддержки экспертов. Этот подход поддерживает идею максимально эффективной визуализации сложных данных для профессионалов вместо автоматического принятия решений.
Технология дополненной реальности (Augmented Reality, AR) [7, 8] позволяет разрабатывать интерактивные и контекстно-зависимые пользовательские интерфейсы, которые предоставляют возможности компьютерного зрения и распознавания объектов в режиме реального времени. Эти функции делают AR мощным инструментом реализации Индустрии 4.0 на практике, который может значительно улучшить возможности интерфейсов человеко-компьютерного взаимодействия.
Метод акцентной визуализации [9, 10] позволяет дополнить решения, построенные с использованием устройств дополненной реальности, средствами семантического описания и контроля, которые учитывают комбинацию фокуса и контекста в рамках заданного сценария поведения и позволяют отслеживать и управлять вниманием пользователей с помощью оверлейного контекста. Технология акцентной визуализации позволяет пользователям проходить интерактивное обучение и получать активную помощь во время выполнения технологических операций без необходимости обращаться к комплекту документации в бумажном или электронном виде.
Предлагаемое решение основано на анализе поведения пользователя в соответствии с методом акцентной визуализации. Встроенное программное обеспечение с интеллектуальной поддержкой принятия решений фиксирует текущую ситуацию в форме событий и сравнивает эти цепочки событий с типичными операционными сценариями.
Анализ выполняется в течение периода стандартизированной производственной процедуры с использованием взаимного интервального корреляционного анализа [11]. Такой подход позволяет выявить возможные пробелы в восприятии зрителя, если в необходимое время не уделяется должного внимания определенным объектам сцены.
Разные пользователи ведут себя по-разному: одни предпочитают получать максимум информации, отображаемой в поле зрения, другие стараются сократить ненужные данные, оставляя важный абсолютный минимум. Для захвата соответствующего образца и устройства системы в соответствии с предпочтениями пользователя могут быть использованы специальные системы слежения за глазами, которые определяют и контролируют движение глаз с помощью фронтальной камеры или специализированных устройств.
Архитектурно предлагаемый семантический анализатор содержит два модуля, один из которых ведет базу знаний (онтологию) на основе действий пользователя и производственных сценариев, а второй обеспечивает поддержку принятия решений на основе сопоставления действия пользователя заданным сценарием.
Онтология промышленного производства была введена для описания критических особенностей или характеристик объектов и их форм. Проблема распознавания ручных операций на практике связана с возможным взаимным перекрытием нескольких объектов, что может повлиять на точность идентификации. В дополнение к этому объектами, специфичными для машиностроения, обычно являются объекты, окрашенные в монохромный цвет и обладающие контуром сложной геометрической формы. Чтобы преодолеть это, был предложен подход, основанный на соотнесении текущей ситуации с соответствующей стадией технологического процесса.
Координация внимания пользователя основана на интеллектуальном анализе процесса производства или обслуживания. Система отслеживает внимание пользователя и адаптирует дополнительные данные, вводимые в виртуальную сцену в соответствии с текущим контекстом. Внимание пользователя фиксируется в форме цепочек событий и сравнивается с типичными сценариями. Такая фрагментация позволяет ввести цикл управления, где в реальном времени генерируется правильный фокус в соответствии с контекстом.
В настоящее время семантический анализатор реализует следующие функции:
- идентификация объектов сцены на основе анализа видеоизображения;
- анализ сложных устройств, включая идентификацию компонентов путем частичного просмотра и генерации сборок;
- контекстное описание объекта, находящегося в поле зрения;
- поиск и выделение нужного объекта;
- идентификация внимания пользователя и создание контекстных надстроек в соответствии с принципами акцентной визуализации;
- обработка сценариев работы, отслеживание и контроль.
Результаты
Предложенный подход был реализован в специализированной интеллектуальной системе производственного контроля, разработанной на базе платформы ООО «Открытый код». Система предназначена для поддержки принятия решений по мониторингу действий рабочего (оператора) и идентификации возможных нарушений.
Несколько видеокамер используется для отслеживания операций в соответствии с технологическим процессом и определения объектов, которые будут использоваться в реальной сцене (детали и узлы). Интеллектуальное программное обеспечение обеспечивает распознавание изображений объектов и их сопоставление с соответствующим описанием в базе знаний. Видеопанели или очки дополненной реальности используются для представления соответствующей контекстной информации оператору.
Одна из возможных реализаций системы проиллюстрирована на рис. 1. Общее решение используется для выявления пробелов и отказов оператора в режиме реального времени, прогнозирования возможных ошибок в работе и предложения лучших процедур, основанных на сравнении последовательности действий с опытом высококвалифицированных операторов, включенных в базу знаний.
Рис. 1. Пример реализации интеллектуальной системы контроля операций
Для распознавания изображений и идентификации объектов был реализован нейросетевой анализатор, построенный с использованием стандартных библиотек. Было рассмотрено несколько альтернативных библиотек, в том числе Tensorflow (которая является наиболее быстрой), Keras, Theano и Deeplearning4j. Thesorflow был выбран для реализации, помимо высокой производительности, он распространяется под открытой лицензией Apache 2.0, предоставляет доступ из Python, C ++, Java, Haskell, Go, Swift API, поддерживает Linux, Windows, macOS, iOS, Android, поддерживает Google и облачные вычисления и завоевывает высокую популярность среди разработчиков.
Интерфейс и результаты работы системы проиллюстрированы на рис. 2.
nnan-Г ^^^Н \ Контроль технологического процесса сборки турбокомпрессора
tUaei 740.60-1118010 ТКР7С-6М ™
rCasimgOnTol
Текущая стадия
Сборка следующей стадии
Оператор сборочного лроизеодаьо неправильно* стороной установил «а вал Ротора| корпус подшипников
Рис. 2. Программное обеспечение системы интеллектуального контроля ручных операций
Интеллектуальная система контроля ручных операций на производстве обеспечивает решение следующих задач:
- распознавание действий оператора, а также контроль местоположения и определение ориентации деталей, комплектующих и производственного оборудования.
- измерение технологически значимых параметров производственных объектов, процессов и работ, создаваемых и выполняемых с применением ручных операций;
- сопоставление измеренных параметров объектов, процессов и работ с параметрами, предусмотренными технологическим процессом и нормативно-технической документацией, и выявление недопустимых отклонений;
- фиксация выявленных отклонений и оперативное доведение информации о них заинтересованным лицам с целью реагирования.
Предложенный подход позволяет контролировать чистоту рабочего места и отсутствие лишних деталей (также для повышения качества распознавания), обеспечивать сбор статистики ошибок и расчет производительности работы операторов на каждом этапе, определять эффективные приемы сборки на основе анализа траекторий движения рук на видеозаписях и выявлять индивидуальные сильные и слабые стороны операторов как профессионалов. Последняя возможность может быть использована в рамках обучающей системы для повышения индивидуального мастерства оператора. Введение индивидуальных и групповых таблиц рекордов, использование звуковых и визуальных образов, демонстрация видеосборок, выполненных мастером на определенных этапах, будут способствовать закреплению успешных навыков и снижению процента ошибок.
Обсуждение
Повсеместное внедрение киберфизических систем на современном машиностроительном предприятии не всегда возможно и экономически целесообразно, например на опытном или инструментальном производстве. Реинжиниринг производственных процессов для достижения высокого уровня автоматизации зачастую является более сложным, чем переобучение персонала. Конструктивная защита от некорректных действий в большинстве случаев приводит к повышению стоимости продукции. Вместе с тем внедрение технологий Индустрии 4.0 необходимо для повышения конкурентоспособности предприятия.
Наиболее универсальным способом повышения качества ручных операций является непрерывный контроль непосредственно рабочим или мастером. Человек-контролер благодаря наличию у него необходимых профессиональных знаний способен оценивать соответствие выполняемых работ требованиям технологической и конструкторской документации в условиях неопределенности ракурса, вариативности формы, изменчивости освещения и действия других факторов, усложняющих задачу контроля. Однако такой подход также не лишен недостатков: существенно возрастают расходы на персонал и сказывается действие человеческого фактора.
Естественным выходом из сложившейся ситуации является внедрение современных интеллектуальных систем, позволяющих контролировать правильность выполняемых ручных работ с качеством, не уступающим квалифицированному контролеру, и использующих при этом недорогие сенсоры (видеокамеры, микрофоны).
Дополнительным применением интеллектуальных информационных систем контроля ручных работ является оценка фактических трудозатрат при выполнении технологических операций. Функциональные возможности систем будут обеспечивать точное определение времени, затраченного на реализацию той или иной операции, и выявление искусственного увеличения продолжительности производственного процесса, определение квалификации рабочих и решение других задач в области нормировки рабочего времени.
Необходимо учитывать также, что применение технологий автоматизированного интеллектуального контроля ручных работ обеспечивает существенное повышение качества продукции без широкомасштабного применения средств роботизации, что позволяет сохранить рабочие места и обеспечить требуемый социально-экономический эффект.
Выводы
Предложенный в работе метод акцентной визуализации, отличающийся наличием средств семантического описания и контроля, которые учитывают комбинацию фокуса, контекста и оверлейного контекста в рамках заданного сценария поведения, позволяет отслеживать и управлять вниманием пользователей в системах дополненной реальности.
Успешная реализация метода в автоматизированной системе интеллектуального контроля выполнения ручных операций на современном производстве подтверждает его полезность для повышения качества распознавания деталей и комплектующих изделия, его фрагментов и частей за счет дополнения искусственных нейронных сетей семантическим анализатором, контролирующим ход производственного процесса и учитывающим индивидуальные особенности восприятия оператора.
Результаты работы рекомендуются для использования в интеллектуальных системах производственного контроля в рамках реализации концепции Индустрии 4.0 на научно-производственных предприятиях машиностроения.
Библиографический список
1. Digital Russia. New Reality [Online] // Digital McKinsey. - 2017. - July. - 133 p. -URL: https://www.mckinsey.com/ru/our-work/mckinsey-digital
2. Industry 4.0 / H. Lasi, H.-G. Kemper, P. Fettke, T. Feld, M. Hoffmann // Business & Information Systems Engineering. - 2014. - № 4 (6) - P. 239-242.
3. Bessis, N. Big Data and Internet of Things: A roadmap for smart environments / N. Bessis, C. Dobre. - N.Y. : Springer International Publishing, 2014. - 450 p.
4. Иващенко, А. В. Концепция медиаторной сети связи для сбора и обработки данных в реальном времени / А. В. Иващенко, А. А. Минаев, М. Ю. Сподобаев, А. Р. Диязитдинова // Информационно-измерительные и управляющие системы. -2016. - № 5. - С. 56-64.
5. Ivaschenko, A. Multi-agent solution for business processes management of 5PL transportation provider / A. Ivaschenko // Lecture Notes in Business Information Processing. - N. Y. : Springer International Publishing, 2014. - Vol. 170. - P. 110-120.
6. Holzinger, A. Interactive machine learning for health informatics: when do we need the human-in-the-loop? / A. Holzinger // Brain Informatics. - 2016. - Vol. 3, iss. 2. -P. 119-131.
7. Navab, N. Developing killer apps for industrial Augmented Reality / N. Navab // IEEE Computer Graphics and Applications. - 2004. - Vol. 24, iss. 3. - P. 16-20.
8. Singh, M. Augmented Reality interfaces / M. Singh, M. P. Singh // IEEE Internet Computing. - 2013. - Vol. 17, iss. 6. - P. 66-70.
9. Ivaschenko, A. Accented visualization by augmented reality for smart manufacturing applications / A. Ivaschenko, A. Khorina, P. Sitnikov // IEEE Industrial Cyber-Physical Systems (ICPS). - 2018. - P. 519-522.
10. Иващенко, А. В. Акцентная визуализация в интерфейсах дополненной реальности / А. В. Иващенко, П. В. Ситников, Г. В. Катиркин, О. Л. Сурнин // Программные продукты и системы. - 2018. - № 4. - C. 740-744.
11. Прохоров, С. А. Прикладной анализ случайных процессов / С. А. Прохоров ; под ред. С. А. Прохорова. - Самара : Изд-во СНЦ РАН, 2007. - 582 с.
References
1. Digital McKinsey. 2017, Jul., 133 p. Available at: https://www.mckinsey.com/ru/our-work/mckinsey-digital
2. Lasi H., Kemper H.-G., Fettke P., Feld T., Hoffmann M. Business & Information Systems Engineering. 2014, no. 4 (6), pp. 239-242.
3. Bessis N., Dobre C. Big Data and Internet of Things: A roadmap for smart environments. New York: Springer International Publishing, 2014, 450 p.
4. Ivashchenko A. V., Minaev A. A., Spodobaev M. Yu., Diyazitdinova A. R. Infor-matsionno-izmeritel'nye i upravlyayushchie sistemy [Information-measuring and control systems]. 2016, no. 5, pp. 56-64.
5. Ivaschenko A. Lecture Notes in Business Information Processing. New York: Springer International Publishing, 2014, vol. 170, pp. 110-120.
6. Holzinger A. Brain Informatics. 2016, vol. 3, iss. 2, pp. 119-131.
7. Navab N. IEEE Computer Graphics and Applications. 2004, vol. 24, iss. 3, pp. 16-20.
8. Singh M., Singh M. P. IEEE Internet Computing. 2013, vol. 17, iss. 6, pp. 66-70.
9. Ivaschenko A., Khorina A., Sitnikov P. IEEE Industrial Cyber-Physical Systems (ICPS). 2018, pp. 519-522.
10. Ivashchenko A. V., Sitnikov P. V., Katirkin G. V., Surnin O. L. Programmnye produkty i sistemy [Software and systems]. 2018, no. 4, pp. 740-744.
11. Prokhorov S. A. Prikladnoy analiz sluchaynykh protsessov [Applied analysis of random processes]. Samara: Izd-vo SNTs RAN, 2007, 582 p.
Иващенко Антон Владимирович
доктор технических наук, профессор, кафедра вычислительной техники, Самарский государственный технический университет (Россия, г. Самара, ул. Молодогвардейская, 244) E-mail: anton.ivashenko@gmail.com
Ситников Павел Владимирович
кандидат технических наук, директор по управлению проектами, ООО «Открытый код» (Россия, г. Самара, ул. Ярмарочная, 55) E-mail: sitnikov@o-code.ru
Ivashchenko Anton Vladimirovich doctor of technical sciences, professor, sub-department of computing science, Samara State Technical University (244 Molodogvardeyskaya street, Samara, Russia)
Sitnikov Pavel Vladimirovich candidate of technical sciences, project management director, SEC "Open code"
(55 Yarmarochnaya street, Samara, Russia)
УДК 004.7 Иващенко, А. В.
Акцентная визуализация в интеллектуальных системах производственного контроля / А. В. Иващенко, П. В. Ситников // Модели, системы, сети в экономике, технике, природе и обществе. - 2018. - № 4 (28). - С. 94-102.
