CC BY
4
УДК 004.7
ЦИФРОВАЯ ПЛАТФОРМА «ГАРАНТИР КАЧЕСТВА»
© 2023 О.Л. Сурнин, П.В. Ситников, В.В. Авсиевич, Ю.Е. Резников, А.В. Иващенко
ООО «Открытый код», г. Самара, Россия
Статья поступила в редакцию 14.08.2023
В статье предлагается цифровая платформа «Гарантир качества», предназначенная для построения интеллектуальных ворот качества на основе активного использования технологий машинного зрения. Предложенное аппаратно-программное решение реализует современные принципы рациональной комбинации алгоритмического подхода, баз знаний и элементов искусственного интеллекта для совершенствования системы организации производства. Гарантир качества содержит компоненты, обеспечивающие визуальный контроль соответствия продукции заданным параметрам, идентификацию несоответствий, дефектов и брака, сбор и обработку информации о текущем качестве выпускаемой продукции в рамках специализированного ситуационного центра, интегрированного с PDM и ERP системами предприятия. Проектирование новой системы визуального контроля качества состоит в планировании трека контроля и проектировании образцов качества таким образом, чтобы минимальными средствами машинного зрения обеспечить покрытие ключевых узких мест. Для построения и настройки отдельных треков контроля и образцов качества могут быть использованы статистические данные и результаты видеосъемки производственных операций, выполняемых высокопрофессиональными исполнителями. Реализация платформы на практике проиллюстрирована двумя аппаратно-программными комплексами для контроля результатов механической обработки в машиностроении и контроля внутренних отверстий с помощью видеокамеры-эндоскопа. Цифровая платформа «Гарантир качества» позволяет расширить области применения систем машинного зрения на основе искусственных нейронных сетей для контроля качества производственных процессов.
Ключевые слова: управление качеством, компьютерное зрение, система искусственного интеллекта, цифровые двойники, гарантир качества. DOI: 10.37313/1990-5378-2023-25-6-74-83 EDN: IXPJWJ
1. ВВЕДЕНИЕ
Важной областью применения современных информационно-коммуникационных технологий является цифровая трансформация системы управления качеством на производственном предприятии. В частности, в настоящее время активно разрабатываются и внедряются технологии машинного зрения, позволяющие реализовать выявление поверхностных дефектов, как в автоматических комплексах, так и в системах поддержки принятия решений. Реализация машинного зрения основана на применении искусственного интеллекта, позволяющего решать
Сурнин Олег Леонидович, управляющий ООО «Открытый код». E-mail: info@o-code.ru
Ситников Павел Владимирович, доктор технических наук, директор по управлению проектами - исполнительный директор ООО «Открытый код». E-mail: sitnikov@o-code.ru
Авсиевич Владимир Викторович, кандидат технических наук, руководитель проектов ООО «Открытый код». E-mail: avsievich@o-code.ru
Резников Юрий Евгеньевич, руководитель департамента ООО «Открытый код». E-mail: reznikov@o-code.ru Иващенко Антон Владимирович, доктор технических наук, профессор, научный руководитель проектов ООО «Открытый код». E-mail: anton.ivashenko@gmail.com
комплекс задач идентификации, классификации, подсчета количества объектов, а также инспекции и извлечения бракованной продукции по результатам видеосъемки.
Внедрение технологий машинного зрения в промышленности позволяет повысить производительность труда и снизить влияние человеческого фактора. Однако универсальная технология машинного зрения пока не разработана, что обуславливает научно-техническую проблему практического применения этой технологии на производстве. Действительно, для обеспечения высокой точности идентификации промышленных объектов и дефектов требуется длительная настройка и адаптация аппаратно-программных комплексов машинного зрения, а также реализация специализированных информационно-измерительных инструментов, что повышает стоимость и трудоемкость цифровой трансформации системы управления качеством.
Реализация автономной системы машинного зрения на основе цифровых видеокамер, внешних систем освещения и интеллектуальных средств обработки изображения на базе искусственных нейронных сетей сокращает стоимость и трудоемкость системы контроля качества. Однако при этом повышается веро-
ятность ошибок первого и второго рода, и снижается точность выявления брака. Кроме этого, использование универсальных видеокамер позволяет выявлять лишь наблюдаемые поверхностные дефекты, что несколько ограничивает область применения машинного зрения на практике.
Для решения этой проблемы была разработана цифровая платформа «Гарантир качества», позволяющая строить на своей основе аппаратно-программные комплексы машинного зрения в составе интеллектуальных ворот качества для выявления внешних и внутренних дефектов продукции. В данной статье описано предлагаемое решение, а также результаты его внедрения в авиационном машиностроении.
2. СОСТОЯНИЕ ИССЛЕДУЕМОГО ВОПРОСА
Контроль качества является одной из ключевых задач управления производственным предприятием [1, 2]. Согласно современной теории управления качеством достижение заданных показателей качества продукции определяется качеством реализации производственного процесса. Одним из основных факторов, влияющих на качество производственного процесса, является наличие критических отклонений от требований к его осуществлению, в том числе от соблюдения требований к выполняемым операциям.
Обычно для оценки качества производственных процессов используют набор показателей, определяющих обобщенные характеристики, такие как специализация, повторяемость, непрерывность, последовательность, ритмичность и др. Однако исходные данные для этих характеристик могут быть сведены к производительности и соответствию техническим спецификациям и стандартам. Для выявления отклонений в этой области применяются технологии машинного зрения [3, 4], основанные на нейросетевой обработке данных видеосъемки продукции и процессов ее производства. Внедрение искусственного интеллекта на современных производственных предприятиях - перспективное направление, соответствующее современной концепции Индустрии 4.0 [5 - 7].
В настоящее время системы компьютерного зрения на базе искусственного интеллекта широко применяются в различных областях производственной деятельности человека [8 - 10] для поддержки принятия решений по идентификации, классификации и кластеризации изделий на разных этапах производственного цикла. Распознавание объектов в машиностроении [11, 12] позволяет повысить производительность труда и устранить влияние человеческого фактора, в том числе реализовать контроль геоме-
трических параметров узлов на этапе сборки с заданной точностью.
Достаточно интересен опыт применения машинного зрения и научной визуализации в рамках промышленной реализации новых лазерных технологий, в частности технологии селективного лазерного сплавления [13, 14]. Здесь также решена задача определения границ объектов на изображении и совмещения их с расчетными данными о геометрии изделия, а также с данными теплового распределения. В целом, реализация интеллектуальных систем машинного зрения имеет достаточно широкие сферы применения [15].
Обобщенно, применение машинного зрения позволяет повысить эффективность процессов и систем менеджмента качества [16, 17] для реализации методов неразрушающего контроля на производственных предприятиях. В частности, машинное зрение эффективно применяется для идентификации визуально наблюдаемых дефектов [18, 19].
На технологическом уровне можно выделить несколько интересных путей использования машинного зрения в системе управления качеством, нацеленных на оптическое сканирование [20] и восстановление трехмерной модели изделия для последующего использования в интегрированной информационной среде, а также в составе роботизированного комплекса для контроля процессов позиционирования инструмента [21]. Отмечен успешный опыт применения машинного зрения для контроля качества в труднодоступных местах с помощью измерительного стереоскопического видеоэндоскопа [22]. Также имеется опыт успешного применения систем машинного зрения для контроля качества в производстве автомобильных компонентов [23 - 25].
Следует отметить, что достаточно низкая точность визуального контроля качества ограничивает широкое использование систем компьютерного зрения в производстве. Одной из причин является низкая чувствительность и точность по сравнению с различными типами датчиков и высокая зависимость от влияющих внешних факторов, таких как качество освещения, наличие загрязнений, появление теней и т.д. При этом компьютерное зрение обладает большей автономностью и универсальностью по сравнению с другими технологиями
Разнообразие и результативность современного опыта применения технологий машинного зрения для контроля качества производства подтверждает высокую практическую значимость и востребованность ее практической реализации. Вместе с тем, данный опыт достаточно разнообразен, а существующие подходы не объединены в единую цифровую платформу, что затрудняет
надежное применение данных технологий на практике. Для того, чтобы устранить это противоречие, необходимо решить актуальную задачу создания такой цифровой платформы и ее апробации на множестве реальных проектов.
3. МОДЕЛЬ ГАРАНТИРА КАЧЕСТВА
Гарантир качества - инновационная модель системы машинного зрения, основанная на декомпозиции процесса интеллектуального выявления визуального наблюдаемых дефектов на задачи выявления различных отклонений. Данная модель позволяет комбинировать несколько искусственных нейронных сетей в составе интеллектуальных ворот качества в машиностроении.
Определим основные понятия и компоненты модели. Пусть в ходе производственного процесса изделия ai, / = 1. Na необходимо выполнять определенную последовательность действий:
} (, у, т,}, Ат,}, ^ )=М, (1)
ного зрения, поскольку контроль факта и своевременности операции, в отличие от контроля результатов ее выполнения, может быть произведен визуально без специализированных измерительных инструментов.
В ходе выполнения производственного процесса сотрудник пп, п = 1. Nx выполняет наблюдаемые действия di
i,l,n,m i
m =
1- N (<i)
обработки или контроля над единицей изделия
w = w
i,j i,
а'ц, I = 1. ^ :
^1,1 ,п,т = ^1,1 ,п,т [Ст' ёг,1 ,п,т ' 11,1 ,п,т ) = { 1} , (3)
где gi I пт - координата действия в пространстве;
1-1,1,п,т - время выполнения. При этом система компьютерного зрения предоставляет возможность фиксировать значения наблюдаемых контролируемых параметров:
Vi,I,п,т,},к = Vi,I,п,т,},к (i,l,n,m> к, Л,I,п,т,},к ) = 1° 1},(4)
где fi
(\ Л,1 ,п,т, ] ,к ' Г
х,}, у1,}, 2и}) - координата действия значение контролируемого параметра;
выявленное или распознанное
где gI,} =
в пространстве;
хг } - ожидаемый период времени от начала процесса;
Атг- } - допустимые отклонения от времени (девиации);
QW
1} - тип действия. Выполнение действий характеризуется наблюдаемыми контролируемыми параметрами:
,, },к, Ъ, },к М0,^ (2)
s= si, j,k (wi, J, ®
\ J,k
где } к - референсное значение контролируемого параметра;
£ к - допустимые отклонения параметра; значение si}- к = 1 означает необходимость выполнения операции контроля.
Последовательность wi}- для а1 назовем треком контроля, а si}- к - образцом качества.
Образец качества задает корректную последовательность действий, на которую нужно ориентироваться при реализации технологического процесса. Эти действия могут быть отнесены к конкретным технологическим операциям или переходам, или описывать промежуточные операции, реализуемые в рамках «ворот качества».
Трек контроля определяет корректную последовательность измерительных или оценочных процедур, позволяющих выявить возможные отклонения.
Отметим, что контролируемые параметры в такой постановке могут применяться не только для контроля непосредственно показателей качества продукции, но и контроля качества выполнения производственных операций. Это расширяет возможности применения машин-
значение villnп,т,} ^ = 0 описывает пропуск наблюдения.
Модель гарантира качества позволяет сформулировать целевые функции обеспечения следующих критериев. Для упрощения формулировок ограничимся формированием показателей для одного исполнителя по одной номенклатуре изделий.
Соблюдение трека контроля:
Т(а„Сп ) = Ш wl,} • йииПтт • б(о;,} = О^,Птт )• } I т
4
i, J oi,l,n,m
У )xi,j = 1i,l,n,m ± j ) ^ max > С5)
1, X = true;
где 5(X y |o, x = jaiSe.
Соответствие образцам качества:
K (ai, Cn )=IHVi,l ,n,m, j ,k
■б/ ,l,n,m,
J,k l m j,k = ®i,j,k ±
Ъ, j,kmax ■ (6)
Таким образом, проектирование системы визуального контроля качества состоит в планировании трека контроля и проектировании образцов качества и таким образом, чтобы минимальными средствами визуального контроля на основе машинного зрения обеспечить покрытие ключевых узких мест.
Для построения и настройки отдельных треков контроля и образцов качества могут быть использованы статистические данные и результаты видеосъемки производственных операций, выполняемых высокопрофессиональными
исполнителями. Также может быть дополнительно построен массив данных, содержащих выполнение операций при нарушении технологий или отставании от ритма производства, что позволит построить обучающие наборы данных для распознавания брака.
Выделение отдельных образцов качества позволяет использовать для их реализации отдельные системы машинного зрения и настраивать их для решения задач классификации или распознавания с учетом специфики конкретных ситуаций. Кроме этого, при построении трека контроля результатов механической обработки может быть эффективно применены траектории движения режущих инструментов, заданные технологической документацией.
Предлагаемая модель гарантира качества не учитывает специализацию сотрудников и распределение операций между персоналом, что отличает ее от классической модели задачи производственного планирования. Приведенные выше утверждения позволяют вводить новые показатели или индикаторы качества производства, которые могут быть реализованы на практике в интеллектуальных системах машинного зрения.
С учетом данной специфики, разработчики систем машинного зрения на основе искусственных нейронных сетей получают возможность расширить области их применения для контроля качества производственных процессов.
4. АРХИТЕКТУРА РЕШЕНИЯ
Модель гарантира качества реализована разработчиком инновационного программного обеспечения ООО «Открытый код» в виде цифровой платформы для производственных предприятий. Это решение воплощает идею построения интеллектуальных ворот качества, оснащенных интеллектуальной системой визуального мониторинга и контроля. Ворота качества представляют собой контрольную точку, на которой проводится проверка результатов очередного этапа разработки и постановки продукции на производство и принимается решение о переходе на следующий этап. При этом качество производства определяется как совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности (согласно ГОСТ Р ИСО 9000-2001).
Гарантир качества содержит компоненты, обеспечивающие визуальный контроль соответствия продукции заданным параметрам с помощью машинного зрения, идентификацию несоответствий, дефектов и брака, сбор и обработку информации о текущем качестве выпускаемой продукции в рамках специализированного ситуационного центра, интегрированного с PDM и ERP системами предприятия.
Архитектура решения представлена на Рис. 1. Гарантир качества может быть уста-
ERP система
Система управления цифровым контентом (ECMJ
Управление и контроль
Ситуационный центр контроля качества
PDM / PLM система
Интеллектуальная система идентификации дефектов
/ \
Система машинного зрения ИНС
V
База знаний (Онтология)
j—j
Камера- Видео/фото 3D сканер
эндоскоп камера
Интеллектуал ьные ворота качества
Маршрут
Выполнение операций
Производственное оборудование
Контрольно-измерительное оборудование
Интерактивное электронное техническое руководство
Устройство дополненной реальности
Обслуживание и ремонт
Рис. 1. Архитектура цифровой платформы «Гарантир качества»
новлен как автономно, в точке контроля, так и интегрирован с производственным оборудованием включая сортировочные и координат-но-измерительные автоматы. В этом случае дополнительно предусматривается реализация интерактивного справочного руководства, обеспечивающего контекстное информирование персонала с помощью средств дополненной реальности (AR).
Для конфигурирования и настройки гаран-тира качества используется база знаний (онтология), обеспечивающая семантический поиск и логический вывод на основе конструкторской и технологической документации о продукции, а также руководств по эксплуатации используемого производственного оборудования.
Для идентификации дефектов в состав Га-рантира качества включена искусственная нейронная сеть. Обучение нейронной сети производится в рамках адаптации Гарантира качества для конкретного производственного предприятия. При этом также возможно использование различной контрольно-измерительной аппаратуры и оборудования системы компьютерного зрения. Существующий опыт внедрение искусственных нейронных сетей на современных предприятиях позволяет сделать вывод о высокой полезности данного инструмента для контроля сборочных и упаковочных операций, мониторинга рабочих мест и контроля соответствия стандартам качества.
5. РЕЗУЛЬТАТЫ РЕАЛИЗАЦИИ
Предложенная архитектура программной платформы «Гарантир качества» позволяет строить разнообразные решения в рамках систему управления качеством с учетом специфики производства. Например, достаточно хорошие результаты получены для контроля результатов механической обработки в машиностроении. Разработанный аппаратно-программный комплекс приведен на Рис. 2.
Аппаратно-программный комплекс контроля качества изделий после механизированной обработки разработан в рамках концепции точного анализа изделий в потоковом режиме на соответствие параметров деталей параметрам качества из технологической документации. Функционирование комплекса основано на измерении геометрических параметров изделия с помощью лазерных датчиков RIFTEK и расчете контрольных параметров при помощи математических алгоритмов. Визуальные параметры отслеживаются нейронной сетью по фото/видео данным, для этого изделие автоматически перемещается по заданному треку контроля.
Алгоритм работы комплекса следующий:
1.проводится калибровка;
2. на поворотный стол устанавливается изделие, подлежащее измерению;
3. поворотный стол совершает оборот вокруг своей оси на 360 градусов;
Рис. 2. Аппаратно-программный комплекс контроля результатов механической обработки изделий на основе Гарантира качества
4. кронштейн поворачивает лазер и камеру на 90 градусов, в этом время поворотный стол совершает еще один поворот (переход для сложных деталей).
Такой алгоритм работы позволяет осуществить замеры изделия со всех сторон автоматически, что позволяет обеспечить наибольшую точность и постоянство измерений.
Исходя из особенностей применения, процедура формирования единого трехмерного массива координат сканируемого объекта подразумевает под собой преобразование координат профиля из двухмерной системы координат, связанной с лазерным сканером, в трехмерную мировую систему координат. После калибровки комплекса, полученные в результате сканирования двухмерные профили преобразовываются в трехмерный массив координат, а затем в облако точек (см. Рис. 3). Для наибольшего покрытия поверхности детали, сканирование производится с двух ракурсов.
Рис. 3. Контроль геометрических параметров изделия с помощью облака точек
Применение разработанного аппаратно-программного комплекса возможно также для измерения геометрических характеристик
объекта. Данная задача решается путем оценки минимальных и максимальных координат облака точек вдоль осей прямоугольной системы координат. В простейшем случае вычисляются длины сторон минимально возможного параллелограмма, целиком заключающего в себе измеряемое облако точек. Для возможности измерения отдельного элемента облака точек необходимо произвести отсечение целевого элемента, после чего измерить полученный фрагмент, как для простейшего случая.
Сечение облака точек производится на базе образцов качества, построенных на основе имеющихся сведений об эталонной геометрии объекта. Для корректного отсечения фрагмента облака точек, необходимо предварительно сориентировать облако точек относительно мировой системы координат.
Другой пример реализации Гарантира качества - контроль внутренних отверстий с помощью видокамеры-эндоскопа. Для решения этой задачи была выбрана модель видеоэндоскопа jProbe GE Gun Expert. Эндоскоп предназначен для контроля внутренних отверстий и оснащен ручным механизмом регулировки фокусного расстояния, реализованным посредством перемещения зеркального адаптера бокового обзора, что позволяет производить качественный осмотр отверстий различного диаметра. Оптимальное фокусное расстояние можно отрегулировать в зависимости от диаметра осматриваемого отверстия, что позволяет получить максимально четкое изображение.
Разработанный аппаратно-программный комплекс приведен на Рис. 4 - 5.
Рис. 4. Комплекс контроля отверстий на основе Гарантира качества
Рис. 5. Применение видеокамеры-эндоскопа для контроля отверстий в составе системы контроля качества
Для оценки чистоты отверстий после сверления был сделан выбор в пользу обучения классификатора 1псерйопЯез№^2. В качестве данных было использовано 390 изображений, среди которых для обучения использовалось 145 изображений, классифицируемых как «Чистые», и 215, классифицируемых как «Грязные». Также, перед обучением была проведена аугментация данных, которая позволила разнообразить входные данные.
Изображения подавались на вход нейронной сети размером 299х299, и использовался подход дообучения весов, предварительно обученных на наборе изображений ImageNet. Обучение продолжалось на протяжении 5 эпох, и, как результат, на тестовых данных модель показала точность 94%.
Для визуализации работы нейронной сети был использован подход gradcam++, который использует градиенты для формирования тепловой карты, и данная карта может является показателем того, на что обращает внимание
нейронная сеть, и что наиболее сильно влияет на классификацию. Результаты работы приведены на Рис. 6.
ЗАКЛЮЧЕНИЕ
Цифровая платформа «Гарантир качества» реализует современные принципы рациональной комбинации алгоритмического подхода, баз знаний и элементов искусственного интеллекта для решения актуальной задачи совершенствования системы организации производства. Несмотря на известные ограничения современных технологий машинного зрения, связанные с недостаточной точностью и адекватностью слабо формализуемого искусственного интеллекта, функциональное распределение его компонентов в соответствии с треком контроля и образцами качества позволяет достаточно хорошо покрыть узкие места высокого риска появления брака. При этом цифровизация визуального контроля позволяет устранить влияние человеческого фактора.
Рис. 6. Построение тепловой карты качества отверстий
С другой стороны, применение гарантира качества не требует больших расходов времени и средств и достаточно адаптивно к особенностям производственных процессов. Трек контроля может быть эффективно построен на базе существующей технологической документации, а обучение искусственных нейронных сетей может быть произведено на основе данных видеосъемки существующих производственных процессов или их моделирования. Все это позволяет расширить области применения систем машинного зрения на основе искусственных нейронных сетей для контроля качества производственных процессов.
СПИСОК ЛИТЕРАТУРЫ
1. Blanco-Encomienda F., Rosillo-Díaz E., Muñoz-Rosas J. Importance of quality control implementation in the production process of a company // European Journal of Economics and Business Studies. Vol. 4. 2018. P. 240-244.
2. Dominguez O. Quality management: the heart of the quality assurance/quality control process // Spectroscopy Europe. Vol. 33. No 1. 2021. P. 27-32.
3. Sonka M., Hlavac V., Boyle R. Image processing, analysis, and machine vision, 2008. - 555 p.
4. Wiley V., Lucas T. Computer vision and image processing: a paper review // International Journal of Artificial Intelligence Research. Vol. 2. No 1. 2018. P. 28-36.
5. Roblek V., Mesko M., Krapez A. A complex view of Industry 4.0 // SAGE Open. Vol. 6. 2016. P. 1-11.
6. Назаренко, М.А. Актуальные вопросы управления качеством с применением CALS-технологий для создания производственной модели Индустрии 4.0 / М.А. Назаренко, Ю.В. Круглова // Технология машиностроения. - 2022. - № 10 .- С. 54-60.
7. Халиулин, Р.А. Цифровые двойники как инструмент мониторинга производственных процессов в Индустрии 4.0 / Р.А. Халиулин // Известия Самарского научного центра Российской академии наук. - 2023. - Т. 25. - № 2. - С. 45-50.
8. Чупринова, О. В. Метод машинного зрения для контроля качества продукции / О.В. Чупринова, А.С. Степашкина, Е.В. Помазан // Инновационное приборостроение. - 2023. - Т. 2. - № 3. - С. 17-20.
9. Нигматуллин, Ф. VMX DEQUS: Как искусственный интеллект автоматизирует контроль качества продукта / Ф. Нигматуллин // Управление качеством. - 2020. - № 6. - С. 18-23.
10. Guseva M., Andreeva E., Rogozhina Yu. Machine vision digital technology for non-contact quality control of garment manufacturing // Vestnik of Vitebsk state technological university. № 2(43). 2022. С. 10-18.
11. Михалев, О.Н. Машинное зрение и распознавание объектов с помощью нейронных сетей / О.Н. Михалев, А.С. Янюшкин // Робототехника и техническая кибернетика. - 2022. - Т. 10. - № 2. - С. 113-120.
12. Мироненко, В.В. Исследование внедрения машинного зрения на производстве для контроля узлов при сборке агрегатов планера самолета / В.В. Мироненко, А.А. Алексеев // Кузнечно-штамповоч-ное производство. Обработка материалов давлением. - 2022. - № 6. - С. 35-40.
13. Молотков, А.А, О разработке и применении программной платформы машинного зрения для различных лазерных технологий / А.А. Молотков, О.Н. Третьякова, Д.Н. Тужилин // Научная визуализация. - 2022. - Т. 14. - № 5. - С. 108-118.
14. Молотков, А.А., Применение машинного зрения в лазерных технологиях / А. А. Молотков, О.Н. Третьякова // Труды МАИ. - 2022. - № 25(127). - С. 1-24.
15. Мамрега, В.В. Сферы применения машинного зрения в промышленности / В.В. Мамрега // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и Технические Науки. - 2022. - №01/2. - С. 32-37.
16. Шилович, О.Б. К вопросу улучшения качества анализа продукции путём применения алгоритмов компьютерного зрения / О.Б. Шилович, В.Г. Гуляй, А.И. Марков, Д. А. Шаповалов // ЦИТИСЭ. - 2023. -№ 1 (35). - С. 191-201.
17. Кадыров, И.Р. Автоматизированный способ контроля качества поверхности стекла и зеркал при помощи алгоритмов машинного зрения для гироскопических устройств и приборов / И.Р. Кадыров, А.В. Кри-вов, Р.В. Мельников // Интеллектуальные системы в произвсдстве. - 2022. - Т. 20. - № 2. - С. 68-77.
18. Ромащенко, М.А. Проведение дефектовки печатных модулей с использованием нейронных сетей / М.А. Ромащенко, Д.В. Васильченко, Д.А. Пухов, С.Ю. Белецкая // Радиотехника. - 2022. - Т. 86. -№ 7. - С. 44-49.
19. Аль Окаби, М.М. Использование нейронной сети глубокого обучения для обнаружения дефектов в видеопотоке при производстве стеклодротов / М.М. Аль Окаби, Ю.Н. Матвеев // Научно-технический вестник Поволжья. - 2021. - № 2. - С. 24-27
20. Петров, М.А. Получение 3Б-моделей листовых и объёмных деталей, изготовленных методами холодного деформирования, при помощи оптического сканирования / М.А. Петров, И.С.А Эльдиб // Известия Тульского государственного университета. Технические науки. - 2019. - № 9. - С. 471-479.
21. Афанасьев, М.Я. Применение машинного зрения в задачах автоматического позиционирования инструмента модульного оборудования / М.Я. Афанасьев, Ю.В. Федосов, А.А. Крылова, С. А. Шорохов // Известия высших учебных заведений. Приборостроение. - 2020. - Т. 63. - № 9. - С. 830-839.
22. Батшев, В.И. Методы и средства визуально-измерительного контроля труднодоступных узлов ракетно-космической техники / В.И. Батшев, А.С. Мачихин, А.В. Горевой, Д.Д. Хохлов, А.А. Наумов, А.М. Перфилов, В.А. Калошин // Главный механик. - 2022. - № 3. - C. 168-177.
23. Surnin, O., Sitnikov, P., Gubinkiy, A., Dorofeev, A., Nikiforova, T., Krivosheev, A., Zemtsov, V., Ivaschenko, A.: Augmented reality implementation for comfortable adaptation of disabled personnel to the production workplace // Proceedings of the 35th Annual European Simulation and Modelling Conference, 2021, P. 64-69.
24. Ivaschenko A., Avsievich V., Golovnin O., Aleksandrova M., Sitnikov P. Production control based on a quality guarantor computer vision system // Studies in Systems, Decision and Control. Vol 457. 2023. P. 85-95.
25. Программный комплекс «Гарантир качества». Свидетельство о регистрации программы для ЭВМ № 2021610580 от 15.01.2021.
QUALITY GUARANTOR DIGITAL PLATFORM
© 2023 O.L. Surnin, P.V. Sitnikov, V.V. Avsievich, Yu.E. Reznikov, A.V. Ivaschenko
SEC «Open code», Samara, Russia
The paper presents a "Quality Guarantor" digital platform, designed to build intelligent quality gates based on the active use of machine vision technologies. The proposed hardware and software solution implements the modern principles of a rational combination of an algorithmic approach, knowledge bases and artificial intelligence elements to improve the production organization system. The quality guarantor contains components that provide visual control of product compliance with specified parameters, identification of inconsistencies, defects and deviations, collection and processing of information about the current quality of manufactured products within a specialized situational center integrated with PDM and ERP systems of the enterprise. Designing a new visual quality control system consists in planning the control track and designing quality samples in such a way that the key bottlenecks are covered with minimal toolset of machine vision. To build and configure individual control tracks and quality samples, statistical data and the results of video filming of production operations performed by highly professional performers can be used. The implementation of the platform in practice is illustrated by two hardware and software systems for monitoring the results of machining in mechanical engineering and monitoring internal holes using an endoscope video camera. The digital platform "Quality Guarantor" allows you to expand the scope of machine vision systems based on artificial neural networks for quality control of production processes.
Keywords: quality management, computer vision, artificial intelligence system, digital twins, quality assurance.
DOI: 10.37313/1990-5378-2023-25-6-74-83 EDN: IXPJWJ
REFERENCES
1. Blanco-Encomienda F., Rosillo-Díaz E., Muñoz-Rosas J. Importance of quality control implementation in the production process of a company // European Journal of Economics and Business Studies. Vol. 4. 2018. P. 240-244.
2. Dominguez O. Quality management: the heart of the quality assurance/quality control process // Spectroscopy Europe. Vol. 33. No 1. 2021. P. 27-32.
3. Sonka M., Hlavac V., Boyle R. Image processing, analysis, and machine vision, 2008. - 555 p.
4. Wiley V., Lucas T. Computer vision and image processing: a paper review // International Journal of Artificial Intelligence Research. Vol. 2. No 1. 2018. P. 28-36.
5. Roblek V., Mesko M., Krapez A. A complex view of Industry 4.0 // SAGE Open. Vol. 6. 2016. P. 1-11.
6. Nazarenko, M.A. Aktual'nye voprosy upravleniya kachestvom s primeneniem CALS-tekhnologij dlya sozdaniya proizvodstvennoj modeli Industrii 4.0 / M.A. Nazarenko, YU.V. Kruglova // Tekhnologiya mashinostroeniya. - 2022. - № 10 .- S. 54-60.
7. Haliulin, R.A. Cifrovye dvojniki kak instrument monitoringa proizvodstvennyh processov v Industrii 4.0 / R.A. Haliulin // Izvestiya Samarskogo nauchnogo centra Rossijskoj akademii nauk. - 2023. - T. 25. -№ 2. - S. 45-50.
8. Chuprinova, O.V. Metod mashinnogo zreniya dlya kontrolya kachestva produkcii / O.V. CHuprinova, A.S. Stepashkina, E.V. Pomazan // Innovacionnoe priborostroenie. - 2023. - T. 2. - № 3. - S. 17-20.
9. Nigmatullin, F. VMX DEQUS: Kak iskusstvennyj intellekt avtomatiziruet kontrol' kachestva produkta / F. Nigmatullin // Upravlenie kachestvom. - 2020. -№ 6. - S. 18-23.
10. Guseva M., Andreeva E., Rogozhina Yu. Machine vision
digital technology for non-contact quality control of garment manufacturing // Vestnik of Vitebsk state technological university. № 2(43). 2022. C 10-18.
11. Mihalev, O.N. Mashinnoe zrenie i raspoznavanie ob»ektov s pomoshch'yu nejronnyh setej / O.N. Mihalev, A.S. YAnyushkin // Robototekhnika i tekhnicheskaya kibernetika. - 2022. - T. 10. - № 2. - S. 113-120.
12. Mironenko, V.V. Issledovanie vnedreniya mashinnogo zreniya na proizvodstve dlya kontrolya uzlov pri sborke agregatov planera samoleta / V.V. Mironenko, A.A. Alekseev // Kuznechno-shtampovochnoe proizvodstvo. Obrabotka materialov davleniem. - 2022. - № 6. -S. 35-40.
13. Molotkov, A.A. O razrabotke i primenenii programmnoj platformy mashinnogo zreniya dlya razlichnyh lazernyh tekhnologij / A.A. Molotkov, O.N. Tret'yakova, D.N. Tuzhilin // Nauchnaya vizualizaciya. - 2022. - T. 14. - № 5. - S. 108-118.
14. Molotkov, A.A. Primenenie mashinnogo zreniya v lazernyh tekhnologiyah / A.A. Molotkov, O.N. Tret'yakova // Trudy MAI. - 2022. - № 25(127). -S. 1-24.
15. Mamrega, V.V. Sfery primeneniya mashinnogo zreniya v promyshlennosti / V.V. Mamrega // Sovremennaya nauka: aktual'nye problemy teorii i praktiki. Seriya: Estestvennye i Tekhnicheskie Nauki. - 2022. - №01/2. - S. 32-37.
16. Shilovich, O.B. K voprosu uluchsheniya kachestva analiza produkcii putyom primeneniya algoritmov komp'yuternogo zreniya / O.B. Shilovich, V.G. Gulyaj, A.I. Markov, D.A. Shapovalov // CITISE. - 2023. - № 1 (35). - S. 191-201.
17. Kadyrov, I.R. Avtomatizirovannyj sposob kontrolya kachestva poverhnosti stekla i zerkal pri pomoshchi algoritmov mashinnogo zreniya dlya giroskopicheskih ustrojstv i priborov / I.R. Kadyrov, A.V. Krivov, R.V.
Mel'nikov // Intellektual'nye sistemy v proizvodstve. -2022. - T. 20. - № 2. - S. 68-77.
18. Romashchenko, M.A. Provedenie defektovki pechatnyh modulej s ispol'zovaniem nejronnyh setej / M.A. Romashchenko, D.V. Vasil'chenko, D.A. Puhov, S.YU. Beleckaya // Radiotekhnika. - 2022. - T. 86. - № 7. -S. 44-49.
19. Al' Okabi, M.M. Ispol'zovanie nejronnoj seti glubokogo obucheniya dlya obnaruzheniya defektov v videopotoke pri proizvodstve steklodrotov / M.M. Al' Okabi, YU.N. Matveev // Nauchno-tekhnicheskij vestnik Povolzh'ya. - 2021. - № 2. - S. 24-27
20. Petrov, M.A. Poluchenie 3D-modelej listovyh i ob»yomnyh detalej, izgotovlennyh metodami holodnogo deformirovaniya, pri pomoshchi opticheskogo skanirovaniya / M.A. Petrov, I.S.A. El'dib // Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. - 2019. - № 9. - S. 471-479.
21. Afanas'ev, M.Ya. Primenenie mashinnogo zreniya v zadachah avtomaticheskogo pozicionirovaniya instrumenta modul'nogo oborudovaniya / M.YA. Afanas'ev, YU.V. Fedosov, A.A. Krylova, S.A. SHorohov //
Izvestiya vysshih uchebnyh zavedenij. Priborostroenie. - 2020. - T. 63. - № 9. - S. 830-839.
22. Batshev, V.I. Metody i sredstva vizual'no-izmeritel'nogo kontrolya trudnodostupnyh uzlov raketno-kosmicheskoj tekhniki / V.I. Batshev, A.S. Machihin, A.V. Gorevoj, D.D. Hohlov, A.A. Naumov, A.M. Perfilov, V.A. Kaloshin // Glavnyj mekhanik. - 2022. - № 3. - C. 168-177.
23. Surnin, O., Sitnikov, P., Gubinkiy, A., Dorofeev, A., Nikiforova, T., Krivosheev, A., Zemtsov, V., Ivaschenko, A.: Augmented reality implementation for comfortable adaptation of disabled personnel to the production workplace // Proceedings of the 35th Annual European Simulation and Modelling Conference, 2021, P. 64-69.
24. Ivaschenko A., Avsievich V., Golovnin O., Aleksandrova M., Sitnikov P. Production control based on a quality guarantor computer vision system // Studies in Systems, Decision and Control. Vol 457. 2023. P. 85-95.
25. Программный комплекс «Гарантир качества». Свидетельство о регистрации программы для ЭВМ № 2021610580 от 15.01.2021.
Oleg Surnin, Managing Director of Open Code LLC. E-mail: info@o-code.ru
Pavel Sitnikov, Doctor of Technical Sciences, Director of Project Management Executive Director of Open Code LLC. E-mail: sitnikov@o-code.ru
Vladimir Avsievich, Candidate of Technical Sciences, Project Manager of Open Code LLC. E-mail: avsievich@o-code.ru Yuriy Reznikov, Head of Department at Open Code LLC. E-mail: reznikov@o-code.ru
Anton Ivaschenko, Doctor of Technical Sciences, Professor, Research Supervisor of Open Source LLC. E-mail: anton.ivashenko@gmail.com
