CC BY
65
DOI 10.36622^Ти.2022.18.3.010 УДК 621.396
ИСПОЛЬЗОВАНИЕ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ ДЛЯ ВИЗУАЛЬНОГО КОНТРОЛЯ
ТОПОЛОГИИ ПЕЧАТНЫХ ПЛАТ
Воронежский государственный технический университет, г. Воронеж, Россия
Аннотация: в процессе производства любого электронного устройства на данный момент принимает участие большое количество как программных, так и аппаратных средств. При изготовлении электронных изделий производится автоматическая установка элементов на плату с применением робототехнических устройств. Наряду с установкой компонентов серьезное значение имеет также и качество рисунка печатной платы. Контроль качества на любом из этапов производства отводится человеку, что значительно снижает не только продуктивность, но и качество отбраковки. В данной статье рассматривается способы определения дефектных участков топологии печатной платы, возникающих в процессе ее производства, а также возможность корректировки алгоритмов управления производственной линией. Предлагаемое решение направлено в первую очередь на улучшение качества и увеличение скорости современного производства печатных плат, основным показателем, который она способна обеспечить, выступает снижение процента брака. Отличительным признаком разработанного принципа является повышенная, относительно аналогов, точность определения дефектных участков, а также возможность автоматического управления конвейерной линией. Контроль линии производится в режиме реального времени и позволяет добиться корректировки показателей «онлайн» путем занесения в базу данных возможных причин возникновения, последующего анализа и устранения
Ключевые слова: искусственный интеллект, сверточные нейронные сети, машинное зрение, глубокое обучение, повышение качества
М.А. Ромащенко, Д.В. Васильченко, Д.А. Пухов
Производство электронных устройств крупными партиями требует от любого предприятия перехода к конвейерным линиям и максимальной автоматизации своего производства с целью увеличения скорости работы по выпуску продукции. Уже сейчас большая часть операций по установке компонентов производится автоматизированными линиями. Однако такой фактор, как контроль качества производимой печатной платы, остается на человеке. [2]. Доля ошибок, связанных с действиями человека, по некоторым оценкам может достигать порядка 15%. Такой процент ошибок может не только повлиять на выпускаемую продукцию, но и на имидж компании в целом. К тому же применение человеческого труда для отбраковки на конвейерной линии при больших скоростях работы приведет к еще большему числу пропущенных бракованных экземпляров, что связано с ограниченностью скорости реакции человека. Одним из выходов является увеличение числа контролеров, что также негативно влияет на материальные затраты и качество отбраковки. Все эти недостатки ведут к снижению продуктивности и экономической выгоды от выпускаемой продукции [1].
Введение
В настоящее время, в связи с развитием вычислительных мощностей электроники, становиться возможным использование глубоких нейронных сетей в качестве классификатора тех или иных отклонений. Данные отклонения в том числе могут быть классифицированы и на изображениях. Такой подход характеризуется понятием «машинное зрение» и может быть применён в качестве основного способа контроля печатных плат на наличие дефектов.
Диаграмма для разработки методики контроля топологии печатной платы
Для осуществления дефектовки поверхности печатной платы необходимо выполнить целый ряд действий. В основе любого алгоритма, позволяющего осуществить обработку данных с применением нейронных сетей, лежит несколько основных принципов. Первый -качественная разметка данных для обучения нейронной сети. Второй - обучение нейронной сети. Третий - обеспечение идентичности поступающих на вход данных. Каждый из принципов можно разделить на отдельные этапы, но в общем случае методика построения работы и адаптация нейронной сети для каждого отдельного применения показана на рис. 1.
© Ромащенко М.А., Васильченко Д.В., Пухов Д.А., 2022
Рис. 1. Методика обучения нейронной сети
На рис. 1 представлены следующие обозначения:
- А1 Получение задания на разработку системы идентификации дефектов
- А2 Оценка условий работы системы и типа исследуемых образцов плат
- А3 Выбор архитектуры нейронной сети для решения задачи и создание тестового образца сети
- А4 Сбор и разметка данных для обучения нейронной сети для решения задач и создание тестового образца сети
- А5 Обучение нейронной сети на полученной выборке и валидация данных
- А6 Выяснение точности оптимальной работы
- А7 Занесение полученных весов и архитектуры в базу данных
- А8 Создание рабочего образца сети
- А9 Опытная эксплуатация на линии
- А10 Выяснение точности оптимальной работы
- А11 Добавление функционала для работы с производственной линией
- А12 Выпуск рабочего экземпляра программного обеспечения.
Применение процедуры анализа изображения
На начальном этапе производиться получение задания на создание системы, которое подвергается оценке с точки зрения области применения, разрабатываемого ПО и принципиальной возможности использования машинного зрения. Если применение возможно и особенности производства позволяют внедрить подобную систему - производится выбор архитектуры нейронной сети, которая будет наиболее подходящей исходя из требований к точности и скорости работы системы. Для реализация данной архитектуры в виде алгоритма обработки произведено конструирование нейронной сети с использованием языка Python и библиотек PyTorch, Keras, TensorFlow и Numpy. В итоге удалось получить сверточ-ную нейронную сеть, на базе сверточной модели сети YOLOv5.
Для обучения выбранного алгоритма создается два типа выборки. Первая - тренировочная выборка. Данная выборка предназначена для «тренировки» алгоритма на обнаружение конкретных паттернов на изображении. В данном случае используется принцип «обучение с учителем», что подразумевает применение заранее размеченных и разбитых на классы тестовых изображений. Нейронная сеть в процессе обучения подбирает весовые коэффициенты, опираясь на данные координат ограничивающих рамок в размеченных изображениях. Для апробации вычислений сеть обращается ко второму типу выборки - валидационной. Данный тип выборки схож с обучающей, за исключением того, что нейронная сеть обрабатывает изображения и сравнивает отклонения, полученные путём вычислений координат дефектов с реальными координатами, размеченными человеком. За счёт этого сеть может приблизительно определить качество работы и выдать результат в виде вероятности обнаружения дефекта в определенной области, а также произвести корректировку весовых коэффициентов. Графики, представляющие результат обучения, представлены на рис. 2.
Рис. 2. График результата обучения нейронной сети
Для выделения областей дефектов разработанная сеть производит математические вычисления, представленные в формуле ниже:
ri — р. ■ v jnjjtruth Li ~ riJ Л luupred ,
(1)
где параметры _/, г обозначают ] — ю регрессивную ячейку г — й сетки, С? означает достоверность ] — й ограничивающей фигуры г — й сетки выделяемого дефекта. Р^ - это значение, указывающее на существование в ] — м поле нахождения искомого дефекта, если дефект существует в данном квадрате, то значение = 1, в противном случае оно равняется 0. ЮЦр™^ является параметром, указывающим пересечение по объединению множества предсказанных результатов и множества истинных значений. Чем больше ние ЮЦр™^, тем выше вероятность правильного нахождения дефекта на плате.
Функция потерь является оптимизирующей функцией и также вычисляется при обучении сети для выявления ошибок алгоритма на каждом конкретном объекте. Вычисления происходят по формуле (2):
¿OSS — Ibox + ^r.li + I
els
Lobj,
(2)
где lbox - функции регрессии с ограничением, lcis — функция потери классификации, 1оЬ]- —функция потери достоверности.
В общем виде был получен алгоритм, который позволяет обнаружить на исходном изображении и обвести ограничивающей рамкой область дефекта, с указанием вероятности нахождения найденного дефекта в данной области. Для осуществления обучения нейронной сети необходимо разметить данные. Разметка данных представляет собой создание вручную ограничивающих рамок в местах нахождения дефекта на выборке из изображе-
ний. Далее информация о местах нахождения дефекта относительно начала координат в размерной сетке разрешения изображения записывается в текстовый файл. В имени файла указывается принадлежность к конкретному изображению, а в содержании файла фигурируют координаты и название выделенной области (label) - пример показан на рис. 3.
Рис. 3. Форма разметки изображений для создания обучающей и валлидационной выборки
Поскольку на вход данная сеть принимает изображения с разрешением 640x640 необходимо предварительно сжать исходное изображение до данных размеров. Для обработки видеоряда от камер, работающих по интерфейсу GigE, используется дополнительная библиотека, которая производит обработку данных о видеоряде и перерабатывается в единичный фрейм для обработки с исходным размером. Затем с использованием библиотеки OpenCV производится преобразование размера изображения в необходимое для последующей подачи его на вход нейронной сети. После этого обработанное изображение с нанесенными на него ограничивающими рамками формируется с учетом выхода сети и сохраняется как результат её работы в отдельный файл.
Испытание программного комплекса
При помощи разработанной методике, представленной на рис. 1, в лабораторных условиях был разработан и испытан программный комплекс для определения дефектных участков печатных плат.
Условно действующая модель состоит из трех частей: 1 - камера машинного зрения, 2 -
ПК со специализированным программным обеспечением, 3 - освещение. Сборка из трех составляющих является первой итерацией опытного образца для испытания программного обеспечения. Фото используемой камеры и освещения представлены на рис. 4.
Рис. 4. Используемое оборудование
После сборки установка закрепляется под углом сверху испытуемого образца платы для того, чтобы минимизировать блики и засветы от освещения как показано на рис. 5.
Рис. 5. Установка оборудования
Практическое применение и оценка эффективности разрабатываемого устройства представлены на рис. 5. Вероятность нахождения дефектов в виде царапин, отслоение элементов печатного монтажа, выход отверстий за пределы контактных площадок, поврежденных отверстий контактных площадок, разрыв токопроводящих цепей система обнаруживает с высокой вероятностью.
Рис. 6. Практическое применение разрабатываемого комплекса
Вывод
Увеличение объемов производства на ряду с уменьшением размеров как самих компонентов, так и печатных плат значительно усложняет процесс выходного визуального контроля. Контроль всей партии на конвейерной линии с применением визуального контроля силами человека становиться невозможным. В связи с этим разработка концептуально иных способов автоматизации производственных процессов на всех стадиях становится основной задачей [3]. Повышение качества на ряду с увеличением количества производимых продуктов благоприятно сказывается на экономической составляющей предприятия. Увеличение количества выпускаемого продукта при сравнимом уровнем затрат на выпуск единичного изделия позволяет уменьшить стоимость продукта, что благоприятно сказывается на рыночной конкуренции предприятия [4]. Применение систем искусственного интеллекта для автоматизации производственных процессов приведет к качественному и количественному улучшению показателей производства. Совершенствование систем автоматизации на предприятии увеличивает его экономические показатели на ряду с повышением качества выпускаемых продуктов.
Литература
1. Ромащенко М.А., Васильченко Д.В., Рожненко С.Н. Методика оценки влияния электромагнитных помех на функционирование электронных средств в процессе их проектирования // Радиотехника. 2021. Т. 85. № 6. С. 57-61.
2. Васильченко Д.В., Неклюдов А.Л., Ромащенко М.А. Программно-аппаратный комплекс тестирования электронных средств на воздействие электромагнитных помех // Радиолокация, навигация, связь: сб. тр. XXVI Междунар. науч.-техн. конф., 2020. С. 386-391.
3. Патент на полезную модель №189820 Российская Федерация. Сканер ближнего электрического поля для двухсторонних и многослойных печатных плат / Ро-мащенко М.А., Васильченко Д.В., Неклюдов А.Л., Глотов В.В., Глотова Т.С.; патентообладатель: Федеральное гос-
ударственное бюджетное образовательное учреждение высшего образования "Воронежский государственный технический университет" № 2019108722; заявл. 26.03.2019; опубл. 05.06.2019.
4. Методика формирования испытательных сигналов для оценки устойчивости электронных средств к ЭМП / М.А. Ромащенко, Д.В. Васильченко, С.Н. Рож-ненко, Ю.С. Балашов // Радиотехника. 2020. Т. 84. № 6 (12). С. 19-23.
Поступила 04.04.2022; принята к публикации 16.06.2022 Информация об авторах
Ромащенко Михаил Александрович - д-р техн. наук, доцент, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, д. 84), e-mail: kipr@vorstu.ru
Васильченко Дмитрий Владимирович - аспирант, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, д. 84), e-mail: Shadow951@bk.ru
Пухов Дмитрий Анатольевич - студент, Воронежский государственный технический университет (394006, Россия, г. Воронеж, ул. 20-летия Октября, д. 84), e-mail: puhov.dm22@yandex.ru, ORCID: https://orcid.org/0000-0002-6818-2715
USING NEURAL NETWORK ALGORITHMS FOR VISUAL CONTROL OF THE TOPOLOGY OF PRINTED CIRCUIT BOARDS
M.A. Romashchenko, D.V. Vasil'chenko, D.A. Pukhov
Voronezh State Technical University, Voronezh, Russia
Abstract: in the production process of any electronic device, a large number of both software and hardware are currently involved. In the manufacture of electronic products, elements are automatically installed on the board using robotic devices. Along with the installation of components, the quality of the printed circuit board design is also of great importance. Quality control at any stage of production is assigned to a person, which significantly reduces not only productivity, but also the quality of rejection. This article discusses ways to determine defective sections of the printed circuit board topology that occur during its production, as well as the possibility of adjusting the production line control algorithms. The proposed solution is aimed primarily at improving the quality and increasing the speed of modern production of printed circuit boards, the main indicator that it is able to provide is a reduction in the percentage of scrap. A distinctive feature of the developed principle is the increased, relative to analogues, accuracy of determining defective areas, as well as the possibility of automatic control of the conveyor line. The line is monitored in real time and allows you to adjust the indicators "online" by entering into the database the possible causes of occurrence, subsequent analysis and elimination
Key words: artificial intelligence, convolutional neural networks, machine vision, deep learning, quality improvement
References
1. Romashchenko M.A., Vasil'chenko D.V., Romanenko S.N. "Methodology for assessing the influence of electromagnetic interference on the functioning of electronic means in the process of their design", Radio Engineering (Radiotekhnika), 2021, vol. 85, no. 6, pp. 57-61.
2. Vasil'chenko D.V., Neklyudov A.L., Romashchenko M.A. "Software and hardware complex for testing electronic means for the effects of electromagnetic interference", Proc. of the XXVI Int. Sci. and Tech. Conf.: Radar, Navigation, Communication. (Radio-lokatsiya, navigatsiya, svyaz': sb. tr. XXVI Mezhdunar. nauch.-tekhn. konf.), 2020, pp. 386-391.
3. Romashchenko M.A., Vasil'chenko D.V., Neklyudov A.L., Glotov V.V., Glotova T.S. "Near-field scanner for double-sided and multilayer printed circuit boards" ("Skaner blizhnego elektricheskogo polya dlya dvukhstoronnikh i mnogosloynykh pechatnykh plat"), patent RU 189820 U1, 05.06.2019, application no. 2019108722 dated 26.03.2019.
4. Romashchenko M.A., Vasil'chenko D.V., Romanenko S.N., Balashov Yu.S. "Methodology for forming test signals for assessing the stability of electronic means to EMF", Radio Engineering (Radiotekhnika), 2020, vol. 84, no. 6 (12), pp. 19-23.
Submitted 04.04.2022; revised 16.06.2022
Information about the authors
Mikhail A. Romashchenko, Dr. Sc. (Technical), Associate Professor, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: kipr@vorstu.ru
Dmitriy V. Vasil'chenko, graduate student, Voronezh State Technical University (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: Shadow951@bk.ru
Dmitriy A. Pukhov, student, Voronezh State Technical University, (84 20-letiya Oktyabrya str., Voronezh 394006, Russia), e-mail: puhov.dm22@yandex.ru, ORCID: https://orcid.org/0000-0002-6818-2715
