CC BY
0
УДК 004.932.2 DOI: 10.21122/2309-4923-2024-2-16-24
ИНЮТИНА.В.1, ЛУКАШЕВИЧ М.М.12
ДЕТЕКЦИЯ ДЕФЕКТОВ ПЕЧАТНЫХ ПЛАТ НА ОСНОВЕ АРХИТЕКТУРЫ
YOLOv8
Юбъединенный институт проблем информатики НАН Беларуси, 2Белорусский государственный университет г. Минск, Республика Беларусь
Рассмотрены ключевые факторы и тенденции в проектировании и производстве печатных плат, определяющие современное состояние в области автоматического контроля печатных плат. Для поиска и классификации дефектов предлагается использовать метод детекции дефектов на изображениях на основе семейства моделей обнаружения объектов YOLO. Проведено обучение модели на публичном наборе изображений печатным плат с 6 классами дефектов, выполнена оценка точности на общепринятых метриках. На тестовом наборе данных средняя точность согласно метрике mAP50 равна 0,98.
Ключевые слова: дефект, печатные платы, детекция, классификация, нейронные сети
Введение
Существует несколько ключевых факторов, стимулирующих мировой рынок печатных плат в настоящее время и в течение следующих 5 лет [1-2]:
- развертывание беспроводных сетей 5G, источников возобновляемой энергии, таких как солнечные фотоэлектрические системы и ветряных турбин, дата-центров с высокопроизводительными серверами и коммутаторами для облачных вычислений;
- разработка приборов, машин и устройств Интернета вещей, электромобилей;
- внедрение усовершенствованных систем помощи водителю (ADAS, Advanced Driver Assistance Systems);
- производство современной техники и систем связи для нужд военных ведомств, аэрокосмической промышленности, медицины.
В настоящее время применяются различные технологические процессы изготовления печатных плат, каждый из которых состоит из нескольких этапов. Контроль качества при производстве печатных плат является обязательным, т. к. регулирует технологический процесс производства и определяет надежность работы радиоэлектронного оборудования, себестоимость его выпуска и сопровождения. На основании данных контроля технолог принимает решение о соответствии качества платы необходимым требованиям, необходимости внесении правок в фотошаблон или в технологический процесс. Поиск дефектов может осуществляться неоднократно в технологическом цикле, после некоторых этапов найденные дефекты можно исправить. Дефекты печатных плат можно разделить на дефекты металлизации, дефекты изоляционного материала, дефекты проводящего рисунка, дефекты финишных покрытий.
Современное производство печатных плат использует контактные, оптические, рентгеновские методы контроля [3-4]. Системы, основанные на контактных методах, касаются щупами контактных площадок и проверяют соответствие электрических связей между ними. В результате обнаруживаются такие важные дефекты как обрыв (open) и короткое замыкание (short). С помощью контактного метода принципиально не могут быть найдены такие дефекты как островки меди (spurious copper), выступы (spur) и вырывы (mouse bite) на дорожках, проколы (pinhole), отклонения минимальной ширины проводника (conductor too thin) и расстояния между проводниками (conductor too close). Увеличение сложности печатной платы приводит к значительному усложнению контроля. Рентгеновское излучение может определять пустоты под проводящим материалом и непропаи, имеет ограничения в применении из-за вредности для здоровья человека. Использование оптических методов контроля позволяет находить дефекты по признакам внешнего вида, является безопасным и дешевым.
В настоящее время за рубежом выпускаются автоматизированные системы контроля качества ПП. Ведущими производителями сегодня являются компании - Cognex Corporation, Gardien Services Inc., Manncorp Inc., Nordson YESTECH Inc., Omron Electronics LLC, Vision Engineering Inc, ViTrox Corp Bhd и Ibiden.
Актуальность задачи поиска дефектов печатных плат обусловлена следующими тенденциями в проектировании и производстве печатных плат [1]:
- использованием соединений высокой плотности;
- сочетание гибких схем и жестких секций на одной печатной плате;
- растягивающиеся схемы, основанные на новых проводящих материалах и методах изготовления;
- высокотермостойкие керамические печатные платы, которые могут работать в условиях агрессивной среды в оборонных, аэрокосмических и автомобильных системах;
- печатные платы с изолированной металлической подложкой для эффективного отвода тепла от мощных компонентов;
- встроенные пассивные элементы внутри печатной платы;
- аддитивная струйная или аэрозольная печать проводников;
- интеграция искусственного интеллекта и машинного обучения для обнаружения дефектов и внедрение принципов Индустрии 4.0 для анализа данных, спрос на высокоскоростной и точный контроль.
Анализ подходов к детекции объектов
В последние годы наблюдается значительный рост интереса к задачам видеоаналитики в целом. В рамках видеоаналитики можно выделить следующие решаемые задачи компьютерного зрения: локализация объектов на видео и изображениях и распознавание объектов на видео и изображениях. Под распознаванием принять понимать классификация объектов, а в случае локализации помимо распознавания определяется местоположение объектов на видео и изображениях. Данные задачи встречаются при работе с различными классами изображений, в том числе с медицинскими изображениями, снимками земной поверхности. В случае локализации объектов определяются координаты рамки, ограничивающей объект.
При решении задач компьютерного зрения классическими методами реализуется три этапа: предварительная обработка изображений/видео, извлечение признаков и принятие решений. Однако в последние годы лидирующие позиции стали занимать нейросетевые методы, основанные на глубоком обучении, которые отличаются тем, что часть слоёв нейронной сети (свёрточные слои) извлекает признаки, описывающие изображение, а вторая часть нейронной сети (полносвязные слои) принимает решение о принадлежность объектов на изображении тому или иному классу. Также в выходных слоях решается задача определения координат объектов на изображении.
За несколько десятилетий учёными было предложено большое подходов и методов детекции объектов. Ранние исследования описывают классические методы детекции объектов, включающие метод пороговой обработки, метод фильтрации признаков и метод каскадных классификаторов. Однако на современном этапе развития технологий компьютерного зрения всё более широко используются нейронные сети в целом и глубокое обучение в частности.
К числу основных методов детекции объектов относятся так называемые двухстадийные (R-CNN [5], Fast R-CNN [6], Faster R-CNN [7]) и одностадийные детекторы (SSD, YOLO [8-10]).
Двухстадийные детекторы решают задачу детекции в два этапа. В начале выполняется поиск перспективных регионов изображения, которые могу содержать объекты интереса. На втором этапе отобранные регионы классифицируется и определяется их точные координаты на изображении. Координатами объектов фактически являются координаты ограничивающих рамок.
Данное семейство алгоритмов имеет определенные ограничения с точки зрения времени работы, но имеет хорошую точность. В случае, когда важна скорость работы детектора, целесообразно использовать одностадийные детекторы, отличающиеся тем, что они позволяют одновременно определять координаты ограничивающих рамок и классифицировать объекты на изображении. Одностадийные детекторы работают быстрее двухстадийных, и в силу этого преимущества был выбран указанный подход для решения прикладной задачи детекции и классификации дефектов печатных плат.
Архитектура YOLOv8 [11] является одной из последних в серии детектор объектов в реальном времени YOLO и отличается высокими характеристиками в плане точности и скорости.
Набор изображений для экспериментов
Для проведения экспериментов был выбран публичный набор изображений DeepPCB [12], содержащий изображения дефектов печатным плат 6 классов. Набор данных содержит 1 500 пар изображений, каждая из которых состоит из эталонного изображения без дефектов и выровненного тестируемого изображения с аннотациями, включающими позиции 6 наиболее распространенных типов дефектов печатных плат: обрыв, короткое замыкание, выступ, вырыв, прокол и островок.
Все изображения в этом наборе данных получены с помощью ПЗС-матрицы с линейным сканированием и разрешением около 48 пикселей на 1 миллиметр. Исходный размер эталона и тестируемого изображения составляет около 16k*16k пикселей. Затем изображения разделены на множество подизображений размером 640*640 пикселей и выравнены с помощью техники совмещения изображений. Составителями набора реализована бинаризации с выбранным порогом. Пример изображения и соответствующего ему эталона приведен на рисунке 1.
Для проведения экспериментов нами использован указанный набор данных уже с примененными к нему техниками аугментации [13], которые включают следующие операции:
- вертикальный и горизонтальный поворот;
- поворот на 90° по часовой стрелке, против часовой стрелки и вверх ногами;
- обрезка изображения с минимальным масштабированием 0 % и максимальным масштабированием 20 %;
- поворот между -15° и +15°;
- сдвиг: ±15° по горизонтали; ±15° по вертикали.
После аугментации набор разделен на обучающую, валидационную и тестовую выборки, которые
включают в себя 3 150, 150 и 300 изображений соответственно. Для каждого изображения есть файл разметки в формате .Ш, который содержит информацию о дефектах на изображении (номер класса и нормированные координаты ограничивающего прямоугольника). Следует обозначить, что на одном изображении может присутствовать несколько дефектов, в том числе разных классов. Дефекты в наборе распределены следующим образом (рисунок 2).
Рисунок 1. Пример изображения и соответствующего ему эталона из набора данных DeepPCB
Оценка точности детекции
Для оценки точности модели использованы общепринятые метрики, основанные на значениях верно классифицированных положительных объектах (ТР); верно классифицированных отрицательных объектах (ТЫ); отрицательных примерах, классифицированных как положительные объекты (БР); положительные примеры, классифицированные как отрицательные объекты На основе указанных значений строится матрица ошибок. Матрица ошибок для случая бинарной классификации приведена на рисунке 3.
В таблице 1 представлены метрики для оценки точности детекции объектов.
Категория 1 Экспертная оценка Положительная Отрицательная
Положительная Оценка системы отрицательная тр гр
Рисунок 2. Распределение дефектов в наборе данных
Рисунок 3. Матрица ошибок
Таблица 1. Метрики для оценки точности детекции объектов
Доля правильных ответов (Accuracy) — ТРТ^ТРК
Точность (Precision) Точность = 7,/;кр
Полнота (Recall) -—-TP?™
Пересечение над объединением (IoU) Оценка перекрытия предсказанной ограничивающей рамки с истинной ограничивающей рамкой
Средняя точность (AP) Площадь под кривой Precision-Recall
Средняя средняя точность (mAP) Среднее значение AP
mAP50 Средняя точность, рассчитанная при пороге IoU, равном 0,50
mAP50-95 Средняя точность, рассчитанная при пороге IoU, от 0,50 до 0,95
Постановка эксперимента
Модель YOLOv8 размером nano, предобу-ченная на наборе данных COCO, была дообучена и протестирована на описанном наборе изображений. Обучение выполнено в среде Google Colab с использованием GPU Tesla T4. Некоторые параметры обучения приведены в таблице 2.
Графики обучения представлены на рисунке 4. Кривая Точность-Полнота, полученная в процессе обучения, представлена на рисунке 5.
Таблица 2. Некоторые параметры обучения YOLOv8n [14]
Параметр Значение
Epochs 50
Batch size 16
Image size 640x640
Optimizer AdamW
Box 7.5
Рисунок 4. Графики обучения нейронной сети Yolov8n
Рисунок 5. Кривая Точность-Полнота на этапе обучения
Результаты тестирования обученной модели на тестовом наборе данных представлены в таблице 3. Матрица ошибок для тестового набора представлена на рисунке 8. Результаты экспериментов показывают высокую точность детекции дефектов печатных плат (метрика тАР50 равна 0,98 на тесто-
вом наборе данных). Доля ложно-положительных ошибок выше, чем доля ложно-отрицательных ошибок. Это является более предпочтительной ситуацией, т. к. критичнее, когда дефекты будут пропущены, нежели, когда плата будет подвергнута повторному контролю.
Рисунок 6. Разметка дефектов на изображениях из валидационного набора
Рисунок 7. Найденные дефекты (класс и степень уверенности) на изображениях, представленных на рисунке 6
Рисунок 8. Матрица ошибок для тестового набора данных
Класс
Число изображений
Число дефектов
Метрики ограничивающего прямоугольника
Precision
Recall
mAP50
mAP50-95
Все дефекты
300
1844
0.958
0.957
0.98
0.729
Copper
300
282
0.983
0.986
0.992
0.858
Mousebite
300
371
0.933
0.945
0.977
0.698
Open
300
338
0.906
0.956
0.972
0.654
Pin-hole
300
309
0.964
0.995
0.831
Short
300
249
0.953
0.928
0.957
0.628
Spur
300
295
0.975
0.963
0.989
0.705
1
Заключение
Авторами рассмотрены ключевые факторы и тенденции в проектировании и производстве печатных плат, условия возникновения и некоторые дефекты печатных плат. В работе рассмотрена задача детекции дефектов на изображениях печатных плат
и решена прикладная задача. Выбран публичный набор изображений, содержащих дефекты 6 классов. На основе архитектуры Yolov8 проведено обучение модели на указанных изображениях, выполнена оценка точности на тестовом наборе. Метрика для оценки точности детекции тАР50 равна 0,98 на тестовом наборе данных.
ЛИТЕРАТУРА
1. What is the PCB Market Situation Now? (Update 2023). - [Электронный документ]. - Режим доступа: https:// www.raypcb.com/pcb-market/ (дата обращения 07.05.2024).
2. The Global Printed Circuit Board Market: Key Insights, Forecasts, & Growth Outlook. - [Электронный документ]. - Режим доступа: https://www.mktpcb.com/pcb-industry-statistics-trends-infographic/ (дата обращения 07.05.2024).
3. Карпов, С. Прецизионный контроль печатных плат. Что это? / Сергей Карпов // Технологии в электронной промышленности. - 2008. - № 7. - С.37-40.
4. Lehmann, David K. X-ray systems for optimizing PCB inspection: x-ray systems are not all equal, and their differences affect the type of defects that can be detected / David K. Lehmann // Circuits Assembly. - 2002. - Т. 13, № 2. - С. 35-40.
5. Girshnick R. et al. Rich feature hierarchies for accurate object detection and semantic segmentation [Электронный документ]. - Режим доступа: https://arxiv.org/abs/1311.2524 (дата обращения 07.05.2024).
6. Girshnick R. Fast R-CNN [Электронный документ]. - Режим доступа: https://arxiv.org/abs/1504.08083 (дата обращения 07.05.2024).
7. Ren S. et al. Faster R-CNN: Towards real-time object detection with region proposal networks [Электронный документ]. - Режим доступа: https://arxiv.org/abs/1506.01497 (дата обращения 07.05.2024).
8. Redmon J. et al. You Only Look Once: Unified, real-time object detection [Электронный документ]. - Режим доступа: https://arxiv.org/abs/1506.02640 (дата обращения 07.05.2024).
9. Redmon J. et al. YOLO9000: Better, faster, stronger [Электронный документ]. - Режим доступа: https://arxiv.org/ abs/1612.08242 (дата обращения 07.05.2024).
10. Redmon J. YOLOv3: An incremental improvement [Электронный документ]. - Режим доступа: https://arxiv.org/ abs/1804.02767 (дата обращения 07.05.2024).
11. YOLOv8: A New State-of-the-Art Computer Vision Model. - [Электронный документ]. - Режим доступа: https://yolov8.com/ (дата обращения 07.05.2024).
12. A PCB defect dataset. - [Электронный документ]. - Режим доступа: https://github.com/tangsanli5201/DeepPCB (дата обращения 07.05.2024).
13. DeepPCB Image Dataset. - [Электронный документ]. - Режим доступа: https://universe.roboflow.com/tack-hwa-wong-zak5u/deeppcb-4dhir/dataset/5 (дата обращения 07.05.2024).
14. Configuration - Ultralytics YOLOv8 Docs. - [Электронный документ]. - Режим доступа: https://docs.ultralytics. com/usage/cfg/#modes (дата обращения 07.05.2024).
REFERENCES
1. What is the PCB Market Situation Now? (Update 2023). - [Online]. - Available: https://www.raypcb.com/pcb-market/ (Date of access 07.05.2024).
2. The Global Printed Circuit Board Market: Key Insights, Forecasts, & Growth Outlook. - [Online]. - Available: https://www.mktpcb.com/pcb-industry-statistics-trends-infographic/ (Date of access 07.05.2024).
3. Karpov, S. Precision Control of Printed Circuit Boards. What is this? / Sergey Karpov // Tekhnologii v elektronnykh promyshlennosti. - 2008. - № 7. - C.37-40.
4. Lehmann, David K. X-ray systems for optimizing PCB inspection: x-ray systems are not all equal, and their differences affect the type of defects that can be detected / David K. Lehmann // Circuits Assembly. - 2002. - Vol. 13, № 2. - P. 35-40.
5. Girshnick R. et al. Rich feature hierarchies for accurate object detection and semantic segmentation [Online]. -Available: https://arxiv.org/abs/1311.2524 (Date of access 07.05.2024).
6. Girshnick R. Fast R-CNN [Online]. - Available: https://arxiv.org/abs/1504.08083 (Date of access 07.05.2024).
7. Ren S. et al. Faster R-CNN: Towards real-time object detection with region proposal networks [Online]. - Available: https://arxiv.org/abs/1506.01497 (Date of access 07.05.2024).
8. Redmon J. et al. You Only Look Once: Unified, real-time object detection [Online]. - Available: https://arxiv.org/ abs/1506.02640 (Date of access 07.05.2024).
9. Redmon J. et al. YOLO9000: Better, faster, stronger [Online]. - Available: https://arxiv.org/abs/1612.08242 (Date of access 07.05.2024).
10. Redmon J. YOLOv3: An incremental improvement [Online]. - Available: https://arxiv.org/abs/1804.02767 (Date of access 07.05.2024).
11. YOLOv8: A New State-of-the-Art Computer Vision Model. - [Online]. - Available: https://yolov8.com/ (Date of access 07.05.2024).
12. A PCB defect dataset. - [Online]. - Available: https://github.com/tangsanli5201/DeepPCB (Date of access 07.05.2024).
13. DeepPCB Image Dataset. - [Online]. - Available: https://universe.roboflow.com/tack-hwa-wong-zak5u/deeppcb-4dhir/dataset/5 (Date of access 07.05.2024).
14. Configuration - Ultralytics YOLOv8 Docs. - [Online]. - Available: https://docs.ultralytics.com/usage/cfg/#modes (Date of access 07.05.2024).
INYUTINA.V.1, LUKASHEVICHMM.12
PCB DEFECT DETECTION BASED ON YOLOv8 ARCHITECTURE
1The United Institute of Informatics Problems of the National Academy of Sciences of Belarus,
2Belarusian State University Minsk, Republic of Belarus
The paper discusses the key factors and trends in the design and production ofprinted circuit boards (PCB), which determine the state of the art of the automatic PCB inspection. To search for and classify defects, it is proposed to use the method of detecting defects in images based on the YOLO family of object detection models. The model was trained on a public set of images of PCB with 6 classes of defects, and the accuracy was assessed using generally accepted metrics. On the test dataset, the average accuracy according to the mAP50 metric is 0.98.
Keywords: defect, printed circuit boards, detection, classification, neural networks
Инютин Александр Владимирович, заведующий лабораторией, Объединенный институт проблем информатики НАН Беларуси. Научные интересы - цифровая обработка изображений, распознавание образов в системах компьютерного зрения, обработка изображений дистанционного зондирования, обработка телеметрических данных в системах управления космическими аппаратами.
Alexander Inyutin, head of the laboratory, United Institute of Informatics Problems of the National Academy of Sciences of Belarus. His research interests fosed on digital image processing and pattern recognition in computer vision systems, remote sensing image processing, telemetry processing in spacecraft control systems.
Лукашевич Марина Михайловна, кандидат технических наук, доцент, доцент кафедры информационных систем управления Белорусского государственного университета. Область научных интересов включает машинное обучение, глубокого обучение, компьютерное зрение, анализ данных.
Marina Lukashevich, Associate Professor, Associate Professor of the Department of Information Management Systems at the Belarusian State University. Her research interests include machine learning, deep learning, computer vision, data analysis.
