CC BY
76
Разработка автоматизированной системы обнаружения дефектов на ткани с применением компьютерного зрения
А.А. Казначеева, С.В. Захаркина, О.М. Власенко, Е.А.
Рыжкова
Российский государственный университет имени А.Н. Косыгина (Технологии. Дизайн. Искусство), г. Москва
Аннотация: В статье рассматривается вопрос создания автоматизированной системы обнаружения дефектов на ткани, основанной на применении компьютерного зрения. Полученная система позволяет контролировать, регистрировать и рассчитывать дефекты текстильных материалов без участия человека в технологическом процессе, что повышает качество анализа, устраняет количество ошибок при разбраковке ткани и сокращает стоимость технологической операции.
Ключевые слова: автоматизированная система, обнаружение дефектов, текстильный материал, компьютерное зрение, микрокомпьютер, библиотека обработки изображений.
В настоящее время в текстильной и легкой промышленности процесс обнаружения дефектов на ткани различных артикулов автоматизирован недостаточно. Визуальное определение дефектов осуществляется специалистами-разбраковщиками, которые должны дать оценку качеству текстильного материала, а именно - выявить балльность пороков, привести итоговое значение баллов и, в зависимости от длины куска, определить сортность. Известно, что контроль качества тканей проводится специалистами, которые способны обнаруживать 40-60% дефектов. Внедрение автоматизированных систем контроля качества с применением компьютерного зрения повышает производительность труда разбраковщика и улучшает качество продукции. Современные системы позволяют обеспечить обнаружение дефектов на ткани от 80 до 95%.
На сегодняшний день как в России, так и за рубежом создаются автоматизированные системы, адаптированные для определенного комплекса оборудования. В каждом конкретном случае подбирается или разрабатывается индивидуальное программное решение. Известен ряд готовых продуктов: Fabriscan (Zellweger Uster, Швейцария), Cyclops (Barco,
Бельгия), Elbit Vision Systems (I-Texas, Канада) и Wilot WMR (Mahlo, Германия). Все вышеперечисленные системы оснащены промышленными камерами и контролируют качество ткани шириной от 100 до 400 см при высокой скорости ее перемещения (120-300 м/мин). Обладают возможностью классифицировать дефекты и передавать информацию в базу данных для хранения и дальнейшего анализа [1-3]. Установлено [3], что данные системы имеют существенный недостаток - относительно высокую стоимость технических средств компьютерного зрения и программного обеспечения (от $200 тыс. до $650 тыс.).
Российскими учеными из ФГБОУ ВО «ИВГПУ» разработан аппаратно-программный комплекс для контроля дефектов текстильных материалов без соединения с ткацким станком [4,5]. В его состав входят: видеокамера; датчик движения; персональный компьютер; печатающее устройство; лампы; световоды, собранные в матрицу. Минусами данной системы являются:
- необходимость присутствия оператора при процессе;
- ограниченное количество обнаруживаемых дефектов;
- высокая стоимость разработки программного обеспечения, основанного на алгоритмах построения нейронной сети.
Данная работа посвящена решению актуальной задачи построения автоматизированной системы обнаружения дефектов на ткани с применением компьютерного зрения с более широким спектром анализируемых пороков, но имеющей более низкую стоимость по сравнению с имеющимися аналогами.
При разработке системы контроля в нее закладывается следующий требуемый функционал:
- система должна иметь достаточную разрешающую способность для обнаружения как типовых, так и сложных пороков на ткани, включая обрывы небольшого количества нитей или малозаметные пятна [6];
- свести к минимуму или по возможности исключить участие человека-оператора в процессе, что повысит качество анализа, устранит количество ошибок и сократит стоимость технологической операции.
Автоматизированная система контроля дефектов текстильных материалов должна отвечать требованиям, которые обеспечат качество работы системы в целом: соответствие стандартам, устойчивость, масштабируемость, безопасность, эффективность [7-9]. Соответствие стандартам обязательно для обеспечения совместимости модулей системы.
Устойчивость - это свойство системы, которое обеспечивает ее бесперебойное функционирование, так как отказ работы различных модулей может негативно сказаться на всем технологическом процессе. Масштабируемость является обязательным требованием и предполагает расширение набора модулей и подпрограмм в будущем, поскольку запросы потребителей автоматизированной разбраковки возрастают со временем, а применение нового оборудования вызывает необходимость наращивания функционала распознавания.
Безопасность - свойство предотвращения преднамеренных или непреднамеренных помех в правильной работе системы. Включает безопасность управления технологическими процессами и кибербезопасность.
Под эффективностью понимается свойство системы качественно выполнять поставленную задачу в определенных условиях. Показатели эффективности определяют оптимальность функционирования системы. Они являются обобщающими и характеризуют степень приспособленности системы к выполнению поставленных перед ней задач.
Рассматриваемая система распознавания включает микроконтроллер Raspberry Pi и видеокамеру RPi Camera (I) WaveShare. Для подсветки движущегося материала на оборудовании установлены светодиодные лампы.
Технические характеристики устройств представлены в таблице №1.
Таблица № 1
Технические характеристики устройств
№ Наименование Технические характеристики Примечание
1 Микроконтроллер Raspberry Pi 3 model B Частота процессора -1200 МГц; Количество ядер - 4; Объем ОП -1024 МБ; Тип ОП - SDRAM; Скорость сетевого адаптера -100 Мбит; Видео разъемы HDMI и MIPI. Производитель - Broadcom; Модель - BCM2837; Встроенное оборудование -Bluetooth 4.1; Доступ к интернету через Wi-Fi или Ethernet.
2 Видеокамера Raspberry Pi-RPi Camera (I) Разрешающая способность - 5 мегапиксилей; Размер - 25мм х 24мм х 22мм; Объектив - 1/4 5M; Угол обзора - 170°; Диафрагма (F) - 1,8. Производитель - WaveShare; Версия - 2.2; Поддержка - Raspberry PI A+/B/B+/PI2.
3 Светодиодная лампа Мощность - 18Вт; Напряжение - 176-264 V; Тип колбы - T8; Длина - 1213.6 мм; Диаметр - 26 мм; Цветовая температура (K) - 4000; Световой поток - 1600 лм; Производитель - Navigator; Вид - FR/матированная; Срок службы - 40 тыс. часов; Диммируемая - нет.
Программные модули разработаны на языке Python с использованием
библиотеки OpenCV, предназначенной для обработки компьютерных изображений [10,11]. Данная библиотека содержит модули по анализу изображений и движения объектов; модуль для ввода/вывода изображений; функции захвата видео с цифровых видеокамер; модуль создания пользовательского интерфейса.
Процесс автоматизированной обработки дефектов на текстильном материале при помощи компьютерного зрения является ключевым функционалом программы. Он представляет собой алгоритм определения порока ткани по его цветовым характеристикам. Работа программы включает взаимодействие нескольких подпрограмм: - подпрограмма поиска дефектов;
М Инженерный вестник Дона, №12 (2021) ivdon.ru/ru/magazine/arcliive/nl2y2021/7339
- подпрограмма анализа дефектов;
- подпрограмма определения типа дефектов;
- подпрограмма расчета размера дефектов.
Схема взаимодействия подпрограмм представлена на рис. 1.
При получении компьютерного изображения с видеокамеры, оно обрабатывается покадрово и переводится в цветовой диапазон HSV [12]. В цветовой модели HSV в качестве координат цвета используются цветовой тон (Hue), диапазон изменения 0-360, либо приведенный диапазон 0-100 или 0-1; насыщенность (Saturation), диапазон изменения 0-100 или 0 - 1; значение цвета (Value) или яркость (Brightness), диапазон изменения 0 - 100 или 0 - 1.
Рис. 1. - Схема взаимодействия подсистем При анализе дефекта ткани определяется его цветовой диапазон, который вносится в программу и в режиме реального времени сравнивается с
и
данными в базе образцов дефектов [13]. Используя данные из базы образцов, создается маска поиска дефектов и задается минимальный размер дефекта. Это позволяет учитывать мелкие изменения оттенков при движении ткани и избежать обнаружения «ложных» пороков.
Рис. 2. - Компьютерное изображение дефекта в виде масляного пятна
Рис. 3. - Подбор границ цвета дефектов
и
Обнаружив дефект, совпадающий с базой образцов, и отфильтровав его по установленному размеру, программа считывает контуры порока и выделяет его прямоугольной областью, определяет центр. По центру обрабатываемого изображения проводится линия распознавания. Информация, считываемая по этой линии, обрабатывается подпрограммой определения типа дефектов. Далее работает подпрограмма расчета размера дефектов и осуществляется вывод результатов на экран.
На рис. 2 изображен порок ткани в виде масляного пятна и процесс подбора его цвета (рис. 3). В программу ввели максимальные и минимальные значения диапазона цвета, в пределах которых она ищет цвет на изображении.
Рис. 4 (а). - Компьютерное изображение дефекта «Пятно»
Рис. 4 (б). - Компьютерное изображение дефекта «Разрыв»
Рис. 5 (а). - Панель информации при обнаружении дефекта «Пятно»
Рис. 5 (б). - Панель информации при обнаружении дефекта «Разрыв»
Пользовательский интерфейс программы разработан с использованием библиотеки Tkinter на языке Python (рис. 4 а,б и 5 а,б). В левой части окна расположено компьютерное изображение дефекта, в правой - окно информации, счетчик количества дефектов и управляющие кнопки «Старт»/«Стоп», запускающие и останавливающие процесс сканирования. В окне информации выводится тип и размер дефекта, время и дата выполненных действий.
Для выделения дефектов используются три способа выделения:
- обводка;
- прямоугольная область;
- прямоугольная область с учетом угла (рисунки 4 (а, б)).
Ниже приведено обоснование метода автоматического вычисления размера дефекта, заложенного в подпрограмму, реализованную на языке Python.
Так как цвет порока ткани может быть не однотонным, программа определит не всю необходимую область, и вычислит приблизительный размер дефекта. Для вычисления размера необходимо задать ширину захвата камеры, которая, как правило, соответствует ширине ткани. Используя это значение, определяется соотношение сантиметров на один пиксель:
где Lk - ширина захвата камеры, см; Lz - количество пикселей обрабатываемого изображения по горизонтали (ширина изображения); Pt -соотношение сантиметров на один пиксель.
Программа определяет количество пикселей при сканировании и определении границы (рис. 6, 7). Искомый размер дефекта определяется из соотношения:
(2)
На рис. 8 изображен вывод информации о результатах работы программы после обнаружения дефекта на ткани.
Рис. 8. - Вывод информации о результатах работы программы Таким образом, предложена автоматизированная система обнаружения дефектов на ткани с применением компьютерного зрения. Данная система позволяет контролировать, регистрировать и рассчитывать дефекты текстильных материалов без участия человека в технологическом процессе, что повышает качество анализа, устраняет количество ошибок при разбраковке ткани и сокращает стоимость технологической операции.
1. Rajkishore Nayak, Rajiv Padhye. Automations in garment manufacturing. // The textile institute book series. Woodhead Publishing, United Kingdom, 2017.Pp. 426.
2. Хоменко Л. И., Зенкин А.С. Автоматическая система выбора ткани по заданным параметрам // Молодой ученый, 2019. - № 19 (257). - С. 57-62.
3. Биленко М.С. Серов А.В., Рожков С.А., Буглов О.А. Многоканальная система контроля качества текстильных материалов // Автоматика.
Рис. 6. - Дефект «Пятно» Рис. 7. - Дефект «Разрыв»
[23.05.2021 13:06:18] Сканирование запущено
[23.05.2021 13:06:27] Обнаружен дефект "Пятно" 5.4 см£
[23.05.2021 13:06:31] Обнаружен дефект "Разрыв" 4,8 см1
[23.05.2021 13:07:11] Сканирование остановлено
Литература
Автоматизация. Электротехнические комплексы и системы, 2008. - № 2. С. 116-127.
4. Ясинский И.Ф., Харахнин К.А. Устройство для обнаружения и регистрации дефектов на движущейся ткани // Патент РФ № 2296991. URL: allpatents.ru/patent/2296991.html
5. Ясинский И.Ф. Разработка нейросетевой системы для обнаружения и классификации дефектов ткани на мерильно-браковочном оборудовании // Автореферат диссертации канд. техн. наук, 2007. - 20 с.
6. Козлов А.Б. Повышение эффективности процессов текстильной технологии за счет контроля параметров качества продукции на базе оптоэлектронной техники // Автореферат диссертации док. техн. наук, 1994. - 33 с.
7. Солем Ян. Программирование компьютерного зрения на языке Python. // ДМК-Пресс: М. - 2016 г. С. 312.
8. Клетте Р. Компьютерное зрение. Теория и алгоритмы. // ДМК-Пресс: М. -2019. С. 506.
9. Сенюхин М.П. Разработка автоматизированной системы обнаружения дефектов на ткани. // Тезисы докладов 73-ей внутривузовской научной студенческой конференции «Молодые ученые - инновационному развитию общества (МИР-2021)». Часть 1, 2021. C. 135-136.
10. Прохоренок Н. А. OpenCV и Java. Обработка изображений и компьютерное зрение. // БХВ-Петербург: СПб, 2018 г. С. 320.
11. Chao Li, Jun Li, Yafei Li, Lingmin He, Xiaokang Fu and Jingjing Chen. Fabric Defect Detection in Textile Manufacturing: A Survey of the State of the Art // Security and Communication Networks. Volume 2021, Article ID 9948808, 13 p.
12. Aqsa Rashe, Bushra Zafar, Amina Rasheed, Nouman Ali. Fabric Defect Detection Using Computer Vision Techniques: A Comprehensive Review //
Mathematical Problems in Engineering Volume 2020, Article ID 8189403, 24 P-
13. Yundong Li, Cheng Zhang. Automated vision system for fabric defect inspection using Gabor filters and PCNN // Li and Zhang SpringerPlus (2016) 5:765 DOI 10.1186/s40064-016-2452-6, 24 pages.
References
1. Rajkishore Nayak, Rajiv Padhye. The textile institute book series. Woodhead Publishing, United Kingdom, 2017. P. 426.
2. Homenko L.I., Zenkin L.I. Molodoj uchenyj, 2019. № 19 (257). pp. 57-62.
3. Bilenko M.S., Serov A.V., Rozhkov S.A., Buglov O.A. Avtomatika. Avtomatizaciya. Elektrotexnicheskie kompleksy' i sistemy', 2008. № 2. pp. 116-127.
4. Yasinskij I.F., Xaraxnin K.A. Ustrojstvo dlya obnaruzheniya i registracii defektov na dvizhushhejsya tkani [Device for detecting and registering defects on moving tissue]. Patent RF № 2296991. URL: allpatents.ru/patent/2296991.html
5. Yasinsky I.F. Razrabotka nejrosetevoj sistemy' dlya obnaruzheniya i klassifikacii defektov tkani na meril'no-brakovochnom oborudovanii [Development of a neural network system for the detection and classification of tissue defects on measuring and rejection equipment]. Avtoreferat dissertacii kand. texn. nauk, 2007. 20 p.
6. Kozlov A.B. Povy'shenie e'ffektivnosti processov tekstil'noj texnologii za schet kontrolya parametrov kachestva produkcii na baze optoe'lektronnoj texniki [Improving the efficiency of textile technology processes by controlling the quality parameters of products based on optoelectronic technology]. Avtoreferat dissertacii doc. texn. nauk, 1994. 33 p.
7. Yan Solem. Komp'yuternoe zrenie. Teoriya i algoritmy' [Computer Vision Programming in Python]. DMK-Press: M. 2016, p. 312.
8. Clette R. Komp yuternoe zrenie. Teoriya i algoritmy' [Computer vision. Theory and algorithms]. DMK-Press: M. 2019, p. 506.
9. Senyuxin M.P. Tezisy' dokladov 73-ej vnutrivuzovskoj nauchnoj studencheskoj konferencii «Molody'e ucheny'e - innovacionnomu razvitiyu obshhestva (MIR-2021) ». Chast' 1, 2021. Pp. 135-136.
10.Proxorenok N. A. OpenCV i Java. Obrabotka izobrazhenij i kompyuternoe zrenie. [OpenCV and Java. Image processing and computer vision]. BXV-Peterburg: SPb, 2018. Pp. 320.
11.Chao Li, Jun Li, Yafei Li, Lingmin He, Xiaokang Fu and Jingjing Chen. Security and Communication Networks. Volume 2021, Article ID 9948808, 13 p.
12.Aqsa Rashe, Bushra Zafar, Amina Rasheed, Nouman Ali. Mathematical Problems in Engineering Volume 2020, Article ID 8189403, 24 p.
13.Yundong Li, Cheng Zhang. Automated vision system for fabric defect inspection using Gabor filters and PCNN. Li and Zhang SpringerPlus (2016)5:765 DOI 10.1186/s40064-016-2452-6, 24 pages.
