^ДИАГНОСТИКА И РЕМОНТ
УДК 004.932
РАЗРАБОТКА МЕТОДА ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ ДЛЯ УЛУЧШЕНИЯ КАЧЕСТВА ДЕТЕКТИРОВАНИЯ ПОВЕРХНОСТНЫХ ДЕФЕКТОВ ЛИСТОВОГО ПРОКАТА С ИСПОЛЬЗОВАНИЕМ НЕЙРОСЕТЕВОЙ МОДЕЛИ
О.А. Евстафьев1, С.В. Шаветов2
В статье рассматриваются вопросы детектирования и классификации поверхностных дефектов листового проката с применением методов глубокого обучения и компьютерного зрения. Качественное обнаружение и распознавание дефектов играют ключевую роль в повышении стандартов качества производства и аттестации металлопроката. В работе представлена модель обнаружения, базирующаяся на сверточной нейронной сети Faster R-CNN. Для усиления эффективности данной модели был разработан специализированный алгоритм предобработки изображений. Разработанный алгоритм обеспечивает высокую чувствительность системы видеоинспекции, позволяя детектировать дефекты размером до 0,5 x 0,5 мм, что делает его пригодным для применения в системах реального масштаба времени.
Ключевые слова: Листовой металлопрокат, цифровая обработка изображений, поверхностные дефекты холоднокатанного металлопроката, искусственные нейронные сети, статистические характеристики изображения.
DEVELOPMENT OF A METHOD OF PRE-PROCESSING DIGITAL IMAGES TO IMPROVE THE QUALITY OF DETECTION OF SHEET METAL SURFACE DEFECTS USING A NEURAL
NETWORK MODEL
O.A. Evstafyev, S.V. Shavetov
ITMO University, Russia 197101. St. Petersburg, Kronverksky Ave., 49.
The issues of detection and classification of surface defects of rolled steel sheets using deep learning and computer vision methods are considered in the paper. Qualitative detection and classification of defects play a key role in improving of quality production standards and attestation of rolled metal products. This paper presents a detection model based on the Faster R-CNN convolutional neural network. To enhance the performance of this model, a specialized image preprocessing algorithm has been developed. The developed algorithm provides high sensitivity of the video inspection system, allowing to detect defects up to 0.5 x 0.5 mm in size, which makes it optimal for application in real-time systems.
Keywords: Sheet metal rolling, digital image processing, surface defects of cold-rolled metal rolling, artificial neural networks, statistical characteristics of the image.
Введение
В современном мире контроль качества на производстве становится все более важной задачей для обеспечения надежности и безопасности выпускаемой продукции. Одним из ключевых аспектов контроля качества является детектирование поверхностных дефектов в материалах, таких как, например, листовой прокат. Необходимость
обнаруживать дефекты в реальном масштабе времени имеет ключевое значение для оперативной аттестации металлопроката на производственных линиях [1]. В связи с этим, нарастает актуальность задачи разработки автоматизированных систем контроля и диагностирования листового металлопроката. Для увеличения эффективности таких систем используются методы компьютерного зрения и машинного обучения [2].
1Олег Александрович Евстафьев - преподаватель факультета систем управления и робототехники, тел: +7 (952) 380-88-63 e-mail: oaevstafev@jtmo.ru;
2Сергей Васильевич Шаветов - кандидат технических наук, доцент . факультет систем управления и робототехники, тел:+7 (960) 249-16-66 e-mail: s.shavetov@itmo.ru
Существующие системы для распознавания и классификации дефектов на поверхности металлопроката обычно основаны на методах, которые требуют наличие соответствующей базы данных, постоянно обновляемой новыми дефектами для более точной классификации [3].
Анализ существующих решений показал, что системы видеоинспекции поверхности металлопроката, как правило, состоят из групп высокоскоростных матричных камер и осветителей, которые обеспечивают равномерную подсветку полосы металлопроката в зонах их фотофиксации [4]. При этом известно, что часть дефектов, выявляются с использованием рассеянного освещения, тогда как другая часть дефектов - с использованием бокового освещения [5]. Анализ полученных изображений показал, что для гарантированного выявления дефектов, имеющих градиентную структуру, например дефекты типа «излом», «прогоревшая эмульсия», «окалина» и др. необходимо использовать цветные высокоскоростные камеры с высокими техническими характеристиками. Существующие системы видеоинспекции, работающие с применением алгоритмов прикладного искусственного интеллекта, позволяют обнаружить порядка 75% дефектов на полосе металлопроката и классифицировать из них порядка 50% [6, 7].
Для улучшения точности и эффективности этого процесса, в данной работе представлен метод предварительной обработки цифровых изображений для последующего детектирования и классификации поверхностных дефектов листового проката с использованием нейросетевой модели.
Подготовка данных
При разработке детектора дефектов металлопроката рассматривались 37 классов поверхностных дефектов по образцам, предоставленных ПАО «Северсталь», для проведения экспериментальных работ в лабораторных условиях, где было получено 12817 изображений с дефектами. Из-за недостатка экземпляров и сильной несбалансированности классов в работе рассматривалось лишь пять классов, содержащих не менее 900 экземпляров наиболее типичных дефектов при производстве металлопроката (в соответствие с ГОСТ 21014-2022 [8]): эмульсия, точечная коррозия, грязь, задир, отпечаток, а остальные возможные классы дефектов объединены в один большой класс «прочий дефект». Большинство изображений могут содержать дефекты как из одного, так и из нескольких классов.
Для обучения алгоритма были использованы изображения, полученные с ленты металлопроката при различных условиях освещения. Для
этого применялась осветительная система, включающая в себя два модуля подсветки. Решение использовать два модуля обосновано потребностью применять рассеянное и боковое освещение одновременно [5].
Количество дефектов для изображений, полученных при разном типе освещения, может не совпадать, так как распознавание дефектов зависит от типа используемого освещения. Из-за этого необходимо обучать и использовать классификатор с комбинированием изображений этих дефектов.
В результате проведенных исследований в качестве устройства для экспериментальной отработки была выбрана высокоскоростная матричная камера Lutid Triton TRI 028S-CC. В ходе экспериментов были подобраны и протестированы параметры фотофиксации и освещения, обеспечивающие чувствительность системы по выявлению поверхностных дефектов шириной от 0,5 мм и длиной от 0,5 мм с оптическим контрастом (контраст Вебера) не менее 0,25 для каждого из образцов в динамическом режиме при значениях линейной скорости перемещения полосы в диапазоне от 2 м/с до 6 м/с. Результаты для основных классов дефектов представлены в таблице 1.
Таблица 1 - Чувствительность системы по выявлению поверхностных дефектов
Наименование группы дефектов Контраст Вебера
ui = 2 м/с U2 = 6 м/с
Точечная коррозия 1,02 0,98
Грязь 1,22 1,16
Задир 0,83 0,74
Эмульсия 0,26 0,25
Отпечаток 0,82 0,76
Оптический контраст (контраст Вебера) рассчитывался по формуле:
С = (1-1Ь)ЦЬ, (1)
где I - средняя яркость отдельного элемента изображения, оптический контраст которого оценивается (яркость дефекта);
- средняя яркость фона (находится путем усреднения любым способом яркостей соседних пикселей).
Нейронная сеть
В работах [9] и [10] было проведено сравнение различных архитектур сверточных нейронных сетей с целью выявления их преимуществ и недостатков в контексте задачи обнаружения и классификации поверхностных дефектов на ли-
стовом металлопрокате. Эти исследования подтвердили, что использование методов предварительной обработки изображений [11] оказывает положительное воздействие на извлечение признаков для сверточных нейронных сетей.
Для успешного решения задачи обнаружения и классификации поверхностных дефектов в процессе производства металлопроката была выбрана передовая архитектура сверточной нейронной сети - Faster R-CNN [12]. Faster R-CNN — это высокоэффективный алгоритм, который зарекомендовал себя как один из наиболее эффективных инструментов в области обнаружения и классификации объектов в компьютерном зрении.
Архитектура Faster R-CNN представляет собой удачное сочетание двух ключевых компонентов: Сети предложения регионов (Region Proposal Networks, RPN) и сети Fast R-CNN. RPN является механизмом, способным генерировать предложения регионов (областей), что, в свою очередь, позволяет выделить области изображения, которые могут содержать объекты интереса. Эти предложения регионов затем поступают на вход нейронной сети Fast R-CNN, которая выполняет классификацию и регрессию границ объектов.
Причем, стоит отметить, что архитектура Faster R-CNN продемонстрировала впечатляющую производительность и точность на разнообразных наборах данных. Это позволяет говорить о том, что данное решение является мощным инструментом для обнаружения и классификации поверхностных дефектов на изображениях металлопроката. Эта архитектура позволяет не только быстро, но и надежно выявлять дефекты, а также точно классифицировать их, что является важным шагом в повышении качества контроля на производстве.
Для обучения и последующей оценки качества работы модели данные из каждого класса были разделены на тренировочные (80%) и тестовые (20%) наборы. После этого, для достижения более полного и объективного обучения, эти наборы были снова объединены в смешанные выборки.
Для решения проблемы неравномерности распределения классов в данных была применена функция потерь с весами, учитывающими неравную долю «штрафования» для различных классов дефектов. Это позволило модели уделять больше внимания классам, которые имели меньшее представительство в обучающем наборе данных, тем самым улучшая баланс и обобщающую способность модели.
Дополнительно отметим, что для эффективного обучения и повышения устойчивости модели были использованы алгоритмы аугментации
данных. Эти алгоритмы включали в себя поворот изображений, случайное изменение яркости и контрастности, варьирование параметра гамма при гамма-коррекции изображений, а также случайное изменение тоновых кривых. Эти методы аугментации способствовали разнообразию обучающих данных и улучшили способность модели к выявлению и классификации поверхностных дефектов, делая ее более устойчивой к различным условиям съемки и вариациям в данных.
Текстурный анализ
Для реализации исследования на основе классического текстурного анализа были выбраны следующие характеристики: дисперсия, среднеквадратичное отклонение, среднее значение, энтропия, мера относительной гладкости. В качестве случайной величины рассматривается интенсивность изображения относительно канала интенсивности L цветовой модели Lab [13] Центральный момент порядка п случайной величины z может быть рассчитан по формуле (2).
Mn(^) = IÍ-o1(z¿-m)wp(z¿), (2)
где /¿n(zi) - центральный момент порядка п случайной величины Zi;
z - случайная величина (интенсивность);
L - число уровней интенсивности изображения;
т - среднее значение случайной величины ;
p(zi) - вероятность распределения í-ой случайной величины Zi, вычисляемая из гистограммы изображения.
Очевидно, что центральный момент ^ = 1 и = 0, поэтому для оценки характеристики текстуры использовался второй момент случайной величины, который является дисперсией:
V2(z) = a2(z). (3)
Используя дисперию, можно вычислить меру гладкости текстуры, которая очень мала у фона и имеет определённый уровень у дефекта с соответствующей дисперсией. Формула для вычисления меры гладкости R представлена в формуле (4):
1
(4)
R = 1
1 + a2(z)'
Для оценки текстурных особенностей обычно используется функция энтропии , определяющая разброс по интенсивности у соседних пикселей:
е = - рф 1од2Р(г{). (5) Наравне с дисперсией можно использовать среднее значение т:
т = (6)
Также использовалось стандартное отклонение:
з = а(2). (7)
В ходе экспериментов, проведенных с использованием библиотек ОрепСУ, №шЬа и СуЬоп, было установлено, что вычет средней величины интенсивности из всего изображения показывает наилучший результат. При применении такого метода предварительной обработки все типы дефектов классифицируются наиболее
точно. Для повышения качества работы алгоритма и увеличения чувствительности была использована реализация со скользящим окном с различными размерами ядра фильтра. Для повышения скорости работы алгоритма также были проведены эксперименты с использованием регулярной сетки. Пример визуализации данных, полученных при экспериментальных исследованиях с использованием скользящего окна для дефекта «Грязь», представлен на рисунке 1.
Рисунок 1 - Дефект «Грязь». Слева направо: дисперсия, среднеквадратичное отклонение, среднее, энтропия, гладкость. Сверху вниз: размер скользящего окна 4 х 4, 8 х 8, 16 х 16.
Для всех рассмотренных типов дефектов значения, полученные путем вычета среднего для фона и дефектов, отчетливо различаются, что подтверждает их эффективность в выделении дефектов относительно фона. Помимо этого, вычет среднего демонстрирует оптимальное сочетание быстродействия и качества детекции, сравнимое с другими рассмотренными характеристиками. Время обработки составило 0,06 секунды на CPU и 0,71 секунды на GPU. На основании проведенных экспериментов было решено выполнять предварительную обработку на CPU, а прогнозирование и выполнение алгоритма параллельно на GPU. Таким образом, вычет среднего является предпочтительным выбором для задач быстрой и точной обработки изображений.
Оценка
Достоверность контроля (ДК) представляет собой показатель, который учитывает разницу в ошибках первого и второго рода, оценивая
общую точность работы системы контроля дефектов. Чем выше значение ДК, тем более надежно и точно система контроля дефектов выполняет свою задачу, минимизируя как ложные срабатывания, так и пропущенные дефекты. Этот показатель рассчитывается по формуле:
ДК= 1-(Н + П), (8)
где Н - показатель недобраковки (ошибка первого рода);
П - показатель перебраковки (ошибка второго рода).
Недобраковка - измеряет долю дефектов, которые система не обнаружила среди всех фактических дефектов. Этот показатель представляет собой количество пропущенных дефектов, то есть ложноотрицательных результатов. Рассчитывается по следующей формуле:
Н = —-—-100%, (9)
ТР + РЫ у '
где FN представляет суммарное количество пропущенных дефектов (ложноотрицательных результатов), а TP - суммарное количество верно обнаруженных дефектов (верноположительных результатов).
Перебраковка - определяет долю ложных срабатываний системы, то есть количество ложных дефектов, которые система обнаружила среди всех дефектов. Рассчитывается по следующей формуле:
FP
П = —-—-100%, (10)
TP+ FP у J
где FP представляет суммарное количество ложных срабатываний (ложноположительных результатов), а TP - суммарное количество верно обнаруженных дефектов (верноположительных результатов).
Для оценки корректности обнаружения объектов истинных и ложных, используется метод пересечения по объединению (англ. Intersection over Union, IoU) [14]. Этот метод определяется следующим выражением:
Io U(X,Y) = IX HYI/IXUYI, (11) где X - прогнозируемый набор пикселей, а Y -фактический набор пикселей.
IoU применяется для измерения степени пересечения между прогнозируемым и истинным положением поверхностных дефектов, учитывая пороговое значение IoU: TP - правильное обнаружение, если IoU> порога; FP - неправильное обнаружение, если IoU < порога; FN - объект не обнаружен. Показатель достоверности контроля (ДК) может быть рассчитан с использованием IoU в задачах обнаружения объектов. В этом случае результаты сравниваются с истинными границами объектов, используя значение IoU. Образец считается положительным, только если значение IoU между спрогнозированной и истинной границей объекта превышает установленный порог.
Результаты
В ходе работы было проведено несколько экспериментов, в том числе с использованием только одного типа освещения (бокового или рассеянного), комбинированного освещения, различных методов предварительной обработки, изменения количества обнаруживаемых классов, изменения обучающих гиперпараметров.
Использовались для обучения и работы системы видеоинспекции изображения с двумя вариантами освещенности - рассеянным и боковым. Это позволило увеличить возможности оптического метода по оценке количества, размеров и типов дефектов с помощью видеокамеры в режиме реального масштаба времени.
Качество распознавания анализировалось с помощью показателя ДК, рассчитанного с учетом разных отсечек IoU. Результаты оценки качества распознавания для одного класса дефектов, который представляет все возможные типы дефектов изображения, показаны на рисунке 2. В качестве предварительной обработки используется вычитание среднего значения, показавшей лучший результат по производительности и чувствительности системы. Эффективность данного метода была проанализирована путем сравнения результатов с предобработкой и без нее.
-Ф- Без предобработки (боковое) Без предобработки (рассеянное) С предобработкой (боковое) -*- С предобработкой (рассеянное)
-Ч \ \
X ■X
X
X
Рисунок 2 - Результат сравнения по обнаружению
Результаты сравнения и оценки качества распознавания для модели с использованием рассеянного типа освещения для шести классов дефектов (обнаружение и классификация) с предобработкой и без представлены на рисунке 3.
Аналогично проведено сравнение для шести классов дефектов с использованием бокового освещения, результаты сравнения приведены на рисунке 4.
Дефекты второго, четвертого и шестого классов лучше распознаются при использовании бокового освещения, а дефекты первого, третьего и пятого классов - при использовании рассеянного. В связи с этим, после обучения классификатора необходимо объединить выходные данные для двух типов освещения. Для этого были разработаны две модели классификаторов на основе сверточной нейронной сети, обучены и объединены в один результирующий классификатор. Использование специальной аннотации и обращение к двум альтернативно обученным моделям нейросетевых классификаторов позволило создать и объединить две модели. При этом при включении соответствующего типа освещения вызывалась соответствующая модель, которая затем осуществляла поиск определенных классов дефектов.
На рисунке 5 представлены результаты оценки качества распознавания шести классов дефектов для комбинированной модели освещения с предобработкой и без нее
Рисунок 3 - Результаты для рассеянного освещения
Рисунок 4 - Результаты для бокового освещения
Рисунок 5 - Результаты для комбинированного освещения
На основе анализа проведенных экспериментов можно сделать вывод о значимости этапа предобработки изображений при распознавании дефектов различных классов. В целом, качество распознавания заметно улучшилось благодаря предобработке изображений. Некоторые классы демонстрируют особенно выраженный прирост эффективности, подтверждая важность данного этапа. Низкое качество при высоком пороге 1ои
обусловлено множеством микроскопических дефектов площадью около четырех пикселей. Даже небольшие ошибки в разметке серьезно влияют на показатель пересечения областей при таких размерах дефектов.
Эксперименты подтвердили, что предварительная обработка изображений значительно улучшает точность распознавания. К тому же применение метода вычитания среднего значения не снижает производительности алгоритма, делая
его пригодным к использованию в системах реального масштаба времени.
Заключение
В результате был разработан алгоритм для обнаружения и классификации поверхностных дефектов холоднокатанного металлопроката на основе сверточной нейронной сети Faster R-CNN. Ключевой особенностью стал алгоритм предварительной обработки изображений. Он базируется на расчете статистических характеристик изображения, что гарантирует высокую детализацию дефекта с оптическим контрастом (контраст Ве-бера) не менее 0,25, а также обеспечивает чувствительность системы видеоинспекции, равной четырем пикселям на один мм, что позволяет выявлять даже минимальные дефекты размера 0,5 x 0,5 мм.
Эксперименты подтвердили, что выбор освещения существенно влияет на качество распознавания. Так, рассеянное освещение идеально подходит для дефектов первого, второго и пятого классов, в то время как боковое освещение оптимально для дефектов третьего, четвертого и шестого классов. Использование комплексирован-ной модели сверточной нейронной сети с комбинированным освещением позволяет достичь высоких показателей контроля для всех типов дефектов в одной модели с достоверностью контроля 92% для обнаружения и не менее 74% для классификации по каждому классу дефектов.
Литература
1. Kostenetskiy, P. et al. Real-time system for automatic cold strip surface defect detection // FME Transactions. 2019. Vol. 47(4). P. 765-774.
2. Li, H., Gao, Y., & Liu, J. (2018). A defect detection method for steel plates based on deep learning. Applied Sciences, 8(6), 983.
3. BLiu, H., Hu, Q., & Zhou, W. (2020). A review of surface defect detection methods for steel plates. Journal of Materials Research and Technology, 9(2), 3081-3095.
4. D. Huang, G. Zhang, X. Zhang, and Y. Lu," Surface defect detection of hot rolled steel strip based on deep learning and illumination normalization," Journal of Materials Processing Technology, vol. 273, p. 116330, 2019.
5. Y. Li, L. Zhu, M. Zhang, Y. Ren, and Y. Cui," Steel surface defect detection under different illumination conditions," in 2018 3rd International Conference on Mechanical, Control and Computer Engineering (ICMCCE), 2018, pp. 840-844.
6. Q. Luo, X. Fang, L. Liu, C. Yang, and Y. Sun, "Automated Visual Defect Detection for Flat Steel Surface: A Survey," IEEE Trans. Instrum. Meas., vol. 69, no. 3, 2020, doi: 10.1109/TIM.2019.2963555.
7. X. Lv, F. Duan, and J. Jiang, "Deep metallic surface defect detection: the new benchmark and detection network," Sensors (Basel, Switzerland), vol. 20, no. 6, 2020.
8. ГОСТ 21014-2022. Металлопродукция из стали и сплавов. Дефекты поверхности. Термины и определения: утвержден и введен в действие приказом Федерального агентства по техническому регулированию и метрологии от 31 марта 2022 г. № 182-ст межгосударственный стандарт введен в действие в качестве национального стандарта РФ с 1 сентября 2022 г., введен взамен ГОСТ 21014-88. Дата издания: 14.04.2022. М.: Издательство стандартов, 2022. - 98 с.
9. Litvintseva A., Evstafev O., Shavetov S.V. Real-time Steel Surface Defect Recognition Based on CNN//IEEE International Conference on Automation Science and Engineering, 2021, pp. 1118-1123
10. Evstafev O., Shavetov S. Surface Defect Detection and Recognition Based on CNN//8th International Conference on Control, Decision and Information Technologies, CoDIT 2022, 2022, pp.1518-1523
11. Mohan, A.; Poobal, S. Crack detection using image processing: A critical review and analysis // Alex. Eng. J. 2018, Vol. 57. P. 787-798
12. Ren, Shaoqing & He, Kaiming & Girshick, Ross & Sun, Jian. (2015). Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence. 39. 10.1109/TPAMI.2016.2577031.
13. Ly, Bao & Dyer, Ethan & Feig, Jessica & Chien, Anna & Bino, Sandra. (2020). Research Techniques Made Simple: Cutaneous Colorimetry: A Reliable Technique for Objective Skin Color Measurement. The Journal of investigative dermatology. 140. 3-12.e1. 10.1016/j.jid.2019.11.003.
14. M. A. Rahman and Y. Wang, "Optimizing intersection-over-union in deep neural networks for image segmentation," in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2016, vol. 10072 LNCS, pp. 234-244.