РАЗРАБОТКА АЛГОРИТМА ДЛЯ ВЫДЕЛЕНИЯ МНИМЫХ ОБЛАСТЕЙ БИНАРНЫХ КАРТ С ПРЕДВАРИТЕЛЬНЫМ УЛУЧШЕНИЕМ ДЕФЕКТОСКОПИЧЕСКОГО ИЗОБРАЖЕНИЯ, ОСНОВАННОГО НА КОМПЛЕКСНОЙ СЕГМЕНТАЦИИ Текст научной статьи по специальности «Компьютерные и информационные науки»

Научная статья Original article УДК 002.304

РАЗРАБОТКА АЛГОРИТМА ДЛЯ ВЫДЕЛЕНИЯ МНИМЫХ ОБЛАСТЕЙ БИНАРНЫХ КАРТ С ПРЕДВАРИТЕЛЬНЫМ УЛУЧШЕНИЕМ ДЕФЕКТОСКОПИЧЕСКОГО ИЗОБРАЖЕНИЯ, ОСНОВАННОГО НА КОМПЛЕКСНОЙ СЕГМЕНТАЦИИ

DEVELOPMENT OF AN ALGORITHM FOR IDENTIFYING

IMAGINARY AREAS OF BINARY MAPS WITH PRELIMINARY

IMPROVEMENT OF THE FLAW DETECTION IMAGE BASED ON

COMPLEX SEGMENTATION

Мортин Константин Владимирович, преподаватель кафедры «Программная инженерия», Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевич Столетовых», Россия, г. Муром

Mortin Konstantin Vladimirovich, Lecturer at the Department of Software Engineering, Murom Institute (branch) FSBEI HPE "Vladimir State University named after Alexander Grigorievich and Nikolai Grigorievich Stoletov", Russia, Murom

Аннотация: В статье рассматриваются дефектоскопические изображения листового металлопроката. Исходное изображение проходит настройку параметров, которые запускают следующую группу алгоритмов обработки:

- адаптивная контрастно-ограниченная эквализация гистограмм;

- детализация темных участков дефектоскопического изображения;

3393

- водораздел без контура с приоритетом цвета самой длинной границе найденных локально расположенных бинарных карт мнимых областей дефекта;

-градиентный детектор отрисовки областей найденного дефекта.

Каждый примененный метод имеет свои параметры настраиваемые под задачу определения контура на полутоновых дефектоскопических изображениях листового металлопроката.

Проблема таких цифровых изображений - зашумленность, неровная контрастность пикселей, и практически одинаковый градиент фона и дефекта на изображении.

Такой подход не только решит данные проблемы, но даст возможность использовать результаты исследования в техническом зрении на производстве по определению дефектов на листовом металлопрокате, а также использовать результат как тестовый набор для обучения глубоких сверточных нейронных сетей.

Annotation: The study examines flaw detection images of sheet metal. The original image is being configured with parameters that launch the following group of processing algorithms:

- adaptive contrast-limited equalization of histograms;

- detailing of the dark areas of the defectoscopic image;

- a watershed without a contour with the color priority of the longest border of the found locally located binary maps of imaginary defect areas;

-gradient detector for drawing areas of the found defect.

Each applied method has its own parameters adjusted for the problem of determining the contour on half-tone flaw detection images of sheet metal.

The problem with such digital images is noise, uneven pixel contrast, and almost the same gradient of the background and defect in the image.

The problem with such digital images is noise, uneven pixel contrast, and almost the same gradient of the background and defect in the image.

3394

Such an approach will not only solve these problems, but will make it possible to use the results of research in technical vision in production to determine defects on sheet metal, and also use the result as a test set for training deep convolutional neural networks.

Ключевые слова: Дефектоскопическое изображение, сегментация краев, мнимые области дефекта, контур дефекта.

Keywords: Defectoscopic image, edge segmentation, imaginary defect areas, defect outline.

1. Введение

Рассмотрим исходное X- множество дефектоскопических изображений, тогда Y — это множество непересекающихся мнимых дефектов листового металлопроката, тогда f-целевая функция, которая будет отображать X на множество Y, f: X ^Y. Значения целевой функции Y известны только на конечном множестве пар прецедентов (Xi, У^)- обучающей выборке.

Запись f(Xk) = Yk будет означать, что на дефектоскопическом изображении Хк присутствует дефект Ffc, как показано на рисунке 1.

Рис.1. - Исходное дефектоскопическое изображение 2 Настройка параметров.

Разработанное программное обеспечение имеет ряд параметров, которые настраиваются в процессе исследования. Каждый параметр имеет ограниченный пространственный диапазон от 0..255 пикселей. Значение параметров для

3395

дефектоскопических изображений листового металлопроката с описанной выше проблематикой, получены многократным экспериментальным путем.

1 параметр - смещение, аналогичное коэффициенту усиления и равное 140;

2 параметр - управляет нелинейностью восстановления цвета и равен 180;

3 параметр - управляет усилением восстановления цвета и равен 304;

4 параметр - последовательное применение Собеля и Гауссиан и равен 130;

5 параметр - обнаружение краев через метод порогового водораздела с использованием Canny без обнаружения контура и равен 142;

6 параметр - определение порогового значения для выходного изображения и равен 253;

7 параметр - выделение мнимых областей бинарных карт порогового значения и равен 232.

3 Реализация алгоритма адаптивной контрастно-ограниченной эквализации гистограммы (CLAHE).

Первоначально дефектоскопическое изображение разбивается на прямоугольные блоки. В каждом блоке вычисляется гистограмма распределения яркости [1-4]. Чтобы избежать перенасыщения монотонных участков изображения, ограничивается наклон функции распределения яркости путем введения ограничения на максимальное значение частоты яркости. Пусть M - число строк в блоке, N - число столбцов в блоке, а - параметр, задающий ограничение. Предельное значение гистограммы вычисляется в соответствии с формулой:

где Ь —максимальное значение яркости дефектоскопического изображения. После ограничения для каждой области формируется своя функция преобразования яркости на основании эквализации гистограммы распределения яркости. Чтобы разрушить блочную структуру полученного изображения, выходное изображение формируется путем билинейной интерполяции по четырем ближайшим функциям преобразования яркости (рисунок 2).

3396

Рис.2. - Результат применения алгоритма адаптивной контрастно-ограниченной эквализации гистограммы 4. Применение алгоритма шиШэсак для детализации темных участков дефектоскопического изображения.

Алгоритм способен обеспечить приемлемый результат между корректировкой освещенности и полученной цветопередачей [5-6]. Результат работы алгоритма определяется, как взвешенная сумма т выравнивание освещенности изображения с разными коэффициентами, которые в сумме всегда должны давать единицу, чтобы сумма всех цветов на изображении не давала серый цвет. В дефектоскопических изображениях, в которых доминирует определенный цвет, multiscale может приводить к 25% серости изображения, уменьшая насыщенность его цвета [4-6]. Чтобы избежать данной проблемы необходимо восстанавливать цвета, путем корректировки освещенности и полученной цветопередачей умножения на функцию восстановления цветности. Первый шаг -вычислить координаты по формуле:

Я(х,у,а) = ^[1(х,у)] - ^[/(х,у)^(х,у,ст)], где G - Гауссиан; а - коэффициента размытия; ® - оператор свертки. После применения данной формулы, большая часть значений полученных пикселей лежит в диапазоне от -1 до 1, поэтому для визуализации изображения, значения необходимо скорректировать по формуле:

I = 255 * 1 + 127,5

3397

Научно-образовательный журнал для студентов и преподавателей №5/2022

/' = (*, у) =

где S- количество цветовых каналов.

Для восстановления цвета используется формула:

С ¿(с,у) = 0 * ^[а * /¿(с,у)], где а — ккоэффициент, контролирующий силу нелинейности; 0 — коэффициент усиления.

Рис.3. - Результат применения алгоритма с детализацией темных участков дефектоскопического изображения

5 Применение водораздела без контура с конвертацией в оттенок серого.

Для этого в операторе Собеля собирается матрица градиентов дефектоскопического изображения.

Ох = (Р7 + 2 Рв + Р9) — (Р1 + 2Р2 + Рз)

ву = (Рз + 2р6 + Р9) — (Р! + 2Р4 + Р7)

г = .Щ+Щ.

Рис.4. - Результат конвертации в оттенок серого дефектоскопического

изображения

3398

Научно-образовательный журнал для студентов и преподавателей «$^№Ъ> №5/2022

После получения матрицы градиентов на полученном дефектоскопическом изображении, применим метод, основанный на выделении краевых точек малочувствительных к шумам и контрастности уже отфильтрованного изображения [7-8]. Алгоритм работает по принципу определения яркости-разрывности. Поиск разрывности осуществляется за счет пространственной фильтрации.

д2/ <1х2

а1=/(х + 1)-/(х)

= /(х + 1) + /(х - 1) - 2/(х)

Рис.5. - Результат избавления от шумов и выделение порогового значения

дефектоскопического изображения Далее применяется алгоритм водораздела, основанный на случайной генерации цветов мнимых областей объекта, и граница каждого найденного объекта раскрашивается цветом этого водораздела [9-10]. Приоритет имеет последняя область, найденная водоразделом на дефекте, как показано на рисунке 6.

Рис.6. - Результат выделения дефекта алгоритмом водораздела без использования контура

3399

Водораздел выделяет много областей, а модифицированный детектор границ Канни, берет за основу самую длинную границу найденных локально расположенных областей дефекта, выделенных сегментацией водораздела.

Таким образом, в экспериментальных исследованиях получим найденный дефект, представленный на рисунке 7.

Рис.7. - Результат выделения контура мнимых областей дефекта с использованием бинарных карт

6 Выделение точек области и построение гистограммы

1 Разделим карту признаков п(1 — 1) слоя на непересекающиеся блоки размером два на два пикселя, просуммируем значение этих пикселей в каждом блоке и получим матрицу 2П-1 = [¿П-1^,])}, элементами которой являются значения сумм.

Формула для вычисления значений элементов матрицы будет иметь следующий вид:

г1п-1 = у^-1(21-1,2]-1) + у^-1

(21 - 12) + У1п-1(21 2) -1)+ у1п-1(212]). Тогда карта признаков п слоя вычисляется как:

уП = /(А 1 * ^¡п,п + ьП).

Таким образом получается, что Н *Ш1 - карты признаков уП слоя I будет

иметь вид:

2

3400

Ш =

, 1-1

Полученный результат представлен на рисунках 8-10.

Рис.8. - Результат аннотирования мнимых областей дефекта

Рис.9. - Полученная гистограмма аннотированных областей дефекта

Рис.10. - Полученная мнимая область дефекта без фона

Последним этапов данного алгоритма, является представление выделенного дефекта в виде 3D-модели, как показано на рисунке 11.

2

3401

Рис.11. - 3D- модель выделенного дефекта

7 Заключение

Разработка алгоритма для выделения мнимых областей бинарных карт с предварительным улучшением дефектоскопического изображения, основанного на совмещении сегментации водоразделом и детектора краев Canny, дает точное построение границы дефекта листового металлопроката для дальнейших исследований в области технического зрения на производстве и применения глубоких нейронных сетей.

Литература

1. Гатилова Ю.С. Специализированная компьютерная система диагностики поверхностных дефектов листового проката//Автоматизация технологических объектов и процессов. Поиск молодых. Сборник научных работ VII Международной научно- технической конференции аспирантов и студентов в г. Донецк 26-28 апреля 2007г. -Донецк, ДонНТУ, 2007.-С.251-253. 3с.

2. Zapata, J. An Adaptive network based fuzzy inference system for classification of welding defects / R. Vilar, R. Ruiz // NDT&E International. - 2010. -№ 43, pp.191-199.

3402

3. Vaithiyanathan, V. Survey on Various Segmentation Techniques used for Weld Defect Detection in Radiography / M.M. Anishin Raj, B. Venkataraman // European

Journal of Scientific Research. - 2011. - Vol.66(3) - pp. 449-455.

4. Thiruganam, M. Automatic Defect Detection and Counting in Radiographic Weldment Images / Dr.S. Margret-Anouncia, S. Kantipudi // International Journal of Computer Applications (0975 - 8887). - 2010. - Volume 10-№.2 - pp. 1-5, 2010.

5. Анализ характера поверхностных дефектов на металлопрокате. I и II-го переделов лаборатории металлографического контроля ЦЛК Донецксталь за 2009 год,2009

6. Potapov A. I., Klopov V. D. An Optical Method for Nondestructive Testing of LightScattering Materials // Russian Journal of Nondestructive Testing. - 2005. -Vol. 41, No. 7. - P. 473-481.

7. Фу, К. Структурные методы в распознавании образов / К. Фу. - М.: Мир, 1977. - 319 c.

8. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р.Вудс. -М.: Техносфера. - 2005. - 1072 с.

9. Кузьмин, М.И. Систематизация методов моделирования изображений для распознавания поверхностных дефектов листового проката // Управление большими системами: материалы X Всероссийской школы-конференции молодых ученых, Уфимский государственный авиационный технический университет. - Уфа: УГАТУ, 2013. - Т. 3. - С. 149-152

10. He K., Gkioxari G., Dollar P., Girshick R. Mask r-cnn. Proceedings of the IEEE international conference on computer vision. 2017: 2961-2969. DOI: 10.1109/ICCV.2017.322

Literature

1. Gatilova Yu.S. Specialized computer system for diagnostics of surface defects of sheet metal//Automation of technological objects and processes. Search for

3403

the young. Collection of scientific papers in the VII International Scientific and Technical Conference of postgraduates and students in Donetsk on April 2628, 2007 -Donetsk, DonNTU, 2007.-pp.251-253. 3c.

2. Zapata, J. Adaptive fuzzy inference system based on a network for

1. the classification of welding defects / R. Vilar, R. Ruiz // NDT&E International. - 2010. -No. 43, pp.191-199.

2. Vaitiyanathan, V. Overview of various segmentation methods used for welding Detection of defects in radiography / M.M. Anishin Raj, B. Venkataraman // European Journal of Scientific Research. - 2011. - Vol.66(3). - pp. 449-455.

3. Tiruganam M. Automatic detection and counting of defects in radiographic

4. Images of welds / Dr. S. Margret-Anunsia, S. Kantipudi // International Journal of Computer Applications (0975-8887). - 2010. - Volume 10-no.2 - p. 1-5, 2010.

5. Analysis of the nature of surface defects on rolled metal. I and II redevelopments of the metallographic control laboratory of Donetskstal for 2009,2009

6. Potapov A. I., Klopov V. D. Optical method of non-destructive testing of light-scattering materials // Russian Journal of non-destructive testing. - 2005. - Vol. 41, No. 7. - pp. 473-481.

7. Fu, K. Structural methods in pattern recognition / K. Fu. - M.: Mir, 1977. - 319 p.

8. Gonzalez, R. Digital image processing / R. Gonzalez, R.Woods. - M.: Technosphere. - 2005. - 1072 p.

9. Kuzmin, M.I. Systematization of image modeling methods for the recognition of surface defects of sheet metal // Management large systems: materials of the x All-Russian school-conference of Young Scientists, Ufa State Aviation Technical University. - Ufa: UGATU, 2013. - Vol. 3. - pp. 149-152

3404

10. He K., Gkioxari G., Dollar P., Girshik R. Mask r-cnn. Proceedings of the IEEE International Conference on Computer Vision. 2017: 2961-2969. DOI: 10.1109/ICCV.2017.322

© Мортин К.В., 2022 Научно-образовательный журнал для студентов и преподавателей «$>Ый^е1» №5/2022.

Для цитирования: Мортин К.В., РАЗРАБОТКА АЛГОРИТМА ДЛЯ ВЫДЕЛЕНИЯ МНИМЫХ ОБЛАСТЕЙ БИНАРНЫХ КАРТ С ПРЕДВАРИТЕЛЬНЫМ УЛУЧШЕНИЕМ ДЕФЕКТОСКОПИЧЕСКОГО ИЗОБРАЖЕНИЯ, ОСНОВАННОГО НА КОМПЛЕКСНОЙ СЕГМЕНТАЦИИ // Научно-образовательный журнал для студентов и преподавателей «8^№Ъ> №5/2022

3405