CC BY
68
Обнаружение поверхностных дефектов сварных соединений при визуальном контроле методами машинного зрения
М.Г. Емельянова1, С. С. Смаилова1, О.Е. Бакланова1 1 Восточно-Казахстанский технический университет им. Д. Серикбаева, 070004, Казахстан, г. Усть-Каменогорск, ул. Серикбаева, д. 19
Аннотация
В статье рассматривается задача автоматического обнаружения поверхностных дефектов сварных соединений труб из нержавеющей стали в процессе производства. Показаны возможные дефекты, возникающие при дуговой сварке металла неплавящимся электродом в среде инертного газа. Приведено обоснование выбора метода решения задачи на основе моделирования и вычитания фона. Предлагается алгоритм обнаружения поверхностных дефектов сварных соединений на кадрах видеопоследовательностей, учитывающий специфику конкретной области. Модели фона строились методами усреднения кадров и Гауссовой смеси. Проведены экспериментальные исследования работы алгоритма на примерах обработки кадров видеопоследовательностей, полученных со статичной камеры. Полученные результаты подтверждают, что для автоматического обнаружения дефектов сварки подходящим является метод построения модели фона, основанный на усреднении кадров, поскольку дефекты различны и имеют характерные особенности. Предлагаемый алгоритм позволяет обнаруживать и выделять дефектную область в сварном соединении на кадрах видеопоследовательностей. Результаты экспериментов показывают, что алгоритм удовлетворяет требованиям непрерывного оперативного обнаружения поверхностных дефектов.
Ключевые слова: визуальный контроль, сварные соединения, дефект, машинное зрение, вычитание фона.
Цитирование: Емельянова, М.Г. Обнаружение поверхностных дефектов сварных соединений при визуальном контроле методами машинного зрения / М.Г. Емельянова, С.С. Смаилова, О.Е. Бакланова // Компьютерная оптика. - 2023. - Т. 47, № 1. - С. 112-117. - DOI: 10.18287/2412-6179-CO-1137.
Citation: Yemelyanova MG, Smailova SS, Baklanova OE. Detection of surface defects in welded joints during visual inspections using machine vision methods. Computer Optics 2023; 47(1): 112-117. DOI: 10.18287/2412-6179-CO-1137.
Введение
Проверка качества сварных соединений - обязательный этап любых сварочных работ, в том числе и при производстве сварных труб. В первую очередь осуществляется визуальный контроль сварных соединений в соответствии с международным стандартом ISO 17637:2016 [1] (ГОСТ Р ИСО 17637-2014 [2]), заключающийся в осмотре поверхности изделия невооружённым глазом. Внешнему осмотру подлежат все сварные соединения независимо от проводимых в дальнейшем испытаний на герметичность. Визуальный контроль позволяет выявить поверхностные дефекты. Основой для классификации и описания дефектов сварки является международный стандарт ISO 6520-1:2007 [3] (ГОСТ Р ИСО 6520-1-2012 [4]).
Гофрированные трубы из нержавеющей стали производятся на автоматизированной производственной линии. Для соединения кромок металла используется автоматическая дуговая сварка вольфрамовым электродом в инертном газе TIG (сокращение от «Tungsten Inert Gas»). Сразу после сваривания металла оператором постоянно ведётся визуальный контроль, в случае появления дефекта оперативно устра-
няются причины его возникновения. Различные дефекты ТЮ-сварки могут возникать из-за несоответствия чистоты инертного газа, недостатка или избытка газа, несоответствия качества стали, резких скачков напряжения и т.д.
Результаты визуального контроля являются субъективными, не исключены ошибки, поэтому целесообразно автоматизировать процесс визуального контроля сварных соединений для повышения его достоверности [5 - 7].
Современные технические средства позволяют автоматизировать визуальный контроль сварных соединений посредством обработки методами машинного зрения цифровых изображений, получаемых с камеры [5 - 8].
Радиографический контроль является распространённым методом контроля качества сварных соединений, поэтому исследуются методы и алгоритмы обнаружения и распознавания наружных и внутренних дефектов сварных соединений толстостенных металлических изделий по радиографическим изображениям [9 - 12], в том числе в реальном времени [13]. Но рентгеновская дефектоскопия не подходит для непрерывного контроля сварки тонкостенных труб из не-
ржавеющей стали (толщина стенки трубы - около 0,3 мм), потому что сварные соединения достаточно тонкие и дефекты видны на поверхности.
Предлагаемые исследователями методы [5 - 13] могут стать основой для автоматизации визуального контроля сварных соединений, но с учётом особенностей и требований конкретной области.
Целью статьи является разработка и реализация алгоритма для решения задачи автоматического обнаружения поверхностных дефектов сварных соединений труб из нержавеющей стали в процессе производства. Необходимо на кадрах видеопоследовательностей, получаемых со статичной камеры, отличать дефект от нормального сварного соединения методами машинного зрения, то есть непрерывно решать задачу бинарной классификации.
На рис. 1а, б приведён пример нескольких изображений сварных соединений без дефекта, на рис. 2а - в представлены такие дефекты, как несплавление и окисление металла. Нормальное сварное соединение допускает волнообразное колебание ширины (рис. 1б), небольшое изменение яркости. При несплавлении металла на поверхности видно отсутствие соединения между кромками (рис. 2а). Окисление поверхности металла может быть как незначительным (рис. 2б), так и сильным с появлением цветов побежалости (рис. 2в).
Рис. 1. Изображения нормальных сварных соединений
Рис. 2. Изображения сварных соединений с дефектами: несплавление металла (а); незначительно окисленная поверхность (б); сильно окисленная поверхность (в)
В первом параграфе статьи описаны методы решения поставленной задачи. Во втором параграфе приводится алгоритм обнаружения и локализации дефектов сварных соединений, его описание. Результаты экспериментальных исследований работы алгоритма представлены в третьем параграфе. В заключении сделаны выводы.
1. Методы решения задачи
Каждый получаемый из видеопоследовательности кадр проходит предварительную обработку:
преобразуется в полутоновое изображение, выделяется информативная область ROI (сокращение от «Range Of Interest»).
После предварительной обработки для отделения возможного дефекта от области, не содержащей дефект, используется сегментация.
В исследованиях, описанных в [7, 9], для отделения дефектов сварных соединений на изображении используются методы пороговой обработки, метод водоразделов, методы обнаружения контуров, морфологическая обработка, методы вычитания фона и др. Авторы [5] для сегментации дефектов сварных соединений предлагают метод бинаризации по порогу. Но при выборе пороговых методов сегментации возникает проблема нахождения оптимального порога яркости.
Для сегментации дефектов сварных соединений на изображениях, получаемых с камеры в реальном времени, в работе [6] рассматривается возможность использования методов обнаружения движущихся объектов в видеопотоке или обнаружения переднего плана (foreground detection). Это методы межкадровой разности (frame difference), оптического потока (optical flow), вычитания фона (background subtraction). Такие методы позволяют обнаружить изменения в последовательностях изображений.
Метод межкадровой разности получает контур движущегося объекта путём вычисления разницы в яркости пикселей между двумя последовательными кадрами. Метод прост в реализации, нетребователен к вычислительным ресурсам, но чувствителен к изменениям освещённости, шумам и не может выделить все характерные пиксели движущегося объекта.
Методы определения оптического потока не требуют знаний о фоне для извлечения движущегося объекта, но очень чувствительны к шумам и требуют сложных вычислений. Следовательно, не подходят для обработки изображений в реальном времени [6].
Широко используются методы моделирования и вычитания фона, позволяющие учитывать различные требования [14 - 19]. В основу такого подхода положено попиксельное сравнение текущего кадра видеопоследовательности с фоновой моделью. Разностное изображение Dt (x, y) получается следующим образом:
D,(x,y) = \lt(x,y) -B(x,y)|, t = 1Ñ (1)
где индекс t - номер кадра в видеопоследовательности, содержащей N кадров; It (x, y) - текущий кадр; B (x, y) - модель фона.
Интенсивность пикселей разности текущего кадра и модели фона фильтруется на основе порогового значения. В процессе обработки видеопоследовательности формируется набор бинарных изображений (масок), в которых белые пиксели (интенсивность 255) соответствуют пикселям, принадлежащим переднему плану, а черные (интенсивность 0) - пикселям фона. МаскаMt (x, y) вычисляется:
1255, Dt(x, y) > T -
M, (x, y) = \ 0 d(' " < t , t = 1, N, (2)
[ 0, Dt (x, y) < T
где T - пороговое значение.
Применительно к задаче обнаружения дефектов сварных соединений фон (задний план) представляет собой металл трубы и сварное соединение без дефектов, а передний план - возможный дефект. Для использования такого подхода должны выполняться несколько условий [6]. Во-первых, разница между изображениями, рассматриваемыми как фон, должна быть как можно меньше. Было исследовано множество кадров сварных соединений без дефектов в непрерывном временном интервале. Наблюдались в основном стабильные изображения с периодическими незначительными колебаниями ширины, яркости. Только в случае остановки производственной линии, при замене сырья возможны значительные изменения характеристик сварного соединения. Во-вторых, должна быть значительная разница между фоном и передним планом. В случае появления дефекта наблюдаются: изменение ширины, текстуры, постепенное или резкое затемнение (изменение яркости). Следовательно, механизм моделирования и вычитания фона может быть применён для сегментации дефектов сварных соединений на кадрах видеопоследовательностей.
Качество поиска дефектов сварных соединений на изображении во многом зависит от качества построения модели фона. Важным является исследование и выбор методов построения модели фона для решения задачи сегментации. В работе [6] для обнаружения дефектов сварных соединений в реальном времени применяется модифицированный метод вычитания фона, основанный на моделях Гауссовой смеси (Modified Background Subtraction, MBS). В [14 - 18] исследуются методы моделирования фона: базовые методы, основанные на среднем (average), медиане (median); Гауссова модель (Single Gaussian, SG); модель Гауссовой смеси (Mixture of Gaussians, MOG); ядерная оценка плотности (Kernel Density Estimation, KDE); метод главных компонент (Principal Component Analysis, PCA); метод «шифровальной» книги (CodeBook) и др., анализируются их преимущества и недостатки. При выборе эффективного метода необходимо учитывать вычислительные затраты, а также требования к памяти.
В данной статье представлены исследования двух методов построения модели фона, которые могут использоваться для непрерывной обработки видеопоследовательности: базовый нерекурсивный метод усреднения кадров [14, 17] и рекурсивный метод MOG [18, 19]. Модель фона на основе усреднения s-кадров определяется следующим образом:
1
B( x, y ) = - X h ( x, y ),
(3)
где 5 - количество кадров, по которым выполняется построение модели фона; I, (х, у) - некоторый кадр видеопоследовательности.
Преимущество нерекурсивных методов - низкие вычислительные затраты. К недостаткам можно отнести чувствительность к изменению освещения и к скорости движения. Модель фона, построенную на основе нерекурсивных методов, необходимо обновлять из-за возникающих изменений, например, условий освещения, изменений размеров и др.
Нерекурсивный метод усреднения кадров можно применить для решения рассматриваемой проблемы, так как в закрытом производственном цехе имеется постоянное освещение и дополнительная подсветка объекта контроля, кроме этого, скорость производственной линии по изготовлению сварных труб не изменяется и составляет около 1 метра в минуту.
Для того чтобы модель фона учитывала несколько составляющих фона, используется смесь нормальных распределений или MOG [6, 14, 18, 19]. В этом методе значения интенсивности каждого пикселя моделируется смесью К нормальных распределений. Пиксель кадра будет отнесён к фону, если его значение с достаточно большой вероятностью принадлежит хотя бы одному из распределений с весом больше порогового значения.
Моделирование фона смесью нормальных распределений:
K 1
B(x, y) = X Wi ■ ,— exp i=1 -\/2лст;
( I ( x, y) )2 2ct2
(4)
где К - число нормальных распределений в смеси; — -вес 1-го нормального распределения; I (х, у) - текущее значение пикселя с координатами х, у; с1 - среднеквад-ратическое отклонение /-го нормального распределения; с,2 - дисперсия; ц,- - математическое ожидание.
Задача построения модели фона сводится к поиску характеристик -м, ц, с для каждого распределения, входящего в модель.
На изображениях может возникать шум, незначительно меняться положение области сварного соединения из-за вибрации производственной линии, текстура исследуемой области. Дополнительно для повышения качества сегментации могут применяться фильтры, оптимальное пороговое значение, математическая морфология. В исследованиях, приведённых в [5, 7, 9], для обработки изображений используется медианный фильтр, фильтр Гаусса, фильтр Винера и другие методы.
На основе метода моделирования и вычитания фона предлагается алгоритм обнаружения и локализации дефектов сварных соединений на кадрах видеопоследовательностей.
2. Описание алгоритма Предлагаемый алгоритм представлен на рис. 3.
i=1
Рис. 3. Предлагаемый алгоритм обнаружения и локализации дефектов сварных соединений на кадрах видеопоследовательностей
На вход алгоритма поступают N кадров видеопоследовательности, строится модель фона В (х,у). Модель фона представляет собой усреднение кадров, не содержащих каких-либо дефектов. После предварительной обработки поступающего кадра I (х, у) под номером t происходит вычитание модели фона из кадра. При появлении дефекта разница будет значительной. Далее в результате сравнения Dt (х, у) с пороговым значением Т строится бинарная маска Ы1 (х, у). Белый цвет пикселя в бинарной маске характеризует возможную дефектную область. В случае колебания ширины нормального сварного соединения возможно наличие небольшого количества белых пикселей в бинарной маске, показывающее разницу с моделью
фона. Для исключения ложного обнаружения дефекта количество белых пикселей C сравнивается со значением P, полученным экспериментальным путём. Выполнение условия C > P указывает на наличие дефекта в обрабатываемом изображении сварного соединения. Для объединения сегментов на полученном бинарном изображении используется морфологическая операция закрытия, а для удаления шумов - фильтрация областей пикселей по площади. Дефектная область выделяется прямоугольной рамкой на кадрах видеопоследовательности. Модель фона необходимо обновлять для соответствия возникающим изменениям. Обновление осуществляется в том случае, если за определённый промежуток времени не были обнаружены дефекты.
Работоспособность алгоритма подтверждена экспериментальным путём.
3. Экспериментальные исследования работы алгоритма
Алгоритм реализован в среде разработки Visual Studio 2019 на языке программирования C#.
Исследование предложенного алгоритма было выполнено на примере обработки кадров видеопоследовательностей, полученных с камеры. Общее количество исследуемых кадров, содержащих сварные соединения, составило более 40000. На 363 кадрах видеопоследовательностей были визуально зафиксированы дефекты в виде несплавления металла, на 453 кадрах - в виде окисления металла. Кроме этого, выявлено 67 размытых кадров видеопоследовательностей, не содержащих дефекты.
В ходе исследований строились модели фона на основе метода усреднения кадров и MOG.
Пороговое значение для получения бинарного изображения было определено экспериментальным путём и принято T = 50. На основании обработки нескольких тысяч кадров (область 1010*135) с нормальным сварным соединением значение P определено как 7-103.
Сегменты в бинарном изображении объединяются с помощью морфологической операции закрытия с размером ядра 9*9. Фильтруются шумовые области размером менее 500 пикселей.
На рис. 4а- д представлены некоторые промежуточные результаты работы алгоритма на основе модели усреднения кадров.
На рис. 5а - в представлены некоторые результаты обнаружения и выделения различных дефектных областей сварного соединения с несплавлением металла на кадрах исследуемых видеопоследовательностей с использованием модели усреднения кадров.
В ходе экспериментов были автоматически обнаружены области дефектов сварных соединений на 759 кадрах исследуемых видеопоследовательностей. При обработке размытых кадров происходило ложнопо-ложительное срабатывание.
Рис. 4. Промежуточные результаты работы алгоритма: модель фона (а); полутоновое изображение сварного соединения без дефектов (б); результат сравнения изображения (б) с моделью фона в инвертированном виде (в); полутоновое изображение с несплавлением металла (г); результат сравнения изображения (г) с моделью фона в инвертированном виде (д)
Рис. 5. Результаты автоматического обнаружения и выделения дефектов сварки на кадрах исследуемых видеопоследовательностей
Для оценки качества классификации используются такие метрики, как точность (precision) и полнота (recall) [15, 17]. Эти метрики применяются, если есть асимметрия классов при бинарной классификации. Положительный класс - дефект сварного соединения, возникающий достаточно редко.
Точность показывает, сколько процентов из обнаруженных на кадрах видеопоследовательностей дефектных областей действительно являются дефектными:
TP
precision =--100%, (5)
TP + FP
где TP - верно обнаруженные области дефектов; FP -ложное обнаружение дефектов.
Полнота показывает, какой процент дефектов удалось обнаружить:
recall =——--100%, (6)
TP + FN
где FN - ложный пропуск дефектов.
Точность составила 91,9 %. Причиной снижения точности является появление размытых кадров из-за расфокусировки камеры.
Полнота составила 93 %. Такое значение полноты связано с тем, что не были автоматически обнаруже-
ны на кадрах исследуемых видеопоследовательностей небольшие дефектные области сварных соединений, так как кадры содержали начальные или конечные фрагменты дефектов. При обработке предложенным алгоритмом таких кадров количество белых пикселей С в бинарных масках меньше значения Р, поэтому небольшие области дефектов не обнаруживаются. Одним из способов сокращения таких кадров является увеличение шага обработки кадров. Уменьшение величины Р может привести к ложноположительным срабатываниям: волнообразное колебание ширины сварного соединения обнаружится как дефект.
Экспериментальные исследования работы алгоритма на основе MOG показали, что модель можно использовать для сегментации дефектов, которые появляются на небольшом количестве кадров, например, несплавление металла или прожог. На кадрах исследуемых видеопоследовательностей с несплавлением металла были сегментированы дефектные области. Если дефект присутствует на поверхности металла длительно, то есть виден на большом количестве кадров, то этот метод не подходит для решения задачи, так как дефект становится фоном. Например, такой дефект, как окисление металла, проявляется постепенно сначала в виде незначительного непрерывного затемнения с усилением тёмного цвета и может присутствовать на сварном соединении до устранения причины возникновения.
В результате экспериментальной проверки предложенного алгоритма на кадрах исследуемых видеопоследовательностей с использованием модели усреднения кадров автоматически были обнаружены области дефектов сварных соединений. Качество классификации оценено двумя метриками: точностью и полнотой. Ложные обнаружения могут произойти в случае потери фокуса и размытия изображения. Пропуск дефекта возможен, если дефектная область мала.
Заключение
В данной работе предложен алгоритм обнаружения поверхностных дефектов сварных соединений на кадрах видеопоследовательностей на основе моделирования и вычитания фона. Для обнаружения дефектов ТЮ-сварки с различными характеристиками подходит модель фона, построенная путём усреднения кадров, на которых отсутствуют возможные дефекты.
Результаты экспериментов показали, что предложенный алгоритм позволяет непрерывно и оперативно обрабатывать изображения сварных соединений, получаемых с камеры, и автоматически обнаруживать на них дефекты сварных соединений. Представленный в работе алгоритм является возможным решением для системы автоматического визуального контроля качества сварных соединений.
Разработанный алгоритм не может определить класс дефекта, например, несплавление, прожог, окисление металла. Поэтому дальнейшая работа свя-
зана с исследованием методов и разработкой алгоритмов решения задачи множественной классификации дефектов с учётом особенностей исследуемой области.
References
[1] ISO 17637:2016. Non-destructive testing of welds - Visual testing of fusion-welded joints. Vernier, Geneva, Switzerland: ISO; 2016.
[2] GOST R ISO 17637-2014. Non-destructive testing. Visual inspection of joints made by fusion welding [In Russian]. Moscow: "Standartinform" Publisher; 2015.
[3] ISO 6520-1:2007. Welding and allied processes - Classification of geometric imperfections in metallic materials -Part 1: Fusion welding. Vernier, Geneva, Switzerland: ISO; 2007.
[4] GOST R ISO 6520-1-2012. Welding and related processes. Classification of defects in geometry and continuity in metallic materials. Part 1. Fusion welding [In Russian]. Moscow: "Standartinform" Publisher; 2014.
[5] Muravyov SV, Pogadaeva EYu. Computer-aided recognition of defects in welded joints during visual inspections based on geometric attributes. Russ J Nondestruct Test 2020; 56(3): 259-267. DOI: 10.1134/S1061830920030055.
[6] Sun J, Li C, Wu XJ, Palade V, Fang W. An effective method of weld defect detection and classification based on machine vision. IEEE Trans Industr Inform 2019; 15(12): 6322-6333. DOI: 10.1109/TII.2019.2896357.
[7] Fan X, Gao X, Liu G, Ma N, Zhang Y. Research and prospect of welding monitoring technology based on machine vision. Int J Adv Manuf Technol 2021; 115: 3365-3391. DOI: 10.1007/s00170-021-07398-4.
[8] Li L, Xiao L, Liao H, Liu S, Ye B. Welding quality monitoring of high frequency straight seam pipe based on image feature. J Mater Process Technol 2017; 246: 285-290. DOI: 10.1016/j.jmatprotec.2017.03.031.
[9] Hou W, Zhang D, Wei Y, Guo J, Zhang X. Review on computer aided weld defect detection from radiography
images. Appl Sci 2020; 10(5): 1878. DOI: 10.3390/app10051878.
[10] Boaretto N, Centeno TM. Automated detection of welding defects in pipelines from radiographic images DWDI. NDT & E Int 2017; 86: 7-13. DOI: 10.1016/j.ndteint.2016.11.003.
[11] Valavanis I, Kosmopoulos D. Multiclass defect detection and classification in weld radiographic images using geometric and texture features. Expert Syst Appl 2010; 37(12): 7606-7614. DOI: 10.1016/j.eswa.2010.04.082.
[12] Kazantsev I, Lemahieu I, Salov GI, Denys R. Statistical detection of defects in radiographic images in nondestructive testing. Signal Proces 2002; 82: 791-801. DOI: 10.1016/S0165-1684(02)00158-5.
[13] Zou Y, Du D, Chang B, Ji L, Pan J. Automatic weld defect detection method based on Kalman filtering for real-time radiographic inspection of spiral pipe. NDT & E International 2015; 72: 1-9. DOI: 10.1016/j.ndteint.2015.01.002.
[14] Nixon M, Aguado A. Feature extraction and image processing for computer vision. 4th ed. Academic Press; 2020. ISBN: 978-0-12-814976-8.
[15] Andriyanov NA, Dementiev VE, Tashlinskii AG. Detection of objects in the images: from likelihood relationships towards scalable and efficient neural networks. Computer Optics 2022; 46(1): 139-159. DOI: 10.18287/2412-6179-CO-922.
[16] Xu Y, Jixiang D, Zhang B, Xu D. Background modeling methods in video analysis: a review and comparative evaluation. CAAI Trans Intell Technol 2016; 1: 43-60. DOI: 10.1016/j.trit.2016.03.005.
[17] Sobral A, Vacavant A. A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos. Comput Vis Image Underst 2014; 122: 4-21. DOI: 10.1016/j.cviu.2013.12.005.
[18] Stauffer C, Grimson WEL. Learning patterns of activity using real-time tracking. IEEE Trans Pattern Anal Mach Intell 2000; 22(8): 747-757. DOI: 10.1109/34.868677.
[19] Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction. Proc 17th IEEE Int Conf on Pattern Recognition (ICPR) 2004; 1: 28-31. DOI:10.1109/ICPR.2004.1333992.
Сведения об авторах
Емельянова Мария Геннадьевна, 1981 года рождения, в 2021 году окончила докторантуру Восточно-Казахстанского технического университета им. Д. Серикбаева по специальности 6D070300 «Информационные системы (по отраслям)», старший преподаватель. Область научных интересов: обработка изображений, распознавание образов, анализ данных, программирование. E-mail: mariva_vemelyanova@mail.ru.
Смаилова Сауле Сансызбаевна, 1962 года рождения, доктор PhD, ассоциированный профессор школы информационных технологий и интеллектуальных систем Восточно-Казахстанского технического университета им. Д. Серикбаева. Область научных интересов: методы искусственного интеллекта, информационные технологии анализа данных. E-mail: saule_smailova@mail.ru. ORCID: https://orcid.org/0000-0002-8411-3584.
Бакланова Ольга Евгеньевна, 1964 года рождения, кандидат физико-математических наук, доцент по специальности «Информатика, вычислительная техника и управление», профессор кафедры инженерной математики Восточно-Казахстанского технического университета им. Д. Серикбаева. Область научных интересов: компьютерное зрение, цифровая фильтрация сигналов и изображений, анализ данных. E-mail: oebaklanova@mail.ru. ORCID: https://orcid.org/0000-0001-8734-2596 .
ГРНТИ: 28.23.15
Поступила в редакцию 31 марта 2022 г. Окончательный вариант - 8 ноября 2022 г.
Detection of surface defects in welded joints during visual inspections
using machine vision methods
M.G. Yemelyanova1, S.S. Smailova1, O.E. Baklanova1 1D. Serikbayev East Kazakhstan Technical University, 070004, Ust-Kamenogorsk, Kazakhstan, Serikbayev 19
Abstract
We discuss a problem of automatic defect detection in welded joints of stainless steel pipes in the production process. Possible defects that occur during tungsten inert gas welding are shown. The substantiation of the choice of the method for solving the problem based on modeling and background subtraction is given. An algorithm for defect detection in welded joints on frames of video sequences is proposed, taking into account the features of a specific area. The background models are built using the methods of averaging and a mixture of Gaussians. Experimental studies of the algorithm are carried out using examples of processing frames of video sequences received from a static camera. The obtained results confirm that the background modeling method based on frame averaging is suitable for the automatic detection of welding defects since the defects are different and have characteristic features. The proposed algorithm makes it possible to detect and highlight the defective area in a welded joint on frames of video sequences. The experimental results show that the algorithm satisfies the requirements for continuous rapid detection of surface defects.
Keywords: visual inspection, welded joints, defect, machine vision, background subtraction.
Citation: Yemelyanova MG, Smailova SS, Baklanova OE. Detection of surface defects in welded joints during visual inspections using machine vision methods. Computer Optics 2023; 47(1): 112-117. DOI: 10.18287/2412-6179-CO-1137.
Authors' information
Mariya Gennadevna Yemelyanova, (b. 1981), completed the PhD program of D. Serikbayev East Kazakhstan Technical University in 2021, majoring in Information Systems (in branches). Currently, she works as a senior lecturer. Research interests are image processing, pattern recognition, data analysis, and programming. E-mail: mariya_yemelyanova@mail.ru .
Saule Sansyzbaevna Smailova, (b. 1962), PhD, works as an Associate Professor in the School of Information Technology and Intellectual Systems at D. Serikbayev East Kazakhstan Technical University. Research interests: artificial intelligence methods, information technologies of data analysis. E-mail: saule_smailova@mail.ru . ORCID: https://orcid.org/0000-0002-8411-3584 .
Olga Evgenyevna Baklanova, (b. 1964), Candidate of Physical and Mathematical Sciences, Associate Professor in the specialty "Computer Science, Computer Technology and Management". She works as a Professor in the Engineering Mathematics department at D. Serikbayev East Kazakhstan Technical University. Research interests: computer vision, digital filtering of signals and images, data analysis.
E-mail: oebaklanova@mail.ru . ORCID: https://orcid.org/0000-0001-8734-2596 .
Received March 31, 2022. The final version - November 8, 2022.
