CC BY
33
УДК 004.932; 621.791: 621.643
ПРИМЕНЕНИЕ МЕТОДОВ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ В ЗАДАЧАХ ОБНАРУЖЕНИЯ ДЕФЕКТОВ ПОВЕРХНОСТИ СВАРНЫХ СОЕДИНЕНИЙ
А.И. Гаврилов, Тхет Аунг
МГТУ им. Н.Э. Баумана, Москва, Российская Федерация e-mail: [email protected]; [email protected]
Приведен анализ методов сегментации изображений применительно к задаче обнаружения дефектов поверхности. Рассмотрена многоэтапная процедура детектирования дефектов. Эффективность предложенных алгоритмов цифровой обработки изображений подтверждена результатами тестирования программной системы обнаружения дефектов поверхности на изображениях сварных соединений кольцевых стыков труб большого диаметра.
Ключевые слова: цифровая обработка изображений, сегментация, визуальный контроль, мониторинг сварочных процессов.
APPLICATION OF THE IMAGE SEGMENTATION TECHNIQUES FOR THE PROBLEMS OF SURFACE DEFECTS DETECTION OF WELDS
A.I. Gavrilov, Thet Aung
Bauman Moscow State Technical University, Moscow, Russian Federation e-mail: [email protected]; [email protected]
Applications of images segmentation techniques are analyzed applied to the problem of surface defect detection. The multi-stage procedure of the surface defect detection is considered. Efficiency of the proposed algorithms of digital image processing is proved out by the test results using software system of surface defects detection on the images of welded connections of ring joints of large diameter pipes.
Keywords: digital image processing, segmentation, visual inspection, welding process monitoring.
Введение. В задачах контроля качества поверхности объектами изучения являются различного типа дефекты [1, 2]. Изображение поверхности изделий обычно представляет собой фон однородной текстуры. Дефект отличается от фона по признакам, которые могут сильно варьироваться (текстура, яркость, цвет). В связи с этим для локализации дефектов и их обнаружения могут быть использованы методы сегментации цифровых изображений [3-5]. К методам сегментации предъявляют требования по обнаружению отклонений от текстуры различной природы. Визуальный контроль внешней поверхности применяют при контроле стыков трубопроводов [6-8]. Число соединений в магистральных трубопроводах доходит до нескольких тысяч, поэтому автоматизация такого процесса — актуальная задача [1, 2, 6, 9, 10]. При ее решении важной становится проблема выбора подходящего метода сегментации [3, 4], обеспечивающего надежное обнаружение дефектов.
Цель настоящей статьи — разработка подходов к анализу качества сварных соединений и реализация алгоритмов цифровой обработки изображений в видеокомпьютерной системе мониторинга сварочных процессов [9]. В ходе работы проведен анализ современных методов цифровой обработки изображений и их сегментации [3, 11], полученные алгоритмы реализованы в системе видеомониторинга сварных соединений.
Апробация цифровых технологий видеокомпьютерного мониторинга поверхности сварных соединений проведена на разработанном в научно-учебном центре "Сварка и контроль" МГТУ им. Н.Э. Баумана сварочном комплексе автоматической сварки кольцевых стыков трубопроводов большого диаметра [6, 10], оснащенном программно-аппаратными системами профилометрии и получения визуальной информации о сварном соединении.
Для реализации процессов орбитальной сварки применена установка УАСТ-1 НПП "Технотрон" [2], состоящая из сварочной головки с направляющим кольцом для перемещения по стыку трубы, блока управления, инверторного сварочного источника и пульта дистанционного управления. Установка предназначена для эксплуатации совместно с инверторным источником питания ДС 400.33 и его модификациями. В целях реализации видеомониторинга сварочных процессов головка ГАСТ-1 [2] оснащена лазерным сканером профиля стыка и видеокамерой. Общий вид сварочной установки представлен на рис. 1.
Структура системы видеокомпьютерного мониторинга, входящей в сварочный комплекс для автоматической сварки кольцевых стыков труб большого диаметра, приведена на рис. 2, а.
Рис. 1. Общий вид сварочной установки:
1 — сварочная головка; 2 — лазерный профилометр; 3 — видеокамера
Ыоннк»
ELTiiiiaivpi
С]1СТ«1ЫЙ шок
npprpSMMHOt OÖftntHtHiir
6
Рис.2. Структура системы видеокомпьютерного мониторинга (а) (АЦП — аналого-цифровой преобразователь) и процедура детектирования дефектов сварных швов (б)
Система видеокомпьютерного мониторинга сварных швов может обнаруживать и локализовывать такие типы наружных дефектов сварных соединений, как подрезы, прожоги, непровар, бугристость швов и наплывы [8, 12] в соответствии с процедурой, представленной на рис.2, б.
На первом этапе процедуры детектирования происходит формирование изображения шва, т.е. процесс получения цифрового изображения в виде массива дискретных элементов — пикселей, образующих матрицу яркостей [3, 5, 13].
На втором этапе предварительной обработки изображения выбирают порог яркости путем регулирования освещения и проводят фильтрацию изображения для компенсации помех [3, 13]; при необходи-
мости также выполняют бинаризацию, т.е. преобразуют полутоновое изображение в бинарное.
Выбор порога яркости — важнейшая процедура этапа предварительной обработки изображения, поскольку конечный результат существенно зависит от освещенности рабочей сцены. Если ее освещенность занижена, то увеличивается количество помех на изображении вплоть до потери объекта; при очень сильной освещенности сцены происходит засвечивание объекта.
Обычно при улучшении изображения применяют покадровую регулировку яркости и контрастности вводимого изображения. Для каждого кадра строят гистограмму распределения яркости изображения [3, 5, 11] и вычисляют ее параметры (математическое ожидание и дисперсию). Каждая точка такой гистограммы определяет число пикселей изображения, имеющих необходимое значение яркости. При этом математическое ожидание определяет общую яркость изображения, а дисперсия — контрастность.
Фильтрация изображения — наиболее сложная процедура этапа предварительной обработки изображения. В общем случае фильтрация решает следующие основные задачи [14]:
— сглаживание (подавление высокочастотных помех);
— повышение контрастности;
— выделение контуров объектов.
В некоторых случаях фильтрация позволяет существенно снизить аппаратурные помехи, вносимые оптической системой, например, аб-берации объектива, дискретизацию по полю ячеек светочувствительной поверхности и неоднородность их фотоэлектрических характеристик. Наиболее эффективен в инженерных приложениях медианный фильтр [1, 3, 11, 14].
Медианный фильтр — один из видов цифровых фильтров, широко используемый в цифровой обработке сигналов и изображений для уменьшения уровня шума [3, 11]. Медианная фильтрация — процедура обработки сигналов, подверженных воздействию импульсных помех, в соответствии с описанием:
те^ = а^ £ \1г-131 ,
где I — яркость пикселей; Ш — множество пикселей, среди которых ищется медиана. Результат применения медианной фильтрации к изображению сварного шва приведен на рис. 3, а, б.
Бинаризацию часто выполняют непосредственно после улучшения изображения. Задача бинаризации заключается в преобразовании полутонового изображения в бинарное. В процессе бинаризации выбирают пороговое значение яркости, которое разделяет область объекта
д
Рис. 3. Исходное изображение сварного шва (а), изображения, полученные в результате медианной фильтрации (б) 4x4, бинаризации (в), эрозии (г) и удаления несущественных объектов (д)
и область фона. Таким образом, если значение яркости в произвольной точке превышает пороговое, то точка принадлежит объекту, в противном случае — фону. Выходное бинаризованное изображение содержит две градации яркости (0 или 1) [3, 11]:
если I (x,y) > Тпорог > I (i,j) = 1, else I (i, j) = 0,
где Тпорог — пороговое значение. Результат применения процедуры бинаризации к изображению сварного соединения приведен на рис. 3, в.
Третий этап процедуры детектирования дефектов сварных швов — постобработка изображений на основе методов математической морфологии [3, 4, 11].
Математическая морфология — теория и техника анализа и обработки геометрических структур, основанная на теории множеств, топологии и случайных функциях. Основными операциями математической морфологии являются наращивание изображения, эрозия, замыкание и размыкание [3, 4, 7].
Наращивание бинарного изображения A структурным элементом
B задается выражением A ф B = (J Ab.
ьев
Эрозия бинарного изображения А структурным элементом В: A е в = {z е A | в с A}.
Замыкание бинарного изображения А структурным элементом В: A © в = (A ф в) е в.
Размыкание бинарного изображения А структурным элементом В:
^в = (A е в )0 в.
Рис.4. Исходное изображение сварного шва, полученное после этапов предварительной обработки и постобработки (а), изображения, полученные после их обработки методом водораздела (б) и обнаружения дефекта на исходном изображении сварного шва (в)
Результат применения морфологических методов к изображению сварного шва представлен на рис. 3, г, д.
Четвертый этап процедуры детектирования дефектов сварных швов — сегментация изображений на основе метода водораздела
[3, 11].
Метод водораздела, или преобразования водораздела, — метод математической морфологии, основанный на областях [3, 4]. Пусть Mi, M2,..., Mn — множества точек координатной плоскости, соответствующие локальным минимумам поверхности g(x, у); g(x,y), которая обычно является градиентным изображением. Обозначим C(Mi) множество точек, соответствующее локальному минимуму Mi (точки любого бассейна образуют компоненту связности). Обозначения min и max будем использовать для указания наименьшего и наибольшего значений яркости изображения g(x, у); T[n] — множество точек (s,t), для которых g(s,t) < n:
T [n] = {(s,t) |g (s,t) <n} .
С геометрической позиции множество T[n] — множество точек, в которых поверхность g(x, у) лежит ниже плоскости g(x, у) = n. Результат обработки изображения методом водораздела и локализованные дефекты сварного шва представлены на рис. 4.
Заключение. Разработана структура и принципы функционирования подсистемы локализации дефектов сварных швов по изображениям протяженных сварных соединений труб магистральных трубопроводов, а также алгоритмическая и программная реализации методов локализации дефектов сварных соединений. Проведено моделирование системы цифровой обработки изображений сварных соединений для решения задачи локализации дефектов сварки. Результаты моделирования подтверждают возможность применения предложенных алгоритмов в системах мониторинга сварочных процессов.
ЛИТЕРАТУРА
1. Установка для считывания клейма с труб НКТ / Р.А. Перковский, А.И. Гаври-лов, А.Ф. Ширанков, А.Б. Рогов, Н.П. Надымов // Дефектоскопия. 2003. № 9. С. 81-83.
2. Опыт разработки и применения современных отечественных технологий и оборудования для автоматической орбитальной сварки магистральных газопроводов / О.Б. Гецкин, Е.М. Вышемирский, А.В. Шипилов, С.И. Полосков // Сварка и Диагностика. 2010. № 6. С. 51-57.
3. Гонзалес Р, Вудс Р. Цифровая обработка изображений; пер с англ. М.: Техносфера, 2006. 1072 с.
4. Миронов Б.М., Малов А.Н.Сегментация изображений кластерным методом и алгоритмом случайных скачков: сравнительный анализ // Компьютерная оптика. 2010. Т. 34. № 1. С. 132-137.
5. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: БИНОМ. Лаборатория знаний, 2006. 752 с.
6. Автоматизированный комплекс для многослойной сварки кольцевых стыков труб магистральных трубопроводов со средствами адаптации и прогнозирования качества сварки / Э.А. Гладков, Р.А. Перковский, Б.Л. Гецкин, А.И. Гаври-лов, В.Н. Бродягин / Наука и техника в газовой промышленности. 2009. № 4. С. 77-86.
7. Методические аспекты применения нейросетевых моделей для прогнозирования качества сварки плавлением / Э.А. Гладков, А.В. Малолетков, А.И. Гаври-лов, Р.А. Перковский // Сварка и диагностика. 2008. № 3. С. 2-7.
8. Гладков Э.А., Гаврилов А.И. Имитационное моделирование лазерной сварки с глубоким проплавлением с использованием нейросетевых моделей // Сварка и диагностика. 2009. № 1. С. 9-11.
9. Пат. RUS 121765 06.04.2011. Микропроцессорный комплекс мониторинга и управления процессом сварки кольцевых стыков труб / Н.П. Алешин, Э.А. Гладков, Р.А. Перковский, А.И. Гаврилов, В.Н. Бродягин.
10. Реализация адаптивных технологий сварки кольцевых стыков магистральных трубопроводов / Н.П. Алешин, Э.А. Гладков, А.И. Гаврилов, Р.А. Перковский, Т.А. Рахматуллин // Сварка и диагностика. 2011. № 5. С. 48-53.
11. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений. СПб.: СПбГУ ИТМО, 2008. 192 с.
12. Гладков Э.А., Гаврилов А.И., Малолетков А.В. Динамическая нелинейная модель технического процесса лазерной сварки с глубоким проплавлением // Сварочное производство. 2001. № 12. С. 17-24.
13. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 584 с.
14. Цифровая обработка изображений в информационных системах / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор. Новосибирск: Изд-во НГТУ, 2003. 352 с.
REFERENCES
[1] Perkovskiy R.A., Gavrilov A.I., Shirankov A.F., Rogov A.B., Nadymov N.P. Installation for the hard stamp's reading from tubing. Defektoskopija [Rus. J. Nondestr. Test.], 2003, no. 9, pp. 81-83 (in Russ.).
[2] Getskin O.B., Vyshemirskiy E.M., Shipilov A.V., Poloskov S.I. Experience in the development and application of modern domestic technologies and equipment for automatic orbital welding of trunk pipelines. Svarka i Diagnostika [Welding and Diagnostics], 2010, no. 6, pp. 51-57 (in Russ.).
[3] Gonzalez R.C., Woods R.E. Digital image processing. Prentice Hall, 2002. 813 p. (Russ. Ed.: Gonzales R., Vuds R. Cifrovaja obrabotka izobrazhenij. Moscow, Tehnosfera Publ., 2006. 1072 p.).
[4] Mironov B.M., Malov A.N. Segmentation of images by cluster's method and by the algorithm of random jump: comparative analysis. Komp. Optika [Comp. Opt.], 2010, vol. 34, no. 1, pp. 132-137 (in Russ.).
[5] Shapiro L., Stockman G. Computer vision. Prentice Hall, 2001. 608 p. (Russ. ed.: Shapiro L., Stokman Dzh. Komp'juternoe zrenie. Moscow, BINOM. Laboratorija znanij Publ., 2006. 752 p.).
[6] Gladkov E.A., Perkovskiy R.A., Getskin B.L., Gavrilov A.I., Brodjagin V.N. The automated complex for multi-layer welding of circular seams of pipes of main pipelines with the means of adaptation and forecasting of quality welding. Nauka i tehn. v gaz. prom. [Sci. & Techn. in the Gas Ind. J.], 2009, no. 4, pp. 77-86 (in Russ.).
[7] Gladkov E.A., Maloletkov A.V., Gavrilov A.I., Perkovskiy R.A. Methodical aspects of the use of neural network models to predict the quality of fusion welding. Svarka i Diagnostika [Welding and Diagnostics], 2008, no. 3, pp. 2-7 (in Russ.).
[8] Gladkov E.A., Gavrilov A.I. Simulation modeling of laser welding deep penetration using neural network models. Svarka i Diagnostika, 2009, no. 1, pp. 9-11 (in Russ.).
[9] Aleshin N.P., Gladkov E.A., Perkovskiy R.A., Gavrilov A.I., Brodjagin V.N. Mikroprocessornyj kompleks monitoringa i upravlenija processom svarki kol'cevyh stykov trub [Microprocessor complex monitoring and process control welding of circular pipe joints]. Patent RF, no. 121765, 2011.
[10] Aleshin N.P., Gladkov E.A., Gavrilov A.I., Perkovskiy R.A., Rahmatullin T.A. Implementation of adaptive technology of welding of circular joints of pipelines. Svarka i Diagnostika [Welding and Diagnostics], 2011, no. 5, pp. 48-53 (in Russ.).
[11] Fisenko V.T., Fisenko T.Ju. Komp'juternaja obrabotka i raspoznavanie izobrazhenij [Computer processing and image recognition]. SPb., SPbGU ITMO Publ., 2008. 192 p.
[12] Gladkov E.A., Gavrilov A.I., Maloletkov A.V. Dynamic nonlinear model technical process of laser welding with deep penetration. Svarochnoe proizvodstvo [Welding production], 2001, no. 12. pp. 17-24 (in Russ.).
[13] Jahne B. Digital Image Processing. 6th Ed. Springer Berlin Heidelberg New York, 2005. 654 p. (Russ. Ed.: Jane B. Cifrovaja obrabotka izobrazhenij. Moscow, Tehnosfera Publ., 2007. 584 p.).
[14] Gruzman I.S., Kirichuk V.S., Kosyh V.P., Peretjagin G.I., Spektor A.A. Cifrovaja obrabotka izobrazhenij v informacionnyh sistemah [Digital image processing in information systems]. Novosibirsk, NGTU Publ., 2003. 352 p. (in Russ.).
Статья поступила в редакцию 25.03.2014
Александр Игоревич Гаврилов — канд. техн. наук, доцент кафедры "Системы автоматического управления" МГТУ им. Н.Э. Баумана. Автор более 50 научных работ в области теории управления, нейросетевых технологий, теории адаптивного управления, системного анализа.
МГТУ им. Н.Э. Баумана, Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5.
A.I. Gavrilov — Cand. Sci. (Eng.), assoc. professor of "Automatic Control Systems" department of the Bauman Moscow State Technical University. Author of more than 50 publications in the field of control theory, neural network technologies, adaptive control theory, system analysis.
Bauman Moscow State Technical University, Vtoraya Baumanskaya ul. 5, Moscow, 105005 Russian Federation.
Тхет Аунг — аспирант кафедры "Системы автоматического управления" МГТУ им. Н.Э. Баумана. Специализируется в области методов сегментации изображений. МГТУ им. Н.Э. Баумана, Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5.
Thet Aung — post-graduate of "Automatic Control Systems" department of the Bauman Moscow State Technical University. Specializes in the field of digital image processing. Bauman Moscow State Technical University, Vtoraya Baumanskaya ul. 5, Moscow, 105005 Russian Federation._
Вниманию читателей!
В Издательстве МГТУ им. Н.Э. Баумана вышла в свет книга Л.Н. Лысенко, В.В. Бетанов, Ф.В. Звягин "Теоретические основы баллистико-навигационного обеспечения
космических полетов"
Систематизированно изложены современные теоретические основы баллистико-навигационного обеспечения (БНО) космических полетов пилотируемых и беспилотных аппаратов, выводимых на околоземные и межпланетные орбиты. Основное внимание акцентировано на формулировке предметной области, перечня и содержания задач БНО этапов планирования, баллистического обоснования и оперативного управления полетом. Существенное внимание уделено выявлению тенденций развития и разработке методов и алгоритмов решения практических задач БНО, позволяющих на основе расширения функциональной структуры подсистем математического моделирования движения космических аппаратов (КА), в том числе на основе теории гало-орбит и орбит F-класса, определения параметров состояния КА, расчета требуемых коррекций орбит и характеристик оптимального управления маневрированием, реализовать концепцию гарантированного повышения гибкости и универсализации построения оперативного БНО.
Монография рассчитана на научных работников и специалистов в области космической баллистики и управления космическими полетами. Она может быть полезна для студентов старших курсов и аспирантов, а также адъюнктов и курсантов учреждений высшего профессионального образования, обучающихся по соответствующим специальностям и направлениям подготовки.
