CC BY
177
МЕТОДЫ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИИ
В ЗАДАЧАХ обнаружения дефектов поверхности
Цапаев А.П., Кретинин О.В.
Нижегородский государственный технический университет им. Р.Е. Алексеева
Аннотация
В статье приводится анализ методов сегментации изображений применительно к задаче обнаружения дефектов поверхности. Рассматриваются методы водораздела, нормальных разрезов и метод оценки изменения формы спектра (ОИФС). Анализ методов проводится как на модельных изображениях, так и на изображениях объекта контроля - внутренней поверхности труб. Делается вывод о возможности применения метода ОИФС в системах визуального контроля поверхностей.
Ключевые слова: обработка изображений, автоматизация, трубы.
Введение
Сегментация применяется для выделения объектов на изображении. В задачах контроля качества поверхности объектами выступают различные дефекты. Изображение поверхности изделий обычно представляет собой фон однородной текстуры. Дефект отличается от фона по признакам, которые могут сильно варьироваться (текстура, яркость, цвет). Поэтому к методам сегментации предъявляются требования по обнаружению отклонений от текстуры различной природы. От того, обнаружит метод сегментации отклонение или нет, зависит качество контроля.
Визуальный контроль внутренней поверхности применяется при входном контроле труб, используемых для производства парогенераторов. Количество труб в изделии доходит до нескольких тысяч. Для осмотра внутренней поверхности используется эндоскоп, позволяющий получать цифровое изображение. Осмотр ведёт оператор, поэтому контроль является субъективным. Автоматизация данного процесса - актуальная задача. При её решении важной становится проблема выбора подходящего метода сегментации, обеспечивающего надёжное обнаружение дефектов.
Вопросам контроля качества поверхности посвящён ряд работ [1, 2], в которых рассматривается контроль качества листового металлопроката. Однако схема контроля и внешний вид дефектов листового металлопроката и внутренней поверхности труб имеют различия. Вопросы сегментации изображений также рассматриваются в работе [3].
На рис. 1 представлены изображения эталонной поверхности трубы (а) и изображения поверхности трубы с отклонениями от качества.
1. Методы сегментации изображений
Предварительная обработка изображений
Изображения внутренней поверхности труб проходили предварительную обработку. На исходном изображении выделялось кольцо, которое в дальнейшем разворачивалось. Данное преобразование позволяет исключить неинформативные участки, получить удобное для обработки прямоугольное изображение внутренней поверхности (рис. 2). При исследовании модельных изображений предварительная обработка не производилась.
сегментация, визуальный контроль, дефект,
Рис. 1. Изображения эталонной поверхности трубы (а), изображения поверхности трубы с отклонениями от качества (б-г)
Рис. 2. Схема преобразования исходного изображения
Метод водораздела Метод водораздела, также называемый преобразованием водораздела, - это основанный на областях метод математической морфологии. В географии водораздел - это хребет, который делит области различных речных систем. Рассматривая изображения как геологический ландшафт, можно сказать, что линии водораздела - это границы, разделяющие участки изображений. В топографическом представлении изображения численные значения (например, уровни серого) каждого пикселя выступают в качестве высоты этой точки. Преобразование водораздела вычисляет водосборные бассейны и линии хребтов, при том что водосборные бассейны -
соответствующие области изображения, а линии хребтов - это границы этих областей [4].
Метод нормальных разрезов При сегментации с использованием методов теории графов каждый элемент набора, который предполагается разбить на кластеры, соотносится с вершиной графа. Далее между всеми парами вершин строятся ребра, с каждым ребром соотносится весовой коэффициент, который представляет степень сходства элементов. Затем ребра графа разрезаются так, чтобы в результате получился хороший набор связанных компонентов, в идеальном случае весовые коэффициенты рёбер внутри компонентов должны быть велики по сравнению с коэффициентами связующих рёбер. Каждый компонент - это кластер.
Весовые коэффициенты обычно называют мерами сходства. Существуют различные подходы к измерению сходства (измерение сходства через расстояние, через интенсивность, по цвету, по текстуре).
Одним из методов разделения графа является метод нормализованных разрезов. Суть метода заключается в том, чтобы разрезать два связанных компонента так, чтобы в каждой группе стоимость разрезания была мала по сравнению с общим сходством. Этот подход можно формализовать, разделив взвешенный граф V на два компонента А и В и записав декомпозицию графа как
Ш( A, B) Ш( A, B)
assoc( A, V) assoc(B, V)
где cut(A, B) - сумма весовых коэффициентов всех рёбер графа V, один конец которых лежит в А, а другой - в В; assoc(A, V) - сумма весовых коэффициентов всех рёбер, один конец которых находится в А. Данный параметр мал, если при разрезании получаются два компонента, имеющих между собой мало рёбер с малыми весовыми коэффициентами и много внутренних рёбер с большими весовыми коэффициентами [5].
В данной статье локальная мера сходства между пикселями i и j, Wij IC рассчитывается в концепции промежуточного контура (intervening contour), использующей пики в энергии контурной ориентации [6]. Алгоритм реализации данного подхода взят с сайта [7].
Метод оценки изменения формы спектра В основе предложенного метода оценки изменения формы спектра (ОИФС) лежит использование спектральной функции изображения. Спектр известной текстуры сравнивается со спектром исследуемого изображения. В качестве параметра сравнения используется коэффициент изменения формы спектра, который вычисляется следующим образом:
КАф = ri-2 =
Ч(Х11 - Х21)2 + (*12 - X 22 )2 + (*13 - X 23 )2 + ... + X - X!,, )2 где Х1п и Х2п - значения интенсивности спектра при частоте п для эталонного и исследуемого изображений, соответственно.
Алгоритм локализации дефектов предложенным методом выглядит следующим образом:
• вычисление среднего спектра эталонного текстурного изображения;
• разделение исследуемого изображения на равные области;
• вычисление спектральной функции для каждой области;
• вычисление Кдф для каждой области;
• сравнение КДф с пороговым уровнем. Если КДф превышает пороговый уровень, то область содержит дефект;
Вычисление спектра области изображения осуществляется с помощью быстрого преобразования Фурье.
При исследовании модельных изображений спектр эталонного текстурного изображения выбирался следующим образом:
• на изображении текстуры произвольно выделялся участок равный окну просмотра;
• вычислялся спектр данного изображения.
При проведении исследования внутренней поверхности труб спектр эталонного текстурного изображения выбирался следующим образом:
• осматривалась поверхность трубы. На поверхности трубы выбирались участки без дефектов, характеризующие допустимое состояние поверхности;
• проводился захват изображений данных участков;
• из данных фотографий выделялись эталонные фотографии;
• производилось вычисление спектра эталонных изображений;
• на основании полученных спектров вычислялся средний спектр эталонного текстурного изображения.
Размер областей, на которые разделялось исследуемое изображение, определялся на основании анализа размеров дефектов и зрительной оценки текстуры поверхности трубы. В исследовании поверхности трубы размер области составляет 15x15 пикселей.
Пороговый уровень определялся следующим образом:
• вычислялись коэффициенты изменения формы спектра между средним спектром эталонного текстурного изображения и спектрами эталонных изображений;
• в качестве порогового уровня выбиралось максимальное значение коэффициента ИФС, умноженное на коэффициент 1,05.
2. Исследование методов сегментации на модельных изображениях
Исследование методов сегментации первоначально проводилось на моделях изображений с дефектами. В качестве моделей использовались два вида изображений текстур (рис. 3а). В качестве отклонений исследовались изменения яркости текстуры, поворот текстуры, наличие отличной от фона текстуры (рис. 3б).
Рис. 3. Модели изображений без отклонений (а), модели изображений с отклонениями (б)
Результаты исследования показали:
• метод оценки изменения формы спектра локализует дефекты текстуры как резко отличающиеся от фона, так и образованные поворотом и изменением яркости текстуры (рис. 4);
Рис. 4. Сегментация методом оценки изменения формы спектра. Слева показаны модели изображений, справа -результат сегментации. Серым цветом закрашен фон, отклонения от фона остались незакрашенными
• метод оценки изменения формы спектра одинаково хорошо локализует дефекты при разных углах поворота текстуры;
• рассмотренный метод сегментации водораздела в исходном виде не обеспечивает локализацию текстурных дефектов (рис. 5);
• метод нормальных разрезов хорошо локализует наличие текстуры отличной от фона, но не выделяет изменение яркости и поворот текстуры (рис. 6).
На рис. 4 - 6 показан результат сегментации различными методами. Слева показаны модели изображений с различными дефектами, справа - результат сегментации.
Рис. 5. Результаты сегментации методом водораздела. Слева показаны модели изображений, справа - результат сегментации. Белым цветом обозначены границы
сегментов
Рис. 6. Сегментация методом нормальных разрезов. Слева показаны модели изображений, справа - результат сегментации. Серым цветом закрашен фон, отклонения закрашены белым цветом
3. Исследование методов сегментации на изображениях объекта Для исследования методов обнаружения дефектов на внутренней поверхности труб были подго-
товлены трубы с различными искусственными дефектами: продольная царапина, кольцевая царапина, чёрное пятно. Изображения искусственных дефектов были получены с помощью эндоскопа (по четыре изображения каждого типа) и приведены к удобному для обработки виду. Полученные изображения прошли сегментацию с помощью различных методов, результат которой представлен на рис. 7-9.
г)
Рис. 7. Изображения внутренней поверхности трубы с дефектом кольцевая царапина: а) исходное изображение; б) сегментация методом ОИФС; в) сегментация методом водораздела; г) сегментация методом нормальных разрезов
а)
г)
Рис. 8. Изображения внутренней поверхности трубы с дефектом продольная царапина: а) исходное изображение; б) сегментация методом ОИФС; в) сегментация методом водораздела; г) сегментация методом нормальных разрезов
Оценка качества сегментации проводилась исследователем визуально. Критериями качества служили следующие параметры:
• пропуск дефекта;
• локализация не дефектной области;
• соответствие формы локализованных областей форме дефекта.
На рис. 7б, 8 б, 9б представлен результат сегментации методом ОИФС. Чёрным цветом закрашена поверхность без дефектов. Поверхность с дефектами осталась незакрашенной. Из рисунков видно, что метод хорошо справился с локализацией дефектов.
г)
Рис. 9. Изображения внутренней поверхности трубы с дефектом пятно: а) исходное изображение; б) сегментация методом ОИФС; в) сегментация методом водораздела; г) сегментация методом нормальных разрезов
На рис. 7в, 8в, 9в представлен результат сегментации методом водораздела. Белым цветом показана граница «водораздела», т.е. граница между отдельными сегментами. Из рисунков видно, что метод не обеспечивает локализацию дефектов.
На рис. 7г, 8г, 9г представлен результат сегментации методом нормальных разрезов. Оттенками серого закрашены различные сегменты. Из рисунков видно, что метод не выделяет дефекты в отдельные сегменты.
Заключение
• Метод оценки изменения формы спектра обеспечивает локализацию дефектов как на модельных изображениях, так и на изображениях внутренней поверхности труб.
• Рассмотренные методы водораздела и нормальных разрезов в исходном виде не обеспечивают локализацию представленных дефектов.
• Метод оценки изменения формы спектра может быть рекомендован для использования в автоматизированных системах визуального контроля.
Литература
1. Ульянов, А. Н. Метод и средства оптоэлектронного контроля качества поверхности листового металлопроката: дисс. ... канд. техн. наук / А. Н. Ульянов. -Череповец. 2005. - 192 с.
2. Старостин, Д А. Математическая и имитационная модели изображения поверхности стальной полосы на основе гиббсовских случайных полей: дисс. ... канд. техн. наук / Д. А.Старостин. - Череповец. 2003. - 158 с.
3. Сегментация изображений кластерным методом и алгоритмом случайных скачков: сравнительный анализ / Б.М Миронов, А.Н. Малов // Компьютерная оптика - 2010. - Т. 34, №1. - С. 132-137
4. Vincent, P. Soille, Watersheds in Digital Space: An Efficient Algorithms based on Immersion Simulation, [J]-IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1991. - 13, No.6, - P.583-598.
5. Форсайт, Дэвид А., Компьютерное зрение. Современных подход. / Дэвид А. Форсайт, Жан Понс; пер. с англ. - М.: Издательский дом «Вильямс», 2004.
6. Jitendra, Malik Contour and Texture Analysis for Image Segmentation / Malik Jitendra, Serge Belongie, Txomas Leung, Jianbo Shi. // International Journal of Computer Vision, - 2001 - V.43, No.1, - P. 7-27,.
7. MATLAB Normalized Cuts Segmentation Code.
URL: http:// www. c is. upenn. edu/~jshi/software/
References
1. Ulyanov, A.N. The method and means of optoelectronic control the surface quality of sheet metal: a thesis for the degree of candidate of technical sciences. - Cherepovets. 2005. - 192p. - (In Russian)
2. Starostin, D.A. The mathematical and simulation models of images of the surface of steel strip based Gibbs random fields: a thesis for the degree of candidate of technical sciences. - Cherepovets. 2003. - 158 p. - (In Russian)
3. Image segmentation by clusters method and casual spasmodic structure algorithm: the comparative analysis /
B.M. Mironov, A.N. Malov // Computer optics. - 2010. -V.34, N.1. - P. 132-137. - (In Russian).
4. Vincent, P. Soille, Watersheds in Digital Space: An Efficient Algorithms based on Immersion Simulation // [J]-IEEE Transactions on Pattern Analysis and Machine Intelligence, - 1991. - 13, No.6, - P.583-598,.
5. Forsyth, David A., Computer vision. A modern approach.: / David A. Forsyth, Jean Ponce. Translated from English. - M.: Publishing House. «Williams», 2004. - (In Russian)
6. Jitendra Malik, Serge Belongie, Txomas Leung, Jianbo Shi, «Contour and Texture Analysis for Image Segmentation», International Journal of Computer Vision, V.43, No.1, pp. 7-27, 2001.
7. MATLAB Normalized Cuts Segmentation Code.
URL: http://www.cis.upenn.edu/~jshi/software/
IMAGE SEGMENTATION METHODS IN PROBLEMS OF SURFACE DEFECT DETECTION
A.P. Tsapaev, O. V. Kretinin R.E. Alekseev Nizhny Novgorod State Technical University
Abstract
The analysis of image segmentation methods concerning to problem of surface defect detection is produced. Watershed method, normalized cut method and method of form spectrum change valuation (FSCV) are considered. Analysis is conducted on the model images and images of inspection object (images of inner tube surface). The conclusion about possibility of FSCV method application in visual surface inspection systems is drew.
Key words: image processing, segmentation, visual inspection, defect, automation, pipes.
Сведения об авторах
Цапаев Алексей Петрович, 1986 года рождения, в 2009 окончил Нижегородский государственный технический университет им. Р.Е. Алексеева, в настоящее время является аспирантом НГТУ. Область научных интересов: цифровая обработка изображений.
E-mail: [email protected] .
Alexei Petrovich Tsapaev (b. 1986) graduated from the R.E. Alekseev Nizhny Novgorod State Technical University in 2009. Now he is a postgraduate student of the Nizhny Novgorod State Technical University. Research interests: digital image processing.
Кретинин Олег Васильевич, 1941 года рождения, окончил Горьковский политехнический институт им. А.А. Жданова в 1963 году. В 1972 году защитил диссертацию на соискание учёной степени кандидата технических наук. Доктор технических наук (1991 год). В настоящее время профессор кафедры автоматизация машиностроения. Область научных интересов: обработка материалов резанием, износ режущего инструмента, цифровая обработка изображений.
E-mail: [email protected] .
Oleg Vasilyevich Kretinin, born 1941. Graduated from the A.A. Zhdanov Gorky Polytechnic Institute in 1963. Obtained his PhD (Kandidat Nauk) and his Doctoral (Doktor Nauk) degrees in 1972 and 1991 respectively. Now he is a professor of the Department of Automation of machine building at the same university. Research interests: processing of
materials by cutting, wear of the cutting tool, digital image processing.
Поступила в редакцию 14 марта 2012 г.
