Обнаружение текстурных неоднородностей на микромасштабных изображениях материалов

Пластинин Анатолий Игоревич; Храмов Александр Григорьевич; Сойфер Виктор Александрович

ОБНАРУЖЕНИЕ ТЕКСТУРНЫХ НЕОДНОРОДНОСТЕЙ НА МИКРОМАСШТАБНЫХ

ИЗОБРАЖЕНИЯХ МАТЕРИАЛОВ

Пластинин А.И.1, Храмов А.Г.1,2, Сойфер В .А.1,2 1 Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет), 2 Учреждение Российской академии наук Институт систем обработки изображений РАН

Аннотация

В статье представлен метод выделения текстурных неоднородностей, основанный на анализе плотности распределения множества векторов окрестностей изображения. Метод позволяет оценивать решающую функцию как по изображениям с дефектами, так и без них. Представлены результаты исследования на натурных изображениях микроструктуры металлов.

Ключевые слова: текстурные изображения, Марковское случайное поле, метод опорных векторов, функция-квантиль, функция ядра, нелинейная разделяющая граница.

Введение

Контроль качества является актуальной проблемой в области производства. В связи с этим первостепенное значение приобретает создание новых высокоинтеллектуальных методов контроля качества выпускаемой продукции взамен существующего трудоёмкого, дорогостоящего и субъективного метода визуального осмотра.

Так как текстура является одним из наиболее важных характеристик в выявлении дефектов, задача обнаружения дефектов в основном рассматривается как задача анализа текстурных изображений. В настоящее время методы текстурного анализа используются в промышленности для обнаружения дефектов многих поверхностей, таких как ткань, керамическая плитка, дерево, сталь, кремниевые пластины, бумага, кожа и т.д. Примеры текстурных изображений поверхности металла представлены на рис. 1.

Рис. 1. Микроструктура поверхности металла: в исходном состоянии (а); с искажениями (коррозионное растрескивание) (б)

Можно выделить следующие методы текстурного анализа, используемые для выделения дефектов на изображениях: статистический подход, структурный подход, методы, основанные на фильтрации.

Среди статистических методов, применявшихся для обнаружения текстурных дефектов, следует выделить методы, основанные на гистограммах яркости [1], матрицах взаимного расположения [1- 3], локальных бинарных шаблонах и автокорреляционной функции.

Структурные методы для выявления дефектов на изображениях поверхности материалов были рассмотрены в работах Чена и Джейна [4]. В работе [5]

авторы используют морфологические операции для выделения дефектов на изображениях тканей.

Методы фильтрации, применяемые для выделения дефектов на изображениях, можно разделить на методы пространственной фильтрации, методы частотной фильтрации, использующие преобразование Фурье [6], и методы совместной пространственной и пространственно-частотной фильтрации, основанные на использовании фильтров Габора [7] и вейв-лет-преобразованиях [8].

Также хорошие результаты даёт использование авторегрессионных моделей [9], фрактальных моделей [10] и моделей Марковского случайного поля [11].

Следует отметить, что перечисленные выше методы обладают рядом недостатков. Так, например, автокорреляционный метод, структурные методы и методы фильтрации хорошо работают на регулярных текстурах (т.е. изображение состоит из повторяющихся элементов), однако обладают низкой эффективностью на нерегулярных случайных текстурах. Метод локальных бинарных шаблонов также показал низкую эффективность в ряде задач. Метод гистограмм обладает существенным недостатком: в нём используется предположение, что интенсивность в области дефекта должна отличаться от интенсивности в «нормальной» области. Для метода матриц взаимного расположения также следует отметить некоторые недостатки: так, не существует однозначного подхода к выбору вектора смещения, количество признаков велико, а значит, необходимо производить отбор признаков; метод не эффективен по сравнению с другими перечисленными методами.

В данной работе рассматривается так называемый метод обнаружения новизны (novelty detection [12, 13]) для выделения неоднородностей на текстурных изображениях. Данный метод заключается в построении функции, положительной в «нормальных» областях изображений, на которых неоднородности отсутствуют, и отрицательной в других областях. Данный подход позволяет выявить области изображения, отличающиеся от нормальных (неискажённых, однородных) областей. Отметим, что в отличие от классификации, где для обучения необходимо указывать искажённую и неискажённую об-

ласти, метод обнаружения новизны требует только неискажённые области, что делает этот метод применимым в случаях, когда знание о модели искажения неполное или отсутствует совсем.

Модель изображения

Областью определения О изображения будем называть конечное, связное множество О с Z2. Наиболее часто используются прямоугольный участок двумерной целочисленной решётки

О = I х Ь„

(1)

где Ьх, Ьу - соответственно высота и ширина изображения. Элементы области определения будем называть пикселями.

Под изображением будем понимать функцию

I: О ® О, (2)

где О - множество значений или множество цветов. Например, в случае полутонового изображения О = [0; 1], для цветного ЯОВ-изображения - О = [0; 1]3.

Значение изображения I в пикселе р будем обозначать I = I(р).

Для анализа текстурных изображений будем использовать модель Марковского случайного поля [14, 15], т.к. эти методы оказались эффективными в задачах сегментации изображений, имитационного моделирования и т.д. [15-17].

Пусть 5 - конечное множество узлов (в случае изображений это область определения О). Пусть 2 = {2^..., 2т} - семейство случайных переменных, определённых на множестве 5, каждая случайная переменная 21 принимает значение 21 е О . Семейство 2 будем называть случайным полем. Будем использовать обозначение 21 = для события, что 21 принимает значение 21, а для совместного события (21 = 2т = 2т) будем использовать обозначение 2 = 2 .

Р(2. = 21) - вероятность того, что случайная переменная 21 принимает значение 21.

Связь узлов друг с другом определяется системой окрестностей, которая определяется как М = {М5 | 5 е 5}, где М5 - множество узлов соседей узла 5. Окрестности обладают следующим свойством: 5 й М5. Окрестность называется симметричной, если выполнено условие: 5 е М, тогда и только тогда, когда , е М5.

Примеры окрестностей показаны на рис. 2.

Случайное поле 2 называется Марковским случайным полем (МСП) по отношению к системе окрестности М , если для любого 2. е 2 выполнено следующее условие:

Р(2,12,, ) = Р(2,.|2м). (3)

Далее будем использовать следующие обозначения:

• Мр - окрестность пикселя р;

• Мр - к-ый элемент окрестности;

• ^ (Мр),..., I (МК)) - вектор значений отсчётов изображения в окрестности пикселя р .

Пример возможной нумерации пикселей приведён на рис. 3.

а)

О о о о

о • о о • о

о о о б) о

в)

о о о

о •

Рис. 2. Примеры окрестностей: некаузальная (а); ближайший сосед (б); каузальная (в)

а)

К Я2Р К

р М5Р

< щ К8

б)

К Я2Р К

р

Рис. 3. Порядок пикселей в окрестности: некаузальная (а); каузальная (б)

Каждое изображение, являющееся реализацией Марковского случайного поля с распределением Р , можно рассматривать как реализацию многомерной случайной величины, которая обладает таким же распределением:

(2о, 21,., 2п ), (4)

где 2о = ^, (21,., 2п ) = 2 = .

Каждому изображению будет соответствовать конечное множество векторов окрестностей:

М(I) = {(2о, 21,., 2п)} , (5)

где 20 = ^, 2п) = , р е 4 х Ly.

Для анализа изображений можно использовать характеристики выборки окрестностей М(I).

Постановка задачи обнаружения текстурных неоднородностей Непосредственным соседом (Н-соседом) [18] пикселя р будем называть пиксель р, который имеет с пикселем р общее ребро. Окрестность, состоящую только из Н-соседей пикселя р , будем считать Н-окрестностью пикселя р. Пример Н-окрест-ности представлен на рис. 2б.

Связной будем называть область £, если для любых пикселей рп, рт е £ существует маршрут

(р0, А,-рк)е £ , так^ что р0 = рп, рк = рт и

V1 = 1,к, р. е М , где М - Н-окрестность точ-

г 1 р1-1 а

ки р._1.

Будем рассматривать два типа изображений: изображения, не содержащие неоднородности, и изображения с неоднородностями.

Будем считать, что изображение, не содержащее неоднородностей, является реализацией Марковского случайного поля с распределением Г .

Неоднородностью на изображении I будем называть связную область, описанную некоторым, отличным от Г , распределением вероятности Г .

Множество областей неоднородностей изображения I можно представить как объединение связ-

п

ных областей И1 = ^ £. при условии, что

1=1

V1 = 1, п, I = 1, п , £ и £ - несвязное множество и

^ 1 ]

£, п £ = 0 .

Разрабатывается алгоритм, который данному изображению I ставит в соответствие бинарное изображение I, определённое следующим образом:

[0, р е И,;

1р 11, р й ИI.

(6)

Иллюстрация данного алгоритма представлена на рис. 4.

I I

Рис. 4. Схема алгоритма обнаружения текстурных неоднородностей

Метод обнаружения текстурных неоднородностей

Пусть заданы изображение и соответствующая ему выборка векторов окрестностей, которая соответствует распределению Р . Таким образом, пиксели, которые попадают в область дефекта, обладают вектором окрестности, вероятность которого мала.

Поэтому в основе метода выделения дефектов лежит подход разделения носителя плотности на две области: £ и Е = О \ £ , причём Р(£) >> Р(Е). Другими словами, множество 8 содержит наибольшую часть вероятности.

Необходимо разработать алгоритм, вычисляющий бинарную функцию, выделяющую области на исходном изображении, где сосредоточена наибольшая в некотором роде плотность; т.е. функция ненулевая в областях, где расположена большая часть векторов окрестностей.

Для решения этой задачи в работе [19] был разработан метод обнаружения выбросов (или новизны).

Метод основан на построении бинарной функции /, которая принимает значение 1 на множестве £ и _1 - в противном случае. Такая функция ищется в классе функций, допускающих представление в виде разложения по некоторому подмножеству векторов наблюдаемой выборки (называемых опорными векторами).

Важной частью представленного в работе метода является так называемый переход к ядру, который заключается в вычислении скалярного произведения в признаковом пространстве высокой размерности с использованием функции, определённой для пары входных образов.

Пусть X - некоторое множество. Для простоты будем считать, что это компактное подмножество

. Определим функцию ядра к, соответствующую скалярному произведению в признаковом пространстве высокой размерности Н, через отображение Ф следующим образом:

Ф: X ® Н, (7)

х ы х := Ф(х), (8)

к(х,х') = (ф(х),Ф(х')) , (9)

где х, х'е X Ф( х), Ф( х')^ - скалярное произведение векторов Ф(х) и Ф(х').

Использование функции ядра позволяет нам для решения задачи обнаружения новизны построить поверхность решений (границу множества), которая во входном пространстве является нелинейной, однако её образ в признаковом пространстве будет являться линейным.

Примеры построения таких пространств можно найти в [19, 20]. Преимущество метода заключается в том, что для работы необходимо знать только функцию к.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Функция квантилей и множество минимального объёма

Введём понятие многомерной функции квантилей [17]. Будем рассматривать выборку независимых одинаково распределённых случайных величин х1,..., хп, х, е X с X с распределением Р .

Пусть С будет множеством измеримых подмножеств из X. Пусть 1 будет действительной функцией, определённой на С.

Тогда функция квантилей относительно (Р, 1,С) будет определена как

и(т) = м{1(с)|Р(С)>т,сеС},0<т< 1. (10)

Иначе говоря, функция квантилей - это мера того, насколько большое множество необходимо, чтобы охватить определённое количество вероятности распределения Р.

Обозначим за Сх (т) (или С (т) в эмпирическом случае) такое С е С, на котором достигается инфимум.

В данном методе в качестве l выбирают меру вида:

1(Cw )=| MI2' (11)

где CM = {х|/м (х)>р} и (м, р) - соответственно

вектор весовых коэффициентов и смещение, описывающие гиперплоскость в пространстве признаков, связанном с ядром.

Метод обнаружения новизны

Рассмотрим обучающую выборку

X = {*,,...,*„> с X . (12)

Чтобы отделить выборку от начала координат, решим следующую задачу квадратичного программирования:

min —II М|2 +—— X X,-Р (13)

ME h,Xek" ,рек 2 vm j '

при условии, что

(м, Ф( х, ))>p-X,, X' > 0, (14)

где v е (0,1].

Так как фиктивные переменные X, накладывают штраф на целевую функцию, можно предположить, что если м и р являются решениями данной задачи, то пока регуляризационный параметр ||м|| будет мал, решающая функция

/ (х ) = sgn((w,F(x))-p) (15)

будет равна 1 для большинства примеров х, из обучающего множества.

На рис. 5 представлен пример гиперплоскости

^м,Ф(х)^=р с вектором-нормалью м и смещением р , отделяющей всё, кроме одной точки выборки, от начала координат. Выброс Ф( х) связан с фиктивной переменной X , которая накладывает штраф на целевую функцию (13). Расстояние от выброса до гиперплоскости равно X /||м||, расстояние от гиперплоскости до начала координат равно р /||м||. Из вышесказанного следует, что малое значение ||м||

соответствует большому расстоянию от начала координат до гиперплоскости.

Решающая функция в терминах ядра будет иметь вид:

/ (х ) = sgn jx a,k (х,, х )-р j, (16)

где р=(мФ(х,)) = XaJk(х>,х,).

Отметим, что в решении (16) часть коэффициентов а,. будет равна 0. Вектора х,, для которых а,. Ф 0 , называются опорными.

Более подробное обсуждение того, как решать задачу (13), (14), может быть найдено в [19].

Рис. 5. Пример гиперплоскости, отделяющей выборку от начала координат

Следует отметить следующие свойства параметра V:

• V является верхней границей относительного числа выбросов - точек, лежащих с отрицательной стороны гиперплоскости;

• V является нижней границей относительного числа опорных векторов.

Детали реализации алгоритма

Пусть X = [0;1]1, где I - размер окрестности (количество пикселей в окрестности, включая центральный, т.е. для некаузальной окрестности 3х3 I будет равно 9).

В качестве обучающего множества для метода (12) используется множество векторов окрестностей X = N (I).

В качестве функции ядра скалярного произведения будем использовать гауссово ядро:

к (х, х) = в^ х-х|\ (17)

Экспериментальные исследования

Для проведения экспериментальных исследований были использованы натурные изображения микроструктуры поверхности материалов.

Общая схема экспериментальных исследований представлена на рис. 6.

Для исследования качества работы алгоритма и анализа текстурных изображений тестовые изображения зашумляются заранее известным способом. Зашумление анализируемых изображений производится путём врезки в изображение фрагмента другого изображения.

Результатом анализа изображения является бинарное изображение, на котором области чёрного цвета соответствуют найденным на изображении локальным неоднородностям.

Рис. 6. Схема эксперимента

Далее по полученным бинарным изображениям определяется качество выделения локальных текстурных неоднородностей.

В качестве критериев качества выделения локальных текстурных неоднородностей будем использовать относительное число правильно классифицированных отсчётов q, ошибку первого рода

р0 и ошибку второго рода р1:

q =

N

Р0 =

Р1 =

N

(18)

(19)

(20)

где п - число правильно классифицированных отсчётов, п0 - количество ложно обнаруженных отсчётов, п - количество пропущенных отсчётов, N - общее число отсчётов.

Возьмём в качестве обучающего и анализируемого изображения фрагмент реализации двумерного пространственно-однородного (стационарного) случайного поля, описанного математическим ожида-

нием Му и автокорреляционной функцией:

В(трт2) = ехр).

(21)

В качестве искажения возьмём фрагмент реализации стационарного случайного поля, описанного той же автокорреляционной функцией, но с другими параметрами.

Результат работы алгоритма представлен на рис. 7. Результаты вычисления критериев качества выделения текстурных неоднородностей представлены в табл. 1.

Далее будем рассматривать текстурные изображения, сгенерированные по заданным образцам с использованием имитационного моделирования. В качестве образцов будем использовать натурные

изображения микроструктуры поверхности металлов, представленные на рис. 8.

Рис. 7. Экспериментальное исследование алгоритма: обучающее изображение (а); анализируемое изображение (б); изображение результата п = 0,001, у= 10 (в)

Таблица 1. Критерии качества выделения текстурных неоднородностей

q Р0 Р0

0,988 0,002 0,01

Рис. 8. Примеры тестовых изображений Результаты работы алгоритма представлены на рис. 9-10. Результаты вычисления критериев качества выделения текстурных неоднородностей представлены в табл. 2-3.

Рис. 9. Экспериментальное исследование алгоритма: обучающее изображение (а); анализируемое изображение (б); изображение результата п = 0,1, у= 10 (в); изображение результата п = 0,001, у= 10 (г)

Таблица 2. Критерии качества выделения текстурных неоднородностей

V У q Р0 Р1

0,1 10 0,901 0,099 0

0,001 10 0,9986 0,0014 0

п

0

п

Рис. 10. Экспериментальное исследование алгоритма: обучающее изображение (а); анализируемое изображение (б); изображение результата, п = 0,0039 у= 600 (в); изображение результата п = 0,0156, у = 800 (г)

Таблица 3. Критерии качества выделения текстурных неоднородностей

V g q P0 P1

0,0039 600 0,96 0,036 0,004

0,0156 800 0,967 0,03 0,003

На рис. 11 представлен результат работы алгоритма в случае, если обучающее изображение содержит небольшое искажение.

Рис. 11. Экспериментальное исследование алгоритма: обучающее изображение (а); анализируемое изображение (б); изображение результата V = 0,1, у= 5 (в)

Заключение

В данной работе был разработан метод выделения локальных текстурных неоднородностей, проведены исследования на тестовых и натурных изображениях.

Исследования показали, что для обучения можно использовать изображения, которые уже содержат неоднородности, что является преимуществом, т.к. большинство других методов требуют для обучения использовать неискажённые изображения.

Также исследовалось влияние параметров алгоритма на качество выделения текстурных неодно-родностей. Исследования показали, что для качественного решения задачи выделения текстурных не-однородностей для изображений различных классов необходимо подбирать индивидуальные параметры

алгоритма на основе максимизации относительного числа верно классифицированных пикселей по обучающему множеству изображений.

Следует отметить, что метод применим во многих других областях, таких как контроль качества выпускаемой продукции или диагностика заболеваний путём выделения нетипичных особенностей на медицинских изображениях.

Благодарности

Работа выполнена при поддержке российско-американской программы «Фундаментальные исследования и высшее образование» (BRHE), гранта Президента РФ поддержки ведущих научных школ (НШ-3086.2008.9), программы Президиума РАН «Фундаментальные науки - медицине», грантов РФФИ 10-07-00341-а и 10-07-00553-а, государственного контракта № 02.740.11.0841.

Литература

1. Tsai, 1 Applying an artificial neural network to pattern recognition in fabric defects / I. Tsai, C. Lin, J. Lin // Textile Research Journal. - 1995. - Vol. 65. - P. 123-130.

2. Siew, L. Texture measures for carpet wear assessment / L. Siew, R. Hodgson, E. Wood // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1988. -Vol. 10. - P. 92-105.

3. Iivarinen, J. Unsupervised segmentation of surface defects / J. Iivarinen, J. Rauhamaa, A. Visa // International Conference on Pattern Recognition. - 1996. - Vol. 4. -P. 356-360.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

4. Chen, J. A structural approach to identify defects in textured images / J. Chen, A. Jain // IEEE International Conference on Systems, Man, and Cybernetics. - 1988. -Vol. 1. - P. 29-32.

5. Mallick-Goswami, B. Detecting defects in fabric with laser-based morphological image processing / B. Mallick-Goswami, A. Datta // Textile Research Journal. - 2000. -Vol. 70. - P. 758-762.

6. Tsai, D. Automated surface inspection for directional textures / D. Tsai, C. Heish // Image and Vision Computing. -1999. - Vol. 18, N 1. - P. 49-62.

7. Kumar, A. Defect detection in textured materials using Gabor filters / A. Kumar, G. Pang // IEEE Transactions on Industry Applications. - 2002. - Vol. 38, N 2. - P. 425440.

8. Kim, S. Wavelet analysis to fabric defect detection in weaving processes / S. Kim, M. Lee, K. Woo // Proceedings of IEEE International Symposium on Industrial Electronics. - 1999. - Vol. 3. - P. 1406-1409.

9. Mao, J. Texture classification and segmentation using multiresolution simultaneous autoregressive models / J. Mao, A. Jain // Pattern Recognition. - 1992. - Vol. 25, N 2. -P. 173-188.

10. Conci, A. A fractal image analysis system for fabric inspection based on box-counting method / A. Conci, C. Proenca // Computational Networks. - 1998. - Vol. 30. - P. 1887-1895.

11. Cohen, F. Automated inspection of textile fabrics using textural models / F. Cohen, Z. Fan, S. Attali // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1991. - Vol. 13, N 8. - P. 803-809.

12. Markou, M. Novelty Detection: A Review - Part 1: Statistical Approaches / M. Markou, S. Singh // Signal Processing. - 2003. - Vol. 83. - P. 2481-2497.

13. Markou, M. Novelty detection: a review - part 2: neural network based approaches / M. Markou, S. Singh // Signal Processing. - 2003. - Vol. 83. - P. 2499-2521.

14. Li, Stan Z. Markov Random Field in Image Analysis / Stan Z. Li. - Springer-Verlag, 2009. - 362 p.

15. Winkler, G. Image Analysis, Random Fields and Dynamic Monte Carlo Methods / G. Winkler. - SpringerVerlag, 1995. - 324 p.

16. Efros, A.A. Texture synthesis by non-parametric sampling / A.A. Efros, T.K. Leung // ICCV. - 1999. - Vol. 2. -P. 1033-1038.

17. Paget, R. Nonparametric Markov Random Field Models for Natural Textures Images. Ph.D. thesis. - University of Queensland, St Lucia, QLD Australia, December 1999.

18. Павлидис, Т. Алгоритмы машинной графики и обработки изображения; пер. с англ. - М.: Радио и связь, 1986. - 400 с. (T. Pavlidis. Algorithms for Graphics and Image Processing / Computer Science Press, Maryland, 1982.)

19. Scholkopf, B. Learning with Kernels Support Vector Machines, Regularization, Optimization and Beyond / B. Scholkopf, A.J. Smola. - MIT Press, 2001. - 644 p.

20. Scholkopf, B. Estimating the Support of a High-Dimensional Distribution / B. Scholkopf, J.C. Platt, J.S. Taylor, A.J. Smola, R.C. Williamson // Neural Computation. -2001. - Vol. 13, N 7. - P. 1443-1471.

References