CC BY
1
https://doi.org/10.15350/17270529.2023.3.30
УДК 004.931.2
2.2.8 - Методы и приборы контроля и диагностики материалов, изделий, веществ и природной среды (технические науки)
Распознавание изображений микромаркировки на фоне подобных элементов рельефа
П. В. Гуляев
Удмуртский федеральный исследовательский центр УрО РАН, Россия, 426067, Ижевск, ул. Т. Барамзиной, 34
Аннотация. Рассмотрена задача распознавания реперной микромаркировки по микроскопическим изображениям, содержащим элементы псевдомаркировки (схожих с настоящей маркировкой элементов рельефа подложки). Приведены примеры изображений с элементами псевдомаркировки и результаты их распознавания низкоуровневыми структурными методами анализа, ранее использованными для распознавания. Показан механизм влияния псевдомаркировки на снижение эффективности распознавания. Предложено использовать методы структурного анализа более высокого порядка. Описано применение линейного преобразования Хафа для аппроксимации и последующего распознавания отдельных элементов маркировки. Представлен алгоритм обработки изображения и критерий оценки результатов обработки при распознавании. Приведены результаты, подтверждающие работоспособность представленного алгоритма.
Ключевые слова: зондовая микроскопия, реперные метки, обработка изображений, структурное распознавание, метод Хафа.
Н Павел Гуляев, e-mail: lucac@inbox. ru
Recognition of Reference Microlabeling Images against the Background of Similar Relief Elements
Pavel V. Gulyaev
Udmurt Federal Research Center UB RAS (34, T. Baramzina St., Izhevsk, 426067, Russian Federation)
Summary. The problem of recognizing a reference microlabeling by microscopic images containing elements of pseudo-labeling (similar to the real substrate relief elements ) is considered. The scope of such marking is the identification of the studied or modified surface areas as well as the lines connecting these areas with macroscopic landmarks on the surface. The microlabeling is formed using a probe microscope cantilever or a nanoindentor. Examples of images with pseudo-labeling elements and the results of their recognition by low-level structural analysis methods previously used for microlabeling recognition are given. In particular, a surface curvature detector was used, which has proven to be good for discrete microlabeling recognition. The effect of pseudo-labeling is the formation of a large number of the image background key points, which reduce the effectiveness of recognition. The application of the linear Hough transform for approximation and subsequent recognition of separate labeling elements is described. It is also shown that to recognize the labelings obtained by the probe microscope cantilever, it is advisable to use morphological erosion before the Hough transformation. The procedure for setting the parameters of this transformation, which most significantly affect the recognition of markings, is described. The range of the recorded Hough transform segments and the Hough transform threshold were used as such parameters. An image processing algorithm and a recognition evaluation criterion are presented. In this case, a histogram of the distribution of the angles of mutual rotation of the segments detected by the Hough transform is used. The recognition criterion is the presence of dominant peaks with certain values in this histogram. The results showing the efficiency of the presented algorithm are presented.
Keywords: probe microscopy, reference microlabeling, image processing, structural recognition, Hough's method.
Н Pavel Gulyaev, e-mail: lucac@inbox. ru
ВВЕДЕНИЕ
Реперная микромаркировка используется для идентификации изделий [1, 2] или определенной области поверхности [3]. Она может быть сформирована с помощью кантилевера зондового микроскопа или наноиндентора (например, Nanotest 600). Маркировка состоит из отдельных отпечатков или серии смежных отпечатков, образующих
непрерывные линии или геометрические фигуры. Для поиска маркировки на поверхности используется микроскопия высокого разрешения, например, сканирующая зондовая микроскопия (СЗМ).
Процесс поиска маркированной области поверхности с помощью зондового микроскопа заключается в следующем. Поле зрения микроскопа последовательно перемещается вдоль исследуемой области с определенным пространственным шагом. Соседние изображения имеют небольшое перекрытие. При появлении признаков маркировки на очередном изображении поиск прекращается. Если маркировка не обнаружена, то поле зрения сдвигается. Продолжительность процесса поиска может составлять десятки минут. В связи с этим необходимость автоматизации распознавания становится очевидной.
ПОСТАНОВКА ЗАДАЧИ
В работе [3] описано применение корреляционного анализа для распознавания дискретной реперной маркировки, состоящей из отдельных меток-отпечатков. Недостатком таких меток является малая заметность на фоне развитого рельефа. В работе [4] предложено использовать более заметные протяженные кластеризованные (рис. 1, а) или непрерывные реперные метки (рис. 1, Ъ,с). Такие отметки имеют форму правильных геометрических фигур, например, прямых линий, крестов, прямоугольников. Для распознавания такой маркировки могут использоваться детекторы кривизны поверхности [3]. Детекторы кривизны позволяют осуществлять низкоуровневый анализ изображения. Чтобы выполнить анализ, отыскиваются особые точки изображения (локальные максимумы кривизны) и оцениваются углы взаимного поворота отрезков, соединяющих пары особых точек. Если маркировка имеет форму правильных геометрических фигур, то расположение особых точек будет упорядоченным. Это проявляется в том, что большинство пар особых точек имеют углы взаимного поворота 0 и 90°.
с)
Рис. 1. Примеры реперной маркировки (20^20x0.5 мкм)
Fig. 1. Examples of reference marking (20x20x0.5 ^m)
Однако, как показывает рис. 1, маркировка может иметь индивидуальные дефекты. Кроме того, рядом с маркировкой может присутствовать псевдомаркировка (схожие по форме элементы рельефа), затрудняющая распознавание. На рис. 2 представлены результаты выделения особых точек изображения и гистограммы углов поворота пар особых точек. Из рис. 2 следует, что на гистограммах присутствует только один выделяющийся пик, соответствующий углу поворота 0°. Чтобы гарантированно распознать маркировку необходим еще один пик в области значений ±90°. Очевидно, что этот пик трудно различим из-за наличия фоновых особых точек, связанных с псевдомаркировкой. Решением проблемы может стать использование более высокоуровневых методов структуризации изображения. В частности линейные элементы маркировки могут быть аппроксимированы с помощью преобразования Хафа [5]. Это представляет практический интерес, поскольку данное преобразование реализовано в открытой программной библиотеке OpenCV [6].
N
Ф>
N
С)
N
Ф>
-90
90
-90
90
-90 90
d) e) f)
Рис. 2. Особые точки изображений (a-c) и гистограммы (d-f) распределения пар особых точек в зависимости от величины угла взаимного поворота
Fig. 2. Images key points (a-c) and histograms (d-f) of the distribution of pairs of keypoints depending
on the angle of mutual rotation
ОБРАБОТКА ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ПРЕОБРАЗОВАНИЯ ХАФА
Предварительные исследования показали, что преобразование Хафа чувствительно к ряду особенностей СЗМ-изображений, препятствующих распознаванию реперной маркировки.
1. При недостаточной кластеризации маркировки наблюдается избыточная фрагментация аппроксимирующих фрагменты маркировки отрезков.
Основным методом нивелирования данной особенности является морфологическая эрозия [7]. Эрозия 0 изображения 2 и структурного элемента В в точке ху растра изображения описывается выражением:
А0В = {2ху |(В;хуе2}, (1)
где (В)ху - структурный элемент, локализованный в точке ху. Выражение (1) означает, что пиксель изображения остается неизменным, если в окрестности данного пикселя структурный элемент и фрагмент изображения совпадают. В противном случае яркость пикселя принимает минимальное значение из его окрестности. Таким образом, эрозия приводит к размыванию выступающих над поверхностью объектов и смыканию объектов, углубленных в поверхность. В результате происходит удлинение отдельных отпечатков маркировки и отрезков, регистрируемых методом Хафа.
2. Микромаркировка наносится вблизи определенных ориентиров (складки, террасы, волокна, зерна). Фрагменты этих ориентиров могут интерпретироваться как псевдомаркировка, что приводит к преимущественной регистрации отрезков прямых линий вдоль их границ.
Чтобы нивелировать данную особенность осуществляется фильтрация (по длине) регистрируемых преобразованием Хафа отрезков. В библиотеке OpenCV соответствующая функция cv::HoughLinesP выдает координаты регистрируемых отрезков в формате (х1у1; х1_1у1_1). В процессе фильтрации формируется множество Л отрезков определенной
длины:
Л и | А - /„,,„ — А — А]]л\ | -
где lmin - минимальная длина рассматриваемых отрезков; lmax - максимальная длина рассматриваемых отрезков; li - длина отрезка Хафа:
h =7(x, -x,_i)2 + (y, -y,_i)2 . Выбор двух значений lmin, lmax для фильтрации очень важен для последующего распознавания. Величина lmax выбирается, исходя из максимальной протяженности элементов маркировки. Для кластеризованной маркировки величина lmin выбирается, исходя из расстояния между отдельными отпечатками маркировки. Для непрерывной маркировки она устанавливается равной 15 % от размера изображения. Однако для повышения точности распознавания величину lmin следует настроить в соответствии с реальными размерами элементов маркировки. Алгоритм настройки выглядит следующим образом.
Шаг 1. Преобразование Хафа с параметрами hmin (минимальное значение порога Хафа),
lmim lmax.
Шаг 2. Формирование множества Ф углов ф взаимного поворота отрезков из множества Л:
Ф=и U {y = ZLlLJ}
UeA Lj еЛ
Углы ф определяются из выражений:
(x _ x2)( у1 _ у2) _ (yi _ у2)( xi_ x2). а 2 2 ; (xl _ x2) + (у1 _ у2)
_ (xi _ x2)(x _ x2) _ (у1 _ у2)(yl _ y2).
2 2' (xl _ x2) + (у1 _ у2)
а
Ф = arctg —,
где (xlyl; x2y2) и (xiy2; х2у2 ) - координаты концов двух отрезков. Шаг 3. Формируется гистограмма распределения углов:
k
Gt =21{ф/е(а,_1, а,)} t = l..-k j=l
где к - число интервалов гистограммы; фу еФ; множество интервалов
ф 0 = фшт < ф 1,... < ф k-1 < ф k= фmax
Шаг 4. Проверяется критерий F наличия локальных максимумов гистограммы около значений 0 и 90°:
F = |уЧреФ(фо = ф0,ф0, .. Фо), с(ф) ^ С(фо), 0 ефо,90 е фо где Ф - проколотые окрестности около величин ф^,фд...ф° :
• def
Ф (ф,, s) = Ф(ф,, s) \ {ф,}; s = {ф,_ 1, ф,, ф,+i} Шаг 5. Если F = true, то конец, иначе переход на шаг 6.
Шаг 6. Изменение нижнего предела lmin (в диапазоне: от 15 % размера изображения до 75 % от lmax).
Шаг 7. Если lmin = 0.75 lmax, то конец, иначе переход на шаг 1.
После настройки диапазона длин регистрируемых отрезков осуществляется повторный поиск на изображении отрезков с определенной ориентацией. Этот поиск сопровождается изменением порога преобразования Хафа согласно следующему алгоритму.
Шаг 1. Преобразование Хафа с параметрами lmin, lmax, hi (первое значение hi=h1=hmin). Шаг 2. Формирование множества Ф.
Шаг 3. Формирование гистограммы распределения углов ориентации отрезков. Шаг 4. Проверяется критерий F1 (два самых мощных пика гистограммы сосредоточены вблизи углов 0° и 90°):
F = |уфеФ(90 =90,ф2, ...ф0), G(9) < G(9o), Ф0 «0°,ф2 «90°|.
Значение ф)> определяется выражением ф{, = о , а значение Ф5 может изменяться.
Значение ф2 устанавливается после формирования и предварительного исследования
маркировки. Например, для маркировки на рис. 3, а, с ф^ =90°. Для маркировки на рис. 3, Ъ
можно записать = 80°.
Шаг 5. Если F1 = true, то конец (маркировка обнаружена), иначе переход на шаг 6. Шаг 6. Изменение величины h.
Шаг 7. Если h = hmax, то конец (маркировка не обнаружена), иначе переход на шаг 1. РЕЗУЛЬТАТЫ
Результаты распознавания (табл. 1) показывают, что фильтрация отрезков Хафа по длине является ключевым методом обработки изображений с маркировкой. Для изображений кластеризованной маркировки к этому методу следует добавить преобразование эрозии.
Таблица 1. Значения критерия F при различных вариантах обработки
Table 1. Values of the F criterion for different processing options
Изображение Image Вид обработки / Type of processing
без обработки without processing эрозия erosion фильтрация по длине filtering by length эрозия и фильтрация по длине erosion and filtration by length
Fig. 1, c false true true true
Fig. 1, b false false true true
Fig. 1, a false false false true
Результаты распознавания изображений с помощью описанного выше алгоритма представлены на рис. 3. Рис. 3 показывает, что гистограммы распределения содержат отчетливые локальные максимумы, по которым можно судить о наличии маркировки. При этом, чем меньше отрезков регистрируется на фоновом рельефе, тем различимее пики гистограммы.
25 50 75 100 125 150 175
^ е) Л
Рис. 3. Выделение отрезков методом Хава (а-с) и соответствующие гистограммы распределения углов
поворота этих отрезков^-/)
Fig. 3. Selection of segments by the Hough method (a-c) and corresponding histograms of the distribution of the
rotation angles of these segments (d-f)
ЗАКЛЮЧЕНИЕ
Таким образом, выполненные исследования показали, что задача распознавания изображений микромаркировки может быть решена с помощью конвенциальных методов обработки, таких как преобразование Хафа. Установлено, что сегменты маркировки хорошо аппроксимируются отрезками прямых линий. Чтобы исключить влияние окружающего рельефа на распознавание, следует ограничивать диапазон длин регистрируемых отрезков. Ограничение рекомендуется производить с учетом априорных данных о размерах маркировки. Для распознавания маркировки возможно использование гистограммы углов взаимного поворота регистрируемых отрезком. При наличии на изображении маркировки в гистограмме будут доминирующие пики с углами поворота, определяемыми формой маркировки (0° и 90° для ортогональной маркировки).
СПИСОК ЛИТЕРАТУРЫ
1. Кислова Т. В. Исследование долговечности наномаркировки, нанесенной на стальные изделия с помощью сканирующего зондового микроскопа, под действием эксплуатационных факторов // НБИ технологии. 2021. Т. 15, № 1. С. 29-33. https://doi.Org/10.15688/NBIT.ivolsu.2021.1.4
2. Запороцкова И. В., Кислова Т. В., Сухарев А. Г. Применение сканирующей зондовой микроскопии для создания защитных наномаркировок // Вестник Волгоградского государственного университета. Серия 10: Инновационная деятельность. 2008. № 3. С. 81-87.
3. Гуляев П. В., Тюриков А. В., Ермолин К. С., Шелковникова Т.Е. Обработка и распознавание изображений двухкоординатных реперных отметок в сканирующей зондовой микроскопии // Химическая физика и мезоскопия. 2021. Т. 23, № 3. С. 374-380. https://doi.Org/10.15350/17270529.2021.3.34
4. Гуляев П. В. Бинарная классификация изображений реперной микромаркировки в зондовой микроскопии с использованием конвенциальных методов обработки // Цифровая обработка сигналов. 2022. № 3. С. 38-44.
5. Duda R. O., Hart P. E. Use of the Hough transformation to detect lines and curves in pictures // Communication of the ACM, 1972, vol. 15, no. 1, pp. 11-15. https://doi.org/10.1145/361237.361242
6. OpenCV. https://opencv.org/ (дата обращения: 07.09.2021).
7. Гонсалес Р., Вудс Р. Цифровая обработка изображений. Изд. 3-е, исп. и доп. М.: Техносфера, 2012. 1104 с.
REFERENCES
1. Kislova T. V. Issledovaniye dolgovechnosti nanomarkirovki, nanesennoy na stal'nyye izdeliya s pomoshch'yu skaniruyushchego zondovogo mikroskopa, pod deyst-viyem ekspluatatsionnykh faktorov [Investigation of the durability of nanomarkings applied to steel products using a scanning probe microscope under the influence of operational factors]. NBI tekhnologii [NBI Technologies], 2021. vol. 15, no. 1, pp. 28-33. (In Russian). https://doi.org/10.15688/NBIT.jvolsu.2021.1.4
2. Zaporotskova I. V., Kislova T. V., Sukharev A. G. Primenenie skaniruyushchey zondovoy mikroskopii dlya sozdaniya zashchitnykh nanomarkirovok [Application of scanning probe microscopy to create protective nanomarkings]. Vestnik Volgogradskogo gosudarstvennogo universiteta. Seriya 10: Innovatsionnaya deyatel'nost' [Science Journal of Volgograd State University. Technology and Innovations], 2008, no. 3, pp. 81-87. (In Russian).
3. Gulyaev P. V., Tyurikov A. V., Ermolin K. S., Shelkovnikova T. E. Obrabotka i raspoznavanie izobrazheniy dvukhkoordinatnykh repernykh otmetok v skaniruyushchey zondovoy mikroskopii [Processing and Recognition of Two-Coordinate Reference Marks Images in Scanning Probe Microscopy]. Khimicheskayafizika i mezoskopiya [Chemical Physics and Mesoscopy], 2021, vol. 23, no. 3, pp. 374-380. (In Russian). https://doi.org/10.15350/17270529.2021.3.34
4. Gulyaev P. V. Binarnaya klassifikatsiya izobrazheniy repernoy mikromarkirovki v zondovoy mikroskopii s ispol'zovaniyem konventsial'nykh metodov obrabotki [Binary classification of reference micromarks images in probe microscopy using conventional processing methods]. Tsifrovaya obrabotka signalov [Digital Signal Processing], 2022, no. 3, pp. 38-44. (In Russian).
5. Duda R. O., Hart P. E. Use of the Hough transformation to detect lines and curves in pictures. Communication of the ACM, 1972, vol. 15, no. 1, pp. 11-15. https://doi.org/10.1145/361237.361242
6. OpenCV. https://opencv.org/ (accessed September 07, 2021).
7. Gonzalez R. C., Woods R. E. Digital image processing. Pearson Education, 2008. 954 p.
Поступила 03.07.2023; принята к опубликованию 01.08.2023 Received July 3, 2023; accepted August 1, 2023
Информация об авторе
Гуляев Павел Валентинович, кандидат технических наук, старший научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация, e-mail: lucac@inbox. ru
Information about the author
Pavel V. Gulyaev, Cand. Sci. (Eng.), Senior Researcher, Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federation, e-mail: lucac@inbox. ru
