CC BY
26
УДК 621.385.833 Б01: 10.15350/17270529.2019.2.35
ДЕТЕКТИРОВАНИЕ ВЫТЯНУТЫХ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ В СКАНИРУЮЩЕЙ ЗОНДОВОЙ МИКРОСКОПИИ
ГУЛЯЕВ П. В., ШЕЛКОВНИКОВ Ю. К., ТЮРИКОВ А. В.
Удмуртский федеральный исследовательский центр Уральского отделения РАН, 426067, г. Ижевск, ул. Т. Барамзиной, 34
АННОТАЦИЯ. Статья посвящена вопросам обработки изображений сканирующего зондового микроскопа в процессах технологического контроля геометрических параметров микро и наноразмерных объектов вытянутой формы. Представлена методология обработки изображений таких объектов - от предварительной фильтрации до окончательного вычисления длины. Для выделения остова объектов на СЗМ-изображении предложено использовать обработку детектором кривизны поверхности и морфологическим преобразованием (дилатация), примененных к карте кривизны. Приведены сравнительные результаты детектирования объектов с применением морфологических преобразований и без них на изображениях вытянутых объектов с малым разбросом длин. Результаты оформлены в виде гистограмм распределения объектов по размерам. Показано, что гистограмма распределения после морфологических преобразований становится более сосредоточенной.
КЛЮЧЕВЫЕ СЛОВА: вытянутые объекты, сканирующий микроскоп, фильтрация СЗМ-изображений, нанообъекты, алгоритмы детектирования.
ВВЕДЕНИЕ
В настоящее время программное обеспечение сканирующих зондовых микроскопов (СЗМ) содержит значительное количество функций для полуавтоматического измерения длин и площадей объектов. Эти возможности предполагают, как правило, ручную регулировку нескольких параметров для достижения наилучшего (с точки зрения оператора) результата. В исследовательских задачах этого оказывается достаточно, однако в ряде приложений необходимы процедуры автоматизированного измерения.
К таким приложениям можно отнести детектирование объектов на изображениях, получаемых в процессе решения следующих задач:
- контроль дисперсности (длины) объектов [1, 2];
- поиск и распознавание реперных меток, обозначающих исследуемый участок поверхности [3].
Решение этих задач связано с выполнением функций локализации и распознавания объектов на изображениях. При этом для обработки сложных изображений с наличием элементов подложки, частиц, утопленных в связующем материале, полидисперсных ансамблей частиц используются методы обработки изображений, основанные на анализе кривизны поверхности или плоских кривых [1, 2]. Для более отчетливых и структурированных изображений могут применяться контурный анализ [4 - 6], метод сравнения с шаблоном [7, 8] и морфологические преобразования [9] (например, выделение остова [10]). Преимуществом детекторов кривизны является универсальность. Их можно применять на зашумленных, слабоструктурированных изображениях с различными типами объектов. В отличие от детектора кривизны выделение остова с помощью морфологических преобразований стабильно работает только на однотипных объектах с небольшими отклонениями по ширине, а контурный анализ - на объектах с четкими границами.
ПОСТАНОВКА ЗАДАЧИ
До настоящего времени область применения детекторов кривизны ограничивалась частицами с формой, близкой к сферической. Поэтому усовершенствование этих методов для частиц вытянутой формы представляет собой значительную практическую ценность для процессов контроля зернистости, координатной привязки зонда к поверхности при выполнении нанотехнологических (нанолитографических) операций.
На рис. 1 представлены СЗМ-изображения различных объектов, автоматизированный контроль которых по изображениям, полученным с помощью зондового микроскопа, может иметь большую практическую ценность.
V
а) б) в) г)
Рис. 1. Примеры СЗМ-изображений вытянутых объектов: а) - разноразмерные гранулы; б) - зерна стали; в) - элементы магнитного диска; г) - ультрадисперсная частица меди в полистироле
МЕТОДИКА ВЫДЕЛЕНИЯ ОСТОВА ОБЪЕКТА НА ОСНОВЕ ДЕТЕКТОРА КРИВИЗНЫ ПОВЕРХНОСТИ
Методология выделения остова вытянутого объекта и определения его длины подразумевает: предварительную фильтрацию изображения; составление карты кривизны поверхности; поиск локальных экстремумов карты кривизны; выделение последовательностей локальных экстремумов, формирующих остов вытянутого объекта; вычисление длины остова; формирование гистограммы распределения по длине.
Предварительная фильтрация начинается с удаления низкочастотных искажений, вызванных неидеальностью сканирующей системы СЗМ и наклоном поверхности образца. Фильтрация осуществляется следующим образом. Подбирается аппроксимирующая наклон поверхность второго порядка
р(2)(
х, у), которая затем вычитается из исходной функции
СТМ-изображения I = /(х, у) :
2 ' = I _ р(2) ,
где I' - результирующее изображение. Далее производится отсечение фоновых элементов. Отсечение выполняется на уровне 30 % от максимального значения высоты рельефа. Заключительный этап - десегментация (размытие) СЗМ-изображений объектов с помощью Гаусс-фильтрации [10]. Данный фильтр использует нормальное распределение Гаусса для вычисления коэффициентов матрицы свертки, применяемой к обрабатываемому изображению. Уравнение распределения Гаусса для поверхности выглядит следующим образом:
ч 1 _(и2 +у2)/(2а2) °(т) =
2 2 2
где тг = и + V, и и V - пределы размытия; гг - это радиус размытия, о - стандартное
отклонение распределения Гаусса. Для обработки СЗМ-изображений удлиненных объектов величина гг выбирается с учетом их поперечного размера в пикселях.
После фильтрации начинается процесс обработки СЗМ-изображения детектором кривизны КРУГ [1], обладающим наибольшей помехоустойчивостью среди плоских детекторов кривизны. Принцип работы детектора КРУГ заключается в следующем. Окружность с радиусом г перемещается вдоль профилограммы строки I(х) или столбца растрового изображения (рис. 2). Мерой кривизны поверхности является площадь £ фигуры Б - части окружности, ограниченной профилограммой I(х) сверху. Оценка кривизны Я осуществляется по формуле [11]:
Я = 4т/3п V,
где V =
Б _ Б
/ тах(Б _Б ); Б =пт2 _Б . Для рассмотрения только выпуклых областей
проверяется неравенство:
Б < пт2 / 2.
к Z
/' \
^ б л г
! v 1 1--\ 1 1 \ 1 1 1 1 1 1 1 1 » ^ 1 1 х
-4-*-►
X
- | — Л х /1 \ / 1 " 1 1 а x
ч! ° ]С
1 1 1
-*-
г а
Б )С
л/ р'
—•-
X;
Ха
а)
X;
б)
X;
в)
Рис. 2. Схема вычисления оценки кривизны: а) - для случая гс < 2 (х,) < ги ; б) - 2 (х() > ги ; в) - 2 (х,) < га
При оценке кривизны в точке хА для интервала значений х^ еАх = [х^ - г.. хл + г ] рассчитываются следующие величины:
гкр = >/г2 -(X -хА)2 ; = 2(хл) - гкр; ги = 2(хА) + гкр .
Для площади £ фигуры Б можно записать:
Е /(х1),
£ =Ц сЮ> Б
х;- еАх
где
I (& ) =
2 (х\) - , < 2 (х) < ги;
2гкр, 2 (х) > ги;
0, 2 (х^) < гс.
В результате обработки всех строк изображения формируется множество значений функции Я, которые образуют карту кривизны поверхности - массив с размерностью, равной размерности изображения. Последовательности локальных максимумов этого массива представляют собой остовы объектов. Для выделения объекта в ячейки массива остова Мх (координаты которых совпадают с координатами локальных максимумов карты кривизны) записываются 1. Результат выделения остовов элементов магнитного диска (рис. 1, в) с помощью детектора КРУГ представлены на рис. 3, а (окно поиска локальных максимумов 6^6 пикселей).
Для формирования и определения длины остова использовался следующий алгоритм. При последовательном просмотре массива Мх нахождение 1 запускает процедуру следящего поиска последовательности. Для этого смежные ячейки массива Мх просматриваются на наличие 1. При обнаружении 1 поиск продолжается, в противном случае - заканчивается. При обнаружении 1 изменяются текущие координаты экстремума с одновременным увеличением расстояния в пикселях, предыдущий элемент цепочки в массиве Мх обнуляется.
ш
ч\.
б)
Рис. 3. Результаты выделения остовов элементов магнитного диска: а) - до дилатации; б) - после дилатации
Анализ результатов выделения остова объекта с помощью предложенного алгоритма показал, что остов может иметь разрывы. Это приводит к тому, что вместо одного длинного объекта регистрируются несколько более коротких. Для устранения данного недостатка использовалось морфологическое преобразование - дилатация с размером окна 3*3 пикселя на инвертированном изображении остова. В целом, эффект от применения дилатации проявляется в утолщении остова и заполнении разрывов (рис. 3, б). Гистограммы распределения длин остовов объектов до и после морфологического преобразования представлены на рис. 4. Анализ гистограмм показывает, что дилатация приводит к большей концентрации регистрируемых длин объектов возле реальных значений, что (учитывая структуру изображения (рис. 1, б)) является вполне объяснимым и ожидаемым.
Рис. 4. Гистограммы распределения количества N объектов по длине L: а) - до дилатации; б) - после дилатации
ЗАКЛЮЧЕНИЕ
Представленные результаты позволяют сделать следующие выводы. Изображения удлиненных объектов должны быть отфильтрованы от низкочастотных и высокочастотных искажений, а также подвергнуты размытию (например, с помощью Гаусс-фильтрации). Формирование остова и регистрация объекта по этому остову возможны посредством обработки изображения с помощью детектора кривизны и последующего поиска последовательностей локальных максимумов кривизны. Обработка остова с помощью процедур морфологического анализа позволяет повысить точность вычисления его длины.
СПИСОК ЛИТЕРАТУРЫ
1. Гафаров М. Р., Шелковников Е. Ю., Гуляев П. В., Тюриков А. В., Кизнерцев С. Р. Контроль дисперсности наночастиц в СТМ-измерениях выделением структурных элементов их изображений // Ползуновский вестник. 2011. № 3-1. С. 118-123.
2. Гуляев П. В., Шелковников Е. Ю., Тюриков А. В., Кизнерцев С. Р. Координатная привязка СТМ-изображений наночастиц с фильтрацией особых точек // Химическая физика и мезоскопия. 2017. Т. 19, № 1. С. 140-146.
3. Гуляев П. В., Шелковников Е. Ю., Ермолин К. С. Обработка и распознавание изображений реперных отметок для локализации зонда в сканирующем туннельном микроскопе // Химическая физика и мезоскопия. 2018. Т. 20, № 3. С. 437-445.
4. Бардин Б. В., Чубинский-Надеждин И. В. Обнаружение локальных объектов на цифровых микроскопических изображениях // Научное приборостроение. 2009. Т. 19, № 4. С. 96-102.
5. Бардин Б. В., Манойлов В. В., Чубинский-Надеждин И. В., Васильева Е. К., Заруцкий И. В. Определение размеров локальных объектов изображений для их идентификации // Научное приборостроение. 2010. Т. 20, № 3. C. 88-94.
6. Фурман Я. А., Кревецкий А. В., Передреев А. К. Роженцов А. А., Хафизов Р. Г., Егошина И. Л., Леухин А. Н. Введение в контурный анализ. 2-е изд., испр. М.: ФИЗМАТЛИТ, 2003. 592 с.
7. Цветков О. В., Тананыкина Л. В. Метод предварительного кодирования изображений в корреляционно-экстремальных системах // Компьютерная оптика. 2015. Т. 39, № 5. С. 738-743.
8. Завалишин Н. В., Мучник И. Б. Модели зрительного восприятия и алгоритмы анализа изображений. М.: Наука, 1974. 344 с.
9. Serra J. Image analysis and mathematical morphology. London: Academic Press, 1982. 621 p.
10. Gonzalez R. C., Woods R. E. Digital image processing. 3 Ed. USA, New Jersey: Pearson Education Inc., 2008. 954 p.
11. Каркищенко А. Н., Лепский А. Е., Безуглов А. В. Об одном способе векторного и аналитического представления контура изображения // Известия ТРТУ. 1998. № 2(8). C. 107-112.
DETECTING OF THE ELONGATED OBJECTS ON IMAGES IN THE SCANNING PROBE MICROSCOPY
Gulyaev P. V., Shelkovnikov Yu. K., Tyurikov A. V.
Udmurt Federal Research Center, Ural Brunch of the Russian Academy of Sciences, Izhevsk, Russia
SUMMARY. The article is devoted to the scanning probe microscope image processing, intended for process of technological control of geometrical parameters of micro and nanoscale objects. In particular, the methods of elongated objects detecting and size determining are considered. Steel grains, magnetic disks elements, particles with an elongated shape are used as examples of these objects.. The full methodology of elongated objects image processing, ranging from pre-filtering to the final calculation of length, presented. The main images distortions that prevent correct detection and size determination of the elongated objects are determined: distortions from the scanner nonideality, background noise, high-frequency noise and the segmentation of the object image. The minimal required set of filters consist of tilt removal, background clipping, smoothing. To highlight the objects skeleton in the SPM image, it is proposed to use the surface curvature detector. Greater versatility and resistance to these image errors are called as the main advantages of the detector. The detection principle, containing a circle sliding along the profilograms of the image, is described. The curvature evaluation is based on the calculation of the area of the profilograms limited to the circumference of the detector. The initial skeleton is formed by searching local maxima In the curvature map. The algorithm of the maxima searching of and skeleton length determining is described. Studies of the initial skeleton have shown that it may have small gaps. With automatic processing, these gaps can result in the detection of several short objects in place of one longer object. It is shown that these gaps can be eliminated by means of morphological transformations applied to the curvature map. the dilation or the calculation of the gradient is proposed as such transformation. Comparative results of objects detection with application of morphological transformations and without them on images of elongated objects with small lengths dispersion are given. The results are presented in the form of lengths distribution histograms. It is shown that the histogram of distribution after morphological transformations becomes more concentrated. Thus, efficiency and expediency of the offered methods of filtration, calculation of curvature of a surface, formation of a skeleton and calculation of its length are confirmed.
KEYWORDS: elongated object, scanning probe microscope, SPM image filtration, nanoobjects, detection algorithms. REFERENCES
1. Gafarov M. R., Shelkovnikov E. Yu., Gulyaev P. V., Tyurikov A. V., Kiznertsev S. R. Kontrol' dispersnosti nanochastits v STM-izmereniyakh vydeleniem strukturnykh elementov ikh izobrazheniy [Nanoparticles dispersion control in STM-measurements by allocation of structural elements of their images]. Polzunovskiy vestnik [Polzunovskiy messenger], 2011, no. 3-1, pp. 118-123.
2. Gulyaev P. V., Shelkovnikov E. Yu., Tyurikov A. V., Kiznertsev S. R. Koordinatnaya privyazka STM-izobrazheniy nanochastits s fil'tratsiey osobykh tochek [The coordinate binding of nanoparticles STM-images with characteristic points filtration]. Khimicheskayafizika i mezoskopiya [Chemical Physics and Mesoscopy], 2017, vol. 19, no. 1, pp. 140-146.
3. Gulyaev P. V., Shelkovnikov E. Yu., Ermolin K. S. Obrabotka i raspoznavanie izobrazheniy repernykh otmetok dlya lokalizatsii zonda v skaniruyushchem tunnel'nom mikroskope [Processing and recognition of images of reference marks for localization of the probe in scanning tunnel microscopy]. Khimicheskaya fizika i mezoskopiya [Chemical Physics and Mesoscopy], 2018, vol. 20, no. 3, pp. 437-445.
4. Bardin B. V., Chubinskiy-Nadezhdin I. V. Obnaruzhenie lokal'nykh ob"ektov na tsifrovykh mikroskopicheskikh izobrazheniyakh [Detection of local objects on digital microscopes images]. Nauchnoe priborostroenie [Scientific instrument engineering], 2009, vol. 19, no. 4, pp. 96-102.
5. Bardin B. V., Manoylov V. V., Chubinskiy-Nadezhdin I. V., Vasil'eva E. K., Zarutskiy I. V. Opredelenie razmerov lokal'nykh ob"ektov izobrazheniy dlya ikh identifikatsii [Determination of sizes of local image objects for their identification]. Nauchnoe priborostroenie [Scientific instrument engineering], 2010, vol. 20, no. 3, pp. 88-94.
6. Furman Ya. A., Krevetskiy A. V., Peredreev A. K. Rozhentsov A. A., Khafizov R. G., Egoshina I. L., Leukhin A. N. Vvedenie v konturnyy analiz [Introduction to the contour analysis]. 2-e izd., ispr. Moscow: Fizmatlit Publ., 2003. 592 p.
7. Tsvetkov O. V., Tananykina L. V. Metod predvaritel'nogo kodirovaniya izobrazheniy v korrelyatsionno-ekstremal'nykh sistemakh [A preprocessing method for correlation-extremal systems]. Komp'yuternaya optika [Computer Optics], 2015, vol. 39, no. 5, pp. 738-743. https://doi.org/10.18287/0134-2452-2015-39-5-738-743
8 Zavalishin N. V., Muchnik I. B. Modeli zritel'nogo vospriyatiya i algoritmy analiza izobrazheniy [Models of visual perception and algorithms of image analyze]. Moscow: Nauka Publ., 1974. 344 p.
9. Serra J. Image analysis and mathematical morphology. London: Academic Press, 1982. 621 p.
10. Gonzalez R. C., Woods R. E. Digital image processing. 3 Ed. USA, New Jersey: Pearson Education Inc., 2008. 954 p.
11. Karkishchenko A. N., Lepskiy A. E., Bezuglov A. V. Ob odnom sposobe vektornogo i analiticheskogo predstavleniya kontura izobrazheniya [About one way of vector - analytical representation of images contour]. Izvestiya TRTU [News TSURE], 1998, no. 2(8), pp. 107-112.
Гуляев Павел Валентинович, кандидат технических наук, старший научный сотрудник, Институт механики УдмФИЦ УрО РАН, e-mail: lucac@e-izhevsk. ru
Шелковников Юрий Константинович, доктор технических наук, профессор, главный научный сотрудник, Институт механики УдмФИЦ УрО РАН, профессор кафедры «Радиотехника» ИжГТУ имени М.Т. Калашникова, e-mail: yushelk@mail. ru
Тюриков Александр Валерьевич, кандидат физико-математических наук, старший научный сотрудник, Институт механики УдмФИЦ УрО РАН, e-mail: alex. [email protected]
