CC BY
14
https://doi.Org/10.15350/17270529.2021.3.34
УДК 621.385.833
Обработка и распознавание изображений двухкоординатных реперных отметок в сканирующей зондовой микроскопии
П. В. Гуляев, А. В. Тюриков, К. С. Ермолин, Т. Е. Шелковникова
Удмуртский федеральный исследовательский центр УрО РАН, Россия, 426067, Ижевск, ул. Т. Барамзиной, д. 34
Аннотация. Статья посвящена проблеме автоматического позиционирования сканирующего зондового микроскопа в исследуемую область после смены зонда, обработки поверхности образца и т.п. В качестве вспомогательного инструмента для позиционирования предложено использовать реперные отметки, обозначающие направление смещения зонда к исследуемой области. Рассматриваемый паттерн реперных отметок - крест. Описан способ выделения реперных отметок на изображении, в основе которого анализ кривизны поверхности. Предложен алгоритм распознавания реперных отметок, основанный на структурном анализе расположения особых точек - локальных экстремумов кривизны. Для анализа выделяются пары особых точек, из которых выбираются пары определенной длины и определенного угла наклона. Для отобранных пар вычисляются параметры параллельного переноса. При наличии в кадре реперных отметок эти параметры упорядочены вдоль прямой линии, что является количественной мерой распознавания реперных отметок.
Ключевые слова: реперные отметки, сканирующий туннельный микроскоп, фильтрация
СТМ-изображений, нанообъекты, алгоритмы детектирования.
И Павел Гуляев, e-mail: lucac@e-izhevsk. ru
Processing and Recognition of Two-Coordinate Reference Images in a Scanning Probe Microscopy
Pavel V. Gulyaev, Alexander V. Tyurikov, Kirill S. Ermolin, Tatyana E. Shelkovnikova
Udmurt Federal Research Center UB RAS (T. Baramzina Str., 34, Izhevsk, 426067, Russian Federation)
Summary. The article is devoted to the problem of automatic positioning of a scanning probe microscope in the investigated area after changing the probe, treatment of the sample surface, etc. As an auxiliary tool for positioning, it is proposed to use reference marks indicating directions of probe displacement towards the investigated area. The considered pattern of reference marks is a cross. The method of marking was nanolithography on the surface using a NanoTest 600 nanosilver or an atomic force microscope cantilever. Highly oriented pyrolytic graphite, widely used as a substrate due to its atomic-smooth surface, served as a sample. Typical images of such reference marks are presented. The analysis of their features is performed. It has been established that the characteristic feature of reference marks are convex areas obtained as a result of extrusion of sample material. A method of selecting reference marks in the image based on the analysis of surface curvature is described. A volumetric spherical curvature detector was used to calculate curvature. The detector is based on the extraction of a certain area of relief with a sphere detector and subsequent calculation of this volume with an inscribed sphere, the radius of which represents the radius of curvature of the surface. Calculation of the radius of curvature at each point of the image allowed to generate maps of curvature for the image and use them further to find reference marks. We propose a reference mark detection algorithm based on a structural analysis of the location of particular points - local extremes of curvature. To check the presence of reference marks in the frame, pairs of special points are selected from which pairs of a certain length and a certain (equal or close to zero) angle of mutual rotation are chosen. To work with cross reference marks a descriptor of pairs of special points with an angle of inclination to the horizontal axis was developed. Additional differentiation of the pairs allowed us to divide the reference marks lying on different lines. Parallel transfer parameters are calculated for the selected groups of pairs. If there are reference marks in the frame, these parameters are ordered along the straight line. The Pearson coefficient was proposed as a quantitative measure of ordering. A high value of this coefficient (more than 0.8) is a sign of reference marks recognition. The results confirming the performance of the proposed solutions are presented.
Keywords: reference point, scanning tunneling microscope, filtering of STM-images, nano-objects, detection algorithms.
И Pavel Gulyaev, e-mail: lucac@e-izhevsk. ru
374
CHEMICAL PHYSICS AND MESOSCOPY, 2021, vol. 23, no. 3
ВВЕДЕНИЕ
При исследовании протекания таких процессов как коррозия, нанесение пленок, адсорбция [1, 2] на сканирующую зондовую микроскопию (СЗМ) возлагается задача позиционирования зонда в одну и ту же область поверхности в различные промежутки времени. Это позволяет выполнять сравнительные исследования определенной области поверхности с помощью различных зондов в различные моменты времени. Наличие у зондового микроскопа системы видеонаблюдения обеспечивает только первоначальное позиционирование зонда. Дальнейшее позиционирование осуществляется посредством смещения образца или поля зрения микроскопа с помощью предназначенных для этого приводов. В качестве ориентиров при этом могут использоваться специально нанесенные реперные отметки (рис. 1, а). Целью данной статьи является обеспечение автоматического позиционирования зонда СЗМ в необходимую область поверхности исследуемого образца с применением реперных отметок.
РЕПЕРНЫЕ ОТМЕТКИ
Реперные отметки наносятся на поверхность и играют роль маркировки, помечающую необходимую область на образце. Отметки располагаются в линию, ведущие от интересуемой области к краю образца или другим макроскопическим точкам привязки (рис. 1).
Форма реперной отметки и паттерн нанесения оказывают существенное влияние на выбор алгоритмов поиска и распознавания. В зависимости от инструмента нанесения отметки могут быть микроразмерными и наноразмерными. Первые наносятся с помощью индентора нанотвердомеров, (например, Nanotest 600), вторые могут наноситься кантилевером СЗМ.
Микроразмерные отметки могут быть обнаружены с помощью видеоподсистемы СЗМ. При их распознавании следует учитывать угол зрения видеокамеры, направление подсветки. Ограниченное разрешение видеокамер не позволяет получить высокую детализацию изображений отметок. Для распознавания можно применять известные методы: сравнение с шаблоном, сопоставление по особым точкам с дескрипторами инвариантными к масштабу, повороту, освещенности, например SURF.
Изображения наноразмерных отметок получаются средствами СЗМ. Их особенностью является высокая степень детализации, благодаря высокой разрешающей способности СЗМ, и подверженность искажениям снимков из-за присущих СЗМ шумов.
Паттерн нанесения отметок определяет характер процедуры позиционирования. Например, в работе [3] использовался линейный паттерн - отметки расположены вдоль линии через равное расстояние. Позиционирование в этом случае подразумевало смещение поля зрения вдоль края образца до обнаружения линии отметок с последующим смещением вдоль этой линии до целевой точки (рис. 1, а). Недостатками линейного паттерна являются:
- одномерность маркировки направления движения поля зрения;
- равнозначность конечных точек маркировки, что не позволяет отличать начало и конец;
- отсутствие маркировки у области интереса.
Устранение данных недостатков возможно за счет дополнительной маркировки, например, обозначение двух направлений позиционирования в виде ортогональных линий (рис. 1, b), а также периметра области интереса. Расположение отметок по периметру заданной области позволяет четко задать ее границы. Однако при нанесении отметок могут возникнуть отвалы и прочие артефакты [4 - 6], нарушающие поверхность в пределах области (рис. 2). В этом случае область интереса может быть привязана к пересечению перпендикулярных линий реперных отметок (рис. 1, b) без дополнительной маркировки.
ХИМИЧЕСКАЯ ФИЗИКА И МЕЗОСКОПИЯ. 2021. Том 23, № 3
375
a) b)
Рис. 1. Образец с нанесенными реперными точками: а) - процесс расширения поля зрения; b) - процесс перемещения поля зрения микроскопа (1 - начальное положение; 2 - промежуточное; 3 - конечное)
Fig. 1. Sample with applied reference points: a) - the process of expanding the field of view; b) - the process of moving the field of view of the microscope (1 - initial position; 2 - intermediate; 3 - final)
АЛГОРИТМ РАСПОЗНАВАНИЯ
Рассмотрим возможные алгоритмы распознавания паттернов реперных отметок с учетом технологии нанесения.
Для нанесения отметок использовались два метода - нанотвердомер Nanotest 600 и метод литографии с применением кантилевера СЗМ. Достоинство первого инструмента -возможность нанесения отметок на поверхности с высокой твердостью, недостаток -значительные размеры отметки (рис. 2, а). Нанолитография позволяет получать отметки размерами меньше 1 мкм (рис. 2, b), но жесткость кантилеверов (не более 150 Н/м) ограничивает тип поверхности, на которую возможно нанесение отметок. Кроме того, небольшие размеры отметки затрудняют их обнаружение на поверхности с помощью видеоподсистем.
Для выделения реперных отметок на образце использовался детектор кривизны поверхности [7], регистрирующий локальные максимумы кривизны (особые точки). Это выглядит вполне логичным, учитывая, что процесс нанесения отметки связан с механическим воздействием на поверхность - выдавливанием отметки с помощью заостренного инструмента. При достаточно ровной поверхности, детектор позволяет получать существенные отличия в кривизне области отметки и образца.
b)
Рис. 2 СЗМ-изображения реперной отметки: а) - изображение отпечатка индентора, полученное на установке Nanotest 600 на пиролитическом графите (20x20 мкм); b) - изображение отпечатка кантилевера NSG10 на полистироле (0.5x0.5 мкм)
Fig. 2. SPM images of the reference mark: a) - image of the indentation of the indenter, obtained on the Nanotest 600 installation on pyrolytic graphite (20 *20 pm); b) - image of an NSG10 cantilever print on polystyrene (0.5 *0.5 pm)
376
CHEMICAL PHYSICS AND MESOSCOPY, 2021, vol. 23, no. 3
Схема вычисления кривизны поверхности с использованием сферического детектора представлена на рис. 3. Каждое из перекрывающихся изображений Z0 и Z/ обрабатывается детектором кривизны. Для этого вдоль поверхности Z(x, у) (рис. 3) перемещается центр сферы небольшого радиуса r (радиус детектора). Если обозначить объем части рельефа, заключенной внутри этой сферы через V и аппроксимировать этот объем другой сферой с радиусом R, тогда кривизна поверхности может быть оценена следующим выражением:
R = -
3лг
4(3 V - 2nr3) ’
где значение V определяется по приближенной формуле вычисления интеграла:
V=Д[dv * Z Z f(x, у) ,
V X ,y^p
где Р - проекция сферы детектора на плоскость XY. Для каждой точки из окрестности P c координатами xi, yi находятся высота рельефа Z(xi,yi) верхняя zu и нижняя zd координаты пересечения со сферой г. Для выпуклых поверхностей zd <Z(xi,yi)< zu значение подынтегральной функции f(xi,y1) принимается равным Z(xi,yi) - zd.
Рис. 3. Схема вычисления кривизны поверхности сферическим детектором
Fig. 3. Scheme for calculating surface curvature by a spherical detector
В вычислениях, производимых в точке А, участвуют точки (Xi, yi) е P, т.е.
принадлежащие кругу с радиусом r: d = J(Xj - xA)2 + (у -уА)2 < r . Изменяя d от 0 до г,
в каждой такой точке вычисляются следующие величины: диапазон zsh =уr - d ;
нижняя граница z
Z(ха,УА)-zsh; верхняя граница zu = Z (xA,уА) + zsh. Тогда:
f ( X, У H 2 z
Z (X, У-)-zd,
-sh’
0
Zd < Z (X, У )< Zu
Z (X, Уг )^ Zu
Z (X, Уг )< Zd
После расчета величины R для всех точек изображения, выделяются особые точки -локальные экстремумы кривизны, и осуществляется анализ их упорядоченности. В работе [3] такой анализ заключался в выделении пар особых точек определенной длины, расчета параметров взаимного смещения и поворота пар, параметров линейной регрессии величин смещения и коэффициента Пирсона. Однако анализ рассчитывался для распознавания реперных отметок, расположенных вдоль прямой линии с нулевым углом поворота, друг относительно друга. При наличии в кадре только таких пар коэффициент Пирсона стремился к единице. При наличии на изображении ортогонально расположенных пар (рис. 4, а) коэффициент Пирсона снижался в несколько раз. На рис. 4, b представлено множество
ХИМИЧЕСКАЯ ФИЗИКА И МЕЗОСКОПИЯ. 2021. Том 23, № 3
377
значений параметров сдвига пар (отмечены крестиками) особых точек, а также график уравнения линейной регрессии. Из рисунка видно, что линейная регрессия плохо описывает упорядоченность особых точек. Это подтверждается низким значением коэффициента Пирсона (0.23).
На рис. 4, b можно выделить три группы значений. Первые две группы образованы парами особых точек, расположенных вдоль ортогональных линий. При независимом рассмотрении эти группы имеют высокую упорядоченность. Третья группа значений обусловлена наличием особых точек, лежащих вне упомянутых линий, и отличается отсутствием упорядоченности. Исключение из анализа значений третей группы и обеспечение независимости рассмотрения первой и второй групп позволит оценить упорядоченность особых точек изображения.
• ♦
: I \
а)
Y, px
100
-100
-200
X X X X -
> X X X ^ X X X X < xX к ^ к * *
X X X X . X X X X X
X X X X X X XX X
-200 -100 0 b)
100 X, px
0
Рис. 4. Изображения ортогональных линий реперных отметок (а) и результаты расчета взаимного смещения пар особых точек (b)
Fig. 4. Images of orthogonal lines of reference marks (a) and the results of calculating the mutual displacement of pairs of singular points (b)
В связи с этим для распознавания отметок на ортогональных линиях процедура анализа была усовершенствована. Для этого из множества особых точек Q мощностью S
составляются пары. Всего из S точек можно образовать C£ =
2 k (k -1)
2
пар точек. Далее
формируются усеченные множества Л1 и Л2 особых точек, в которое входят пары точек длиной do (с допуском ~ 5 пикселей для изображения 256*256) и определенным углом
наклона ф относительно оси X:
(1)
(2)
где (xi,yi) еП; d- длина соединяющего пару точек отрезка: d = ^(x2 -x1)2 -(y2 -y1)2 .
При соблюдении ориентации образца в СЗМ, диапазон допустимых углов в выражениях (1), (2) может быть уменьшен, поскольку угол наклона линий реперных отметок априорно известен с момента их нанесения.
Если множества Л1 и Л2 непустые, то это считается первым признаком наличия на изображении реперных отметок. Между парами внутри множеств Л1 и Л2 вычисляются параметры взаимного смещения (Дхь Ду) и поворота ф согласно [3].
378
CHEMICAL PHYSICS AND MESOSCOPY, 2021, vol. 23, no. 3
Первым признаком наличия реперных отметок является наличие пар с нулевыми значениями ф. Второй признак наличия реперных отметок определяется следующим образом. На основе множества значений (Дхь Дуг) для множеств Л1 и Л2 строится уравнение линейной регрессии и вычисляется коэффициент корреляции Пирсона. Высокое значение коэффициента Пирсона (более 0.8) для обоих множеств является окончательным признаком наличия на изображении реперных отметок.
На рис. 5 представлены результаты вычисления параметров сдвига (Дхь Дуг) (отмечены крестиками) для подмножеств Л1 и Л2, сформированных для рис. 4, а. Анализ рис. 5 показал высокую эффективность предложенного метода формирования подмножеств Л1 и Л2 реперных отметок. График линейной регрессии и коэффициент Пирсона (~ 0.997 и ~ 0.989) для данных изображений показал высокую упорядоченность особых точек, что является признаком попадания перекрестия в поле зрения микроскопа.
а)
Ь)
Рис. 5. Результаты расчета взаимного смещения пар особых точек для множеств (а) и Л2 (b)
Fig. 5. Results of calculating the mutual displacement of pairs of singular points for the sets Л1 (a) and Л2 (b)
ВЫВОДЫ
Рассмотрена возможность анализа упорядоченности пар особых точек путем составления из них пар, вычисления значений взаимного сдвига для всех сочетаний пар, составление на основе этих значений уравнения линейной регрессии и коэффициента Пирсона.
Дифференциация пар особых точек по углу наклона к горизонтальной оси позволяет использовать имеющийся аппарат анализа упорядоченности множества особых точек для ортогональных линий реперных отметок. В качестве критерия попадания в кадр искомой области можно считать наличие двух непустых множеств особых точек с определенным диапазоном угла ориентации и высоким значением коэффициента Пирсона для значений смещения пар особых внутри множеств.
СПИСОК ЛИТЕРАТУРЫ
1. Eren B., Hug D., Marot L., Pawlak R., Kisiel M.; Steiner R.; Zumbuhl D. M.; Meyer E. Pure hydrogen low-temperature plasma exposure of HOPG and graphene: Graphane formation? // Beilstein Journal Nanotechnology, 2012, vol. 3, pp. 852-859. https://doi.org/10.3762/bjnano.3.96
2. Kwon S., Vidic R., Borguet E. Enhancement of adsorption on graphite (HOPG) by modification of surface chemical functionality and morphology // Carbon, 2002, vol. 40, iss. 13, pp. 2351-2358. https://doi.org/10.1016/S0008-6223(02)00155-0
3. Гуляев П. В. Применение реперных отметок для координатной привязки к поверхности в
сканирующей зондовой микроскопии // Компьютерная оптика. 2020. Т. 44, № 3. С. 420-426.
https://doi.org/10.18287/2412-6179-CO-641
ХИМИЧЕСКАЯ ФИЗИКА И МЕЗОСКОПИЯ. 2021. Том 23, № 3
379
4. Kucharski S. T., Jarz^bek D. Depth Dependence of Nanoindentation Pile-Up Patterns in Copper Single Crystals // Metallurgical and Materials Transactions A, 2014, vol. 45(11), pp. 4997-5008. https://doi.org/10.1007/s11661-014-2437-4
5. Daphalapurkar N. P., Wang F., Fu B., Lu H., Komanduri R. Determination of Mechanical Properties of Sand Grains by Nanoindentation // Experimental Mechanics, 2011, vol. 51(5), pp. 719-728. https://doi.org/10.1007/s11340-010-9373-z
6. Tranchida D., Piccarolo S., Loos J., Alexeev A. Mechanical Characterization of Polymers on a Nanometer Scale through Nanoindentation. A Study on Pile-up and Viscoelasticity // Macromolecules, 2007, vol. 40(4), pp. 1259-1267. https://doi.org/10.1021/ma062140k
7. Гуляев П. В., Шелковников Е. Ю., Тюриков А. В., Осипов Н. И., Кизнерцев С. Р. Особенности применения детекторов кривизны поверхности для анализа размеров наночастиц // Химическая физика и мезоскопия. 2013. Т. 15, № 1. С. 138-143.
REFERENCES
1. Eren B., Hug D., Marot L., Pawlak R., Kisiel M.; Steiner R.; Zumbuhl D. M.; Meyer E. Pure hydrogen low-temperature plasma exposure of HOPG and graphene: Graphane formation? Beilstein Journal Nanotechnology, 2012, vol. 3, pp. 852-859. https://doi.org/10.3762/bjnano.3.96
2. Kwon S., Vidic R., Borguet E. Enhancement of adsorption on graphite (HOPG) by modification of surface chemical functionality and morphology. Carbon, 2002, vol. 40, iss. 13, pp. 2351-2358. https://doi.org/10.1016/S0008-6223(02)00155-0
3. Gulyaev P. V. Primenenie repernyh otmetok dlya koordinatnoj privyazki k poverhnosti v skaniruyushchej
zondovoj mikroskopii [The use of reference marks for precise tip positioning in scanning probe microscopy]. Komp'yuternaya optika [Computer Optics], 2020, vol. 44, no. 3, pp. 470-476 (in Russian).
https://doi.org/10.18287/2412-6179-CO-641
4. Kucharski S. T., Jarz^bek D. Depth Dependence of Nanoindentation Pile-Up Patterns in Copper Single
Crystals. Metallurgical and Materials Transactions A, 2014, vol. 45(11), pp. 4997-5008.
https://doi.org/10.1007/s11661-014-2437-4
5. Daphalapurkar N. P., Wang F., Fu B., Lu H., Komanduri R. Determination of Mechanical Properties of Sand Grains by Nanoindentation. Experimental Mechanics, 2011, vol. 51(5), pp. 719-728. https://doi.org/10.1007/s11340-010-9373-z
6. Tranchida D., Piccarolo S., Loos J., Alexeev A. Mechanical Characterization of Polymers on a Nanometer Scale through Nanoindentation. A Study on Pile-up and Viscoelasticity. Macromolecules, 2007, vol. 40(4), pp. 1259-1267. https://doi.org/10.1021/ma062140k
7. Gulyaev P. V., Shelkovnikov E. Yu., Tyurikov A. V., Osipov N. I., Kiznertsev S. R. Osobennosti primeneniya detektorov krivizny poverkhnosti dlya analiza razmerov nanochastits [Features of applying the surface curvature detectors for analysis of the size of nanoparticles]. Khimicheskaya fizika i mezoskopiya [Chemical Physics and Mesoscopy], 2013, vol. 15, no. 1, pp. 138-143. (In Russian).
Поступила 22.09.2021; после доработки 04.10.2021; принята к опубликованию 07.10.2021 Received 22 September 2021; received in revised form 04 November 2021; accepted 07 November 2021
Гуляев Павел Валентинович, кандидат технических наук, старший научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация, e-mail: lucac@e-izhevsk. ru
Тюриков Александр Валерьевич, кандидат физикоматематических наук, старший научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация
Ермолин Кирилл Сергеевич, младший научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация
Шелковникова Татьяна Евгеньевна, младший научный сотрудник, УдмФИЦ УрО РАН, Ижевск, Российская Федерация
Pavel V. Gulyaev, Cand. Sci. (Tech.), Senior
Researcher, Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federation,
e-mail: lucac@e-izhevsk. ru
Alexander V. Tyurikov, Cand. Sci. (Phys.-Math.),
Senior Researcher, Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federation
Kirill S. Ermolin, Junior Researcher, Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federation
Tatyana E. Shelkovnikova, Junior Researcher,
Udmurt Federal Research Center UB RAS, Izhevsk, Russian Federatio
380
CHEMICAL PHYSICS AND MESOSCOPY, 2021, vol. 23, no. 3
