CC BY
12
Применение реперных отметок для координатной привязки к поверхности в сканирующей зондовой микроскопии
П. В. Гуляев1
1 Удмуртский федеральный исследовательский центр УрО РАН, Ижевск, Россия
Аннотация
Статья посвящена координатной привязке сканирующего зондового микроскопа к исследуемой поверхности. Координатная привязка имеет большое значение при исследованиях одних и тех же объектов различными зондами и в различных средах. В качестве объекта такой привязки предложено использовать реперные отметки, нанесённые на поверхность наноиндентором вдоль прямой линии через равные промежутки. Описан порядок смещения поля зрения микроскопа в процессе обнаружения реперных отметок. Представлен алгоритм их распознавания. Алгоритм основан на корреляционном анализе изображения с помощью эталонного изображения отметки с последующим выделением особых точек изображения по локальным максимумам коэффициента корреляции. При этом использовались дескриптор взаимных расстояний между парами особых точек и коэффициент Пирсона в качестве количественного критерия распознавания. Рассмотрено три варианта эталонов: окружность, круг с градиентной заливкой и круг со сплошной заливкой. Установлено, что количество особых точек может существенно превышать количество реперных отметок. Описан метод пороговой фильтрации особых точек по значениям коэффициента корреляции. Данная фильтрация подразумевает исключение особых точек, в окрестностях которых разность максимального и минимального значения коэффициента корреляции не превышает заданного порога. Представлены результаты, подтверждающие работоспособность предложенных алгоритмов. Выработаны рекомендации по выбору настроек алгоритмов распознавания и фильтрации.
Ключевые слова: сканирующая зондовая микроскопия, коэффициент корреляции, особые точки, эталонные изображения, реперные отметки, распознавание.
Цитирование: Гуляев, П.В. Применение реперных отметок для координатной привязки к поверхности в сканирующей зондовой микроскопии / П.В. Гуляев // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 420-426. - DOI: 10.18287/2412-6179-CO-641.
Citation: Gulyaev PV. Reference marks application for surface coordinate binding in scanning probe microscopy. Computer Optics 2020; 44(3): 420-426. DOI: 10.18287/2412-6179-C0-641.
Введение
При исследовании одних и тех же участков поверхности различными методами зондовой микроскопии важной задачей является повторное установление зонда в одну и ту же область поверхности. Одним из вариантов решения этой задачи является координатная привязка микроскопа к поверхности, например, с помощью реперных отметок, которыми отмечают начало координат, исследуемую область или траекторию перемещения поля зрения к этой области. В зондовой микроскопии для этого могут использоваться отметки, нанесенные на поверхность с помощью кантилеверов или наноинденторов (нанотвердомеров). Поскольку размеры реперных отметок или их совокупностей значительно меньше размеров поверхности образца, то поиск этих отметок представляет собой весьма нетривиальную задачу, решение которой обеспечивает привязку зонда к поверхности и выведение его к целевой точке из точки с неопределённым начальным положением. В настоящей работе рассмотрим решение этой задачи с использованием реперных отметок, обозначающих тра-
екторию перемещения поля зрения и нанесённых на поверхность образца вдоль прямой линии через равные интервалы. Возможно нанесение реперных отметок в виде двух ортогональных линий, пересечение которых является конечной точкой позиционирования. При этом все предложенные в работе алгоритмические и методические решения будут иметь актуальность и для этого случая. Работоспособность предложенных решений оценим на основе изображений, которые получены на лабораторно изготовленном сканирующем зондовом (туннельном) микроскопе, имеющем поле зрения 120 мкм и разрешение 1,8 нм. В качестве образца использовался широко распространённый высокоориентированный пироли-тический графит, а в качестве инструмента для нанесения отметок - нанотвердомер NanoTest 600. Размер отметок и расстояние между ними устанавливаются таким образом, чтобы в поле зрения микроскопа умещалось не менее 5 отметок, а их поперечный размер на изображении был не менее 10 пикселей.
В процессе поиска реперных отметок возможны два варианта смещения поля зрения (кадра) микроскопа. Первый вариант является универсальным и
подразумевает относительное смещение образца и поля зрения микроскопа (рис. 1а). Если зондовый микроскоп не снабжён видеосистемой, обеспечивающей начальное позиционирование зонда в необходимую область, то координатная привязка осуществляется посредством смещения поля зрения микроскопа с помощью шаговых приводов. Зонд устанавливается в угол образца и далее перемещается вдоль его края до появления в кадре реперных отметок. После этого поле зрения микроскопа перемещается вдоль линии отметок к центру образца. Количество отметок при этом будет зависеть от размера поля зрения и его координат. По мере движения вдоль линии отметок их количество будет неизменным, а при приближении к конечной отметке - сократится. При этом они будут сосредоточены только в одной половине изображения. Второй вариант подразумевает изменение размера поля зрения микроскопа. Этот вариант применяется сразу после сближения зонда с поверхностью, особенно если имеется возможность установить зонд в непосредственной близости от линии реперных отметок, например, с помощью видеосистемы. Тогда для поиска достаточно получить несколько изображений образца с постепенным увеличением поля зрения (рис. 16) до момента обнаружения реперных отметок. Однако если реперные отметки не будут обнаружены при максимальном поле зрения, то их поиск продолжится по первому варианту.
Рис. 1. Смещение поля зрения микроскопа (1 - начальное положение; 2 - промежуточное; 3 -конечное): а) шаговое смещение при постоянном поле зрения; б) смещение с увеличением поля зрения
Таким образом, основными задачами в процессе координатной привязки зонда микроскопа являются поиск, распознавание и определение количества ре-перных отметок на последовательности изображений. Изображения получаются путём смещения образца в поле зрения или увеличения поля зрения до появления на изображении определённого количества характерных фрагментов. При высокой детализации изображения отпечатков нанотвердомера могут быть сегментированы [1-3]. Распознавание отметок целесообразно вести при таком размере поля зрения, при котором размер отметки на изображении составит 1040 пикселей. Это позволит исключить все лишние детали изображения отметки, обеспечить инвариантность относительно поворота. Надёжность обнаружения и распознавания реперных отметок во многом за-
висит от возможности их выделения на фоне окружающего рельефа поверхности. Например, на изображении, наряду с искомыми элементами, могут присутствовать схожие по внешнему виду элементы рельефа подложки. Поэтому при распознавании репер-ных отметок целесообразно использовать априорную информацию об их размере и интервале ^ нанесения. Кроме того, на основе предварительных исследований изображений отметок подбираются наиболее подходящие параметры (поле зрения, разрешение, размер изображения) и методы распознавания.
При простом, лишённом деталей изображении ре-перной отметки имеется множество вариантов её распознавания. Распознавание с использованием детекторов кривизны [4-7], морфологических преобразований [8-10], контурного анализа [11, 12], алгоритмов кластеризации [13] (выделение цепочек), сегментации [14] может быть затруднительно. Это вызвано тем, что в зондовой микроскопии изображения одного и того же участка поверхности, полученные в разное время, помимо схожих элементов, могут иметь существенные отличия, вызванные помехами, адсорбцией загрязнений, температурными дрейфами и другими негативными факторами. В таких случаях широко используются методы сопоставления с эталоном [15 -16], в которых для сравнения разнородных изображений однотипных объектов применяется корреляционный анализ [17, 18].
При выборе конкретного метода распознавания следует учитывать:
- вычислительную сложность, поскольку для
управления зондовыми микроскопами как правило не используются высокопроизводительные сигнальные процессоры и компьютеры;
- возможность получения в процессе распознава-
ния количественной информации о координате и размере особой точки.
В настоящей статье рассмотрим использование для распознавания реперных отметок на изображениях в зондовой микроскопии нормированной взаимной корреляционной функции [17].
1. Поиск особых точек изображений
Для поиска реперных отметок исходное изображение 2 (Ы * N кодируется. Кодирование заключается в вычислении коэффициента корреляции между окрестностью каждой точки (к, т) растра изображения и базисной функцией, представляющей собой эталон Н изображения реперной отметки (рис. 2).
а) ^-----/ б) в)
Рис. 2. Эталонные изображения с градиентной заливкой (а), равномерной заливкой (б), в форме окружности (в)
Алгоритм кодирования заключается в следующем.
Шаг 1. Выбирается величина параметра п, определяющего размерность анализируемой окрестности исходного изображения 2 и эталона Н:
п =1, 2, 3, ... N/2.
Шаг 2. Из растра изображения 2 формируется скользящая выборка 2кт:
g '
Ук, m : к,m е 2n + 1,...N - 2n -1 ^ Zkm = Z
ij
где
i, j е 0,1,...2n +1;
g,h = к - n,к -n + 1,...k,...,к + n -1,к + n .
Шаг 3. Вычисляется корреляционная функция [17] и записывается в ячейку hk,m массива h:
hm =
z (Zk" - Z)(Hij- H)
z (Zf - z )2 z (h,j- h )2
где Н, 2 - математическое ожидание эталона Н и локальная средняя яркость выборки 2кт соответственно.
Размерность массива к соответствует размерности растра изображения 2. Положение локальных максимумов массива к соответствует положению особых точек изображения 2, которые в первом приближении можно считать реперными отметками. Чтобы особые точки совпадали с центрами отметок, размерность Р окна поиска локальных максимумов кодированного изображения должна быть близкой к размеру двумерного массива, описывающего эталон Н, а особой точкой должен считаться только локальный максимум, расположенный в центре окна поиска. В этом случае точки локальных экстремумов массива к кодированного изображения можно рассматривать как центры характерных фрагментов, описываемых эталоном Н [3].
Алгоритм поиска особых точек можно записать следующим образом.
Шаг 1. Устанавливаем размер окна поиска
Р = 2, 4, 6, ..., N. Шаг 2. Формируем скользящую выборку ккт:
к = P, P +1,
hкт = h hu = hg ,h .
, N - P , m = P, P +1,..., N - P :
Шаг 3. Проверка условия max(h ^ = hk,m. Шаг 4. Добавляем особую точку к упорядоченному множеству Q:
П = Пи{к,m : max^-min|h^ > h0}
где ко - пороговое значение для включения особой точки в множество. Условие:
max hm - min hb^\> h0
(1)
позволяет отсеивать особые точки, связанные с фоновыми элементами изображения. Пороговые значения определяются согласно выражениям:
к0 = Ркоо,
где t - целое число t = 0, 1, 2, ..., 10; к0 - базовая величина порога (^ = 0,1).
Количество особых точек может быть очень велико. Поэтому после нанесения отметок подбираются оптимальные параметры алгоритма поиска, обеспечивающие в последующем наибольшую избирательность к репер-ным отметкам. Однако установить оптимальные параметры для всех случаев не удаётся. Поэтому процедура поиска реперных отметок может состоять из несколько итераций при различных параметрах, направленных на достижение целевого диапазона числа особых точек. Диапазон определяется величиной отношения размера поля зрения к интервалу нанесения реперных отметок, скорректированной на устанавливаемый экспериментатором допуск (±50%).
2. Выделение реперных отметок среди особых точек
Наиболее существенно результат выделения особых точек на изображении зависит:
- от отчётливости отметки (различимость отмет-
ки от соседних элементов изображения);
- типа и размера п эталона;
- размера окна поиска Р локальных максимумов. При выборе этих параметров следует руководствоваться следующими принципами.
Для отчётливых изображений реперных отметок можно использовать простые эталоны в виде окружности или круга со сплошной заливкой, для менее отчётливых - круг с градиентной заливкой. Выбор осуществляется эмпирически после нанесения отметок и их предварительного исследования.
Размер эталона должен соответствовать размеру реперной отметки. Для этого после нанесения отметок устанавливают зависимость между размером отметки и величиной поля зрения микроскопа.
Размер окна поиска влияет на количество выделяемых особых точек. Слишком маленькое окно приводит к выделению фоновых элементов или нескольких особых точек на одной частице. Слишком большое окно поиска приводит к увеличению зоны нечувствительности по краям кадра. Это означает, что элементы изображения, близкие к краям изображения, не будут учтены, так как особые точки должны совпадать с центром окна поиска.
Анализ влияния типа эталона на число выделяемых особых точек показал следующее. Применение
эталона с градиентной заливкой отличается высокой чувствительностью к неоднородностям изображений. Значения коэффициента корреляции и коэффициента t имеют больший диапазон значений. Это увеличивает возможности по выделению особых точек и их последующей фильтрации по условию (1), однако может потребовать больше итераций при подборе оптимального значения t. Например, при одинаковых параметрах поиска (размер эталона п = 20 пикселей, Р = 4, t = 0) эталон с градиентной заливкой выделил больше особых точек (обведены кружками) по сравнению с эталоном в форме окружности (рис. 3, изображение 256 х 256 пикселей, 50 х 50 мкм).
о о о
га ° 0 I О
О® О О . ' О О
Рис. 3. Результаты поиска особых точек с помощью
эталонов: с градиентной заливкой (а); без заливки (б)
Эталон со сплошной заливкой по сравнению с другими эталонами показал наименьшую чувствительность. Коэффициент корреляции для этого эталона имеет более узкий диапазон значений, что уменьшает возможности фильтрации особых точек по условию (1). Однако на контрастных изображениях эталон со сплошной заливкой характеризуется избирательностью к реперным отметкам, поэтому фильтрации особых точек по условию (1) может не потребоваться. Это снижает вычислительные затраты на обработку изображения. Например, на рис. 4, полученном после отсечения фонового рельефа на уровне 40% от максимального перепада высот, были выделены все 6 особых точек, имеющих схожие с эталонным изображением окрестности.
® ® ® <5 ®
Рис. 4. Результаты поиска особых точек с помощью эталона со сплошной заливкой А = 0, п = 13)
Совместный анализ рис. 3, 4 показывает, что одним из возможных вариантов фильтрации является сопоставление (комплексирование) множеств особых
точек Qi, полученных при различных эталонах и значениях параметров п, Р, Результатом сопоставления является пересечение:
□ = || Ц .
г
Другим, более очевидным вариантом, является фильтрация особых точек по условию (1). Для этого параметр t постепенно увеличивается. После каждого приращения выполняется новая итерация поиска и определяется количество особых точек. Увеличение t прекращается при снижении этого количества до целевого диапазона. Результаты фильтрации, представленные на рис. 5, получены при увеличении параметра t до 4 в случае эталона в форме окружности и увеличении t до 7 в случае с эталона с градиентной заливкой.
Снизить количество особых точек до количества реперных отметок на изображении удаётся не всегда. Например, на рис. 5 представлен случай, когда имеется элемент рельефа подложки, схожий с изображением реперной отметки. В таких случаях необходима более совершенная фильтрация особых точек.
« • « « «
Рис. 5. Результаты сокращения количества особых точек
В частности, возможно использование для этих целей значений межцентровых интервалов и углов поворота реперных отметок, используемых при их нанесении. Алгоритм распознавания реперных отметок при такой фильтрации описывается следующим образом.
Шаг 1. Из множества Ц особых точек мощностью составляются пары. Всего из 5 точек можно образовать Ск = к (к -1)/2 пар точек. Шаг 2. Формируется усеченное множество Л особых точек, в которое входят пары точек длиной а0:
С2 С2
л = и2 и2 {(хг,уг),(*.-,у,),а:а = а0 + 5},
г=1 j=г ^ ^
где (х, у г) 6 Ц; а - длина соединяющего пару точек отрезка:
а = ,](х2 - х^2 + (у2 - у^2.
Для пар особых точек множества Л длина пар а устанавливается с учётом допуска (5 пикселей для изображения 256 х 256). Если множество непу-
° О
• о® °0 • О • <5> О о о • ° • •
о О о о О
о О О О °оо о
стое, то это считается первым признаком наличия в кадре реперных отметок.
Шаг 3. Между парами множества Л вычисляются параметры параллельного переноса (сдвига) и поворота (рис. 6).
Ло_
м (х2,у2)
(хиУд
(х;,у!) »-»Ы,уП
Рис. 6. Схема вычислений взаимного поворота пар особых точек
Например, имеются две пары точек (Х у) (^2У2) и (Х у1) (х2у2). Угол поворота определяется из выражений:
а
ф = arctg ь;
а =
Ь =
(х ~ Х2)(У - у2) - (У1 - у2)(х' - х2);
(х -Х2)2 + (у -У2)2
(х - Х2)(х1 - х2) - (у - у2 )(у1 - у2 )
(х - Х2)2 + (у - у2 )2
Для вычисления сдвига точку (х[у() необходимо повернуть на угол ф вокруг точки (х0у0) -центра изображения:
Гх" = Ь(Х - Х0) + а(у1 - у0) + Х0 1 У = -а(Х - Х0) + Ь(у! - у0) + у0
После этого сдвиг пар определяется следующим образом:
Д х = Х1 - X Д у = у - у" '
Угол ф между парами особых точек может использоваться для оценки количества пар с заданными углами поворота. При расположении репер-ных отметок вдоль линии угол должен равняться 0° с допуском ±5°. Если количество пар строго соответствует ожиданиям, может быть осуществлён переход на шаг 5 алгоритма распознавания.
Шаг 4. На основе множества значений (Ах,-, Ду) строится уравнение линейной регрессии и вычисляется коэффициент корреляции Пирсона. Высокое значение коэффициента Пирсона (более 0,8) является окончательным признаком наличия в кадре микроскопа реперных отметок.
Шаг 5. Принятие решения о дальнейшем смещении поля зрения микроскопа. Если значение коэффициента Пирсона более 0,8, то направление дальнейшего смещения поля зрения определяется уравнением регрессии. Если координаты особых точек расположены только в одной половине изображения, то смещение считается завершённым. Если значение коэффициента Пирсона менее
0,8, то считается, что особые точки на изображении не связаны с реперными отметками. В этом случае осуществляется смещение поля зрения микроскопа вдоль края образца для дальнейшего поиска реперных отметок.
При ортогональном (крестообразном) расположении линий реперных отметок алгоритм может быть модифицирован следующим образом. На шаге 3 проверяется наличие пар с углами поворота 90 ± 5°. Случайные ортогональные пары не повлияют на дальнейший ход алгоритма. Попадание же в кадр перекрестия линий ре-перных отметок будет сопровождаться удвоением количества особых точек и резким снижением коэффициента Пирсона. Это будет являться признаком достижения конечной точки позиционирования.
3. Результаты
Рассмотрим работу разработанных алгоритмов на двух изображениях, одно из которых содержит ре-перные отметки (рис. 7а), а другое - нет (рис. 7б). Все выделенные особые точки на рис. 7а, б обведены кружками, а особые точки, составляющие пары с длиной ё = ё0, отмечены крестиками. Карты сдвига пар показаны на рис. 7в, г: точки соответствуют вычисленным значениям (Ах,, Ду,), крестик - значению (Ах,, Ду,), повторяющемуся большее число раз.
Рис. 7. Изображение (256^256 пикселей, 120^120 мкм) с особыми точками и карты сдвига пар:
при наличии реперных отметок (а, в); при отсутствии реперных отметок (б, г)
Признаком присутствия реперных отметок на изображении является наличие во множестве Л пар особых точек заданной длины и их упорядоченность, подтвержденная высоким значением коэффициента Пирсона - 0,867 (для сравнения коэффициент Пирсона для гистограммы рис. 7г составил 0,175).
Таким образом, критериями отнесения выделенных особых точек к реперным отметкам являются:
- регистрация особой точки при различных парамет-
рах n, P, ho корреляционного анализа;
- коэффициент корреляции имеет определённый знак
(для изображений на рис. 4, 5, 7 отрицательный);
- интервалы между особыми точками равны d0;
- нулевой угол поворота пар особых точек;
- упорядоченность пар особых точек (высокий ко-
эффициент Пирсона).
Выводы
Таким образом, проведенные исследования позволили получить следующие рекомендации по координатной привязке к поверхности с использованием ре-перных отметок.
Для выявления реперных отметок исходное изображение кодируется с помощью нормированной взаимной корреляционной функции (между скользящей выборкой исходного изображения и эталонным изображением реперной отметки). На изображении выделяются особые точки, совпадающие с локальными экстремумами коэффициента корреляции. При наличии помех, низкой отчётливости изображения отметки предпочтительным является применение эталона в форме круга с градиентной заливкой. При высокой отчётливости изображений отметок рекомендуется применять эталон в форме круга со сплошной заливкой. При необходимости сокращения количества анализируемых особых точек следует использовать пороговую фильтрацию. Для установления соответствия между оставшимися особыми точками и реперными отметками может применяться сравнение с известными данными по межцентровым расстояниям и углам поворота между парами реперных отметок, полученными при их нанесении.
Благодарности
Работа выполнена при поддержке комплексной программы фундаментальных исследований УрО РАН: номер проекта 18-10-1-29 «Исследование процессов формирования порошковых пористых нанома-териалов и контроль их структуры и свойств».
Литература
1. Kucharski, S.T. Depth dependence of nanoindentation pile-up patterns in copper single crystals / S.T. Kucharski, D. Jarza // Metallurgical and Materials Transactions. - 2014. - Vol. 45, Issue 11. - P. 4997-5008. - DOI: 10.1007/s11661-014-2437-4.
2. Daphalapurkar, N.P. Determination of mechanical properties of sand grains by nanoindentation / N.P. Daphalapurkar, F. Wang, B. Fu, H. Lu, R. Komanduri // Experimental Mechanics. - 2011. - Vol. 51, Issue 5. - P. 719-728. - DOI: 10.1007/s11340-010-9373-z.
3. Tranchida, D. Mechanical characterization of polymers on a nanometer scale through nanoindentation. A study on pile-up and viscoelasticity / D. Tranchida, S. Piccarolo, J. Loos, A. Alexeev // Macromolecules. - 2007. - Vol. 40, Issue 4. -P. 1259-1267. - DOI: 10.1021/ma062140k.
4. Гуляев, П.В. Особенности применения детекторов кривизны поверхности для анализа размеров наночастиц / П.В. Гуляев, Е.Ю. Шелковников, А.В. Тюриков [и др.] // Химическая физика и мезоскопия. - 2013. - Т. 15, № 1.
- С. 138-143.
5. Шелковников, Ю.К. Применение сферического детектора для анализа СТМ-изображений / Ю.К. Шелковников, П.В. Гуляев, А.В. Тюриков, С.Р. Кизнерцев, А.И. Кириллов // Ползуновский вестник.- 2012. - № 3. - С. 96-99.
6. Ramer, U. An iterative procedure for the polygonal approximation of plane closed curves / U. Ramer // Computer Graphics Image Processing. - 1972. - Vol. 1, Issue 3. - P. 244-256.
7. Liu, H.C. Partial shape classification using contour matching in distance transformer / H.C. Liu, M.D. Srinath // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1990. -Vol. 12, Issue 11. - P. 1072-1079. - DOI: 10.1109/34.61706.
8. Kimori, Y. Extended morphological processing: a practical method for automatic spot detection of biological markers from microscopic images / Y. Kimori, N. Baba, N. Morone // BMC Bioinformatics. - 2010. - Vol. 11. - 373. - DOI: 10.1186/1471-2105-11-373.
9. Elbehiery, H. Surface defects detection for ceramic tiles using image processing and morphological techniques / H. Elbehiery, A. Hefnawy, M. Elewa // International Journal of Computer, Electrical, Automation, Control and Information Engineering. - 2007. - Vol. 1, Issue 5. - P. 14881492. - DOI: 10.5281/zenodo.1084534.
10. Фурман, Я.А. Введение в контурный анализ / Я.А. Фурман, А. В. Кревецкий, А. К. Передреев. - 2-е изд., испр. -М.: Физматлит, 2003. - 592 с.
11. Canny, J.F. Finding edges and lines in images. Master's thesis. Cambridge: MIT, 1983. - P. 50-67.
12. Warnekar, C.S. A heuristic clustering algorithm using union of overlapping pattern-cells / C.S. Warnekar, G. Krishna // Pattern Recognition. - 2000. - Vol. 11, Issue 2. - P. 8593. - DOI: 10.1016/0031-3203(79)90054-2.
13. Omachi, S. Fast template matching with polynomials / S. Omachi, M. Omachi // IEEE Transactions on Image Processing. - 2007. - Vol. 16, Issue 8. - P. 2139-2149. - DOI: 10.1109/TIP.2007.901243.
14. Ronneberger, O. U-Net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, Т. Brox. - In: Medical image computing and computerassisted intervention - MICCAI 2015 / ed. by N. Navab, J. Hornegger, W. Wells, A. Frangi. - Cham: Springer, 2015.
- P. 234-241. - DOI: 10.1007/978-3-319-24574-4_28.
15. Peng, H. Document image recognition based on template matching of component block projections / H. Peng, L. Fulmi, C. Zheru // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2003. - Vol. 25, Issue 9. -P. 1188-1192. - DOI: 10.1109/TPAMI.2003.1227996.
16. Dufour, R.M. Template matching based object recognition with unknown geometric parameters / R.M. Dufour, E.L. Miller, N.P. Galatsanos // IEEE Transactions on Image Processing. - 2002. - Vol. 11, Issue 12. - P. 1385-1396. -DOI: 10.1109/TIP.2002.806245.
17. Цветков, О.В. Метод предварительного кодирования изображений в корреляционно-экстремальных системах / О.В. Цветков, Л.В. Тананыкина // Компьютерная оптика. - 2015. - Т. 39, № 5. - С. 738-743. - DOI: 10.18287/0134-2452-2015-39-5-738-743.
18. Zitova, B. Image registration methods: A survey / B. Zitova, J. Flusser // Image and Vision Computing. -2003. - Vol. 21, Issue 11. - P. 977-1000.
Сведения об авторе
Гуляев Павел Валентинович, 1973 года рождения, в 1995 году окончил факультет информатики и вычислительной техники Ижевского государственного технического университета; кандидат технических наук, работает старшим научным сотрудником в лаборатории информационно-измерительных систем Удмуртского федерального исследовательского центра УрО РАН. Область научных интересов: обработка изображений, высокоточные перемещения, зондовая микроскопия. E-mail: lucac@inbox.ru .
ГРНТИ: 50.53.15
Поступила в редакцию 27 сентября 2019 г. Окончательный вариант - 6 ноября 2019 г.
The use of reference marks for precise tip positioning in scanning probe
microscopy
P.V. Gulyaev1
1 Udmurt Research Center, Ural Branch of the Russian Academy of Sciences, Izhevsk, Russian
Abstract
The article discusses techniques for the precise positioning of a probe tip on the surface under study in scanning probe microscopy. The precise tip positioning is of high importance when studying the same sample with various microscopes, probes, in various environments and conditions. It is offered that the precise positioning should be done by applying on the surface equidistant reference marks with a nanoindentor along a straight line. The article describes a procedure for shifting the microscope's field of view for detecting the reference marks and subsequently moving the probe along the marks line. A reference marks recognition algorithm is presented. The algorithm is based on the image correlation analysis using a master mark image and the subsequent extraction of special points (at local maxima of the correlation coefficient). A descriptor of mutual distances between the special points and the Pearson coefficient (as a quantitative criterion of recognition) are used for recognition. Three types of reference marks are considered: a circle, a circle with gradient filling, and a circle with continuous filling. It is shown that the number of the allocated special points can be significantly larger than that of the reference marks. A method for filtering special points is offered. The method is based on the threshold filtering of special points using values of the correlation coefficient. The filtering consists in excluding those special points in whose neighborhood the difference of the maximum and minimum of the correlation coefficient does not exceed a preset threshold. Results confirming the effectiveness of the offered filtering method are presented. Recommendations for choosing the parameters of the recognition and filtering algorithms are given.
Keywords: scanning probe microscopy, correlation coefficient, special point, master images, reference mark, recognition.
Citation: The use of reference marks for precise tip positioning in scanning probe microscopy. Computer Optics 2020; 44(3): 420-426. DOI: 10.18287/2412-6179-CO-641.
Acknowledgements: The work was partially funded by Ural Branch of the Russian Academy of Sciences under grant # 18-10-1-29.
References
[1] Kucharski ST, Jarza D. Depth dependence of nanoindenta-tion pile-up patterns in copper single crystals. Metallurgical and Materials Transactions 2014; 45(11): 4997-5008. DOI: 10.1007/s11661-014-2437-4.
[2] Daphalapurkar NP, Wang F, Fu B, Lu H, Komanduri R. Determination of mechanical properties of sand grains by nanoindentation. Experimental Mechanics 2011; 51(5): 719-728. DOI: 10.1007/s11340-010-9373-z.
[3] Tranchida D, Piccarolo S, Loos J, Alexeev A. Mechanical characterization of polymers on a nanometer scale through nanoindentation. A study on pile-up and viscoelasticity. Macromolecules 2007; 40(4): 1259-1267. DOI: 10.1021/ma062140k.
[4] Gulyaev PV, Shelkovnikov EYu, Tyurikov AV, et al. Peculiarities of surface curvature detectors usage for nanopar-ticles size analysis [In Russian]. Chemical Physics and Mesoscopy 2013; 15(1): 138-143.
[5] Shelkovnikov YuK, Gulyaev PV, Tyurikov AV, Kiznertcev SR. Use of the spherical detector for the STM-images analysis [In Russian]. Polzunovsky Vestnik 2012; 3: 96-99.
[6] Ramer U. An iterative procedure for the polygonal approximation of plane closed curves. Comp Graphics Image Process 1972; 1(3): 244-256.
[7] Liu HC, Srinath MD. Partial shape classification using contour matching in distance transformer. IEEE Trans Pat-
tern Anal Mach Intell 1990; 12(11): 1072-1079. DOI: 10.1109/34.61706.
[8] Kimori Y, Baba N, Morone N. Extended morphological processing: a practical method for automatic spot detection of biological markers from microscopic images. BMC Bioinformatics 2010; 11: 373. DOI: 10.1186/1471-210511-373.
[9] Elbehiery H, Hefnawy A, Elewa M. Surface defects detection for ceramic tiles using image processing and morphological techniques. International Journal of Computer, Electrical, Automation, Control and Information Engineering 2007; 1(5): 1488-1492. DOI: 10.5281/zenodo.1084534.
[10] Furman YaA, Krevetcki AV, Peredreev AK. Introduction to the contour analysis [In Russian]. Moscow: "Fismatlit" Publisher; 2003.
[11] Canny JF. Finding edges and lines in images. Master's thesis. Cambridge, USA: MIT; 1983: 50-67.
[12] Warnekar CS, Krishna G. A heuristic clustering algorithm using union of overlapping pattern-cells. Patt Recogn 2000; 11(2): 85-93. DOI: 10.1016/0031-3203(79)90054-2.
[13] Omachi S, Omachi M. Fast template matching with polynomials. IEEE Trans Image Proces 2007; 16(8): 21392149. DOI: 10.1109/TIP.2007.901243.
[14] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation. In Book: Navab N, Hornegger J, Wells W, Frangi A, eds. Medical image computing and computer-assisted intervention -
MICCAI 2015. Cham: Springer; 2015: 234-241. DOI: 10.1007/978-3-319-24574-4_28.
[15] Peng H, Fulmi L, Zheru C. Document image recognition based on template matching of component block projections. IEEE Trans Pattern Anal Machine Intell 2003; 25(9): 1188-1192. DOI: 10.1109/TPAMI.2003.1227996.
[16] Dufour RM, Miller EL, Galatsanos NP. Template matching based object recognition with unknown geometric pa-
rameters. IEEE Trans Image Process 2002; 11(12): 13851396. DOI: 10.1109/TIP.2002.806245.
[17] Tsvetkov OV, Tananykina LV. A preprocessing method for correlation-extremal systems. Computer Optics 2015; 39(5): 738-43. DOI: 10.18287/0134-2452-2015-39-5-738743.
[18] Zitova B, Flusser J. Image registration methods: A survey. Image and Vision Computing 2003; 21(11): 977-1000. DOI: 10.1016/S0262-8856(03)00137-9.
Author's information
Pavel Valentinovich Gulyaev (b. 1973) graduated (1995) from Izhevsk State Technical University, majoring in Informatics and Computer Sciences. Candidate in Engineering Science (2004). Currently he is senior researcher of Laboratory of Information and Measurement System in Udmurt Federal Research Center, Ural Branch of the Russian Academy of Sciences. Research interests are image processing, high-precision positioning, scanning probe microscopy. Email: lucach@yandex.ru .
Received September 27, 2019. The final version - November 6, 2019.
