CC BY
11
ТЕОРЕТИЧЕСКАЯ И МАТЕМАТИЧЕСКАЯ ФИЗИКА УДК 519.21
О МОРФОЛОГИЧЕСКИХ МЕТОДАХ АНАЛИЗА МНОГОФОКУСНЫХ ИЗОБРАЖЕНИЙ
А. А. Захарченко, А. И. Чуличков
(.кафедра компьютерных методов физики) E-mail: ach@cmp.phys.msu.ru
Решена задача реконструкции рельефа поверхности по набору изображений, полученных микроскопом с различными положениями фокуса. Метод восстановления инвариантен к условиям освещения, конструкции оптического прибора, формирующего изображение, и применим к широкому классу поверхностей.
Введение
Современные методы реконструкции рельефа поверхности по изображениям, формируемым оптической системой, делятся на две группы: активные и пассивные [1]. Пассивные методы основаны на попытках извлечь информацию о рельефе, используя одно изображение. К ним относятся нахождения формы по тени объекта или его текстуре. Такие методы имеют довольно узкое применение из-за отсутствия в большинстве случаев необходимой априорной информации об объекте и должны скорее использоваться в совокупности с активными методами.
Активные методы используют дополнительную информацию о рельефе, которая не заключена лишь в одном изображении. В большинстве случаев активные методы используют различия в изображениях при движении объекта по направлению главной оптической оси системы (приближению и удалению) или при изменении фокуса оптической системы. Такие методы используют пирамидальное представление изображений [2], суть которого выражается в том, что «размытое» изображение сильнее отличается от исходного в местах наибольшей детализации объектов. Таким образом, используя повторное «размытие» изображения, можно определить, на каком изображении данная область находится в фокусе. Недостатком таких методов является лишь качественное описание модели, на основании которой невозможно вычислить погрешность определения рельефа поверхности и, следовательно, построить измерительный прибор.
Чем меньше глубина фокуса прибора, тем точнее можно восстановить трехмерную сцену. В данной статье предложен новый подход к реконструкции трехмерной поверхности по набору ее изображений, полученных оптическим микроскопом с разным положением фокуса. Этот подход основан на понятии формы сигнала [3]. Использовался мик-
роскоп с достаточно малой (по сравнению с другими оптическими приборами) глубиной фокуса (0.1-0.5 мкм).
Модель многофокусного изображения
Пусть в трехмерном пространстве /?з расположен непрозрачный объект, и его изображение строит некоторая оптическая система. Введем декартову прямоугольную систему координат, в которой ось Ог совпадает с оптической осью системы, и будем считать, что поверхность объекта задана уравнением
г = г(х,у)\ (1)
точка поверхности с координатами (х,у,г(х,у)) обладает яркостью ¡(х,у), и в результате оптическая система строит изображение трехмерного распределения источников света
1(х, у, z) = f(x, у) S(z — z(x, у)) =
= if(x,y), z = z(x,y), [0, z=£z{x,y),
(x,y,z)eR3. (2)
Здесь 1(х,у,г) — яркость точки (х,у,г) € Rз■ Изображение строится на ограниченной области X в предметной плоскости /?2 оптической системы. Если оптическая система сфокусирована на плоскость г = го, то на ^ формируется изображение поверхности (1), яркость которого в точке (хо,#о) € X обозначим £(хо,у0,г0). Рассмотрим точечный источник света, помещенный в точку с координатами (х,у,г); яркость его изображения в точке (хо,уо) ЕХ для случая, когда микроскоп сфокусирован на плоскость г = го, обозначим а(х — х$,у — у$,г — , функцию а(-,-,-) назовем аппаратной функцией микроскопа. В этом случае яркость изображения поверхности объекта запишется в виде
£(х0,у0,г0)
а(х—xq, у—уо, z—zo)I(x,y, z) dx dy dz,
где (хо,уо) € X, z0 € (zo,mm,zo,max) - положение фокуса микроскопа.
Согласно рекомендациям работы [4], будем освещать объект излучением, близким к некогерентному. Тогда удаление точечного источника от плоскости, на которую сфокусирован микроскоп, приводит к увеличению размытия его изображения. Действительно, в идеальном случае, когда объект некогерентен и монохроматичен, оптическая передаточная функция Hz(-,cdot), являющаяся преобразованием Фурье функции a(-,-,z), представляет собой произведение оптической передаточной функции Hq(-,-) для положения «объект в фокусе» и спектра функции расфокусировки Dz(u,v) =J\(kzp)/kzp, где k — коэффициент, зависящий от оптических параметров микроскопа, р = \/и2 + о2, и и о — пространственные частоты. Для некогерентного объекта, согласно [5],
Hq{u, V)= { Ж О,
arccos(x)-xy/l -X2
Х< 1,
где х = рЛ/(2ЫА), ЫА — числовая апертура объектива, Л — длина волны освещения. Оптическая передаточная функция Нг(-,-) удовлетворяет условию Нг(и,у) ^ 1, причем равенство возможно лишь при и = и = 0. Кроме того, Н21 (и, о) ^ Нг,2(и, о) при |г1| ^ |г2|> что выражает тот факт, что чем меньше расфокусировка, тем меньше подавляются высокие частоты в изображении поверхности. Будем считать, что эти свойства выполняются и для реального микроскопа, точный вид аппаратной функции которого неизвестен. Эффект подавления высоких частот при расфокусировке, которое приводит к уменьшению квадрата нормы изображения, используется в технике фотографии для автофокусировки. В настоящей статье предлагается метод определения рельефа поверхности по набору его изображений с разным положением фокуса.
Постановка задачи
По набору изображений £(хо,уо>го)> (хо,Уо) Е.Х, с различными положениями фокуса г0 € тт > ^гпах) > требуется восстановить поверхность г = г(х,у) в каждой точке (х,у,г(х,у)) этой поверхности, (х,у)еЯ 2-
Идея предлагаемого метода состоит в следующем. Фиксируем точку (хо,уо) плоскости изображения и рассмотрим набор фрагментов изображений о), (и,о) € О£(х0,у0) с Л2, го € (^гшп , Zm■dx ), в е-окрестности О£(х0,у0) выбранной точки (хо,уо)- Пусть г(хо,уо) — внутренняя точка интервала изменения фокуса (гт-т,гтах), тогда по мере изменения фокуса от 2т;п до гтах сначала фрагмент изображения становится все более резким, затем, после прохождения точки г(хо,у0), начинает снова размываться. Точка из-
менения характера поведения размытия является искомым значением г(хо,уо)-
Для реализации этого метода сформулируем дополнительные требования на рассматриваемые поверхности и их яркости. Будем считать, что яркость поверхности в окрестности О£(хо,уо) не является константой, тогда для ее изображения £(xom)(u,v,z0) ф const, (u,v) € О£(х0,у0), z0 € (zmm,zmax), и в спектре мощности фрагмента изображения v, zq) , (u,v) € О£(хо,уо), при
увеличении расфокусировки уменьшается высокочастотная составляющая. Так как яркость постоянной составляющей = J ^(u,v,zq) dudv
Ое(хо.Уо)
изображения не изменяется при изменении фокуса, мерой расфокусировки при заданном положении фокуса zq € (2min,2max) можно считать интеграл спектра мощности фрагмента изображения £{xoM)(u,v,z0) - f(zo), (u,v) € О£(х0,у0), равный Six0tyo)(zo) = J (£(u,v,z0) - f(zo)) dudv.
Ое(хо,Уо)
В этих условиях при Zq ^ z'q ^ z(xq,yo) и при z(xq,уо) ^ z'0 ^ zq выполнено неравенство
S(xo,yo)(zo)^S(xo,yo)(zo)- (3)
Это означает, например, что интеграл от квадрата отклонения яркости изображения фрагмента от константы в выбранной окрестности точки (xq, г/о) максимален, когда участок изображения находится в фокусе. Оценку функции z(x,y), задающей рельеф поверхности объекта, определим как значение zq положения фокуса, при котором достигается максимум функции S(X0 i/0)(-) •
Поиск точки максимума функции — неустойчивая процедура: если функция S^^G) наблюдается в эксперименте по схеме 77(20) = S(xo,i/o)(zo) + ^(zo) > zq € (zmm,zmax), где v(zq) — погрешность наблюдения функции 5(X0i/0)(-) при положении фокуса zq € (zm-m,zmax), то точка максимума функции 77О может существенно отличаться от точки максимума функции S^^jG) • Для большей устойчивости оценки положения максимума функции 5(Х0 „0)(-) воспользуемся морфологическим подходом [3]. Множество функций с положением максимума в точке ze (zm-m,zmax) образуют выпуклый замкнутый конус в пространстве всех функций, квадрат которых интегрируем на (zmin,zmax). Этот конус назовем формой сигнала S^^jG) и обозначим У(хь,у<ь)(.г) ■ Оператор проецирования на это множество обозначим P(Xo yo)(z). Он определяется решением задачи на минимум
II i1 - ¿Wo)^)) it <inf {Ik - nf1 < € V{xam){z)} •
Рассмотрим класс форм V(xo,yo)(2)> z € € (zm-m,zmax). Морфологический принцип оценки параметра z состоит в нахождении такого значения г, при котором наблюдаемый сигнал 77О)
наиболее близок к форме Формальное
решающее правило, определяющее рельеф поверхности г(хо,уо), состоит в нахождении значения параметра 2, при котором выполнено неравенство
|| (/ - Р(ъ,уо) (2)) г?||2 < || (/ - РМ{г)) г?||2 ,
£ (2пип> ^шах)-
Результаты
Разработанный метод был применен к восстановлению трехмерной структуры дефектов и металлов, покрытых осажденным золотом. На рис. 1 представлены изображения рельефа поверхности, покрытой мелкозернистым (шероховатость < 0.3 мкм) золотом, восстановленного по 10 изображениям. На рис. 2 представлен рельеф крупнозернистого золота
Рис. 1. Рельеф поверхности, покрытой мелкозернистым золотом, восстановленный по 10 изображениям. Высота рельефа ~ 3 мкм, шероховатость золота < 0.3 мкм
Рис. 2. Рельеф поверхности, покрытой крупнозернистым золотом, построенный по 10 изображениям. Шероховатость золота ~ 1.0 мкм
(шероховатость ~ 1.0 мкм). В первом случае проявился рельеф поверхности, скрытой под золотом, высота которого ~ 3.0 мкм, а рельеф поверхности самого золота практически не виден по сравнению с ним, во втором же случае проявился рельеф самого золота, который при этом имеет в 3-4 раза большую шероховатость поверхности. На рис. 3 представлены типичные графики функций 5(х0,г/0)(-) для двух разных точек (хо,уо) поля зрения X.
Рис. 3. График типичной зависимости 5(адо) (•) от глубины фокуса в фиксированной точке (хо,г/о)
Данные результаты позволили выбрать оптимальные условия для режима осаждения золота на поверхность металлического корпуса микропроцессора в НИИСИ РАН.
Работа выполнена при финансовой поддержке РФФИ (грант 05-01-00615-а).
Литература
1. Shree К. Nayar, Masahiro W., Minori N. Technical Report of Computer Science Columbia University CUCS-028-94.
2. Ogden J.M, Adelson E.M., Bergen J.R. et al. 11 RCA Engineer. 1985. 30, N 5. P. 4.
3. Пытъев Ю.П. Задачи морфологического анализа изображений / Математические методы исследования природных ресурсов Земли из Космоса. М., 1984.
4. Введенский С. Захарченко А. Троицкий В. // Электроника НТВ. 2005. № I.e. 30.
5. Мирошников М.М. Теоретические основы оптико-электронных приборов. JL, 1983.
Поступила в редакцию 21.09.05
