CC BY
42
ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ СИСТЕМЫ /
УДК 004.932.2
йокЮ.15217/155п1684-8853.2018.1.96
ПРЕОДОЛЕНИЕДИФРАКЦИОННОГО ПРЕДЕЛА ПРИ ОПТИЧЕСКИХ ИЗМЕРЕНИЯХ ГРАНИЦ ОБЪЕКТОВ
Ф. М. Иночкина, ассистент, fedor.inochkin@gmail.com
С. К. Круглова, канд. техн. наук, доцент, kruglovsk@gmail.com
И. Г. Бронштейн6, директор научно-технического центра «Оптико-информационные технологии и системы», kb@jupiter.spb.ru
аСанкт-Петербургский политехнический университет Петра Великого, Политехническая ул., 29, Санкт-Петербург, 195251, РФ
бСанкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Кронверкский пр., 49, Санкт-Петербург, 197101, РФ
Постановка проблемы: дифракционный предел является фундаментальным ограничением точности измерений геометрии объектов в традиционных оптических системах. Вследствие дифракции высокочастотные компоненты изображения полностью затухают, группы малоразмерных элементов границы перестают быть разрешимыми. Оценка границы объекта известными алгоритмами становится сглаженной по отношению к ее истинной форме. Цель исследования: разработка метода оценки границы объекта с учетом влияния дифракции на изображение. Результаты: для компенсации влияния дифракции предложен метод двумерной аппроксимации изображения алгоритмически вычислимой моделью. Предлагаемая модель аппроксимирует регистрируемое камерой изображение с субпиксельной точностью, учитывает двумерную форму границы, импульсный отклик оптической системы и неравномерность яркости. В основе реализации модели лежит алгоритм синтеза фурье-образа многоугольника, ограничивающего измеряемый объект. В реальных оптических системах метод позволяет скомпенсировать не только влияние дифракции, но и аберраций. Приведены результаты вычислительных экспериментов, а также результаты и методика применения в реальной оптической системе. Практическая значимость: результат оценки контура методом двумерной аппроксимации соответствует повышению оптического разрешения приблизительно в 2-3 раза по сравнению с известными одномерными алгоритмами определения границ.
Ключевые слова — определение границ объектов, оптическое сверхразрешение, дифракционный предел, синтезирование изображений, расчет фурье-образа, обратная задача, аппроксимационный метод, геометрические измерения.
Цитирование: Иночкин Ф. М., Круглов С. К., Бронштейн И. Г. Преодоление дифракционного предела при оптических измерениях границ объектов // Информационно-управляющие системы. 2018. № 1. С. 96-105. doi:10.15217/issn1684-8853.2018.1.96 Citation: Inochkin F. M., Kruglov S. K., Bronshtein I. G. Breaking the Diffraction Limit in Optical Edge Estimation Problem. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 1, pp. 96-105 (In Russian). doi:10.15217/ issn1684-8853.2018.1.96
Введение
Оптические методы измерения геометрии объектов применяются в широком спектре задач фундаментального и прикладного характера. Совместно с современными электронными средствами считывания изображений на основе твердотельных матричных фотоприемников с миллионами светочувствительных элементов, оптические методы позволяют достичь высокой точности и динамических характеристик измерений. Вместе с тем, несмотря на технологический прогресс, у оптических методов существует фундаментальная проблема — ограничение полосы частот объекта, передаваемых оптической системой, или так называемый дифракционный предел. Следствием этого является размытие изображения объекта, что затрудняет определение его истинной геометрии. Предельная простран-
ственная частота объекта не зависит от фокусного расстояния оптической системы и определяется лишь диаметром ее зрачка и спектральным составом излучения. Так, например, для объектива идеальной оптической схемы с диаметром входного зрачка 30 мм на расстоянии 1 м предельная пространственная частота объекта составит приблизительно 15 мкм-1 (в видимой области спектра длин волн). Дальнейшее повышение предельной частоты возможно лишь за счет увеличения диаметра входного зрачка. Это влечет за собой рост массо-габаритных параметров оптической системы, повышение ее стоимости, ужесточение требований к условиям эксплуатации. Кроме того, увеличение диаметра зрачка приводит к пропорциональному снижению глубины резко изображаемого пространства, что в достаточно широком круге задач может приводить к недопустимым потерям информации об объекте.
В связи с этим актуальной является разработка математических и алгоритмических решений, позволяющих восстановить информацию, утраченную вследствие дифракции. Поскольку высокочастотные компоненты изображения полностью затухают, данная задача является некорректной в математическом смысле. Как следствие, для вычисления решения требуется априорная информация об объекте. При определении границ объекта такая информация заключается уже в самой постановке задачи — наблюдаемое изображение есть сигнал ступенчатого перепада яркости на границе объекта и фона. Настоящая статья посвящена методу совместного решения задачи определения границ объектов и преодоления дифракционного предела исключительно вычислительными средствами.
Влияние дифракционного предела на изображение границы объекта
В соответствии с теорией фурье-оптики интенсивность изображения протяженного объекта в некогерентном освещении описывается сверткой
I(x, у) = V(х, у) * h(x, у),
(1)
где (х, у) — координаты точки в плоскости изображения; V — гипотетическое идеальное изображение, представляющее собой масштабированное распределение яркости объекта. Функция к имеет смысл импульсного отклика оптической системы — так называемая функция рассеяния точки (ФРТ). По теореме о свертке выражение (1) можно перевести в частотную область:
F(I, f) = F (Q, f ) • F (h, f ),
(2)
где В — оператор преобразования Фурье; И — координата в частотной области изображения. Из теории фурье-оптики также известно, что фурье-образ ФРТ ограничен размером зрачка оптической системы [1]. Для оптической системы с круглым зрачком диаметром Б: В(к, /) = 0, И > Итах = Б/(ЯЛ), где X — длина волны; И — расстояние от плоскости выходного зрачка до плоскости изображения. С учетом (2) фурье-образ изображения ограничен этой же областью пространственных частот, что и ФРТ. Из этого следуют два важных положения:
1) высокочастотные компоненты фурье-образа изображения полностью затухают;
2) максимальный шаг пространственной дискретизации изображения без дополнительной потери информации может быть определен по теореме отсчетов: ДБ < (2/шах)-1.
Для идеальной оптической системы без искажений волнового фронта (дифракционно-ограниченная система) ФРТ описывается функцией Эри
^Airy (х, У) ~
i 9 Л2
kD
8 R
J1 (kDr / 2R) ' kDr / 2R
где к = 2лД, X — длина волны; J1 — функция Бесселя первого рода; г = (х2 + у2)1/2. В таком случае для выполнения условий теоремы отсчетов шаг пространственной дискретизации следует выбрать таким, чтобы диаметр первого темного кольца функции Эри был не менее 4,88 пикселя изображения.
Проанализируем влияние дифракции на изображение границы объекта. Предположим, что граница объекта представляет собой прямую линию за исключением пары рядом расположенных треугольных элементов (рис. 1, верхний ряд). Вследствие дифракции граница между элементами на изображении станет «размытой» (рис. 1, средний ряд). В случае если расстояние между вершинами треугольников будет меньше , спад яркости между ними полностью исчезнет — пара элементов становится неразрешимой (рис. 1, нижний ряд).
Очевидно, что, помимо формирования неразрешимых групп элементов границы объекта, дифракция будет искажать результаты оценки
■ Рис. 1. Влияние дифракции на изображение: слева — пара точечных источников; по центру — граница объекта; справа — модуль фурье-образа изображения границы
■ Fig. 1. Diffraction impact on image: left — a pair of point sources; center — object edge; right — edge image Fourier transform magnitude
геометрии и одиночных элементов, причем чем меньше радиус закругления элемента, тем больше будет это влияние.
Следует отметить, что высокочастотные компоненты объекта могут быть восстановлены по множеству дифракционно-ограниченных изображений с переменными условиями освещения. Для решения этой задачи разрабатываются так называемые методы оптического сверхразрешения. Методы структурированного освещения [2] позволяют получить повышение предельной частоты изображения до двух крат при использовании осветителя той же апертуры, что и система формирования изображения [3]. Широкое семейство методов, основанных на нелинейных эффектах флуоресценции [4-7], позволяет получить теоретически неограниченное увеличение разрешения изображений, на практике достигнуто более чем 10-кратное преодоление дифракционного предела. Известны также методы синтезированной апертуры и методы фурье-птихографии (достигнуто повышение разрешения до четырех крат) [8], однако они применимы лишь для полупрозрачных объектов. Также ведутся исследования по возможности реализации сверхразрешающих оптических систем с элементами из метаматериалов [9], но результаты пока далеки от широкого применения. Из перечисленных лишь методы структурированного освещения обладают достаточной общностью для применения к широкому классу объектов, однако в силу их ограниченного потенциала проблема дифракционного предела остается нерешенной.
Методы оценки границ объектов
Для обнаружения и оценки границ на уровне пикселей изображения наиболее широкое применение нашли подходы на основе дифференцирующих операторов с последующим применением алгоритмов прослеживания границ (далее будем называть такие методы приближенными). В ряде современных приложений требуется погрешность измерения 1/100 пикселя и менее. Для решения этой задачи разрабатываются так называемые субпиксельные методы. Субпиксельные методы обычно применяются как отдельный этап обработки изображения, уточняющие результаты приближенного метода.
Субпиксельные методы можно разделить на три группы: методы интерполяции изображений, методы моментов и аппроксимационные методы. Суть методов интерполяции изображений заключается в применении приближенных методов к интерполированным отсчетам исходного изображения. Следует отметить, что для дифракционно-ограниченных изображений ошибка оценки может составить более одного пикселя уже на
этапе приближенного измерения, и дальнейшая интерполяция отсчетов не позволяет достичь существенного снижения погрешности измерения. Точность методов моментов [10-12] также в значительной степени ограничена точностью приближенного решения [13]. Наиболее точными и независимыми от результата приближенной оценки являются аппроксимационные методы. В их основе лежит идея аппроксимации распределения яркости изображения или его градиента параметризованной моделью. Положение точки границы объекта является одним из параметров модели, вычисляемым в процессе минимизации функционала ошибки аппроксимации. Для аппроксимации непосредственно распределения яркости известны модели, основанные на функции ошибок [14], функции арктангенса [15], логистической функции [16]. Для аппроксимации производной применяют функцию Гаусса [17, 18] и параболическую модель [19], при этом координата точки границы вычисляется как экстремум соответствующей функции.
Главный недостаток перечисленных выше ап-проксимационных методов состоит в том, что заложенные в них модели являются одномерными. Как следствие, они не учитывают влияние соседних участков границы объекта на изображение, и полученные таким образом оценки формы границы приобретают сглаженный вид по отношению к истинной. Для компенсации влияния дифракции на результат оценки границы необходимо учитывать ее двумерную структуру. Эта задача может быть решена путем двумерной аппроксимации изображения.
Двумерный аппроксимационный метод определения границ объекта
Идея предлагаемого двумерного аппрокси-мационного метода заключается в том, чтобы аппроксимировать зарегистрированные камерой данные синтезированным (модельным) изображением. В отличие от одномерных методов, основным параметром модели является не отдельная точка границы, а все множество точек. Обозначим это множество как [Р1 = (х, у), I = 1..к}. Тогда оценка формы границы заключается в решении обратной задачи:
[Р,} = Е = | £ Мх^{{Р^)2, (3)
(х,у)е\х
где (х, у) — декартовы координаты точки растра изображения; ц — анализируемая область точек растра (в некоторой окрестности границы); Д! — матрица разности синтезируемого и регистрируемого изображений.
Будем считать прямой задачей вычисление матрицы синтезируемого изображения IM, соответствующего заданному множеству точек {Pj}. Предлагаемая модель описывает изображение объекта с учетом наличия фона:
Iм =л([/0Б -Мов +1ва (1 ~Мов
)]*Л);
Мов (*, У) =
1, (х, у) еП О, (х, у) <£ О.'
где Л — оператор двумерной дискретизации; 1ов — распределение яркости объекта; Мов — маска объекта; 1во — распределение яркости фона; Н — импульсный отклик камеры (свертка импульсного отклика оптической системы и фотоприемника); (х, у) — координаты точки на плоскости изображения; О. — область точек объекта. Для того чтобы модель могла быть реализована в виде алгоритма, необходимо перейти от непрерывного представления сигналов к дискретному. Будем искать такое представление в виде
Iм = Нов • Мов +1ва ■ (I - Мов)] * Ь,
(4)
где Ioв, MOB, IBG, h — дискретные аналоги 1ов, Мов, 1ва, Н соответственно; I — матрица, все элементы которой равны 1. Произведение матриц — поэлементное.
Основным вопросом, который требуется решить для синтеза модели (4), является вычисление дискретного аналога маски объекта. Поскольку компенсация дифракции связана с оценкой малоразмерных деталей границы объекта, требуются вычисления с субпиксельной точностью. Субпиксельная точность может быть достигнута либо за счет снижения шага дискретизации, либо за счет перехода к вычислениям в частотной (фурье) области. Учитывая, что фурье-образ изображения ограничен дифракцией, а информация о локализации элементов границы кодируется с теоретически неограниченной точностью фазовыми компонентами образа, вычисления в частотной области представляются более перспективным инструментом. Для простых фигур фурье-образ маски может быть вычислен аналитически. Образ произвольных фигур может быть вычислен путем разбиения всей маски на множество треугольников, при этом для каждого треугольника фурье-образ вычисляется аналитически с привлечением лишь элементарных функций [20]. Дискретный аналог маски объекта для синтеза модели (4) формируется путем обратного фурье-преобразования.
Не менее важным вопросом для реализации синтеза является определение матриц распределений яркости IOB и IBG. Их задачей является моделирование текстуры объекта и неравномерности освещения, что должно обеспечивать соот-
ветствие модели и данных. Принимая допущение, что в пределах анализируемой области изображения отсутствуют резкие перепады яркости (за исключением самой границы объекта), предложим следующую модель:
ЮВ
1ВС
= Qов * С(стов);
= Q
ВС
(5)
где QOB и QBG — скрытые параметры яркости в виде матриц коэффициентов той же размерности, что и изображение; G — сглаживающее ядро (например, функция Гаусса); параметры ст^ и определяют частотные характеристики неравномерности яркости. Наличие двух параметров позволяет моделировать различия в частотных характеристиках объекта и фона. В частности, при расфокусированном фоне параметр ст^ может значительно превосходить ст^.
Перейдем к решению обратной задачи (3). В процессе решения требуется найти не только внешние параметры модели {Pi}, но и скрытые параметры QOB, QBG. Задача является нелинейной, и ее решение предлагается искать методами численной оптимизации. Свойства функционала позволяют применять градиентные стратегии оптимизации, такие как метод сопряженных градиентов. Для этого требуется определить способ вычисления вектора градиента.
Частные производные по скрытым параметрам распределений яркости объекта могут быть вычислены аналитически, причем сразу для всех элементов матрицы QOB. Дифференцируя E с учетом (4) и (5), получим способ вычисления матрицы значений производных:
дЕ
д($ОВ )х,у
= ([(Д1 • С) о Ь]. Шов )о С;
Сх,у -
1, (х, у) е ц О, (х, у) йц'
где символ « о » обозначает корреляцию. Частные производные по параметрам распределения яркости фона вычисляются аналогично, с заменой
^ на (I - Moв).
Для частных производных по параметрам (хр у) простого аналитического решения найти не удается, требуется численное дифференцирование. Общие методы численного дифференцирования потребуют многократного решения прямой задачи, что неэффективно. Однако объем вычислений может быть значительно снижен с учетом пространственной локализации элементов границы. Запишем точное выражение для производной
м
™ = X м■-
дх1 (х,у)ец дх1
Дифференцируя (4), получим
51
м
дХ;
5М
ЮВ ~ lBG\
OB
дХ;
* h.
Аппроксимируем производную численно по двум точкам с шагом Дх-:
51
м
([1ов -1bg ]-АМов )* h.
5х; ДХ;
Таким образом, численное дифференцирование по параметру х1 (равно как и у) сводится к вычислению ДМОв, что эквивалентно решению упрощенной прямой задачи лишь для двух треугольников.
Оценка эффективности двумерного аппроксимационного метода
Рассмотрим эффективность работы метода в вычислительных и физическом экспериментах. Модельные тест-объекты представлены на рис. 2. Объект № 1 служит для демонстрации способности обнаруживать и оценивать геометрию простых элементов, неразрешимых вследствие дифракционного предела. Объект № 2 моделирует сложный контур со множеством неровностей и позволяет оценить работу метода для шероховатых границ объектов. Изображения подобных границ могут быть получены, например, при наблюдении микродефектов механической обработки деталей.
В качестве альтернативного метода для сравнения результатов работы выбран метод одномерной аппроксимации границы функцией ошибок [14]. Начальное решение как предлагаемого, так и альтернативного методов получено алгоритмом прослеживания максимумов модуля градиента изображения. Условием останова процедуры двумерной аппроксимации является снижение величины Ь2-нормы шага до значения 10-3 пикселей. Шаг численного дифференцирования
Рис. 2. Идеальные изображения тест-объектов Fig. 2. Ideal images of test objects
по координатам точек выбран равным 10 % от длины прилегающих к точке отрезков границы. Анализируемая область д — полоса шириной 10 пикселей по обе стороны от границы объекта. В качестве сглаживающего ядра компонентов распределений яркости использована функция Гаусса с аБО = аОБ = 10 пикселям (если не указано другое).
Вычислительные эксперименты
Продемонстрируем способность метода обнаруживать неразрешимые элементы границы. Увеличенные фрагменты смоделированных дифракционно-ограниченных изображений тест-объекта № 1 с результатами работы алгоритмов приведены на рис. 3. Расстояние между вершинами элементов — 4 пикселя. Для описания влияния дифракции введен параметр относительной предельной частоты изображения ^шах = 2Др/шах, где Др — шаг растра изображения. ФРТ оптической системы моделировалась функцией Эри с диаметром первого темного кольца 4,88/Тшах (пиксель).
Двумерная аппроксимация позволяет обнаружить неразрешимую пару элементов вплоть до предельной частоты ^шах « 0,3. Одномерная аппроксимация разрешает те же элементы лишь для области ^шах > 0,6, при этом даже в этой области форма границы сглажена по отношению к истинной. Оценим это сглаживание численно с помощью меры ошибки оценки границы (отклонения от ее истинной формы) в следующем виде:
min р(Рц; ) k=l..N2
2 ^ +
min p(^2fe; Ц. i) i=l..N1
где и Ы2 — количество точек; Ри и Р2к — множества точек границ; Ьи и Ь2к — множества отрезков границ (все — для первой и второй границ соответственно); р — оператор вычисления расстояния между точкой и отрезком. Данная мера инвариантна к смещению точек вдоль отрезков, лежащих на одной прямой, поскольку это не изменяет форму границы. Зависимость ошибки оценки границы от относительной предельной частоты показана на рис. 4 (приведены данные для объекта № 1). Ошибка оценки границы соответствует 2-3-кратному увеличению оптического разрешения по отношению к той же оценке, полученной одномерным методом.
Эффективность методов, основанных на моделях, в значительной степени определяется адекватностью модели экспериментальным данным.
ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ СИСТЕМЫ
Т = 1
max
^max = 0,6
^ = 0 4
max
^max = 0,2
■ Рис. 3. Способность метода обнаруживать неразрешимые элементы границы: верхний ряд — двумерная аппроксимация; нижний ряд — одномерная аппроксимация
■ Fig. 3. Method ability to detect unresolvable edge details: top row — two-dimensional approximation (proposed); bottom row — one-dimensional approximation
1
0,9 0,8 0,7 0,6 0,5
ы ц
и н
а
t 0,4
г
а к б и ш
О
0,3 0,2 0,1 0
ч ч Двумерна я аппрокс имация
ч ч /
ч /
/ \ О дномерна я аппрокс имация
—, /
- - _ _
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
Рис. 4. Зависимость ошибки оценки границы от относительной предельной частоты Fig. 4. Edge estimation error as a function of relative cutoff frequency
Приведенные выше оценки получены в условиях равномерного распределения яркости объекта и фона. Однако реальные объекты могут быть подвержены неоднородному освещению и наличию текстуры. Наибольшую трудность при этом представляют изображения объектов с текстурами. В таких случаях адекватность модели обеспечивается корректным выбором параметров аОБ и аБО в компонентах (5). Пример работы метода для изображения с текстурой приведен на рис. 5 (для
значения = 0,6). Текстура на рис. 5, а смоделирована белым шумом, сглаженным гауссовым фильтром с ст = 3 пикселям, величина относительной модуляции текстуры 20 %.
При значениях ст < 2 (рис. 5, б) соответствие модели и данных обеспечивается за счет высокочастотных составляющих распределений яркости модели, при этом параметры границы объекта неустойчивы. При значениях ст > 5 модель не может достаточно хорошо аппроксимировать
1
ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ СИСТЕМЫ
а)
Я
б)
л я к и
cd ft f4
cd И ю к
в
о
0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
у
Двумерна я аппроксии ация
а Одномерна ппроксимац я ия
\ /
Л
\
Параметр модели яркости а, пиксель
■ Рис. 5. Пример работы метода для изображения с текстурой (а) и зависимость ошибки оценки границы от параметра модели (б)
■ Fig. 5. Example of method application to a textured image (a), edge estimation error as a function of the model parameter (б)
данные, и точки границы приобретают смещение по отношению к их истинному положению. При оптимальном выборе параметров метод обеспечивает такое же качество решения, как и для объекта без текстуры.
Физический эксперимент
В реальных оптических системах на изображение влияет не только дифракция, но и аберрации, вызванные недостатками оптической схемы или технологии изготовления. В таком случае ФРТ оптической системы может принимать вид, существенно отличающийся от функции Эри. При достаточно больших аберрациях модель изображения (4) не обеспечивает соответствие регистрируемому сигналу, что снижает качество решения и сходимость метода. Решением проблемы является измерение реальной ФРТ камеры, например, путем регистрации изображения точечного источника.
Основные параметры эксперимента приведены в табл. 1, а результаты — в табл. 2. Параметры подобраны таким образом, что пара элементов границы объекта № 1 оказывается неразрешимой. Результаты работы метода для реальной оптической системы с аберрациями представлены на рис. 6, а-ж. Изображение точечного источника, примененное в процедуре синтеза, показано на рис. 6, б в том же масштабе, что и изображение объекта. В качестве точечного источника использовано отверстие диаметром 1 мм.
Как и в вычислительном эксперименте, метод позволяет обнаружить и оценить неразрешимые элементы границы (рис. 6, е). На рис. 6, в приведены синтезированные в результате работы метода изображения (1М), а также разность зарегистрированного и синтезированного изображений (Д1, разностный сигнал усилен в 100 раз). На разностных изображениях преобладает шум,
■ Таблица 1. Параметры физического эксперимента
■ Table 1. Physical experiment parameters
Параметр Значение
Относительное отверстие f/16
Расчетный диаметр диска Эри: изображение/объект 10 мкм/5 мм
¥ max 0,5
Фотоприемник КМОП MT9P031, монохромный
Шаг пикселя 2,2 мкм
Расстояние до объекта 12 м
Масштаб изображения 1 мм/пиксель
Размеры изображений 100 х 100 пикселей
■ Таблица 2. Ошибка оценки границы в физическом эксперименте
■ Table 2. Physical experiment edge estimation error
Метод Объект № 1 Объект № 2
Одномерная аппроксимация 0,41 0,67
Двумерная аппроксимация С измеренной ФРТ 0,13 0,26
Функция Эри 0,35 0,62
демонстрируя хорошее соответствие модели (4) реальным экспериментальным данным.
По сравнению с альтернативным методом, ошибка оценки границы снижается в 2,9 и 2,4 раза для объектов № 1 (слева) и 2 (справа), что соответствует результатам вычислительного экс-
■ Рис. 6. Пример работы метода с реальной оптической системой: а — изображение объекта; б — изображение точечного источника; в — синтезированное изображение; г — разностное изображение; д — одномерная аппроксимация; е — двумерная аппроксимация; ж — истинная граница
■ Fig. 6. Example of method application to real optical system: а — acquired image; б — point source image; в — reconstructed image; г — difference image; д — one-dimensional approximation; е — two-dimensional approximation; ж — ground-truth
перимента. При этом использование измеренной, а не теоретической ФРТ является существенным фактором эффективного применения метода.
Заключение
Предложенный метод двумерной аппроксимации изображения является эффективным алгоритмическим инструментом преодоления дифракционного предела оптических систем в задачах измерения геометрии объектов. За счет аппроксимации двумерного распределения яркости, а также учета влияния фактической ФРТ оптической системы метод позволяет скомпенсировать вызванное дифракцией и аберрациями сглаживание изображения.
Метод является итерационным, и качество решения зависит от стратегии численной минимизации функционала ошибки аппроксимации. Свойства функционала позволяют реализовать вычислительно-эффективные градиентные стратегии. Эффект применения метода соответствует приблизительно 2-3-кратному повышению оптического разрешения для одномерных методов и, в частности, позволяет оценить форму неразрешимых элементов границы.
Литература
1. Goodman J. W. Introduction to Fourier Optics. — Roberts and Company Publishers, 2005. — 491 p.
2. Lukosz W. Optical Systems with Resolving Powers Exceeding the Classical Limit II // Journal of the Op-
Результатом работы метода двумерной аппроксимации является не только оценка формы границы, но и синтезированное изображение объекта. Это дает возможность верификации результатов работы алгоритма путем анализа соответствия синтезированного и зарегистрированного изображений. Также таким образом можно проводить косвенные оценки состояния оптической системы, объекта наблюдения, условий его освещения.
Недостатком метода является увеличение ошибки оценки в случае несоответствия модели и экспериментальных данных. В частности, наличие текстуры объекта требует адекватного выбора модели распределения яркости, а аберрации в оптической системе требуют измерения ее фактической ФРТ. Другой недостаток — большой объем вычислений, связанный со сложностью решения прямой задачи. Поиск решения на типовом современном процессоре в один поток исполнения занимает несколько десятков секунд. Отметим, что предложенное решение прямой задачи на основе прямого расчета фурье-образа эффективно поддается параллелизации для вычислений на графических процессорах, в таком случае время поиска решения может быть сокращено на один-два порядка.
tical Society of America. 1967. Vol. 57. N 7. P. 932941. doi:10.1364/josa.57.000932 3. Gustafsson M. G. L. Surpassing the Lateral Resolution Limit by a Factor of Two using Structured Illumination Microscopy // Journal of Microscopy. 2000. Vol. 198. N 2. P. 82-87. doi:10.1046/j.1365-2818.2000.00710.x
4. Hell S. W., Wichmann J. Breaking the Diffraction Resolution Limit by Stimulated Emission: Stimulat-ed-Emission-Depletion Fluorescence Microscopy // Optics Letters. 1994. Vol. 19. N 11. P. 780. doi:10.1364/ ol.19.000780
5. Betzig E., Patterson G. H., Sougrat R., Lindwasser O. W., Olenych S., Bonifacino J. S., Davidson M. W., Lippin-cott-Schwartz J., Hess H. F. Imaging Intracellular Fluorescent Proteins at Nanometer Resolution // Science. 2006. Vol. 313. N 5793. P. 1642-1645. doi:10.1126/sci-ence.1127344
6. Rust M. J., Bates M., Zhuang X. Sub-Diffraction-Limit Imaging by Stochastic Optical Reconstruction Microscopy (STORM) // Nature Methods. 2006. Vol. 3. N 10. P. 793-796. doi:10.1038/nmeth929
7. Hess S. T., Girirajan T. P. K., Mason M. D. Ultra-High Resolution Imaging by Fluorescence Photoactivation Localization Microscopy // Biophysical Journal. 2006. Vol. 91. N 11. P. 4258-4272. doi:10.1529/bio-physj.106.091116
8. Zheng G., Horstmeyer R., Yang C. Wide-Field, High-Resolution Fourier Ptychographic Microscopy // Nature Photonics. 2013. Vol. 7. N 9. P. 739-745. doi:10.1038/nphoton.2013.187
9. Dong X. H., Wong A. M. H., Kim M., Eleftheriades G. V. Superresolution Far-Field Imaging of Complex Objects using Reduced Superoscillating Ripples // Optica. 2017. Vol. 4. N 9. P. 1126. doi:10.1364/opti-ca.4.001126
10. Lyvers E. P., Mitchell O. R., Akey M. L., Reeves A. P.
Subpixel Measurements using a Moment-Based Edge Operator // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1989. Vol. 11. N 12. P. 12931309. doi:10.1109/34.41367
11. Ghosal S., Mehrotra R. Orthogonal Moment Operators for Subpixel Edge Detection // Pattern Recognition. 1993. Vol. 26. N 2. P. 295-306. doi:10.1016/0031-3203(93)90038-x
12. Xiang F., Wang Z., Yuan X. Subpixel Edge Detection: An Improved Zernike Orthogonal Moments Method // 2013 5th Intern. Conf. on Intelligent Human-Machine
Systems and Cybernetics. Hangzhou, 2013. P. 19-22. doi:10.1109/ihmsc.2013.11
13. Fabijanska A. Subpixel Edge Detection in Blurry and Noisy Images // International Journal of Computer Science and Applications. 2015. N 12(2). P. 1-19.
14. Hagara M., Kulla P. Edge Detection with Sub-Pixel Accuracy Based on Approximation of Edge with Erf Function //Radioengineering. 2011. N 20(2). P. 516524.
15. Sun Q., Hou Y., Tan Q. A Subpixel Edge Detection Method Based on an Arctangent Edge Model // Optik — International Journal for Light and Electron Optics. 2016. Vol. 127. N 14. P. 5702-5710. doi:10.1016/ j.ijleo.2016.03.058
16. Chen P., Chen F., Han Y., Zhang Z. Sub-Pixel Dimensional Measurement with Logistic Edge Model // Optik — International Journal for Light and Electron Optics. 2014. Vol. 125. N 9. P. 2076-2080. doi:10.1016/ j.ijleo.2013.10.020
17. Shang Y., Chen J., Tian J. Sub-Pixel Edge Detection Algorithm Based on Gauss Fitting // Journal of Computer Applications. 2011. Vol. 31. N 1. P. 179-181. doi:10.3724/sp.j.1087.2011.00179
18. Fabijanska A. Gaussian-Based Approach to Subpixel Detection of Blurred and Unsharp Edges // Proc. of the 2014 Federated Conf. on Computer Science and Information Systems. Warsaw, 2014. P. 641-650. doi:10. 15439/2014F136
19. Bailey D. G. Sub-Pixel Profiling // 2005 5th Intern. Conf. on Information Communications & Signal Processing. Bangkok, 2005. P. 1311-1315. doi:10.1109/ ICICS.2005.1689268
20. Inochkin F. M., Kruglov S. K., Bronshtein I. G., Kom-pan T. A., Kondratjev S. V., Korenev A. S., Pukhov N. F. Subpixel Edge Estimation with Lens Aberrations Compensation Based on the Iterative Image Approximation for High-Precision Thermal Expansion Measurements of Solids // Optical Measurement Systems for Industrial Inspection X: Proc. SPIE. Munich, 2017. Vol. 10329. doi:10.1117/12.2270204
UDC 004.932.2
doi:10.15217/issn1684-8853.2018.1.96
Breaking the Diffraction Limit in Optical Edge Estimation Problem
Inochkin F. M.a, Assistant Professor, fedor.inochkin@gmail.com Kruglov S. K.a, PhD, Tech., Associate Professor, kruglovsk@gmail.com Bronshtein I. G.b, Head of a Research Center, kb@jupiter.spb.ru
aPeter the Great St. Petersburg Polytechnic University, 29, Polytechnicheskaya St., 195251, Saint-Petersburg, Russian Federation
bSaint-Petersburg National Research University of Information Technologies, Mechanics and Optics, 49, Kronverkskii Pr., 197101, Saint-Petersburg, Russian Federation
Introduction: Diffraction is a fundamental limit for object geometry measurement accuracy in conventional optical systems. Due to diffraction, high-frequency components of an image are fully attenuated, and groups of small-sized details become non-resolvable. Edge estimation results obtained by known algorithms become smoothed compared against actual edge geometry. Purpose: Development of a method to estimate an object edge with a compensation of the diffraction impact on the image. Results: To compensate for the
diffraction, a method of 2D image approximation by a numerical model is proposed. The proposed model reconstructs a camera-acquired image with subpixel accuracy, taking into account the optical system's 2D point spread function along with the non-uniformity of the object intensity. The model implementation is based on the Fourier image synthesis algorithm for the measured object's bounding polygon. In real optical systems, the method provides the opportunity to compensate not only for the diffraction but also for lens aberrations by means of point spread function measurement. Numerical simulation results are presented, along with the results and technique for a real system application. Practical relevance: The edge estimation error for 2D image approximation corresponds to 2- or 3-fold improvement in optical resolution as compared to the conventional 1D edge estimation algorithms.
Keywords — Edge Detection, Optical Superresolution, Diffraction Limit, Image Reconstruction, Fourier Image Calculation, Inverse Problem, Approximation Method, Object Geometry Measurements.
Citation: Inochkin F. M., Kruglov S. K., Bronshtein I. G. Breaking the Diffraction Limit in Optical Edge Estimation Problem. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 1, pp. 96-105 (In Russian). doi:10.15217/ issn1684-8853.2018.1.96
References
1. Joseph W. Goodman. Introduction to Fourier Optics. Roberts and Company Publishers, 2005. 491 p.
2. Lukosz W. Optical Systems with Resolving Powers Exceeding the Classical Limit II. Journal of the Optical Society of America, 1967, vol. 57, no. 7, pp. 932-941. doi:10.1364/ josa.57.000932
3. Gustafsson M. G. L. Surpassing the Lateral Resolution Limit by a Factor of Two using Structured Illumination Microscopy. Journal of Microscopy, 2000, vol. 198, no. 2, pp. 82-87. doi:10.1046/j.1365-2818.2000.00710.x
4. Hell S. W., Wichmann J. Breaking the Diffraction Resolution Limit by Stimulated Emission: Stimulated-Emis-sion-Depletion Fluorescence Microscopy. Optics Letters, 1994, vol. 19, no. 11, p. 780. doi:10.1364/ol.19.000780
5. Betzig E., Patterson G. H., Sougrat R., Lindwasser O. W., Olenych S., Bonifacino J. S., Davidson M. W., Lippin-cott-Schwartz J., Hess H. F. Imaging Intracellular Fluorescent Proteins at Nanometer Resolution. Science, 2006, vol. 313, no. 5793, pp. 1642-1645. doi:10.1126/science.1127344
6. Rust M. J., Bates M., Zhuang X. Sub-Diffraction-Limit Imaging by Stochastic Optical Reconstruction Microscopy (STORM). Nature Methods, 2006, vol. 3, no. 10, pp. 793796. doi:10.1038/nmeth929
7. Hess S. T., Girirajan T. P. K., Mason M. D. Ultra-High Resolution Imaging by Fluorescence Photoactivation Localization Microscopy. Biophysical Journal, 2006, vol. 91, no. 11, pp. 4258-4272. doi:10.1529/biophysj.106.091116
8. Zheng G., Horstmeyer R., Yang C. Wide-Field, High-Resolution Fourier Ptychographic Microscopy. Nature Photonics, 2013, vol. 7, no. 9, pp. 739-745. doi:10.1038/npho-ton.2013.187
9. Dong X. H., Wong A. M. H., Kim M., Eleftheriades G. V. Superresolution Far-Field Imaging of Complex Objects using Reduced Superoscillating Ripples. Optica, 2017, vol. 4, no. 9, p. 1126. doi:10.1364/optica.4.001126
10. Lyvers E. P., Mitchell O. R., Akey M. L., Reeves A. P. Subpixel Measurements using a Moment-Based Edge Operator. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, vol. 11, no. 12, pp. 1293-1309. doi:10.1109/34. 41367
11. Ghosal S., Mehrotra R. Orthogonal Moment Operators for Subpixel Edge Detection. Pattern Recognition, 1993, vol. 26, no. 2, pp. 295-306. doi:10.1016/0031-3203(93)90038-x
12. Xiang F., Wang Z., Yuan X. Subpixel Edge Detection: An Improved Zernike Orthogonal Moments Method. 2013 5th Intern. Conf. on Intelligent Human-Machine Systems and Cybernetics, Hangzhou, 2013, pp. 19-22. doi:10.1109/ihm-sc.2013.11
13. Fabija nska A. Subpixel Edge Detection in Blurry and Noisy Images. International Journal of Computer Science and Applications, 2015, no. 12(2), pp. 1-19.
14. Hagara M., Kulla P. Edge Detection with Sub-Pixel Accuracy Based on Approximation of Edge with Erf Function. Radioengineering, 2011, no. 20(2), pp. 516-524.
15. Sun Q., Hou Y., Tan Q. A Subpixel Edge Detection Method Based on an Arctangent Edge Model. Optik — International Journal for Light and Electron Optics, 2016, vol. 127, no. 14, pp. 5702-5710. doi:10.1016/j.ijleo.2016.03.058
16. Chen P., Chen F., Han Y., Zhang Z. Sub-Pixel Dimensional Measurement with Logistic Edge Model. Optik — International Journal for Light and Electron Optics, 2014, vol. 125, no. 9, pp. 2076-2080. doi:10.1016/j.ijleo.2013.10.020
17. Shang Y., Chen J., Tian J. Sub-Pixel Edge Detection Algorithm Based on Gauss Fitting. Journal of Computer Applications, 2011, vol. 31, no. 1, pp. 179-181. doi:10.3724/sp.j. 1087.2011.00179
18. Fabija nska A. Gaussian-Based Approach to Subpixel Detection of Blurred and Unsharp Edges. Proc. of the 2014 Federated Conf. on Computer Science and Information Systems, Warsaw, 2014, pp. 641-650. doi:10.15439/2014F136
19. Bailey D. G. Sub-Pixel Profiling. 2005 5th Intern. Conf. on Information Communications & Signal Processing, Bangkok, 2005, pp. 1311-1315. doi:10.1109/ICICS.2005.1689268
20. Inochkin F. M., Kruglov S. K., Bronshtein I. G., Kompan T. A., Kondratjev S. V., Korenev A. S., Pukhov N. F. Subpixel Edge Estimation with Lens Aberrations Compensation Based on the Iterative Image Approximation for High-Precision Thermal Expansion Measurements of Solids. Proc. SPIE "Optical Measurement Systems for Industrial Inspection X", Munich, 2017, vol. 10329. doi:10.1117/12.2270204
