CC BY
15
Повышение пространственного разрешения сигналов в оптических системах
В.И. Гужов 1, И. О. Марченко 1, Е.Е. Трубилина1 1 Новосибирский государственный технический университет 630073, Россия, г. Новосибирск, ул. Немировича-Данченко, д. 136
Аннотация
Восстановление сигнала в промежутках между дискретными значениями играет огромную роль при решении задачи пространственного сверхразрешения в оптической микроскопии и цифровой голографии. В статье рассмотрен вопрос восстановления высокоразрешающих элементов изображений по некоторому числу сдвинутых на субпиксельную величину растров. Числовые значения отсчетов изображения получаются путем пространственного интегрирования по некоторой конечной площадке регулярных растров. Повышение пространственного разрешения осуществляется с помощью аналитического выражения для спектра дискретных сигналов, полученного с использованием аппарата обобщенных функций. В отличие от идеальной дискретизации спектр функции дополняется множителем, вид которого зависит от вида апертуры. Для получения высокоразрешающих элементов изображения необходимо разделить Фурье-спектр дискретизирован-ного изображения на множитель, зависящий от выбранной апертуры. Спектр апертуры обычно известная функция, поэтому если известен спектр изображения, полученного усреднением с некоторой апертурой, то можно получить и спектр исходного изображения.
Используются апертуры различных форм, например, эллиптические, ромбовидные, гексагональные, но наиболее часто используются апертуры прямоугольной формы. В статье приведены результаты моделирования для прямоугольной апертуры, но при замене, например, на набор регулярных апертур в виде круга выражение будет верно и для регулярных круговых растров.
Аналитическое выражение для спектра изображения может быть использовано для восстановления спектра исходного изображения. Получив от него обратное Фурье-преобразование, можно получить исходное изображение.
При повышении пространственного разрешения появляется возможность проводить исследования методами цифровой голографии объемных диффузных объектов с качеством аналоговой (при регистрации на фотографические среды) голографии и создания оптических систем сверхразрешения на базе оптических микроскопов.
Ключевые слова: дискретизация, частота дискретизации, пространственные частоты, обобщенные функции, теорема Котельникова, преобразование Фурье, спектр, сверхразрешение.
Цитирование: Гужов, В.И. Повышение пространственного разрешения сигналов в оптических системах / В.И. Гужов, И.О. Марченко, Е.Е. Трубилина // Компьютерная оптика. - 2022. - Т. 46, № 1. - С. 65-70.- DOI: 10.18287/2412-6179-CO-924.
Citation: Guzhov VI, Marchenko IO, Trubilina EE. Increasing the spatial resolution of signals in optical systems. Computer Optics 2022; 46(1): 65-70. DOI: 10.18287/2412-6179-CO-924.
Введение
Непрерывный аналоговый сигнал можно представить дискретной последовательностью его значений (отсчетов). Эти отсчеты берутся в точках, отделенных друг от друга некоторым интервалом, который называется интервалом дискретизации. Пространственная частота - отношение периода сигнала к интервалу дискретизации. Интуитивно понятно, что чем меньше интервал дискретизации и, соответственно, чем выше частота дискретизации, тем меньше различия между исходным и восстановленным по дискретным значениям сигналами.
Теорема Котельникова [1 - 4] определяет условия, при которых спектр одиночного сигнала можно вы-
делить без искажений, и затем по ним восстановить исходный сигнал по набору дискретных величин. Однако интерполяция с помощью ряда Котельникова подразумевает бесконечное число отсчетов. При использовании конечного числа дискретных значений вычисления для непериодического сигнала приводят к некоторой погрешности [5]. Кроме того, идеальная дискретизация, которую можно представить как воздействие на функцию бесконечной гребёнки Дирака, является математической абстракцией.
Общая постановка задачи повышения пространственного разрешения в оптических системах описана в [6, 7]. На рис. 1 показана схема регистрации одномерного сигнала при его сканировании апертурой с низким разрешением. Здесь п - количество элементов
низкоразрешающего растра, I - количество высокоразрешающих элементов, попадающих в интегрируемую апертуру I, I = 0...п, п1 - количество элементов в высокоразрешающем растре.
/, 1п1
Рис. 1. Схема регистрации сигнала при субпиксельном сдвиге
Если в результате измерений мы получим набор значений с низким разрешением I, сдвинутых относительно друг друга на некоторую величину, меньшую размера интегрированной апертуры, то можно определить высокоразрешающие элементы х.
Прямой путь нахождения высокоразрешающих элементов - это решение системы линейных уравнений.
Х1 + Х2 + • • • XI — 1\
Х2 + Х3 + • • • Х1+1 — 12
(1)
x( n-1);+1 + x( n-i);+2 + ■■■ xni — In,
При увеличении числа сдвигов размер системы линейных уравнений получается очень большим. Основные исследования в этой области связаны с методами ускорения и повышения устойчивости решения системы (1) [6, 8 - 13].
Сверхразрешение достигается в процессе математической обработки, при которой создаётся изображение в более высоком разрешении из серии кадров изображения одного и того же объекта с более низким разрешением [14]. Фаза содержит больше информации об изображении, чем амплитуда [15].
В этой статье рассмотрен способ, основанный на анализе Фурье-образов изображений, полученных усреднением на площадках конечных размеров (апертурах).
Практически дискретизация осуществляется измерением сигнала с помощью датчиков с некоторой конечной апертурой (площадкой по которой происходит усреднение). Набор значений {/ (г Д х, к Ду)} представляет дискретное преобразование сигнала.
Используются апертуры различных форм, например, эллиптические, ромбовидные, гексагональные, но наиболее часто используются апертуры прямоугольной формы (рис. 2).
Числовые значения отсчетов изображения получаются путем пространственного интегрирования по некоторой конечной площадке.
В [16] показано, что в этом случае спектр полученного изображения будет определяться следующим выражением:
(
FzM (ю) —
3(/(x))®sineI ^
■3
(rectz (x))
Л
(2)
®comb2lt|to (ю),
где [3 (f(x)) ® sine (raNI 2)] - дискретный Фурье-
образ исходной функции, 3 (rectz (x)) - Фурье-образ
используемой апертуры (апертурная функция), ® -
обозначение операции свертки, comb(2w^)(^>) - гребенка Дирака, которая определяется как последовательность смещенных с шагом 2 л I Д x дельта-функций.
Это выражение (2) получено с использованием аппарата обобщенных функций [17 - 22].
Рис. 2. Примеры растров: слева - регулярный растр с прямоугольной апертурой; справа - с круговой апертурой
Целью этой статьи является рассмотрение вопросов восстановления высокоразрешающих элементов по спектру изображений, полученных усреднением на регулярных растрах с помощью выражения (2).
1. Восстановление усредненных на регулярном прямоугольном растре изображений
На рис. 3 приведены исходное изображение размером 256 х 256 пикселей (слева) и изображение, каждая точка которого определяется усреднением по массиву 4*4 исходного изображения (справа). Таким образом, моделируется дискретизация с помощью регулярного растра прямоугольных апертур, сдвинутых на субпиксельную величину, равную 1 / 4 шага дискретизации.
Рис. 3. Исходное и усредненное набором прямоугольных апертур 4 х 4 изображение 256 х 256 точек
Функция 3 (rectz (x)) = sine (ют I 2) - амплитуда Фурье-преобразования окна на массиве 256 х 256 показана на рис. 4.
Из выражения (2) видно, что если Фурье-образ усредненного изображения параграфить на 3 (rect4 (ю)), то получим Фурье-образ исходного изображения. Взяв от него обратное Фурье-преобразование, получим исходное. На рис. 5 показа-
ны усредненное на регулярном прямоугольном растре и восстановленное изображения.
На рис. 6 приведены исходное изображение и изображение, каждая точка которого определяется усреднением на прямоугольном растре 8 х 8.
Вид апертурной функции и её Фурье-образ 3 (гее18 (х)) показан на рис. 7.
Рис. 4. Амплитуда Фурье-преобразования апертуры 4 х 4 с динамическим диапазоном от 0 до 1 и её ЗБ-график
Рис. 5. Усредненное на регулярном наборе прямоугольных растров (4 х 4) и восстановленное изображения
Рис. 6. Исходное и усредненное на регулярном наборе прямоугольных растров 8 х 8 изображения
Рис. 7. Апертурная функция 8 х 8 точек (Фурье-образ прямоугольной апертуры). Справа: ЗБ-график функции (диапазон от 0 до 1)
На рис. 8 показаны усредненное на прямоугольных растрах 8 х 8 и восстановленное изображения.
Таким образом, по изображению, полученному усреднением на наборе апертур и сдвигом на определенную субпиксельную величину, можно восстановить исходное изображение, если известен вид апертуры.
В нашем случае рассмотрение велось для прямоугольной апертуры, но при замене, например, на
3 (с1гег (х)) для апертуры в виде круга выражение будет верно для регулярных растров апертур в виде круга. Поскольку вид множителя 3 (с1гсг (х)) известен, то можно найти спектр исходной функции.
Рис. 8. Усредненное на прямоугольном растре с апертурой 8 х 8 точек и восстановленное изображения
В следующем параграфе показан способ экспериментального получения апертурной функции для случая, когда её вид неизвестен. Этот способ возможен, например, при использовании двух микрообъективов с различным разрешением при вводе тестовых объектов.
2. Экспериментальное определение апертурной функции
Для восстановления сигнала в спектральной области необходимо получить вид апертурной функции. Для прямоугольных апертур это 3 (гес/г(х)), для круговых - 3 (с1гсг (х)), но в реальных системах вид этой функции может быть произвольным.
На рис. 9 показаны два изображения с низким разрешением и высоким разрешением. Характеристика апертурной функции неизвестна.
Рис. 9. Изображения с низким (апертура 8 х 8) и высоким разрешением (апертура 2 х 2)
Из выражения (2) видно, что, параграфив Фурье -образ изображения с низким разрешением на Фурье-образ изображения, полученного с высоким разрешением, можно экспериментально определить вид апер-турной функции. На рис. 10 показан вид апертурной функции, определенной экспериментально.
Вид этой апертурной функции можно использовать для восстановления произвольных изображений, полученных с одним разрешением.
На рис. 11 показано изображение, полученное из серии сдвинутых изображений с низким разрешением (апертура 8 х 8), и восстановленное с помощью апер-турной функции, показанной на рис. 10.
Рис. 10. Вид апертурной функции
Рис. 11. Результат восстановления изображения
Таким образом, если мы имеем устройство с низким разрешением, то возможно повышение разрешения с помощью апертурной функции, которая является характеристикой системы и может быть экспериментально получена с помощью тестовых объектов.
3. Создание систем сверхразрешения на базе оптических микроскопов
Недостатком систем оптической микроскопии является фундаментальное ограничение на пространственную частоту. Это разрешение определяется критерием Рэлея (3):
Я — 0,61-
X
ЫЛоЬ
(3)
где ЫЛоЬь - числовая апертура, которая зависит от конструкции микрообъектива; X - длина волны источника освещения. На практике при длине волны порядка 500 нм пространственное разрешение оптических микроскопов не превышает 200 нм.
Восстановление сигнала в промежутках между дискретными значениями имеет огромное значение при решении задачи пространственного сверхразрешения в оптической микроскопии. Для решения этой проблемы может использоваться сдвиг массива детекторов на часть элемента разрешения йх = Д х / Ы, где Д х - разрешение оптической системы.
Если у нас есть возможность перемещать изображение в объектной области микроскопа или матричный датчик на величину, меньшую разрешения оптической системы, то по серии изображений, оцифрованных с низким разрешением, можно восстановить изображения, соответствующие высокоразрешающим растрам при оцифровке (рис. 1).
Пусть у нас есть результаты оцифровки с низким разрешением нескольких изображений: Л (х, у) - без сдвига, ЛХУ (х + йх, у + йу) - со сдвигом по оси х и у, то мы можем сформировать изображение [12] по алгоритму, указанному в табл. 1. В табл. 1 показано сформированное изображение, увеличенное в 3 раза.
Из этого изображения можно выделить высокоразрешающие компоненты. Если есть возможность сдвига на большее число шагов, формируем новое изображение по такому же алгоритму. Точность восстановления будет зависеть от точности пространственного сдвига на субпиксельную величину.
Табл. 1. Формирование изображения при сдвиге матрицы фотодетекторов из изображений, зафиксированных с низким разрешением
Л(х0, у0) ЛХУ (х0 + йх, у0) ЛХУ(х0+ 2йх, у0) Л (х1, у0)
ЛХУ(х0, у0+йу) ЛХУ (х0 + йх, у0+йу) ЛХУ(х0+ 2йх, у0+йу) ЛХУ (х1, у0+йу)
ЛХУ(х0, у0+2йу) ЛХУ (х0 + йх, у0 + 2йу) ЛХУ (х0 + 2йх, у0+2йу) ЛХ (х1, у0 + 2йу)
Л(х0, у1) ЛХ (х0+йх, у1) ЛХ (х0+ 2йу, у1) Л (х1, у1)
Если разрешение системы необходимо увеличить в два раза, то необходимо сделать всего три шага при перемещении матрицы фотоприёмников на величину, равную половине разрешения (два раза на йх и один на йу). Если необходимо увеличить разрешение в четыре раза, то необходимо 15 шагов (рис. 12).
Если необходимо увеличить разрешение в т раз, то общее число шагов будет т (т - 1) при увеличении на йх плюс (т - 1) при увеличении на йу. Всего (т - 1) (т + 1) шагов при перемещении матрицы фотодетекторов.
сЬс сЬс
Ф
Ф
Рис. 12. Задание пространственных сдвигов с величиной сдвига, равной половине разрешения (слева: для увеличения разрешения в два раза, справа: для увеличения разрешения в 4 раза)
Возможны и другие виды обхода точек (кроме показанного на рис. 12) с другим числом шагов по направлениям йх и йу.
Общее число шагов может измениться, но схема обхода может зависеть от вида экспериментальной установки.
Заключение
В статье рассмотрена задача восстановления высоких частот изображений, усредненных на регулярном наборе растров. Эта задача достигается на основе рассмотрения аналитического выражения для спектра функции при реальной дискретизации (2). Выражение получено с использованием аппарата обобщенных функций. В отличие от идеальной дискретизации спектр функции дополняется множителем 3 (recti (х)), вид которого несложно определить. Этот множитель зависит только от вида апертуры. В нашем случае рассмотрение велось для прямоугольной апертуры, но при замене, например, на 3 (circr (х)) для апертуры в виде круга выражение будет верно и для регулярных круговых растров.
Спектр апертуры обычно известная функция, поэтому если известен спектр изображения, полученного усреднением с некоторой апертурой, то можно получить и спектр исходного изображения. Применив операцию обратного Фурье-преобразования, можно восстановить исходное. Для случая, когда вид апертуры неизвестен, показан способ получения апертур-ной функции на основе сравнения спектров тестовых объектов.
При повышении пространственного разрешения с помощью устройств субпиксельного сдвига появляется возможность проводить исследования методами цифровой голографии объемных диффузных объектов с качеством аналоговой (при регистрации на высокоразрешающие фотографические среды) и создания оптических систем сверхразрешения на базе оптических микроскопов.
Реконструкция сигнала на основе прямого решения систем уравнений (1) требует больших вычислительных затрат. Поэтому восстановление промежуточных значений между отсчетами на основе преобразования Фурье является достаточно перспективным способом для разработки оптических систем с субпиксельным пространственным разрешением.
References
[1] Kotel'nikov VA. On the transmission capacity of "ether" and wire in telecommunications. Physics-Uspekhi 2006; 49(7): 736-744.
[2] Nyquist H. Certain topics in telegraph transmission theory. Trans Am Inst Electr Eng 1928; 47: 617-644.
[3] Wittaker ET. On the function which are represented by the expansion of interpolating theory. Proc R Soc Edinb 1915; 35: 181-194.
[4] Shannon CE. Communication in the presence of noise. Proceedings of Institute of Radio Engineers 1949; 37(1): 10-21.
[5] Guzhov VI, Trubilina EE, Marchenko IO. Signal recovery with a limited number of ideal discrete samples [In Russian]. Scientific Bulletin of NSTU 2020; 1(78): 147-156. DOI: 10.17212/1814-1196-2020-1-147-156.
[6] Vaskov ST, Efimov VM, Reznik AL. Fast digital reconstruction of signals and images by the criterion of minimum energy [In Russian]. Avtometriya 2003; 39(4): 13-20.
[7] Belov AM, Denisova AY. Spectral and spatial superresolution method for Earth remote sensing image fusion. Computer Optics 2018; 42(5): 855-863. DOI: 10.18287/2412-6179-2018-42-5-855-863.
[8] Popov MA, Stankuvich SA, Shklyar SV. Algorithm for increasing the resolution of subpixel-shifted images [In Russian]. Mathematical Machines and Systems 2015; 1: 29-36.
[9] Guzhov VI, Marchenko IO, Pozdnyakov GA, Il'inykh SP. Super resolution in digital holography [In Russian]. Engineering Journal of Don: Electronic Scientific Journal 2018; 3.
[10] Wagner O, Schwarz A, Shemer A, Ferreira C, Garcia J, Zalevsky Z. Superresolved imaging based on wavelength multiplexing of projected unknown speckle patterns. Appl Opt 2015; 54(13): D51-D60.
[11] Blazhevich SV, Selyutina ES. Sub-pixel scanning to produce super-resolution digital images [In Russian]. Scientific Statements. Series: Mathematics. Physics 2014; 5(176:34): 186-190.
[12] Guzhov VI, Il'inykh SP, Marchenko IO. Method of increasing spatial resolution in digital holographic microscopy [In Russian]. Avtometriya 2018; 54(3): 104-110. DOI: 10.15372/AUT20180313.
[13] Guzhov VI, Il'Inykh SP, Marchenko IO. Method of increasing the spatial resolution in digital holographic microscopy. Optoelectronics, Instrumentation and Data Processing 2018; 54(3): 301-306. DOI: 10.3103/S8756699018030135.
[14] Kokoshkin AV, Korotkov VA, Korotkov KV, Novichikhin EP. Estimation of super-resolution imaging errors based on the use of multiple frames. Computer Optics 2017; 41(5): 701-711. DOI: 10.18287/2412-6179-2017-41-5-701-711.
[15] Pavelyeva EA. Image processing and analysis based on the use of phase information. Computer Optics 2018; 42(6): 1022-1034. DOI: 10.18287/2412-6179-2018-42-6-10221034.
[16] Guzhov VI, Marchenko IO, Trubilina EE, Trubilin AA. Sampling of signals using a finite set of apertures [In Russian]. Omsk Scientific Bulletin 2021; 1.
[17] Schwartz L. Théorie des distributions. Paris: Hermann; 1950-1951.
[18] Schwartz L. Mathematical methods for physical sciences [In Russian]. Moscow: "Mir" Publisher; 2005.
[19] Gelfand IM, Shilov GE. Generalized functions and actions on them [In Russian]. Moscow: "Gosudarstvennoe Iz-datel'stvo Fiziko-Matematicheskoi Literatury" Publisher; 1959.
[20] Vladimirov VS. Generalized functions in mathematical physics [In Russian]. Moscow: Science" Publisher; 1979.
[21] Sobolev SL. Some applications of functional analysis in mathematical physics [In Russian]. Moscow: "Nauka" Publisher; 1988.
[22] Kech V, Teodorescu P. Introduction to the theory of generalized functions with applications in technology [In Russian]. Moscow: "Mir" Publisher; 1978.
Сведения об авторах
Гужов Владимир Иванович, 1954 года рождения, в 1976 году окончил Новосибирский электротехнический институт по специальности «Прикладная математика». В 1999 присуждена степень доктора технических наук. Является профессором кафедры систем сбора и обработки данных НГТУ. Область научных интересов: высокоточные интерференционные измерения. Автор более 250 научных работ. E-mail: vigguzhov@gmail. com.
Марченко Илья Олегович, 1985 года рождения, в 2007 году окончил Новосибирский государственный технический университет по специальности «Информационные системы и технологии». В 2015 г. присуждена степень кандидата технических наук. Работает доцентом на кафедре систем сбора и обработки данных НГТУ. Область научных интересов: расшифровка интерферограмм, цифровая голография. E-mail: i. o.marchenko@gmail. com .
Трубилина Екатерина Евгеньевна, 1994 года рождения, в 2017 году окончила Новосибирский государственный технический университет по направлению 12.04.04 «Биотехнические системы и технологии», продолжает обучение в аспирантуре по специальности 05.11.07 «Оптические и оптико-электронные приборы и комплексы», работает ассистентом в НГТУ на кафедре систем сбора и обработки данных. Область научных интересов: структурированное освещение, бесконтактное измерение, проекционные системы. E-mail: silver-kate94@mail.ru .
ГРНТИ: 29.31.29
Поступила в редакцию 14 мая 2021 г. Окончательный вариант - 10 августа 2021 г.
Increasing the spatial resolution of signals in optical systems
V.I. Guzhov1,1.O. Marchenko1, E.E. Trubilina1 1 Novosibirsk State Technical University, 630073, Novosibirsk, Novosibirsk, Russia, Nemirovicha-Danchenko 136
Abstract
Reconstruction of the signal in the intervals between discrete values is of great importance in solving the problem of spatial superresolution in optical microscopy and digital holography. The article deals with the issue of restoring high-resolution image elements from a certain number of raster images displaced by a sub-pixel shift. The numerical values of the image samples are obtained by spatial integration over some finite area of regular rasters. The spatial resolution is increased using an analytical expression for the spectrum of discrete signals obtained using the apparatus of generalized functions. Unlike ideal sampling, the spectrum of the function is supplemented by a multiplier, whose form depends on the type of aperture. To obtain high-resolution image elements, it is necessary to divide the Fourier spectrum of the sampled image by a factor depending on the selected aperture. The spectrum of the aperture is usually used, therefore, if the spectrum of the image obtained by averaging over a certain aperture is known, then the spectrum of the original image can also be obtained.
Apertures of various shapes are used, for example, elliptical, diamond-shaped, hexagonal, but most often rectangular apertures. The simulation results are presented for a rectangular aperture but in the case of its substitution with, for example, a set of regular apertures in the form of a circle, the expression will be true for regular circular rasters.
The analytical expression for the spectrum of the image obtained by averaging over a certain aperture can be used to reconstruct the spectrum of the original image. Having received the inverse Fourier transform from it, it is possible to obtain the original image.
With an increase in the spatial resolution it becomes possible to carry out studies by methods of digital holography of volumetric diffuse objects while retaining the quality of analog holography (when recording in photographic media) and create optical superresolution systems based on optical microscopes.
Keywords: sampling, sampling rate, spatial frequencies, generalized functions, Kotelnikov's theorem, Fourier transform, spectrum, superresolution.
Citation: Guzhov VI, Marchenko IO, Trubilina EE. Increasing the spatial resolution of signals in optical systems. Computer Optics 2022; 46(1): 65-70. DOI: 10.18287/2412-6179-CO-924.
Authors' information
Vladimir Ivanovich Guzhov (b. 1954) graduated from the Novosibirsk Electrotechnical Institute with a degree in Applied Mathematics in 1976. The degree of Doctor of Technical Sciences was awarded in 1999. He is a professor at the Data Collection and Data Processing Systems department, Novosibirsk State Technical University. Research interests are high-precision interference measurements. He is the author of over 250 scientific publications. E-mail: vigguzhov@gmail.com .
Ilya Olegovich Marchenko (b. 1985) graduated from Novosibirsk State Technical University with a degree in Information Systems and Technologies in 2007. He was awarded the degree of Candidate of Technical Sciences in 2015. He is a docent at the Data Collection and Data Processing Systems department, Novosibirsk State Technical University. Research interests are decoding of interferograms, digital holography. E-mail: i.o.marchenko@gmail.com .
Ekaterina Evgenievna Trubilina (b. 1994) graduated from Novosibirsk State Technical University in the direction 12.04.04 "Biotechnical Systems and Technologies" in 2017. She continues her postgraduate studies in the specialty 05.11.07 "Optical and Optoelectronic Devices and Complexes". Ekaterina Evgenievna is an assistant at NSTU at the Data Collection and Data Processing Systems department, Novosibirsk State Technical University. Research interests are structured lighting, contactless measurement, projection systems. E-mail: silver-kate94@mail.ru .
Received May 14, 2021. The final version - August 10, 2021.
