Сверхразрешение в цифровой голографии Текст научной статьи по специальности «Математика»

Сверхразрешение в цифровой голографии

В.И. Гужов, И.О. Марченко, Г.А. Поздняков, С.П. Ильиных Новосибирский государственный технический университет

Аннотация: В статье рассматривается метод повышения разрешения изображений в голографических системах на основе алгоритмов субпиксельного сдвига. Рассматриваются методы решения систем уравнений большой размерности сведением к блочному виду. Наиболее простое решение получается, когда из набора матриц со сдвигом в одном направлении формируется набор из матриц с увеличенным разрешением, а затем из полученного набора формируется результирующая матрица. Ключевые слова: сверхразрешение, субпиксельный сдвиг, голография, решение систем уравнений, голографическая интерферометрия, апертура.

Низкое разрешение современных матричных фотоприемников позволяет восстанавливать голограммы, полученные лишь при небольших углах сдвига. При увеличении угла между интерферирующими пучками разрешение регистрирующего материала должно увеличиваться. При недостаточном разрешении устройств ввода восстановленная информация о действительном или мнимом изображении может теряться.

В этом случае можно увеличить разрешение с помощью сдвига фотоприемника на величину, составляющую часть пикселя по координатам х и у. Сдвиг на субпиксельную величину может осуществляться, например, с помощью устройств, описанных в [1,2].

Алгоритмы субпиксельного сдвига

Общая постановка задачи описана в [3]. На рис.1 показана схема регистрации одномерного сигнала при его сканировании апертурой с низким разрешением. Здесь п - количество элементов низкоразрешающего растра, I -количество высокоразрешающих элементов, попадающих в интегрируемую апертуру 1и I = 0...п, п1 - количество элементов в высокоразрешающем растре.

1

Рис. 1. - Схема регистрации низкоразрешающего сигнала при субпиксельном сдвиге по одной строке.

В результате измерений мы имеем набор значений с низким разрешением I, сдвинутых относительно друг друга на некоторую величину меньшую размера интегрированной апертуры. Наша задача определить высокоразрешающие элементы х1.

Запишем систему линейных уравнений в виде

Х1 ++ х • • • Х, — 11

Х Х3 ^Ъ • • ■ ^Ъ Х,+1 — 12

Х(п-1)1+1 + Х(п-1)1+2 + ■■■+х~

(2)

п1 п1

В матричном виде систему уравнений (2) можно представить в следующем виде

А ■ X — I

1 1 1 0 Х1 11

1 1 1 Х2 12

1 1 Х3 13

1 1 1 Хп1 -3 — 1п1 -3

1 1 Хп1 - 2 1п1 -2

Хп1 -1 1п1 -1

0 1 _ хш . _

(3)

где А - матрица системы размером п1 х п1, X - вектор искомых элементов высокоразрешающего растра размером п1, I - вектор низкоразрешающих апертур (пикселов), образованных последовательно расположенными апертурами по строкам: 1\ - без сдвига, 12- со сдвигом на один элемент высокоразрешающего растра, 13 - со сдвигом на два элемента высокоразрешающего растра и т.д. Общее число элементов в векторе I - 1хп/ элементов.

Решая систему уравнений (3) путем последовательного вычитания элементов вектора I «снизу - вверх» получим искомый вектор элементов х высокоразрешающего растра.

Рассмотрим обобщение метода субпиксельного сканирования на двумерную область и возможность упрощения решения двумерной задачи путем ее разложения на ряд подзадач, решаемых для каждого пространственного направления отдельно. Это позволит распараллелить решение основной задачи и соответственно получить ее эффективное решение.

Пусть размер двумерного растра низкоразрешающего растра равен Их и Иу по горизонтали и вертикали, а / и к - коэффициенты увеличения пространственного разрешения в горизонтальном и вертикальном направлениях, соответственно.

Необходимый набор низкоразрешающих растров получается путем регистрации необходимого количества изображений при пространственных сдвигах в разных направлениях.

Отметим, что число элементов в наборе низкоразрешающих растров должно быть равно числу элементов высокоразрешающего растра

Ы=(Ых1)^(Ыук). Величина сдвига определяется следующим образом: Ах =

I —1 '

Ау = •

, где Ьх и Ьу - линейные размеры апертуры для одного пикселя

к — 1

изображения по горизонтали и вертикали, соответственно.

Рассмотрим структуру системы уравнений для нахождения синтезируемого высокоразрешающего двумерного растра Я в случае сдвигов в различных направлениях.

А) Пусть пространственные сдвиги выполняются для всех строк изображения только в одном (горизонтальном) направлении. Очевидно, что матрица системы в этом случае будет представлять собой блочную диагональную структуру размером (ШхЫу)*( ШхЫу)

А =

х

Б..

Б

Б,.

Б

Б

Б

(4)

где Бх - блочная матрица размером Их1*Их1, соответствующая матрице

системы уравнений (3).

Отметим, что каждый блок Бх описывает одну строку

высокоразрешающего растра. В этом случае блок Бх представляет собой

наддиагональную матрицу ширина ленты, которой равна величине коэффициента I.

Вх =

1 1 1

1

1 1 1 1

1 1 1 1

(5)

0 1 Система уравнений (3) перепишется следующим образом

А, • X = I

(6)

где вектор I в этом случае составляется путем последовательной развертки строк низкоразрешающих растров согласно описанному ранее правилу.

Вычисление элементов синтезируемого растра также выполняется путем вычитания элементов вектора I «снизу - вверх» (т.е. начиная с конца вектора).

Полученный вектор X представляет собой развертку искомого синтезируемого растра Я по строкам. Окончательно искомый растр Я получается путем сборки вектора X по строкам.

Другой способ вычислений заключается в формировании вектора I, его сборки в матрицу и последовательном вычитании элементов каждой строки «справа - налево», начиная с конца строки. В отличии от первого способа вычислений здесь каждая строка может рассчитываться независимо, т.е. параллельно.

Б) При сдвигах в вертикальном направлении матрица системы А

у

размером (ИхкИу)^(ИхкИу) будет иметь многодиагональную структуру. Расстояние между диагоналями равно длине строки, а количество диагоналей равно к.

А=

1 1 1 1

1 1 1 1

(7)

Матрица. Ау также может быть представлена в блочном виде

А =

у

Ву Ву

Ву Ву

Ву

Ву

Ву

Ву

Ву

Ву

(8)

1

здесь Ву - единичная матрица размером Нук^Ыук. Система уравнений (3) в этом случае примет вид

Ау-X =1. (9)

Более эффективный способ формирования и решения системы уравнений (9) заключается в ином способе формирования вектора 1. В отличие от предыдущего способа вектор 1 может быть сформирован по столбцам. Матрица Ау при этом будет с точностью до размера совпадать с матрицей Ах и иметь ширину ленты к. Этот способ эквивалентен перестановке столбцов и строк матрицы Ау, а также соответствующих им элементов вектора 1 таким образом, чтобы разреженная матрица Ау имела плотное расположение диагоналей.

Решая систему уравнений (9) способом аналогичным способу решения в секции (Б), получим вектор X, после сборки, которого имеем матрицу

размера Шук^Шх, которая в свою очередь является транспонированной матрицей синтезируемого растра Я.

В) При синтезе высокоразрешающего растра со сдвигами в обоих направлениях матрица системы Аху имеет структуру аналогичную матрице системы Ву. блоки Вху размера Шх*кШу матрицы системы Аху формируются из блоков, Ву, в которых происходит уширение диагоналей блока вверх на величину I и блок Вху принимает вид аналогичный виду блоков Вх. Тогда матрицу системы Аху размером (ШхкШу)*(1ШхкШу) можно представить как

А

ху

В В

ху ху

В В

ху ху

В В

ху ху

В В

ху ху

В

ху

В

ху

(10)

Как следует из выражения (10) матрица Аху сильно разрежена. Поэтому ее прямое решение неэффективно.

Достаточно простое решение получается, когда из набора матриц со сдвигом в одном направлении, например, по горизонтали с фиксированным сдвигом по вертикали формируется набор из к матриц с увеличением разрешения в горизонтальном направлении (секция А), а затем из полученного набора формируется результирующая матрица (секция Б).

Моделирование процесса субпиксельного сканирования при восстановлении изображений с аналоговых голограмм

Для демонстрации увеличения разрешения необходимо выбрать объект на котором будет виден эффект повышения разрешения. В качестве такого объекта выбрана реальная голограмма зафиксированная на фотопластинке.

При недостаточной частоте дискретизации высокие частоты при восстановлении из нее изображений будут потеряны [4].

Отсканируем участок голограммы 3,5 мм с разрешением 2048х2048 пикселя (рис.2). Для ввода использовалась система на основе модификации оптического микроскопа [5, 6]. В качестве устройства оцифровки может использоваться фотокамера или кинокамера [7]. Голограмма фиксировалась в области Фраунгофера, поэтому для восстановления их нее изображения использовалось преобразование Фурье [8-12].

Рис. 2. - Высокоразрешающая цифровая голограмма размером 3.5 мм х 3.5мм отсканированная с разрешением. 2048x2048 (слева) и восстановленное из неё действительное и мнимое изображения (справа)

Из этой голограммы получим четыре голограммы размером 1024х1024 следующим образом: первая голограмма получается усреднением значений по площадке 2х2 пикселя (без сдвига), вторая - усредним значения на площадке 2х2 пикселя со сдвигом голограммы по оси х на один пиксель, что соответствует сдвигу на половину пикселя голограммы после ее усреднения, третья - со сдвигом на один пиксель по оси у, четвертая -со сдвигом на один пиксель по оси х и у. Таким образом моделируем четыре цифровые голограммы низкого разрешения (1024х1024):

Р1 = 1 (х, у) - начальное изображение (без сдвигов); Р2 = 1 (х + Ах, у) - изображение со сдвигом в направлении х на

половину размера апертуры Ах для пикселя по горизонтали;

Р3 = 1 (х, у + Ау)- изображение со сдвигом в направлении у на половину

размера апертуры Ау для пикселя по вертикали;

Р4 = 1 (х + А, у + Ау) - изображение со сдвигом в направлении как х, так и в направлении у на половину размера апертуры Ах пикселя по горизонтали и Ау по вертикали.

На рис.3 показано восстановленное изображение из одной из голограмм размером 1024х1024. Из рисунка видно, что данного разрешения недостаточно.

Голограмма Восстановленное

изображение

Рис. 3. - Результат восстановления цифровой голограммы размером 3.5 мм отсканированной с разрешением 1024x1024

На рис. 4 показана последовательность операций синтеза высокоразрешающего растра по изложенному в статье алгоритму формирования двумерного сверхразрешающего растра в два этапа.

1

1024x1024

Рис. 4. - Последовательность синтеза высокоразрешающего растра

На первом этапе решается одномерная задача увеличения растра в горизонтальном направлении.

Из набора матриц Р выбираем матрицы, не имеющие сдвига по вертикали и с последовательными сдвигами по горизонтали. В нашем случае, это матрицы Р1 = I (х, у) и Р2 = I(х + Дх,у) с разрешением 1024x1024 и

формируем из них матрицу Н1, увеличивая при этом разрешение в горизонтальном направлении в два раза (т.е. 2048x1024). Для этого решаем систему уравнений

Н1.

1 1 1 1 1 1

0

1

1 1 1 1 1

Г М1 у " Г Р11У "

М2; Р 21 у

И13 у Р12 у

И1 2045 = Р1 1023 у

м у 2046 Р 2 1 1023у

м у2047 Р1 1 1024у

м _ ху 2048 _ Р 2 _ 1024у _

(11)

Затем выбираем матрицы имеющие сдвиг по вертикали Ау и также

последовательные сдвиги по горизонтали. Это матрицы Р3 = I (х, у + Ау) и

Р4 = I(х + А,у + Ау) с матрицу Н2, с разрешением 2048x1024 соответственно.

Ниже показано формирование у - ой строки матрицы H2j. Остальные строки формируются аналогично.

" 1 1 0" - к 21 у - Г Р31 у "

1 1 И 22 у Р 41 у

1 1 И23 у Р3 Г 2 у

Н 2. = _

у 1 И 2 2045 у Р 3 1023 у

1 1 И 2 2046 у Р 4 1 1023у

1 1 И 2 2047 у Р3 1 1024у

0 1 И 2 2048 у Р 4 1 1024 у

(12)

В результате получаем матрицу Н1(х,у) с разрешением 2048x1024 и матрицу Н2(х,у+Ау), имеющую такое же пространственное разрешение. Полученные матрицы описывают цифровые голограмм, введенные со сдвигом в вертикальном направлении и без горизонтальных сдвигов.

На втором этапе решается одномерная задача формирования сверхразрешающего растра в вертикальном направлении из полученных матриц со сдвигом по вертикали. Это позволяет использовать тот же алгоритм формирования изображения, что и со сдвигами по горизонтали. Отличие заключается в том, что обработка изображения ведется уже не по строкам, а по столбцам. Таким образом, из матриц Н1(х,у) и Н2(х,у+ку) с разрешением 2048x1024 формируем матрицу Н(х,у) с разрешением 2048x2048. Ниже показано формирование у - го столбца матрицы Н

"1 1 0" " кл '

1 1 кУ 2

1 1 ; НУ 3

Н, _ _

У : 1 к п] 2045

1 1 к пу 2046

1 1 к пу2047

0 1 к пу 2048

Н1 Н 2

у1

у1

Н1

Н1 Н 2 Н1 Н 2

у 2

у 1023

У1023

У1024

У1024

(13)

Остальные столбцы формируются аналогично.

В результате получим матрицу Н, элементы которой представляют высокоразрешающую цифровую голограмму с разрешением 2048x2048.

На рис.6 показаны 4 оцифрованных изображения размером 1024х1024 пикселя, синтезированная высокоразрешающая голограмма размером 2048x2048 и восстановленное с неё действительное и мнимое изображение. Повышение разрешения видно по картине (рис.5 справа), на которой действительное и мнимое изображение, в отличие от изображений на рис. 3, полностью восстановлены.

Рис. 5. - Повышение разрешения при сканировании цифровой голограммы

Таким образом, по набору растров с низким разрешением можно генерировать растры с высоким разрешением

Выводы

В статье рассмотрен быстрый алгоритм, реализующий метод пространственного субпиксельного сканирования.

Современные устройства позиционирования обеспечивают пространственный сдвиг по осям x и у с шагом 0.1 нм. При среднем размере пикселя в матричных фотоприемниках порядка 1-5 мкм можно обеспечить пространственное разрешение синтезируемых цифровых голограмм сравнимое с пространственным разрешением голограмм регистрируемых на

фотографических носителях. Однако при этом необходимо решать систему уравнений, имеющую порядок нескольких миллионов элементов.

Использование субпиксельного сдвига для формирования высокоразрешающих цифровых голограмм позволит значительно улучшить качество измерений реальных изделий при использовании современных матричных фотодетекторов для ввода изображений имеющих сравнительно невысокое пространственное разрешение.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований «Разработка и исследование методов компьютерной голографической интерферометрии объектов сложной формы» (Грант № 18-08-00580) и Министерством Образования и Науки РФ (гос. задание № 8.12007.2018/11.12).

Литература

1. RatisXY(Z) - двухкоординатный плоскопараллельный сканер. - URL: nanoscantech.com/ru/products/stage/stage-76.html.

2. Moshe Ben-Ezra, Assaf Zomet, and Shree K. Nayar. Video Super-Resolution Using Controlled Subpixel Detector Shifts // IEEE transactions on pattern analysis and machine intelligence, Vol. 27, No. 6, June 2005, pp.977-987

3. Васьков С.Т., Ефимов В.М., Резник А.Л. Быстрая цифровая реконструкция сигналов и изображений по критерию минимума энергии// Автометрия. 2003, Т.39, №4, с.13-20.

4. Гужов В.И., Марченко И.О., Хайдуков Д.С., Ильиных С.П. Использование обобщенных функций для дискретизации изображений // Инженерный вестник Дона, 2017, № 2. URL: ivdon.ru/ru/magazine/archive/N2y2017/4127.

5. Гужов В.И., Ильтимиров Д.В., Хайдуков Д.С., Чернов О.В., Полубинский С.Л. Модификация оптических микроскопов // Автоматика и программная инженерия. Новосибирск. 2016. №2(16). С. 71-76.

6. Гужов В.И., Денежкин Е.Н., Чернов О.В., Зарубин Н.С. Восстановление изображений из реальных голограмм, зафиксированных на фотопластинках. НГТУ, Новосибирск, Россия. Автоматика и программная инженерия. 2017. № 1 (19). С. 76-80.

7. Толкачев Д.С. Повышение точности калибровки внешних параметров видеокамеры // Инженерный вестник Дона, 2013, № 3. URL: ivdon.ru/ru/magazine/archive/n3y2013/1840/.

8. Ярославский Л.П. Цифровая голография / Л.П. Ярославский, Н.С. Мерзляков. - M.: Наука, 1982. - 219 с.

9. Kim, M.K. Principles and techniques of digital holographic microscopy / M.K. Kim // SPIE Reviews. - 2010. - Vol. 1. - pp. 018005-1 - 018005-50.

10. Гужов В.И., Емельянов В.А., Хайдуков Д.С. Область возможного применения дискретных преобразований Фурье и Френеля. // Автоматика и программная инженерия. Новосибирск. 2016. №1(15). С. 97-103

11. Гужов В.И., Несин Р.Б., Емельянов В.А. Представление преобразования Френеля в дискретном виде // Автоматика и программная инженерия. Новосибирск. 2016. №1(15). С. 91-96

12. Гужов В.И. Математические методы цифровой голографии.: Учеб. пособие. Новосибирск: Изд-во НГТУ, 2017. 80 с.

References

1. RatisXY (Z) - dvuhkoordinatnyj ploskoparallel'nyj skaner. URL: nanoscantech.com/ru/products/stage/stage-76.html.

2. Moshe Ben-Ezra, Assaf Zomet, and Shree K. Nayar. Video Super-Resolution Using Controlled Subpixel Detector Shifts. IEEE transactions on pattern analysis and machine intelligence, Vol. 27, No. 6, June 2005, pp.977-987

3. Vaskov S.T., Efimov V.M., and Reznik A.L. Optoelectronics, Instrumentation and Data Processing. 2003. Vol. 39, iss. 4. pp. 11-17.

4. Guzhov V.I., Marchenko I.O., Hajdukov D.S., Il'inyh S.P. Inzenernyj vestnik Dona (Rus), 2017, № 2. URL: ivdon.ru/ru/magazine/archive/N2y2017/4127.

5. Guzhov V.I., Iltimirov D.V., Hajdukov D.S., Chernov O.V., Polubinskiy S.L. Modification of Optical Microscopes. Automatics & Software Enginery, Novosibirsk. 2016. № 2(16). pp.71-76

6. Guzhov V.I., Denegkin E.N., Chernov O.V., Zarubin N.S. Automatics & Software Enginery. Novosibirsk. 2017. №1 (19). p.76-80

7. Tolkachev D.S. Inzenernyj vestnik Dona (Rus), 2013, № 3. URL: ivdon.ru/ru/magazine/archive/n3y2013/1840/.

8. Jaroslavskij L.P. Cifrovaja golografija [Digital Holography]. L.P. Jaroslavskij, N.S. Merzljakov. M.: Nauka, 1982. 219 p.

9. Kim, M.K. Principles and techniques of digital holographic microscopy. M.K. Kim. SPIE Reviews. 2010. Vol. 1. pp. 018005-1 - 018005-50.

10. Guzhov V.I., Emelyanov V.A., Hajdukov D.S. Automatics & Software Enginery, Novosibirsk, 2016. No.1(15), pp.97-103

11. Guzhov V.I., Nesin R.B., Emelyanov V.A. Automatics & Software Enginery, Novosibirsk, 2016. No.1(15), pp.91-96

12. Guzhov V.I. Matematicheskie metody cifrovoj golografii [Mathematical methods of digital holography]: Ucheb. posobie. Novosibirsk: Izd-vo NGTU, 2017. 80 p.