CC BY
81
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
РЕКОНСТРУКЦИЯ ИЗОБРАЖЕНИЙ В ДИФРАКЦИОННО-ОПТИЧЕСКИХ СИСТЕМАХ
НА ОСНОВЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ И ОБРАТНОЙ СВЕРТКИ
А.В. Никоноров 12, М.В. Петров 1, С.А. Бибиков 1, В.В. Кутикова 1, А.А. Морозов 12, Н.Л. Казанский1,2
1Самарский национальный исследовательский университет имени академика С.П. Королева, Самара, Россия, 2 Институт систем обработки изображений РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, Самара, Россия
Аннотация
В последнее время появились прорывные работы, посвященные изображающим оптическим системам на основе однокомпонентных дифракционных структур, таких как зонные пластинки и линзы Френеля. Такие системы на порядки превосходят классические рефракционные аналоги по весу и стоимости, существенно уступая в качестве получаемых изображений вследствие сильных оптических искажений, присущих дифракционной оптике. В настоящей работе показано, что применение гармонических линз совместно с последующей вычислительной реконструкцией изображений позволяет существенно повысить качество получаемых изображений. Предлагаемый процесс реконструкции состоит из предварительного этапа цветовой коррекции зарегистрированного изображения и устранения хроматического размытия на основе обратной свертки и сверточных нейронных сетей. Подобное совершенствование технологии изготовления дифракционных объективов и алгоритмов реконструкции способствует появлению нового класса сверхлегких изображающих систем широкого спектра применения, от дистанционного зондирования для нано- и пикоспутни-ков до систем видеонаблюдения и устройств для экстремальной журналистики.
Ключевые слова: гармоническая линза, дистанционное зондирование, обратная свертка, глубинное обучение, оценка функции рассеяния точки, цветовая коррекция.
Цитирование: Никоноров, А.В. Реконструкция изображений в дифракционно-оптических системах на основе сверточных нейронных сетей и обратной свертки / А.В. Никоноров, М.В. Петров, С.А. Бибиков, В.В. Кутикова, А.А. Морозов, Н.Л. Казанский // Компьютерная оптика. - 2017. - Т. 41, № 6. - С. 875-887. - DOI: 10.18287/2412-6179-2017-41-6-875-887.
Введение
Многие современные исследования решают задачу уменьшения размеров камеры в изображающих системах. На Всемирном мобильном конгрессе в 2017 году наибольший интерес вызвали инновации в области мобильных камер. Китайская компания OPPO представила первую в мире двойную камеру с оптическим пятикратным увеличением. Годом ранее компания Light предложила цифровой фотоаппарат с матрицей в 50 мегапикселей, легко помещающийся на ладони.
Еще более сложной технической задачей является миниатюризация телескопических объективов с фокусным расстоянием в несколько сотен миллиметров. Как правило, телеобъектив состоит из большого числа оптических элементов, а его масса превышает 500 грамм. В ряде прикладных задач использование столь массивных систем затруднено, в частности это касается наноспутников, атмосферных спутников, малых БПЛА, а также носимых оптических средств, используемых, например, в целях экстремальной журналистики. Для подобных систем использование сверхлегких дифракционно-оптических объективов открывает новые возможности и сферы применения.
Перспективность сверхлегких дифракционных объективов подтверждается интересом, проявляемым к подобного рода системам со стороны футуристических проектов, таких как проект Breakthrough Starshot по отправке пикоспутников к альфа Центавра. На сайте этого проекта отмечено, что дифракционные
линзы [1] являются перспективным техническим решением для организации бортовой оптической системы разрабатываемого межгалактического космического аппарата весом 1 грамм.
Изображающие оптические системы на основе дифракционной оптики ранее не использовались вследствие сильных искажений, присущих дифракционным элементам. Возникающие искажения снижают качество регистрируемых изображений по сравнению с изображениями, получаемыми классическими рефракционными объективами. Первые результаты, подтверждающие практическую возможность формирования изображений в дифракционных системах, получены в работах [4] и [1]. В статье [1] показано, что комбинация 4-уровневой линзы Френеля с последующей реконструкцией изображения позволяет получить изображения высокого разрешения.
В работе [5], опубликованной в ноябре 2015 года, проводится сравнение качества изображений, полученных рефракционными и дифракционными линзами. Показано, что для оценивания качества изображений можно успешно использовать пиковое соотношение сигнал-шум (РБМЯ). В результатах приведены получаемые значения РБМЯ, равные 17 дБ.
В работе [6] описывается создание на поверхности дифракционной линзы комбинации зон, которые компенсируют хроматические искажения. В работе достигается очень высокий уровень РБКЯ, но только для синтезированных изображений. В статье [7], по-
священной вопросам устранения размытия для дифракционных линз Френеля, приводятся значения PSNR реальных снимков на уровне 24 дБ.
Подходы к реконструкции изображений, используемые в работах [5 -7], схожи и основаны на методах обратной свертки с регуляризацией [9, 10]. Подход из работы [6] основан на регуляризованной обратной свертке с межканальной связью, которая учитывает линейную модель искажений. Для дифракционной линзы один из цветовых каналов зарегистрированного изображения (обычно зелёный канал) менее подвержен размытию, чем другие каналы. В работе [7] показано, что обратная свертка эффективна только для более четких каналов, в то время как другие методы нелинейного преобразования, например, повышение резкости (sharpening), могут применяться для более размытых цветовых каналов.
Альтернативным подходом к решению задачи восстановления изображений являются методы машинного обучения. Так, в работе [5] используется предложенный в [12] подход компенсации присущих обратной свертки артефактов на основе многослойного пер-цептрона. В работе [12] однако отмечено, что решить задачу восстановления расфокусированного изображения непосредственно полносвязной нейронной сетью без использования обратной свертки не удается.
Начиная с 2014 года, методы глубинного обучения применяются для решения близкой задачи сверхразрешения (SR problem). Так, в работе [13] описана архитектура SRCNn (Super-Resolution Convolutional Neural Network), по результатам превосходящая традиционные подходы к задаче сверхразрешения. Предложенная в 2016 году [14] нейронная сеть VDSR (Very-Deep SuperResolution) позволила достичь лучшего качества изображения и оказалась более стабильной при обучении. Развитие такого подхода для получения изображений различного масштаба описано в [15]. Использование сети, обученной на RGB-изображениях для задачи сверхразрешения, для улучшения качества гиперспектральных изображений описано в [16].
В настоящей работе предлагается использовать сверточные нейронные сети (СНС) как составную часть технологии реконструкции изображений, полу-
Цветовая коррекция
ченных с помощью разработанной дифракционно-оптической системы.
Предложенная СНС позволяет выполнять восстановление изображения, искаженного присущей дифракционной оптике хроматической аберрацией, без использования обратной свертки.
Вклад авторов состоит в следующем. Во-первых, была создана 256-уровневая гармоническая дифракционная линза. Гармоническая линза была использована вместо обычной дифракционной линзы, с помощью которой ранее были получены первые результаты в данной области. На рис. 1 представлено сравнение обычной и гармонической дифракционных линз, а также приведены полученные на их основе изображения. Более подробное описание методов расчета и изготовления гармонических линз будет приведено в параграфе 1.
ко
-Ш)
©
тко
J*=ü
Рис. 1. Сравнение обычной (1) и гармонической (2) дифракционных линз (а), полученные на их основе изображения (б и в соответственно)
Во-вторых, разработан метод реконструкции изображений на основе СНС. Предложена новая архитектура СНС, являющаяся развитием СНС, применяемой для задачи сверхразрешения. Предложен метод обучения сети, учитывающий связь между цветовыми каналами изображения, тем самым дополнительно повышая качество реконструкции. На рис. 2 представлена схема реконструкции изображения, которая включает в себя цветовую коррекцию и устранение размытия на основе обратной свертки и СНС.
Свёрточная нейросетъ
Обратная свёртка
Рис. 2. Схема реконструкции изображения - цветовая коррекция для всех цветовых каналов, обратная свертка для зеленого канала и устранение размытия красного и синего каналов с помощью СНС
1. Расчет гармонической линзы и описание модели искажений изображения
Гармоническая линза - дифракционная линза, в которой оптический путь равен целому количеству т базовых длин волн ко [17]. Толщина такой линзы, изготовленной из материала с показателем преломления п, составляет тко /(п-1) (рис. 1). Гармонические линзы обладают свойствами как дифракционных, так и ре-
фракционных линз. Чем больше толщина такой линзы, тем ярче выражены рефракционные свойства.
Регистрация изображения с помощью одной гармонической линзы
При использовании одной гармонической линзы для регистрации изображения расстояние до фокальной плоскости зависит от длины волны света [17, 18]: / (1, к ) = тХо/о/ 1к, (1)
где т - множитель для высоты микрорельефа гармонической линзы, Х0 - базовая длина волны, X - текущая длина волны, к - дифракционный порядок, /0 -расстояние до фокальной плоскости для длины волны Хо. В таком случае эффективность формирования фокального пятна описывается следующим уравнением:
е(1, к) = srnc2)^ - к |.
(2)
Согласно модели гармонической линзы, всегда можно получить точную фокусировку для выбранного диапазона длин волн. Однако для всех длин волн видимого диапазона фокусное расстояние будет изменяться в достаточно широких пределах. Согласно [17], изменение оптической силы Б гармонической линзы определяется следующим выражением:
^ (3)
Б т
Согласно (1), для разных длин волн фокусное расстояние различается практически линейно, что приводит к возникновению хроматической аберрации. Уравнение (2) описывает зависимость эффективности формирования фокального пятна от длины волны, что приводит к перераспределению энергии между разными порядками дифракции. Перераспределившаяся энергия регистрируется в цветовых каналах изображения в виде цветной засветки. Будем называть такую засветку хроматическим сдвигом.
В каждом канале хроматическая аберрация вызывает размытие, которое может быть описано при помощи функции рассеяния точки (ФРТ), иногда называемой ядром размытия [1]. При этом модель искажений описывается как комбинация двух типов искажений, хроматической аберрации, которая преобразует исходное изображение рЯоВ (х) в размытое рвКОВ (х), и хроматического сдвига, который, в свою очередь, преобразует размытое изображение рО (х) в рО (х):
РШБ (Х) = BRGB ® Prgb (Х) + Х
pBGSb (x) = Srgb (pB (x), pGB (x), pB (x)),
(4)
(5)
где ряоВ (х) - один из цветовых каналов исходного изображения, р^В (х) - канал изображения, полученного при помощи ДОЭ, БяоВ - функция размытия точки для каждого канала, 8яоВ ((х), рвс (х), рI (х)) - хроматический сдвиг, ^ - аддитивный шум. Далее для обозначения различных цветовых каналов изображения используются ря, ро и рв, а для обозначения координат точки х изображения - х1 и х2. Модель искажения предполагает, что размытие происходит перед хроматическим сдвигом, таким образом, нелинейная цветовая коррекция применяется перед сверткой с ФРТ. На практике возможные отклонения от этого предположения могут вызвать дополнительные нелинейности при компенсации хроматического размытия (4).
Технология изготовления гармонической линзы
Микрорельеф линзы был изготовлен с помощью двухлазерной круговой записывающей системы
(TLCWS) [19], которая позволяет записывать многоуровневый микрорельеф с 256 уровнями квантования на поверхности фоторезиста. Ранее такая система использовалась только для записи ДОЭ в неизобража-ющих системах или изображающих системах низкого разрешения, предназначенных для работы с монохроматическим когерентным светом. Для получения высококачественной изображающей гармонической линзы требуются дальнейшие усовершенствования в методах ее изготовления [19].
Высота микрорельефа линзы варьируется от долей микрона до 15 -20 микрон. Если угол рельефа с поверхностью подложки меньше 45 то рельеф может быть записан с точностью до 50 нм в высоту. Такой уровень точности достигается благодаря предварительной калибровке мощности лазера. Данная калибровка предполагает коррекцию записываемой мощности лазера путем предварительной записи тестовых линейных структур и проводится периодически для конкретной партии резиста, так как характеристики резиста изменяются от партии к партии. Без такой калибровки точность падает до 100 нм.
На рис. 3 видно хорошее сходство между смоделированным и изготовленным микрорельефами. В линейных областях различия между ними находятся в пределах 50 нм, что удовлетворяет предъявляемым требованиям оптического качества поверхности. В местах с большим углом наклона поверхности резиста ошибка возрастает и достигает максимума на вертикальных участках микрорельефа (рис. 3а). Таким образом, форма границ между зонами линз не является идеальной, однако разница между изготовленным и смоделированным микрорельефом находится в пределах 50 нм. На рис. 36 показана 3Б-визуализация линзы, полученная с помощью микроскопа New View Zygo 5000. Такое высокоточное изготовление позволяет значительно уменьшить искажения на изображениях, полученных с помощью гармонических линз.
2. Технология реконструкции изображений
В данном параграфе приведено описание усовершенствованной технологии реконструкции изображений, зарегистрированных с использованием гармонической дифракционной линзы. Процесс реконструкции, как показано на рис. 2, состоит из предварительного этапа цветовой коррекции зарегистрированного изображения и устранения хроматического размытия на основе обратной свертки и коррекции на основе СНС. Кроме того, проведена оценка параметров для цветовой коррекции и для ФРТ в каждом канале.
Цветовая коррекция
Первым шагом в процедуре улучшения качества изображения является цветовая коррекция. Она проводится с целью устранения цветового сдвига, вызванного перераспределением энергии между дифракционными порядками линзы (2). Этот сдвиг выражается как изменение зарегистрированного цвета
по отношению к оригинальному цвету. Цветовая коррекция обеспечивает существенное улучшение визуального качества изображения, а также приводит к повышению показателя пикового соотношения сигнал-шум (РБИЯ).
Рис. 3. Экспериментальный (чёрный) и теоретический (красный) профили линзы (а); профиль, измеренный с помощью New View Zygo 5000 (б); центральная область линзы (в); боковая область линзы (г)
Ранее в работах [1, 7] такая коррекция осуществлялась независимо для каждого цветового канала изображения с использованием корректирующих функций одной переменной согласно методу, описанному в [20]. Предложенная корректирующая функция не в полной мере соответствует зависимости между исходным цветом и искаженным зарегистрированным цветом (рис. 4) и может быть использована только для локальной области цветового пространства. Дальнейшее улучшение качества возможно за счет применения трехкомпонентной цветовой коррекции.
Рв 200
100
■ё W
АШХ Рв
Рв 200
100
?!
* !5м . ; . 1
V Ра
а) 0 100 200 б) 0 100 200
Рис. 4. Соответствие между значениями исходного и искаженного цветов для зеленого канала: во всем цветовом пространстве (а) и в локальной области цветового пространства (б)
В настоящей работе предлагается использовать многомерный метод цветовой коррекции, который предполагает наличие в каждом канале зависимости цветовой координаты искаженного цвета от цветовых координат во всех трех каналах исходного изображения. Для описания зависимости (5) между искаженным р^ОБ и исходным р°ОБ цветами используется полиномиальное представление:
р,° = (рБ, р1, рБ) = рк (а,., рБ, р1, рБ), (6)
где Рк - полином степени К с вектором коэффициентов а,, , = Я, G, Б.
Функция (6) определяет отображение искаженных цветовых координат в исходные цветовые координаты ,-го канала. Таким образом, ЯОБ-координаты искаженного цвета определяются тремя отображениями для Я, G и Б каналов.
В настоящей работе используется полином третьей степени. Оценивание коэффициентов а, для каждого канала проводится методом гребневой регрессии. По сравнению с методом наименьших квадратов гребневая регрессия обеспечивает лучшую точность для плохо обусловленных задач. В качестве исходных цветов используется цветовая калибровочная таблица, содержащая 768 образцов.
Для проведения цветовой коррекции изображения строятся трехмерные ЬиТ-таблицы (таблицы поиска). Каждому исходному цвету в такой таблице соответствует строка с координатами исходного цвета и полученным согласно (6) значением искаженного цвета. Оценка параметров функции (6), формирование ЬИТ-таблицы и идентификация ФРТ проводятся на стадии калибровки с помощью полученного изображения цветовой таблицы.
Оценка функции рассеяния точки
Вторым этапом в реконструкции изображения после цветовой коррекции является устранение размытия путем обратной свертки с известной ФРТ. Для этого этапа необходимо предварительно выполнить оценку ФРТ изображающей системы.
Оценка ФРТ основана на сравнении зарегистрированного изображения некоторого шаблона и его оригинала. Свертка с ФРТ определяется линейной системой:
X Б, (и, V)р, (X! - и, х2 - V) = р, (х), (7)
(х)
где 'Б (х) - окно ФРТ с центром в точке х, , = Я, G, Б. Для оценки коэффициентов Б, системы (7) используется калибровочный шаблон с изображением белого шума [7].
На практике сильные искажения, вносимые дифракционной оптикой, существенно снижают качество оценки (7). В настоящей работе для повышения качества оценивания используется дополнительная аппроксимация ФРТ, основанная на аналитическом вычислении фокального пятна для гармонических линз. Интегральное представление фокального пятна гармонической линзы получено в [21] в следующем виде:
Ьт (Р) =1 Р(1)/°Г 5(р-Г^ (г, 1))г^, (8)
1,0 ГКт (г,1)
где 5( ) - дельта-функция, которую можно аппроксимировать Гауссианом, Я(1) - спектр падающего света в пределах длин волн [1,, 12], р и г - полярные координаты в фокальной плоскости и в апертуре линзы. Слагаемое п,т (г,1) определено в [21] и может быть аппроксимировано полиномом, зависящим от координат в фокальной плоскости.
Предлагается следующая аппроксимация (8):
b(u, v) = (a14u3 + a13v3 + a12u2 + +a11v2 + a10uv + a9u + a8v + a7) X
(2/2 2
—a15 (a6u + a5v + a4uv + a3u +
+ exp(—a126 (a17(u — a18)2 +(v — a19)2))
(9)
+ an
где а - оцениваемые параметры. Первое слагаемое состоит из двух множителей: полиномиальной аппроксимации первого интеграла в (8) и аппроксимации дельта-функци в (8). Некоторые степени полинома были опущены, чтобы обеспечить стабильность идентификации параметров. Аппроксимация проводилась с помощью нелинейного метода наименьших квадратов. Второе слагаемое было добавлено в (7), чтобы компенсировать погрешность аппроксимации. На рис. 5 представлен результат аппроксимации ФРТ.
Рис. 5. 3Б-представления аппроксимации ФРТ для зелёного канала (а), а также сравнение на плоскости ФРТ с аппроксимацией (б) и без нее (в)
Устранение хроматического размытия на основе обратной свертки
Устранение размытия выполняется с помощью обратной свертки, применяемой к наиболее четкому каналу. Как правило, для линзы Френеля таким каналом является зеленый. Для изображений, полученных при помощи гармонической линзы, обратную свертку можно применить ко всем каналам, так как оценка ФРТ в данном случае является более точной по сравнению с оценкой ФРТ для обычной дифракционной линзы.
Задача обратной свертки для зеленого канала может быть сформулирована следующим образом:
(10)
ра = а^тт||во ® ра - рЦ2 + ррв|[ ,
Ро
где Во - ФРТ для зеленого канала, а ||Ур( компонент, определяющий полную вариацию.
Для других цветовых каналов добавлено третье слагаемое, отвечающее за межканальную связь, которое обеспечивает согласованность градиента в текущем и зеленом цветовых каналах.
pG = argmin BG ® pG — pBA + WpG I +
(11)
+ Vp • pG —vp;
Минимизация полной вариации в L 1 норме в (10) и (11) позволяет сохранить четкие границы и осуществляется на базе процедуры, предложенной в [10]. В работах [1, 7] для линзы Френеля реконструкция красного и синего каналов выполняется с использованием процедур повышения резкости.
Для гармонической линзы использовалась дополнительная процедура обратной свертки, основанная на работах [22, 23], с ограничениями на градиенты в цветовых каналах. Это позволило использовать управляемую (guided) фильтрацию [24] в процедуре оптимизации, которая осуществляется на основе зеленого канала.
Далее будут приведены результаты сравнения качества изображения после реконструкции на основе обратной свертки с качеством изображений после применения СНС для устранения искажений.
Устранение хроматического размытия на основе сверточной нейронной сети
Устранение хроматического размытия с помощью обратной свертки проводится на основе линейной модели искажений (4). Однако такая модель не вполне подходит для описания сильных искажений красного и синего каналов, поэтому обратная свертка оказывается неэффективной при устранении размытия в этих каналах. Для решения описанной проблемы в работах [1, 7] использовалась процедура повышения резкости, которая позволила достичь лучших результатов в случае обычной дифракционной линзы.
В настоящей работе для реконструкции изображений предлагается использовать СНС, которые доказали свою эффективность для широкого круга задач обработки изображений, и в частности, при решении задачи сверхразрешения по одному изображению. Разработанный алгоритм, как и предыдущие подходы (обратная свертка и повышение резкости), использует межканальную связь, основанную на гипотезе об ахроматичности контуров [25]. В работах [6, 9] такая связь использовалась в качестве регуляризирующего компонента обратной свертки, а в работах [1, 7] применялась при повышении резкости изображения путем согласования контуров красного и синего каналов с контуром в |Vp(B|i зеленом канале. В данной работе
межканальная связь выступает в качестве штрафа за отклонение контура от ахроматичности (grey-edge penalty) для функции потерь нейронной сети. Предполагается, что зеленый канал является более четким, тогда функция потерь для красного и синего каналов имеет следующий вид:
+
2
1 N
L(p,, p0, p°G, w) = 1Xd(pjj - p0(j) +
N j=1
1N
n 31 PG j)yp(j) - P( "vp
(12)
0( j)
G
j=1
L+h w 2 ■
где N - количество изображений в одном минибатче обучения, ] - индекс изображения в выборке, р.
0( j)
- 1-й
\( j)
цветовой канал эталонного изображения, p(J) - i-й цветовой канал восстановленного изображения, i = R, B. Первое слагаемое функции потерь обеспечивает минимизацию расстояния d ( ) между эталонным изображением и изображением, полученным на выходе сети. Второе слагаемое реализует штраф за отклонение градиента от зеленого канала p°GJ) эталонного изображения. Последнее слагаемое накладывает ограничения на норму весовых коэффициентов сети (weight decay). В качестве d( ) может использоваться L2-норма или дифференцируемый аналог L1-нормы - функция потерь
Чарбониера (Charbonnier) [26] d(x) = Vx2 -e2 , которая уже использовалась в [15] для задачи сверхразрешения. В данной работе исследования проводились для двух типов норм. Экспериментальные исследования показали, что лучшие результаты достигаются, если в начале обучения коэффициент скорости обучения X, параметр функции потерь s и коэффициент, ограничивающий норму весовых коэффициентов, n (weight decay) установить равными 10-2, 10- 4, и 5• 10-2 соответственно, а в конце обучения n уменьшить до 10- 4
Кроме того, в ходе исследований была проведена оценка некоторых архитектур нейронных сетей, успешно применяемых для задачи сверхразрешения. Оценка проводилась по двум критериям: время обработки одного изображения и качество восстановленного изображения в сравнении с ранее предложенными методами.
Применение архитектуры SRCNN [13] (одна из первых успешных СНС для задачи сверхразрешения) и реализации обратной свертки на основе нейронных сетей не позволило повысить качество реконструкции. Возможной причиной этого может быть недостаточная глубина сети SRCNN.
Дальнейшие исследования проводились на основе архитектуры нейронной сети VDSR, описанной в [14]. Замена функции активации ReLU на PReLU [27], а также сочетание архитектуры VDSR и функции потерь (12) с учетом штрафа (grey-edge penalty) за отклонение контура от ахроматичности (рис. 6) позволили достичь лучших результатов.
Как правило, для задачи сверхразрешения изображение представляется в цветовом пространстве YCbCr, и дальнейшее повышение разрешения обеспечивается путем обработки только компоненты яркости (канала Y), оставляя другие хроматические компоненты без изменения. При использовании гармонической линзы хроматическое размытие проявляется в каждом цветовом канале RGB-изображения, поэтому для его устранения предложенный алгоритм на основе СНС применяется к каждому каналу изображения.
Красный || Синий
~JL
Зелёный
Corn 3x3x1 it
------It------
Conv 3x3x64
повтор N раз _ii_
Corn 3x3x1
IF
tt „
Восстановленный красный/синий
Рис. 6. Архитектура СНС для коррекции хроматического размытия, основанная на архитектуре сети VDSR
Модель искажений (4) основана на предположении, что размытие происходит перед цветовым сдвигом, поэтому устранение цветового размытия с помощью СНС проводится только после цветовой коррекции изображения. Перед обучением нейронной сети изображения из обучающего набора разбиваются с шагом 1 на фрагменты размера 41*41. Обучающий набор состоит из 250 пар изображений (изображения после цветовой коррекции и соответствующие эталонные изображения).
Для увеличения объема данных применялось за-шумление и поворот имеющихся изображений, в результате чего объем обучающей выборки составил 200,000 изображений.
Экспериментальные исследования показали, что подход, основанный на СНС, обеспечивает лучшее качество для синего и красного каналов по сравнению с другими методами коррекции. Однако для зеленого канала несколько более эффективной остается обратная свертка с регуляризацией.
3. Результаты экспериментальных исследований
Ниже приводится сравнение методов реконструкции изображений с использованием обратной свертки и сверточных нейронных сетей.
Параметры проводимых исследований Для проведения экспериментов использовалась RGB-камера PointGrey GS3-U3-41C6C, размер матрицы которой равен 1", шаг пиксела - 5,5 мкм и разрешение - 2048*2048. Максимальное соотношение сигнал-шум составляет 39 дБ. Изображения для оценки пикового соотношения сигнал-шум были получены при помощи проектора 3LCD Epson. Тестовый набор включал 50 различных изображений, примеры которых представлены на рис. 7.
а)
б)
в) -
Рис. 7. По строкам - а) исходное изображение, зарегистрированное изображение, восстановленное изображение, увеличенные фрагменты зарегистрированного и восстановленного изображений; б) исходное и восстановленное изображения; в) исходное и реконструированное изображения, фрагменты - исходного и зарегистрированного изображения, фрагменты реконструкции на основе обратной свертки и сверточной сети; г) снятый и реконструированный фрагмент миры, постановочная сцена, снятая
дифракционной линзой, и результат ее реконструкции
Для более точного сопоставления оригинального и зарегистрированного изображений использовались специальные маркеры, расположенные в углах изображений. Расчет PSNR проводился только для центральной части изображений, чтобы исключить неоднородность искажений на краях изображения. Изображения на рис. 7в были получены в помещении при дневном свете.
Для съемки использовался объектив с фокусным расстоянием и апертурой, равными 150 мм и 50 мм соответственно. Множитель гармонической линзы m равен 13, а базовая длина волны - 550 нм, таким образом, общая толщина линзы составила около 7 мкм, а самым четким каналом оказался зеленый.
На рис. 3 показано изображение профиля изготовленной 256-уровневой гармонической линзы, полученное с помощью интерферометра белого света New View Zygo 5000.
Сравнительное исследование качества реконструкции На рис. 6 представлены результаты оценки ФРТ системы. Аппроксимация (9) обеспечивает незашум-
ленную оценку ФРТ и лучшее качество обратной свертки. Результаты, представленные в табл. 1, показывают увеличение качества реконструкции, полученной в результате аппроксимации ФРТ.
На рис. 7 представлены различные зарегистрированные и восстановленные изображения, соответствующие им эталонные изображения и их увеличенные фрагменты. На рис. 7а слева направо приведены оригинальное изображение, изображение, снятое гармонической линзой, реконструированное изображение, два фрагмента снятого и реконструированного изображения. На рис. 7б показаны две пары изображений, снятых и реконструированных. Изображения, представленные на рис. 7в, позволяют провести визуальное сравнение результатов применения реконструкции на основе обратной свертки и сверточной нейронной сети.
Сравнение фрагментов на рис. 7в4 показывает, что сверточная сеть не приводит к появлению на изображении артефактов реконструкции, характерных для подхода на основе обратной свертки. На рис. 7г представлены примеры постановочной сцены, снятой ди-
1
2
3
4
фракционной линзой, и результат ее реконструкции, а также снятый и реконструированный фрагмент тестовой миры ISO 12233.
В табл. 1 указаны средние значения пикового соотношения сигнал-шум (PSNR) для разных цветовых каналов, рассчитанные по тестовому набору данных.
Табл. 1. Значения пикового соотношения сигнал-шум для разных типов дифракционных линз и методов реконструкции изображения
Из табл. 1 видно, что качество необработанных изображений, полученных с помощью гармонических линз, значительно выше по сравнению с дифракционными линзами из [7]. Также в табл. 1 представлены результаты для различных комбинаций этапов реконструкции изображений. Среднее значение РБКЯ после цветовой коррекции представлено в строке 3. В строках 4 и 5 указаны результаты для обратной свертки с ФРТ без аппроксимации и с аппроксимированной ФРТ, а значения РБМЯ после коррекции всех каналов с помощью СНС. Результаты подхода, основанного на совместном использовании СНС (для красного и синего каналов) и обратной свертки (для зеленого канала), указаны в строках 6 и 7. Наилучшее качество реконструкции было показано при использовании последнего подхода.
В работе [6] удалось достигнуть хорошего визуального качества восстановленных изображений для ахроматических линз по сравнению с работами [1, 5]. Однако значения РБМЯ вычислялись только для син-
тезированных изображений, которые были получены с помощью обратной свертки данных многоспектральных изображений с ФРТ для линзы Френеля и предложенной ахроматической линзы. Из-за синтетического характера тестового набора данных результаты данной работы не были приведены в табл. 1.
Сравнение строк 5 и 7 таблицы демонстрирует эффект замены обратной свертки в красном и синем канале на реконструкцию с использованием СНС, прирост PSNR составляет более 1 дБ. Еще более заметно улучшение качества при применении СНС при визуальной оценке изображений. Такое улучшение обусловлено тем, что нейросетевая реконструкция, в отличие от обратной свертки, не привносит артефактов в восстановленное изображение (рис. 7в4).
Экспериментальные исследования показали, что предложенная СНС чувствительна к параметрам обучения. Обучение «с нуля» позволяет достичь лучших результатов, чем при использовании предварительно обученной сети для задачи сверхразрешения. В ходе исследований оказалось, что для красного канала хорошее качество реконструкции достигается при обучении сети «с нуля» только на информации, заложенной в красном канале, а в случае синего канала лучший результат обеспечивается при использовании предварительно обученной сети по данным красного канала. В качестве метода оптимизации в данной работе был использован алгоритм Adam [28] вместо стохастического градиентного спуска, выбранного в [14]. Размер пакета был равен 64, а начальная скорость обучения составляла 10- 5 и каждые 10 эпох уменьшалась в два раза.
Также эксперименты показали, что лучшее качество и стабильную сходимость при обучении обеспечивает нейронная сеть, состоящая из 18 сверточных каскадов, то есть в схеме сети на рис. 5 центральный блок из свер-точного каскада 3*3*64 повторяется 16 раз. Сравнение производительности СНС реконструкции и ГПУ версии реконструкции на основе обратной свертки
Параллельная реализация алгоритма реконструкции на основе обратной свертки (11) написана на языке C++ с применением технологии NVIDIA CUDA и высокоуровневых примитивов библиотеки Thrust. Разбиение вычислений на достаточно большое количество этапов вызвано необходимостью синхронизации между ними. Вычисление прямого и обратного преобразование Фурье осуществлялось c помощью библиотеки CUFFT, использование которой оптимально для размерности изображения равной степени двойки.
Общее время обработки одного изображения с помощью обратной свертки с межканальной связью составило 168,5 мс, обработка изображения последовательной версией алгоритма на ЦПУ с использованием реализации ДПФ из библиотеки OpenCV составило 2927 мс. Таким образом, достигнутое ускорение равно 17,4. По данным профилировщика NVIDIA
№ Тип линзы и метод реконструкции Среднее PSNR, дБ
R G B RGB
1 Дифракционная линза из [8], без реконструкции изображения < 8 < 13 < 12 < 13
2 Гармоническая линза, без реконструкции изображения 21,23 23,08 22,44 22,12
3 Гармоническая линза, применение цветовой коррекции 22,07 23,92 23,02 22,75
4 Обратная свертка по трем каналам 24,89 26,30 24,02 25,02
5 Обратная свертка с аппроксимированной ФРТ 25,45 27,09 25,94 25,78
6 Коррекция всех каналов на основе СНС 26,08 26,89 26,67 26,67
7 Коррекция красного и синего канала на основе сверточной нейронной сети, обратная свертка с апроксимиро-ванной ФРТ зеленого канала 26,12 27,09 26,81 26,84
Visual Profiler, 43 % времени вычислений на графическом процессоре (ГПУ) приходится на преобразования Фурье, а большая часть времени выполнения ядер занимают операции доступа к глобальной памяти видеокарты.
Предложенная конфигурация сверточной сети с 18 слоями состоит из
16х(3х3х64х64)+2х(3х3х64)+18х64+18=592146
весов. Время обработки одного канала изображения такой сетью составило около 450 мс на видеокарте Nvidia GTX 1070, таким образом, RGB-изображение обрабатывается около одной секунды. Общее время обработки одного изображения с помощью обратной свертки с межканальной связью составило 200 мс. Таким образом, реконструкция на основе нейронных сетей выполнялась в 5,8 раза медленнее, чем ГПУ реализация алгоритма реконструкции, основанная на обратной свертке.
Предложенная комбинация СНС и обратной свертки показала лучшее качество реконструкции изображений, полученных с помощью гармонической линзы. Интересным является факт, что обратная свертка с аппроксимацией ФРТ обеспечивает немного лучшее качество восстановления для зеленого канала, чем СНС. На основе описанного подхода в работе удалось достичь среднего значения PSNR в 26 дБ. Результаты в данной области не перестают прогрессировать с непрерывным совершенствованием дифракционной оптики, при этом качество восстановленных изображений становится сравнимым с качеством, предоставляемым недорогими камерами и мобильными телефонами.
Заключение
В 2014 году получение цветного изображения высокого разрешения с помощью дифракционной линзы казалось далекой целью. Однако первые результаты, полученные в 2015 и 2016, показали перспективность использования дифракционной оптики для формирования изображений высокого разрешения. Для достижения этой цели необходимо преодолеть проблему сильных аберраций путем совершенствования технологии изготовления линз и методов реконструкции изображения. В период с 2015 по 2017 года качество изображающих систем, основанных на дифракционной оптике, возросло с 17 дБ до 26 дБ и приблизилось к качеству потребительских камер. Повысить значение PSNR до 26 дБ на реальных изображениях позволила предложенная в настоящей работе 256-уровневая гармоническая линза и усовершенствованная технология реконструкции изображений, основанная на обратной свертке и СНС.
В работе предложена новая архитектура СНС и метод ее обучения, позволяющие решать задачу восстановления изображения, искаженного хроматической аберрацией. Показано, что использование предложенной СНС обеспечивает лучшее качество реконструкции изображений в сравнении с методами на основе обратной свертки. Улучшение качества замет-
но визуально, а также обеспечивает прирост среднего PSNR более чем на 1 дБ. В дальнейших исследованиях планируется усовершенствовать архитектуру СНС и продолжить работу по объединению шагов реконструкции (цветовой коррекции, обратной свертке и фильтрации с помощью СНС) в единую технологию.
Следует отметить, что неоднородность параметров реконструкции остается важной проблемой для предложенного алгоритма, который наиболее эффективен в центральной части регистрируемого изображения. Дальнейшее развитие алгоритма реконструкции должно быть направлено на устранение данной неоднородности.
Время обработки одного изображения на основе СНС составляет около 1 секунды, а коррекция изображения обратной сверткой занимает примерно пятую часть этого времени. Поэтому подход, основанный на СНС, может использоваться в задачах, где качество изображения приоритетнее времени его обработки. В рамках дальнейших исследований предполагается решать задачу повышения производительности нейросетевой реконструкции на уровне архитектуры сети - во-первых, за счет реализации обработки сетью трех каналов изображения одновременно и, во-вторых, за счет исключения из сети незначимых весов, оптимизации связности сети [29]. Дополнительное ускорение обработки может быть обеспечено за счет перехода к вычислениям с половинной точностью, реализованной в новых ГПУ компании Nvidia.
Достижение более высокого качества реконструкции на основе СНС и уменьшение вычислительной сложности данного подхода являются приоритетными направлениями дальнейших исследований в области создания изображающей системы на основе ультралегкой гармонической линзы.
Благодарности
Работа выполнена при поддержке гранта Президента Российской Федерации МД-2531.2017.9 и грантов РФФИ 16-47-630721 р_а, 16-29-09528 офи_м, 17-2903112 офи_м и Министерства образования и науки РФ.
Литература
1. Nikonorov, A. Fresnel lens imaging with post-capture image processing / A. Nikonorov, R. Skidanov, V. Fursov, M. Petrov, S. Bibikov, Y. Yuzifovich // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). - 2015. - P. 33-41. -DOI: 10.1109/CVPRW.2015.7301373.
2. Hasinoff, S.W. Light-efficient photography / S.W. Hasinoff, K.N. Kutulakos // Proceedings of the European Conference on Computer Vision. - 2008. - P. 45-59. - DOI: 10.1007/978-3-540-88693-8_4.
3. Wang, P. Chromatic-aberration-corrected diffractive lensesforultra-broadband focusing / P. Wang, N. Mohammad, R. Menon // Scientific Reports. - 2016. -Vol. 6. - 21545. - DOI: 10.1038/srep21545.
4. Казанский, Н.Л. Формирование изображений дифракционной многоуровневой линзой / Н.Л. Казанский, С.Н. Хонина, Р.В. Скиданов, А.А. Морозов, С.И Хари-
тонов, С.Г. Волотовский // Компьютерная оптика. -2014. - Т. 38, № 3. - С. 425-434.
5. Peng, Y. Computational imaging using lightweight diffrac-tive-refractive optics / Y. Peng, Q. Fu, H. Amata, S. Su, F. Heide, W. Heidrich // Optics Express. - 2015. - Vol. 23, Issue 24. - P. 31393-31407. - DOI: 10.1364/OE.23.031393.
6. Peng, Y. The diffractive achromat full spectrum computational imaging with diffractive optics / Y. Peng, Q. Fu, F. Heide, W. Heidrich // Proceedings of the SIGGRAPH ASIA 2016. -2016. - P. 4. - DOI: 10.1145/2992138.2992145.
7. Nikonorov, A. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging / A. Nikonorov, M. Petrov, S. Bibikov, Y. Yuzifovich, P. Yakimov, N. Kazanskiy, R. Skidanov, V. Fursov // Proceedings of the 23rd International Conference on Pattern Recognition (ICPR). - 2016. - DOI: 10.1109/ICPR.2016.7899729.
8. Heide, F. Encoded diffractive optics for full-spectrum computational imaging / F. Heide, Q. Fu, Y. Peng, W. Heidrich // Scientific Reports. - 2016. - Vol. 6. - 33543. - DOI: 10.1038/srep33543.
9. Heide, F. FlexISP: A flexible camera image processing framework / F. Heide, M. Steinberger, Y.-T. Tsai, M. Rouf, D. Paj^k, D. Reddy, O. Gallo, J. Liu, W. Heidrich, K. Egiazarian, J. Kautz, K. Pulli // ACM Transactions on Graphics. - 2014. -Vol. 33(6). - 231. - DOI: 10.1145/2661229.2661260.
10. Chambolle, A. A first-order primal-dual algorithm for convex problems with applications to imaging / A. Chambolle, T. Pock // Journal of Mathematical Imaging and Vision. -2011. - Vol. 40, Issue 1. - P. 120-145. - DOI: 10.1007/s10851-010-0251-1.
11. Genevet, P. Recent advances in planar optics: from plas-monic to dielectric metasurfaces / P. Genevet, F. Capasso, F. Aieta, M. Khorasaninejad, R. Devlin // Optica. - 2017. -Vol. 4(1). - P. 139-152. - DOI: 10.1364/OPTICA.4.000139.
12. Schuler, C.J. Learning to deblur / C.J. Schuler, M. Hirsch, S. Harmeling, B. Scholkopf // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2016. - Vol. 38, Issue 7. - P. 1439-1451. - DOI: 10.1109/TPAMI.2015.2481418.
13. Dong, C. Image superresolution using deep convolutional networks / C. Dong, C.C. Loy, K. He, X. Tang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2015. - Vol. 38, Issue 2. - P. 295-307. - DOI: 10.1109/TPAMI.2015.2439281.
14. Kim, J. Accurate image super-resolution using very deep convolutional networks / J. Kim, J.K. Lee, K.M. Lee // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 1646-1654. - DOI: 10.1109/CVPR.2016.182.
15. Lai, W.-S. Deep laplacian pyramid networks for fast and accurate super-resolution [Electronical Resource] / W.-S. Lai, J.B. Huang, N. Ahuja, M.-H. Yang. - 2017. - URL: https://arxiv.org/pdf/1704.03915.pdf (request date 06.10.2017).
16. Yuan, Y. Hyperspectral Image Superresolution by Transfer Learning / Y. Yuan, X. Zheng, X. Lu // IEEE Journal of Selected Topics in Applied Earth Observations and Remote
Sensing. - 2017. - Vol. 10, Issue 5. - P. 1963-1974. - DOI: 10.1109/JSTARS.2017.2655112.
17. Sweeney, D.W. Harmonic diffractive lenses / D.W. Sweeney, G.E. Sommargren // Applied Optics. - 1995. - Vol. 34, Issue 14. - P. 2469-2475. - DOI: 10.1364/AO.34.002469.
18. Computer design of diffractive optics / Ed. by V.A. Soifer.
- Cambridge: Woodhead Publishing, 2012. - 896 p. -ISBN: 978-1-845696351, DOI: 10.1533/9780857093745.
19. Poleshchuk, A.G. Diffractive optical elements: fabrication and application / A.G. Poleshchuk, V.P. Korolkov, R.K. Nasyrov // Proceedings of SPIE. - 2014. - Vol. 9283 -928302. - DOI: 10.1117/12.2073301.
20. Nikonorov, A. Correcting color and hyperspectral images with identification of distortion model / A. Nikonorov, S. Bibikov, V. Myasnikov, Y. Yuzifovich, V. Fursov // Pattern Recognition Letters. - 2016. - Vol. 83, Part 2. - P. 178187. - DOI: 10.1016/j.patrec.2016.06.027.
21. Харитонов, С.И. Геометрооптический расчет фокального пятна гармонической дифракционной линзы / С.И. Харитонов, С.Г. Волотовский, С.Н. Хонина // Компьютерная оптика. - 2016. - Т. 40, № 3. - С. 331-337. -DOI: 10.18287/2412-6179-2016-40-3-331-337.
22. Chakrabarti, A. Fast deconvolution with color constraints on gradients / A. Chakrabarti, T. Zickler // Harvard Computer Science Group Technical Report TR-06-12. - 2012.
23. Krishnan, D. Fast image deconvolution using Hyper-Laplacian priors / D. Krishnan, R. Fergus // Proceedings of the Proceedings of the 22nd International Conference on Neural Information Processing Systems. - 2009. - P. 1033-1041.
24. He, K. Guided image filtering / K. He, J. Sun, X. Tang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2013. - Vol. 35, Issue 6. - P. 1397-1409. - DOI: 10.1109/TPAMI.2012.213.
25. Van De Weijer, J. Edge-based color constancy / J. Van De Weijer, T. Gevers, A. Gijsenij // IEEE Transactions on Image Processing. - 2007. - Vol. 16, Issue 9. - P. 2207-2214.
- DOI: 10.1109/TIP.2007.901808.
26. Deqing, S. Secrets of optical flow estimation and their principles / S. Deqing, S. Roth, M.J. Black // Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2010. - P. 2432-2439. - DOI: 10.1109/CVPR.2010.5539939.
27. He, K. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). - 2015. - P. 10261034. - DOI: 10.1109/ICCV.2015.123.
28. Kingma, D.P. Adam: A method for stochastic optimization [Electronical Resource] / D.P. Kingma, J.L. Ba. - 2017. -URL: https://arxiv.org/pdf/1412.6980.pdf (дата обращения 06.10.2017).
29. Han, S. Learning both weights and connections for efficient neural network / S. Han, J. Pool, J. Tran, W. Dally // Proceedings of the Advances in Neural Information Processing Systems. - 2015. - P. 1135-1143.
Сведения об авторах
Никоноров Артем Владимирович, родился в 1979 году. В 2005 году окончил Самарский государственный аэрокосмический университет. Доктор технических наук (2016), профессор кафедры суперкомпьютеров и общей информатики Самарского университета. Опубликовал более 80 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распределённые вычисления, вычисления с использованием графических процессоров. E-mail: artniko@,gmail.com .
Петров Максим Витальевич, родился в 1989 году. В 2013 году окончил Самарский государственный аэрокосмический университет. Аспирант кафедры суперкомпьютеров и общей информатики Самарского университета. Опубликовал 11 работ. Область научных интересов: распознавание образов и анализ изображений, параллельные и распределённые вычисления, вычисления с использованием графических процессоров. E-mail: max.vit.petrov@gmail.com .
Бибиков Сергей Алексеевич, родился в 1984 году. В 2007 году с отличием окончил Самарский государственный аэрокосмический университет (СГАУ) по специальности «Прикладная математика и информатика». Кандидат технических наук, работает доцентом кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: обработка изображений, цветовая коррекция, устранение технологических артефактов, параметрическая идентификация. E-mail: bibikov.sergei@gmail.com .
Кутикова Виктория Витальевна, 1994 года рождения, в 2017 году окончила магистратуру Самарского национального исследовательского университета имени академика С.П. Королёва по направлению «Прикладная математика и информатика», работает лаборантом в НОЦ КИ-208 Самарского университета. Область научных интересов: компьютерная обработка изображений, теория распознавания образов, интеллектуальный анализ данных, глубинное обучение. E-mail: vkutikova94@gmail.com .
Морозов Андрей Андреевич, 1987 года рождения, в 2008 получил степень бакалавра в СГАУ по специальности «Прикладные математика и физика». В 2010 получил степень магистра в СГАУ по специальности «Прикладные математика и физика». В списке научных работ А. А. Морозова 5 статей. Область научных интересов: дифракционная оптика. E-mail: ragefalcon@mail.ru .
Казанский Николай Львович, 1958 года рождения. В 1981 году с отличием окончил Куйбышевский авиационный институт (КуАИ, ныне - Самарский национальный исследовательский университет имени академика С.П. Королёва) по специальности «Прикладная математика». Доктор физико-математических наук (1996 год), профессор, работает руководителем Института систем обработки изображений РАН - филиала Федерального научно-исследовательского центра «Кристаллография и фотоника» Российской академии наук (ИСОИ РАН), профессором кафедры технической кибернетики Самарского университета. Заведующий базовой (Самарского университета в ИСОИ РАН) кафедрой высокопроизводительных вычислений. Является членом международных научных обществ OSA, SPIE и IAPR. Н.Л. Казанский -специалист в области дифракционной оптики, математического моделирования, обработки изображений и нанофото-ники. В списке научных работ Н. Л. Казанского 290 статей, 12 монографий, 53 авторских свидетельства и патента. Страница в интернете: http://www.ipsi.smr.ru/staff/kazanskiy.htm . E-mail: kazanskiy@ssau.ru.
ГРНТИ: 28.23.15
Поступила в редакцию 18 октября 2017 г. Окончательный вариант - 22 ноября 2017 г.
IMAGE RESTORATION IN DIFFRACTIVE OPTICAL SYSTEMS USING DEEP LEARNING AND DECONVOLUTION
A. V. Nikonorov 12, M. V. Petrov1, S.A. Bibikov1, V.V. Kutikova1, A.A. Morozov 12, N.L. Kazanskiy 12
1 Samara National Research University, Samara, Russia,
2 Image Processing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics " RAS, Samara, Russia
Abstract
In recent years, several pioneering works were dedicated to imaging systems based on simple dif-fractive structures like Fresnel lenses or phase zone plates. Such systems are much lighter and cheaper than classical refractive optical systems. However, the quality of images obtained by diffractive optics suffers from stronger distortions of various types. In this paper, we show that a combination of the high-precision lens design with post-capture computational reconstruction allows one to attain a much higher image quality. The proposed reconstruction procedure uses a sequence of color correction, deconvolution, and a feedforward deep learning neural network. An improvement both in lens manufacturing and in image processing may contribute to the emergence of ultra-lightweight imaging systems varying from cameras for nano- and picosatellites to surveillance systems.
Keywords: harmonic lens, remote sensing, deconvolution, deep learning, PSF estimation, color correction.
Citation: Nikonorov AV, Petrov MV, Bibikov SA, Kutikova VV, Morozov AA, Kazanskiy NL. Image restoration in diffractive optical systems using deep learning and deconvolution. Computer Optics 2017; 41(6): 875-887. DOI: 10.18287/2412-6179-2017-41-6-875-887.
Acknowledgements: The work was partially funded by the Russian Federation Ministry of Education and Science (Presidential grant MD-2531.2017.9) and the Russian Foundation for Basic Research (RFBR grants 16-47-630721 r_a, 16-29-09528 ofi_m and 17-29-03112 ofi_m).
References
[1] Nikonorov A, Skidanov R, Fursov V, Petrov M, Bibikov S, Yuzifovich Y. Fresnel Lens Imaging with Post-Capture Image Processing. CVPRW 2015: 33-41. DOI: 10.1109/CVPRW.2015.7301373.
[2] Hasinoff SW, Kutulakos KN. Light-efficient photography. ECCV 2008: 45-59. DOI: 10.1007/978-3-540-88693-8_4.
[3] Wang P, Mohammad N, Menon R. Chromatic-aberration-corrected diffractive lenses for ultra-broadband focusing. Sci Rep 2016; 6: 21545. DOI: 10.1038/srep21545.
[4] Kazanskii NL, Khonina SN, Skidanov RV, Morozov AA, Kharitonov SI, Volotovsky SG. Formation of images using multilevel diffractive lens [In Russian]. Computer Optics 2014; 38(3): 425-434.
[5] Peng Y, Fu Q, Amata H, Su S, Heide F, Heidrich W. Computational imaging using lightweight diffractive-refractive optics. Opt Express 2015; 23(24): 31393-31407. DOI: 10.1364/OE.23.031393.
[6] Peng Y, Fu Q, Heide F, Heidrich W. The diffractive ach-romat full spectrum computational imaging with diffractive optics. SIGGRAPH ASIA 2016; 4. DOI: 10.1145/2992138.2992145.
[7] Nikonorov A, Petrov M, Bibikov S, Yuzifovich Y, Ya-kimov P, Kazanskiy N, Skidanov R, Fursov V. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging. ICPR 2016. DOI: 10.1109/ICPR.2016.7899729.
[8] Heide F, Fu Q, Peng Y, Heidrich W. Encoded diffractive optics for full-spectrum computational imaging. Sci Rep 2016; 6: 33543. DOI: 10.1038/srep33543.
[9] Heide F, Steinberger M, Tsai Y-T, Rouf M, Paj^k D, Red-dy D, Gallo O, Liu J, Heidrich W, Egiazarian K, Kautz J, Pulli K. FlexISP: A flexible camera image processing framework. ACM Trans Graph 2014; 33(6): 231. DOI: 10.1145/2661229.2661260.
[10] Chambolle A, Pock T. A first-order primal-dual algorithm for convex problems with applications to imaging. J Math Imaging Vision 2011; 40: 120-145. DOI: 10.1007/s10851-010-0251-1.
[11] Genevet P, Capasso F, Aieta F, Khorasaninejad M, Devlin R. Recent advances in planar optics: from plasmonic to dielectric metasurfaces. Optica 2017; 4(1):139-152. DOI: 10.1364/OPTICA.4.000139.
[12] Schuler CJ, Hirsch M, Harmeling S, Schölkopf B. Learning to deblur. IEEE Trans Pattern Anal Mach Intel 2016; 38(7): 1439-1451. DOI: 10.1109/TPAMI.2015.2481418.
[13] Dong C, Loy CC, He K, Tang X. Image superresolution using deep convolutional networks. IEEE Trans Pattern Anal Mach Intel 2015; 38(2): 295-307. DOI: 10.1109/TPAMI.2015.2439281.
[14] Kim J, Lee JK, Lee KM. Accurate image super-resolution using very deep convolutional networks. CVPR 2016: 1646-1654. DOI: 10.1109/CVPR.2016.182.
[15] Lai W-S, Huang J-B, Ahuja N, Yang M-H. Deep laplacian pyramid networks for fast and accurate super-resolution. Source: (https://arxiv.org/pdf/1704.03915.pdt).
[16] Yuan Y, Zheng X, Lu X. Hyperspectral Image Superresolution by Transfer Learning. IEEE J Sel Top Appl Earth Obs Remote Sens 2017; 10(5): 1963-1974. DOI: 10.1109/JSTARS.2017.2655112.
[17] Sweeney DW, Sommargren GE. Harmonic diffractive lenses. Appl Opt 1995; 34(14): 2469-2475. DOI: 10.1364/AO.34.002469.
[18] Soifer VA, ed. Computer design of diffractive optics. Cambridge: Woodhead Publishing; 2012. ISBN: 978-1845696351, DOI: 10.1533/9780857093745.
[19] Poleshchuk AG, Korolkov VP, Nasyrov RK. Diffractive optical elements: fabrication and application. Proc SPIE 2014; 9283: 928302. DOI: 10.1117/12.2073301.
[20] Nikonorov A, Bibikov S, Myasnikov V, Yuzifovich Y, Fursov V. Correcting color and hyperspectral images with identification of distortion model. Pattern Recognit Lett 2016; 83(2): 178-187. DOI: 10.1016/j.patrec.2016.06.027.
[21] Kharitonov SI, Volotovsky SG, Khonina SN. Geometric-optical calculation of the focal spot of a harmonic diffrac-tive lens [In Russian]. Computer Optics 2016; 40(3): 331337. DOI: 10.18287/2412-6179-2016-40-3-331-337.
[22] Chakrabarti A, Zickler T. Fast deconvolution with color constraints on gradients. Harvard Computer Science Group Technical Report TR-06-12 2012.
[23] Krishnan D, Fergus R. Fast image deconvolution using Hyper-Laplacian priors. NIPS 2009; 1033-1041.
[24] He K, Sun J, Tang X. Guided image filtering. IEEE Trans Pattern Anal Mach Intell 2013; 35(6): 1397-1409. DOI: 10.1109/TPAMI.2012.213.
[25] Van De Weijer J, Gevers T, Gijsenij A. Edge-based color constancy. IEEE Trans Image Process 2007; 16(9): 22072214. DOI: 10.1109/TIP.2007.901808.
[26] Deqing S, Roth S, Black MJ. Secrets of optical flow estimation and their principles. CVPR 2010; 2432-2439. DOI: 10.1109/CVPR.2010.5539939.
[27] He K, Zhang X, Ren S, Sun J. Delving deep into rectifiers: Surpassing human-level performance on image net classification. ICCV 2015; 1026-1034. DOI: 10.1109/ICCV.2015.123.
[28] Kingma DP, Ba JL. Adam: A method for stochastic optimization. Source: (https://arxiv.org/pdf/1412.6980.pdf).
[29] Han S, Pool J, Tran J, Dally W. Learning both weights and connections for efficient neural network. NIPS 2015; 1135-1143.
Authors' information
Artem Vladimirovich Nikonorov (b. 1979). He graduated from SSAU in 2002. He received his PhD degree in 2016. Now he works as an professor at Supercomputing and Computer Science sub-department of the Samara University. He has more than 70 publications, two monographs. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming. E-mail: artniko@gmail.com .
Maksim Vitalyevich Petrov (b. 1989). He graduated from SSAU in 2013. Now he is a postgraduate student at Supercomputing and Computer Science sub-department of the Samara University. He has 11 publications. Field of scien-
tific interest: pattern recognition and image analysis, parallel and distributed programming, GPGPU programming. E-mail: max.vit.petrov@gmail.com .
Sergey Alekseyevich Bibikov (b. 1984) is Candidate of Engineering Science. He graduated from Samara State Aerospace University in 2007, majoring in Applied Mathematics and Informatics. Currently he works as a associate professor at Supercomputing and Computyer Sciense sub-department of the Samara University. Research interests are imaging, color correction, technological artifacts removal, and system identification. E-mail: bibikov.sergei@gmail.com.
Viktoriya Vitalievna Kutikova (b. 1994) graduated from Samara National Research University in 2017 with a Master's degree, majoring in Applied Mathematics and Informatics. Currently she works as a laboratory assistantat the Research and Education Center of Computer Science of Samara University. Current research interests are in computerimage processing, pattern recognition, data mining, and deep learning. E-mail: vkutikova94@gmail.com .
Andrey Andreevich Morozov (b. 1987). He received his bachelor of Applied Mathematics and Physics (2008) in SSAU. He received his master of Applied Mathematics and Physics (2010) in SSAU. He is co-author of 5 scientific papers. His research interests are currently diffractive optics. E-mail: ragefalcon@mail.ru .
Nikolay Lvovich Kazanskiy (b. 1958), graduated with honors (1981) from S.P. Korolyov Kuibyshev Aviation Institute (presently, S.P. Korolyov Samara National Research University), majoring in Applied Mathematics. He received his Candidate in Physics & Maths (1988) and Doctor in Physics & Maths (1996) degrees from Samara University. He is the director of Image Processing Systems Institute of the Russian Academy of Sciences (IPSI RAS), also holding a part-time position of a professor at Technical Cybernetics sub-department of Samara University, holding the chair at the sub-department of High-Performance Computing at IPSI RAS. He is an OSA-, SPIE-and IAPR-member. He is co-author of 290 scientific papers, 12 monographs, 53 inventions and patents. His current research interests include diffractive optics, mathematical modeling, image processing, and nanophotonics. Website: http://www.ipsi.smr.ru/staff/kazanskiy.htm . E-mail: kazanskiy@ssau.ru .
Received October 18, 2017. Final version - November 22, 2017.
