CC BY
42
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ И АНАЛИЗ ДАННЫХ
АЛГОРИТМ СЛИЯНИЯ ПОСЛЕДОВАТЕЛЬНОСТИ ДАЛЬНОСТНЫХ ИЗОБРАЖЕНИЙ ДЛЯ ПРИБОРОВ С ЭЛЕКТРОУПРАВЛЯЕМЫМ ОБЪЕКТИВОМ
С.М. Борзов1, А.В. Голицын2, О.И. Потатуркин1-3 1 Институт автоматики и электрометрии СО РАН, Новосибирск, Россия, 2Новосибирский филиал Института физики полупроводников СО РАН «КТИПМ», Новосибирск, Россия 3Новосибирский государственный университет, Новосибирск, Россия
Аннотация
Исследованы методы формирования синтезированного изображения с увеличенной глубиной резкости из последовательности кадров, оперативно полученных при фокусировке на различную дальность с применением жидкостной оптики. Разработан алгоритм, основанный на построении картосхемы дальностей путем анализа пирамиды контраста и взвешенном попиксельном суммировании исходных изображений с коэффициентами, пропорциональными числу отчетов соответствующей дальности в каждой локальной окрестности.
Ключевые слова: слияние дальностных изображений, повышение глубины резко изображаемого пространства, алгоритмы синтеза, жидкостная оптика.
Цитирование: Борзов, С.М. Алгоритм слияния последовательности дальностных изображений для приборов с электроуправляемым объективом / С.М. Борзов, А.В. Голицын, О.И. Потатуркин // Компьютерная оптика. - 2016. - Т. 40, № 3. - С. 388-394. - БСЯ: 10.18287/0134-2452-201640-3-388-394.
Введение
Для создания высокоэффективных комплексов обнаружения и распознавания объектов необходимо оснащение приборов наблюдения встроенными функциями оперативной обработки данных, направленной на повышение качества регистрируемых изображений. В первую очередь востребованы процедуры подавления шума, повышения резкости и выделения информативной составляющей [1-3], для реализации которых может быть эффективно использован анализ последовательностей дальностных кадров. Однако получение таких изображений до последнего времени было затруднено из-за отсутствия объективов, обеспечивающих управление фокусным расстоянием в необходимых пределах с требуемым быстродействием.
Новые, принципиально не реализуемые ранее возможности в этом плане возникают в результате проводимых исследований по использованию жидкостей в качестве материалов оптических элементов [4].Так, экспериментально апробирован гидравлический способ управления линзой, состоящей в данном случае из оболочки с легко деформируемой мембраной в качестве одной из стенок (возможно двух) и наполняющей ее жидкости. (Гидравлический способ управления подробно рассмотрен в [5].) Данная конструкция окружается защитным корпусом из стекла или прочного пластика, вне которого находится дополнительный сосуд с жидкостным компонентом, оборудованный поршнем. Объем линзы связан с внешним сосудом через капилляр. При перемещении поршня давление в обоих объемах изменяется, что приводит к деформации стенок оболочки линзы и изменению ее фокусного расстояния.
В качестве наполняющего компонента может быть использована обычная вода, но гораздо более привлекательно применение других прозрачных в оптическом диапазоне жидкостей. Такие материалы предоставляют существенно больший, по сравнению с твердотельными, выбор комбинаций показателя преломления, коэффициента Аббе и частных дисперсий [6]. При этом для исправления хроматических аберраций в широком спектральном диапазоне имеется возможность получения оптической среды с точной подгонкой показателя преломления, дисперсии и частных дисперсий под требования конкретной разработки, в отличие от ограниченного набора комбинаций дискретных оптических характеристик у стекол. Использование жидкостей также позволяет снизить количество воздушных промежутков, отрицательно влияющих на светопропуска-ние оптической системы.
В результате исследования созданных макетов жидкостных линз с гидравлически управляемым фокусным расстоянием на базе электромагнитного актю-атора и линейного пьезоэлектрического двигателя определен диапазон изменения оптической силы - 12 диоптрий (как известно, диапазон аккомодации глаза молодого человека составляет 14 диоптрий) со временем перестройки в крайние положения 15 мс. Результаты этих исследований изложены в [7]. На этой основе разработан и создан объектив, обеспечивающий дальность фокусировки от 30 см до бесконечности.
Одним из возможных применений такого объектива является создание приборов наблюдения, способных за время одного стандартного телевизионного кадра последовательно зарегистрировать несколько изображений с фокусировкой на различную дальность, выполнить их цифровую обработку и синтезировать единый кадр с увеличенной глубиной резкости.
Целью данной работы является анализ различных подходов к формированию синтезированных изображений (слиянию последовательностей дальностных кадров), разработка и исследование эффективности алгоритма слияния с перспективой аппаратной реализации в приборах наблюдения.
Методы слияния дальностных изображений
При объединении дальностных кадров могут быть эффективно использованы методы, разработанные как для совмещения телевизионных и тепловизионных изображений [8-10], так и для слияния мульти- и гиперспектральных данных [11, 12]. Самый очевидный из них - метод маски [9], который заключается в выборе отображаемого пикселя из кадра с максимальной резкостью в его окрестности. Процедура состоит из двух этапов. На первом в каждом из исходных кадров поблочно (с дальнейшей интерполяцией) или скользящим окном оценивается резкость, а затем формируется картосхема дальностей, в которой каждому элементу присваивается номер кадра с максимальной резкостью в соответствующей зоне. Оценка резкости фрагмента О изображения I(i,j) может осуществляться различными способами [13]. В работе использованы критерии, основанные на определении контраста (контрастности Майкельсона)
maxw I(i, j) - minß I(i, j)
C = -
maxQ I(i, j) + minQ I(i, j) ' среднего значения локальных контрастов
C = X D(^ j)
N,
а i,jEfl
и дисперсии
C=nl X (I -I (^ j))2
(1)
(2)
(3)
а i,jea
где I - среднее значение яркости фрагмента изображения, Ыа - количество пикселей во фрагменте.
При этом лучшие результаты достигаются с помощью метода пирамид, основанного на формировании картосхемы дальностей на основе анализа резкости изображений внутри блоков разного масштаба [14-16] (метод пирамид более подробно поясняется при описании предлагаемого алгоритма). На втором этапе синтезируется единое изображение путем выбора пикселей из исходных дальностных кадров в соответствии с полученной картосхемой.
Другой также достаточно очевидный подход заключается в расчете синтезированного изображения взвешенным суммированием соответствующих пикселей дальностных кадров [10]. В [17, 18] показано, что оптимальные весовые коэффициенты для такого слияния могут быть получены с применением метода главных компонент ко всем входным множествам значений интенсивности. Однако это требует оценивания скользящим окном матриц ковариации, что весьма трудоемко, поэтому для оперативной обработки изображений использованы весовые коэффициенты, пропорциональные перечисленным выше мерам локальной резкости (1-3).
В данной работе в качестве альтернативы перечисленным методам объединения дальностных кадров предлагается комбинированный алгоритм слияния, основанный на построении картосхемы дальностей путем анализа поблочного разномасштабного контраста изображений методом пирамид и взвешенном попиксельном суммировании исходных кадров с коэффициентами, пропорциональными числу отсчетов картосхемы соответствующей дальности в каждой локальной окрестности.
Алгоритм состоит из трех этапов. На первом - для каждого дальностного изображения 1п)(1,]) строится пирамида контрастов, при этом анализ идет снизу вверх. Сначала рассчитываются минимальные и максимальные значения по блокам наименьшего размера (задается оператором) и оценивается контраст по каждому из блоков
"n = 1,N, "(k, l) = (1,K,1,L,): M/n)(k, l) = maxa I(n)(i, j),
, (n)
C1(n) (k, l) =
(k, l) = min aj (n)(i, j)
M1(n) (k, l) - m;n)(k, l) M1(n) (k, l) + m1(n)(k, l)
(4)
(5)
где к и I - номер блока Ои по горизонтали и по вертикали, I,] е Ои - координаты пикселей в исходных кадрах, К,Ь - количество блоков по горизонтали и вертикали, п - номер дальностного кадра (и соответствующей ему пирамиды контраста), N - их количество, здесь нижний индекс - номер уровня формируемой пирамиды контраста.
Затем блоки по четыре объединяются, из четырех минимальных и четырех максимальных значений по блокам нижнего уровня (4) определяются минимальные и максимальные,
"n = 1, N, "(k, l) = (1,K / 2,1,L/ 2): M 2(n) (k, l) = max(M1(n) (2k, 2l), M1(n) (2k +1,2l) M1(n) (2k, 2l +1), M1(n) (2k + 1,2l +1)),
(6)
(n)/
m
(n)/
(k, l) = min(m1(n) (2k, 2l), m1(n>(2k + 1,2l) (2k, 2l +1), m1(n) (2k + 1,2l +1)),
на основе которых аналогично (5) рассчитывается контраст для блоков следующего уровня
C2(n) (k, l) =
M 2(n) (k, l) - m2 (k, l)
M 2(n) (k, l) + m2w(k, l)
(n)
(7)
Затем процедура повторяется с последовательным объединением блоков до полного изображения (верхний уровень пирамиды с номером P).
На втором этапе на основе анализа полученных пирамид контрастов формируется картосхема дальностей (сверху вниз). Первоначально каждому отсчету картосхемы присваивается номер кадра с максимальным общим контрастом
"(i, j) еО,,, D(i, j) = arg maxn (C^ (1,1)), (8)
где О11 - в данном случае вся область изображения.
Далее анализируется следующий уровень пирамид. Если контраст блока Ои в каком-то кадре выше некото-
m
2
рого порога к, то соответствующим данному блоку отсчетам картосхемы, аналогично (8), присваивается номер дальностного кадра с максимальным контрастом
"(", 7)е О к1,
I/тахп(С<п_>(к,/)) > к, (9)
Б(1, 7) = а^тах п (Ср\(к, /)),
где ¡,] е Ок1, а к, / = 1, 2. В противном случае в соответствующих отсчетах картосхемы сохраняется номер кадра, присвоенный на предыдущем этапе.
Процедура формирования картосхемы дальностей В(г, 7 продолжается в соответствии с (7) до нижнего уровня пирамид контраста С1(п)(к, /).
На заключительном этапе синтезируется единое изображение, яркость пикселей которого рассчитывается путем взвешенного суммирования отсчетов дальностных кадров 1 М
7) = ^ Е "(п)& 7) • !(п)(7). (10)
Весовые коэффициенты ^(пП)(1, 7) равны количеству отсчетов с номером кадра п в соответствующем окне картосхемы В(и), размер которого выбирается обратно пропорциональным максимальному локальному контрасту, определяемому согласно (5). В результате на участках, выбираемых из одного наиболее резкого изображения, сохраняется максимальный контраст, а на их границах выполняется взвешенное усреднение двух и более кадров для сглаживания возможных перепадов яркости.
Предложенный алгоритм легко распараллеливается за счет поблочных вычислений, не содержит затратных процедур обработки исходных изображений скользящим окном или оценок статистических параметров многомерных распределений яркостей и может быть достаточно просто реализован аппаратно. Единственными процедурами, выполняемыми с многоградационными исходными изображениями, являются поблочный выбор максимально и минимального значения на первом этапе и попиксельное взвешенное суммирование на заключительном. Обработка скользящим окном используется лишь однажды при определении весовых коэффициентов по картосхеме дальностей (количество уровней в которой ограничено числом дальностных изображений). Поэтому наиболее принципиальным требованием является наличие памяти для хранения серии дальностных кадров, пирамид контрастов и картосхемы дальностей.
Для исследований эффективности перечисленных методов слияния дальностных изображений разработаны соответствующие программные модули средствами МЛТЬЛБ.
Экспериментальные исследования
Исследование эффективности перечисленных методов выполнено на примере слияния изображений (№2 1 -4), зарегистрированных с применением цифровых очков ночного видения с разработанным электроуправля-емым жидкостным объективом и низкоуровневой ПЗС-
камерой формата 1200*960 при различных дальностях фокусировки: 30 см, 60 см, 1,2 м, 3,0 м (рис. 1а-г соответственно). Для подобных приборов наблюдения формирование изображений с увеличенной глубиной резкости принципиально важно, поскольку оператор должен иметь возможность одновременно видеть как обстановку в непосредственной близости от него, так и объекты на значительном удалении.
На рис. 2а приведен результат синтеза путем выбора отображаемых пикселей из соответствующих дальност-ных изображений по максимуму резкости, оцененной по среднему значению локального контраста (2) в окне размером 30*30 пикселей (оценка резкости по контрастности Майкельсона (1) и дисперсии дает (3) аналогичные результаты). Принципиальный недостаток данного метода заключается в том, что в областях однородной яркости на переднем и на заднем плане сцены появляются многочисленные артефакты в виде ореолов вдоль границ перепада яркости. Причем увеличение размера окна для оценки резкости не решает данную проблему, а лишь приводит к уширению указанных ореолов. Этот эффект объясняется неопределенностью, которая возникает при определении дальности в достаточно однородных областях сцены из-за низкой локальной резкости во всех исходных изображениях.
Рис. 1. Исходные изображения: а - дальность фокусировки 0,3 м (№1), б - 0,6 м (№2), в - 1,2 м (№3), г - 3,0 м (№4)
Рис. 2. Результат слияния при оценке резкости по локальному контрасту: выбор пикселей из наиболее резкого кадра (а), взвешенное суммирование кадров (б)
При слиянии изображений с применением взвешенного суммирования отмеченные артефакты проявляются в меньшей степени, однако в этом случае происходит значительное снижение контраста синтезированного изображения. На рис. 2б приведены результаты взвешенного попиксельного суммирования дальностных кадров с коэффициентами, пропорциональными среднему значению локального контраста (2) в окрестностях
(оценка резкости по контрастности Майкельсона (1) и дисперсии (3) приводит к похожим результатам).
Изображение, синтезированное с помощью разработанного комбинированного алгоритма, основанного на пирамиде контрастов (4) - (7), картосхемы дальностей (8), (9) и взвешенном суммировании кадров (10) приведены на рис. 3. Анализ показывает, что предложенный алгоритм слияния наиболее адекватен задаче формирования единого изображения из последовательности дальностных кадров, поскольку он в значительной степени обеспечивает подавление указанных выше артефактов.
я
Btj"
Рис. 3. Слияние на основе пирамиды контрастов и взвешенного суммирования дальностных кадров
Для количественной оценки эффективности алгоритмов слияния на наблюдаемой сцене выбраны 8 тестовых зон, характеризующих указанные выше артефакты, а также оценено соотношение их яркости на исходных и синтезированных изображениях.
Как и следовало ожидать, объекты переднего плана имеют максимальный контраст при фокусировке на минимальную дальность (изображение №1), а объекты заднего плана - на максимальную (изображение №4). Неоднородность фона для каждого плана минимальна при фокусировке на соответствующую дальность. В результате слияния изображений путем выбора отображаемых пикселей из дальностного изображения с максимальной локальной резкостью (I) сохраняется контраст изображений объектов на различной дальности, однако существенно снижается однородность фона как переднего, так и заднего плана. Слияние путем взвешенного суммирования в соответствии с локальной резкостью (II) снижает контраст объектов переднего плана и границы фона переднего и заднего плана. Применение предложенного комбинированного алгоритма (III) приводит к наименьшим искажениям. В этом случае контраст объектов переднего плана близок к их контрасту в изображении №1 (фокусировка на минимальную дальность), контраст объек-
При этом каждая из зон имеет размер 5*5 пикселей и соотношение между яркостью зон п и т рассчитывается как
Отп = (^т - ^п )/(^т + Iп ),
где 1т и 1п - средние значения пикселей по соответствующим зонам.
В поле зрения находятся таблички с текстом, расположенные на разной дальности. Первая тестовая зона принадлежит тексту таблички на переднем плане (далее - объект переднего плана), вторая, третья и четвертая - фону на этой же табличке (далее - фон переднего плана). Шестая зона принадлежит фону одной из наиболее удаленных табличек, а пятая, седьмая и восьмая - фону заднего плана.
Соотношения С12, С13, С14, характеризующие контраст текста таблички на переднем плане, С23, С24, С34 - неоднородность фона на этой табличке, С45 - контраст границы фон таблички переднего плана - фон заднего плана, Сб7, Сб8 - контраст между удаленной табличкой и фоном заднего плана, а С78 - неоднородность фона заднего плана. Таким образом, выбранные зоны позволяют количественно оценить артефакты, возникающие при реализации исследуемых методов. Усредненные значения соответствующих контрастов и неоднород-ностей в исходных и синтезированных изображениях, полученных с применением различных алгоритмов слияния, представлены в таблице.
тов заднего плана - к контрасту в изображении №4 (фокусировка на максимальную дальность), а неоднородность фона для каждого плана минимальна.
Работоспособность предложенного алгоритма продемонстрирована также на примере обработки изображений более сложной сцены, разнообразие которой не позволяет получить количественные оценки, аналогичные представленным выше. На рис. 4а-г приведена последовательность дальностных изображений одного ракурса, на рис. 4д - синтезированное по этой последовательности изображение увеличенной глубины резкости, а на рис. 4е - фотография наблюдаемой сцены с другого ракурса, которая дает достаточное о ней представление.
Заключение
Продемонстрирована возможность применения жидкостных объективов для оперативного проецирования различных плоскостей наблюдаемой сцены. Программно реализованы алгоритмы слияния даль-ностных кадров.
Табл. Оценка эффективности алгоритмов слияния
Характеристика изображения Дальностные изображения Синтезированные изображения
№1 №2 №3 №4 I II III
Контраст объектов переднего плана 0,22 0,04 0,05 0,03 0,17 0,13 0,20
Контраст границы фона переднего и заднего плана 0,39 0,02 0,03 0,02 0,39 0,29 0,32
Контраст объектов заднего плана 0,12 0,43 0,47 0,51 0,37 0,42 0,40
Неоднородность фона переднего плана 0,01 0,08 0,07 0,05 0,09 0,02 0,02
Неоднородность фона заднего плана 0,07 0,21 0,11 0,08 0,25 0,11 0,04
Рис. 4. Обработка изображений более сложной сцены: а, б, в, 0,6 м, 1,2 м, 3,0 м;, д — результат слияния,
На примере обработки последовательности изображений, зарегистрированных с применением цифровых очков ночного видения с электроуправляемым жидкостным объективом при изменении фокусировки от 30 см до 300 см показано, что наиболее эффективным является предложенный комбинированный алгоритм слияния.
В его основе - формирование картосхемы дальностей путем анализа пирамиды контрастов и взвешенное суммирование исходных изображений с коэффициентами, пропорциональными числу отсчетов соответствующей дальности в локальной окрестности каждого пикселя. В этом случае в синтезированном изображении контраст объектов, находящихся на различном расстоянии от наблюдателя, близок к контрасту в изображениях, полученных при фокусировке на соответствующую дальность, а неоднородность фона для каждого плана минимальна. Данный алгоритм легко распараллеливается за счет поблочных вычислений, не содержит затратных процедур обработки исходных изображений скользящим окном или оценок статистических параметров многомерных распределений яркостей. Это определяет перспективность его аппаратной реализации в компактных системах наблюдения реального времени.
Литература
1. Методы компьютерной оптики / А.В. Волков, Д.Л. Го-ловашкин, Л.Д. Досколович, Н.Л. Казанский, В.В. Кот-ляр, В.С. Соловьев, Г.В. Успленьев, С.И. Харитонов, С.Н. Хонина; под. ред. В.А. Сойфера. - Изд. 2-е, испр. - М.: Физматлит, 2003. - 688 с.
2. Борзов, С.М. Разработка многокадрового алгоритма подавления шума для мобильных тепловизионных систем наблюдения / С.М. Борзов, С.Б. Узилов // Вестник Новосибирского государственного университета. Серия: Информационные технологии. - 2013. - Т. 11, вып. 1. - С. 16-23.
3. Киричук, В.С. Подавление квазистационарного фона в последовательности изображений посредством межкадровой обработки / В.С. Киричук, В.П. Косых, С.А. Попов, В.В. Си-нельщиков // Автометрия. - 2014. - Т. 50, № 2. - С. 3-13.
г - исходные изображения при дальности фокусировки 0,3 м, е — изображение сцены с другого ракурса
4. Голицын, А.В. Жидкие линзы - новая элементная база оптических и оптико-электронных приборов / А.В. Голицын, В.С. Ефремов, И.О. Михайлов, Н.В. Оревкова, Б.В. Федоров, В.Б. Шлишевский // Интерэкспо ГЕ0-Сибирь-2013: IX Международный научный конгресс (Новосибирск, 15-26 апр. 2013 г.): Международная научная конференция «СибО-птика-2013»: сб. матер. в 2 т. - 2013. - Т. 1. - С. 7-11.
5. Zhang, D.Y. Fluidic adaptive lens with high focal length tuna-bility / D.Y. Zhang, V. Lien, Y. Berdichevsky, J. Choi, Y.-H. Lo // Applied Physics Letters. - 2003. - Vol. 82. - P. 31713172. - Http://dx.doi.org/10.1063/1.1573337.
6. Ефремов, В.С. Оптические материалы и ахроматическая коррекция типовых компонентов оптических систем / В.С. Ефремов, В.Б. Шлишевский. - Новосибирск: СГГА, 2013. - 283 с.
7. Голицын, А.В. Электроуправляемый широкоспектральный объектив с жидкостными линзами / А.В. Голицын // Тезисы докладов Российской конференции по актуальным проблемам полупроводниковой фотоэлектроники (с участием иностранных ученых) «Фотоника-2015». - Новосибирск: ИФП СО РАН, 2015. - С. 90.
8. Аксенов, О.Ю. Совмещение изображений / О.Ю. Аксенов // Цифровая обработка сигналов. - 2005. - № 3. - С. 51-55.
9. Васильев, А.С. Совмещение тепловизионного и телевизионного изображений при обследовании строительных конструкций зданий и сооружений / А.С. Васильев, В.В. Коротаев, А.В. Краснящих, О.Ю. Лашманов, О.Н. Не-нарокомов // Известия высших учебных заведений. Приборостроение. - 2012. - Т. 55, № 4. - С. 12-16.
10. Yoo, S. A Framework for Multisensor Image Fusion using Graphics Hardware / S. Yoo, S. Jo, K. Choi, C. Jeong // Proceedings of the 11-th International Conference on Information Fusion, 2008. - 2008. - P. 1-5.
11. Аншаков, Г.П. Комплексирование гиперспектральных и мультиспектральных данных КА «Ресурс-П» для повышения их информативности / Г.П. Аншаков, А.В. Ращупкин, Ю.Н. Журавель // Компьютерная оптика. -2015. - Т. 39, № 1. - С. 77-82.
12. Потатуркин, О.И. Методы и технологии обработки мульти и гиперспектральных данных дистанционного зондирования Земли высокого разрешения / О.И. Потатуркин, С.М. Борзов, А.О. Потатуркин, С.Б. Узилов // Вычислительные технологии. - 2013. - Т. 18, Специальный выпуск. - С. 60-67.
13. Краткий курс теории обработки изображений / И.М. Журавель. - М., 1999.
14. Zheng, Y. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms /
Y. Zheng, E.A. Essock, B.C. Hansen, A.M. Haun // Information Fusion. - 2007. - Vol. 8, Issue 2. - P. 177-192. -DOI: 10.1016/j.inffus.2005.04.003.
15. Zheng, Y. An advanced image fusion algorithm based on wavelet transform incorporation with PCA and morphological processing / Y. Zheng, E.A. Essock, B.C. Hansen // Proceedings of SPIE. - 2004. - Vol. 5298. - P. 177-187. -DOI: 10.1117/12.523966.
16. Burt, P.J. The Laplacian pyramid as a compact image code / P.J. Burt, E.H. Adelson // IEEE Transactions on Commu-
nications. - 1983. - Vol. 31, Issue 4. - P. 532-540. - DOI: 10.1109/TCOM.1983.1095851.
17. Smith, M.I. Review of image fusion technology in 2005 / M.I. Smith, J.P. Heather // Proceedings of SPIE. - 2005. -Vol. 5782. - P. 29-45.
18. Blum, R.S. Multi-Sensor Image Fusion and Its Applications / R.S. Blum, Z. Liu, eds. - Boca Raton, London, New York, Singapore: CRC Press, Taylor & Francis Group, 2005. - 529 p. - ISBN 978-084933417.
Сведения об авторах
Борзов Сергей Михайлович, кандидат технических наук, 1961 года рождения, в 1983 году окончил Новосибирский государственный университет по специальности «Автоматизация физико-технических исследований», работает заведующим лаборатории в Федеральном государственном бюджетном учреждение науки Институте автоматики и электрометрии СО РАН. Область научных интересов: цифровая обработка изображений, обработка данных дистанционного зондирования Земли. E-mail: borzov@iae. nsk.su .
Голицын Андрей Вячеславович, 1961 года рождения, в 1984 году окончил Московский Государственный Технический Университет имени Н. Э. Баумана по специальности «Оптико-электронные приборы», работает заведующим отделом моделирования оптико-электронных приборов в Новосибирском филиале Института физики полупроводников СО РАН «КТИПМ». Область научных интересов: неохлаждаемые тепловизионные системы, лазерная локация оптических систем, многоканальные оптико-электронные системы, жидкостная оптика. E-mail: golitsyn@pesd.ru .
Потатуркин Олег Иосифович, доктор технических наук, профессор, 1947 года рождения, в 1970 году окончил Новосибирский государственный университет по специальности «Квантовая оптика», работает главным научным сотрудником в Федеральном государственном бюджетном учреждение науки Институте автоматики и электрометрии СО РАН. Область научных интересов: геоинформационные системы, дистанционное зондирования Земли, обработка и анализ многоспектральных изображений, распознавание образов, спектроскопия, физическая оптика. E-mail: potaturkin@iae. nsk. su .
ГРНТИ: 28.23.15.
Поступила в редакцию 3 марта 2016 г. Окончательный вариант - 27 апреля 2016 г.
FUSION ALGORITHM OF A SEQUENCE OF DIFFERENT-RANGE IMAGES FOR DEVICES WITH ELECTRICALLY CONTROLLED LENS
S.M. Borzov 1, A. V. Golitsyn 2, O.I. Potaturkin 13
1 Institute of Automation and Electrometry, Siberian Branch of the Russian Academy of Sciences, Novosibirsk, Russia,
2 Novosibirsk branch of The Institute of Semiconductor Physics, Novosibirsk, Russia, Siberian Branch of the Russian Academy of Sciences, «Technological Design Institute of Applied Microelectronics», Novosibirsk, Russia,
3 Novosibirsk State University Novosibirsk, Russia Abstract
Methods for generating a synthesized image with increased depth of field from a sequence of real-time frames received by varying-range focusing using liquid optics are investigated. An algorithm based on constructing a map of ranges by analyzing a contrast pyramid and the weighed pixel-by-pixel summation of the initial images whose coefficients are proportional to the number of same-range pixels in each local neighborhood is developed.
Keywords: electrically controlled lens, liquid lens, increased depth of field, fusion algorithm, image reconstruction-restoration, image processing.
Citation: Borzov SM, Golitsyn AV, Potaturkin OI. Fusion algorithm of a sequence of different-range images for devices with electrically controlled lens. Computer Optics 2016; 40(3): 388-94. -DOI: 10.18287/0134-2452-2016-40-3-388-394.
References
[1] Soifer VA, Kotlyar VV, Kazanskiy NL, Doskolovich LL, Kharitonov SI, Khonina SN, Pavelyev VS, Skidanov RV, Volkov AV, Golovashkin DL, Solovyev VS, Usplenyev GV. Methods for computer design of diffractive optical elements. Ed by Soifer VA. New York: John Wiley & Sons, Inc; 2002.
[2] Borzov SM, Uzilov SB. Development of multiframe noise reduction algorithm for mobile thermalvision systems [In Russian]. Novosibirsk State University Journal of Information Technologies. 2013; 11(1): 16-23.
[3] Kirichuk VS, Kosykh VP, Popov SA, Sinel'shchikov VV. Suppression of a quasi-stationary background in a sequence of images by means of interframe processing. Optoelectronics, Instrumentation And Data Processing 2014; 50(2): 109-117.
[4] Golitsyn АV, Еfremov VS, Мikhailov M, Orevkova NV, Fedorov BV, Shlishevcky VB. Liquid lenses as the new optical element base for optical and optoelectronic devices [In Russian]. Interekspo GEO -Siberia-2013: IX international exhibition and scientific congress, 15-26 apr. 2013, Novosibirsk; "Sib0ptika-2013". Novosibirsk: SSUGT. 2013. 1: 7-11.
[5] Zhang DY, Lien V, Berdichevsky Y, Choi J, Lo Y-H. Adaptive Lens with High Focal Length Tunability. Applied Physics Letters 2003; 82: 3171-3172.
[6] Efremov VS, Shlishevskiy VB. Optical materials and achromatic correction of typical components of optical systems [In Russian]. Novosibirsk: SSUGT; 2013.
[7] Golitsyn АV. Electro controlled wide spectral objective with liquid lenses [In Russian]. The Russian conference on actual problems of semi-conductor photoelectronics «Fotonika-2015» (Novosibirsk, 12-16 оct 2015): 90.
[8] Aksenov OYu. Overlapping of images [In Russian]. Digital signal processing 2005; 3: 51-5.
[9] Vasil'ev AS, Korotaev VV, Krasnyashhix AV, Lashmakov OYu, Nenarokomov ON. Overlapping thermal and television images at inspection of building designs of buildings and constructions [In Russian]. Journal of Instrument Engineering 2012; 55(4): 12-16.
[10] Yoo S, Jo S, Choi K, Jeong C. A Framework for Multisensor Image Fusion using Graphics Hardware. Proceedings of the 11-th International Conference on Information Fusion, June, 2008: 1-5.
[11] Anshakov GP, Rashchupkin AV, Zhuravel YN. Нyperspectral and multispectral "Resurs-P" data fusion for increase of their informational content. Computer Optics 2015; 39(1): 77-82.
[12] Potaturkin OI, Borzov SM, Potaturkin АО, Uzilov SB. Methods and technologies of processing multi and the hyperspectral data for the high resolution remote sensing [In Russian]. Computational Technologies 2013; 18: 53-60.
[13] Zhuravel IM. Short course of theory of image processing [In Russian]. Moscow; 1999.
[14] Zheng Y, Essock EA, Hansen BC, Haun AM. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms. Information Fusion 2007; 8(2): 177-192. DOI: 10.1016/j.inffus.2005.04.003.
[15] Zheng Y, Essock EA, Hansen BC. An advanced image fusion algorithm based on wavelet transform incorporation with PCA and morphological processing. Proc SPIE 2004; 5298: 177-187. DOI: 10.1117/12.523966.
[16] Burt PJ, Adelson EH. The Laplacian pyramid as a compact image code. IEEE Transactions on Communications 1983; 31(4): 532-540. DOI: 10.1109/TCOM.1983.1095851.
[17] Smith MI, Heather JP. Review of image fusion technology in 2005. Proc SPIE 2005; 5782: 29-45.
[18] Blum RS, Liu Z, eds. Multi-Sensor Image Fusion and Its Applications. Taylor & Francis, CRC Press, 2005.
Authors' information
Sergey Mikhaylovich Borzov (b. 1961) graduated from Novosibirsk State University in 1983, majoring in Automation of Physical & Technical Research. He holds a Candidate's degree in Technical Science. Currently he works as the head of laboratory at the Institute of Automation and Electrometry, Siberian Branch of the Russian Academy of Sciences. Research interests are digital image processing and earth remote sensing data processing. E-mail: borzov@jae.nsk.su .
Andrey Vecheslavovich Golitsyn (b. 1961) graduated from Moscow State Technical University, majoring in Optical Electronic Devices. Currently he works as the head of a department at the Novosibirsk Branch of The Institute of Semiconductor Physics, Siberian Branch of the Russian Academy of Sciences «Technological Design Institute of Applied Microelectronics». Research interests are uncooled thermal vision systems, laser location of optical systems, multichannel optoelectronic systems, and liquid optics. E-mail: solitsyn@pesd.ru .
Oleg Iosifovich Potaturkin (b. 1947) graduated from Novosibirsk State University in 1970, majoring in Quantum Optics. He holds the degree of Doctor of Technical Science, Professor. Currently he works as a chief researcher at the Institute of Automation and Electrometry, Siberian Branch of the Russian Academy of Sciences. Research interests are GIS, digital image processing, remote sensing data processing, image recognition, spectroscopy, and physical optics. Email: _potaturkin@jae.nsk.su .
Received March 3, 2016. The final version - April 27, 2016.
