CC BY
146
УДК 004.932.4
СИНТЕЗ МАТРИЦЫ ДВУМЕРНОГО ИЗОБРАЖЕНИЯ СО СВЕРХРАЗРЕШЕНИЕМ
С.В. Блажевич, Е.С. Селютина
Белгородский государственный университет, ул. Победы, 85, Белгород, 308015, Россия, e-mail: [email protected]
Аннотация. В работе исследован метод синтеза цифрового изображения высокого разрешения на основе серии изображений низкого разрешения, полученных с заданными относительными субпиксельными смещениями. Разработан алгоритм синтеза для общего случая увеличения разрешения изображения в k раз по горизонтали и k1 раз по вертикали. Предложен также другой метод получения цифрового изображения с разрешающей способностью субпиксельного уровня (сверхраразрешение), включающий съемку серии расфокусированных изображений объекта через плоский экран, имеющий решетку диафрагм, сдвигаемую в плоскости экрана при получении очередного кадра на различное заданное целое число пикселей, и синтез изображения высокого разрешения путем цифровой деконволюции и суммирования полученных цифровых изображений.
Ключевые слова: синтез цифрового изображения, субпиксельное сканирование, сверхразрешение, расфокусировка.
1. Введение
Получение разрешения изображения, превышающего разрешение регистрирующей аппаратуры, называют задачей сверхразрешения (SuperResolution). Для решения представленной задачи предложены различные подходы. Их можно классифицировать по разным критериям. Если в качестве основания классификации использовать критерий смещения регистрирующей системы, то выделяют подходы с использованием смещения изображения объекта на фиксирующей его матрице детекторов (motion-based techniques) и подходы без смещения (motion-free approaches). По типу обрабатываемых характеристик изображения можно выделить методы, основанные на использовании частотных характеристик изображения [1] или пространственных характеристик [2-4].
В данной работе рассматриваются два варианта решения задачи сверхразрешения: 1) метод, основанный на субпиксельном сканировании сформированного оптической системой изображения сцены [3-4] фиксирующей его матрицей детекторов и синтезе изображения высокого разрешения путем цифровой обработки в пространственной области серии полученных изображений, 2) метод, основанный на целопиксельном сканировании расфокусированного изображения сцены за экраном с решеткой диафрагм и синтеза изображения, включающего операции деконволюции и суммирование полученных цифровых изображений.
Цифровые изображения представляют собой дискретную математическую модель реального изображения, для которого характерно непрерывное пространственное распределение яркости и цвета. Усреднения и искажения, которые происходят при фиксации изображения светочувствительными элементами, можно моделировать с использованием функции рассеяния точки (ФРТ). Рассмотрим идеальный случай, когда ФРТ определяется только пикселизацией изображения. Пусть имеется серия изображений, полученных в процессе субпиксельного сканирования сцены ее матрицей детекторов. Рассматривается случай, когда все смещения кратны смещению на 1 /к части пиксела вдоль одной и на 1/к1 части вдоль второй оси координат в плоскости изображения. Будем считать, что количество исходных изображений достаточно для однозначного определения значений пикселей синтезированного изображения, заданного размера.
Для синтеза изображения в качестве исходных берем к х к1 изображений, полученных при сканировании объекта со сдвигом матрицы детекторов на 1 /к пикселя по горизонтали и 1/к1 пикселя по вертикали. Каждое из них получено при определенном положении матрицы детекторов, сдвинутом относительно некоторого исходного на г = 0,1, 2,.. .к элементарных смещений матрицы по горизонтали и на ] = 0,1, 2,...к1 по вертикали. Будем исследовать алгоритм синтеза на основе этих цифровых изображений виртуальной матрицы изображения высокого разрешения, имеющей размеры в к раз по горизонтали и в к1 раз по вертикали большие, чем размеры матриц исходных изображений низкого разрешения.
Введем следующие обозначения:
• к - номер одного из наблюдаемых изображений (К - количество наблюдаемых изображений);
• т, п - номера пикселей наблюдаемого изображения низкого разрешения (LRimages) вдоль соответствующей координаты х или у (ММ - число пикселей наблюдаемого изображения низкого разрешения (LRimages));
• р, д - номера пикселей изображения высокого разрешения (SRimage) (PQ - число пикселей изображения высокого разрешения (SRimage));
• в(х,у) - функция распределения яркости изображения;
• Ьг,к - сигнал с пикселя матрицы детекторов («большой пиксель»), представляющий интеграл яркости по площади пикселя
2. Субпиксельное сканирование
3. Постановка задачи синтеза
Значение пикселя синтезированной матрицы аг.п+Рк-т+д («малый» пиксель) представляет интеграл
ГУтк + д+1 Гхп^г+р+1
ап4+р,т-к+Я = / в(х,у)<1х<1у. (2)
ут • к + д
' X
пг+р
Значение пикселя с координатами (г, к) несмещенного изображения Ь00 низкого разрешения может быть представлено в виду следующей суммы значений «малых» пикселей синтезированного изображения:
600,-
ЕЕ'
р=0 д=0
'п■ ,+р,т-к+д ■
(3)
Рассмотрим связь цифровых изображений в больших пикселях, характеризующихся заданными сдвигами матрицы детекторов относительно регистрируемого изображения. При сдвиге матрицы детекторов относительно изображения на долю «большого» пикселя сигнал этого пикселя изменится только за счет смещения его края, т е. вклад в это изменение внесут области пикселя, соответствующие крайним малым пикселям. Матрицы, сдвинутые друг относительно друга не более чем на один малый пиксель по каждому из направлений, будем считать смежными. Можно представить всего четыре разных положений «большого» пикселя с адресом (г, к) смещенного на один «малый» пиксель (рис. 1).
Рис 1. Иллюстрация основного соотношения задачи синтеза.
Решетками на рисунке представлен фрагмент регистрируемого неподвижного изображения, а ячейками на нем - «малые» пиксели синтезируемой матрицы. «Большие» пиксели реальных изображений низкого разрешения представлены цветными прямоугольниками. Можно показать, что значения этих четырех «больших» пикселей будут связаны со значениями «малых» пикселей, показанных на рисунке, следующим образом:
600,,к + 611,,к — 601 г,к — 610г,к = апк + ап(г+1),т-(к+1) — (к+1) — (,+1 )тк ■ (4)
Это соотношение является основным для решения поставленной задачи синтеза. Значения больших пикселей 6,,к известны, как полученные при регистрации изображения. Если в данном соотношении предварительно определить значения трех «малых» пикселей, то его можно использовать для расчета оставшегося «малого» пикселя.
пт
Для решения этой задачи можно использовать краевые условия, формируемые в процессе съемки.
На пересечении границ сдвинутых больших пикселей образуются области соответствующие четырем маленьким пикселям (см. рис. 1). Смежными будем считать матрицы, сдвинутые друг относительно друга не более чем на один малый пиксель по каждому из направлений. Четыре смежные ячейки, принадлежащие разным исходным матрицам, связаны следующим набором ячеек синтезированной матрицы:
n— 1 m
610i,k ^ ^ ^ ^ an4+p,m^k+q , p= — 1 q=m n m— 1
601i,k ^ ^ ^ ^ an4+p,m^k+q , p=0q=—1
n— 1 m— 1
611
i,k
(5)
(6) (7)
^ ^ ^ ^ an4+p,m^k+q ■ p=— 1 q= — 1
Из выражений (3), (5)-(7) аналитически выводится представленное выше основное соотношение (4), которое будем использовать для расчета значений «малых» пикселей:
(k+1) = (600 - 601 - 610 + 611 - an-im-k + an-(i+1),m-k + a,n.i,m-(k+1)) ■ (8)
Для решения этой задачи зададим следующие краевые условия. Пусть границы начального (несмещенного) изображения в «больших» пикселях являются границей апертуры, за пределами которой изображение экранируется и сигналы «малых» пикселей, смещенных в эту область, будут нулевыми. На рис. 2 начальное положение матрицы детекторов совпадает с апертурой оптической системы и обозначено сеткой белых пикселей.
Рис. 2. Схема фрагмента апертуры, ограничивающей область изображения.
В сдвинутом положении матрица детекторов будет частично закрываться экраном, ограничивающим апертуру оптической системы. Для определения значения верхнего левого «малого» пикселя сдвинем матрицу детекторов относительно начального положения на к — 1 малых пикселей вверх и на к1 — 1 влево. В этом положении, согласно формуле (8), этот сигнал будет совпадать с сигналом с верхнего левого «большого» пикселя (рис. 3а), поскольку остальные три малых и три больших пикселя будут нулевыми, т. к. находятся за пределами апертуры.
б
Рис. 3. Определение значений малых пикселей, составляющих верхний левый большой пиксел.
а
б
а
в
г
Рис. 4. Смоделированные изображения низкого изображения (а, б) и синтезированные изображения (в, г) повышенного разрешения.
Если сдвинуть матрицу на один малый пиксель вправо, то сигнал с левого верхнего пикселя будет равен сумме двух малых пикселей (рис. 3б), один из которых уже определен согласно рис. 6а. Второй малый пиксель мы определим как разность сигналов большого пикселя и известного малого. Продолжая подобным образом процесс субпиксельной обработки изображения, мы определим все малые пиксели, составляющие первый большой пиксель (в левом верхнем углу матрицы).
Следующим этапом расчета будет последовательное определение значений малых пикселей, составляющих первый столбец первую строку матрицы детекторов. Начиная со второго столбца и второй строки больших пикселей, используем формулу (8), в которой три малых пикселя будут предварительно вычисленными, определяем значения всех малых пикселей синтезируемого изображения. На основе представленного алгоритма решения поставленной задачи синтеза нами была создана программа в среде математического пакета MathCad.
4. Результаты моделирования
Работа созданной программы синтеза демонстрируется на примере изображения достаточно высокого разрешения (см. рис. 4а), из которого с помощью усреднения по группам пикселей был получен набор цифровых изображений низкого разрешения, сдвинутых относительно друг друга на различное количество малых пикселей, одно из которых представлено на рис. 4б.
Программа, в зависимости от требуемого увеличения разрешения, позволяет получать изображения различного разрешения, вплоть до уровня разрешения изображения, использованного при генерации исходных изображений низкого разрешения (см. рис. 4в, 4г).
5. Сверхразрешение на основе расфокусировки
Рассматриваемый ниже метод также относится к методам, используемым взаимные смещения (motion-based techniques) оптического изображения относительно детектирующей его матрицы, однако этот метод предполагает синтез цифрового изображения высокого разрешения на основе серии специально расфокусированных изображений сцены, сформированных за экраном с диафрагмами, расположенными на нем в виде определенной решетки и имеющими размеры, совпадающие с размером элемента матрицы детекторов. На стадии синтеза в этом случае проводится операция восстановления фокусировки (резкости) цифровых изображений и их суммирование в одно изображение высокого разрешения. Рассмотрим этот процесс подробней.
Пусть оптической системой телескопа в плоскости, близкой к фокальной, формируется резкое оптическое изображение удаленного объекта. Разместим непрозрачный для оптических лучей экран в плоскости максимальной фокусировки изображения. Экран снабдим системой периодически расположенных диафрагм, пропускающих свет. Этот экран с диафрагмами будем называть маской. Маска может смещаться вдоль оси оптической системы, устанавливаясь на определенном расстоянии относительно фокальной плоскости, задавая таким образом определенную (при фиксированном значении
относительного отверстия объектива) степень расфокусировки, а также в поперечной плоскости на расстояния кратные ширине диафрагмы на маске.
Сигналы детекторов в каждом положении маски представляют расфокусированное изображение фрагментов, вырезаемых диафрагмами из изображения, сформированного в фокальной плоскости. Расстояние между фокальной плоскостью и плоскостью матрицы детекторов выбираем таким, чтобы расфокусированные изображения соседних фрагментов не пересекались.
Предлагаемым способом можно синтезировать двумерное цифровое изображение объектов с линейным разрешением 1/п пикселя на основе серии снимков, получаемых с помощью ПЗС-матрицы, расположенной за маской. Маска состоит из решетки диафрагм с поперечными размерами равными размеру одного пикселя (детектора), расположенных на экране на расстоянии и пикселей друг относительно друга, где и - кратность увеличения линейного разрешения на синтезируемом снимке. Для синтеза изображения по такой схеме необходимо и достаточно иметь и2 изображений (экспозиций) при различных положениях экрана относительно матрицы детекторов, реализуемых сдвигами экрана в двух взаимно-перпендикулярных направлениях на величины кратные линейному размеру пикселя (0,1,и). Каждое из получаемых цифровых изображений будет содержать непересекающиеся расфокусированные изображения фрагментов, сформированных за диафрагмами маски. Вся совокупность из и2 снимков описывает полное изображение, формируемое оптической системы телескопа в фокальной плоскости (в плоскости маски). Рис. 5 демонстрирует схему формирования расфокусированного изображения за одной из диафрагм маски для заданного значения и =3.
Рис. 5. Фрагмент маски с диафрагмами и соответствующего участка матрицы детекторов. Е — фокусное расстояние оптической системы телескопа, ДЕ — смещение детектирующей
матрицы относительно фокуса.
В этом случае связь между девятью пикселями в каждом расфокусированном фрагменте изображения и девятью малыми виртуальными пикселями в апертуре диафрагмы (пикселями сфокусированного изображения) может быть выражена сверткой виртуального изображения а с аппаратной функцией к, описывающей в малых пикселях апертуру диафрагмы:
Эта связь однозначна и одинакова для всех фрагментов изображения, формируемых решеткой диафрагм на экране маски. Взаимная независимость фрагментов обусловливает однозначность и помехоустойчивость алгоритма синтеза полного изображения.
»11 »13
»23
"31 »31 »33
б
Рис. 6. Расфокусированный фрагмент изображения за одной из диафрагм на маске и фрагмент диафрагмы на больших пикселях (а); расфокусированное изображение одного из малых пикселей за диафрагмой (б).
Таким образом, сигналы детекторов в виде значений больших пикселей, представляющие расфокусированный фрагмент изображения, могут быть связаны с сигналами виртуальных детекторов, представляющих в виде малых пикселей резкое изображение того же фрагмента, расположенное на площади диафрагмы, некоторой линейной системой уравнений. Матрицы а и Ь могут быть записаны построчно в виде векторов, при этом матрица, связывающая эти векторы, может быть легко определена для конкретного расположения маски и матрицы детекторов. Вычислив матрицу обратную ей, можно записать формулу для определения «вектора» сигналов а виртуальных детекторов. Для приведенного примера формула имеет следующий вид:
( «11 \ / 1/9 0 0 0 0 0 0 0 0 -1 / Ъи
«12 2/9 1/3 2/9 0 0 0 0 0 0 Ь12
«13 0 0 1/9 0 0 0 0 0 0 Ъ13
«21 2/9 0 0 1/3 0 0 2/9 0 0 Ъ21
«22 = 4/9 2/3 4/9 2/3 1 2/3 4/9 2/3 4/9 Ъ22
«23 0 0 2/9 0 0 1/3 0 0 2/9 Ъ23
«31 0 0 0 0 0 0 1/9 0 0 Ъ31
«32 0 0 0 0 0 0 2/9 1/3 2/9 Ъ32
\ «33 V 0 0 0 0 0 0 0 0 1/9 Ъ33 )
(10)
а
6. Моделирование метода на реальном цифровом изображении
Для демонстрации метода построим модель с использованием реального цифрового изображения (рис. 7а).
Рис. 7. Исходное изображение высокого разрешения (а); модельное изображение, представленное крупными пикселями (б).
Представим это изображение пикселями достаточно большого размера (рис. 7б), чтобы нагляднее продемонстрировать увеличение разрешения синтезируемого изображения. С помощью маски в виде экрана с диафрагмами размером в один пиксел выделяем фрагменты исходного цифрового изображения. Смещая маску на один пиксел по горизонтали и/или по вертикали, получим полный набор из девяти изображений ///о;о,///од,...,///з;з.
Сумма всех фрагментов, выраженных большими пикселами, составит полное расфокусированное изображение. Применяя к полученной системе изображений, которая в данном случае моделирует изображения, получаемые реально за маской с диафрагмами, формулу (10), мы получим соответствующие девять изображений (рис. 8а), сумма которых даст результирующее полное сфокусированное синтезированное изображение (рис. 8б.), имеющее для рассмотренного примера разрешение, равное 1/3 большого пикселя.
Увеличенное синтезированное изображение одного из фрагментов демонстрирует проявление внутренней структуры на площади диафрагмы (внутри большого пикселя).
б
а
Рис. 8. Девять синтезированных изображений в плоскости маски (а); суммарное синтезированное изображение (б).
Рис. 9. Изображение в пикселях размером, заданным размером детектора (а); синтезированное изображение в пикселях с размерами 1/3*1/3 пикселя (б).
Для демонстрации эффекта увеличения разрешения в синтезированном изображении на рис. 9. представлены изображения одного из моделирующих изображений в «реальных» пикселях и синтезированного изображения в вычисленных виртуальных «малых» пикселях.
Литература
1. Alldrin N. Super-Resolution. - http://vision.ucsd.edu/ nalldrin/research/superresolution/
2. Chaudhuri S; Manjunath J. Motion-Free Super-resolution / Hardcover, 2005. - 239 p.
3. Блажевич С.В., Винтаев В.Н., Ушакова Н.Н. Синтез космического изображения с улучшенной разрешающей способностью на основе субпиксельного сканирования // Современные проблемы дистанционного зондирования Земли из космоса. - 2010. - 7;2. - С.9-13.
4. Блажевич С.В., Винтаев В.Н., Селютина Е.С., Ушакова Н.Н. Синтез цифровых изображений субпиксельного уровня разрешения с использованием расфокусировки // Техническое зрение в системах управления. Сб. тезисов научно-технической конф. / М.: ИКИ РАН, 2011. - С.55-56.
SYNTHESIS METHODS OF TWO-DIMENSIONAL IMAGE MATRIX
WITH SUPERRESOLUTION
S.V. Blazhevich, E.S. Selyutina
Belgorod State University, Pobedy St., 85, Belgorod, 308015, Russia, e-mail: blazhObsu.edu.ru
Abstract. The method of synthesis of high-resolution digital image out of low-resolution image series obtained with different subpixel relative displacements is studied. It is developed the synthesis algorithm for the case when the increasing of the image resolution has the general form. It is proposed also another method of digital image obtaining with resolution of sub-pixel level (superresolution). This method consists of 1) shooting a series of defocused images of the object through the flat screen having a grid diaphragms which are shifted in the screen plane when receiving each next frame by means of another set of integer number of pixels, and 2) the synthesis of high-resolution images by digital deconvolution and summing the obtained digital images.
Key words: synthesis of digital images, sub-pixel scanning superresolution, defocusing.
