CC BY
19Телевидение и обработка изображений
УДК 681.772.7
П. С. Баранов
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)
Структура кодирующих светофильтров для одновременного повышения разрешающей способности и чувствительности телевизионной камеры
Структура кодирующих светофильтров (СКС), используемая в ПЗС и КМОП-фотоприемниках для получения цветного изображения, в наибольшей степени определяет качество изображения. В статье сформулированы требования к СКС для повышения чувствительности и разрешающей способности телевизионной камеры. Представлен шаблон синтезированной СКС. Проведено компьютерное моделирование пяти различных СКС и их сравнительный анализ по объективным и субъективным параметрам.
Структура кодирующих светофильтров, шаблон структуры кодирующих светофильтров, чувствительность, разрешающая способность
В настоящее время подавляющее большинство телевизионных (ТВ) камер использует один фотоприемник (ФП) с нанесенной на его поверхность структурой кодирующих светофильтров (СКС) (в англоязычной литературе color filter array - CFA)
[1], [2]. Основной задачей СКС является выделение из оптического изображения спектральных (по длинах волн) диапазонов (R, G, B, Ye, Cy, Mg, White и др.), количество которых достаточно для формирования полноцветного изображения. Кроме того, СКС производит пространственную дискретизацию выделенных спектральных каналов в фоточувствительной плоскости ФП так, что каждый пиксел чувствителен только к одному цвету
[2], [3]. Из полученного ФП цветоделенных изображений необходимо сформировать полноцветное изображение, согласованное с цветовым пространством ТВ-системы (обычно RGB). Указанная процедура в различных источниках называется демозаикизацией, интерполяцией или восстановлением полноцветного изображения [2]-[6].
В [3], [7]-[10] показано, что наибольшее влияние на разрешающую способность (РС), чувствительность и устойчивость к цветовым муарам на изображении оказывает СКС и алгоритм демо-заикизации. Наиболее популярная СКС Байера [11], содержащая фильтры основных цветов, приме© Баранов П. С., 2015
няется практически во всех цветных ФП. Однако при ее использовании снижаются чувствительность на 15...20 дБ и РС на 15...40 % по отношению к монохромной ТВ-камере, а восстановленное изображение обладает существенными цветовыми артефактами [3], [10], [12].
Можно выделить два пути повышения качества изображения. Первый - совершенствование алгоритмов демозаикизации и шумоподавления. Использование фильтра нижних пространственных частот (ФНПЧ) совместно с современными алгоритмами демозаикизации позволяет практически полностью подавить цветовые артефакты. Однако РС в таком случае оказывается на 20.40 % ниже, чем потенциальное разрешение монохромного ФП [10]. Использование алгоритмов шумоподавления, как правило, производит взаимообмен чувствительности на РС, что не всегда применимо.
Вторым способом является использование СКС, обеспечивающей (совместное или отдельное) значительное повышение чувствительности, РС и устойчивости к цветовым артефактам [3], [10], [12]. Основная проблема при использовании указанного метода состоит в недостатке теоретической базы для анализа влияния СКС на основные параметры ТВ-камеры, а также в отсутствии алгоритмов параметрического синтеза СКС при наличии ограниче-
ний. При поиске новых СКС можно полагаться на логические умозаключения и инженерное чутье, что, собственно, было сделано фирмами "Truesense", "Sony", "Aptina" [13]—[15] при разработке собственных СКС. Однако такой подход не позволяет утверждать, что предложенная структура оптимальная или наилучшая по принятым критериям.
В работах K. Hirakawa [8], L. Condat [7], H. Peng-wei [2], [3] теоретически описано формирование изображения с различными СКС, а также предложено несколько собственных вариантов СКС. В указанных работах авторы ставили цель найти СКС, обеспечивающую максимально точное восстановление изображения с минимальными искажениями/артефактами. Необходимо отметить, что основным приоритетом при внедрении новых СКС является повышение чувствительности ТВ-камеры, поэтому предложенные в [7]-[9] СКС вряд ли найдут применение при производстве будущих ФП.
В настоящей статье предложена система критериев, описывающая не только спектральные свойства (как в [3], [7]-[9]), но и параметры, влияющие на чувствительность ТВ-камеры. Оптимизацией параметров, характеризующих СКС, можно синтезировать структуру, значительно превосходящую не только фильтр Байера, но и остальные известные СКС.
Анализ структур кодирующих светофильтров. Большинство известных СКС периодические, т. е. вся СКС представляет собой периодическое повторение элементарного шаблона СКС минимально возможного размера [3]. Шаблоны СКС описывают дискретизацию оптического сигнала по пространству в плоскости ФП. Как правило, они имеют прямоугольную или квадратную форму.
Для математического описания шаблона удобно использовать матрицу, элементы которой описывают в системе RGB спектральные диапазоны, к которым чувствительны отдельные пикселы. Так, шаблоны СКС Байера [12] (рис. 1, а) и СКС RGBW фирмы "Sony" [15] (рис. 1, б) в матричной форме имеют следующий вид:
''Bayer
PG PR PB PG
ony
Pp PB PP PG
PR PP PG PP
PP PG PP PB
PG PP PR PP
R G
G B
P B P G
R P G P
P G P B
G P R P
б
Рис. 1
SBayer = 2DFT
Применив к матрице СКС Байера двумерное дискретное преобразование Фурье ББТ, получим пространственный спектр шаблона:
Рк Рс = Рь Рс1 Ре рв ] I Рс1 Рс2 "(к + 2Ра + Рв )/4 (( " Рв )/2 " _ ((к - Рв /2 (к - 2Ра + Рв )/4_
где Рь =(Ря + 2+ Рв )/4 - пространственный спектр мультиплексной компоненты яркости;
Рс1 = Р - Рв )/2, Рс2 =(Рк - 2Ре + Рв )/4 -
пространственные спектры мультиплексных ком -понент цветности с1 и с2; Ря, Рс, Рв - пространственные спектры входного изображения в каналах Я, С, в соответственно. Пространственные спектры мультиплексных компонент и основных каналов взаимосвязаны через матрицу мультиплексирования Т и матрицу восстановления Б [3]:
Fl Fl
FC1 " Fr " " Fr " FC1
FC2 = ТСКС Fg ? Fg = Аскс FC2
Fb Fb
FCk _ _ FCk
Исходя из трехмерной теории цвета, количе -ство мультиплексных компонент должно быть не менее трех (в том числе одна компонента яркости и минимум две компоненты цветности).
При увеличении размера шаблона СКС увеличивается и размер матрицы частотной структуры. Так, матрица частотной структуры шаблона СКС RGBW имеет вид
(1)
" Fl 0 -FC1 0 "
SSony - 0 - FC2 0 FCi
FC1 0 FC3 0
0 -FCl 0 FC2 _
где рс, Ря, Рв - пиксели, имеющие чувствительность в центральной ("зеленый"), длинноволновой ("красный") и коротковолновой ("синий") частях видимого спектра; Рр - панхроматический пиксел.
где - символ комплексного сопряжения.
Спектральные свойства СКС можно оценить визуально по пространственному спектру изображения, преобразованного данным шаблоном. Рассмотрим пространственные спектры изобра-
а
fy
fy
-0.50 а
-0.50 б
Рис. 2
жения при использовании СКС Байера (рис. 2, а) и СКС фирмы "Sony" (рис. 2, б)1.
Матрица частотной структуры показывает, на какой пространственной частоте располагается центр той или иной мультиплексной компоненты. Центр спектра пространственных частот компоненты яркости всегда находится в точке (0, 0), что соответствует крайнему верхнему левому элементу матрицы частотной структуры. Расположение же центров спектров пространственных частот компонент цветности зависит от спектральных свойств СКС. Например, центр компоненты FCi в матрице <SSony (1) находится в точке (0, 0.5)
(рис. 2, б), что соответствует элементу матрицы частотной структуры в первом столбце и третьей строке. Наличие нулевых элементов в матрице означает, что на соответствующих пространственных частотах отсутствует мультиплексная спектральная компонента.
Кроме того, по спектру изображения легко определить наличие наложения спектров мультиплексных компонент (на рис. 2 показано пунктирными овалами), которое, как правило, если не использовать адаптивных алгоритмов, приводит к значительным цветовым артефактам [3], [10]. Причем чем больше площадь наложения спектров, тем сильнее проявляются цветовые артефакты. Данный факт легко проиллюстрировать на примере спектра изображения при использовании СКС "Sony" (рис. 2, б). Количество мультиплекс-
1 На рис. 2 и далее пространственные частоты , /у нормированы на значения, обратные шагам расположения пикселов по соответствующим координатам.
ных компонент цветности равно 7, что существенно больше, чем при использовании СКС Байера (рис. 2, а). При этом мультиплексные компоненты располагаются ближе друг к другу в спектральной области, что значительно увеличивает вероятность наложения спектров. Как следствие, интенсивность цветовых артефактов при использовании данной структуры намного больше по сравнению с СКС Байера.
Проблема синтеза структур кодирующих светофильтров. Результаты [7]-[9] показали, что оптимизацией параметров, влияющих на спектральные свойства СКС, можно значительно уменьшить наложение спектров мультиплексных компонент, что положительно сказывается на качестве изображения. В разработках фирм "Aptina" [15], "TrueSence" [13], "Sony" [14] достигнуто повышение чувствительности ТВ-камеры за счет применения альтернативных Байеру СКС. Однако полученные СКС (особенно [13] и [14]) существенно увеличивают и без того заметные цветовые артефакты, производя взаимообмен РС и чувствительности ТВ-камеры. Серьезной проблемой является задача синтеза СКС, которая бы одновременно превосходила СКС Байера по чувствительности, РС и интенсивности цветовых артефактов. К настоящему времени указанная задача не решена, что можно объяснить следующими причинами.
Во-первых, не проведен теоретический анализ и не разработаны методики для оценки влияния СКС на чувствительность ТВ-камеры.
Во-вторых, не разработана система требований и ограничений, которым должна удовлетворять СКС, решающая поставленную задачу.
В-третьих, количество возможных вариантов шаблонов увеличивается в степенной зависимости от их размеров. При размере шаблона 4 х 4 пиксела
количество возможных шаблонов около 1045, что не позволяет проанализировать каждый шаблон.
Наконец, не разработан алгоритм синтеза СКС при заданных ограничениях, позволяющий существенно снизить область поиска потенциальных вариантов хотя бы до нескольких сотен.
В работах [10], [12], [16], [17] и в рамках диссертационной работы [18] удалось решить в первом приближении все перечисленные проблемы, что позволило получить интересные результаты как с теоретической, так и с практической точек зрения.
Требования, предъявляемые к структурам кодирующих светофильтров для повышения разрешения и чувствительности. В настоящей статье предложена система требований, сформулированных на основе анализа результатов, полученных Ь. соМа! [7], К. Нгака—а [8], Н. Реп§—е1 [3], [9], а также автором [10], [12], [16]-[18]. Основной задачей, решить которую позволяет данная система требований, является существенное сокращение количества вариантов СКС, которые впоследствии предстоит проанализировать. Рассмотренные далее требования необходимо применять последовательно.
1. Выбор набора цветов СКС. Спектральные характеристики светофильтров, используемых в реальных СКС, обычно имеют привязку к определенному цвету, например основные цвета Я, Сс, в, дополнительные Уе, су, М§ или панхроматические ("белые") пиксели Р. Поскольку каждый цвет можно представить в виде суммы основных цветов, то в общем виде произвольный цвет светофильтра в СКС можно записать как
С = ^ + gSG + ЬБв, (2)
где Sк, SG, Sв - спектральные характеристики каналов основных цветов; г, g, Ь - весовые коэффициенты каналов основных цветов.
Для физической реализуемости фильтра необходимо выполнение условия [3]
г + g + Ь = 1. (3)
На основе (2) и (3) можно записать спектральные характеристики остальных цветов, например:
Sye = (1/2) Sк + (1/2) SG + 0Sв;
Sр =(1/3^к +(1/3^ +(1/3^в.
(4)
которые будет содержать СКС. Например, при г, g, Ь е {0, 1} шаблон СКС будет содержать только основные цвета, а при г, g, Ь е {0, 0.5, 1} - основные и дополнительные цвета.
В настоящей статье в основу выбора цветов положены следующие соображения:
- для повышения чувствительности ТВ-камеры СКС должна содержать панхроматические пиксели;
- при проектировании СКС необходимо использовать минимально возможное достаточное количество цветов, поскольку количество вариантов шаблонов определяется следующем образом:
М = К
3N
(5)
где К - количество различных весовых коэффициентов г, g, Ь; N - количество элементов в шаблоне СКС.
На основании анализа работ [3], [7]—[10], [19], [20] выбран набор весов г, g, Ь е {0, 1/3, 1/2, 2/3, 1},
позволяющий получить СКС, содержащие основные и дополнительные цвета, панхроматические пиксели, а также цвета, использованные в СКС [7], [8].
2. Выбор размера шаблона и расположения мультиплексных компонент. Расположение мультиплексных компонент в частотной области очень важно для понимания, насколько анализируемая СКС обеспечивает желаемую устойчивость к наложению спектров.
Обобщив результаты, полученные в [3], [7]—[10], [19], можно предложить следующие требования для выбора расположения мультиплексных компонент:
- пространственные частоты, соответствующие максимумам компонент яркости и цветности, должны располагаться на расстоянии Бь_с ^ 0.5;
- пространственные частоты, соответствующие максимумам различных компонент цветности, должны располагаться на расстоянии Дс_с ^ 0.25;
- мультиплексные компоненты могут располагаться только с шагом 0.25 по каждой частотной оси;
- для снижения вероятности появления цветовых искажений на восстановленном изображении необходимо использовать дополнительные линейно связанные компоненты цветности.
Изложенным требованиям наиболее удовлетворяет размер шаблона 4 х 4 со следующей матрицей частотной структуры:
$
сел4х4 =
Таким образом, задавшись весовыми коэффициентами г, g, Ь, можно контролировать цвета,
X 0
0 0
0 х
0 0
где "х" обозначает ненулевые мультиплексные компоненты. Данную матрицу можно использовать при поиске шаблона СКС в качестве критерия расположения мультиплексных компонент.
При большем размере шаблона значительно увеличивается количество возможных вариантов (5), что значительно усложняет задачу синтеза. Кроме того, уменьшается расстояние в частотной области между возможным расположением компо -нент цветности, что в свою очередь приведет к увеличению нежелательного наложения спектров. Поэтому размер шаблона 4 х 4 представляется наиболее интересным с точки зрения поиска новых СКС.
3. Количество линейно независимых цветов. Количество используемых в шаблоне СКС цветов должно быть достаточным для формирования полноцветного изображения, т. е. не менее трех. Например, СКС, содержащая светофильтры R, Cy и W, имеет три различных цвета, однако линейно независимы из них только два. Таким образом, при помощи данной СКС не удастся получить полноцветное изображение.
4. Количество панхроматических пикселей. В [21] заявляется, что СКС с 50 % панхроматических пикселей позволяет повысить чувствительность на 3.. .4 дБ. В то же время анализ связи количества таких пикселей с повышением чувствительности фотоприемника неизвестен. В общем случае можно полагать, что для повышения чувствительности следует использовать максимальное количество панхроматических пикселей, хотя это предположение требует дальнейшего теоретического анализа.
5. Наличие линейно зависимых компонент цветности. Результаты, полученные при анализе частотных свойств СКС Байера и СКС H. Pengwei [3], показывают, что использование линейной связи определенных компонент цветности может существенно снизить эффект наложения спектров. Можно предположить, что с ростом количества линейно связанных компонент цветности эффективность алгоритмов восстановления повышается.
6. Норма матрицы восстановления. В [3] выдвинуто предположение о том, что для минимального усиления ошибки при восстановлении полноцветного изображения необходимо использовать СКС с минимальной нормой матрицы восстановления D. Однако при сравнении только по параметру Dil СКС с разными размерами шаблона, различным расположением и взаимосвязью компонент цветности, различным составом используемых цветов результаты могут быть неоднозначными, что подтверждается сравнением СКС K. Hirakawa, L. Condat и H. Pengwei [3].
В настоящей статье предполагается, что при прочих равных условиях СКС с минимальной Ш|| будет обеспечивать лучшее восстановление изображения.
Разработанная структура кодирующих светофильтров. В процессе исследования найдено несколько СКС, удовлетворяющих указанным критериям. Наиболее интересная из найденных СКС представлена на рис. 3, а. Шаблон состоит из 16 пикселей (размер шаблона 4 х 4): шести панхроматических, одного Cerulean (Ce) [B + (1/2 )G ], одного Orange (Or) [ R + (1/2) G ], четырех Chartreuse (Ch) [G + (1/2) R ], четырех Lavender (La) [G + (1/2)B]. Соотношение весов r, g, b 1:2:1.
На рис. 3, б изображен пространственный спектр изображения при использовании предложенной СКС. Данная СКС по сравнению с другими СКС с панхроматическими пикселами имеет ряд преимуществ:
1. Расстояние ^l-C - 0.56 (рис. 3, б), поэтому наложение спектров значительно уменьшено.
2. Компоненты цветности не лежат на вертикальных и горизонтальных осях компоненты яркости, что также снижает наложение спектров.
3. Компонента цветности С1 имеет 4 копии на различных пространственных частотах (см. рис. 2, б), что может быть использовано для повышения отношения "сигнал/шум" за счет усреднения в условиях низкой освещенности. Кроме того, ко -пии компонент цветности можно использовать в адаптивных алгоритмах восстановления.
4. Фильтры используемых цветов Cerulean, Orange, Chartreuse и Lavender пропускают на 50 % больше света по сравнению с фильтрами основных цветов.
Спектр СКС по рис. 4, а имеет вид
S4x4 -
Fl 0 0 0
0 0 FC1 0
0 FC1 FC2 FC1
0 0 FC1 0
Ce Ch P Ch
Ch P La P
P La Or La
Ch P La P
Рис. 3
б
а
где
FT _
FR + 2FG + FT
G
F _ FB ~ FR . F _
Fr - 2Fg + Ft
G
12 12
С использованием методики [3] для предложенной СКС определены матрицы мультиплексирования Т и восстановления Б, а также норма матрицы восстановления ||Б||:
1/4 1/2 1/4
-112 0 1/12
-112 0 112
112 -16 112
-112 0 112
-112 0 112
P R
B P
G P R B P
B P G P R
P R B P G
P G P R B
R B P G P
^4x4 _
D4x4 _
1 - 3/2 - 3/2 3 - 3/2 - 3/2 1 0 0 -3 0 0 1 3/2 3/2 3 3/2 3/2
'4x4
_ 5.23.
Сравнительный анализ. В настоящей статье произведено сравнение пяти СКС: Байера [11] (см. рис. 1, а), фирм "Aptina Clarity+" [15] (рис. 4, а), "Sony" (RGBW) [14] (см. рис. 1, б), "Hao40" [19] (рис. 4, б) и разработанной автором СКС bar4 (см. рис. 3, а). Для всех СКС использовался алгоритм восстановления изображения, предложенный Dubois [22].
а б
Рис. 4
Анализ в отсутствие шумов. На рис. 5, б-е представлены результаты восстановления тестового изображения зон Френеля (рис. 5, а) при использовании тестируемых СКС (на рисунках изображены разности тестового и восстановленного изображений). Удобство использования изображений зон Френеля объясняется тем, что по ним можно оценить РС ТВ-системы во всех направлениях, а также выявить, на каких пространственных частотах проявляются различные артефакты. В [18] показано, что со снижением уровня цветовых муаров РС ТВ-системы возрастает. Главным недостатком СКС Байера (рис. 5, б), СКС фирмы "Aptina" (рис. 5, в) и СКС фирмы "Sony" (рис. 5, г) является расположение мультиплексных компонент цветности на горизонтальных и вертикальных осях, где энергия спектра пространственных частот реальных изображений максимальна. Результатом такого расположения являются значительные цветовые артефакты на
д
Рис. 5
4
г
е
мелких объектах, ориентированных вдоль горизонтальной и вертикальной осей телевизионного кадра (если не используются сложные адаптивные алгоритмы восстановления).
Предложенная в [19] СКС "Hao40" обладает интересными спектральными свойствами, основанными на учете пространственно-спектральных свойств реальных изображений. Ортогональные линии, на которых расположены мультиплексные компоненты цветности, повернуты примерно на 150° относительно горизонтальной и вертикальной осей (рис. 5, д), что позволяет уменьшить наложение спектров вдоль указанных направлений и, как следствие, несколько повысить РС. Однако пространственные частоты, на которых начинают проявляться цветовые муары, даже несколько меньше, чем для СКС Байера (рис. 5, б) и СКС фирмы "Aptina" (рис. 5, в), что должно привести к повышению цветовых муаров на мелких объектах сложной формы. Кроме этого СКС "Hao40" не обеспечивает дополнительных мультиплексных компонент цветности в спектре изображения, что не позволяет эффективно использовать адаптивные алгоритмы восстановления, ко -торые так широко применяются для СКС Байера.
Как следует из рис. 5, е, разработанная СКС характеризуется наибольшим расстоянием
среди рассмотренных шаблонов. Вследствие этого перекрытие спектров яркости и цветности происходит на более высоких пространственных частотах, поэтому на изображениях цветовые му-ары будут появляться реже и обладать меньшей интенсивно стью.
В таблице представлены средние значения пикового отношения "сигнал/шум" (PSNR) по 24 тестовым изображениям от фирмы KODAK [20] для пяти анализируемых СКС при максимальном уровне полезного сигнала, равном 1. При отсутствии шумов (среднеквадратическое отклонение шума ст_ 0) предлагаемая СКС превосходит на 0.7...0.8 дБ СКС фирмы "Aptina" и Байера за счет увеличенного расстояния Dl-c _ 0.56 против 0.5
СКС Bayer Aptina Sony Hao40 Bar4
Изобра-
жения а, е б, ж в, з г, и д, к
на рис. 7
Кривая на рис. 8 3 2 5 4 1
PSNR
0 37.92 38.05 34.97 36.02 38.74
0.025 31.19 32.85 31.87 32.14 34.17
о 0.050 26.02 28.06 28.01 27.82 29.61
0.075 22.68 24.82 25.08 24.73 26.44
0.100 20.24 22.43 22.81 22.39 24.41
для СКС Байера. Поскольку Dl-c для СКС фирмы "Sony" и "Hao40" еще меньше (0.25 и 0.45 соответственно), преимущество предложенной СКС перед ними более значительно, почти 2.4 дБ.
На рис. 6 представлено тестовое изображение № 8, а на рис. 7, а-д - отображение сигнала ошибки - разницы между восстановленным изображением, полученным с использованием СКС, включенных в таблицу, и тестовым изображением (в отсутствие шумов) (для наглядности сигнал ошибки увеличен в пять раз). Чем больше сигнал ошибки, тем более выражены цветовые артефакты на изображении. Так, использование СКС фирмы "Sony" приводит к наибольшему уровню цветовых муаров, а разработанная СКС - к наименьшему, что согласуется с анализом, проведенным по зонам Френеля на рис. 5. Кроме того, для предложенной СКС возможно использовать адаптивный алгоритм (например, [23]), который существенно повысит качество изображения, а для СКС "Hao40" необходимо искать другие методы снижения цветовых муаров.
При наличии шумов. В [21] проведен сравнительный анализ девяти СКС, пять из которых содержат панхроматические пикселы. При наличии шумов (ст_0.02) СКС Байера показывает наилучшие показатели по PSNR и другим метрикам, что является достаточно противоречивым результатом. СКС с панхроматическими пикселами в условиях низкой освещенности должны обеспе-
Рис. 6
Рис. 7
чивать большее PSNR за счет большего пропускания света, однако проведенное H. Pengwei моделирование не показало этого.
По всей видимости, автор не учел механизма формирования сигнала в ФП при низкой освещенности, где превалирующей шумовой компонентой являются шумы считывания nrd, добавляющиеся к каждому зарядовому пакету:
U Rn = U R + nrd;
UGn = UG + nd UBn = UB + nrd;
U Pn = U P + nrd = U R + U G + U B + nrd' где U r , Ug , U в - зарядовые пакеты в фотодиодах пикселов, соответствующих R-, G-, B- и панхроматическому каналам.Ошибка! Ошибка связи.
При восстановлении полноцветного изображения необходимо использовать UPn/3 вместо UPn (см. (4)), при этом разброс шума в панхроматических пикселах уменьшится в 3 раза, что и позволит повысить PSNR.
Используя описанное представление сигнала, проведено исследование пяти анализируемых СКС на наборе тестовых изображений при добавлении "белого" гауссовского шума с = 0.025, 0.05, 0.075, 0.1. Результаты представлены в таблице и на рис. 8 (номера кривых см. в таблице). На рис. 7, е-к показаны сигналы ошибки между восстановленными изображениями, полученными с использованием исследуемых СКС, и тестовым изображением (рис. 6) при ст = 0.1.
Анализируя полученные данные можно сделать следующие выводы: 22
- в отсутствие шума качество изображения, оцениваемое по PSNR, в основном определяется расположением компонент цветности в частотной области, причем PSNR возрастает с ростом расстояния ^l-C'
- при возрастании шума PSNR спадает с набольшей скоростью для СКС Байера. В результате уже при ст = 0.02 PSNR для СКС Байера имеет наименьшее значение среди исследованных СКС;
- падение значений PSNR для СКС с панхроматическими пикселами происходит медленнее по сравнению с СКС Байера, что обусловлено большим светопропусканием СКС;
- при ст> 0.04 СКС фирм "Aptina", "Sony", "Hao40" характеризуются практически одинаковым PSNR, который примерно на 2 дБ больше, чем для СКС Байера, и на 1.6...2 дБ меньше, чем у предложенной СКС.
Суммируя полученные результаты можно утверждать, что синтезированная СКС имеет наилучшие спектральные свойства среди всех известных СКС с панхроматическими пикселами, а
PSNR 35 30 25
20
0
0.025
0.050 Рис. 8
0.075
е
з
и
к
а
также всех СКС, рассмотренных в настоящей статье, что позволяет существенно снизить цветовые муары на изображении. Вместе с тем новая СКС обеспечивает по субъективному критерию (интенсивность цветовых артефактов) и по объективному критерию качества (РБКИ.) наивысшие показатели среди всех рассмотренных в настоящей статье.
Несмотря на значительный интерес к использованию новых СКС для повышения качества изображения, до сих пор ни одна СКС не смогла вытеснить СКС Байера с лидирующих позиций. На основе результатов, полученных Ь. соМа!, К. Нь
гака—а и Н. Реп§—е1, а также критериев, сформулированных в настоящей статье, найдено несколько СКС. В настоящей статье представлена одна из найденных СКС - Ьаг4. Описание остальных СКС и результаты их исследования содержатся в [19]. Проведенное моделирование показало, что предложенная СКС значительно превосходит все известные СКС с панхроматических пикселами (а также СКС Байера) сразу по трем основным характеристикам - чувствительности, устойчивости к цветовым муарам и, как следствие, по РС.
СПИСОК ЛИТЕРАТУРЫ
1. Durini D. High Perfomance Silicon Imaging. Fundamentals and Applications of CMOS and CCD Image Sensor. Cambridge: Woodhead Pub., 2014. 450 p.
2. Single-Sensor Imaging. Methods and Applications for Digital Cameras / ed. by R. Lukac. Boca Raton: CRC Press, 2009. 626 p.
3. Li Y., Hao P., Lin Z. Color filter arrays: representation and analysis // Tech. Rep. RR-08-04, Dept. of Computer Science, Queen Mary, Univ. of London (QMUL), 2008. URL: http://www.eecs.qmul.ac.uk/~phao/Papers/RR-08-04.pdf (дата обращения 10.12.2015).
4. Demosaicking: Color filter array interpolation / B. K. Gunturk, J. Glotzbach, Y. Altunbasak et al. // IEEE Signal Processing Mag. 2005. Vol. 22, iss. 1. P. 44-54.
5. Alleyson D., Susstrunk S., Herault J. Linear demosa-icing inspired by the human visual system // IEEE Trans. Image Processing. 2005. Vol. IP-14, iss. 4. P. 439-449.
6. Lukac R., Plataniotis K. N. Universal demosaicking for imaging pipelines with a RGB color filter array // Pattern Recognition. 2005. Vol. 38, iss. 11. P. 2208-2212.
7. Condat L. A new color filter array with optimal sensing properties. URL: http://www.gipsa-lab.fr/ ~laurent. condat/publis/condat_icip09_newCFA.pdf (дата обращения 10.12.2015).
8. Hirakawa K., Wolfe P. Spatio-spectral color filter array design for optimal image // IEEE Trans. on Image Processing. 2008. Vol. IP-17, iss. 10. P. 1876-1890.
9. A geometric method for optimal design of color filter arrays / P. Hao, Y. Li, Z. Lin, E. Dubois // IEEE Trans. Image Processing, 2011. Vol. IP-20, iss. 3. P. 709-722.
10. Баранов П. С. Анализ характеристик телекамер на фотоприемниках с произвольной структурой кодирующих светофильтров // Вопр. радиоэлектроники. Сер. Техника телевидения. 2014. Вып. 1. С. 80-89.
11. US Pat. 3 971 065. Int. Cl.2 H04N9/07, H04N9/04, G02B5/20. Color imaging array / B. E. Bayer. Publ. 1976/20/07.
12. Баранов П. С., Козлов В. В., Манцветов А. А. Чувствительность цветных одноматричных телевизионных камер // Вопр. радиоэлектроники. Сер. Техника телевидения. 2012. Вып. 1. С. 58-71.
13. US Pat. 20 070 268 533. Int. Cl. G03F3/08 (2006.01). Image sensor with improved light sensitivity / T. Kijima, H. Nakamura, J. Compton, J. Hamilton. Publ. 2007/22/11.
14. US Pat. 20 150 241 611 A1. Int. Cl. H04N5/335 (2006.01). Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus / I. Hirota. Publ. 2015/08/27.
15. US Pat. 20 130 242 148 A1. Int. Cl. H04N9/04 (2006.01). Imaging systems with clear filter pixels / M. Mli-nar, B. Keelan. Publ. 2013/08/07.
16. Баранов П. С., Драк О. Т. Выбор структуры цветных кодирующих светофильтров для повышения чувствительности // Тез. докл. 10-й Междунар. конф. "Телевидение: передача и обработка изображений", СПб., 25-26 июня 2013 г. СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2013. С. 14-16.
17. Baranov P., Drak O. A New Color Filter Array with High Light Sensitivity and High Resolution Properties // Proc. of the 2015 IEEE North West Russia Section Young Researchers in Electrical and Electronic Engineering Conf., 2-4 Feb. 2015. SPb.: SPb. ETU "LETI" Press, 2015. P. 18-23.
18. Баранов П. С. Методы повышения качества изображения, формируемого цветными одномат-ричными телевизионными камерами: дис. ... канд. техн. наук: 05.12.04 / Баранов П. С. СПб., 2014. 173 с.
19. Wang J., Zhang C., Hao P. New Color Filter Arrays of High Light Sensitivity and High Demosaicking Performance // IEEE Intern. conf. on Image Processing (ICIP), Brussels, Belgium, 11-14 Sept. 2011. URL: http://www.eecs. qmul.ac.uk/~phao/Papers/ICIP11.ppt.pdf (дата обращения 10.12.2015).
20. Hao P. Universal Demosaicking of Colour Filter Arrays / Dept. Computer Science, Queen Mary, Univ. London (QMUL). URL: http://www.eecs.qmul.ac.uk/~phao/CFA/acude/ (дата обращения 10.12.2015).
21. Aptina's Clarity+TM Solution. URL: https://3gl tesummit.qualcomm.com/sites/default/files/pdf/3GLTE2015 _ONSemi.pdf (дата обращения 10.12.2015).
22. Dubois E. Frequency-Domain Methods for De-mosaicking of Bayer-Sampled Color Images // IEEE Signal Process. Lett. 2005. Iss. 12. P. 847-850.
