Kodak улучшает чувствительность цветных ПЗС-матриц Текст научной статьи по специальности «Компьютерные и информационные науки»

Kodak улучшает чувствительность

цветных ПЗС-матриц

Современный рынок систем регистрации и обработки изображения предъявляет очень жесткие требования к качеству картинки при различных условиях эксплуатации (широкий динамический диапазон, низкий уровень освещения, внешние помехи и т. д.). особенно следует подчеркнуть такие ответственные области применения, как машинное зрение, промышленные системы контроля качества, охранная аппаратура, а также интеллектуальные комплексы отслеживания состояния на дорогах общего пользования, для которых необходимы высокая частота кадров, большое разрешение, считывание накопленной матрицей информации за один такт (Global Shutter) и низкий уровень шумов.

Дмитрий Соломицкий

[email protected] Давид БронДз

Как известно, «глазами» любой аппаратуры регистрации и обработки изображения является КМОП или ПЗС-датчик (он же сенсор и матрица). В статье пойдет речь о новой технологии компании Kodak, применяемой в приборах с зарядовой связью последнего поколения, выполненных по схеме строчно-кадрового переноса

[3] (ITCCD). Именно светочувствительные матрицы подобного типа максимально соответствуют всем перечисленным выше требованиям.

Как известно, сейчас современные технологии устаревают по истечении небольшого промежутка времени. Поэтому даже несмотря на все преимущества ПЗС ITCCD, сферы его применения предъявляют с каждым годом все новые и новые требования к качеству получаемой картинки; к примеру, регистрация цветного изображения в условиях с малым уровнем освещенности. В настоящее время стандартным подходом настройки чувствительности при разных условиях эксплуатации является подбор правильных значений времени экспозиции, аналогового и цифрового коэффициентов усиления.

Большинство современных цветных сенсоров обладают матрицей Bayer с расположенными непосредственно над пикселями в определенном порядке фильтрами красного, зеленого и синего цветов. Впервые эта технология была освоена ученым компании Kodak Брюсом Байером в 1976 году. Благодаря этому изобретению половина всех пикселей сенсора поглощает только зеленый свет, а другая половина поровну разделена на пиксели, поглощающие красный и синий участки спектра. Проникая вглубь полупроводника, свет генерирует электроннодырочные пары, которые впоследствии разделяются в пространстве посредством электрических полей. Заряд, состоящий

из электронов, собранных в одной потенциальной яме, преобразуется в соответствующий ему сигнал на выходе датчика изображения. Обрабатывая электроникой миллионы таких зарядов, равных числу пикселей, в итоге мы получаем цветную картинку. Описанный выше принцип работы является стандартным для всех ПЗС-матриц, производимых в настоящее время.

В 2007 году компания Kodak анонсировала новую конструкцию цветных фильтров, названную Truesense, основная цель которой — увеличить фотометрическую чувствительность прибора. Эта технология представляет собой развитие стандартной матрицы Bayer с добавлением в нее дополнительных панхроматических пикселей.

Сам термин «панхроматический» изначально был известен благодаря технологии производства черно-белых пленок, чувствительных во всем диапазоне видимого спектра. Фотографии, запечатленные на пленках данного типа, отличаются своей реалистичностью. Известно, что основу обычных фоточувствительных пленок составляет эмульсия галоидного серебра, способная хорошо поглощать световой поток УФ-диапа-зона. Немецкий химик Герман Вегель разработал технологию уширения спектрального поглощения в сторону зеленого и красного спектров за счет добавки светочувствительной краски в эмульсию. В результате в сентябре 1913 года компания Kodak представила публике широкий ассортимент панхроматических пленок, на которые можно было запечатлеть как динамически изменяющиеся объекты, так и сцены в условиях пониженного освещения.

В настоящее время широкое распространение получили панхроматические камеры, собирающие весь отраженный свет от поверхности тела в широком спектральном диапа-

зоне и преобразующие его в конечном счете в черно-белое изображение. Такой способ важен прежде всего в аэрофотосъемке и зондировании Земли с космоса. В последнем случае особенностью является большое пространственное разрешение. В свою очередь чернобелые изображения, сделанные панхроматической камерой с борта геологоразведывательного самолета, далее обычно преобразуются в стереоскопические (используя метод наложения, получаем трехмерное изображение).

Основываясь на большом опыте производства пленок и фоточувствительных матриц, а также понимая современные тенденции развития рынка, компания Kodak скомпоновала в одном приборе как обычную цветную ПЗС-матрицу, так и технологию с применением панхроматических материалов.

Рассмотрим более подробно стандартную матрицу Bayer. Фильтрующий элемент, расположенный над каждым пикселем, выделяет из общего светового потока зеленый, красный либо синий цвета (рис. 1a). Как было сказано выше основным цветом является зеленый, как наиболее воспринимаемый человеческим зрением и предоставляющий 50% всей информации картины. Этот канал цвета — основа для восстановления конечного изображения, так как он обеспечивает пространственную составляющую сцены, на которую накладываются оставшиеся два цвета. Так как зеленые, синие и красные пиксели разбросаны по всей матрице в определенном порядке, то для создания трех шаблонов наложения используется алгоритм, называемый demosaicking (в дословном переводе — «разрушение структуры мозаики»). В настоящее время существует большое количество различных методов по восстановлению цветного изображения.

Теперь рассмотрим конструкцию фильтра Truesense компании Kodak, использующую

R R R R

R R R R G

R R R R G в

R R R R П в

И И в

п В В В □

р р р р

Рис. 1. а) Матрица Bayer; б) фильтр Truesense

Цветное

изображение

Р | Q Р Р

Панхроматические

пиксели

1/2 полного RGB-раз решен и я

1 /2 полного Рап-разрешения

В В В

В В В В'-Р*

1/2 (RGB-Pan)

Интерполяция Рап-пикселей

р 3 р' р' р' р'

р р р' Р' р' Р'

р р | ^ р' р' р' р'

1 р р р' р' р' р'

Результат

+ =

Создание трех шаблонов

Разбиение шаблонов до исходного разрешения

Рис. 2. Порядок обработки изображения для матрицы Truesense

в отличие от обычной матрицы Bayer красную, зеленую, синюю и панхроматическую составляющие (рис. 1б). Как было сказано ранее, RGB-фильтр, являясь преградой для большей части спектра, выбирает из него только узкие участки. Тем самым огромная составляющая полезного (с точки зрения информации) светового потока теряется, а мы получаем исключительно цветовую характеристику изображения. Панхроматические пиксели в свою очередь поглощают весь падающий на них свет, регистрируя распределение яркостной составляющей сцены. Следует отметить, что расположение панхроматических пикселей в фильтре Truesense такое же, как зеленых

Таблица. Основные технические характеристики матриц KAI-G215G

Параметр Значение

Архитектура Строчно-кадровый перенос; прогрессивное считывание

Размер пикселя 5,5х5,5 мкм2

Число выходов 1, 2 или 4

Емкость потенциальной ямы 20 000 электронов

Квантовая эффективность (500 нм) 50%

Квантовая эффективность R (620 нм), G (540 нм), В (470 нм) 31%, 42%, 43%

Шум при чтении ^ = 40 МГц) Среднеквадратическая ошибка — 12 электронов

Темновой ток Фотодиод: 7 электронов/с Вертикальный регистр: 70 электронов/с

Температура, удваивающая значение темнового тока Фотодиод: 7 °С Вертикальный регистр: 9 °С

Динамический диапазон 64 дБ

Эффективность переноса заряда 0,999999

Подавление засветки 300-кратное

Максимальная частота тактирования 40 МГц

Максимальная частота чтения 40 Мп/с (один выход) 80 Мп/с (двойной выход) 120 Мп/с (счетверенный выход)

пикселей в матрице Bayer. Поэтому они также представляют собой базис для формирования конечного изображения.

Алгоритм обработки цветного изображения, запечатленного через фильтр Truesense, такой же, как и для ПЗС с обычной матрицей Bayer. В обоих случаях яркостная информация финальной сцены сгенерирована половиной пикселей (панхроматических в Truesense и зеленых — в RGB), в то время как информацию

о цвете несут все RGB-пиксели матрицы (соответственно, половина всех пикселей в Kodak Truesense и все пиксели в матрице Bayer). В отличие от обычных фильтров Bayer, матрицы, оборудованные панхроматическим каналом, обладают дополнительными возможностями по улучшению визуального восприятия сцены. Упрощенная схема обработки изображения с использованием фильтра Truesense представлена на рис. 2.

KAI-02150 BAYER vs. TRUESENSE CFA

Truesense: среднее значение синего канала Truesense: среднее значение зеленого канала Truesense: среднее значение красного канала Truesense: среднее значение

панхроматического канала Черно-белая фоточувствительная матрица (без фильтра)

Bayer красный цвет Вауеп зеленый цвет Вауег синий цвет

..........

550 600 650 700

400 450

750 800 850

Длина волны, нм

900 950 1000 1050 1100

Рис. 3. Сравнение квантовой эффективности

Рис. 4. Сравнение двух фильтров: а) Bayer; б) Truesense

Далее будет проведен сравнительный анализ двух одинаковых по конструкции, но разных по типам фильтров сенсоров KAI-02150 (таблица): один снабжен стандартным фильтром Bayer, другой — Truesense. Оба прибора обладают разрешением 1920x1080 пикселей, оптическим форматом 2/3 дюйма и соотношением сторон 16:9. Испытуемые образцы KAI-02150 выполнены по схеме строчнокадрового переноса и способны обеспечить на выходе частоту 60 кадров/с.

Квантовая эффективность является стандартной мерой определения спектральной чувствительности ПЗС-матрицы и предоставляет информацию о том, как реагирует прибор при поглощении светового потока разной длины волны. Этот параметр определяет соотношение сгенерированных электронов к общему числу падающих фотонов за все время накопления. Для сравнения на рис. 3 представлены кривые квантовой эффективности ПЗС-матрицы KAI-02150 в монохромном варианте, а также с фильтрами Bayer и Truesense.

Для более наглядного представления о преимуществах новой технологии компании Kodak следует взглянуть на фотографии, представленные на рис. 4. На камере слева установлена матрица KAI-02150 с фильтром Bayer, а справа — та же камера, но на базе ПЗС с фильтром Truesense. Все остальные параметры, такие как апертура объектива, фокусное расстояние, аналоговый коэффициент усиления камер и т. д., идентичны. Следовательно, поместив обе камеры в одинаковые условия, мы можем оценить только параметры сравниваемых фильтров. Хорошая яркость изображения, которую мы наблюдаем на фотографии справа, является прямым следствием улучшенной чувствительности сенсора, выполненного на основе Truesense.

Теперь рассмотрим цветошумовые характеристики обеих ПЗС-матриц согласно международному стандарту ISO 12232:2006

[4], нормирующему способы определения аналога светочувствительности ISO для конкретного типа приборов.

На рис. 5а представлены две секции цветовых табло, запечатленные матрицами KAI-02150 с фильтрами Bayer и Truesense с одинаковым уровнем яркости. Настройки оптики не менялись, в то время как цифровой и аналоговый коэффициенты усиления настраивались так, чтобы добиться уравнивания времени накопления. В итоге обе фотографии были сделаны оборудованием, более или менее соответствующим параметрам чувствительности ISO 2300. Визуальное сравнение двух цветовых табло в свою очередь показывает, что при необходимом увеличении VGA-коэффициента усиления до 33,8 дБ в ПЗС с матрицей Bayer появляется дополнительный шум.

На рис. 5б продемонстрированы аналогичные цветовые табло, но соответствующие чувствительности ISO 12800. Значение аналогового коэффициента усиления обеих камер равнялось 36 дБ, а цифровой коэффициент усиления выбирался таким, чтобы уравнять общую яркость на выходе обеих

камер. В итоге для достижения одинакового вида обеих половинок цифровой коэффициент в матрице с фильтром Bayer должен быть выше, чем в матрице с фильтром Truesense, что приводит также к усилению и шумовой составляющей.

Теперь несколько слов о пространственном разрешении. Как известно, для этих целей используют испытательную таблицу, некоторые миры которой были взяты для сравнения фильтров Bayer и Truesense. При вертикальном разрешении картинки в 1080 пикселей количество черных и белых пар линий составляет 540 штук.

Для начала сравним качество необработанных данных (RAW-data). Если всмотреться в миры, представленные на рис. 6а, то можно отметить одинаковую пространственную частоту обоих типов KAI-02150. Необработанные данные панхроматических пикселей фильтра Truesense и зеленых пикселей фильтра Bayer демонстрируют идентич-

bttcfcxih1 DalMChtrtc

KAI-02150 Bayer *ISO 2300 *VGA gain 33.79 dB *Digital gain 1 *lntegration time 4.61ms

KAI-02150 TRUESENSE CFA *ISO 2300 *VGA gain 27.70 dВ *Digital gain 1 integration time 4.61ms

KAI-02150 Bayer *ISO 12800 *VGA gain 36 dB *Digital gain 3.2 integration time 4.61ms

KAI-02150 TRUESENSE CFA *ISO 12800 *VGA gain 36 dB *Digital gain 1.4 integration time 4.61ms

Рис. S. Характеристики цвета: а) ISO 23GG; б) ISO 128GG

Рис. 6. Пространственное разрешение: а) необработанных данных; б) обработанных данных

ное собственное разрешение, а вместе с тем эквивалентный в обоих случаях эффект наложения.

При внедрении алгоритмов обработки цвета (без учета программного уменьшения шума) полученных изображений, сделанных через фильтры Bayer и Truesense (рис. 6), может наблюдаться эффект наложения частот. Можно заметить, что матрицы с фильтром Bayer имеют большую разрешающую способность, чем фильтр Truesense. Это объясняется преимуществом в интерполяции «красного» и «синего» шаблонов, а также в правильном добавлении недостающих данных в полученную информацию зеленого канала. При далеком расположении друг от друга в комбинации пикселей красного, синего и зеленого цветов невозможно точно угадать, какая информация была пропущена в панхроматических ячейках ПЗС-матрицы.

Цветовые искажения при съемке штрихов являются общей проблемой для любого типа светочувствительных матриц. На рис. 7 представлены результаты тестирования фильтров, на которых присутствуют цветовые муары, образованные в обоих случаях по разным причинам. Вследствие того, что пространственное разрешение матрицы Bayer выше, чем у фильтра Truesense, цветовой муар преимущественно проявляется

на высоких пространственных частотах объекта, в то время как в фильтрах Truesense — на низких. Следует заметить, что на высоких частотах (зоны 9, 10 на рис 7а, б) фильтр Bayer показывает более выраженные цветные искажения, в то время как Truesense выдает одинаковый уровень нейтральных искажений во всех областях частот. Это происходит потому, что выходной сигнал сформирован исключительно цветовой информацией, в то время как Truesense использует и данные

с монохромного канала. Если приложить алгоритмы обработки шума фильтра Truesense, то можно добиться очень хороших результатов в качестве изображения.

На рис. 8 продемонстрированы цветные фотографии, сделанные в условиях с малым уровнем освещенности. Меньшее значение шума на картинке справа является прямым следствием улучшенной чувствительности матрицы КА1-02150 с фильтром Truesense, что делает картинку приемлемой для визу-

Рис. 8. Сравнение двух фильтров при уровне освещенности в 3 лк (^0 204800) с обработкой всех каналов

ального восприятия в отличие от фотографии на рис. 8а.

На рис. 9 представлены два фотоснимка, сделанные с использованием только интерполяции зеленого (рис. 9а) и панхроматического (рис. 9б) каналов матриц с фильтрами Bayer и Truesense соответственно. При проведении экспериментов алгоритмы интерполяции были идентичными, в то время как

значение цифрового коэффициента усиления зеленого канала выбиралось таким, чтобы яркость изображения стала идентичной изображению справа. Полученные при этом черно-белые фотографии демонстрируют отличия в области пространственных частот между ПЗС-матрицами с фильтрами Bayer и Truesense. Это также доказывает тот факт, что в условиях с малым уровнем освещен-

ности необязательно собирать максимально возможную информацию о цветности, чтобы распознать объекты и детали сцены.

Как мы неоднократно утверждали ранее, зеленый канал матрицы Bayer обеспечивает такое же пространственное разрешение, как и панхроматический канал фильтра Truesense, что дает нам повод рассуждать об эффективности использования обоих вариантов для достижения одной цели.

В настоящий момент семейство Truesense включает в себя 1-Мп, 2-Мп, 4-Мп и 8-Мп ПЗС-матрицы со строчно-кадровым переносом: KAI-01050, KAI-02150, KAI-04050 и KAI-08050 соответственно. Также следует отметить, что ко всей этой серии предусмотрен набор разработчика, который значительно сокращает сроки производства готового прибора. ■

Литература

1. DiBella J., Andreghetti M., Enge A., Chen W., Stanka T., Kaser R. Improved sensitivity high-definition interline CCD using the Kodak Truesense Color Filter Pattern. 2010.

2. KAI-02150 performance specification Rev 3.0 MTD/ PS-1066. March 29, 2010.

3. Пресс Ф. П. Фоточувствительные приборы с зарядовой связью. М.: Радио и Связь, 1991.

4. www.iso.org

5. www.nevael.ru