CC BY
262Окончание. Начало в№ 1 '2008
Андрей ШЕВЕРДИН
ovt@premier-electric.com
Технологические инновации КМОП-камер OmniVision —
оптимальный выбор для высокообъемных применений
Экспозиция, затворы, окно матрицы
В фотографии экспозиция — это произведение времени освещения фотопленки (или матрицы изображения в нашем случае) и освещенности (люкс на секунду). В фотоаппаратах с механическим затвором время (выдержка) определяется физическим открытием и закрытием шторок объектива, а освещенность регулируется диафрагмой аппарата. Это полнокадровый или общий затвор (Global shutter), который с матрицами изображения применяется в фотоаппаратах HighEnd класса. Детали затвора увеличивают стоимость изделия, снижают надежность устройства в целом и значительно усложняют реализацию функции видеосъемки. К тому же, одновременное начало экспонирования всех ячеек матрицы требует очень быстрого считывания ячеек (желательно тоже одновременного), иначе время экспозиции будет различным для разных ячеек.
Более распространенным стал электронный затвор, называемый скользящим (Rolling shutter), с его помощью сейчас реализовано подавляющее большинство фото- и видеоустройств.
В моделях со скользящим затвором линза объектива всегда открыта. Ячейки матрицы сбрасываются в начальное состояние и через некоторое время считываются, последовательно двигаясь от первой строки к последней (см. начало статьи в КиТ № 1 '2008). Но сбрасывается не вся матрица одновременно, а определенное количество строк, ограниченное характеристиками матриц. Так образуется некое «окно экспозиции», которое движется по матрице сверху вниз. Возможное число прохождений «окна экспозиции» по всей матрице за одну секунду фактически определяет количество кадров в секунду, так называемый Frame Rate, который является одной из основных характеристик матрицы.
В КМОП-матрицах интегрированная схема управления ячейками позволяет работать не со всей матрицей одновременно, а выделить некую область — окно. Это дает возможность снизить разрешение кадра и, одновременно, увеличить число кадров в секунду. Например, 5-мегапиксельная матрица компании
OmniVision — 0V05620-C03A — при максимальном разрешении может выдать максимум 7,5 кадров в секунду (см. табл. 2 в КиТ № 1 '2008). При уменьшении разрешения до VGA (640x480 точек) максимальная частота составляет 60, а при QVGA — до 120 кадров в секунду. Эту удобную функцию в полной мере используют производители фотоаппаратов с режимом видеосъемки.
Выросшее многократно за последние годы количество мегапикселей в матрицах позволило производителям реализовать такую функцию, как стабилизация изображения. Ранее оптический стабилизатор изображения был опцией дорогостоящей. Используя функцию окна матрицы и запас «лишних» пикселей по ее краям, электронный стабилизатор изображения работает с помощью микроконтроллера и не требует механических деталей. Окно изображения как бы «плавает» внутри рабочей поверхности матрицы, а микроконтроллер отслеживает ее текущее положение.
Работа цифрового зума также построена на изменении рабочего окна матрицы и выводе на дисплей во весь экран только части изображения.
Несмотря на многочисленные преимущества, которые дало применение скользящего затвора, необходимо сказать и о его недостатках. Один из наиболее явных проявляется, если объект съемки быстро движется, например, как лопасти вентилятора (рис. 1). Возникает размытость изображения (Motion Blur). Низкая частота кадров приводит к увеличению размытости. А при увеличении частоты размытость уменьшается, но для этого необходима более высокая чувствительность матрицы.
а ~ 1 б
Рис. 1. Изображение вращающегося вентилятора: а) скользящий затвор; б) общий затвор
Резкость и коррекция контуров изображения
Понятие резкости известно из обыденной жизни. Резко — это когда видны все детали. Но большинство объектов съемки не обладают ярко выраженными границами. Кроме того, возможный переход объекта с большой естественной резкостью, например светящееся окно в темноте, может попасть на середину ячейки матрицы. В этом случае резкой границы не получится, а переход из черного в белое будет смазан серым (рис. 2).
Рис. 2. Изменение глубины резкости:
а) с корректировкой резкости;
б) без корректировки резкости
Как добиться резкости? Существует специальное программное обеспечение для корректировки уже полученного изображения, а также специальная литература, многие фотографы накопили собственный опыт.
В матрицах изображения OmniVision для решения этой задачи есть специальные регистры резкости (Sharpness Register). Запись в регистры корректирующих значений позволяет устанавливать требуемую глубину резкости. Иначе, по умолчанию, матрица будет автоматически ее корректировать.
Коррекция мерцания света
Такая коррекция особенно актуальна при видеосъемке. Человеческий глаз не замечает моргания флуоресцентных и ламп накаливания. Но при видеосъемке с использованием цифровой матрицы на изображении возни-
кает эффект одной или нескольких затемненных полос (Banding) (рис. 3).
В матрицах последних разработок OmniVision добавлены специальные служебные пиксели — детекторы обнаружения 50 и 60 Гц мерцания. Они находятся по краям матрицы, вне зоны изображения, и в съемке не участвуют. В зависимости от результатов детектирования программируются регистры матрицы. Эти регистры настраивают ее полосовой фильтр для автоматического или принудительного устранения мерцания.
Шум
В каждой ячейке КМОП-матрицы есть усилитель, значение усиления которого зависит от многих составляющих, например, таких как баланс белого и настройки гамма-коррекции. На разных этапах работы матрицы на его значение влияют также установленный выходной формат данных и настройки пользователя. Изначально усилители матрицы находятся в минимальном значении, но с ростом коэффициента усиления растет и шум.
Шум — это нежелательное электрическое и световое взаимовлияние ячеек и электрических схем матрицы. Казалось бы, нужно сделать большую матрицу с большими ячейками и добавить хорошую оптику. И получится хороший результат. Но, увы, рынок требует от КМОП-матриц недорогих, а потому малых по размерам решений. Уменьшение размера матрицы автоматически уменьшает площадь поверхности фотодиода, доступную для облучения светом. А так как свет — это тоже сигнал, то соотношение сигнал/шум будет ухудшаться с уменьшением размеров матриц и ростом числа пикселей.
При работе КМОП-матрицы происходят явления, которые, если их не корректировать, нежелательно сказываются на качестве получаемого изображения. Это наводки (Cross talk), темновой ток (Dark current) и прочие шумы.
Наводки возникают в результате влияния электрических цепей одной ячейки матрицы на цепи соседней и корректируются, в основном, внутренней разводкой КМОП-схемы.
Когда ячейка матрицы сброшена в начальное состояние, то емкостной элемент полностью заряжен. И этот заряд не так просто удержать. Он утекает разными путями. Возникающий при этом ток в матрице называется темновым. Измеряется темновой ток в мВ/с при определенной температуре. Существует несколько факторов, влияющих на такой ток.
Во-первых, так как ячейки матрицы находится в непосредственной близости друг от друга, а под действием фототока каждая ячейка разряжается по-своему, то их взаимовлияние неизбежно.
Во-вторых, кроме матрицы в фотоприборе есть и другие устройства (контроллер, блок питания и т. п.), шумы и температуру которых тоже необходимо учитывать.
В-третьих, при чтении ячеек через ряд КМОП-структур и усилителей происходит усиление как полезного сигнала, так и шума.
В-четвертых, существуют естественные колебания температуры окружающей среды. А конструкция матриц такова, что на каждые 10 °С увеличения температуры происходит удвоение внутреннего шума.
Но не все так плохо. Несомненно, с развитием технологии производства КМОП-матриц производителям удалось значительно уменьшить значение темновых токов. Например, в технологии OmniPixel2® упоминавшейся матрицы 0V05620-C03A OmniVision темновой ток находится на уровне ПЗС матриц и составляет всего 3 мВ/с при 60 °С. Тогда как у ранних моделей КМОП-матриц этот параметр превышал 100 мВ/с.
Есть причины для появления и других шумов в изображении, как внутренних, так и внешних. Один из них — шум матрицы, обусловленный наличием аномальных пикселей (Fixed Pattern noise) (рис. 4а). Проще говоря, это просто брак в производстве пикселей. Существуют случайные шумы (Random noise) в виде незначительных отличий между пикселями при очень малом освещении и максимальном коэффициенте усиления (рис. 4б). Этот шум связан с технологическим разбросом параметров отдельных ячеек матрицы при производстве.
Вертикальный полосовой шум (Vertical banding) появляется в матрице по причине нестабильного напряжения питания и его колебаний во время заряда и чтения строк (рис. 4в). Корректное и качественное напряжение питания и грамотная разводка платы практически устраняют этот шум.
Рис. 4. Примеры шумов матрицы изображения
Ступенчатость контуров
Ступенчатость контуров (Aliasing) — это явление, при котором ячейка матрицы принимает значение соседней. Выцветание (Blooming) — когда при большой освещенности свет из одной ячейки проникает в соседнюю. Оба явления имеют внешне схожие признаки. Ступенчатость проявляется на границе двух цветов в виде размытой лесенки (рис. 5). Выцветание хорошо заметно при рассмотрении черных полос на ярком фоне. Например, если смотреть сквозь ветви деревьев на солнечный свет, то тонкие ветви на изображении «растворяются» в пятнах света.
Рис. 5. Ступенчатость на границе цветов
В матрицах OmniVision существует схема коррекции Anti-Aliasing, а для устранения Blooming установлены микростенки между соседними пикселями.
Уровень черного и баланс белого
В пленочных камерах нельзя было иначе откорректировать баланс белого, как только применив цветофильтр к объективу. Цифровые камеры имеют возможность независимой регулировки усиления цветов для разных условий работы.
Как работает автоматический баланс белого (AWB) в матрицах OmniVision? В изображении матрица находит несколько наиболее белых пикселей в кадре. Усилители синего и красного цветов перестраиваются таким образом, чтобы получился цвет, наиболее близкий к белому в данных условиях освещения. Затем полученный коэффициент усиления применяется ко всем ячейкам матрицы, и процедура выполняется повторно, для проверки. На каждом новом изображении баланс белого проверяется заново. В матрицах новой разработки пользователь может даже узнать количество пикселей, «взятых» за белые.
Рис. 6. Корректный баланс белого и смещенный в сторону желтого
»•••••<
5ÔOOOOOOÎ >•••••••<
»•••••••Г
}OOOOOQOÇ
Красный/ \ Синии
фильтр фильтр
Зеленый фильтр
ь
t
Длина волны,нм
Рис. 7. Фрагмент матрицы Байера и перекрытие ею спектра видимого излучения
Если нет белых пикселей в кадре, то баланс будет определен неверно (рис. 6). Это недопустимо для ряда задач, например медицинских. В этом случае может помочь листок белой бумаги в качестве маркера. Но, как правило, предварительно программируются несколько различных настроек для наиболее часто встречающихся условий освещенности: дневной свет, лампа накаливания, галогенная лампа и так далее.
Матрицы OmniVision имеют одну универсальную настройку баланса белого и возможность программирования дополнительных.
В дополнение к белому для правильной работы необходимо установить минимальное значение ячейки матрицы или уровень черного.
Существуют два основных пути. Первый — проверить изображение на черные пиксели (как и в случае с белым) и использовать их значение. Это оптическая калибровка уровня черного. Второй метод — электрическая калибровка — использует специальные ячейки матрицы, расположенные в затемненной области. Полученный тем или иным способом уровень черного также аппроксимируется на все ячейки матрицы.
Теперь, когда есть уровень черного и белого, все остальные состояния ячеек между ними — это цвета и оттенки.
Цвета и оттенки
В первой части статьи мы уже описали, как с помощью фотодиодов и матрицы Байера удается получить три цветовых составляющих изображения. Применение матрицы
Байера позволило значительно снизить стоимость изготовления цветных КМОП-мат-риц. Кроме коммерческого эффекта, матрица Байера позволила получить изображение, близкое к тому, что привычно человеческому глазу, так как за основу был взят зеленый цвет.
Ширина спектра фильтра Байера перекрывает практически весь видимый диапазон (рис. 7). Кроме этого, цветофильтр можно оптимизировать независимо от находящихся под ним ячеек самой матрицы изображения. Например, компания Sony применяет цветофильтры, в которых одна из зеленых ячеек матрицы заменяется на изумрудную (Emerald). Получается не RGB, а RGBE-фильтр. В результате удается улучшить эффективность перекрытия между синим и зеленым спектрами. К недостаткам фильтра Байера следует отнести то, что только одна третья часть фотонов, которые попадают на ячейку матрицы, достигает самого фотодиода. И каждый фотодиод дает информацию только об одном цвете.
Коррекция гаммы
Гамма — это все тона изображения от черного до белого. Тона, которые видимы человеческим глазом, печатаются цветным принтером и выводятся дисплеем, — разные. Поэтому, при необходимости, можно проводить коррекцию гаммы в матрице.
Коррекция изменяет только яркость и контрастность изображения и не затрагивает сам цвет. Для коррекции гаммы в матрицах OmniVision используются 15 специ-
альных регистров, позволяющих разделить кривую гаммы на 15 сегментов и получить оптимальную форму кривой.
Насыщенность и оттенки
Насыщенность (Saturation) — это интенсивность определенного цветового тона. Ненасыщенный цвет того же тона, что насыщенный, будет выглядеть серым, а перенасыщенный — нереальным, как мультипликация. При полностью нулевой насыщенности изображение становится черно-белым.
Выбор уровня насыщенности, в общем, субъективен. Кому-то нравится изображение поярче, а кто-то сторонник максимального реализма изображения. Применительно к матрицам специалисты OmniVision рекомендуют уменьшать насыщенность в матрице при работе с низкой освещенностью. Это связано с шумами, о которых мы писали ранее. При недостаточном освещении в перенасыщенном изображении будет увеличиваться шум.
Тон (Hue) — одна из основных характеристик цвета. Цветовой тон определяется распределением излучения по спектру видимого света и не зависит от его интенсивности. Именно тона дают цвета изображения.
Матрицы OmniVision дают возможность пользователю изменять тона изображения. Точнее, сдвигать тона. Если представить весь спектр видимого излучения в виде круговой диаграммы (рис. 8), то в матрице можно сдвинуть угол тона на ±90°. То есть желтый тон может стать зеленым или пурпурным, например. При этом поворот на угол тона происходит для всех тонов изображения одновременно.
Дополнительные возможности
Кроме изменения различных характеристик цвета, матрицы OmniVision дают возможность выполнения дополнительных операций над полученным изображением. Например, зеркальное отображение слева направо, сжатие и панорамирование изображения и другие функции, облегчающие работу с матрицей контроллеру управления.
Немаловажным является наличие в матрицах различных внешних интерфейсов, как для передачи изображения, так и для управления матрицей.
Интерфейс управления у всех матриц OmniVision — универсальный последовательный SCCB. Интерфейс совместим со стандартным I2C. Некоторые модели матриц дополнительно имеют возможность работать по SPI-интерфейсу.
Выходные интерфейсы матриц делятся на аналоговые и цифровые. Аналоговые выходы — композитный и S-Video — позволяют подключать матрицы непосредственно к мониторам, что дает возможность быстрого дизайна новых устройств.
Цифровые интерфейсы — в основном 8-битные, а в старших моделях — 10-битные. Это прежде всего RGB-интерфейс, который может быть как в виде потока RAW RGB — некорректированных данных прямо с матрицы, так и в RGB565 или RGB555 форматах. Дополнительно матрица дает возможность чтения данных в цветоразностном формате YUV/YCbCr 4:2:2.
Технологические инновации матриц OmniVision, быстрое развитие технологий и значительная доля рынка КМОП-матриц, которую заняла компания за последние годы, свидетельствуют о ее правильном маркетинговом и техническом подходе к ведению бизнеса. ■
