Видеосистемы на кристалле – новый этап интеграции в телевизионной технике Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.391

В. В. Березин

Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"

Видеосистемы на кристалле - новый этап интеграции в телевизионной технике

Рассмотрены варианты архитектур новой элементной базы телевизионной техники - "видеосистем на кристалле". Выявлена тенденция объединения в рамках одной микросхемы формирователя изображения и устройств обработки.

Видеосистема на кристалле, фотоприемная матрица, системная интеграция

На рубеже веков телевизионная техника переживает новый этап революционного изменения технологии. Если первый этап этой революции связан с рождением твердотельного телевидения, воплощенного в матричных приборах с зарядовой связью и микропроцессорах [1], то нынешний характеризуется следующими чертами:

• совершенствованием технологии изготовления матричных фотоприемников, позволившим массово выпускать приборы высокой четкости, число элементов разложения которых измеряется миллионами;

• совершенствованием технологии изготовления микроэлектронных устройств обработки сигналов, приведшим к синтезу разнородных вычислительных устройств - микропроцессоров, запоминающих устройств и программируемой логики - в пределах одной

V» II II*

микросхемы, получившей название "системы на кристалле" ;

• применением технологии, развитой для построения микроэлектронных запоминающих устройств, для реализации матричных фотоприемников, породившим новую ветвь твердотельных устройств, объединяющих в себе фотоприемник, устройства развертки, квантования и обработки изображения.

Совокупность этих черт позволяет говорить именно о революционном, а не эволюционном характере развития телевизионной техники. Это видно хотя бы из того, что освоение все более высокой точности изготовления приборов (уже приближающейся к 0.1 мкм) после двух десятилетий работы с матрицами вещательного формата (около 0.4 мегапикселя) преодолела мегапиксельный барьер и сейчас даже в мобильных телефонах массово применяются мегапиксельные, а в цифровых фотоаппаратах - пятимегапик-сельные матрицы. В результате телевизионная техника уже полностью вытеснила фотографические методы в астрономии и наблюдается устойчивая тенденция к вытеснению пленочной фотографии из массового фотолюбительства.

Видеоинформатика, изучающая все этапы формирования сигналов изображений, преобразования изображений и их передачи [2], [3], охватывает много разнородных этапов и подсистем (оптическая подсистема; фотоприемник; аналоговый видеопроцессор; анало-

Данное направление интенсивно разрабатывается около пяти лет и освоено не только в США, но и отечественными приборостроителями.

© В. В. Березин, 2005 31

го-цифровой преобразователь; цифровой видеопроцессор целевого назначения, кодек, процессор принятия решений; средства доставки изображения или решения потребителю). Безусловно, каждая подсистема имеет самостоятельную ценность и многообразные варианты реализаций, однако требования к современной технике телевидения и технологические возможности производства предполагают их интеграцию. До наступления нынешнего этапа твердотельной революции все эти этапы разделялись, в том числе и по технологии изготовления. Современный этап характеризуется единством технологии большинства подсистем, которое сделало возможной такую интеграцию. Ее цель - не только уменьшение массогабаритных показателей и энергопотребления, но и перенос центра сложности обработки видеоинформации и принятия решений из внешнего вычислителя непосредственно в телекамеру. Это в корне меняет роль телекамеры в системе: из пассивного формирователя изображения она превращается в интеллектуальный источник видеоинформации и решений. Другими словами, телекамера и сейчас уже методологически неотделима от компьютера [4], а недалеко то время, когда телекамера будет составлять с ним или процессором цифровой обработки единое технологическое и методологическое целое.

Движение к такому будущему идет с двух сторон. Со стороны средств цифровой обработки информации появилось новое направление "система на кристалле", сочетающее различные парадигмы этой обработки. Так, при проектировании цифрового видеопроцессора длительное время стоял вопрос о выборе программной или аппаратной реализации алгоритмов обработки видеосигнала, острота которого была снята с появлением приборов, сочетающих в себе преимущества обоих классов [5]. Со стороны средств формирования изображения происходит объединение на одном кристалле датчика изображения и аналогового видеопроцессора. Это привело к появлению новой элементной базы - однокристальных цифровых телевизионных камер, или видеосистем на кристалле (Vision System-on-Chip, VSoC). Такие камеры в настоящее время выпускаются более чем 50 производителями, и число последних непрерывно растет [6].

Наиболее приспособленной к такой интеграции является КМОП-технология. Светочувствительные КМОП-матрицы появились в результате развития фотодиодных матриц с координатной выборкой на основе #-каналь-ных дешифраторов и регистров, расположенных на том же кристалле. На рис. 1 приведена типовая структура КМОП-датчика изображения [7], содержащая матрицу активных фоточувствительных элементов, так называемых активных пикселей, схемы считывания, синхронизации и формирования выходного цифрового видеосигнала. Фоточувствительный элемент (рис. 2) включает в свой состав фотодиод VD1 и полевые транзисторы VT1-VT3, выполняющие следующие функции:

VDD

Ur

VT1

U

VSS

U

VT2

VT3

Z\VD1

Шина столбца

Ur

Usi VDD

U

Рис. 2 Рис. 3

• УТ1; сброс или восстановление напряжения, определяющего опорный потенциал;

• УТ2; усиление по мощности для работы на общую нагрузку столбца фоточувствительной матрицы;

• УТ3; выборка строки; затвор этого транзистора подключен к схеме дешифратора строк.

Начальный опорный потенциал и^ ~ УББ устанавливается в начале интервала накопления транзистором сброса УТ1, открываемым импульсом иг (рис. 3). В режиме накопления фотодиод УБ1 накапливает фотогенерированные электроны, и по мере их накопления уровень напряжения на плавающем узле и5 уменьшается. В режиме считывания по приходу импульса выбора строки иг0№ открывается транзистор УТ3 и на общую шину

столбца поступает усиленный по мощности транзистором УТ2 сигнал от фотодиода.

Приведенная структура элемента КМОП-матрицы является одной из простейших. В настоящее время имеется тенденция размещения в каждом элементе КМОП-фотоприемника нескольких транзисторов (при технологии с точностью 0.1 мкм до 40, а при технологии 45 нм до 256). Это открывает широкие возможности размещения устройств обработки сигналов в каждом элементе, вплоть до реализации в каждом элементе многоразрядного аналого-цифрового преобразователя (АЦП) [7]. Можно прогнозировать и использование доком-

t

t

Рис. 5

мутационного усиления в КМОП-фото-приемниках, что завершит твердотельную революцию не только в обычных телекамерах, но и в приборах ночного видения, пока использующих электронно-оптические (вакуумные) преобразователи. Уже существуют "видеосистемы на кристалле" с АЦП в каждом элементе изображения и встроенной схемой обработки. На рис. 4 приведена фотография прибора фирмы Р1Х1М [8], имеющего примерно одинаковое соотношение площадей участков кристалла с функциями фотоприема и цифровой обработки. Создатели такой видеосистемы проводят аналогии между фотоприемом и обработкой, как между глазом и мозгом (рис. 5). Отечественные исследователи [7] также отмечают возможность создания однокристальных цифровых камер с устройствами аналоговой, цифровой и нейроподобной обработок изображения. Наиболее перспективным направлением разработок в этой области является создание интеллектуальных камер, реализующих системы технического и искусственного зрения, сопоставимые по характеристикам с биологическим зрением. Авторы [7] указывают на необходимость отнесения разработки подобных видеосистем к технологиям, способным обеспечить современной элементной базой научный, промышленный и оборонный комплексы России.

Основные процессы формирования и преобразования изображений представлены на рис. 6. Конкретные видеосистемы на кристалле объединяют этапы преобразований в различных конфигурациях, но, как правило, интегрируются блоки 2-10. Специфика функционирования телевизионной аппаратуры (например параметры накопления, развертки, усиления и кодирования сигнала изображения) задаются программным путем с помощью конфигурационных регистров.

г----------КМОП-Видеосистема на кристалле---------

Тип прибора VS6552 KAC-9628 MT9V11 ZDM33220 0V7640

Разрешение 644x484 648x488 640x480 840x640 640x480

Размер элемента изображения, мкм 5.6 x5.6 7.5x7.5 3.6x3.6 10.6x10.6 5.6x5.6

Разрядность встроенного АЦП, бит 10 8/10/12 10 8/10 8

Максимальная частота кадров, Гц 30 30 90 100 30/60

Количество выводов корпуса 14 48 44 52 28

Интерфейс управления I2C I2C I2C UART SCCB

Рассмотрим характеристики и структурные схемы построения ряда однокристальных камер разрешения VGA [6], имеющих в своем составе полную обработку видеосигнала с цифровым выходом (см. таблицу). Целью рассмотрения будет анализ технических решений и архитектур обработки сигнала для ряда присутствующих на рынке видеосистем на кристалле и попытка прогноза развития этого направления. Основное внимание уделим не собственно фотоэлектрическим характеристикам преобразователя "свет-сигнал" [3], [9], входящего в состав "видеосистемы на кристалле", а особенностям аппаратно-программного окружения, превращающим эти приборы в новый класс устройств формирования и обработки изображений.

Первый представитель VSoC - видеодатчик VS6552 - предназначен для использования в мобильных приложениях. Его структурная схема приведена на рис. 7. Она включает в свой состав КМОП-матрицу, формирователь адреса строк и столбцов, АЦП, буферную память на строку изображения, схемы интерфейса и управления питанием. Данная видеосистема на кристалле характеризуется простотой реализации. Ее отличительными особенностями по сравнению аналогами являются:

• совмещение в едином модуле объектива и формирователя изображения;

• применение АЦП с последовательным выходом и передачей видеоинформации по дифференциальному высокоскоростному интерфейсу LVDS.

MSCL <-

MSDA

•4-►

PCLKP

PCLKN

PDATAP

PDATAN

CLK

PDN •4-

Буферная память на строку изображения

Необработанные данные

Адрес столбцов

Сигналы синхронизации

АЦП

7У

КМОП-Матрица

Управление электропитанием

«

о

£

- U

U

VJ ш

Ян

ч

<

Сигналы

синхронизации <-

л «

к и О

ч

«

о а

к

Известия вузов России. Радиоэлектроника. 2005. Вып. 3======================================

Видеодатчик VS6552 по интерфейсу LVDS подключается к специализированному процессору STV0974, который обеспечивает обработку информации о цвете в соответствии с используемым кодирующим светофильтром RGB, управление экспозицией и вывод видеоинформации в форматах YCbCr, RGB или JPEG.

Наиболее широко на отечественном рынке известны однокристальные камеры производства "OmniVision Technologies" [10], архитектура которых (на примере OV7640) представлена на рис. 8. Из внешних компонентов для подключения микросхемы требуются только фильтрующие конденсаторы. В состав OV7640/OV7141 входят:

• светочувствительная матрица с микролинзами для увеличения чувствительности, имеющая дополнительно шесть строк и два столбца для установки уровня черного и цветовой интерполяции (полное разрешение 682x482 элемента изображения);

• тактовый генератор, формирующий кадр изображения в форматах VGA или QVGA, управляющий временем экспозиции и формированием внешних синхронизирующих импульсов. Для своей работы генератор использует внешнюю синхронизацию частотой до 27 МГц;

• схема аналоговой обработки с цифровым управлением, обеспечивающая регулировки усиления сигнала изображения, баланса белого и настройку других параметров, влияющих на качество изображения;

• встроенный АЦП, имеющий два восьмиразрядных параллельных канала, один из которых предназначен для квантования яркостной или зеленой составляющей сигнала (Y/G), а второй - для квантования аналогового сигнала, несущего информацию о цвете (CbCr/BR). Применение сдвоенного АЦП совместно со схемой компенсации уровня черного является особенностью данной системы на кристалле;

• блок форматирования c цифровым видеопортом, которые обеспечивают постобработку цифрового видеосигнала, например, вывод сигнала с определенной зоны светочувствительной матрицы (windowing) и трансляцию выходного двоичного кода на внешние схемы;

• трехпроводной интерфейс управления SCCB и набор регистров для конфигурации однокристальной видеокамеры.

Общее число байт информации, которой управляется микросхема V7640/OV7141, превышает 80. Кроме стандартных настроек однокристальной камеры с помощью интерфейса управления можно получать статистику о среднем значении сигнала изображения в каналах яркости и цветности, изменять направление развертки для получения зеркального или перевернутого изображения и ее вид (чересстрочная или прогрессивная), управлять энергопотреблением микросхемы. Это позволяет организовывать гибкие перестраиваемые системы получения изображения в зависимости от текущей цели аппаратуры.

Структурная схема системы на кристалле фирмы "Kodak" приведена на рис. 9. Она позиционируется как однокристальная камера с большим динамическим диапазоном - до 110 дБ. Полный формат светочувствительной матрицы составляет 648*448 элементов; по четыре пикселя с каждой стороны матрицы используются для формирования "оптического черного". В начале каждого кадра производится очистка накопленных зарядов, после окончания времени накопления зарядовые пакеты с помощью двойной коррелированной выборки преобразуются в электрический сигнал изображения. Далее аналоговый сигнал подается на два каскада усиления - общий и избирательный по цвету. Коэффициент усиления каждого из этих каскадов регулируется цифровым кодом в пределах 0...15 дБ. После усиления сигнал изображения каждой цветовой составляющей через аналоговый мультиплексор поступает на вход АЦП.

Цифровой 12-разрядный сигнал изображения проходит блок коррекции дефектных пикселей, схемы регулировки уровня черного и поступает на выход кристалла в программируемом формате (8, 10 или 12 бит). Блок коррекции может программно отключаться, а логика его функционирования включает в свой состав четыре программируемых регистра пороговых уровней. Работа схемы коррекции уровня черного основана на вычитании из

Задающий генератор

1

mclk

Генератор адреса

Вертикальная синхронизация

Горизонтальная синхронизация

reset

Управление усилением

Управление электропитанием

и о

О

& « U

о

Л

U

U а Ё

& к

О 1

^ О

<N

Д

Известия вузов России. Радиоэлектроника. 2005. Вып. 3======================================

сигнала изображения оценки уровня. Кроме этого, отдельный программно-доступный регистр определяет смещение уровня при аналого-цифровом преобразовании.

Блок синхронизации тактируется от внешнего сигнала частотой до 48 МГц и содержит схемы вертикальной и горизонтальной разверток. Программируемые регистры определяют окно вывода информации, которое может располагаться в произвольном месте светочувствительной матрицы. Также программным путем определяются несколько режимов субдискретизации, позволяющих прореживать пиксели при формировании цифрового изображения и устанавливать режимы прогрессивного или чересстрочного разложения. Таким образом, результирующая частота кадров определяется входной тактовой частотой, размерами выводимого окна, видом субдискретизации и может регулироваться в широких пределах от стандартных значений до существенно превышающих вещательную кадровую частоту. Высокая кадровая частота (до 1 кГц и выше) весьма актуальна при классификации динамических изображений, например в адаптивной оптике.

Один и тот же прибор "видеосистемы на кристалле" может использоваться и сверхбыстродействующих, и в малокадровых телевизионных системах. Для реализации малокадрового режима характерно использование программирования синхронизации для покадровой съемки. Логика такого режима работы определяется входным сигналом "Запрос кадра", программируемой задержкой на несколько кадров, программируемым временем накопления и некоторыми другими факторами. Имеющийся выходной сигнал "Захват кадра", активный во время формирования кадра изображения, может быть использован для организации дополнительной подсветки или управления механическим затвором.

Для достижения большого динамического диапазона входных рабочих освещенностей может использоваться программно-управляемая кусочно-линейная аппроксимация характеристики "свет-сигнал". Содержимое регистров определяет точки излома и наклон преобразования для получения зависимости сигнала яркости от освещенности, близкой к зрительному восприятию, или для достижения потенциальной контрастной чувствительности.

Важными узлами видеосистемы на кристалле являются набор регистров конфигурации и интерфейс управления. Общее количество доступных по широко распространенному двухпроводному интерфейсу I2C программно-доступных байт в системе составляет 43.

Структурная схема видеосистемы на кристалле MT9V112 фирмы "Micron" приведена на рис. 10. Эта видеосистема ориентирована на применение в составе мобильного оборудования, и, как следствие, большинство функций обработки сигнала выполняются автоматически (без настройки). К ним относятся компенсация уровня черного, автоматический баланс белого, подавление эффекта мелькания, вызванного люминесцентными лампами, коррекция дефектных пикселей, цветовая обработка.

Рассматриваемая система использует для первичного квантования и внутренней обработки сигнала 10-битный АЦП. На внешние выводы после преобразований сигнала подается восьмиразрядный код. Такой подход иллюстрирует сочетание точности внутреннего представления сигнала с технологичностью его внешнего использования.

Синхронизация MT9V112 осуществляется от источника тактовой частоты 27 МГц. Блок развертки обеспечивает прогрессивное разложение с частотой кадров 15 Гц при

Рис. 10

формате 640^480 элементов, а при частоте кадров до 90 Гц реализуется формат 320*240 элементов. Через интерфейс I2C устанавливаются такие параметры, как усиление сигнала изображения, опорное напряжение АЦП, настройка электронного затвора. Подобно микросхеме KAC-9628 в MT9V112 предусмотрена возможность организации покадровой съемки с одновременной синхронизацией осветителя, например лампы вспышки.

К видеосистемам на кристалле повышенного разрешения (SVGA) относится микросхема ZDM33220. От описанных она отличается большим размером элемента изображения и оптическим форматом 2/3" *. Структурная схема ZDM33220 (рис. 11) включает КМОП-датчик изображения, программируемые схемы развертки (генераторы адреса строк и столбцов), цифроаналоговые преобразователи (ЦАП) коррекции характеристики "свет-сигнал" для увеличения динамического диапазона (LinLog), ЦАП установки уровня черного (Bias), генератор опорного напряжения, 12-битный АЦП видеосигнала, схему коррекции дефектных пикселей, выходной видеопорт со схемой синхронизации, схему последовательного интерфейса и регистровый банк, программируемый цифровой автомат управления, схему тактового питания и схему управления энергопитанием.

Данная видеосистема на кристалле находит применение не только для целей видеонаблюдения, но и в прикладных задачах, поэтому имеет расширенные возможности про-

* Остальные описанные в статье видеосистемы имеют оптический формат 14"

Рис.11

граммной конфигурации. Ее важной функцией является возможность задания положений и размеров до трех программно-управляемых окон изображения в пределах КМОП-матри-цы. При этом возможен обмен пространственного разрешения на временное: частота считывания такого окна определяется частотой опроса элемента и размером окна и может достигать нескольких килогерц.

Видеосистемы на кристалле приобретают новые черты как с точки зрения технологии изготовления, так и с точки зрения способов их использования. Например, задание алгоритма функционирования этих устройств программированием параметров позволяет проводить адаптивное управление с учетом характеристик канала связи и получателя. Правда, в некоторых случаях ограничение на задание способа развертки, существенно уменьшающее сложность прибора, сокращает возможности проектировщика при согласовании оптического изображения с компьютерным классификатором.

Существенный пласт цифровой обработки изображений в составе уже выпускаемых однокристальных камер отсутствует, что связано их ориентацией на применение в первую очередь для целей видеонаблюдения. Однако можно прогнозировать, что при дальнейшем развитии видеосистем на кристалле в их составе обязательно появятся процессор управления конфигурацией системы и ее контроля, процессор цифровой обработки и программируемая логика для целевой обработки изображений и принятия решений.

Проведенный обзор позволяет сделать следующие выводы.

1. Происходит становление нового класса телевизионных систем, знаменующее новый этап твердотельной революции в телевидении, - "видеосистем на кристалле", являющихся логическим развитием микроэлектронной техники, приведшим к слиянию двух направлений: твердотельных фотоприемных матриц и новых устройств цифровой обработки сигналов, получивших название "системы на кристалле".

2. Разработка "видеосистем на кристалле" ведет к изменению метода проектирования телевизионных устройств, так как существенная часть телевизионной камеры поставляется проектировщику готовой. Если на начальном этапе развития телевидения, согласно методологии создателя электронного телевидения В. К. Зворыкина, в проектировании преобладали методы физики, то новый этап порождает новый метод проектирования, характеризующийся высокой скоростью создания систем, резким возрастанием роли системного подхода и значимости программно-алгоритмического обеспечения.

3. Развитие "видеосистем на кристалле" превращает однокристальную камеру в центральный (в пределе - единственный) узел системы формирования и обработки изображений, для которого становится актуальной задача распределения ресурсов между фотоприемником и подсистемой обработки для наилучшего выполнения цели прикладной телевизионной системы.

Библиографический список

1. Твердотельное телевидение / Л. И. Хромов, Н. В. Лебедев, А. К. Цыцулин, А. Н. Куликов. М.: Радио и связь, 1986. 184 с.

2. Хромов Л. И., Цыцулин А. К., Куликов А. Н. Видеоинформатика. М.: Радио и связь, 1991. 192 с.

3. Цифровое преобразование изображений: Учеб. пособие для вузов / Р. Е. Быков, Р. Фрайер, К. В. Иванов, А. А. Манцветов; Под ред. Р. Е. Быкова. М.: Горячая линия - Телеком, 2003. 228 с.

4. Цыцулин А. К. Телевидение и космос: Учеб. пособие. СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2003. 228 с.

5. Березин В. В. Повышение пропускной способности реализации аппаратного стека протоколов TCP/IP // Телекоммуникации. 2004. № 4. С. 18-21.

6. http://video-equipment.globalspec.com/SpecSearch/Suppliers/Video_Imaging_ Equipment/Image_Sensors-/CMOS_Image_Sensors.html

7. Стемпковский А., Шилин В. КМОП-фотодиодные СБИС. Перспективная элементная база однокристалль-ных систем приема и обработки информации // Электроника: наука, технология, бизнес. 2003. № 2. С. 14-20.

8. Передовая технология компании Pixim // CCTV Фокус. 2003. № 4. С. 12-15.

9. Вахромеева О. С., Манцветов А. А., Шиманская К. А. Характеристики чувствительности телевизионных камер на матричных приборах с зарядовой связью // Изв. вузов России. Радиоэлектроника. 2004. Вып. 4. С. 25-35.

10. Ракович Н. Н. CameraChips: полная видеосистема на одном кристалле // Компоненты и технологии. 2004. № 1. С. 128-130.

V. V. Berezin

Saint-Petersburg state electrotechnical university "LETI"

Vision system-on-chip - a new stage of the television equipment integration

Variants of architecture of new class TV technique devices was considered. Tendency of integrations of image sensor and analog and digital processors was demonstrated.

Video system-on-chip, fotosensetive array, system integration

Статья поступила в редакцию 24 февраля 2005 г.