CC BY
39УДК 681.772.7
П. С. Баранов, А. А. Чиркунова Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)
Телевизионная камера видимого и ближнего инфракрасного диапазонов
Рассмотрены варианты построения мультиспектральной телевизионной камеры видимого и ближнего инфракрасного (ЙвБ&Ы/Й) диапазонов. Разработан макет одноматричной ЙвВ&Ы1Й-камеры. Проведен обзор наиболее перспективных областей применения компактных ЙвВ&Ы1Й-камер.
Мультиспектральная камера, RGB&NIR-диаnазон, структура кодирующих светофильтров
При проектировании телевизионной (ТВ) камеры инженер всегда исходит из решаемой задачи, учитывая накладываемые ограничения. Телевизионная система описывается сложной системой параметров, среди которых можно выделить разрешение (пространственное, временное, спектральное), динамический диапазон, чувствительность, стоимость, массогабаритные параметры и др. На практике разработчик вынужден искать компромиссное решение, использовать взаимообмен одних параметров на другие для того, чтобы максимально эффективно решить поставленную задачу.
На рис. 1 представлен пример диаграммы взаимообмена трех параметров ТВ-камеры [1]. Рассмотрим диаграмму для монохромной ТВ-камеры 1. Камера обладает максимальной разрешающей способностью (РС), но минимальным спектральным разрешением, поскольку фотодиод чувствителен ко всему спектру длин волн и нет возможности произвести спектральную селекцию падающего света. Такая ТВ-камера не приспособлена для формирования цветного и мультиспек-тральных изображений, что при прочих равных
Рис. 1
© Баранов П. С., Чиркунова А. А., 2015
условиях (стоимость, чувствительность и пр.) обеспечит меньший круг решаемых задач. На диаграмме это свойство выражается в самом узком охвате технических параметров системы.
Цветная ТВ-камера с дихроичной призмой (диаграмма 2) обеспечивает эквивалентное (по сравнению с монохромной) пространственное разрешение, позволяет сформировать изображение в нескольких спектральных диапазонах (красном, зеленом, синем и др.) и при необходимости выводит изображение в монохромном виде. Таким образом (при определенных условиях), ширина диаграммы для цветной ТВ-камеры больше, а спектр применений намного шире, по сравнению с монохромной камерой.
В настоящее время около 90 % всех производимых ТВ-камер являются цветными и используют фильтр Байера для формирования изображения в трех спектральных диапазонах: красном (Я), зеленом (О) и синем (В) [2]. В то же время в литературе проявляется значительный интерес к проектированию компактных и доступных по цене мультиспектраль-ных (рис. 1, 3) и гиперспектральных камер, которые бы могли значительно расширить спектр решаемых телевизионными способами задач [3]-[5].
Одним из основных направлений развития является проектирование ТВ-камер с четырьмя спектральными каналами1: Я, О, В и ближним инфракрасным (№Я) (рис. 1, 4). Это связано с несколькими причинами.
Во-первых, камеры такого типа способны формировать цветное изображение, что обеспечивает совместимость с существующими одно- и многоматричными цветными камерами. Во-вторых, спектральные свойства достаточно большого числа объектов живой и неживой природы существенно отличаются от свойств в видимом диапазоне, что
1 Далее такие камеры названы ЯОВ&МЯ-камерами.
47
можно использовать для решения множества задач -от повышения качества изображения в условиях слабой освещенности до анализа продуктов питания.
Применение именно NIR, а не ультрафиолетового (УФ) канала обусловлено тем, что квантовая чувствительность большинства кремниевых фотоприемников при длине волны электромагнитного излучения от 800 до 1000 нм значительно выше, чем около 300 нм. Кроме того, мощность естественного излучения в NIR несколько выше, чем в УФ.
В настоящей статье рассмотрены основные способы построения RGB&NIR-камер.
Области применения компактных RGB&NIR-камер. Основной идеей при комбинировании каналов RGB и NIR является использование существенных различий в коэффициентах отражений, поглощений и рассеивания, характерных для множества объектов живой и неживой природы.
Коэффициент отражения зависит от молекулярного состава материала и от спектра его излучения. В таблице приведены коэффициенты отражения для некоторых объектов, для которых они существенно различаются в видимом и инфракрасном диапазонах длин волн. Из наиболее существенных отличий следует отметить слабое отражение в NIR-диапазоне для воды и неба, что можно использовать для поиска на их фоне малоконтрастных объектов. Указанное свойство отчетливо проявляется на рис. 2, где приведены изображения объектов в видимом (рис. 2, а, в, д) и NIR-диапазонах (рис. 2, б, г, е).
Другая особенность связана с глубиной проникновения падающего излучения в материалы, прямо пропорциональной ее длине волны. Так, излучение в синей области спектра поглощается только на поверхности материала (проникновение на глубину не более 90 нм), а излучение с длиной волны порядка 1000 нм проникает в слои материала до 10 мм [6].
На основании рассмотренных свойств можно заключить, что комбинирование видимого и инфракрасного спектральных диапазонов позволит извлечь дополнительную полезную информацию
Объект Диапазон
RGB NIR
Коэффициент отражения
Небо 0.20...0.80 0.10
Листва деревьев, трава 0.20...0.60 0.65
Кора деревьев 0.15.0.25 0.35
Фрукты 0.10.0.90 0.55
Вода 0.20.0.70 0.10
Песок 0.50.0.60 0.45
Бетон 0.40.0.50 0.35
Рис. 2
об объектах. Адаптивным подбором ширины и центральной длины волны спектральных диапазонов можно добиться значительного повышения контраста наблюдаемых объектов различной природы, а также повышения отношения сигнал/шум и расширения динамического диапазона. Дальнейший подъем указанных параметров возможен за счет компьютерной постобработки: адаптивного комбинирования сигналов, полученных в различных спектральных диапазонах, контрастирования, выравнивания освещенности по полю [7], [8].
Рассмотренные преимущества приводят к тому, что спектр направлений применения ЯОВ&МЯ ТВ-систем может быть достаточно широк [9]. Среди таких применений следует указать:
- экологию: определение состояния растительности, определение содержания воды в биомассе, оценку степени загрязненности водоемов;
- географию: локализацию водоемов, русел рек, болот, границ лесов и лесистой территории;
- машинное зрение: условия недостаточной видимости;
- наблюдение, обнаружение и распознавание объектов на водной поверхности и на суше;
- оптическую сортировку, в т. ч. определение состава материалов, обнаружение подделок, анализ свежести продуктов питания;
- медицину (дерматологию, флебологию, косметологию) и др.
Рассмотрим более подробно некоторые из направлений.
Улучшение видимости в различных условиях. Одним из направлений применения ТВ-камер спектрального диапазона RGB&NIR может быть улучшение условий наблюдения в случае, когда лимитирующим фактором является рассеяние Рэлея (рассеяние на микрочастицах, в частности в воздухе) [10]. Данный вид рассеяния характерен для наблюдения объектов через атмосферную дымку, через взвесь микрочастиц над водной поверхностью. На практике из-за рассеяния Рэлея существенно падает контраст и становятся неразличимыми текстуры на изображениях (рис. 3, а). Поскольку коэффициент рассеяния обратно пропорционален четвертой степени длины волны, оно максимально в синей области спектра и существенно снижается в ближней инфракрасной области. Поэтому регистрация излучения в NIR-диапазоне может быть эффективным способом борьбы с данным видом рассеяния (рис. 3, б).
RGB NIR
а б
Рис. 3
Другим направлением может быть улучшение видимости в условиях загрязнения поверхностей: чтение номерных знаков автомобилей, сканирование штрих- и QR-кодов, машинная обработка текстов и т. д. В этом случае учитывается, что в спектральном диапазоне 750... 1100 нм многие материалы, ткани и среды имеют коэффициенты поглощения, отражения и рассеяния, существенно отличные от этих параметров в видимом диапазоне. Например, закраска части QR-кода черным маркером (рис. 4, а) оказалась полностью прозрачной в КЖ-диапазоне (рис. 4, б). Аналогичный эффект проявляется и для других цветных чернил, используемых в принтерах.
Медицинское направление применения ЯОБ&МШ ТВ-камер. Для задач биомедицины КЖ-диапазон представляет достаточный интерес, так как целиком лежит в терапевтическом окне в 600.1300 нм.
а б
Рис. 4
Большая глубина проникновения в КЖ-диапазоне приводит к видимости более глубоких слоев, например вен и сосудов. Отсюда одним из направлений является визуализация сосудистого русла [11], на основе которой может быть выполнена диагностика клапанной недостаточности, тромбозов, состояния кровотока. Так, в видимом диапазоне (рис. 5, а) контраст недостаточен для получения изображения сосудов - около 1-2 %. При использовании же КЖ-диапазона, дополнительного ИК-ис-точника света и специальных алгоритмов обработки удается повысить контраст до 50-60 % (рис. 5, б).
а б
Рис. 5
Согласно обзору исследовательского агентства "Yole Développement" [12], производители различных мобильных устройств в ближайшие 5-10 лет планируют внедрять RGB&NIR-сенсоры, что позволит использовать смартфоны или планшетные компьютеры не только в целях связи и развлечения, но и для контроля за собственным здоровьем.
Анализ свежести продуктов. Способность веществ по-разному рассеивать и поглощать излучение может быть использована при анализе свежести продуктов питания. В видимом диапазоне продукты, в которых процессы гниения находятся на ранней стадии, чаще всего неотличимы от свежих (рис. 6, а), однако отличия хорошо заметны в NIR-канале (рис. 6, б). Основные результаты использования NIR-диапазона по указанному направлению отражены в [13], [14].
Анализ качества продуктов питания весьма актуален и уже сейчас для подобных задач используются гиперспектральные ТВ-системы [13], [15] однако стоимость, габариты и сложность эксплуа-
а б
Рис. 6
тации позволяют использовать их только в специальных лабораториях. В [13], [14] также показано, что качество фруктов, мяса, рыбы, овощей и других продуктов можно оценить на основе информации в спектральном диапазоне 350...1100 нм. Разработка компактных и дешевых RGB&NIR ТВ-камер позволило бы многим людям осуществлять контроль за покупаемыми товарами самостоятельно.
Расширение динамического диапазона. Излучение естественных природных сцен, как правило, охватывает очень широкий динамический диапазон, значительно превышающий возможно -сти ТВ-камеры. Так, например, при регистрации излучения от освещенных солнцем поверхностей динамический диапазон может достигать значений до 109, в то время как ТВ-камера с 14-битным АЦП способна передать только 104 градаций яркости. Это означает, что при регистрации изображения ТВ-камерой значительная часть информации может быть утеряна.
Для расширения динамического диапазона изображения возможно использование NIR-канала [8]. К достоинствам указанного метода можно отнести сохранение РС как по пространству, так и по времени, что недостижимо при использовании некоторых других методов. В частности, метод с двумя и более экспозициями (multi expose) уменьшает временное разрешение, а метод с различной экспозицией в двух соседних строках (interline expose) уменьшает пространственное разрешение.
Кроме того, для многих естественных природных сцен контраст и детализация текстур выше именно в NIR-диапазоне [8], что может служить основой для повышения качества изображения с использованием этого спектрального канала. Комбинированием спектральных диапазонов RGB и NIR можно добиться существенного расширения динамического диапазона и повышения детализации природных сцен.
Варианты построения RGB&NIR-KaMep. В настоящее время существует достаточно большое число методов и конструктивных решений, поз-50
воляющих регистрировать изображения в спектральном диапазоне RGB&NIR. Рассмотрим подробно несколько из них.
Последовательный метод с турелью (рис. 7, а). Оптический сигнал проходит через один из четырех светофильтров (R, G, B, NIR), установленных на вращающемся диске (турели). После светофильтра сигнал поступает на матричный монохромный фотоприемник (ФП). К достоинствам данного метода можно отнести простоту реализации, невысокую общую стоимость ТВ-камеры, высокую РС в каждом спектральном канале, высокое качество цветоделения. Недостатками такой камеры являются существенные габариты (лимитируемая в основном конструкцией турели) и низкая кадровая частота (из-за последовательного формирования кадров в спектральных каналах). В большинстве случаев рассмотренный метод формирования изображения используется в ТВ-камерах с шестью и более спектральными каналами и в малокадровых ТВ-системах [16].
Дихроичная призма на четыре канала (рис. 7, б). Оптический сигнал поступает на цветоделитель-ный блок - призму. Разделение на спектральные диапазоны осуществляется за счет использования трех дихроичных зеркал, расположенных на гранях оптических элементов. В представленной схеме для одновременной регистрации всех спектральных каналов использованы четыре отдельных монохромных ФП. Необходимо отметить, что для получения качественного изображения требуется высокая точность согласования оптических путей. К достоинствам данной схемы можно отнести высокую РС во всех спектральных каналах, а также параллельный метод формирования изображения (что обеспечивает высокую кадровую частоту) и качественное цветоделение. Ее недостатками являются существенные габариты и стоимость, низкая устойчивость к вибрационным и ударным нагрузкам всей ТВ-системы. До настоящего времени описанный подход не нашел широкого распространения при конструировании RGB&NIR ТВ-камер.
Дихроичное зеркало с разделением на каналы RGB и NIR (рис. 7, в). Оптический сигнал поступает на дихроичное зеркало, где разделяется на NIR и RGB спектральные каналы. В инфракрасном канале устанавливается монохромный ФП, а для регистрации видимого диапазона используется ФП с фильтром Байера и последующий алгоритм интерполяции. Данный способ построения камеры выгодно отличается от способа с дихроичной призмой по массогабаритным параметрам и стои-
R-G-B-
NIR-
R-
ФП
R G B NIR-
NIR
B
I I
^ФП1 ^ ^ФГО^
ФП4
R G B NIR-
R G B
[Р
NIR ФП
X с кодирующим ▼ светофильтром Байера
NIR "
ФП \NIR \
RGBNIR
HU
R
RGBNIR
WJ
NIR
NIR
RGB NIR
UU
РОБ
R
NIR
RGBNIR
RGBN
R G
B NIR
мости. Современные алгоритмы интерполяции позволяют достичь РС в видимом канале до 70-90 % от РС монохромного ФП [17]. Данный способ нашел наибольшее распространение при конструировании четырехканальной ТВ-камеры в RGB&NIR-диапазоне. Подобные камеры выпускаются "JAI" [18] и "FluxData" [19] и активно используются для задач дистанционного зондирования Земли, медицины, сельского хозяйства и пр. Однако способ не лишен недостатков. Наличие двух ФП и цветоделительного блока, во-первых, существенно повышает стоимость камеры, во-вторых, габариты готового изделия не позволяют использовать его в мобильных устройствах (телефонах, планшетных компьютерах, ноутбуках и др.).
Четыре линейных ФП (рис. 7, г). Оптический сигнал проецируется в фокальную плоскость, в которой расположены четыре линейных ФП [20]. Развертка изображения может осуществляться несколькими способами - перемещением оптических элементов, протяжкой источника оптического сигнала относительно фокальной плоскости (1 - рис. 7, г), сканированием входной оптической плоскости
Рис. 7
исследуемым объектом и др. При этом информация об источнике оптического сигнала формируется в каждом спектральном канале последовательно, строчка за строчкой. К достоинствам рассматриваемого метода можно отнести простоту конструкции, массогабаритные параметры, высокое разрешение, потенциально неограниченный размер изображения вдоль направления сканирования. Недостатками данного метода являются необходимость организации строго ориентированного взаимного перемещения объекта и приемника оптического сигнала, а также малая кадровая частота системы. В большинстве случаев линейные ФП используются в промышленных сканерах, системах дистанционного зондирования Земли и для решения других задач, где параметры скорости задаются пользователем или заранее известны.
Матричный ФП с линейным расположением светофильтров (рис. 7, д) по принципу работы схож с использованием линейных ФП. Отличительной особенностью является то, что на каждый спектральный канал приходится не один линейный ФП (фактически одна строка матричного
б
а
1
д
г
в
е
ФП), а несколько - от 8 и более [21]. За их счет в процессе сканирования оптического сигнала в плоскости ФП (1 - рис. 7, д) при известных параметрах движения можно произвести перенос полезного сигнала (в направлении сканирования) и, как следствие, его накопление. Подобные ФП называются приборами с режимом временной задержки и накопления (ВЗН). ВЗН в аналоговом виде (непосредственно зарядовых пакетов) происходит до добавления к полезному сигналу шума считывания, поэтому отношение сигнал/шум увеличивается в N раз, где N - количество переносов. При накоплении после аналогово-цифрового преобразования (т. е. в цифровом виде) шум считывания добавляется к сигналам до накопления, поэтому отношение сигнал/шум увеличивается в раз. Достоинства и недостатки аналогичны камере, выполненной по методу с линейными ФП. Однако стоимость ФП с режимом ВЗН значительно выше, чем линейных ФП, что существенно сужает спектр возможных применений.
Матричный ФП с плиточным расположением светофильтров делится на четыре равные части, и на каждую наносится соответствующий светофильтр (Я, 0, В, №Я) (рис. 7, е). Оптический сигнал делится так называемым развязывающим оптический блоком (РОБ) ^есоир 1ег) на четыре канала, разделенных в пространстве. Параметры РОБ должны быть жестко согласованы с геометрическими размерами матричного ФП [17]. Изображение во всех спектральных каналах формируется одновременно, а считывается согласно архитектуре ФП. К достоинствам рассматриваемого метода можно отнести то, что РОБ незначительно увеличивает массогабаритные параметры (его габариты меньше размеров объектива), и высокую кадровую частоту. Недостатками можно считать сложность изготовления и согласования оптической схемы, низкую РС, потери информации на границах областей, принадлежащих разным спектральным каналам. В настоящее время только фирма "1МЕС" планирует выпуск подобных ФП [22], однако перечисленные недостатки вряд ли позволят такому решению найти широкое применение.
Матричный ФП с мозаичным расположением светофильтров (рис. 7, ж). Оптический сигнал проецируется в плоскость матричного ФП, на поверхность которого нанесена структура кодирующих светофильтров (СКС), определяющая чувствительность каждого отдельного пиксела ФП к одному из четырех спектральных диапазонов Я, О, В, Фактически СКС разделяет оптический сиг-
нал на четыре канала и производит их дискретизацию в пространстве. Изображенная на рис. 7, ж СКС прореживает оптический сигнал в горизонтальном и вертикальном направлениях в 2 раза. Для восстановления недостающих отсчетов используются процедуры интерполяции. Рассмотренный метод формирования RGB&NIR-изобра-жения принципиально ничем не отличается от формирования цветного изображения одномат-ричными ТВ-камерами, для которых удается достичь РС в 70-90 % от монохромной камеры при том же количестве пикселов [17]. Поэтому для повышения РС в каналах R, G, B, NIR можно использовать аналогичные методы, а именно совершенствование структуры СКС и разработку адаптивных алгоритмов интерполяции. К достоинствам данного метода можно отнести то, что массогабаритные параметры, стоимость (в ближайшей перспективе) и кадровая частота у рассмотренной камеры являются такими же, как и у монохромной или цветной одноматричной камеры. Единственным недостатком следует считать снижение РС из-за прореживания спектральных каналов. Однако указанный недостаток не является критическим. Фирмы "IMEC", "PIXELTEQ", "Sony", "Omnivision" [25], [26] планируют выпуск с 2015 г подобных ФП, что может способствовать расширению круга решаемых RGB&NIR-камерой задач. В ближайшем будущем стоит ожидать применения подобных камер в мобильных устройствах, что может значительно расширить функциональность телефона и другой потребительской электроники. Можно считать, что использование матричного ФП с мозаичным расположением светофильтров - наиболее перспективный метод формирования RGB&NIR-изображений.
Современный уровень развития электроники позволяет изготовить ФП с рабочим спектральным диапазоном RGB&NIR при массогабаритных параметрах, эквивалентных цветным ФП с различными СКС. В ближайшее время стоит ожидать существенного снижения стоимости подобных ФП, что позволит внедрять их в различного рода потребительскую электронику - мобильные телефоны, планшетные компьютеры, "умные часы" и др. Благодаря особенностям этого диапазона указанные устройства вполне вероятно можно будет использовать не только для развлечения, но и для решения более специализированных и социально значимых задач.
Макет одноматричной RGB&NIR-KaMepbi. Необходимо отметить, что рынок RGB&NIR ФП находится на начальном этапе формирования и общепринятые требования к виду СКС и алго-
ритмам обработки еще не сформулированы. Источников информации по разработке СКС и алгоритмов интерполяции для ТВ-камер в RGB&NIR-диапазоне в широком доступе достаточно мало [27]-[29]. Одной из главных задач, которая ставилась при разработке макета одноматричной RGB&NIR-камеры, являлась возможность проведения сравнительного анализа как по объективным параметрам, так и по субъективному качеству изображения, формируемого существующими СКС и тех, которые будут предложены в будущем. Организация макета должна также обеспечивать анализ качества различных алгоритмов обработки и формирования RGB&NIR-изображений.
Анализ наиболее объемной и известной базы данных RGB&NIR-изображений, используемой в большинстве работ [30] показал, что она обладает существенными недостатками, сильно затрудняющими ее использование для решения поставленных задач: значительная доля изображений имеет существенные геометрические расхождения между каналами RGB и NIR, а большое количество снимков в видимом канале переэкспонировано, что делает практически невозможным программную обработку.
На рис. 8 представлен макет одноматричной RGB&NIR-камеры, который включает в себя цветную ТВ-камеру высокого разрешения на базе
КМОП ФП IMX036 фирмы "SONY" 1, объектив 2 с возможностью установки фильтра ИК-отсечки BG40 от фирмы "Schott" 3, устанавливаемый на объектив внешний длинноволновый ИК-фильтр с полосой среза 840 нм фирмы "Thorlabs" 4, источник ИК-излучения на светодиодах 5, персональный компьютер (ПК) 6 с монитором 7 и тест-таблицу или другие объекты съемки 8. Некомпенсированные видеоданные передаются через интерфейс HD-SDI, что позволяет их программно обрабатывать с минимальными искажениями.
Для разъяснения принципа формирования RGBÄNIR-изображения рассмотрим спектральные характеристики ФП и используемых фильтров. На рис. 9 представлены кривые квантовой эффективности ФП IMX036 для каналов, а также фильтра ИК-отсечки BG40 и длинноволнового ИК-фильтра. Для формирования сигналов R, G и B в видимом диапазоне (рис. 10) необходимо ввести фильтр ИК-отсечки, а длинноволновый ИК-фильтр извлечь. Используемые в ФП органические фильтры на длинах волн более 840 нм практически прозрачны, поэтому квантовый выход на длинах волн выше 840 нм для каналов R, G, B практически одинаков (рис. 10). Это свойство используется при формировании изображения в NIR-канале. Таким образом, для формирования сигнала в этом ка-
ч
V,\\YY.1
Рис. 8
Qe 0.75
0.50
0.25
0
BG40
\~B Л .
^у V
* А I / \ ; \ ----I'
ИК-фильтр
400
600 800 Рис. 9
X, нм
Qe
0.4
0.2
G
V yN-/ 1 ' • ^
А i \ - /■ \ i\ \
j
\
\ / \
NIR
400
600 800 Рис. 10
X, нм 53
0
нале необходимо перед ФП поместить длинноволновый ИК-фильтр, а фильтр ИК-отсечки извлечь. При этом спектральная чувствительность ТВ-камеры определяется практически только свойствами фильтра В040 (см. кривую В040 на рис. 9).
Одной из основных задач представленного макета является создание опорного кадра, т. е. кадра, обладающего минимально возможными искажениями, вносимыми на этапе формирования. Опорный кадр используется для создания точных каталогов изображений, а также для сравнительного анализа качества (по субъективным и объективным метрикам) разрабатываемых методов обработки и формирования ЯОВ&МЯ-изображений.
На рис. 11 представлен алгоритм формирования опорного ЯОВ&МЯ-кадра, а также два варианта обработки и анализа ЯОВ&МЯ-изображе-ний. Для формирования изображения в видимом диапазоне необходимо извлечь ИК-фильтр низкой частоты, а фильтр ИК-отсечки, напротив, поместить в оптическую схему. При этом спектральные характеристики чувствительности Я-, О- и Б-ка-налов будут иметь вид, представленный на рис. 9. Поскольку примененный в макете ФП использует СКС Байера, то для восстановления пропущенных отсчетов в каждом пикселе необходимо применять
алгоритм интерполяции. Для минимизации артефактов, связанных появлением цветовых муаров при передаче объектов с высокой пространственной частотой, предлагается использовать понижение разрешения в 2-4 раза. Разрешающая способность ФП (1920^1080) позволяет провести данную операцию и свести к минимуму цветовые артефакты.
Опорный кадр ЯОВ&МЯ-изображения формируется за два этапа. Первый - формирование МЯ-изображения, второй - формирование ЯОВ-изобра-жения. Передача движения динамичных объектов в рамках данного стенда не предусматривается.
В приведенном алгоритме (рис. 11) имеется возможность анализа влияния различных СКС на качество формируемого изображения. Для этого опорный кадр дискретизируется согласно выбранной СКС, после чего применяется алгоритм восстановления. Затем производится сравнительная оценка восстановленного изображения с использованием опорного кадра. Подобным образом можно проводить анализ влияния различных алгоритмов обработки на качество изображения.
На разработанном стенде проверены несколько известных алгоритмов обработки ЯОВ&МЯ-изображений [7], [8], [10], [11] с учетом того, что опорный кадр получен одноматричным ФП. Резуль-
Рис. 11
таты формирования и обработки представлены на рис. 3-5. Можно отметить, что муары, вызванные наложением пространственных частот, наблюдались только на объектах, размеры которых сопоставимы с размером шаблона СКС (в данном случае использовался СКС с размером 2^2 (см. рис. 7, ж). На остальных объектах по субъективной оценке визуальные отличия между восстановленным и опорным кадрами практически отсутствовали. В рамках описанной работы предполагалось отработка только метода формирования ЯОВ&МЯ-изображения, аналогично тому, как если бы использовался одноматричный ФП.
Представленный стенд планируется в дальнейшем использовать для следующих задач:
- создания базы данных в спектральном диапазоне КОВ&МЯ с высокой точностью геометрической привязки друг к другу;
- исследования и совершенствования известных методов обработки и комбинирования изображения ЯОВ&МЯ-диапазона;
- анализа РС одноматричной ТВ-камеры с различными СКС;
- анализа чувствительности одноматричной ТВ-камеры с различными СКС;
- разработки новых алгоритмов интерполяции и обработки ЯОВ&МЯ-изображений.
В настоящей статье рассмотрены некоторые перспективные варианты использования ЯОВ&КГЯ-камер и несколько способов их построения. В качестве самого перспективного направления развития выделено проектирование одноматрич-ных ФП, использующих СКС для формирования изображения в требуемых спектральных каналах. Разработан макет одноматричной ЯОВ&МЯ-ка-меры, позволяющий проводить сравнительный анализ формируемого изображения как по объективным параметрам, так и по субъективному качеству при использовании известных алгоритмов обработки и различных СКС.
СПИСОК ЛИТЕРАТУРЫ
1. Generalized assorted pixel camera: postcapture control of resolution, dynamic range, and spectrum / F. Ya-suma, T. Mitsunaga, D. Iso, S. K. Nayar // IEEE Trans. on image processing. 2010. Vol. IP-19, № 9. P. 2241-2253.
2. Durini D. High perfomance silicon imaging. Fundamentals and applications of CMOS and CCD image sensor. San Francisco: Woodhead Pub., 2014. 476 p.
3. Eichenholz J., Dougherty J. Ultracompact fully integrated megapixel multispectral imager / ed. by J.-E. Broquin, Ch. M. Greiner // Proc. SPIE: Integrated optics: devices, materials, and technologies XIII. 2009. Vol. 7218. URL: http://www.pixelteq.com/wp-content /up-loads/2013/01/PIXELTEQ_Ultracompact-Fully-Integrated-MP-MultiSpectral-Imager.pdf (дата обращения: 21.08.2015).
4. Real time megapixel multispectral bioimaging / J. Eichenholz, N. Barnett, Y. Juang et al. // Proc. SPIE: Imaging, manipulation, and analysis of biomolecules, cells, and tissues VIII. 2010. Vol. 7568. URL: http://www.pixelteq.com/wp-content/uploads/2013/01/PIXELTEQ_Real-time-Megapixel-Multispectral-Bioimaging.pdf (дата обращения: 21.08.2015).
5. Hyperspectral and multispectral sensors for remote sensing / J. Miller, S. Kullar, D. Cochrane et al. // Proc. SPIE: Multispectral, hyperspectral, and ultraspectral remote sensing technology, techniques, and applications III. 2010. Vol. 7857. URL: http://www.acade-mia.edu/5748427/Hyperspectral_and_multispectral _sen-sors_for_remote_sensing (дата обращения: 21.08.2015).
6. Тихонов И. А., Спиридонов И. Н. Инфракрасная визуализация кожных покровов // Биомедицинская радиоэлектроника. 2010. № 9. С. 26-32.
7. RGfenacht D., Fredembach C., SGsstrunk S. Automatic and accurate shadow detection using near-infrared in-
formation // IEEE Trans. on pattern analysis and machine intelligence. 2014. Vol. PAMI-36, № 8. P. 1672-1678.
8. Zhang X., Sim T., Miao X. Enhancing photographs with near infra-red images // IEEE conf. on computer vision and pattern recognition (CVPR). 2008. URL: https://www.-comp.nus.edu.sg/~tsim/documents/visnir_camready-_smaller.pdf (дата обращения: 21.08.2015).
9. Firmenich D., Brown M. SGsstrunk S. Multispectral interest points for RGB-NIR image registration // Proc. IEEE int. conf. on image processing (ICIP). Brussels, 11-14 Sept. 2011. URL: http://infoscience.epfl.ch/record-/167479/files/FBS11.pdf (дата обращения 21.08.2015).
10. Near-infrared guided color image dehazing / C. Feng, S. Zhuo, X. Zhang et al. // Proc. IEEE 20th int. conf. image processing (ICIP). 15-18 Sept. 2013. URL: http://infoscience.-epfl.ch/record/188639 /files/poster_cip_2013.pdf (дата обращения: 21.08.2015).
11. High-contrast subcutaneous vein detection and localization using multispectral imaging / F. Wang, A. Behrooz, M. Morris, A. Adibi // J. biomed. opt. 2013. Vol. 18, № 5. URL: http://www.ece.gatech.edu/research/photonics/Papers-/2013/High-contrast%20subcutaneous%20vein-%20detection%20and%20localization%20using%20multi spectral%20imaging.pdf (дата обращения: 21.08.2015).
12. Status of the CMOS Image Sensor Industry 2014 // Report Yole Developement. URL: http://www.yole.fr-/iso_upload/Events/PR_Status%20of%20the%20CMOS-%20Image%20Sensors%20Industry_Y0LE%20DEVEL0PPE MENT_January%202014.pdf (дата обращения: 21.08.2015).
13. Huang H., Liu L., Ngadi M. O. Recent developments in hyperspectral imaging for assessment of food quality and safety // Sensors. 2014. Vol. 14. P. 7248-7276.
14. Wu D., Da-Wen Sun. Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment: A review. Pt. II: Applications // Innovative Food Science & Emerging Technologies. 2013. Vol. 19. P. 15-28.
15. Wu D., Da-Wen Sun. Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment: A review. Pt. I: Fundamentals // Innovative Food Science & Emerging Technologies. 2013. Vol. 19. P. 1-14.
16. Multispectral camera. URL: http://www.pixelteq.-com/products/spectrocam
17. King-Hong Chung; Yuk-Hee Chan. Low-complexity color demosaicing algorithm based on integrated gradients // J. electron. imaging. 2010. Vol. 19, iss. 2. URL: http://www.-eie.polyu.edu.hk/~enyhchan/J-JEI-Low_complexity_color-_demosaicing_algorithm_based_on_IG.pdf (дата обращения: 21.08.2015).
18. Prism based 2CCD multi-spectral. URL: http://www.-jai.com/en/products /ad-080ge (дата обращения: 21.08.2015).
19. Multispectral cameras. URL: http://www.fluxdata.com-/multispectral-cameras (дата обращения: 21.08.2015).
20. Near infrared (NIR) cameras. URL: http://www.jai.-com/en/products/nearinfrared (дата обращения: 21.08.2015).
21. Imec hyperspectral line-scan imager. URL: http:-//www2.imec.be/content/user/File/Brochures/2015/3_flyer_ HSI_Linescan%20sensor.pdf (дата обращения: 21.08.2015).
22. Imec hyperspectral snapshot tiled imager. URL: http://www2.imec.be/content/user/File/Brochures/2015/4 _flyer_HSI_Snapshot%20tiled%20sensor.pdf (дата обращения: 21.08.2015).
P. S. Baranov, A. A. Chirkunova Saint Petersburg Electrotechnical University "LETI"
23. Hyperspectral cameras with USB3 vision. URL: http://www2.imec.be/content/user/File/Brochures/2015/3 _flyer_HSI_Linescan%20sensor.pdf (дата обращения: 21.08.2015).
24. Imec hyperspectral snapshot tiled imager. URL: http://www2.imec.be/content/user/File/Brochures/2015/4 _flyer_HSI_Snapshot%20tiled%20sensor.pdf (дата обращения: 21.08.2015).
25. OV4682 RGB IR, color CMOS 4-megapixel. URL: http://www.ovt.com/products/sensor.php?id=145 (дата обращения: 21.08.2015).
26. Imec hyperspectral mosaic snapshot imager. URL: http://www2.imec.be/content/user/File/Brochures/2015/I MEC%20HYPERSPECTRAL%20SNAPSH0T%20M0SAIC%20I MAGER%2020150421.pdf (дата обращения: 21.08.2015).
27. Designing color filter arrays for the joint capture of visible and near-infrared images / Y. M. Lu, C. Fredembach, M. Vetterli, S. Susstrunk // Proc. of IEEE int. conf. on image processing (ICIP). Cairo, Egypt, 7-10 Nov. 2009. URL: http://infoscience.epfl.ch/record/142066/files /05414324.pdf?version=1 (дата обращения: 21.08.2015).
28. Sadeghipoor Z., Lu Y. M., Susstrunk S. Correlation-based joint acquisition and demosaicing of visible and near-infrared images // Proc. of IEEE int. conf. on image processing (ICIP). Brussels, 11-14 Sept. 2011. URL: http://infoscience.epfl.ch/record/168897/files/Sadeghipo orICIP11.pdf (дата обращения: 21.08.2015).
29. Simultaneous capturing of RGB and additional band images using hybrid color filter array / D. Kiku, Y. Monno, M. Tanaka, M. Okutomi // Proc. SPIE: Digital photography X. 2014. Vol. 9023. URL: http://www.ok.ctrl.titech.ac.jp/res/MSI/ Hybrid/Hybrid.pdf (дата обращения 21.08.2015).
30. RGB-NIR scene dataset. URL: http://ivrl.epfl.ch/sup-plementary_material /cvpr11 (дата обращения 21.08.2015).
Television camera of the visible and near-infrared ranges
Variants of design of a multispectral TV camera of visible and near infrared (RGB&NIR) of ranges are considered. The test bench of single image sensor RGB&NIR-camera is developed. The review of the most perspective applications of compact RGB&NIR-camera is carried out.
The multispectral camera, RGB&NIR the range, hybrid color filter array
Статья поступила в редакцию 21 августа 2015 г.
