CC BY
43
ОПТИЧЕСКИЕ И ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ
И КОМПЛЕКСЫ
УДК 629.052.9
ОПРЕДЕЛЕНИЕ СПЕКТРАЛЬНЫХ ХАРАКТЕРИСТИК ЦИФРОВОГО ЦВЕТНОГО ФОТОАППАРАТА ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ЦВЕТНОЙ ОПТИЧЕСКОЙ КЭСН
В.В. Щербинин, А.В. Пущин, Г. А. Кветкин, Е.В. Шевцова
В ходе разработки алгоритмов цветной оптической КЭСН возникла необходимость в применении численной модели цветного цифрового фотоаппарата как оптико-электронного устройства. Описывается экспериментальное определение функции его относительной спектральной чувствительности по цветовым каналам. Приводятся алгоритмы обработки данных, схема оптической установки, экспериментальные данные и результаты их анализа.
Ключевые слова: КЭСН, КЭНС, корреляционно-экстремальные навигационные системы, оптические датчики, математическая модель, спектральная чувствительность.
В настоящее время широкое распространение получили разнообразные беспилотные летательные аппараты, несущие на борту аппаратуру фото- и видеосъемки. Интерес представляет возможность применения технологий оптических корреляционно-экстремальных систем навигации (КЭСН), успешно зарекомендовавших себя в специальной технике, для коррекции навигационных систем таких аппаратов, в дополнение к коррекции по спутниковым системам, подверженным различным помехам. Чтобы достичь этого, необходимо найти способ преобразования цветной видеоинформации, получаемой при помощи такой неспециализированной аппаратуры (оборудования потребительского класса), к форме, инвариантной к аппаратной реализации используемого датчика изображений. Предварительно обработанные таким образом изображения затем можно будет представить в форме, инвариантной к основным факторам нестабильности, описанным в [1 - 4].
Кроме того, для компенсации влияния атмосферы и погодных условий на оптический сигнал в дальнейшем предлагается применение спектральных математических моделей физических явлений: пропускания и рассеяния электромагнитных сигналов видимого диапазона длин волн в случае атмосферы и распределения плотности мощности излучения источника освещения - в случае переменной погоды и смены суточных циклов. Таким образом, становится очевидной необходимость определения однозначной функциональной зависимости значений элементов цифровых фотоизображений (пикселей), получаемых при помощи отдельно взятого цифрового цветного фотоаппарата (ФА), от спектрального состава области сцены, попадающей в кадр. Это осуществимо путем экспериментальной идентификации параметров математической модели ФА на конкретном экземпляре устройства.
Структура применяемой математической модели Стационарная нелинейная модель преобразования светового потока в цифровую информацию отдельным фоточувствительным элементом цветного цифрового ФА при заданной настройке экспозиционного индекса (светочувствительности в эквиваленте ISO) и неизменном диафрагмировании объектива описана в [5]. В ходе описанных в [6] исследований была получена обратная функция отклика, которая применяется для линеаризации выходных данных ФА, т.е. для фотометрической калибровки устройства. Таким образом, при исследовании спектральных характеристик ФА его математическая модель преобразования представляется в линеаризованной форме:
/ \ 1h rjwear = FF-l(rRAW)= K - t - J$(A)-E(A)dA + n,
A
где i e {R,G,B} - названия цветовых каналов получаемого изображения, соответствующих аддитивной цветовой модели «RGB» (красный, зеленый, - ч linear
синий); r - значение линеаризованной цветовой координаты конкретного пикселя получаемого изображения по i -му каналу, б/р; F-1 - полученная в [6] обратная функция преобразования, компенсирующая нелинейную функцию отклика F(EV) (англ. response function) на экспозицию,
б/р; RW - значение цветовой координаты конкретного пикселя RAW-
изображения по i -му каналу, прошедшего предварительную обработку, описанную в [#], б/р; t - выдержка, с; K - неизвестный масштабный коэффициент, зависящий от настроек ФА, б/р; l...Ah] - исследуемый спектральный диапазон, нм; Si(A)e [0...1] - относительная спектральная чувст-
вительность ФА по i -му цветовому каналу (англ. spectral sensitivity), б/р; E(l)e [0...l] - относительная спектральная плотность мощности излучения объекта фотосъемки в пределах поля зрения ФА, б/р; n - шумовая составляющая, моделируемая случайной аддитивной ошибкой, б/р.
Исходя из структуры уравнения линеаризованной модели фоточувствительного элемента, для получения оценки спектральной чувствительности ФА возможно применение различных методов, отличающихся формой спектра подаваемых тестовых сигналов. Очевидным подходом является подача набора узкополосных сигналов, т.е. минимизация ширины спектрального диапазона в уравнении для перехода от свертки (интегрирования) к умножению:
1
rlinear = k ■ t ■ J$ (l) ■ E(l)dl + n 1 ~1=A1®0 > K ■ t ■ $ (1) ■ E(1) ■ A1 + n.
Выбор метода оценивания спектральной чувствительности ФА
Согласно [7, 8] традиционным способом получения узкополосных эталонных сигналов в задачах калибровки фоторепродукционного оборудования является выделение спектральных полос при помощи монохрома-тора. В то же время эти приборы характеризуются значительными недостатками: высокой стоимостью, необходимостью в регулярной поверке и калибровке, обязательностью применения высокостабильного широкополосного источника освещения, трудозатратами на процедуру последовательного фотографирования.
Ввиду вышесказанного авторы ряда работ ставят своей целью создание методик и механизмов, позволяющих проводить процесс с меньшими затратами времени и усилий лабораторного персонала, а также снизить число потребных фотоснимков. Так, в работе [5] описана разработка автоматизированного комплекса, использующего набор узкополосных (A1»10 нм) интерференционных светофильтров для выделения спектральных диапазонов, и широкополосный формирующий светофильтр для балансирования амплитуд сигналов.
В ряде работ используется принцип пространственного спектрального разделения (дифракционной решеткой в [9] и преломляющей призмой в [10]) с единовременной регистрацией информации обо всем изучаемом спектральном диапазоне.
Принципиально иной (аналитический) метод получения оценки спектральной чувствительности предполагает подачу набора широкополосных тестовых сигналов с различной формой спектра и последующий анализ выходных сигналов ФА: решение избыточной системы уравнений. Отличия в тестовых сигналах могут быть обусловлены как меняющимся спектральным составом освещения сцены [11], так и различными отражательными свойствами набора объектов фотосъемки [12, 13], в т.ч. коммер-
130
чески доступных отражательных цветовых мишеней. Аналитические методы отличаются повышенным уровнем шумов и большей зависимостью от качества экспериментальных данных [12, 13].
Исходя из анализа литературных источников, было принято решение применять для оценивания спектральной чувствительности ФА узкополосные тестовые оптические сигналы, формируемые пространственным спектральным разложением эталонного широкополосного сигнала дифракционной решеткой, с одновременной регистрацией информации обо всем изучаемом спектральном диапазоне, подобном описанному в [14]. В указанной методике ФА и изготавливаемый спектрометр используются в качестве составных частей спектрометра, предназначенного для студенческих и школьных лабораторных работ. Повышение качества изготовления спектроскопа, увеличение его длины и эффективное устранение паразитных засветок позволяют значительно повысить точность результатов, достижимых с помощью такого стенда.
Экспериментальная установка
Схема оптического стенда, разработанного для экспериментального оценивания спектральной чувствительности ФА, приведена на рис. 1.
Рис. 1. Принципиальная схема экспериментальной установки и эталонного спектрометра
Пластина из матового стекла освещается на просвет источником освещения. Диффузно рассеянное таким образом излучение регистрируется эталонным спектрометром, а также проходит через узкую щель, модели-
131
рующую линию из точечных источников освещения. Попадая на диспергирующий элемент (дифракционную решетку), лучи преобразуются в дифракционную картину, каждый максимум которой представляет собой пространственное спектральное распределение. Первый дифракционный максимум проецируется объективом, который сфокусирован на щели, на матрице фотоэлементов ФА, выступающей в роли детектора.
Таким образом, в разработанной экспериментальной установке объектив и ФА используются в качестве оптической и регистрирующей систем стенда-спектрометра соответственно. Проведение калибровки такой установки методом непосредственного сличения с эталонным прибором позволяет оценить передаточные характеристики ФА с объективом.
В качестве исследуемого устройства использовался цифровой цветной зеркальный фотоаппарат «Pentax K5» с объективом «Индустар 50-2».
Внешний вид установки и примеры получаемых фотоснимков спектров различных источников представлены на рис. 2.
Рис. 2. Фотография установки в сборе и примеры получаемых фотоматериалов (слева направо): компактная люминесцентная лампа, светодиодная фитолампа для рассады, лампа накаливания, светодиодная лампа непрерывного спектра
В разработанном ПО из полученных снимков автоматически вырезается полоса шириной 100 пикселей, после чего построчно усредняются их цветовые координаты, что позволяет снизить влияние шумовой составляющей сигнала. На рис. 3 приведены усредненные координаты, соответ-
132
ствующих 100-пиксельных Я-, О-, и В-линий вырезанной (и повернутой для наглядности) горизонтальной полосы из снимка спектра компактной люминесцентной лампы (КЛЛ). Спектр такого источника имеет характерные спектральные линии, на фотографиях предстающие в виде ярких полос, а на графике усредненных координат - как пики кривых. Номера столбцов вырезанной полосы, соответствующие максимумам (пикам) кривых, выделены вертикальными маркерами.
Рис. 3. Снимок спектра КЛЛ, положение вырезаемой полосы (справа) и усредненные цветовые координаты столбцов пикселей вырезанной полосы (слева)
Из эталонной спектрограммы известны длины волн, соответствующие спектральным линиям источника. Таким образом, становится возможным проведение спектральной калибровки (сдвига и масштабирования вдоль оси абсцисс) путем решения системы линейных уравнений:
кл- р1Х1 +1 =11; [кя- р1Х2 +1о =12;
к1
12 -11
р1Х2 - рщ 1о =12 -к1■ р(Х2,
где к1 - масштабный коэффициент, нм; рх1, р/х2 - номера столбцов пикселей, соответствующих спектральным полосам, б/р; 1 - длина волны, соответствующая первому столбцу пикселей вырезаемой области, нм; 11,12 - длины волн, соответствующие спектральным полосам, нм.
В результате калибровки каждой точке полученных трех кривых ставится в соответствие определенная длина волны, как это показано на рис. 4. Для возможности сравнения с эталонной спектрограммой кривые нормируются по наибольшему из их размахов.
133
Рис. 4. Нормированный отклик ФА на спектр КЛЛ после спектральной калибровки и эталонная спектрограмма
Положение изображения спектра в поле кадра зависит от положения и ориентации ФА относительно спектроскопа, поэтому спектральную калибровку необходимо проводить перед каждой серией экспериментов, а в течение серии - фиксировать положение ФА.
Усредненные координаты, Я-, О- и В-снимков дифракционной картины источников непрерывного спектра, подвергнутые спектральной калибровке, представлены на рис. 5.
Рис. 5. Нормированный отклик ФА на спектры лампы накаливания (слева) и светодиодной лампы (справа) после спектральной калибровки
и эталонные спектрограммы
Таким образом, имея откалиброванный по длине волны отклик системы и относительную спектральную плотность мощности излучения источника (эталонную спектрограмму), можно оценить относительную спектральную чувствительность каналов ФА:
Si !) = Л—Ц,
knorm 'E \l)
где knorm - нормировочный коэффициент, б/р.
Полученные таким образом оценки (до нормирования) представлены на рис. 6.
4 М
400 430 460 490 520 550 5S0 610 S40 670 ТОО 730
400 430 460 490 520 а&О 550 610 640 670 700 730
Рис. 6. Ненормированные оценки относительной спектральной чувствительности ФА, полученные по отклику на спектры лампы накаливания (сверху) и светодиодной лампы (снизу)
135
Спектр лампы накаливания равномерен в пределах диапазона чувствительности каналов ФА, но слабо воздействует в коротковолновой области, а полученная по нему оценка включает высокочастотный шум; спектр светодиодной лампы имеет характерные особенности и резкие перепады, частично перешедшие в оценку в виде низкочастотного шума, поэтому для получения итоговой (совокупной) оценки спектральной чувствительности решено использовать взвешенную сумму нормированных оценок с весами 0,7 и 0,3 соответственно.
Заключение
В ходе работ, описанных в данной статье, был выбран метод оценивания спектральной чувствительности ФА по каналам, при котором применяются узкополосные тестовые сигналы, формируемые путем пространственного спектрального разложения эталонного широкополосного оптического сигнала дифракционной решеткой, с одновременной регистрацией информации обо всем изучаемом спектральном диапазоне.
Были разработаны программное обеспечение и оптический стенд, позволяющие проводить экспериментальное определение функции спектральной чувствительности цветовых каналов цифровых ФА. Исследуемый ФА протестирован с использованием упомянутых разработок и двух различных источников эталонных оптических сигналов и путем комбинирования полученных результатов определены его спектральные характеристики.
Работа проводилась при поддержке гранта РФФИ № 15-07-06928.
Список литературы
1. Щербинин В.В. Построение инвариантных корреляционно-экстремальных систем навигации и наведения летательных аппаратов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 230 с.
2. Методы и алгоритмы функционирования цветной оптической корреляционно-экстремальной системы навигации летательных аппаратов / В.В. Щербинин, Е.В. Шевцова, Ю.С. Васильева, О.М. Чижевская // Гиро-скопия и навигация. 2012. Вып. 4 (79). С. 34 - 49.
3. Щербинин В.В., Васильева Ю.С., Шевцова Е.В. Предварительные результаты оценки сезонной стабильности информативного параметра цветной оптической КЭСНН ЛА // Известия Тульского государственного университета. Технические науки. 2015. Вып. 11. Ч. 2. С. 19 - 27.
4. Анализ точностных характеристик цветной оптической корреляционно-экстремальной системы навигации ЛА / В.В. Щербинин, Г. А. Кветкин, И.О. Дегтярёв, Е.В. Шевцова // Материалы XVIII Конференции молодых ученых «Навигация и управление движением». СПб.: Изд-во АО «Концерн «ЦНИИ «Электроприбор», 2016. С. 355 - 362.
136
5. Christian M. Measurement of the spectral response of digital cameras with a set of interference filters. Department of Media- and Phototechnology, University of Applied Sciences, Cologne, January 2009. 93 p.
6. Линеаризация функции преобразования цифрового цветного фотоаппарата для обработки изображений цветной оптической КЭСН / Г.А. Кветкин, А.В. Пущин, Е.В. Шевцова, В.В. Щербинин // Известия Тульского государственного университета. Технические науки. 2018. Вып. 3. С. 54 - 64.
7. ISO 17321-1:2012. Graphic technology and photography — Color characterization of digital still cameras (DSCs). Part 1: Stimuli, metrology and test procedures.
8. What is the space of spectral sensitivity functions for digital color cameras? Applications of Computer Vision (WACV) / Jun Jiang, Dengyu Liu, Jinwei Gu, Sabine Susstrunk // IEEE Workshop, 2013.
9. Habel R., Kudenov M., Wimmer M. Practical spectral photography // EUROGRAPHICS. 2012. Vol. 31. Num. 2.
10. A prism-mask system for multispectral video acquisition / Xun Cao, Hao Du, Xin Tong, Qionghai Dai, Stephen Lin // IEEE Transactions on Pattern Analysis & Machine Intelligence. 2011. Vol. 33. P. 2423 - 2435.
11. Manders C., Aimone C., Mann S. Camera response function recovery from different illuminations of identical subject matter. University of Toronto, Dept. of Electrical and Computer Engineering, 2004.
12. Paul M. Hubel, Doron Sherman, Joyce E. Farrell. A comparison of methods of sensor spectral sensitivity estimation // IS&T and SID's 2nd Color Imaging Conference: Color Science, Systems and Applications. 1994. P. 45-48.
13. Hardeberg J.Y., Brettel H., Schmitt F. Spectral characterization of electronic cameras // Electronic Imaging: Processing Printing and Publishing in Color. 1998. P. 100 - 109.
14. Public Lab: Spectrometry [Электронный ресурс] // URL: https://publiclab.org/wiki/spectrometry (дата обращения: 15.09.2017).
Щербинин Виктор Викторович, д-р техн. наук, нач. научно-технического отделения, cniiag@cniiag. ru, Россия, Москва, АО ««Центральный научно-исследовательский институт автоматики и гидравлики»,
Пущин Алексей Викторович, инж., [email protected], Россия, Москва, АО « Центральный научно-исследовательский институт автоматики и гидравлики»,
Кветкин Георгий Алексеевич, канд. техн. наук, нач. лаборатории, [email protected], Россия, Москва, АО ««Центральный научно-исследовательский институт автоматики и гидравлики»,
Шевцова Екатерина Викторовна, канд. техн. наук, доц., catrin victoramail.ru, Россия, Москва, МГТУ им. Н.Э. Баумана
SPECTRAL CHARACTERISATION OF A COLOR DIGITAL CAMERA FOR IMAGE PROCESSING IN A COLOR-VISION BASED OPTICAL CENS
V. V. Scherbinin, A. V. Pushchin, G.A. Kvetkin, E. V. Shevtsova
As the result of development of the color-vision based optical CENS algorithms, there is a need for a mathematical model of color digital camera as an optoelectronic device. This paper describes the experimental recovery of spectral sensitivity of its RGB channels. The algorithms of data processing, the scheme of the developed optical hardware suite, the experimental data and the results of analysis are provided.
Key words: CENS, correlation-extremal aircraft navigation systems, optical sensors, mathematical model, spectral sensitivity.
Scherbinin Victor Victorovich, doctor of technical sciences, head of research department, cniiag a cniiag. ru, Russia, Moscow, JSC "Central Research Institute for Automatics and Hydraulics ",
Pushchin Alexey Victorovich, engineer, cniiagacniiag. ru, Russia, Moscow, JSC "Central Research Institute for Automatics and Hydraulics",
Kvetkin Georgy Alekseevich, candidate of technical sciences, head of laboratory, cniiag®,cniiag.ru, Russia, Moscow, JSC "Central Research Institute for Automatics and Hydraulics",
Shevtsova Ekaterina Viktorovna, candidate of technical sciences, docent, catrin victora mail. ru, Russia, Moscow, Moscow Bauman State Technical University
