CC BY
33
ОПТИЧЕСКИЕ И ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ
И КОМПЛЕКСЫ
УДК 629.052.9
ЛИНЕАРИЗАЦИЯ ФУНКЦИИ ПРЕОБРАЗОВАНИЯ ЦИФРОВОГО ЦВЕТНОГО ФОТОАППАРАТА ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ
ЦВЕТНОЙ ОПТИЧЕСКОЙ КЭСН
В.В. Щербинин, А.В. Пущин, Г. А. Кветкин, Е.В. Шевцова
В ходе разработки алгоритмов цветной оптической КЭСН возникла необходимость в использовании численной модели цветного цифрового фотоаппарата как оптико-электронного устройства. Рассматривается экспериментальный расчет функции отклика, позволяющий провести фотометрическую калибровку прибора. Приводятся алгоритмы обработки данных, схема оптической установки, экспериментальные данные и результаты их анализа.
Ключевые слова: КЭСН, КЭНС, корреляционно-экстремальные навигационные системы, оптические датчики, математическая модель, фотометрическая калибровка, функция отклика.
В настоящее время широкое распространение получили разнообразные беспилотные летательные аппараты, несущие на борту аппаратуру фото- и видеосъемки. Интерес представляет возможность применения технологий оптических корреляционно-экстремальных систем навигации (КЭСН), успешно зарекомендовавших себя в специальной технике, для коррекции навигационных систем таких аппаратов, в дополнение к коррекции по спутниковым системам, подверженным различным помехам. Чтобы достичь этого, необходимо найти способ преобразования цветной видеоинформации, получаемой при помощи неспециализированной аппаратуры (оборудования потребительского класса) к форме, инвариантной к аппаратной реализации используемого датчика изображений. Предварительно обработанные таким образом изображения можно будет представить в форме, инвариантной к основным факторам нестабильности [1 - 4].
r = F
Кроме того, для компенсации влияния атмосферы и погодных условий на оптический сигнал в дальнейшем предлагается применение спектральных математических моделей физических явлений: пропускания и рассеяния электромагнитных сигналов видимого диапазона длин волн в случае атмосферы и распределения плотности мощности излучения источника освещения в случае переменной погоды и смены суточных циклов. Таким образом, становится очевидной необходимость определения однозначной функциональной зависимости значений элементов цифровых фотоизображений (пикселей), получаемых при помощи отдельно взятого цифрового цветного фотоаппарата (ФА), от спектрального состава области сцены, попадающей в кадр. Это осуществимо путем экспериментальной идентификации параметров математической модели ФА на конкретном экземпляре устройства.
Структура применяемой математической модели. Стационарная нелинейная модель преобразования светового потока в цифровую информацию отдельным фоточувствительным элементом цветного цифрового ФА при заданной настройке экспозиционного индекса (светочувствительности в эквиваленте ISO) и неизменном диафрагмировании объектива описана ранее [5], и в общем виде может быть представлена как
Ль
K ■ t ■ {Si(Л)- E(l)d1 + n
, Л
где i е {R, G, B} - названия цветовых каналов получаемого изображения, соответствующих аддитивной цветовой модели RGB (красный, зеленый, синий); r - значение цветовой координаты конкретного пикселя получаемого изображения по i -му каналу, б/р; F (EV) - нелинейная функция отклика ФА (англ. response function) на экспозиционное число EV, б/р; t - выдержка, с; K - неизвестный масштабный коэффициент, зависящий от настроек ФА, (нм ■ с)-1; Л ...Ль ] - исследуемый спектральный диапазон, нм; Si(Л)е [0...l] - относительная спектральная чувствительность ФА по i -му цветовому каналу (англ. spectral sensitivity), б/р; E(Л)е [0.l] - относительная спектральная плотность мощности излучения объекта фотосъемки в пределах поля зрения ФА, б/р; n - шумовая составляющая, моделируемая случайной аддитивной ошибкой, б/р.
Причины перехода к RAW-изображениям. Результаты экспериментов с использованием различных ФА [6] показали существенную нелинейность зависимости выдаваемых значений (цветовых координат пикселя изображения в форматах .JPG, .PNG и .BMP) от интенсивности освещенности объекта фотосъемки. Эта нелинейность не только обусловлена особенностями функционирования аппаратной части ФА, которые и призвана описать разрабатываемая математическая модель, но и вносится самими
55
стандартами цифровой записи информации. Анализ литературных источников показал, что для соответствия цветовой модели «Adobe sRGB» при сохранении изображений в упомянутых форматах к значениям цветовых координат пикселей применяется двухступенчатая нелинейная гамма-коррекция, определяемая стандартом [7]. Это обстоятельство значительно усложняет использование фотоизображений, хранимых в таких форматах, в целях, отличных от художественных и развлекательных.
Изображениям, хранимым в таких «стандартных» форматах, также присуща и значительная дискретность: для представления цветовых координат используются 8-битные числа, что ограничивает динамический диапазон (контраст в пределах кадра) всего 256-ю уровнями по каждой из координат. С учетом вышесказанного был предпринят ряд мер по переходу от фотографий в форматах .JPG, .PNG и т.п. к изучению файлов данных, формируемых ФА при фотосъемке в режиме «RAW», подразумевающем сохранение данных с фотоэлементов, подвергнутых минимальной предварительной обработке в самом устройстве.
Предварительная обработка RAW-изображений. Основная проблема обработки RAW-файлов заключается в том, что способ хранения данных не стандартизирован должным образом, и каждая компания-производитель фотоаппаратуры придерживается собственного формата. В подавляющем большинстве случаев отсутствует документация, позволившая бы декодировать изображения и получать доступ к данным.
В ряде источников, например [5], имеется ссылка на программный инструмент с открытым исходным кодом «DCRAW» [8], позволяющий перекодировать RAW-файлы многих производителей ФА в иные форматы. Этот инструмент поставляется с открытой лицензией. Исходный код «DCRAW» на языке C был скомпилирован в среде «GCC». Полученное консольное приложение использовалось для проведения первой фазы предварительной обработки RAW-файлов — преобразования к формату «linear TIFF» с глубиной 16 бит без выделения цветовых каналов. Такое преобразование не затрагивает значений пикселей, но дает возможность получать доступ к данным с помощью вычислительных сред.
Для обеспечения доступа к полноцветному представлению информации, хранимой в таких частично преобразованных RAW-файлах, был создан программный модуль, позволяющий в автоматизированном режиме завершать предварительную обработку изображений, последовательные шаги которой показаны на примере фотоснимка цветовой мишени «Color-Checker Passport», созданного при помощи цифрового цветного зеркального фотоаппарата «Pentax K5» и объектива «Индустар 50-2».
Так как из изображения не выделены цветовые каналы, оно представляет собой двумерный массив чисел, описывающих отклик соответствующих фотоэлементов на экспонирование. Для перехода к полноцветному представлению необходимо определить, какие цветные светофильтры
56
на фотоэлементах соответствуют полям полученного массива. Анализ показал, что элементарная структура светофильтров маски Байера на исследуемом ФА имеет вид:
" В О' О я
что позволяет выделить соответствующие цветовые каналы и, исключительно для наглядности, представить изображение в цветной форме уже на этом этапе обработки (рис. 1). Здесь и далее увеличенному фрагменту соответствует структура изображения желтого поля фотографируемой цветовой мишени.
Рис. 1. Изображения до (а) и после (б) выделения цветовых каналов, без интерполяции (рисунки повернуты)
Каждый пиксель изображения на данном этапе обработки имеет лишь одну ненулевую цветовую координату, при этом «зеленых» пикселей в два раза больше, чем «красных» или «синих». Для получения полноцветного изображения необходимо провести процедуру дебайеризации, т.е. исправления влияния Байеровской маски светофильтров путем интерполяции
недостающих цветовых координат пикселей. В рамках данного исследования решено производить простейшую кусочно-линейную интерполяцию по среднему значению цветовых координат соседних ячеек. Вначале требуется дополнить каналы изображения Я и В до структуры вида «шахматное поле» (показано на примере канала Я):
Ят-1, п-1 0
Ят+1,п-1
0 0 0
Ят-1, п+1 0
Ят+1,п+1
Я =
Лт,п
£ Ят ±1, п ±1 4
Ят-1,п-1 0
Ят+1,п-1
Я
0
т, п 0
Ят-1,п+1 0
Ят+1,п+1
а затем интерполировать недостающие значения координат всех точек по формуле, одинаковой для всех каналов (показано на примере канала О):
0
От,п-1 0
От-1,п 0
От+1,п
0
От,п+1 0
От,п
£ О,
т, п ±1
+£ О,
т ±1, п
0 От-1,п 0
т,п-1 От,п От,п+1
0 От+1,п 0
В результате описанной последовательности операций получается полноцветное изображение (рис. 2), для каждого пикселя которого определены все три цветовые координаты.
>
>
Рис. 2. Изображение после дебайеризации
Таким образом, в результате выполнения вышеописанных процедур из двумерного массива чисел формируется полноцветное изображение с глубиной цвета 3*16 бит и с соотношением значений пикселей в пределах кадра, обусловленным аппаратными особенностями применяемого ФА.
58
Восстановление функции отклика ФА (линеаризация данных).
Благодаря сохранению изображений из RAW-файлов в формате «linear TIFF» глубиной 16 бит и преобразованию их к полноцветной форме в формате хранения «linear TIFF» глубиной 3^16 бит появляется возможность численной обработки этой информации в вычислительных средах.
На следующем этапе работы был применен метод восстановления нелинейной функции F (EV ) путем анализа фотоснимков, сделанных с варьированием выдержки при сохранении неизменными всех прочих обстоятельств процесса фотосъемки, т.е. при K = const, 1h
J S, (Я)- E (l)dl = const. Таким образом, используемая математическая моЯ
дель упрощается до следующего вида:
r, = F
Ян
K -1 - J S, (Я)-E(l)d1 + n
Я
1h
t - J S, (Я)-E (l)d1=k - EV0 Я
>F(K - k - EV0 + n)
где к = ЕУ/ ЕУо = ¿Д о - отношение текущего экспозиционного числа к минимальному в выборке, б/р.
Сбор экспериментальных данных проводился на стенде, схема которого приведена на рис. 3. Миниатюры получаемых фотоснимков показаны на рис. 4, при этом число в имени файла означает знаменатель дробной формы записи примененной выдержки, которая варьировалась от 2 с до 1/400 с, шаг изменения - 13 ступени.
Рис. 3. Схема стенда для оценивания функции отклика ФА
Пластина из матового стекла освещается на просвет источником (лампой накаливания). Диффузно рассеянное таким образом излучение регистрируется ФА, объектив ФА фокусируется на пластине. Из каждого по-
59
лученного изображения вырезается центральная область, содержащая изображение центральной части пластины, а затем рассчитываются средние цветовые координаты этой области. Графическое представление усредненных цветовых координат в выборке изображений в зависимости от длительности экспозиции представлено на рис. 5.
Рис. 4. Полученные изображения с переменной выдержкой
Рис. 5. Средние значения цветовых координат изображений в линейном (а) и в логарифмическом (б) масштабах выдержки
В линейном масштабе длительности экспозиции выходные данные ФА нелинейно зависят от нее и характеризуются насыщением, у исследуемого образца наступающим по достижении выходных значений более
60
~45 000 (215,46) значащих бит. В логарифмическом же масштабе кривые обретают одинаковую форму и размах, отличаясь сдвигом вдоль оси абсцисс. Эта особенность позволяет совместить измерения по всем каналам в единый массив точек и аппроксимировать кривую полиномиальной регрессией. Так как целью исследования является обратная функция р_1, позволяющая произвести относительную фотометрическую калибровку, то оси на графиках целесообразно поменять местами. Кривая сдвигается вдоль оси ординат так, чтобы наибольшему значению переменной (точке насыщения) соответствовала нулевая ордината. Таким образом осуществляется нормирование: после экспоненцирования наибольшему значению переменной соответствует значение функции е0 = 1. Результаты аппроксимации функции и применения калибровки к выходным данным ФА приведены на рис. 6.
а б в
Рис. 6. Аппроксимация обратной функции отклика ФА в логарифмическом (а) и линейном (б) масштабах выдержки, линеаризованные данные (в)
Коэффициент детерминации Я выборки линеаризованных данных составил 0,996 в худшем случае (канал О). Полученная обратная функция отклика будет применяться для линеаризации выходных данных ФА, т.е. фотометрической калибровки устройства. Таким образом, при проведении последующих исследований характеристик ФА, его математическая модель преобразования будет представляться в линеаризованной форме:
/ \ 1 р-1 \yRAW )= к .,. (1). е(Л^Л + п,
Л
где р~ - полученная обратная функция преобразования;
г^ - значение цветовой координаты конкретного пикселя КА^-изображения, прошедшего предварительную обработку, по / -му каналу, б/р.
61
Заключение
В ходе работ, описанных в данной статье, была выбрана структура математической модели передаточной характеристики (функции преобразования) фоточувствительных элементов цветного цифрового ФА. Для улучшения возможностей анализа данных и повышения его качества было принято решение перейти к исследованию файлов, получаемых при фотосъемке в режиме «RAW», что потребовало разработки программного обеспечения для их предварительной обработки.
Из анализа предварительно обработанных данных был сделан вывод о том, что нелинейность функции преобразования конкретного образца ФА значительна, поэтому для перехода к определению параметров линейной части математической модели (спектральной чувствительности ФА) необходимо осуществить его фотометрическую калибровку.
Разработанная оптическая установка (программное и аппаратное обеспечение) позволяет экспериментально определять функцию отклика цифровых ФА для проведения их фотометрической калибровки. Установка была протестирована на выборке фотоснимков исследуемого ФА. Проверка результатов калибровки показала, что рассмтриваемая модель преобразования компенсирует нелинейность выходных данных ФА в достаточной для применения в алгоритмах КЭСН мере: коэффициент детерминации линеаризованных значений цветовых координат пикселей в выборке фотографий с варьируемой выдержкой составил >0,95.
Таким образом, становится возможным проведение относительной фотометрической калибровки различных ФА и переход к исследованию их спектральных характеристик.
Работа проводилась при поддержке гранта РФФИ № 15-07-06928.
Список литературы
1. Щербинин В.В. Построение инвариантных корреляционно-экстремальных систем навигации и наведения летательных аппаратов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 230 с.
2. Методы и алгоритмы функционирования цветной оптической корреляционно-экстремальной системы навигации летательных аппаратов / В.В. Щербинин, Е.В. Шевцова, Ю.С. Васильева, О.М. Чижевская // Гиро-скопия и навигация. 2012. Вып. 4 (79). С. 34 - 49.
3. Щербинин В.В., Васильева Ю.С., Шевцова Е.В. Предварительные результаты оценки сезонной стабильности информативного параметра цветной оптической КЭСНН ЛА // Известия Тульского государственного университета. Технические науки. 2015. Вып. 11. Ч. 2. С. 19 - 27.
4. Анализ точностных характеристик цветной оптической корреляционно-экстремальной системы навигации ЛА / В.В. Щербинин, Г.А. Кветкин, И.О. Дегтярёв, Е.В. Шевцова // Материалы XVIII конференции молодых ученых «Навигация и управление движением». СПб: Изд-во АО «Концерн «ЦНИИ «Электроприбор», 2016. С. 355 - 362.
62
5. Christian Meuer, "Measurement of the spectral response of digital cameras with a set of interference filters" Department of Media- and Phototech-nology, University of Applied Sciences. Cologne, January, 2009.
6. Пущин А.В. Оценка стабильности спектральной чувствительности цифрового цветного фотоаппарата // Материалы XIX конференции молодых ученых «Навигация и управление движением». СПб: Изд-во АО «Концерн «ЦНИИ «Электроприбор», 2017.
7. IEC 61966-2-1:1999/COR1:2014 "Multimedia systems and equipment - Color management - Part 1-2: Color management - Default RGB color space - sRGB".
8. Dave Coffin, "Dave Coffin's DCRAW" [Электронный ресурс]. URL: http://www.cybercom.net/~dcoffin/dcraw (дата обращения: 10.02.2018).
Щербинин Виктор Викторович, д-р техн. наук, нач. науч.-техн. отд., cniiagacniiag.ru, Россия, Москва, АО «Центральный научно-исследовательский институт автоматики и гидравлики»,
Пущин Алексей Викторович, инж., cniiagacniiag. ru, Россия, Москва, АО «Центральный научно-исследовательский институт автоматики и гидравлики»,
Кветкин Георгий Алексеевич, канд. техн. наук, нач. лаборатории, cniiagacniiag.ru, Россия, Москва, АО ««Центральный научно-исследовательский институт автоматики и гидравлики»,
Шевцова Екатерина Викторовна, канд. техн. наук, доц. каф. ИУ-2, catrin victoramail.ru, Россия, Москва, МГТУ им. Н.Э. Баумана
LINEARIZATION OF THE CONVERSION FUNCTION OF A COLOR DIGITAL CAMERA FOR IMAGE PROCESSING IN A COLOR-VISION BASED OPTICAL CENS
V. V. Scherbinin, A. V. Pushchin, G.A. Kvetkin, E. V. Shevtsova
As the result of development of the color-vision based optical CENS algorithms, there is a need for a mathematical model of color digital camera as an optoelectronic device. This paper describes the experimental recovery of response function which provides photometric calibration of the device. The algorithms of data processing, the scheme of the developed optical hardware suite, the experimental data and the results of its analysis are provided.
Key words: CENS, correlation-extremal aircraft navigation systems, optical sensors, mathematical model, photometric calibration, response function.
Scherbinin Victor Victorovich, doctor of technical sciences, head of research department, cniiagacniiag. ru, Russia, Moscow, JSC "Central Research Institute for Automatics and Hydraulics ",
Pushchin Alexey Victorovich, engineer, cniiagacniiag. ru, Russia, Moscow, JSC "Central Research Institute for Automatics and Hydraulics",
Kvetkin Georgy Alekseevich, candidate of technical sciences, head of laboratory, cniiag@cniiag. ru, Russia, Moscow, JSC "Central Research Institute for Automatics and Hydraulics ",
Shevtsova Ekaterina Viktorovna, candidate of technical sciences, docent, catrin victoramail. ru, Russia, Moscow, Moscow Bauman State Technical University
УДК 623.746; 519; 623.746.174
ИНТЕЛЛЕКТУАЛЬНЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОЙ ПОСАДКИ БЛА ВЕРТОЛЕТНОГО ТИПА С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИИ БОРТОВОЙ ОПТИКО-ЭЛЕКТРОННОЙ
СИСТЕМЫ
Г.Э. Каплинский
Разработан метод определения координат БЛА на основе обработки изображения искусственно созданного ориентира (маркера), полученного с бортовой ОЭС. Для поиска маркера на изображении используются анализ особенностей геометрии маркера и распознавание с помощью искусственных нейронных сетей. Рассматривается возможность применения алгоритма, а также результаты лабораторных исследований, проводимых на базе летающей лаборатории.
Ключевые слова: структурное описание, алгоритмы поиска объекта, автоматическое распознавание изображений, алгоритмы всеракурсного распознавания, искусственные нейронные сети.
Большинство современных методов управления беспилотным летательным аппаратом (БЛА) при посадке основано на дистанционном управлении обученным специалистом либо на использовании координат БЛА, определяемых спутниковыми системами (GPS, Глонасс). Целью данной работы является разработка метода определения координат БЛА на основе обработки изображения искусственно созданного ориентира (маркера), полученного с бортовой ОЭС. Для поиска маркера на изображении предлагаются использование анализа особенностей геометрии маркера и распознавание с помощью искусственных нейронных сетей.
В последнее время все больше внимания уделяется исследованиям и разработкам, направленным на создание алгоритмов автоматизированной посадки БЛА путем цифровой обработки видеоинформации, поступающей с оптико-электронных и радиолокационных систем наблюдения [1 - 5]. Главная роль в процессе построения подобных алгоритмов отводится созданию геометрически различимых маркеров, а также методам их поиска на местности.
