CC BY
24
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2019 Том 19 № 4 ISSN 2226-1494 http://ntv.itmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTCS July-August 2019 Vol. 19 No 4 ISSN 2226-1494 http://ntv.itmo.ru/en/
ИНШОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
УДК 629.052.9 doi: 10.17586/2226-1494-2019-19-4-602-607
ВАЛИДАЦИЯ СПЕКТРАЛЬНОЙ МОДЕЛИ ЦИФРОВОГО ЦВЕТНОГО
ФОТОАППАРАТА ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ЦВЕТНОЙ ОПТИЧЕСКОЙ КОРРЕЛЯЦИОННО-ЭКСТРЕМАЛЬНОЙ СИСТЕМЫ НАВИГАЦИИ ЛЕТАТЕЛЬНЫХ АППАРАТОВ А.В. Пущин
АО Центральный научно-исследовательский институт автоматики и гидравлики, Москва, 127018, Российская Федерация Автор для переписки: [email protected] Информация о статье
Поступила в редакцию 21.01.19, принята к печати 1.06.19 Язык статьи — русский
Ссылка для цитирования: Пущин А.В. Валидация спектральной модели цифрового цветного фотоаппарата для обработки изображений цветной оптической корреляционно-экстремальной системы навигации летательных аппаратов // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 4. С. 602-607. doi: 10.17586/2226-1494-2019-19-4-602-607
Аннотация
При разработке алгоритмов цветной оптической корреляционно-экстремальной системы навигации беспилотных летательных аппаратов появилась потребность в спектральной математической модели цифрового цветного фотоаппарата как оптико-электронного устройства. Модель включает относительную спектральную чувствительность фотоаппарата по трем цветовым каналам («красному», «зеленому» и «синему») и калибровочную модель накопления заряда фоточувствительной ячейкой. Обе они были успешно разработаны, а их описания опубликованы ранее. В настоящей статье описываются результаты экспериментальной проверки совокупности этих составляющих математической модели прибора на соответствие требованиям, выдвигаемым к системам обработки изображений в оптических корреляционно-экстремальных системах навигации (аддитивная погрешность менее 15-20 % динамического диапазона измерений), т.е. ее валидации. В ходе эксперимента собрана выборка из спектрограмм излучения 24 эталонных объектов, а также в неизменных условиях освещения сделан их фотоснимок исследуемым фотоаппаратом. Приведенные к линейному масштабу с помощью радиометрической калибровочной модели и усредненные для каждого объекта декодированные цветовые координаты «сырой» информации фотоснимка использовались в качестве достоверных данных, формируемых фотоаппаратом, а результат преобразования полученных спектрограмм функцией спектральной чувствительности — как выходные значения его математической модели. В качестве метрики качества математической модели был использован коэффициент детерминации R2, значение которого составило 0,98 в наихудшем случае («синий» цветовой канал), а распределение аддитивной погрешности оказалось близким к нормальному. Это позволяет сделать вывод о том, что модель объясняет изменчивость данных настолько достоверно, насколько это возможно в условиях воздействия случайных факторов и с использованием одной независимой переменной. Средняя аддитивная погрешность в единичном динамическом диапазоне измерений составила -0,014 со стандартным отклонением 0,029. Такие параметры удовлетворяют выдвигаемым требованиям, из чего делается вывод об успешной валидации разрабатываемой математической модели. Благодаря разработанной модели становится возможной цветокоррекция текущих изображений сообразно спектральному составу освещения в момент съемки, а также синтез изображений объектов на готовых эталонных фотоснимках местности. Дополнение ее спектральными характеристиками поглощения и рассеяния излучения атмосферой позволит провести оценку влияния этих факторов на формирование изображений цветных оптических корреляционно-экстремальных навигационных систем. Ключевые слова
корреляционно-экстремальная система навигации, оптическая КЭСН, цветной цифровой фотоаппарат, валидация, RGB Благодарности
Работа выполнена при поддержке гранта РФФИ 15-07-06928.
doi: 10.17586/2226-1494-2019-19-4-602-607
VALIDATION OF SPECTRAL MODEL OF DIGITAL COLOR CAMERA FOR IMAGE PROCESSING IN COLOR-VISION BASED OPTICAL CORRELATION-EXTREME AIRCRAFT NAVIGATION SYSTEM
A.V. Pushchin
JSC Central Research Institute for Automatics and Hydraulics, Moscow, 127018, Russian Federation Corresponding author: [email protected] Article info
Received 21.01.19, accepted 01.06.19 Article in Russian
For citation: Pushchin A.V. Validation of spectral model of digital color camera for image processing in color-vision based optical correlation-extreme aircraft navigation system. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 4, pp. 602-607 (in Russian). doi: 10.17586/2226-1494-2019-19-4-602-607
Abstract
The spectral mathematical model of a digital color camera as an opto-electronic device was designed in the process of algorithms development for color optical correlation-extreme navigation system of unmanned aerial vehicles. The model includes the relative spectral camera sensitivity for three color channels ("red", "green" and "blue") and the photosensitive cell charge accumulation calibration model. Both models were successfully developed and described in the earlier publications. This paper presents integral validation of these components as a mathematical model of the device for the use in optical correlation-extreme navigation systems image processing. The additive error of such model should be less than 15-20% of the dynamic measurement range. During the experiment, a sample of 24 reference objects spectrograms was collected, and their photo was taken by the studied camera under constant lighting conditions. The decoded color coordinates of the "raw" photo information averaged for each object and reduced to the linear scale with the radiometric calibration model were used as the reliable data generated by the camera. The spectrograms processed by the spectral sensitivity model were used as the output values of its mathematical model. The determination coefficient R2 was used as a mathematical model quality metric. Its value was equal to 0.98 in the worst case (for the "blue" color channel), and the additive error distribution appeared to be close to normal. Hence the conclusion can be drawn that the model explains data variability under the impact of random factors as reliable as possible with the use of a single independent variable. The average additive error in the unit dynamic range of measurements was equal to 0.014 with a standard deviation of 0.029. Such parameters meet the advanced requirements and prove that the developed mathematical model validation is successful. Applying the developed model makes it possible to correct the color of the current images according to light spectra while the photo is taken or synthesize images of objects in the ready sample photographs of the area. The supplement of the model by spectral characteristics of the atmosphere radiation absorption and scattering gives the possibility to assess the impact of these factors on the imaging process in color optical correlation-extreme navigation systems. Keywords
correlation-extreme navigation system, optical CENS, color digital camera, validation, RGB Acknowledgements
The research is carried out with the support of the Russian Foundation for Basic Research grant No. 15-07-06928.
Введение
В последнее время все более широкое применение получают корреляционно-экстремальные системы навигации (КЭСН) [1-3]. Также широко распространены разнообразные беспилотные летательные аппараты, несущие на борту аппаратуру фото- и видеосъемки, обычно мультиспектральной («цветной») [4]. Интерес представляет применение технологий оптических КЭСН для коррекции навигационных систем таких аппаратов, в дополнение к коррекции по спутниковым системам, подверженным влиянию различных помех. Для реализации алгоритмов цветных оптических КЭСН необходимо получение текущих и эталонных изображений в форме, инвариантной к аппаратной реализации используемых датчиков [5-9]. Для компенсации влияния атмосферы и погодных условий на оптический сигнал предлагается применение спектральных математических моделей физических явлений. Все это приводит к необходимости определения однозначной функциональной зависимости значений элементов цифровых фотоизображений (пикселей), получаемых при помощи конкретного фотоаппарата (ФА), от спектрального состава излучения, приходящего со стороны проецируемого на его фотодатчики участка сцены.
Благодаря линеаризации функции преобразования ФА [10], т.е. разработке его радиометрической калибровочной модели, стал возможен переход к рассмотрению «сырых» данных фотоснимков (RAW) с линейным масштабом цветовых координат, значение которых для каждого пикселя пропорционально отношению энергетической светимости области сцены, проецируемой на него объективом, к наибольшей в поле кадра. Это в свою очередь позволило определить относительную спектральную чувствительность ФА (спектральный коэффициент усиления) по трем его цветовым каналам [11]. Полученная совокупность математических моделей нуждается в экспериментальной проверке допустимости использования ее в качестве имитационной модели системы формирования изображений применительно к алгоритмам цветных оптических КЭСН. Такая процедура наилучшим образом соответствует термину «валидация», общепринятому
как в имитационном моделировании [12], так и в целом в технике1. На основании экспертного заключения, проведенного по результатам полунатурного моделирования [8], было принято решение считать критерием допустимости использования модели порождаемую ею аддитивную погрешность интенсивностью менее 15-20 % от динамического диапазона изображений.
Работа посвящена валидации спектральной модели цветного цифрового ФА, рассматриваемого как оптоэлектронное устройство, для применения в алгоритмах цветных оптических КЭСН на примере оборудования потребительского класса - цифрового зеркального ФА «Pentax K5» с установленным объективом «Индустар 50-2».
Схема, условия и допущения эксперимента
В настоящей работе был принят ряд допущений. Для моделирования естественного освещения используется лампа накаливания, спектр излучения которой считается непрерывным в видимом диапазоне длин волн и неизменным во времени после стабилизации температуры нити накаливания. Неизменность температуры нити накаливания отслеживается по значению измерений мощности, выдаваемой источником напряжения. Угловое распределение лучистой энергии, испускаемой объектом фотосъемки, принимается равномерным. ФА с объективом рассматриваются как единое оптико-электронное устройство с передаточной характеристикой - функцией длины волны X. Математическая модель преобразований в эксперименте описывается формулой2:
г5Г=к„я-\(ХУЕ(Х)<Гк,
Ai
где г^еаг € [0... 1] — значение цветовой координаты пикселя изображения по г-му каналу в линейном масштабе, безразмерная величина (б/р); г € {R, G, B} — названия цветовых каналов получаемого изображения, соответствующих аддитивной цветовой модели «RGB» (красный, зеленый, синий); knorm — нормирующий коэффициент, нм-1; [А.;...А.Й] — исследуемый спектральный диапазон, нм; S{(X) € [0...1] — относительная спектральная чувствительность г-го канала ФА, б/р; E(X) € [0.1] — относительная спектральная плотность мощности излучения объекта фотосъемки, б/р.
В ходе эксперимента в качестве выборки объектов фотосъемки выступали поля цветовой мишени «X-Rite ColorChecker Passport» (рис. 1, а) с нумерацией n € [0, 1,..23] начиная с верхнего левого поля построчно, а источником освещения — лампа накаливания мощностью 60 Вт. Оптическая ось объектива была направлена нормально плоскости мишени, источник освещения располагался под острым углом для исключения эффекта зеркального отражения. Чтобы не усложнять модель введением поправок для компенсации виньетирования, решено было размещать объект фотосъемки в центре кадра и вести съемку с такого расстояния, чтобы проекция мишени занимала область порядка % площади матрицы фотоэлементов, где яркость проекции наиболее равномерна и высока. Для измерения спектрального состава отраженного излучения цветовых полей брались их спектрограммы En(X) € [0.1] (рис. 1, в).
Все измерения проводились в лабораторном помещении при температуре окружающей среды 23-25 °С и давлении 750-760 мм рт. ст., удельная влажность воздуха в пределах 60-70 %. Для исключения влияния отраженного света, рассеиваемого посторонними предметами, измерения проводились в вечернее время при задернутых плотных шторах, а область проведения экспериментов была огорожена ширмами из черного непрозрачного материала.
Ось щупа спектрометра направлялась нормально полю мишени (рис. 1, б). Щуп оставался неподвижен относительно источника освещения: для смены исследуемого поля перемещалась сама цветовая мишень. Все спектрограммы получены с едиными настройками спектрометра, усреднены по трем замерам и нормированы по наибольшему значению в выборке, чтобы соотношение их амплитуд оставалось неизменным.
Сличение результатов моделирования с данными фотоснимка
Сущность процедуры валидации численной модели заключается в сличении значений, полученных в модели ФА путем преобразования набора входных данных, с реальными выходными показаниями ФА в тех же условиях и оценивании ошибок, на основании чего выносится решение о соответствии или несоответствии критериям применимости ее в конкретных условиях [12].
1 ГОСТ ISO 9000-2011. Системы менеджмента качества. Основные положения и словарь. Введ. 01.01.2013. М.: Стандартинформ, 2012. 32 с.
2 ISO 17321-1:2012 — Graphic technology and photography — Color characterization of digital still cameras (DSCs) — Part 1: Stimuli, metrology and test procedures.
С использованием оценки относительной спектральной чувствительности ФА по цветовым каналам & [0.. .1], получение которой описано в [11], были синтезированы цветовые координаты полей цветовой мишени в линейном масштабе г1^еаг & [0... 1] в соответствие с формулой:
£ linear
Un
Источником эталонных данных для сличения выступает файл «сырых» значений фотоснимка (RAW-файл) цветовой мишени, декодированный к формату TIFF программой DCRAW1 со следующими параметрами: -4 -D -T. Пример такого декодированного фотоснимка приведен на рис. 1, а. Участки фотоснимка, содержащие изображения цветовых полей, вырезаны в автоматизированном режиме в программном пакете MATLAB 2016a2 и сохранены в форме таблицы в текстовом файле. Дальнейшая обработка велась в программном пакете MathCAD Prime 3.03. Цветовые координаты пикселей r™w приведены к линейному масштабу с помощью калибровочной функции F~l [10], затем средние значения Fэтих цветовых координат нормированы по наибольшему значению в выборке. Моделируемые и экспериментальные данные представлены на рис. 2 в форме значений аддитивной погрешности —^(r^fw), а также ее диаграммы рассеяния (англ. scatter plot) и квантиль-квантильного построения (англ. QQ-plot).
Источник
Щуп спектрометра
Поле мишени Мишень
E„ 1
0,75 0,5 0,25 0
190 280 370 460 550 640 730 820 910 1000 1090 1180 Я, нм
Рис. 1. Объект фотосъемки (а), схема проведения эксперимента (б), полученные спектрограммы
для п полей цветовой мишени (в)
Коэффициент детерминации Я2 на выборке моделируемых значений составил 0,98 в худшем случае (в канале В), а распределение аддитивной погрешности оказалось близким к нормальному. Это позволяет сделать вывод о том, что модель объясняет изменчивость данных настолько достоверно, насколько это возможно в условиях воздействия случайных факторов и с использованием одной независимой переменной — длины волны. Средняя аддитивная погрешность А составила -0,014 со стандартным отклонением 0,029 при единичном динамическом диапазоне. Так как полученные значения не выходят за условленные границы, то на основании этих данных решено считать валидацию разработанной модели успешной, особенно принимая во внимание имеющийся потенциал дальнейшего повышения ее качества.
1 Dave Coffin's DCRAW [Электронный ресурс]. URL: http:/www.cybercom.net/~dcoffin/dcraw (дата обращения: 23.04.2019).
2 MATLAB — высокоуровневый язык технических расчетов [Электронный ресурс]. URL: https://matlab.ru/ products/matlab (дата обращения: 23.04.2019).
3 PTC Mathcad [Электронный ресурс]. URL: https://www.ptc.com/ru/products/mathcad/ (дата обращения: 23.04.2019).
s
0,75 -
0,5 ■■
0,25 -
Модель г/Гг
1 Квантили ошибок
Квантили
нормального
распределения
•V
/
-0,12 -0,06, . /-1,6
-3,2
0,06 0,12
Эксперимент
0,25 0,5
К 0,12
0,06
0
-0,06 -0,12
0,75
Я *
о ♦ в .
: :
•■*■.......*••
± ♦ х А * ' • .
♦ —......................
• * X | ♦
X *
X * X
0
4 6 8 10 12 14 16 18 20 22 24 п
Рис. 2. Сличение моделируемых цветовых координат с экспериментальными: диаграмма рассеяния (а); полученные ошибки: квантиль-квантильное построение (б) и значения по каналам I для п объектов (в)
Заключение
Для оценивания показателей качества численной модели цифрового цветного фотоаппарата был проведен эксперимент, в котором обработанные данные фотоаппарата сравнивались с результатом преобразования спектрограмм излучения в его математической модели. Анализ результатов показал, что модель описывает преобразование, происходящее в фотоаппарате, с высокой степенью достоверности (коэффициент детерминации 0,98) и с точностью, достаточной для применения в оптических корреляционно-экстремальных систем навигации: средняя по выборке из 24-х объектов аддитивная погрешность определения цветовых координат, приведенных к диапазону [0...1], составила -0,014 со стандартным отклонением 0,029. Таким образом, валидация математической модели является успешной.
Разработанная математическая модель делает возможным проведение цветокоррекции получаемых изображений, учитывая текущие измерения спектра освещения, а также синтез изображений объектов на фотографиях местности с цветовыми координатами, аналогичными выдаваемым моделируемым фотоаппаратом. Дополнение ее спектральными характеристиками поглощения и рассеяния излучения атмосферой позволит выявить и составить математическую модель влияния этих факторов на формирование фотоаппаратом цветных изображений, открывая возможность их алгоритмической компенсации, что повысит точность и стабильность функционирования алгоритмов цветных оптических корреляционно-экстремальных навигационных систем.
1
0
0
1
в
Литература
1. Джанджгава Г.И., Герасимов Г.И., Августов Л.И. Навигация и наведение по пространственным геофизическим полям // Известия ЮФУ. Технические науки. 2013. № 3. С. 74-84.
2. Степанов О.А., Торопов А.Б. Методы нелинейной фильтрации в задаче навигации по геофизическим полям. Ч. 1. Обзор алгоритмов // Гироскопия и навигация. 2015. № 3 (90). C.102-125.
3. Пешехонов В.Г., Степанов О.А. и др. Современные методы и средства измерения параметров гравитационного поля Земли. СПб.: Электроприбор, 2017. 390 с.
4. Шевыренков М.Ю. Анализ мирового рынка высотных беспилотных летательных аппаратов большой продолжительности полета // Экономические стратегии. 2016. Т. 18. № 2. С.148-160.
5. Щербинин В.В. Построение инвариантных корреляционно-экстремальных систем навигации и наведения летательных аппаратов. М.: МГТУ им. Н.Э. Баумана, 2011. 232 с.
6. Щербинин В.В., Шевцова Е.В., Васильева Ю.С., Чижевская О.М. Методы и алгоритмы функционирования цветной корреляционно-экстремальной системы навигации летательных аппаратов // Гироскопия и навигация. 2012. № 4 (79). С. 34-49.
7. Щербинин В.В., Васильева Ю.С., Шевцова Е.В. Предварительные результаты оценки сезонной стабильности информативного параметра цветной оптической КЭСНН ЛА // Известия ТулГУ. Технические науки. 2015. № 11-2. С. 19-27.
8. Щербинин В.В., Кветкин Г.А., Дегтярёв И.О., Шевцова Е.В. Анализ точностных характеристик цветной оптической корреляционно-экстремальной системы навигации ЛА // Материалы XVIII конференции молодых ученых «Навигация и управление движением». СПб.: 2016. С. 355-362.
9. Пущин А.В. Оценка стабильности спектральной чувствительности цифрового цветного фотоаппарата // Материалы XIX конференции молодых ученых «Навигация и управление движением». СПб., 2017. С. 140-142.
10. Щербинин В.В., Пущин А.В., Кветкин Г.А., Шевцова Е.В. Линеаризация функции преобразования цифрового цветного фотоаппарата для обработки изображений цветной оптической КЭСН // Известия ТулГУ. Технические науки. 2018. № 3. С. 54-64.
11. Щербинин В.В., Пущин А.В., Кветкин Г.А., Шевцова Е.В. Определение спектральных характеристик цифрового цветного фотоаппарата для обработки изображений цветной оптической КЭСН // Известия ТулГУ. Технические науки. 2018. № 5. С. 128-138.
12. Kmenta J. Elements of Econometrics. 2nd ed. New York: Macmillan, 1986.
References
1. Dhzandzhgava G.I., Gerasimov G.I., Avgustov L.I. Navigation and homing by spatial geophysical fields. Izvestiya SFedU. Engineering Science, 2013, no. 3, pp. 74—84. (in Russian)
2. Stepanov O.A., Toropov A.B. Nonlinear filtering for map-aided navigation. Part 1. An overview of algorithms. Gyroscopy and Navigation, 2015, vol. 6, no. 4, pp. 324-337. doi: 10.1134/S207510871504014
3. Peshekhonov V.G., Stepanov O.A. et al. Modern Methods and Means of Measuring the Parameters of the Earth Gravitational Field. St. Petersburg, Elektropribor Publ., 2017, 390 p. (in Russian)
4. Shevyrenkov M.Yu. Analysis of the global market of high altitude long endurance unmanned aerial vehicles. Economic Strategies, 2016, vol. 18, no. 2, pp. 148-160. (in Russian)
5. Shcherbinin V.V. Construction of Invariant Correlation-Extreme Systems of Navigation and Guidance of Aircraft. Moscow, N.E. Bauman MSTU Publ., 2011, 232 p. (in Russian)
6. Shcherbinin V.V., Shevtsova E.V., Vasil'eva Yu.S., Chizhevskaya O.M. Functioning methods and algorithms of color vision-based correlation-extremal aircraft navigation system. Gyroscopy and Navigation, 2013, vol. 4, no. 1, pp. 39-49. doi: 10.1134/S2075108713010082
7. Shcherbinin V.V., Vasil'eva Yu.S., Shevtsova E.V. Preliminary estimation results of seasonal stability color vision-based cens informative parameter. News of the Tula State University. Technical Sciences, 2015, no. 11-2, pp. 19-27. (in Russian)
8. Shcherbinin V.V., Kvetkin G.A., Degtyarev I.O., Shevtsova E.V. Analysis of the accuracy characteristics of a color optical correlation-extreme navigation system. Proc. 18th Conf. on Navigation and Control. St. Petersburg, Russia, 2016, pp. 355362. (in Russian)
9. Pushchin A.V. Stability estimation of the spectral sensitivity of a digital color camera. Proc. 19th Conf. of Young Scientists on Navigation and Control. St. Petersburg, Russia, 2017, pp. 140142. (in Russian)
10. Scherbinin V.V., Pushchin A.V., Kvetkin G.A., Shevtsova E.V. Linearization of the conversion function of a color digital camera for image processing in a color-vision based optical cens. News of the Tula State University. Technical Sciences, 2018, no. 3, pp. 54-64. (in Russian)
11. Scherbinin V.V., Pushchin A.V., Kvetkin G.A., Shevtsova E.V. Spectral Characterisation of a color digital camera for image processing in a color-vision based optical cens. News of the Tula State University. Technical Sciences, 2018, no. 5, pp. 128-138. (in Russian)
12. Kmenta J. Elements of Econometrics. 2nd ed. New York: Macmillan, 1986.
Автор
Пущин Алексей Викторович — инженер, АО «Центральный научно-исследовательский институт автоматики и гидравлики», Москва, 127018, Российская Федерация, ORCID ГО: 0000-0002-2917-7008, [email protected]
Author
Alexey V. Pushchin — engineer, JSC Central Research Institute for Automatics and Hydraulics, Moscow, 127018, Russian Federation, ORCID ID: 0000-0002-2917-7008, [email protected]
