CC BY
23
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ май-июнь 2018 Том 18 № 3 ISSN 2226-1494 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
May-June 2018
Vol. 18 No 3 ISSN 2226-1494
http://ntv.ifmo.ru/en
УДК 629.052.9
ОЦЕНКА СТАБИЛЬНОСТИ СПЕКТРАЛЬНОЙ ЧУВСТВИТЕЛЬНОСТИ ЦИФРОВЫХ ЦВЕТНЫХ ФО ТОАППАРАТОВ
А.В. Пущин"
a АО Центральный научно-исследовательский институт автоматики и гидравлики, Москва, 127018, Российская Федерация
Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 03.03.18, принята к печати 03.04.18 doi: 10.17586/2226-1494-2018-18-3-363-368 Язык статьи - русский
Ссылка для цитирования: Пущин А.В. Оценка стабильности спектральной чувствительности цифровых цветных фотоаппаратов // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 3. С. 363-368. doi: 10.17586/22261494-2018-18-3-363-368
Аннотация
Для определения возможности использования готовых цветных аэрофотоснимков в корреляционно-экстремальных системах навигации необходимо оценить стабильность цифровых цветных фотоаппаратов потребительского класса как устройств формирования изображений. В статье приведены результаты экспериментальной проверки гипотезы о малости вариативности получаемых фотоснимков в зависимости от модели применяемого фотоаппарата и от изменений фоновой обстановки объекта съемки. В экспериментальной части фотосъемка объекта ведется при неизменных условиях различными фотоаппаратами, а затем - одним фотоаппаратом, но с использованием различных цветных фонов. Анализ результатов показал, что отличия цветовых координат сжатых изображений, выдаваемых фотоаппаратами различных моделей, достигают 70%, что неприемлемо для использования в интересующих исследователей алгоритмах. Применение цветокоррекции в графическом редакторе позволяет снизить разброс до порядка 25%, что несколько превышает принятый предельно допустимый уровень погрешностей изображений (менее 15-20%). В случае обработки «сырых» данных размах отклонения сокращается до 15%, что удовлетворяет выдвигаемому критерию. Изменение фоновой обстановки вызывает малую (8% в худшем случае) аддитивную погрешность определения цветовых координат. По результатам экспериментов передаточную характеристику фотоаппарата можно считать стабильной во времени и от включения к включению. Полученные результаты позволяют утверждать, что применение изображений в форматах с сжатием способно вызвать нарушения функционирования алгоритмов корреляционно-экстремальных систем навигации. Гипотеза о малости вариативности фотоснимков по отношению к используемому фотоаппарату признана справедливой при условии получения и последующей обработки «сырых» данных, а также наличия в поле зрения устройства хотя бы одного эталонного объекта, цвет которого заранее известен. Ключевые слова
корреляционно-экстремальная система навигации, оптическая КЭСН, цветной цифровой фотоаппарат, RGB Благодарности
Работа выполнена при поддержке гранта РФФИ 15-07-06928.
SPECTRAL SENSITIVITY STABILITY ESTIMATION OF DIGITAL COLOR
CAMERAS A.V. Pushchin"
a JSC "Central Research Institute for Automatics and Hydraulics", Moscow, Russian Federation Corresponding author: [email protected] Article info
Received 03.03.18, accepted 03.04.18 doi: 10.17586/2226-1494-2018-18-3-363-368 Article in Russian
For citation: Pushchin A.V. Spectral sensitivity stability estimation of digital color cameras. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 3, pp. 363-368 (in Russian). doi: 10.17586/2226-1494-2018-18-3-363-368
Abstract
The necessity for stability assessment of consumer-grade digital color cameras as imaging devices is brought about by determination of the application possibility of color aerial images in correlation-extreme aircraft navigation systems. The paper presents the results of hypothesis experimental approval about small variability of obtained photos, depending on various camera models and the change in background conditions of the survey object. During the experiments, the photographing of the object is carried out under unchanged conditions by various cameras, and then by one camera, but with the use of various colored backgrounds. Analysis of the results showed that the differences in the color coordinates of compressed images produced by cameras of different models reach 70% that is unacceptable for application in algorithms of interest. The use of color correction in the graphic editor gives the possibility to reduce the spread to about 25% that is somewhat higher than the accepted maximum permissible level of image errors (<15-20%). In the case of "raw" data processing, the swing range is reduced to 15% that meets the criterion being advanced. The change in background conditions causes a small (8% in the worst case) additive error in determination of the color coordinates. According to experiment results, the transfer characteristics of the camera can be considered stable in time and from switching on to switching on. The results obtained make it possible to assert that the use of images in compressed formats may cause errors in the operation of the correlation-extreme aircraft navigation systems algorithms. The hypothesis that the distinction in the photographic images is small relative to the camera applied is recognized to be correct in case of the reception and subsequent processing of "raw" data, as well as the presence of at least one reference object with the color coordinates known in advance in the device field of view. Keywords
correlation-extreme navigation system (CENS), optical CENS, color digital camera, RGB Acknowledgements
The research was carried out with the support of grant No. 15-07-06928 of the Russian Foundation of Basic Research.
Введение
В настоящее время активно развивается сегмент гражданских и коммерческих беспилотных летательных аппаратов, предназначенных в первую очередь для осуществления фото- и видеосъемки. В состав таких устройств входят навигационные системы, оснащенные инерциальными датчиками низкой точности. Интерес вызывает возможность коррекции указанных навигационных систем по текущей видеоинформации с применением технологий корреляционно-экстремальных систем навигации (КЭСН), успешно себя зарекомендовавших в специальной технике [1, 2].
Для функционирования алгоритмов оптических КЭСН необходимы эталонные изображения местности [3, 4]. Для снижения издержек и значительного упрощения процесса подготовки полетного задания их желательно получать с использованием открытых баз данных цветных аэрофотоснимков. Такие базы содержат изображения в формате со сжатием JPEG, полученные при помощи многочисленных устройств, в различных условиях погоды и освещения и при неизвестных настройках съемки, поэтому возможность их использования вызывает сомнения. Также, несмотря на возможность частичной компенсации нелинейных искажений путем фильтрации [5, 6], крайне желательно, чтобы зависимость яркости областей изображений от экспозиции соответствующих им элементов сцены была линейной. Ввиду сказанного необходима проверка гипотезы о малой вариативности получаемых изображений в зависимости от применяемых для этого фотоаппаратов (ФА) и условий съемки.
Работа посвящена экспериментальной качественной оценке влияния на получаемый снимок отличий в передаточных характеристиках ФА потребительского класса различных моделей при съемке одного и того же объекта, а также устойчивости передаточной характеристики отдельного ФА к изменению цвета подстилающей поверхности (фона) вокруг объекта съемки.
Модель проведения экспериментов
В данной работе был принят ряд допущений. Для моделирования естественного освещения используется светодиодная лампа IKEA Ledare непрерывного спектра со встроенным стабилизатором тока и малым коэффициентом пульсации. Отражающие свойства объекта фотосъемки, цветовой мишени X-Rite ColorChecker Passport, принимаются постоянными во времени. В качестве выборки устройств взяты зеркальные ФА Pentax K-5, Canon 550D, Nikon D5100 с объективами и компактный ФА Sony DSC-WX350. Каждый ФА рассматривается как оптико-электронное устройство с передаточной характеристикой -функцией длины волны X . Таким образом, модель преобразования при фиксированных настройках съемки представляется в виде
[R (X),G(X),B(X)] = [Фл (X),Фс (X),Фв (X)] • р(X) • E(X), где R,G, B - значения координат пикселя по цветовым каналам ФА; [фД (X), Фс (x), Фв (X)] - векторная передаточная характеристика цветовых каналов ФА, известная как спектральная чувствительность или спектральный отклик [7]; р(Х)е[0...1] - отражающие свойства объекта фотосъемки; E(X) - спектр излучения объекта фотосъемки.
Таким образом, при съемке с использованием различных ФА, но при одинаковых параметрах экспозиции и настройках, отличия в результатах считаются вызванными отличиями в функциях
[ф л (X), Фс (х), Ф в (X)] этих ФА или неустойчивостью характеристики отдельно взятого ФА к применяемым в эксперименте возмущающим факторам. Мерой вариативности выступит относительное изменение усредненных регистрируемых цветовых координат полей мишени, а критерием малости вариативности изображений для применения в алгоритме КЭСН, отличающемся значительными робастностью [8] и стойкостью к помехам [9, 10], решено считать изменения менее 15-20%.
Для получения оценки был проведен ряд экспериментов (рис. 1). ФА устанавливались на штативе, объект фотосъемки и цветовой фон располагались на пюпитре, источник освещения помещался таким образом, чтобы исключить эффект зеркального отражения. В первом эксперименте менялись ФА, во втором - цветные фоны, на которых располагалась мишень. Для удобства статистической обработки и доступа к данным была введена единая нумерация N цветовых полей мишени - с верхнего левого (коричневого) поля 1 построчно, заканчивая правым нижним (черным) полем 24, - а также разработана процедура автоматизированного выделения отдельных участков изображений, содержащих данные поля.
Источник
а б
Рис. 1. Схема эксперимента (а); пример получаемого фотоизображения (б)
Как известно (например, из [11]), цвет может быть количественно определен и воспроизведен по аддитивной модели RGB, состоящей из трех базовых цветов (также называемых цветовыми каналами или координатами) красного, зеленого и синего (Red, Green, Blue). В этой же модели происходит регистрация цветов цифровым ФА и хранение данных. Цветовую модель RGB можно представить в виде трехмерного пространства с ортогональными координатными осями, а цвет пикселя - как радиус-вектор в этом пространстве. Ахроматические цвета (оттенки серого) лежат на прямой, соединяющей начало координат и точку максимума по всем координатам.
Абсолютные значения цветовых координат сами по себе неинформативны из-за конструктивных особенностей различных ФА и режимов их работы: информацию несут контраст, т.е. относительное изменение цветовых координат пикселей в кадровом пространстве конкретного изображения, и цвет, т.е. соотношение координат отдельного пикселя. Ввиду этого в рамках каждой отдельной цветовой координаты решено рассматривать нормированные величины и относительные приращения. Следует отметить, что в данной работе нормирование используется лишь для удобства анализа и сопоставления графиков, так как ранее в [12] было показано, что нормирование цветовых каналов цифровых фотоизображений по яркости в приложении к КЭСН может оказывать сильное влияние на работу системы.
Для определения изменений в пропорциях между координатами целесообразно перейти к другому цветовому пространству, которое бы предоставляло удобный доступ к данным о цветовом контрасте. В этом качестве выбрано коническое пространство «тон-насыщенность-значение» HSV (англ. Hue, Saturation, Value), принцип преобразования в которое подробно описан в [11]. Цветовой тон H здесь задается углом, откладываемым в единичной плоскости вокруг линии ахроматических оттенков от проекции оси R в направлении проекции оси G . Удаленность точки от центра круга соответствует насыщенности S (чистоте) цвета. Таким образом, точка на цветовом круге соответствует точке годографа вектора в RGB .
Экспериментально-аналитическая часть
На всех ФА вручную были выставлены одинаковые параметры съемки: эффективное фокусное расстояние 50 мм, выдержка 1 с, апертура f /8 , чувствительность ISO100; баланс белого (ББ) автоматически подстраивался в ФА по снимку нейтрально-серой карты. В первой фазе эксперимента рассматривались снимки в формате JPEG, формируемые непосредственно ФА. Результаты эксперимента показали, что отличия в определении нормированных цветовых координат различными ФА могут достигать сотен процентов для отдельных цветов (рис. 2).
В HSV наблюдаются разброс показаний до 30-70%, что превышает пороговое значение, и коллизии регистрируемых различными ФА цветов, не позволяющие проводить однозначное сегментирование цве-
тов по группам (кластеризацию). На приведенных графических материалах (рис. 2) в пространстве HSV точки, соответствующие одному и тому же цвету, соединены отрезками для возможности однозначной визуальной идентификации. Предварительный анализ показывает наличие систематической составляющей погрешности.
Rnormalised 1
0,75 0,5 0,25
0 2 4 6 8 10 12 14 16 18 20 22 24 N
' Pentax *Nicon -Canon "Sony а
90 90
б в
Рис. 2. Полученные из файлов JPEG нормированные значения для N регистрируемых цветов на примере координаты R (а); распределение регистрируемых цветов в пространстве HSV до цветокоррекции (б)
и после нее (в)
Во второй фазе эксперимента к тем же JPEG-снимкам была применена цветокоррекция. ББ принудительно устанавливался в фоторедакторе «ACDSee» по изображению нейтрально-серого поля мишени. Эта операция аналогична умножению значений по координатам на нормировочные коэффициенты, рассчитанные для цветовых каналов каждого ФА. Таким образом, после дополнительного нормирования значения отдельных координат и относительные их приращения остаются прежними, что нашло подтверждение в результатах эксперимента. В пространстве HSV наблюдается эффект от цветокоррекции. Регистрирование цветов стабилизировалось, средний разброс уменьшился до 20-25%, число коллизий снизилось. Для отдельных цветов разброс, напротив, увеличился.
В третьей фазе эксперимента JPEG-файлы создавались в фоторедакторе из RAW-файлов («сырых» данных с аналогово-цифровых преобразователей ФА) с выбором ББ по изображению серого поля мишени. В этой фазе эксперимента отсутствуют данные от ФА Sony, так как в нем не предусмотрена съемка в режиме RAW. Погрешность определения отдельных цветовых координат снизилась и составила в среднем менее 15% (рис. 3). В пространстве HSV наблюдается полное разделение отдельных цветов без коллизий.
Для проверки стабильности передаточной функции отдельно взятого ФА был проведен второй эксперимент, во время которого черный фон, обозначенный как K, последовательно менялся на набор цветных: красный R, зеленый G, синий B и белый W. Съемка велась в режиме RAW при помощи ФА Pentax K-5 с неизменными настройками ББ. Выбор данного ФА в качестве исследуемого обусловлен как принадлежностью его к полупрофессиональному классу, что позволяет ожидать высокой стабильности получаемых результатов, так и субъективными пристрастиями экспериментатора. Анализ результатов эксперимента показал, что приращения цветовых координат на всех полях мишени приблизительно одинако-
вы, что позволяет сделать вывод об аддитивном характере погрешности; наибольшее же относительное приращение любой цветовой координаты ожидаемо наблюдается на поле мишени, в котором ее значение изначально мало (т.е. где низко соотношение сигнал/шум). Усредненное по всем полям влияние фонов 5 составило менее 8 % (рис. 4). В пространстве HSV разделение отдельных цветов полное, без пересечений. Наибольшее отклонение цвета наблюдается у ахроматических оттенков малой яркости (на графике -вблизи центра цветового круга).
Rnormaîised 1
0,75 0,5 0,25
90
150
120
/
60
X
30
180
0
\ -
210
2 4 6
Pentax
10 12 * Nicon
а
14 16 • Canon
18 20 22 24 N
240
270
б
128 256
, /
330
300
Рис. 3. Полученные из файлов RAW нормированные значения для N регистрируемых цветов на примере координаты R (а); распределение регистрируемых цветов в пространстве HSV (б)
8, % 10
8
6
4
2
0
90
150
180
210
K
R _ _G В
4 SR -SG *8В а
W Фоны
270
б
Рис. 4. Полученные из файлов RAW относительные приращения значений координат (а); распределение
регистрируемых цветов в пространстве HSV (б)
Влияние цветных фонов можно объяснить эффектом отражения, проявляющимся обычно в снижении контраста изображения и появлении бликов [13]. Многократно переотраженное от границ оптических сред (поверхностей линз и внутренних стенок объектива) излучение материала фона вызывает аддитивную погрешность по всему полю кадра. Важно отметить, что с увеличением времени экспонирования или светового потока источника излучения погрешность будет нарастать пропорционально, так как имеет оптическую природу и не является дефектом светочувствительной матрицы.
Заключение
Исследование показало, что фотоснимки в формате JPEG, полученные при помощи различных фотоаппаратов, отличаются по цветовым каналам RGB до 30-70%. Исходя из принятого критерия малости вариативности, было сделано заключение, что их непосредственное применение может вызвать нарушения функционирования алгоритмов корреляционно-экстремальных систем навигации. По предварительным данным, в цветовом пространстве HSV наблюдается систематическая составляющая погрешности, характеризуемая определенным для конкретного фотоаппарата отклонением годографа векторов всех регистрируемых цветов. Частичное устранение отличий становится возможным благодаря применению цветокоррекции по областям снимка с известными цветовыми координатами. В этом случае, по каналам RGB они сокращаются до 25% и менее, за исключением отдельных цветов, влияние которых можно ис-
0
0
0
ключить последующим маскированием таких областей пикселей перед использованием в алгоритме корреляционно-экстремальной системы навигации. Гипотеза о малости вариативности снимков по отношению к используемому фотоаппарату признана справедливой при условии съемки в режиме RAW с последующей обработкой получаемых изображений, включающей непосредственное задание баланса белого по областям снимка с известными цветовыми координатами.
По результатам экспериментов функцию спектральной чувствительности фотоаппаратов можно считать стабильной во времени и от включения к включению. Съемка на различных фонах показывает, что в среднем влияние фона на получаемую от фотоаппарата информацию об объекте составляет менее 8%. Влияние это имеет оптическую природу и привносит погрешность, имеющую аддитивный характер. Дальнейшие изыскания предполагается направить на получение количественных оценок передаточных характеристик фотоаппаратов, моделирование и компенсацию влияния погодных и сезонных условий съемки.
Литература
1. Джанджгава Г.И., Герасимов Г.И., Августов Л.И. Навигация и наведение по пространственным геофизическим полям // Известия ЮФУ. Технические науки. 2013. № 3. С. 74—84.
2. Белоглазов И.Н., Казарин С.Н., Косьянчук В.В. Обработка информации в иконических системах навигации, наведения и дистанционного зондирования местности. М.: Физматлит, 2012. 368 с.
3. Щербинин В.В. Построение инвариантных корреляционно-экстремальных систем навигации и наведения летательных аппаратов. М.: МГТУ им. Н.Э. Баумана, 2011. 232 с.
4. Щербинин В.В., Шевцова Е.В., Васильева Ю.С., Чижевская
0.М. Методы и алгоритмы функционирования цветной корреляционно-экстремальной системы навигации летательных аппаратов // Гироскопия и навигация. 2012. № 4 (79). С. 34-49.
5. Степанов О.А., Торопов А.Б. Методы нелинейной фильтрации в задаче навигации по геофизическим полям. Ч.
1. Обзор алгоритмов // Гироскопия и навигация. 2015. № 3 (90). C. 102-125.
6. Степанов О.А., Торопов А.Б. Методы нелинейной фильтрации в задаче навигации по геофизическим полям. Ч.
2. Современные тенденции развития. // Гироскопия и навигация. 2015. № 4 (91). С. 147-159.
7. Jiang J., Liu D., Gu J., Süsstrunk S. What is the space of spectral sensitivity functions for digital color cameras? // Proc. IEEE Workshop on Applications of Computer Vision (WACV). Tampa, USA, 2013. doi: 10.1109/WACV.2013.6475015
8. Баклицкий В.К., Бочкарев А.М., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации. М.: Радио и связь, 1986. 216 с.
9. Щербинин В.В., Кветкин Г.А., Дегтярёв И.О., Шевцова Е.В. Анализ точностных характеристик цветной оптической корреляционно-экстремальной системы навигации ЛА // Материалы XVIII конференции молодых ученых «Навигация и управление движением». СПб.: 2016. С. 355-362.
10. Щербинин В.В., Васильева Ю.С., Шевцова Е.В. Предварительные результаты оценки сезонной стабильности информативного параметра цветной оптической КЭСНН ЛА // Известия ТулГУ. Технические науки. 2015. № 11-2. С. 19-27.
11. Гонзалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
12. Щербинин В.В., Кветкин Г.А., Калинина А.А., Шевцова Е.В. Исследование точностных характеристик оптических КЭСНН ЛА для нормированных изображений // Известия ТулГУ. Технические науки. 2016. № 11-3. С. 145-153.
13. Фотокинотехника: Энциклопедия / Гл. ред. Е.А. Иофис. М.: Советская энциклопедия, 1981. 449 c.
Авторы
Пущин Алексей Викторович - инженер, АО Центральный научно-исследовательский институт автоматики и гидравлики, Москва, 127018, Российская Федерация, ОЯСГО ГО: 0000-00022917-7008, [email protected]
References
1. Dhzandzhgava G.I., Gerasimov G.I., Avgustov L.I. Navigation and homing by spatial geophysical fields. Izvestiya SFedU. Engineering Science, 2013, no. 3, pp. 74-84. (in Russian)
2. Beloglazov I.N., Kazarin S.N., Kos'yanchuk V.V. Information Processing in Iconic Navigation, Tracking and Remote Sensing Systems. Moscow, Fizmatlit Publ., 2012, 368 p. (in Russian)
3. Shcherbinin V.V. Construction of Invariant Correlation-Extreme Systems of Navigation and Guidance of Aircraft. Moscow, N.E. Bauman MSTU Publ., 2011, 232 p. (in Russian)
4. Shcherbinin V.V., Shevtsova E.V., Vasil'eva Yu.S., Chizhevskaya O.M. Functioning methods and algorithms of color vision-based correlation-extremal aircraft navigation system. Gyroscopy and Navigation, 2013, vol. 4, no. 1, pp. 39-49. doi: 10.1134/S2075108713010082
5. Stepanov O.A., Toropov A.B. Nonlinear filtering for map-aided navigation. Part 1. An overview of algorithms. Gyroscopy and Navigation, 2015, vol. 6, no. 4, pp. 324-337. doi: 10.1134/S207510871504014
6. Stepanov O.A., Toropov A.B. Nonlinear filtering for map-aided navigation. Part 2. Trends in the algorithm development. Gyroscopy and Navigation, 2016, vol. 7, no. 1, pp. 82-89. doi: 10.1134/S2075108716010132
7. Jiang J., Liu D., Gu J., Susstrunk S. What is the space of spectral sensitivity functions for digital color cameras? Proc. IEEE Workshop on Applications of Computer Vision, WACV. Tampa, USA, 2013. doi: 10.1109/WACV.2013.6475015
8. Baklitskii V.K., Bochkarev A.M., Mus'yakov M.P. Methods of Signal Filtering in Correlation-Extreme Navigation Systems. Moscow, Radio i Svyaz' Publ., 1986, 216 p. (in Russian)
9. Shcherbinin V.V., Kvetkin G.A., Degtyarev I.O., Shevtsova E.V. Analysis of the accuracy characteristics of a color optical correlation-extreme navigation system. Proc. 18h Conf. on Navigation and Control. St. Petersburg, Russia, 2016, pp. 355-362. (in Russian)
10. Shcherbinin V.V., Vasil'eva Yu.S., Shevtsova E.V. Preliminary estimation results of seasonal stability color vision-based cens informative parameter. News of the Tula State University. Technical Sciences, 2015, no. 11-2, pp. 19-27. (in Russian)
11. Gonzales R.C., Woods R.E. Digital Image Processing. 2nd ed. Upper Saddle River, Prentice Hall, 2002, 793 p.
12. Shcherbinin V.V., Kvetkin G.A., Kalinina A.A., Shevtsova E.V. Research of precision characteristics of vision-based cens of the aircraft by normalized color images. News of the Tula State University. Technical Sciences, 2016, no. 11-3, pp. 145-153. (in Russian)
13. Photo-Cine-Equipment: Encyclopedia. Ed. E.A. Iofis. Moscow, Sovetskaya Entsiklopediya Publ., 1981, 449 p. (in Russian)
Authors
Alexey V. Pushchin - engineer, JSC "Central Research Institute
for Automatics and Hydraulics", Moscow, 127018, Russian
Federation, ORCID ID: 0000-0002-2917-7008,
