CC BY
39
УДК 535.65.088.3:535.622
DOI: 10.33764/2618-981Х-2019-4-1-19-27
ЦВЕТОВОСПРИЯТИЕ ЦИФРОВЫХ КАМЕР
Ирина Георгиевна Пальчикова
Конструкторско-технологический институт научного приборостроения СО РАН, 630058, Россия, г. Новосибирск, ул. Русская, 41, доктор технических наук, зав. лабораторией, тел. (383)306-58-74, e-mail: [email protected]
Евгений Сергеевич Смирнов
Конструкторско-технологический институт научного приборостроения СО РАН, 630058, Россия, г. Новосибирск, ул. Русская, 41, научный сотрудник, тел. (383)306-62-20, e-mail: [email protected]
Решается задача получения монохроматических цветовых стимулов с контролируемой шириной спектра. Экспериментальная установка выполнена на основе монохроматора УМ-2. Построен цифровой атлас монохроматических стимулов. Экспериментально показано, что спектральная чувствительность RGB-сенсоров камеры может быть протестирована с помощью монохроматических стимулов. Разработан метод измерения цветового охвата камеры.
Путем математического моделирования и обсчета экспериментальных данных с монохроматическими стимулами выявлены спектральные зависимости цветоразрешения камеры и полного цветового различия ДЕ. Показано, что невозможно установить одинаковое значение ДЕ для всего спектрального диапазона. Обсчет данных эксперимента с разделением растений одного вида на группы по условиям выращивания путем оценки цвета листьев обнаружил, что наиболее релевантным параметром является насыщенность цвета.
Ключевые слова: цифровое изображение, цвет, доминирующая длина волны, насыщенность, малые цветовые разницы.
COLOR PERCEPTION WITH THE DIGITAL CAMERAS
Irina G. Palchikova
Technological Design Institute of Scientific Instrument Engineering SB RAS, 41, Russkaya St., Novosibirsk, 630058, Russia, D. Sc., Head of Laboratory, phone: (383)306-58-74, e-mail: [email protected]
Evgenii S. Smirnov
Technological Design Institute of Scientific Instrument Engineering SB RAS, 41, Russkaya St., Novosibirsk, 630058, Russia, Researcher, phone: (383)306-62-20, e-mail: [email protected]
An experimental installation, based on the multi-purpose monochromator "UM-2", was created. It allows to get the monochromatic color stimuli with a controlled width of the spectrum. The color chart of monochromatic stimuli was created. The monochromatic stimuli were used to demonstrate the test spectral sensitivity of any camera's RGB sensors in the experiment. The method for finding out the camera's color gamut has been developed.
The mathematical modeling and calculation by the experimental data are showed both the spectral dependence of the color resolution of the camera, and the same dependence for the full delta E color difference. The inability to set the same delta E value for the full spectral range is shown. Plants of the same species that were grown in different conditions show a different saturation.
Key words: digital image, color, dominant wavelength, saturation, small color differences.
Введение
В настоящее время камеры с трехцветными фильтрами Байера чаще всего используются для восприятия и передачи цвета, в том числе и в трехцветных колориметрах. Задачи [1, 2], которые решает компьютерное зрение, настолько разнообразны, что практически в каждом конкретном случае требуется разработка специализированных алгоритмов обработки цифровых изображений. Отдельный интерес представляют задачи по выявлению и количественному выражению малых цветовых разниц, в частности, в полиграфии [3], при разработке устройств с использованием термокраски [4], в криминалистике [5,6,7] при экспертизе документов и дифференциации штрихов реквизитов документа, и др.
В трехцветных колориметрах [8] в цифровых изображениях информация о цвете содержится в виде триплета {RGB} сигналов яркости, из которых и вычисляются количественные параметры цвета, например, доминирующая длина волны (ДДВ) и насыщенность цвета (НЦ) которые хорошо согласуются с перцептивными оценками цвета. Как показали [9] экспериментальные исследования, камеры, откалиброванные производителем общепринятым образом, не отличаются способностью осуществлять передачу цвета линейно. Там же обоснована необходимость проведения дополнительной калибровки таких камер.
Изучение особенностей цветопередачи цифровых камер (или фотоматриц), а также качества их цветового профилирования является актуальным.
В настоящей работе предлагается метод определения спектральной чувствительности RGB-сенсоров камеры с помощью монохроматических стимулов, получаемых экспериментально. Рассматриваются особенности реализации экспериментальной установки, предназначенной для создания цифрового атласа монохроматических стимулов. Обсуждаются возможности дополнительной цветовой калибровки цифровых камер и их использование для выявления малых цветовых различий на примере анализа цифровых фотографий растений.
Методы и результаты исследования
Для изучения спектральной зависимости отклика каналов камеры была создана экспериментальная установка (рис. 1, а, б), состоящая из источника света - лампы накаливания, конденсора, универсального монохроматора УМ-2 (с элементами в составе: линза, призма сравнения, входная щель переменной ширины, объектив коллиматора, диспергирующая призма Аббе со связанным с ней барабаном длин волн, объектив зрительной трубы, выходная щель переменной ширины), малогабаритного многоканального спектрометра «Колибри-2» (ООО «ВМК-Оптоэлектроника», Россия, Новосибирск), и приемника излучения - камеры Canon EOS 500D (Canon Inc., Japan) с объективом.
Свет от источника конденсором через линзу направляется на входную щель монохроматора, находящуюся в фокусе объектива коллиматора, после которого свет проходит через призму Аббе и разлагается в спектр. Объектив
(рис. 1, в) зрительной трубы строит изображение входной щели конфокально с выходной щелью монохроматора, которое рассматривается объективом камеры и сохраняется в виде цифрового изображения (фрагмент дан на рис. 1, г).
а) б) в) г)
Рис. 1. а) фотография экспериментальной установки; б) фотография барабана длин волн; в) фотография камеры с объективом в сборке; г) фотография
фрагмента выходной щели
Корректная градуировка УМ-2 (рис. 2) позволяет сопоставить значения длины волны X монохроматического света на выходе монохроматора с углом ф поворота барабана длин волн. Градуировка выполнялась по стандартной методике с использованием ртутной лампы.
а)
А Д2_9 9%
-
460
510
560 X, нм
б)
610
660
Рис. 2. К градуировке монохроматора:
а) зависимость угла поворота барабана от длины световой волны; б) спектральная зависимость полуширины спектра излучения 5Х после выходной щели. Экспериментальные данные (точечная линия) аппроксимированы сплошной линией
Выходная щель УМ-2 является источником монохроматического излучения. Спектральный состав этого излучения контролировался спектрометром «Колибри-2», спектр снимался при повороте барабана и изменении длины волны на 1 нм. Зависимость угла поворота барабана от длины световой волны дана на рис. 2, а. Спектральная зависимость полуширины спектра 5Х излучения представлена на рис. 2, б и является линейной.
При получении цифрового атласа цветов одновременно со снятием спектров «Колибри-2» на неподвижную относительно установки цифровую зеркальную камеру брались изображения выходной щели УМ-2 (см. рис. 1, г). Режим работы камеры «Пользовательский», который подробно охарактеризован в [9]. Этот режим исключает предобработку изображения встроенным процессором камеры по ее усмотрению.
Источником света при получении монохроматических стимулов служила лампа К220-100. Съемка элементов цифрового атласа цветов велась при следующих настройках камеры: диафрагма - f/25, выдержка - 1/500 с, чувствительность ISO 100, баланс белого - 5461°^. Источник света с температурой 5461°^ наиболее близок [10] к равноэнергетическому белому источнику света.
В видимом спектре были получены 168 изображений спектральных стимулов - образцов цифрового атласа с шагом 1 нм. В каждом элементе атласа область полутени удалена.
Полученные монохроматические стимулы позволяют протестировать камеру и построить спектральные отклики фотоматрицы. Спектральный отклик матрицы является сверткой функции спектральной чувствительности самой матрицы с функцией спектрального распределения энергии в источнике излучения. На рис. 3, а приведен фрагмент спектра лампы, нормированный на его максимум, который находится в ИК-области. На рис. 3, б показан спектральный отклик камеры, на рис. 3, в - спектральная чувствительность фотоматрицы после деконволюции со спектром лампы, полученные кривые являются спектрами пропускания фильтра Байера на фотоматрице.
о 250
[—I
§-200 о К
К И" сз
ЕГ
ев &
*-. Л Н О О И
с. О?
150 100
50 0
1 1 ч
/ .•■t г. 1: 1 •
: 1 1 : 1
1 1 1 1 : —
J у Л
440 540 640
)ц НМ
б)
Рис. 3. а) Фрагмент спектра источника излучения К220-100; б) спектральный отклик каналов RGB, полученный непосредственным фотографированием; в) спектральный отклик каналов RGB после деконволюции со спектром лампы
По монохроматическим стимулам производились вычисления соответствующих им доминирующих длин волн (ДДВ), величина ДДВ усреднялась по всему изображению стимула. Результаты представлены на рис. 4. Прямая пунктирная линия на рис. 4, а отмечает идеальную цветопередачу камеры. Экспериментально полученная зависимость ДДВ от длины волны света X, измеренной спектрометром, показана сплошной линией на рис. 4, а. Интервалы среднеквадратичных отклонений (СКО) обозначены знаком «I». Рассматриваемая зависимость ДДВ (X) близка к данным, полученным в [9] с помощью полиграфического атласа цветов. В [9] предложен алгоритм внесения поправочных коэффициентов в расчет доминирующей длины волны, позволяющий линеаризовать зависимость ДДВ (X), чтобы приблизить ее к прямой линии идеальной цветопередачи. Измерения и расчеты с монохроматическими стимулами выполнены с меньшим шагом по длинам волн, чем при использовании [9] атласа. Поэтому мы смогли выявить всплеск величин ДДВ для стимулов 477-485 нм (рис. 4, а) и особенности спектрального отклика синего канала В при регистрации стимулов с длинами волн более 590 нм. По полученным данным координаты стимулов были нанесены на диаграмму цветности (х,у) и таким образом получен цветовой охват камеры, как показано на рис. 4, б, где сплошная линия приведена для средних значений координат (х, у) на каждом стимуле, а точечная и пунктирная линии - для величин их СКО в отрицательную и положительную стороны, соответственно. Полученная фигура заметно отличается от треугольника.
0,75 0,62 0,49
гЧ
0,36 0,23 0,10
i
'-кг. v /
/ Е v\i '■ V
• V\ \ Ч| \ » \ \
4 \' \> ■„с —
R
0,10 0,23 0.36 0,49
а) б)
Рис. 4. а) спектральная зависимость ДДВ в случае идеальной цветопередачи (пунктирная линия) и экспериментально полученная (сплошная линия). Величина СКО нанесена знаком «I»; б) экспериментально определенный цветовой охват камеры Canon EOS 500D на диаграмме (x,y)
Таким образом, предложен метод тестирования цветопередачи цифровых камер с помощью экспериментально получаемых монохроматических стимулов. Апробирование метода выполнено на примере камеры Canon EOS 500D.
Правильно откалиброванная камера позволяет выявлять и количественно определять малые цветовые разницы. Цветоразличение и количественные характеристики цветовой разницы определяются [3] в системе CIE LAB. Полное цветовое различие ДЕ рассчитывается по следующей формуле (1):
AE = J(l; - LR ) + (a* - aR )2 + (b* - bR )2 , (1)
где индексы обозначают T - тестируемый стимул, R - стимул сравнения.
Известно [11, 12], что величина AЕ = 3 принимается за порог визуального цветоразличения, т.е. цвета, для которых полное цветовое различие меньше трех, при визуальной оценке наблюдателем будут неразличимы.
С помощью разработанного атласа мы провели сравнение визуального и компьютерного цветоразличения. Известно [13], что наилучшее визуальное различение монохроматических стимулов соответствует 1 нм в разнице длин волн. Именно поэтому мы построили атлас с таким шагом по длинам волн. В работе [14, 15] показано, что пороги цветоразрешения камер с дигитализа-цией выше, чем 8 бит, существенно ниже визуальных.
Экспериментальные данные для Canon EOS 500D были использованы для того, чтобы подобрать такие триплеты (RGB), цветовое отличие между которыми будет пороговым для глаза человека ^E = 3) (рис. 5, а). Выбранные таким образом цвета располагаются по спектру не равномерно. Так в окрестности 540 и 580 нм наблюдается скопление цветовых точек, в то время как в окрестности 510 и 620 нм точки разрежены. На графике рис. 5, а вдоль оси абсцисс обозначены координаты точек ДДВ, таких, что цветовая разница между соседними точками равна 3. На графике рис. 5, б - спектральная зависимость разницы ЛДДВ между соседними точками. Ход кривой не очевидный и не простой.
Для точек, расположенных равномерно по спектру с шагом 1 нм, выполнены расчеты ДE между соседними точками. Результаты расчетов даны на рис. 6. Величина ДE может становиться как больше трех, так и меньше трех единиц. В окрестности пиков (539 нм и 582 нм) ДE увеличивается и в этих областях компьютерное зрение различит монохроматические стимулы с разницей в длинах волн меньшей, чем 1 нм, если равномерность в окраске стимула будет соответствующей. На трех участках спектра 505-533, 540-575 и 586-628 нм параметр ДE демонстрирует рост при равномерном увеличении значения ДДВ (рис. 6).
Таким образом, показано, что цветоразличительная способность камеры имеет спектральную зависимость. Поэтому невозможно установить одинаковое пороговое значение ДE для всего спектрального диапазона.
. 3.05
ч
о
| 2,95
460 480 500 520 540 560 580 600 620 640
ДДВ, нм
а)
б)
Рис. 5. Компьютерное зрение:
а) спектральное распределение точек, цветовое отличие между соседними парами АЕ = 3; б) спектральное распределение ДДДВ для пар стимулов, отстоящих друг от друга на величину АЕ = 3
6' -
ё 4,75 3 3,00 1,25
А— —
)
лЛ--** V УЧ. Л
460
480
500
520
540 560 ДДВ, нм
580
600
620
640
Рис. 6. Компьютерное зрение. Спектральное распределение АЕ для пар стимулов, отстоящих друг от друга на величину АХ=1±0,25 нм
В задачах дистанционного зондирования окраска растений является одной из важных характеристик изображений. В нашей работе мы использовали камеру для выявления и количественной оценки малых цветовых различий листьев георгинов, выращенных в весенний период на южном («Ю») и северном («С») окнах помещения, по три емкости, соответственно. Были получены и обработаны 74 фотографии растений на фоне белой бумаги. Одинаковые настройки камеры при съемке и одинаковый алгоритм обработки обеспечили возможность для сравнения результатов между собой. Алгоритм включает в себя нормировку исходного снимка на изображение белого фона вблизи изображения растения. Затем на изображении выделяется участок размером 100*100 пикселей,
значения сигналов RGB по которому усредняются. Для каждой емкости вычислялись усредненные цветовые координаты (x,y) и средние значения ДДВ и НЦ. Координаты шести точек (по числу емкостей) были нанесены на диаграмму цветностей (x,y). (рис. 7, а). На рис. 7, а точечная линия, разделяющая точки «Ю» и «С», параллельна линии локуса, направление увеличения насыщенности обозначено линией со стрелкой. По цвету образцы практически не отличались. Отличие по средним групповым значениям ДДВ составило чуть более 0,5 нм, в то время как СКО было ±1,3 нм.
а)
Рис. 7. Цветовой контраст между группами растений:
а) расположение цветовых точек емкостей на диаграмме цветности (х,у); б) средние величины насыщенностей и их СКО (обозначенных как « I») в зависимости от номера емкости
На рис. 7, а видно, что точки цветности «Ю» и «С» располагаются практически вдоль одной линии НЦ последовательно: вначале Южные «Ю», а затем - Северные «С» по мере увеличения НЦ (рис. 7, а). По величине НЦ удалось разделить группы с южного и северного окон - разница составила около 2,8% (рис. 7, б). Северные образцы обнаружили более насыщенные оттенки. Величины СКО для южных образцов были на 7 % больше, чем для северных. Между сравниваемыми группами вычисленное значение полной цветовой разницы равно АЕ = 4. То есть визуально группы не различимы. Использование камеры в качестве трехцветного колориметра позволило выявить разницу в условиях выращивания растений одного вида и оценить тонкое цветовое отличие в окраске листьев георгинов.
Заключение
Создана экспериментальная установка на основе монохроматора УМ-2, которая позволяет получать монохроматические цветовые стимулы с контролиру-
емой шириной спектра. Разработан метод экспериментального получения цифрового атласа монохроматических стимулов. Показано, что спектральная чувствительность ^Gß-сенсоров камеры может быть протестирована с помощью монохроматических стимулов. Разработан метод измерения цветового охвата камеры, апробация метода выполнена на примере камеры Canon EOS 500D.
Путем математического моделирования и обсчета экспериментальных данных с монохроматическими стимулами выявлены спектральные зависимости цветоразрешения камеры и полного цветового различия. Поэтому невозможно установить одинаковое значение ДЕ для всего спектрального диапазона. Найденные зависимости необходимо учитывать при решении экспертных задач определения цветовых различий, например, штрихов надписей в документах.
Эксперименты с разделением растений на группы по условиям выращивания путем оценки цвета листьев показали, что наиболее релевантным параметром является насыщенность цвета, если растения относятся к одному виду.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Грузман И. С., Киричук В. С., Косых В. П. и др. Цифровая обработка изображений в информационных системах: Учебное пособие. - Новосибирск: Изд-во НГТУ, 2000. - 168 с.
2. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2012. -1104 с.
3. ГОСТ Р 52490 - 2005 (ИСО 7724-3:1984). Материалы лакокрасочные. Колориметрия. Часть 3. - Введ. 2007-01-01. - М.: Стандартинформ, 2006. - 6 с.
4. ГОСТ Р 53698-2009. Контроль неразрушающий. Методы тепловые. Термины и определения. - Введ. 2011-01-01. - М.: Стандартинформ, 2010. - 8 с.
5. Баринова О. А., Пальчикова И. Г. Возможность цветового анализа красящих веществ при производстве технико-криминалистической экспертизы документов // Судебная экспертиза. - Волгоград: Волгоградская академия МВД России. - 2017. - № 4(52). - С. 75-82.
6. Селиванов Н. А. Криминалистический определитель цвета. - М., 1977. - 29 с.
7. Купин А. Ф. Криминалистическое исследование рукописей, выполненных с подражанием почерку другого лица: дис. канд. юрид. наук. - М., 2012. - 234 с.
8. Пальчикова И. Г, Алейников А. Ф., Чугуй Ю. В. и др. Видеоанализатор количественных цветовых характеристик образцов // Приборы. - 2014. - № 12. - С. 38-44.
9. Пальчикова И. Г. Латышов И. В., Васильев В. А. и др. Цветовой анализ цифровых изображений при производстве экспертных исследований следов выстрела // Доклады Академии наук высшей школы Российской Федерации. - 2015. - № 2 (27) - С. 88-101.
10. CIE convertor: [Эл. ресурс]. URL: www.ledtuning.nl/en/cie-convertor (28.03.2019).
11. Стефанов С., Реализация цвета. - М.: Книга по Требованию, 2014. - 532 с.
12. Джадд Д., Вышецки Г. Цвет в науке и технике. - М.: «Мир», 1978. - 592 с.
13. Вавилов С. И. Глаз и Солнце. О свете, Солнце и зрении. - М.: Наука, 1976. - 128 с.
14. Palchikova I. G., Smirnov E. S., Palchikov E. Iv. Quantization noise as a determinant for color thresholds in machine vision // Journal of the Optical Society of America A Vol. 35, Is. 4, pp. B214-B222 (2018) https://doi.org/10.1364/J0SAA.35.00B214.
15. Пальчикова И. Г., Смирнов Е. С. Интервальная оценка параметров цвета из цифровых изображений // Компьютерная оптика. - 2017. - Т. 41, № 1. - С.95-102.
© И. Г. Пальчикова, Е. С. Смирнов, 2019
