CC BY
44
О количественной оценке малых цветовых различий на цифровых изображениях
И.Г. Пальчикова1, Е.С. Смирнов1, О.А. Баринова2, И.В. Латышов 3, В.А. Васильев2, А.В. Кондаков2 1 Федеральное государственное бюджетное учреждение науки Конструкторско-технологический институт научного приборостроения Сибирского отделения Российской академии наук, 630058, Россия, г. Новосибирск, ул. Русская, д. 41, 2 Федеральное государственное казённое образовательное учреждение высшего образования «Волгоградская академия Министерства внутренних дел Российской Федерации», 400075, Россия, г. Волгоград, ул. Историческая, д. 130, 3 Федеральное государственное казённое образовательное учреждение высшего профессионального образования «Санкт-Петербургский университет Министерства внутренних дел Российской Федерации», 198206, Россия, г. Санкт-Петербург, ул. Лётчика Пилютова, д. 1
Аннотация
Рассматриваются особенности использования и возможности, предоставляемые трёхцветными колориметрами или цифровыми камерами, в задачах выявления малых цветовых различий методами компьютерного зрения. Экспериментально выявлена спектральная зависимость полных цветовых различий между парами монохроматических стимулов, цвет которых не различается визуально. Создана экспериментальная установка на основе моно-хроматора УМ-2, с помощью которой экспериментально построен цифровой атлас монохроматических стимулов с шагом 1 нм. Атлас служит для тестирования цветового охвата и цветоразличения камер. Экспериментально показано, что в видимом спектральном диапазоне величину цветового различия в 3 единицы обнаруживают пары стимулов, расположенные по спектру неравномерно и отличающиеся по длинам волн от 1 до 6 нм. Возможности компьютерного зрения тестируются на примерах выявления дописок при технико-криминалистической экспертизе документов.
Разработан новый алгоритм для обнаружения и количественной характеризации цветового различия в дописках по цифровому фотоизображению сделанной надписи. Объективный анализ изображения предлагается разделить на блоки цветовой сегментации и оценки цветового тона и цветового различия. В такой постановке блок цветовой сегментации выполняет функции предобработки, задавая карту границ разноокрашенных классов для последующих вычислений. Метод Оцу оптимального глобального порогового преобразования впервые применён к задаче сегментации изображения по насыщенности цвета. Апробация алгоритма подтвердила его эффективность в решении экспертных задач цветоразличения.
Ключевые слова: цветовой охват цифровой камеры, RGB-сенсор, цвет, монохроматические стимулы, доминирующая длина волны, насыщенность, обработка цифрового изображения, алгоритм Оцу, сегментация, цветовое различие.
Цитирование: Пальчикова, И.Г. О количественной оценке малых цветовых различий на цифровых изображениях / И.Г. Пальчикова, Е.С. Смирнов, О.А. Баринова, И.В. Латышов, В.А. Васильев, А.В. Кондаков // Компьютерная оптика. - 2020. - Т. 44, № 4. - С. 606-617. -DOI: 10.18287/2412-6179-CO-631.
Citation: Palchikova IG, Smirnov ES, Barinova OA, Latyshov IV, Vasiliev VA, Kondakov AV. About quantifying small color differences in digital images. Computer Optics 2020; 44(4): 606-617. DOI: 10.18287/2412-6179-CO-631.
Введение
В настоящее время не существует единых подходов и решений для задач компьютерного зрения. Основные направления развития теории компьютерного зрения связаны [1], с одной стороны, с построением общей модели когнитивного визуального процесса, а с другой - с разработкой алгоритмов решения различных некорректных задач распознавания зрительных
образов. Существующие на сегодняшний день методы направлены на решение строго определённых задач компьютерного зрения и редко могут быть обобщены для широкого круга применений.
Одной из важных задач колориметрии и цветовоспроизведения является выявление и количественная оценка малых цветовых различий между двумя стимулами. Задачи колориметрии достаточно хорошо развиты в части, касающейся цветопередачи монито-
ров, телевидения, лакокрасочной промышленности. Однако остаётся ряд нерешённых вопросов при производстве специальных исследований, в частности, технико-криминалистических экспертиз документов, где требуется количественно определять малые цветовые различия.
Как правило, для заданного цветового стимула колориметрические устройства определяют трёхцветные коэффициенты или координаты цвета. Обычно анализатор цвета дополняется калибровочным цветовым атласом. По принципам работы и внутреннего устройства выделяют три типа анализаторов цвета: спектрорадиометры, спектрофотометры и колориметры с трёхцветными фильтрами. Как спектрорадио-метры, так и спектрофотометры выполняют регистрацию спектра видимого света, оцифровку полученного сигнала в зависимости от длины волны и последующий компьютерный анализ. Однако спектры чернил, как правило, не содержат чётко выраженных линий, а незначительные различия в спектрах не позволяют однозначно выявлять малые цветовые различия штрихов записей. Так, в работе [2] делается вывод о необходимости особой осторожности при снятии и интерпретации спектров чернильных штрихов, чтобы суметь исключить из рассмотрения вариации концентрации чернил и вклад в спектр света, рассеянного носителем (подложкой) записи.
Из спектральных данных могут быть рассчитаны трёхцветные коэффициенты по ГОСТ 13088 [3], они обусловливаются цветовым пространством и могут быть поняты как количества трёх основных цветов (R, G, B) в аддитивных цветовых моделях, обычно в координатах (X, Y, Z). Приборы, оснащённые спектрометром, такие как Docucenter Nirvis (PROJECTINA, Switzerland), позволяют получить объективные и количественные цветовые характеристики. Однако спектрометр обрабатывает световой пучок и не работает с изображением. Кроме того, цветовые характеристики находятся расчётным путём из спектральных, и в случае определения малых цветовых различий точность вычислений оказывается недостаточной.
Колориметры с трёхцветными фильтрами регистрируют только значения трёхцветных коэффициентов для образца, и для них необходима более аккуратная цветовая калибровка [4, 5]. Они обладают высоким пространственным разрешением, так как в регистраторе используется оптическая система построения изображения. Сами регистраторы легко могут быть встроены в оптические конструкции, а также легко реализуются, поскольку в этом качестве могут использоваться популярные изображающие системы, такие как цифровые камеры или сканеры.
Новая методика оценки цветовых различий с помощью построения сенсорных зависимостей представлена в работе [6]. С помощью метода многомерного шкалирования были попарно сопоставлены факторы, искажающие цветные изображения, и выявле-
но, что визуальная перцепция демонстрирует наибольшую чувствительность к парам с искажениями «насыщенность - цветовой тон» и «контраст -цветовой тон» и наименьшую - к цветовому различию при сопоставлении пар стимулов с изменениями «светлота - контраст».
Для обнаружения фальсификаций в записях используются современные методы обработки изображений, полученных путём сканирования документа [7]. Алгоритм [7] включает конвертацию изображения в монохромное представление, его сегментацию и кластеризацию с целью выделения набора отдельных областей, которые могут совпадать с отдельными буквами. По каждой области набора строится вектор характеристик из данных ЯвВ-каналов. В качестве меры отличия областей используется среднеквадратичное отклонение между векторами. Этот алгоритм позволяет с точностью от 94 до 98 % обнаружить области, в которых характеристики существенно отличаются от средних значений по набору. Следует заметить, что характеристики отнюдь не определяют собственно цвет областей или насыщенность цвета, которые приняты при производстве экспертиз.
Оценка цветовых различий [8] при производстве экспертиз документов является трудоёмким процессом, требующим значительных временных затрат. Установление факта изменения первоначального документа сопряжено с дифференциацией штрихов реквизитов документа [9]. В настоящее время анализ и оценка цвета красящих веществ или цветовых различий сравниваемых штрихов осуществляется визуальной перцепцией с применением определителя цвета, составленного Н.А. Селивановым [10]. Основной недостаток визуальных оценок обусловлен их субъективностью и недостаточной воспроизводимостью. При применении традиционных методов исследования материалов письма, обладающих визуально сходными цветовыми характеристиками, эксперт может неправильно интерпретировать полученные результаты [8], в то время как количественная инструментальная оценка цветовой разницы позволяет сделать экспертное заключение объективным.
При визуальной перцепции ощущаемое цветовое различие характеризуется пороговой чувствительностью, т.е. существует некоторое минимальное ощущаемое различие между стимулами. Если различие меньше этого порога, то оно не выявляется визуально. Однако цветовые пороги компьютерного зрения никак не связаны с порогами визуальной перцепции. В работе [11] показано, что пороги компьютерного зрения обусловливаются аналого-цифровым преобразованием (АЦП) сигналов фотоматрицы и становятся существенно ниже визуальных уже при разрядности АЦП 8 бит на канал.
Принципиально новые возможности для анализа записей [12, 13] предоставляют гиперспектральные изображения, получаемые в узких спектральных по-
лосах в диапазоне от 400 до 1100 нм. Спектры поглощения чернил часто существенно отличаются в диапазоне от 700 до 1100 нм, что и позволяет обнаруживать дописки. Обработка и оценка гиперспектральных изображений [14] позволяют решать различные научные и прикладные задачи с акцентом на дистанционное зондирование Земли, распознавание лесной растительности разного породного состава, состояния посевов и т.п. Вместе с тем развитие гиперспектральных технологий не исключает задач, связанных с оценкой малых цветовых различий.
В настоящей работе рассматриваются особенности использования и возможности, предоставляемые трёхцветными колориметрами [15] (или цифровыми камерами), в задачах выявления малых цветовых различий методами компьютерного зрения. Качество измерений методами компьютерного зрения определяется технологиями создания фотоприёмных устройств и компьютеров. Поэтому прежде всего предлагаются и рассматриваются способ и установка для экспериментального построения цифрового атласа монохроматических стимулов. Далее выполняется спектральное тестирование количественной оценки цветовых различий близких стимулов как в экспериментах с монохроматическими стимулами, так и методами математического моделирования. Предлагается и апробируется способ тестирования цветопередачи цифровых камер с помощью цифрового атласа. Затем проводится сравнение спектральных зависимостей цветовых различий, наиболее часто используемых на практике. Полученные экспериментальные результаты и результаты математической обработки изображений представлены в параграфах статьи 2 и 3, они обосновывают применимость методов компьютерного зрения в задачах выявления малых цветовых различий. В параграфе 4 возможности компьютерного зрения тестируются на примерах выявления дописок при технико-криминалистической экспертизе документов. Предлагается новый алгоритм объективной оценки цветовых различий штрихов надписей по их цифровым изображениям, состоящий из следующих этапов: расчёта карты цветовых характеристик изображения, её цветовой сегментации, оценки цветового тона и цветового различия областей интереса.
1. Материалы и методы
Для рассматриваемых вопросов первостепенное значение имеет достоверность и точность количественного определения спектральных цветов в изображении, эффективность передачи цвета. Особенности регистрации и необходимые параметры съёмки цифровых изображений, предназначенных для обработки и извлечения количественных данных, а также вопросы дополнительной цветовой калибровки камер подробно проанализированы в [16]. В экспериментах с цветоиз-мерительными системами применялись зеркальные фотокамеры, используемые криминалистами, в част-
ности, Canon EOS 500D (Canon Inc., Japan). Данный фотоаппарат допускает режим пользовательских настроек, в котором исключена возможность предобработки цифрового изображения встроенным процессором самой камеры. Изображение образца регистрировалось в формате RAW, 14-бит на канал, в режиме пользовательских настроек баланса белого без автоматической коррекции соотношения цветовых каналов. Зарегистрированные изображения образцов попик-сельно нормировались на соответствующие изображения белого фона атласа, съёмка которого осуществлялась камерой предварительно. По нормированным изображениям и производились все вычисления.
Метод описания цвета
В оптоэлектронном трёхцветном колориметре свет от стимула (или образца) переносится оптическими компонентами на фотоматрицу, где разделяется на триплет яркостных сигналов RGB. Каждый из сигналов подвергается АЦП и в результате при разрядности АЦП 8 бит имеет 256 градаций яркости.
Оценка цветовых характеристик основывается именно на этих яркостных сигналах, и её результаты выражаются в виде координат заданного цветового пространства. В расчётах использовался спектральный локус10 (см. рис. 1) для колориметрического наблюдателя с углом зрения десять градусов.
Из значений RGB-интенсивностей рассчитываются координаты (x,y) цветности каждого пикселя на плоской диаграмме цветностей и цветовой угол а (рис. 1). Проекция координат (R, G, B) в систему CIE 1931 XYZ осуществляется [17, стр. 246] по формулам:
X = 2,7687 • R +1,7516 • G +1,1301-B , (1)
Y = R + 4,5904 • G + 0,0601-B , (2)
Z = 0,0565• G + 5,5939• B . (3)
Значения хроматических координат Yxy определяются как:
x = -
X
X + Y + Z
У =
Y
X + Y + Z
(4)
Для вычисления доминирующей длины волны (ДДВ) (Х^) света (нм) [5, 17] и насыщенности цвета (НЦ) (0 < 5 < 1) в каждой точке А изображения (в пикселе) используется спектральный локус. Для определения Хс1 и 5, кроме цветовых координат точки А, необходимо знать цветовые координаты осветителя, которые в нашем случае являются координатами рав-ноэнергетического белого цвета
Е(х5гс = 0,33;у5ГС = 0,33). Геометрическая иллюстрация нахождения ДДВ дана на рис. 1.
Насыщенность 5 рассчитывается с помощью следующего выражения:
yjjxsrc - x)2 +(ysrc - У )2'
^(Xsrc - Wx )2 +(ysrc - Wy )2
(5)
Рис. 1. Иллюстрация геометрического способа определения ДДВ образца на диаграмме цветностей с координатами (x,y) для локусаю. Насыщенность цвета возрастает вдоль
прямой ЕА от 0 до 1 (непосредственно на локусе). Цветовой угол а для точки цвета А отсчитывается от прямой, проходящей через точку белого E и параллельной оси x. Сплошная жирная линия показывает расположение точек цвета монохроматических стимулов, построенных экспериментально с шагом 1 нм. Средние значения RGB -стимулов располагаются на сплошной линии, среднеквадратичные отклонения указаны точечной и пунктирной линиями. В диапазоне значений x от 0,19 до 0,28 все три линии сливаются. Экспериментально определённый цветовой охват камеры заметно отличается от треугольника на диаграмме (x,y)
где xSrc и ySrc - хроматические координаты источника; Wx и Wy - хроматические координаты ДДВ, полученные в точке пересечения спектрального локуса с прямой, соединяющей точку E источника (x^rc, ysrc) с точкой цвета A (x, y) пикселя. В наших приложениях мы не вводили дополнительных длин волн для пурпурных цветов, а принимали для них отрицательные значения на линии пурпурных тонов. При таком определении пурпурные цвета не маскируют остальные в процессе последующей обработки цифровых изображений и не используются для выделения характеристик изображения или значимых маркёров. В расчётах использовались также цветовые углы (см. рис. 1), которые, по определению, однозначно связаны с ДДВ и однозначно представляют как спектральные, так и пурпурные цвета.
Цветовые различия
При захвате цветного изображения сигнал на выходе каждого элемента (пикселя) фотоприёмной матрицы есть результат свёртки трёх спектральных откликов:
780
Ui = K J E (X) р (X) 5,- (X) SX , (6)
380
где i = R, G, B, E (X) - спектр осветителя, p (X) - спектральный коэффициент отражения (или пропускания) образца, 5,- (X) - спектральная характеристика фильтра
Байера на фотоматрице. То есть если два стимула (участка объекта или штриха записи) имеют различные спектральные характеристики, то и трёхцветные коэффициенты этих стимулов будут различными.
АЦП сигналов фотоматрицы определяют пороги цветоразличения для компьютерного зрения [11, 18]. Расчёты спектральной зависимости цветоразличения камеры с дигитализацией 14 бит на канал выполнены по методу математического моделирования, представленному в [18].
Результаты даны пунктирной линией на рис. 2 в сравнении с данными для глаза [19, стр. 81] (сплошная линия) и камеры с дигитализацией 8 бит [11] (точечная линия). Наилучшее визуальное цветоразличе-ние [19] достигается в области зелёных цветов (X ~ 500 нм), где разница длин волн монохроматических стимулов близка к 1 нм. Мы нашли, что теоретическое цветоразрешение камеры с дигитализацией 14 бит на канал превосходит визуальное по крайней мере в 100 раз для монохроматического света в видимом диапазоне, что иллюстрируется точечным и пунктирным графиками на рис. 2. То есть в компьютерном зрении цветовое пространство CIE 1931 XYZ является практически равноконтрастным.
Разности длин волн, нм_
ч .— —__ г
\ \ Ч Ч / / / /
ч ч ч S / ✓ _^ ~kd, К И
400 440 480 520 560 600 640
Рис. 2. Цветоразличение глаза и компьютерного зрения: спектральная зависимость разности длин волн сравниваемых стимулов. Ось ординат имеет логарифмический масштаб. Сплошная линия относится к визуальному цветоразличению (по данным [19], стр. 81), точечная линия построена для 8-битного представления цифрового сигнала [18] и пунктирная линия -для 14-битного представления
Для визуальной перцепции метод количественной колориметрической оценки малых цветовых различий пигментов, пигментированных лакокрасочных материалов и покрытий устанавливается национальным стандартом РФ [20]. Для компьютерного зрения подобных стандартов не существует. Однако, по-видимому, с помощью компьютерного зрения возможно выявить и оценить цветовую разницу стимулов даже в том случае, когда визуально она не проявляется.
Для оценки цветовых различий обычно используется [20] цветовое пространство С1Е 1976 Ь*а*Ъ*, где цвет определяется через координаты (X*, а*, Ь*), которые получают преобразованием [20] координат цвета (X, У, 2). Координата X* определяет светлоту стимула,
координата a* - положение цвета в диапазоне от зелёного до красного, b* - от синего до жёлтого. В приложениях также часто используется цветовое пространство CIE LUV, которое приближено к перцептивно равномерному и позволяет определить различие цветов для человека с «усреднённым» зрением. Цветовые различия AEab, AE* рассчитываются как евклидово расстояние между двумя цветами в заданном цветовом пространстве:
Kb )2 = (* )2 +(да )2 +(дй*)
(дС )2 = 104 |(Au*)2 +(Av*)
(7)
(8)
Цветовое пространство CIE LUV вычисляется из CIE XYZ по формулам [17, стр. 249].
Различие цветового тона (AH* )2 [16] вычисляется путём вычитания квадрата хроматической разницы
*
и квадрата светлотной разницы из величины AEab.
В настоящей работе для оценки цветовых различий выбраны формулы разработки CIE 1976 г., которые широко используются на практике. К преимуществам этих формул относится то, что они ассоциированы с определённым цветовым пространством и не требуют вычисления дополнительных коэффициентов. Однако, чтобы сблизить визуальную и инструментальные оценки цветовой разницы, комитет CIE разработал новый стандарт [21] цветоразностной формулы CIE AE2000, который включает пять дополнений: поворот цветового угла тона, чтобы устранить проблемы в синей области; компенсация для нейтральных цветов; компенсация для светлоты; компенсация для насыщенности цвета; компенсация для тона. Коэффициенты параметрической корректировки введены для учёта различных условий эксперимента. Однако выявлены [22] ошибки реализации и математические разрывы в формуле CIE AE2000. Поэтому анализ, проведённый в настоящей работе, основывался на апробированных и широко используемых формулах CIE 1976.
2. Представление цветовых оттенков в различным моделях
Для определения наиболее предпочтительного представления цвета в экспертных оценках нами исследовалась релевантность использования ДДВ в качестве цветового параметра путём сравнения различных цветовых моделей.
Результаты математического моделирования выявили, что характеристики цветового тона в цветовых моделях HSV (Hue, Saturation, Value) и CIE 1976 L*a*b* нелинейно зависят от ДДВ. По заданным значениям яркости трёх компонент RGB-изображения с помощью координат спектрального локуса10 рассчитывалась зависимость цветового тона модели HSV от вычисленного значения ДДВ (Xd). Шаг координат ло-куса10 - 0,1 нм. Результаты расчётов, представленные
на графике рис. 3, подтверждают возможность однозначного сопоставления оттенка цвета Н и соответствующего ему значения
Ние, градусы 300 -
200
100
380 430 480 530 580 630
Рис. 3. Зависимость оттенка цвета Hue от значений Xd
Неспектральные цвета не приводятся на графике. Зависимость Hue от ДДВ является существенно нелинейной, причём отчётливо выделяются три области, в которых значительное изменение ДДВ слабо влияет на величину Hue.
Учитывая, что ДДВ является проекцией точки цвета на локус, можно утверждать, что ДДВ - это более подходящий параметр для количественных оценок спектральных цветов в задачах экспертной оценки. Пурпурные цвета равноправно с монохроматическими включаются в рассмотрение с помощью такого параметра, как цветовой угол, который обычно присутствует как промежуточный результат при расчёте ДДВ
3. Спектральная зависимость цветовым различий
Тестирование и сравнение малых цветовых различий в пространствах CIE 1976 L*a*b* и Luv выполнялось для пар стимулов, расположенных в видимом спектральном диапазоне. Стимулами служили монохроматические световые полоски, полученные на экспериментальной установке, содержащей осветитель, универсальный монохроматор УМ-2, малогабаритный многоканальный спектрометр «Колибри-2» с оптоволоконным входом (ООО «ВМК-Оптоэлектро-ника», Россия, Новосибирск) и приёмник излучения -камеру Canon EOS 500D с объективом. Принципиальная схема установки дана на рис. 4а.
Съёмка стимулов (элементов цифрового атласа цветов) велась при следующих настройках камеры Canon EOS 500D: диафрагма - f/25, выдержка -1/500 с, чувствительность ISO 100, баланс белого -5461°K (источник света с температурой 5461°K наиболее близок [23] к равноэнергетическому). Камера регистрировала цветное изображение выходной щели монохроматора, поворот диспергирующей призмы Аббе осуществлялся поворотным барабаном длин волн (рис. 46) и задавал среднюю длину волны выходящего света, ширина щели определяла ширину спектрального диапазона. Оптимальная ширина щели достигается на дифракционном пределе, после чего идёт увеличение ширины спектра выходящего свето-
вого пучка. Изображения щели имеют вид полосок (см. рис. 4в). Распределение яркости в поперечном направлении каждого изображения неравномерное, центральная часть полоски наиболее яркая и содержит определённо выраженный цвет, в то время как справа и слева от неё находятся области полутени. Область цвета отделялась от полутени на фрагменте цифрового изображения (48*48 пикселей) путём установления границы между классами следующим образом. Цветное изображение разделяется на слои и переводится в монохромное по формуле:
У = 0,2989Я + 0,58Ю + 0,1145 ,
(9)
где Y - значение яркости в пикселе.
Монохроматор УМ-2
Осветитель
1#! 2 1
СЕрЭ^
V_________О @_ Спектрометр
!Т< »д g vi/p «Коли6ри-2»
Компьютер
а) Камера
5
б) У v " в)
Рис. 4. Принципиальная схема экспериментальной установки для создания монохроматических стимулов в виде окрашенных световых полосок (а). Осветитель: 1 - источник света (лампа К220-100), 2 - конденсор. Монохроматор УМ-2: 3 - входная щель
переменной ширины, 4 - объектив коллиматора, диспергирующая призма Аббе, 6 - объектив зрительной
трубы, 7 - выходная щель переменной ширины, 8 - подвижное зеркало. Приёмник излучения - камера Canon EOS 500D с объективом. Малогабаритный многоканальный спектрометр «Колибри-2» с оптоволоконным входом 9. Компьютер для сбора и обработки данных (программное обеспечение (ПО) «Атом-3.3», ПО Canon). Поворотный барабан монохроматора (б). Изображения элементов атласа. Спектральный диапазон 470 - 648 нм (в)
В результате вычислений находятся 2304 значения яркости в фрагменте. Эти значения яркости образуют одномерный массив данных, в котором они упорядочиваются по убыванию и сглаживаются скользящим средним. Сглаживание производится по 17 соседним значениям, при изменении этого значения в пределах 25 % смещение границы составит лишь несколько пикселов, что в данном случае несущественно. С помощью фильтрующей маски {1*17} находится местоположение максимума локальной дисперсии данных, которое и принимается за граничное для разделения значений яркости на два класса.
Построенные таким образом цифровые монохроматические элементы атласа содержат лишь области цвета без полутеней.
В эксперименте получались изображения щели в монохроматическом свете с известной (задаваемой) длиной волны и шириной спектра. Дополнительно спектральный состав излучения в пределах полоски контролировался спектрометром «Колибри-2» с оптоволоконным входом. Таким образом, был создан цифровой атлас, содержащий цветовые монохроматические элементы с минимальным шагом по длинам волн в 1 нм. Вычислительные эксперименты проводились с элементами цифрового атласа, у которых насыщенность цвета была предельной для RGB-цветов, яркость выровнена до 35 градаций серого. Разница монохроматических длин волн между парами элементов составляла 1, 2, 3, ..., 10 нм. По полученным данным 168 точек с координатами элементов были нанесены на диаграмму цветности (x, y) и расположились на ней неравномерно. Неравномерность обусловливается формой локуса и расположением треугольника RGB. В расчёты брались значения (R, G, B), усреднённые по элементу. На рис. 1 сплошная жирная линия отмечает средние значения координат (x, y) каждого элемента. Полученная фигура заметно отличается от треугольника и является экспериментально определённым цветовым охватом используемой в эксперименте камеры. Таким образом возможно тестировать цветопередачу цифровых камер с помощью экспериментально получаемых монохроматических стимулов. Точечная и пунктирная линии на диаграмме рис. 1 показывают величины среднеквадратичных отклонений (СКО) в отрицательную и положительную стороны для координат (x, y) изображения каждого стимула. СКО варьировалось от 0,2 % до 5 % относительно среднего значения.
Цветовые различия вычислялись по формулам (7) - (8) между парами элементов атласа. Уверенно регистрировались цветовые различия даже для величин ДЕ* = 0,3 . Результаты расчётов представлены на рис. 5а. Величина ДЕ* изменяется от 0,3 до 3 (практически в 10 раз) для пар элементов, расположенных равномерно в видимом спектральном диапазоне с шагом 1 нм. Результаты расчётов цветовых различий выявили существенную спектральную зависимость их количественной оценки. Этот факт отражает неравномерность визуальной перцепции света, а именно: разрешающая способность по цвету для глаза человека имеет спектральную зависимость, которая нашла отражение и в конструкции цветовых пространств.
На рис. 5а приведены соответствующие диаграммы, рассчитанные по элементам атласа. Следует отметить, что ход всех кривых содружественный, экстремумы достигаются при близких значениях ДДВ. Линия 3 всегда располагается ниже линии 2. Величины ДЕ*
во всем спектральном диапазоне меньше, чем рассчи-
*
танные величины АЕаЬ (примерно в 10-20 раз). Полученные графики подтверждают, что компьютерное зрение позволяет выявить меньшие цветовые разницы, чем визуальная перцепция.
Для экспертной оценки разницы цвета представляет интерес также сравнение спектральных зависи-
*
мостей цветовых различий АЕаЬ и отклонений цветового тона АН*,. На рис. 5 б приведены графики экспериментально найденной спектральной зависимости
АЕ*, и АН*,. Величина АЕ* соразмерна с величи-
*
ной АНаЬ во всем спектральном диапазоне, ход всех кривых содружественный, экстремумы достигаются при близких значениях ДДВ.
Расчёты выявили существенную спектральную зависимость цветовых различий между монохроматическими стимулами, расположенными равномерно по спектру. Для того, чтобы выяснить, каким образом на локусе располагаются монохроматические стимулы, у которых цветовые разницы между парами соседних стимулов одинаковы, были проведены расчёты цветовой разницы ДДДВ между парами стимулов, для *
которых АЕаЬ = 3 во всем диапазоне вычисляемых значений ДДВ. Вдоль оси ДДВ эти стимулы располагаются неравномерно. Рис. 5в демонстрирует спектральные изменения ДДДВ между парами стимулов,
*
для которых АЕаЬ = 3 . Резкие скачки значений цветовых различий вблизи ДДВ, равной 540 нм и 580 нм, обусловлены «сгущением» стимулов.
Мы обнаружили, что в видимом диапазоне вели*
чину цветового различия АЕаЬ = 3 демонстрируют пары стимулов, отличающиеся по длинам волн от 1 до 6 нм, и такая разница в ДДВ, несомненно, выявляется компьютерным зрением.
В зависимости от решаемых практических задач
рекомендуется считать, что если значение хроматиче-
*
ской разницы АЕаЬ между двумя стимулами < 4, то визуально их цвета не различимы. Однако наши экспериментальные данные показывают, что эти рекомендации не вполне обоснованы для полного спектрального диапазона, используемого в компьютерном зрении, скорее всего они применимы к одним спектральным участкам и не применимы к другим. И здесь встает вопрос: какие величины цветовой разницы должны считаться достоверными, когда компьютерное зрение используется для решения экспертных задач количественного определения малых цветовых различий, в частности в криминалистике?
Из полученных результатов очевидно, что любая из рассмотренных цветовых разниц может использоваться для её количественного выражения. Необходимо лишь установить пределы цветовой разницы в выбранной цветовой системе и в интересующем спектральном диапазоне, при которых цвета стимулов не различимы (визуально или компьютерно).
0,6 0,5 0,4 0,3 0,2 0,1 0
между парами стимулов. Сплошная линия 1 отмечает АЕ*т для стимулов, расстояние между которыми равно 1 нм (а); пунктирная линия 2 - АЕ*аЬ для стимулов, расстояние между которыми равно 2 нм; точечная линия 3 - АЕ*л для стимулов, расстояние между которыми равно 1 нм. Расстояние между стимулами равно 1 нм (б): сплошная линия 1 - АН*аъ(кй), и точечная линия 2 - зависимость АЕ*аъ(кй). Спектральные изменения АДДВ для пар соседних стимулов, между которыми АЕ*аЬ = 3 (в)
4. Определение количественной цветовой разницы штрихов надписей, выполненных различными красящими веществами
Эксперименты по количественной оценке цветовой разницы штрихов проводились с образцами надписей, выполненных пишущими приборами семи различных производителей. Экспериментальные образцы были нанесены на бумагу для офисной техники «8уе1оСору» (ТУ5438-016-00253497-2001, производства ОАО «Светогорск», Россия) следующими красящими веществами: пастой для шариковых ручек синего цвета, чернилами для гелевых ручек сине-голубого цвета, чернилами для гелевых ручек синего цвета, чернилами для капиллярных ручек синего цвета, чернилами для роллерных ручек синего цвета.
В работе [8] представлены результаты экспериментов по выявлению дописок в надписях с помощью \МеоТоо1-М [15]. Проведённые эксперименты показали, что при установлении факта изменения первоначального содержания документа возможно, не разрушая документ, дифференцировать однородные, ви-
зуально сходные по цветовым характеристикам красящие вещества, используя в качестве количественной характеристики как разницу НЦ (или ДДВ), так и полное цветовое различие между двумя цветами АЕаЬ выделенных областей изображения. Сложность такого подхода [8] заключается в необходимости выделения именно окрашенных областей. Как правило, красящие вещества ложатся на поверхность бумаги неравномерно, и на изображении штриха всегда есть не-прокрашенные пятна. Кроме того, не всегда удаётся выделить область интереса именно в пределах штриха, захватывается и изображение бумаги. Все это вносит шум, искажает оценку разницы ДДВ, НЦ и АЕаЬ, и в пограничных случаях АЕаЬ ~ 4 затрудняет выделение дописки.
Мы разработали и апробировали новый алгоритм для обнаружения и количественной характеризации дописок по цифровому фотоизображению сделанной надписи. Объективный анализ изображения предлагается разделить на блоки цветовой сегментации и оценки цветового тона и цветовой разницы. В такой постановке блок цветовой сегментации выполняет функции предобработки, задавая карту границ разно -окрашенных классов для последующих вычислений.
Чтобы исключить влияние неравномерности освещения и виньетирование объектива, первоначально выполняется фотографирование белого фона и вычисление матрицы коэффициентов для выполнения ЯвВ-послойной нормировки изображения надписи.
Цветовая сегментация
На этапе предобработки области изображения, относящиеся к бумаге, отделяются от окрашенных областей, причём цвета окраски очень близки между собой. То есть все пиксели необходимо разделить на два класса по цвету. Методы пороговой сегментации изображений по яркости известны и достаточно хорошо разработаны [24, 25].
В настоящей работе фотографии выполняются в условиях контролируемого освещения [26], и в цифровых изображениях исключаются неравномерности освещения и виньетирование объектива. Это позволяет использовать робастный метод Оцу [24] оптимального глобального порогового преобразования. Успешность этого метода целиком зависит от того, насколько хорошо гистограмма поддаётся разделению. Сегментация должна производиться по одному из количественных параметров цвета. Поэтому обработке подвергается гистограмма насыщенности НЦ, а отнюдь не яркости. Из ЯвВ-матриц цветного изображения рассчитывается матрица значений НЦ, которая может содержать значения от 0 до 1. Каждый пиксель имеет уникальное вещественное значение НЦ, поэтому гистограмма НЦ будет представлять собой множество столбцов единичной высоты, причём вдоль оси абсцисс в диапазоне от 0 до 1 столбцы расположатся неравномерно. Алгоритм Оцу не позволя-
ет найти порог сегментации для такой гистограммы уникальных значений НЦ. Обычно алгоритм Оцу применяется к гистограмме яркостей монохромного изображения, в которой величины яркостей - это целые числа в диапазоне от 0 до 255 уровней серого. Предлагается преобразовать гистограмму НЦ путём округления значений или разбиения диапазона НЦ (от 0 до 1) на равномерные части. В нашем случае диапазон НЦ разбивается на 200 частей и вычисляется нормированная гистограмма НЦ для изображения надписи. Предлагаемое построение гистограммы НЦ является первым пунктом модифицированного алгоритма Оцу для определения порога сегментации изображения по НЦ. Последующие пункты алгоритма не изменяются [24, стр. 863].
Порог сегментации выбирается путём анализа гистограммы распределения значений НЦ в пикселях цифрового изображения. Если на гистограмме выделяются две области так, что каждая из этих областей была наиболее компактна, то граница между этими областями на гистограмме будет наилучшим порогом между фоном и надписью на изображении. Алгоритм ищет порог так, чтобы межклассовая дисперсия двух областей была максимальной. По выбранному порогу НЦ проводится сегментация - отделяются штрихи, имеющие большую НЦ от бумаги, имеющей меньшую НЦ.
Предлагаемый метод цветовой сегментации программно реализован и корректность работы проверена на контрольном примере - сегментации изображений элементов цветового атласа MacbethColorChecker chart [27]. Изображения контрольных примеров составлялись из пар изображений элементов. Предлагаемый метод сегментации во всех случаях определял границу между элементами атласа №№ 1-18. Элементы атласа №№ 19-24 являются монохромными, и контрольные примеры, составленные из изображений этих элементов, решались путём применения алгоритма Оцу к гистограмме яркостей монохромного изображения. В сложных случаях, когда пример содержит как монохромные, так и окрашенные области, дополнительные возможности предоставляет регистрация изображения с применением цветных светофильтров или с применением монохромного освещения (не белого). И граница между элементами уверенно определяется предлагаемым методом по гистограмме НЦ.
Оценка цветового тона и цветовой разницы
Выбранный порог НЦ задаёт границы разноокра-шенных классов изображения для последующих вычислений. Выделенные пиксели, относящиеся к красящим веществам, служат данными для вычислений значений (R, G, B) и координат (x, y) в каждом пикселе, а также средних значений (R, G, B) по области интереса (по штриху) и величин СКО. Из значений (R, G, B) рассчитываются матрицы цветовых углов, значений НЦ и
ДДВ, цветовые различия, а также могут быть вычислены матрицы любых пересчётных значений параметров. Такая количественная характеризация позволяет сравнивать области интереса на изображении штрихов между собой.
Обнаружение и количественная характеризация дописок на двух примерах фотоизображений надписей, красящие вещества которых по определителю цвета Н.А. Селиванова не различаются
Пример 1. На рис. 6а дана фотография надписи 1 из 7 букв, одна из которых (последняя «а») выполнена пастой роллерной ручки Erich Krause L-30 (Erich Krause Deutschland GmbH, Германия), а все остальные буквы - пастой Brauberg Partner 141007 («Brauberg Brands GmbH», Германия).
Цифровое изображение обрабатывалось по алгоритму, описанному выше. Работа алгоритма иллюстрируется рис. 6. На рис. 6б дано изображение надписи после цветовой сегментации.
Рис. 6. Фотография надписи 1 (пример 1) (а). Буквы
«Иванов» выполнены ручкой Brauberg Partner 141007, последняя буква «а» - ручкой Erich Krause L-30. Результат цветовой сегментации изображения надписи 1 (б)
Сравнение цвета штрихов выполнялось побуквен-но. Вычислялись средние цветовые углы в пределах каждой буквы, выделенной экспертом. Результат показан на рис. 7. Среднее значение и СКО по пикселям, содержащимся в каждой букве, приведено на графике. Колебания составили от 247,1 до 247,8 градусов, что эквивалентно пурпурным оттенкам вблизи синего цвета (243 градуса). Цветовые углы букв «и», «а», «н», «а» практически совпадают, величины разниц цветовых углов между буквами незначительны (и не превышают 0,7 градуса). Средние значения цветового угла каждой из букв лежат в пределах СКО соседних букв. Цвета букв достоверно не различимы. Это подтверждается расчётом величины AEab, значение которой составило 0,86 для цветового различия между последней буквой «а» и остальными штрихами надписи. Можно сделать вывод, что цвет пасты ручек Erich Krause L-30 и Brauberg Partner 141007 практически не отличается. Это связано с тем, что красящие пасты изготавливаются по одинаковым рецептурам.
Пример 2. На рис. 8а дана фотография надписи 2 из двух строк, верхняя строка выполнена пастой ручки Bic (SocieteBic, Франция), а нижняя - Paper (PaperMate, Индия). Цифровое изображение обрабатывалось аналогично надписи 1 по алгоритму, описанному выше. Работа
алгоритма иллюстрируется рис. 8. На рис. 86 дано изображение надписи после цветовой сегментации.
Цветовой угол, град. 249-
248
247
246
Иванова
Буквы надписи
Рис. 7. Изменение цветового угла по буквам надписи.
Средние величины цветовых углов для каждой буквы
обозначены точками и соединены сплошной линией, крайние
точечная и пунктирная линии обозначают границы СКО
#I
У
б) J rt-pz-l
Рис. 8. Фотография надписи 2 (пример 2) (а); верхняя строка выполнена ручкой Bic, нижняя Paper. Результат цветовой сегментации изображения надписи 2 (б)
Сравнивались цвета штрихов в верхней и нижней строках, вычислялись средние цветовые углы в пределах каждой строки. Разница средних цветовых углов составила 7 градусов, соответствующая величина AEab = 3,8. Надписи уверенно различаются по цвету. Графическое представление результатов дано на рис. 9а в сравнении с результатами примера 1.
На рис. 9б приводится расположение точек цвета для надписей на диаграмме цветностей (x, y).
а)
Цветовой угол, град 266
263 260 257 254 251 248 245
4
'3
Ь 11
0,34 0,33 0,32 0,31 0,30 0,29 0,28
У tE
2 /
X, X
Образцы б) ' 0,29 0,32 0,34 Рис. 9. Величины средних цветовых углов для надписей примера 1 (точки 1,2) и примера 2 (точки 3,4). Средние по надписи цветовые углы обозначены точками, СКО обозначено полосой погрешности. Пример 1: значения цветового угла, усреднённые по всем буквам «Иванов», априори написанные одной пастой и ручкой, и цветовой угол по дописке «а» отличаются на доли градуса. Видно, что области СКО для «Иванов» и для «а» перекрываются
полностью. Пример 2: средние цветовые углы уверенно различаются (а). Расположение точек цвета для надписей примера 1 и примера 2 на диаграмме цветности xy.
Средние значения обозначены квадратами и треугольниками, СКО - чертой. Соответствие номеров следующее:
1 - это «а», 2 - «Иванов», 3 - «3 Big», 4 - «1 Paper» (б)
Из диаграммы следует, что величины СКО расположены почти параллельно прямой, соединяющей
точку E и точку цвета, то есть СКО обусловливается в значительной мере вариациями насыщенности цвета штрихов. Поэтому вне зависимости от величины СКО возможно корректно проводить сравнение значений цветовых углов (или ДДВ) по их средним арифметическим значениям.
Проведённые эксперименты по количественной характеризации цветовой разницы штрихов письма, выполненных различными красящими пастами, подтвердили работоспособность и эффективность предлагаемого алгоритма. Примеры, рассмотренные в работе, относятся к трудноразрешимым задачам оценки цветовой разницы. Объективный анализ изображения позволил вынести однозначные решения в каждом примере.
Заключение
Сравнение представлений цветовых оттенков в различных моделях выполнено методом математического моделирования. Показано, что цветовой угол и ДДВ - это количественные параметры цвета, релевантные задачам его экспертной оценки.
Предложен способ получения монохроматических цветовых стимулов с контролируемой шириной спектра. Создана экспериментальная установка на основе монохроматора УМ-2, на которой экспериментально построен цифровой атлас монохроматических стимулов и апробирован метод тестирования цветового охвата камер.
Путём математического моделирования и обсчёта экспериментальных данных с монохроматическими стимулами выявлены спектральные зависимости цве-торазличения камеры и полного цветового различия AEab CIE 1976 г. Показано, что невозможно установить одинаковые пороги цветоразличения для всего спектрального диапазона, используемого в компьютерном зрении, и рекомендации по установлению единого для всего спектрального диапазона порогового значения AEab не обоснованы для компьютерного зрения. Найденные зависимости необходимо учитывать при решении экспертных задач определения малых цветовых различий, например, штрихов надписей в документах.
Разработан новый алгоритм для обнаружения и количественной характеризации дописок по фотоизображению сделанной надписи. Объективный анализ изображения предлагается разделить на блоки цветовой сегментации и оценки цветового тона и цветового различия. В такой постановке блок цветовой сегментации выполняет функции предобработки, задавая карту границ разноокрашенных классов для последующих вычислений. Выполнена апробация алгоритма на примерах обнаружения дописок, красящие вещества которых по определителю цвета Н.А. Селиванова не различались. Полученные предварительные результаты выявляют высокие потенциальные возможности алгоритма в решении экспертных задач.
Оценка цвета компьютерным зрением выполняется в рамках цветового охвата принимающего устройства, например, камеры, который всегда заключён внутри охвата визуального спектрального локуса. В этом смысле перцептивная визуальная оценка цвета всегда превосходит аппаратную. Но цветовые пороги [11] компьютерного зрения обусловливаются АЦП сигналов фотоматрицы и становятся существенно ниже визуальных уже при разрядности АЦП 8 бит на канал. То есть методы компьютерного зрения позволяют выявить более тонкие цветовые вариации для различных образцов и определить количественные показатели цветового различия с большей точностью, чем визуальная перцепция, в рамках цветового охвата принимающего устройства.
Литература
1. Николаев, П.П. Спектральные модели цветовой константности: правила отбора / П.П. Николаев, С.М. Карпенко, Д.П. Николаев // Труды ИСА РАН. -2008. - Т. 38. - С. 322-335.
2. Zeichner, A. Transmission and reflectance microspec-trophotometry of inks / A. Zeichner, N. Levin, A. Klein, Y. Novoselsky // Journal of Forensic Sciences. - 1988. -Vol. 33, Issue 5. - P. 1171-1184.
3. ГОСТ 13088-67. Колориметрия. Термины, буквенные обозначения = Colorimetry. Terms, alphabetical symbols : Государственный стандарт Союза ССР : издание официальное : введён в действие с 01.01.1968 г. . - М.: Издательство стандартов, 1990. - 15 с. - Текст : непосредственный.
4. Tominaga, S. Spectral imaging by a multichannel camera // Proceedings of SPIE. - 1998. - Vol. 3648. - DOI: 10.1117/12.334596.
5. Домасев, М.В. Цвет, управление цветом, цветовые расчеты и измерения / М.В. Домасев, С.П. Гнатюк. - СПб.: Питер, 2009. - 224 с.
6. Хорунжий, М.Д. Метод количественной оценки цветов различий при восприятии цифровых изображений / М.Д. Хорунжий // Вестник НГУ. Серия: Информационные технологии. - 2008. - Т. 6, № 1. - С. 80-88.
7. Megahed, A. Handwriting forgery detection based on ink colour features [Electronical Resource] / A. Megahed, S.M. Fadl, Q. Han // 8th IEEE International Conference on Software Engineering and Service Science (ICSESS). - 2017. - URL: https://researchgate.net/publication/324728079 (request date: 19.02.2020). DOI: 10.1109/ICSESS.2017.8342883.
8. Баринова, О.А. Возможность цветового анализа красящих веществ при производстве технико-криминалистической экспертизы документов / О.А. Баринова, И.Г. Пальчикова // Судебная экспертиза. - 2017. - Т. 52, № 4. - С. 75-82.
9. Российский федеральный центр судебной экспертизы при Министерстве юстиции Российской Федерации. Техническая экспертиза документов [Электронный ресурс]. - URL: https://sudexpert.ru/possib/techn.php (дата обращения 26.02.2020).
10. Селиванов, Н.А. Криминалистический определитель цвета. - М.: 1977. - 29 с.
11. Palchikova, I.G. Quantization noise as a determinant for color thresholds in machine vision / I.G. Palchikova, E.S. Smirnov, E.I. Palchikov // Journal of the Optical Socie-
ty of America A. - 2018. - Vol. 35, Issue 4. - P. B214-B222. - DOI: 10.1364/JOSAA.35.00B214.
12. Khan, Z. Automatic ink mismatch detection for fo-rensic document analysis / Z. Khan, F. Shafait, A. Mian // Pattern Recognition. - 2015. - Vol. 48. - P. 3615-3626.
13. Khairkar, S.R. Forensic discrimination potential of video spectral comparator and micro spectrophotometer in analyzing question document and fraud cases in India [Electronical Resource] / S.R. Khairkar, S.V. Gaikawad, R.N. Kokare, B.B. Daundkar // Journal of Forensic Research. - 2016. - Vol. 7, Issue 3. - URL: https://pdfs.semanticscholar.org/5fe3/4d896a20057408d477 9793662c98c4074092.pdf (request date 26.02.2020). - DOI: 10.4172/2157-7145.1000329.
14. Потатуркин, О.И. Методы и технологии обработки мульти- и гиперспектральных данных дистанционного зондирования Земли высокого разрешения / О.И. Потатуркин, С.М. Борзов, А.О. Потатуркин, С.Б. Узилов // Вычислительные технологии. - 2013. -Т. 18. - С. 60-67.
15. Пальчикова, И.Г. Видеоанализатор количественных цветовых характеристик образцов / И.Г. Пальчикова,
A.Ф. Алейников, Ю.В. Чугуй, В.В. Воробьев, Т.В. Ярушин,
B.Ю. Сартаков, Ю.Д. Макашов, Е.С. Смирнов,
A.Н. Швыдков // Приборы. - 2014. - Т. 12. - С. 38-44.
16. Пальчикова, И.Г. Цветовой анализ цифровых изображений при производстве экспертных исследований следов выстрела / И.Г. Пальчикова, И.В. Латышов,
B.А. Васильев, А. В. Кондаков, Е. С. Смирнов // Доклады Академии наук высшей школы Российской Федерации.
- 2015. - Т. 27, № 2. - С. 88-101.
17. Луизов, А.В. Цвет и свет. - Л.: Энергоатомиздат, 1989.
- 256 с.
18. Пальчикова, И.Г. Интервальная оценка параметров цвета из цифровых изображений / И.Г. Пальчикова, Е.С. Смирнов // Компьютерная оптика. - 2017. - Т. 41, № 1.
- С. 95-102. - DOI: 10.18287/2412-6179-2017-41-1-95-102.
19. Вавилов, С.ИИ Глаз и Солнце. О свете, Солнце и зрении. - М.: Наука, 1976. - 128 с.
20. ГОСТ Р 52490-2005 (ИСО 7724-3:1984). Материалы лакокрасочные. Колориметрия. Часть 3. Расчет цветовых различий = Paints and varnishes - Colorimetry - Part 3: Calculation of colour differences (MOD) : национальный стандарт Российской Федерации : издание официальное : утверждён и введён в действие Приказом Федерального агентства по техническому регулированию и метрологии от 30 декабря 2005 г. № 516-ст - М.: Стандартин-форм, 2006. - 6 с. - Текст : непосредственный.
21. CIE Publication No. 142-2001. Improvement to industrial colour-difference evaluation. - Vienna: Central Bureau of the CIE, 2001. - ISBN: 978-3-901906-08-4.
22. Sharma, G. The CIE AE2000 color-difference formula: implementation notes, supplementary test data, and mathematical observations / G. Sharma, W. Wu, E.N. Dalal // Color Research and Application. - 2005. - Vol. 30, Issue 1. - P. 21-30.
23. LuxaLight. CIE convertor [Elerctronical Resource]. - URL: https://ledtuning.nl/en/cie-convertor (request date 26.02.2020).
24. Гонсалес, Р. Цифровая обработка изображений / Р. Гон-салес, Р. Вудс. - М.: Техносфера, 2012. - 1104 с.
25. Чочиа, П. А. Сегментация изображений на основе анализа расстояний в пространстве признаков / П.А. Чочиа // Автометрия. - 2014. - Т. 50, № 6. - С. 97-110.
26. Карамшук, Е.В. Разработка конструкции фотобокса для криминалистического исследования следов выстрелов / Е.В. Карамшук // Интерэкспо ГЕО-Сибирь. XV Международный научный конгресс : сб. материалов в 9 т. : Национальная конференция с международным участием «СибОптика-2019». - 2019. - Т. 8. - С. 286291. - DOI: 2618-981Х-2019-8-286-291.
27. Mc Camy, C.S. A color rendition chart / C.S. Mc Camy, H. Marcus, J.G. Davidson // Journal of applied photographic engineering. - 1976. - Vol. 11. - P. 95-99.
Сведения об авторах
Пальчикова Ирина Георгиевна, доктор технических наук, доцент, профессор Новосибирского государственного университета, заведующая лабораторией в Федеральном государственном бюджетном учреждении науки Конструкторско-технологическом институте научного приборостроения СО РАН. Область научных интересов: компьютерная оптика, обработка изображений, микроскопия, цифровая фотография.
E-mail: palchikova@smail.com .
Смирнов Евгений Сергеевич, научный сотрудник в Федеральном государственном бюджетном учреждении науки Конструкторско-технологическом институте научного приборостроения СО РАН. Область научных интересов: обработка графических изображений, специальные методы обработки цифровых изображений.
E-mail: evgenii.s.smirnov@yandex.ru .
Баринова Ольга Александровна, кандидат юридических наук, старший преподаватель кафедры криминалистической техники учебно-научного комплекса экспертно-криминалистической деятельности федерального государственного казенного образовательного учреждения высшего профессионального образования «Волгоградская академия Министерства внутренних дел Российской Федерации». Область научных интересов: криминалистика.
E-mail: ol.bondarencko2011@.yandex.ru .
Латышов Игорь Владимирович, доктор юридических наук, профессор, Федеральное государственное казенное образовательное учреждение высшего профессионального образования «Санкт-Петербургский
университет Министерства внутренних дел Российской Федерации». Область научных интересов: криминалистика, судебная экспертиза.
E-mail: latyshov@gmail.com .
Васильев Василий Алексеевич, кандидат химических наук, доцент кафедры трасологии и баллистики учебно-научного комплекса федерального государственного казенного образовательного учреждения высшего профессионального образования «Волгоградская академия Министерства внутренних дел Российской Федерации». Область научных интересов: судебная экспертиза.
E-mail: v-vasiliev@inbox.ru .
Кондаков Александр Владимирович, кандидат юридических наук, доцент кафедры трасологии и баллистики УНК ЭКД федерального государственного казенного образовательного учреждения высшего профессионального образования «Волгоградская академия Министерства внутренних дел Российской Федерации». Область научных интересов: криминалистика, судебная экспертиза.
E-mail: akondakov@rambler.ru .
ГРНТИ: 90.27.37
Поступила в редакцию 12 сентября 2019 г. Окончательный вариант -1 июня 2020 г.
About quantifying small color differences in digital images
I.G. Palchikova1, E.S. Smirnov1, OA. Barinova 2,1.V. Latyshov 3, VA. Vasiliev2, A.V. Kondakov2 1 Technological Design Institute of Scientific Instrument Engineering SB RAS, 41, Russkaya str., Novosibirsk, 630058, Russia, 2 The Volgograd Academy of the Russian Internal Affairs Ministry, 130,Istoricheskaya str., Volgograd, 400075, Russia, 3 The Saint Petersburg University of the Russian Internal Affairs Ministry, 1, Pilot Pilyutov str., Saint Petersburg, 198206, Russia
Abstract
We discuss aspects of the use and possibilities provided by three-color colorimeters or digital cameras in problems of detecting small color differences by computer vision methods. The spectral dependence of the total color differences between pairs of visually indiscernible monochromatic stimuli is experimentally revealed. An experimental setup based on the UM-2 mono-chromator is created for producing a digital atlas of monochromatic stimuli at 1-nm increments. The atlas serves to test the color gamut and color differentiation of cameras. It is experimentally shown that in the visible spectral range a color difference of 3 units is detected by pairs of stimuli that are unevenly distributed across the spectrum and differ in wavelengths from 1 to 6 nm. The capabilities of computer vision are tested on the examples of identifying additional texts during a technical and forensic examination of documents.
A new algorithm is developed for finding and quantitatively characterizing color difference of inserts based on a digital image of the inscription. In the algorithm, the objective analysis of the image is divided into a block of color segmentation and that of color tone and color difference assessment. With such an approach, the color segmentation block performs preprocessing functions, making a border map for the classes with different colors for the subsequent calculations. The Otsu method of optimal global threshold transformation is for the first time applied to a problem of image segmentation by color saturation. The trial of the algorithm confirms its efficiency in the solution of expert tasks.
Keywords: digital camera color gamut, RGB sensor, color, monochromatic stimuli, dominant wavelength, saturation, digital image processing, Otsu algorithm, segmentation, color difference.
Citation: Palchikova IG, Smirnov ES, Barinova OA, Latyshov IV, Vasiliev VA, Kondakov AV. About quantifying small color differences in digital images. Computer Optics 2020; 44(4): 606-617. DOI: 10.18287/2412-6179-CO-631.
References
[1] Nikolayev PP, Karpenko SM, Nikolaev DP. Spectral models of color constancy: selection rules [In Russian]. Proc ISA RAS 2008; 38: 332-335.
[2] Zeichner A, Levin N, Klein A, Novoselsky Y. Transmission and reflectance micro spectrophotometry of inks. J Forensic Sci 1988; 33(5); 1171-1184.
[3] GOST 13088-67. Colorimetry. Terms, alphabetical symbols [In Russian]. - Moscow: "Izdateljstvo standartov" Publisher; 1990.
[4] Tominaga S. Spectral imaging by a multichannel camera. Proc SPIE 1998; 3648. DOI: 10.1117/12.334596.
[5] Domasev MV, Gnatyuk SP. Color, management of color, color calculations and measurements [In Russian]. Saint-Petersburg: "Piter" Publisher; 2009.
[6] Khorunzhy MD. Method of scoring color difference in digital image sensing [In Russian]. Vestnik NSU Series: Information Technologies 2008; 6(1): 80-88.
[7] Megahed A, Fadl SM, Han Q. Handwriting forgery detection based on ink colour features. ICSESS 2017. Source: (https://researchgate.net/publication/324728079). DOI: 10.1109/ICSESS.2017.8342883.
[8] Barinova OA, Palchikova IG. Possibility of color analysis of dyes in the production of forensic examination of
documents [In Russian]. Forensic Examination 2017; 52(4): 75-82.
[9] Russian federal center for forensic expertise under the Ministry of Justice of the Russian Federation: Technical examination of documents [In Russian]. Source: (http://sudexpert.ru/possib/techn.php).
[10] Selivanov NA. Forensic color guide [In Russian]. Moscow: 1977.
[11] Palchikova IG, Smirnov ES, Palchikov EI. Quantization noise as a determinant for color thresholds in machine vision. Journal of the Optical Society of America A 2018; 35(4): B214-B222. DOI: 10.1364/JOSAA.35.00B214.
[12] Khan Z, Shafait F, Mian A. Automatic ink mismatch detection for forensic document analysis. Pattern Recognit 2015, 48: 3615-3626.
[13] Khairkar SR, Gaikawad SV, Kokare RN, Daundkar BB. Forensic discrimination potential of video spectral comparator and micro spectrophotometer in analyzing question document and fraud cases in India. J Forensic Res 2016; 7(3). Source: (https://pdfs.semanticscholar.org/5fe3/ 4d896a20057408d4779793662c98c4074092.pdf). DOI: 10.4172/2157-7145.1000329.
[14] Potaturkin OI, Borzov SM, Potaturkin AO, Uzilov SB. Methods and technologies of processing multi- and hyper-spectral data for the high resolution remote sensing [In Russian]. Computational technologies 2013; 18: 60-67.
[15] Palchikova IG, Aleynikov AF, Chugui YuV, Vorobyov VV, Yarushin TV, Sarktakkov VYu, Makashov YuD, Smirnov ES, Shvydkov AN. Videoanalyzer of quantitative color characteristics of samples [In Russian]. Instruments 2014; 12: 38-44.
[16] Palchikova IG, Latyshov IV, Vasiliev VA, Kondakov AV, Smirnov ES. Color analysis of digital images in expert judgement of shot's trace [In Russian]. Proceedings of the Russian Higher School Academy of Sciences 2015; 27(2): 88-101.
[17] Luizov AV. Color and light [In Russian]. Leningrad: "Energoatomizdat" Publisher; 1989.
[18] Palchikova IG, Smirnov ES. Interval estimation of color parameters of the digital images [In Russian]. Computer optics 2017; 41(1): 95-102. DOI: 10.18287/2412-61792017-41-1-95-102.
[19] Vavilov SI. The Human eye and the Sun. "Hot" and "cold" light. Oxford: Pergamon Press Ltd; 1965. ISBN: 978-0-08-010381-5.
[20] GOST R 52490-2005 (ISO 7724-3:1984). Paints and varnishes - Colorimetry - Part 3: Calculation of colour differences (MOD). Moscow: "Standartinform" Publisher; 2007.
[21] CIE Publication No. 142-2001. Improvement to industrial colour-difference evaluation. Vienna: Central Bureau of the CIE; 2001. ISBN: 978-3-901906-08-4.
[22] Sharma G, Wu W, Dalal EN. The CIE AE2000 color-difference formula: implementation notes, supplementary test data, and mathematical observations. Color Res Appl 2005; 30(1): 21-30.
[23] LuxaLight. CIE convertor. Source: https://ledtuning.nl/en/cie-convertor).
[24] Gonzales RC, Woods RE, Eddins SL. Digital image processing using MATLAB. Upper Saddle River, NJ: Pearson/Prentice Hall; 2004. ISBN: 978-81-7758-898-9.
[25] Chochia PA. Image segmentation based on the analysis of distances in an attribute space. Optoelectronics, Instrumentation and Data Processing 2014; 50(6): 613-624. DOI: 10.3103/S8756699014060107.
[26] Karamshuk EV. Development of photobox design for the criminalistic research of the shot tracks [In Russian]. Interexpo GEO-Siberia "SibOptica-2019" 2019; 8: 286-291. DOI: 2618-981X-2019-8-286-291.
[27] Mc Camy CS, Marcus H, Davidson JG. A color rendition chart. J Appl Photogr Eng 1976; 11: 95-99.
Authors' information
Irina Georgievna Palchikova, Doctor of Technical Sciences, Associate Professor, Professor of Novosibirsk State University, Head of Laboratory at Technological Design Institute of Scientific Instrument Engineering SB RAS. Her leading research interests include the computer optics, digital image processing, microscopy.
E- mail: palchikova@smail.com .
Evgenii Sergeevich Smirnov, Researcher at the Technological Design Institute of Scientific Instrument Engineering SB RAS. Research interests are computer graphics processing, digital image processing methods.
E-mail: evgenii.s.smirnov@yandex. ru .
Olga Alexandrovna Barinova, Candidate of Science (Law), Senior Lecturer, Forensic Technology department, Educational and Scientific Complex of Forensic Science, Federal State Treasury Educational Institution of Higher Professional Education "The Volgograd Academy of the Russian Internal Affairs Ministry". Research interest is forensics.
E-mail: ol.bondarencko2011@yandex.ru .
Igor Vladimirovich Latyshov, Doctor of Science (Law), Professor, The Saint Petersburg University of the Russian Internal Affairs Ministry. Research interests are criminology, forensics.
E-mail: latyshov@gmail.com .
Vasily Alexeevich Vasiliev, Candidate of Science (Chemistry), Associate Professor of Traceology and Ballistics department of the Training and Scientific Complex of Expert Criminalistic Activities of the "The Volgograd Academy of the Russian Internal Affairs Ministry". Research interest is forensics.
E-mail: v-vasiliev@inbox. ru .
Alexander Vladimirovich Kondakov, Candidate of Science (Law), Associate Professor of Traceology and Ballistics department of the Training and Scientific Complex of Expert Criminalistic Activities of the "The Volgograd Academy of the Russian Internal Affairs Ministry". Research interests are criminology, forensics.
E-mail: akondakov@rambler.ru .
Received September 12, 2019. The final version - June 1, 2020.
