CC BY
1
УДК 654.1
doi:10.31799/1684-8853-2023-3-26-38 Articles
EDN: ZZTURK
Метод перцептуальной цветокоррекции
А. А. Мотыкоа, канд. техн. наук,доцент, orcid.org/0000-0003-4241-4298 Н. А. Обухова*, доктор техн. наук, профессор, orcid.org/0000-0003-1953-2085, natalial72419@yandex.ru аСанкт-Петербургский государственный электротехническийуниверситет «ЛЭТИ», Профессора Поповаул., 5, Санкт-Петербург, 197376, РФ
Введение: в конвейере обработки графической информации широко используются цветокорректирующие преобразования, которые применяются при характеризации сенсора, балансе белого, художественной обработке, согласовании цветовых охватов дисплеев и т. д. Однако в современных методах, применяемых для преобразования координат между различными цветовыми пространствами, свойства зрения учитываются недостаточно, что приводит к ошибкам цветопередачи. Цель: разработать метод оценки параметров цветокорректирующего преобразования с учетом свойств зрительного восприятия человека. Результаты: предложенный метод состоит из двух этапов. На первом этапе выполняется оценка параметров цветокорректирующего преобразования методом наименьших квадратов. На втором этапе полученная оценка уточняется путем численной минимизации целевой функции, построенной на базе перцептуального критерия (основанного на формуле для расчета цветовых различий CIE DE 2000). Экспериментальное исследование показало, что данный метод позволяет значительно повысить точность цветопередачи. Средняя ошибка снижается на 10-50 % в зависимости от используемой модели цветокорректирующего преобразования. Кроме того, на 10-15% снижается доля цветов со значительной с точки зрения человеческого восприятия ошибкой цветопередачи. Метод может использовать различные модели цветокорректирующих преобразований, что делает его универсальным и дает широкие возможности применения в конвейере обработки графической информации. Практическая значимость: разработанный метод оценки параметров цветокорректирующего преобразования с учетом свойств зрения человека может применяться при синтезе телевизионных систем в задачах, где для пользователя важна точная цветопередача, например в цифровой фотографии, телемедицине и пр.
Ключевые слова - цветокоррекция, CIE DE 2000, цветокорректирующие преобразования, перцептуальная цветокоррекция, формула цветового различия.
Для цитирования: Мотыко А. А., Обухова Н. А. Метод перцептуальной цветокоррекции. Информационно-управляющие системы, 2023, № 3, с. 26-38. doi:10.31799/1684-8853-2023-3-26-38, EDN: ZZTURK
For citation: Motyko A. A., Obukhova N. A. The method for perceptual color correction. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2023, no. 3, pp. 26-38 (In Russian). doi:10.31799/1684-8853-2023-3-26-38, EDN: ZZTURK
Введение
Цветокорректирующие преобразования используют на различных этапах работы с видеосигналом [1]. Они являются обязательной частью конвейера обработки сигнала при формировании изображения камерой, выполняются
в процессе вывода графической информации на дисплей, применяются в рамках обработки снимка для повышения качества, для достижения желаемого художественного эффекта.
Схема классификации цветокорректирующих преобразований по их назначению приведена на рис. 1.
Камерные
Колориметрические преобразования
Дисплейные
Цветокорректирующие преобразования
Преобразования художественной обработки
■ Рис. 1. Классификация цветокорректирующих преобразований
■ Fig. 1. The color-correcting transformations classification
Задача колориметрических преобразований — обеспечение точной цветопередачи в соответствии с моделью стандартного наблюдателя. Колориметрические преобразования применяются в камерном и дисплейном конвейерах обработки сигнала. При формировании изображения камерой выполняется переход от зависимых от устройства КОВ-координат в независимые XYZ-координаты, цветовая адаптация, переход из не-перцептуальных пространств в перцептуальные (например, из XYZ в Ь*а*Ь*). В дисплейной части колориметрические преобразования служат для согласования цветовых охватов устройств отображения.
Преобразования художественной обработки осуществляют цветокоррекцию, повышающую субъективное качество изображения, например, выполняют манипуляции с цветовым тоном и насыщенностью цветов палитры, чтобы сделать фотографию более привлекательной для наблюдателя, или повышают локальный цветовой контраст с этой же целью. Помимо использования в массовом сегменте при обработке фотографий, указанные преобразования находят применение и в специализированных телевизионных системах. Например, возможность увеличения локального цветового контраста в видеоэндоскопии является обязательной функцией, используемой для улучшения заметности мелких особенностей тканей при проведении обследования врачом.
Колориметрические преобразования, как правило, опираются на информацию о спектральном составе освещения и характеристиках сцены, спектральной чувствительности сенсора. В цветокорректирующих преобразованиях художественной обработки цвета преобразуют исходя из некоторых эмпирик (определяемых производителем), направленных на повышение привлекательности изображений в том или ином виде.
Цветовые пространства обычно трехмерные, что связано с трихроматическим зрением человека, поэтому цвет (в частности, элемента разложения изображения) кодируется тремя числами. Для колориметрических цветокорректирующих преобразований характерно то, что результат изменения цвета для каждого пикселя не зависит от его окружения. Таким образом:
12 (х> У) = f (11 (х> У))>
где 12 — цветовые координаты пикселя в целевом цветовом пространстве; (х, у) — координаты пикселя; f — функция, осуществляющая цвето-корректирующее преобразование; — цветовые координаты пикселя в исходном цветовом пространстве.
Задача синтеза цветового преобразования состоит в определении функции /, которая представляет собой некоторую модель с набором параметров А. Для идентификации параметров используют набор цветов с известными координатами в исходном и целевом пространстве. Набор может быть задан в цифровом виде (спектры цветов или координаты) или напечатан в виде таблицы, так называемой диаграммы цветов (ColorChecker). Известны и широко применяются диаграммы Macbeth [2], SG [3], DC [4] и др. При оценке параметров модели преобразования предполагается, что набор цветов О, входящих в цветовое пространство К (прообраза), берется в качестве эталона, а координаты цветов из набора Р, входящих в цветовое пространство L (образа), пересчитываются с помощью/так, чтобы в результате минимально отличаться от эталонных цветов О. Таким образом, при синтезе цветокорректирующего преобразования необходимо для функции f определить вид модели и в результате некоторой процедуры идентифицировать параметры А этой модели, которые обеспечивают минимальное различие между цветами наборов О и Р.
Для процедуры оценки параметров модели необходимо сформулировать показатель качества цветового преобразования (или целевую функцию), отражающий ошибку (суммарную, или среднюю) — разницу между истинными значениями цветов и получившимися в результате отображения, при этом важным фактором является используемая метрика, определяющая расстояние между цветами:
1 С
^color ~ ^ ЕС010Г. — ° ¿=1
= ^iM(h - f(A>h))>h e L>h e K, ° ¿=1
где С - число соответствующих друг другу цветов в пространствах прообраза К и образа L;M— метрика цветового различия; f — функция цветокорректирующего преобразования с параметрами А. В общем случае чем больше число пар цветов С, чем полнее эти пары покрывают пространства К и L, тем более точно оцениваются параметры модели.
Существует множество моделей для отображения цветовых пространств, подавляющее большинство которых можно разделить на две группы. К первой группе относятся линейные регрессионные модели. Два основных варианта реализации модели первого порядка содержат девять или 12 коэффициентов [5], но также широко используются полиномиальные модели второго и более высоких порядков (линейные по параме-
трам), например, различные полиномиальные модели и так называемые рут-полиномиальные приведены в работе [6]. Вторая группа основана на нелинейных моделях. Она включает различные варианты: модель на основе сплайнов [7], радиально-базисных функций [8], гауссовых процессов [9], трехмерных таблиц поиска [10], также к данной группе можно отнести нейросе-тевые модели [11].
Простейшая модель линейного преобразования координат цвета из (Хк, Ук, Zк) в (Хь, Уь, ZL) (из одного цветового пространства в другое), в частности реализованная в известном в телевидении устройстве — матричном цветокоррек-торе (с добавлением условия неискаженной передачи белого цвета), использует матрицу параметров размера 3x3:
= (ХК
ZL И*L
(
1К
ZK)
к 1К
«11 «21 «31
«12 а22 а32 )А33 •
«13 а23 а33
Л
При использовании более сложной модели матрица параметров может быть расширена, перестав при этом быть квадратной. Например, при расширении матрицы за счет добавления единичного вектора преобразование будет учитывать смещение яркости. В этом случае преобразование цветовых пространств выглядит следующим образом:
№
X
X г
= (1 *
К
1К
¿к)
= (1 *
к
1К
«11 «21 «31 «41
L
«12 а22 а32
а42
)а43
«13 а23 а33 «43
Л
Пусть
Yl Zi ^
[IK ] =
v X? Y? Z? j
Y^ ZK
■i Л
-I V-N VN 7N v1 ¿К у
Тогда при наличии достаточного числа цветов (Ы) можно найти решение, применяя метод
наименьших квадратов (МНК) и псевдообраще-ниеМура — Пенроуза [12]:
А43 =([1К]Т [IKf [1К]Т L.
При использовании сложных моделей (например, на основе полиномиальных функций второго и выше порядков) общая идея заключается в расширении линейного преобразования путем добавления членов высшего порядка (квадратов, кубов, перемножений цветовых координат и пр.) для достижения лучшей точности преобразования. Ниже приведены примеры полиномиальных моделей:
р5 =[Х У Z 1 XYZ];
р& =[х у г ху уг хг)
Рв =
Ри =
X Y Z ХУ YZ XZ (X)2 (У)2 (Z)2 XYZXYYZXZ (X)2 (У)2 (Z)2 XYZ 1
Результат коррекции для некоторого цвета, например в случае использования ре, вычисляется по формуле
(X
B Yb ZB ) = (X Y Z XY YZ XZ)A63,
где Agg — матрица параметров полиномиальной модели цветокорректирующего преобразования.
Обычно предполагают, что ошибка преобразования цвета Есо1ог. рассчитывается как евклидова норма разностного вектора координат в пространстве образа. Для каждого цвета из имеющегося набора определяют норму разностного вектора между истинными координатами в целевом пространстве и получившимися координатами в результате преобразования. Преимущества такой оценки понятны. В этом случае определение параметров модели преобразования может быть легко реализовано аналитически, а в случае использования численной оптимизации евклидова норма удобна для градиентных методов.
Такой подход полностью оправдан, только если коррекция проводится для целей автоматического анализа изображений. Если предполагается, что пользователем результата цветокоррекции является человек (что соответствует действительности в большинстве случаев), то метрика М должна учитывать свойства человеческого зрения. Множество цветовых пространств, таких как XYZ, RGB, CMYK, ориентировано на работу аппаратуры, а не на учет нюансов восприятия цвета человеком. Это отражается в том, что одинаковое (в смысле евклидовой нормы) изменение значений координат цвета в различных
областях подобных пространств производит разное ощущение изменения цвета. На диаграмме цветности (являющейся проекцией XYZ) данное свойство хорошо иллюстрируют так называемые эллипсы МакАдама [13] (рис. 2). Они показывают области, в пределах которых цвета кажутся неразличимыми для человека. Видно, что размер этих областей и их элонгация существенно различаются в пределах видимого спектра.
Для оценки качества цветокоррекции, рассчитанной на человека, необходимо учитывать особенности восприятия им цвета. Для моделирования зрительной системы созданы так называемые перцептуальные пространства, самым известным из которых является L*a*b*, принятое Международной комиссией по освещению CIE [15]. В L*a*b*, как и в других перцептуальных пространствах, яркостная составляющая отделена от цветовой, что позволяет работать с цветом напрямую. При создании L*a*b* стояла задача сделать данное пространство униформным (равномерным), т. е. как можно более линейным с точки зрения человеческого восприятия изменения цвета. Несмотря на то, что в результате пространство L*a*b* получилось гораздо более равномерным, чем RGB или другое неперцепту-альное пространство, данная цель не была в полной мере достигнута (например, отмечено нарушение равномерности в области желтых цветов).
Исторически первое выражение для оценки цветового различия с учетом свойств человеческого зрения, разработанное CIE в 1976 г. [16],
■ Рис. 2. Эллипсы МакАдама (увеличенные в 10 раз) [14]
■ Fig. 2. McAdam ellipses (magnified 10 times) [14]
представляет собой евклидову норму в координатах L*a*b*:
AE*ab =,¡(LÍ - L2 )2 + (а! - а2 )2 + - Ь2 )2.
В связи с неполной равномерностью L*a*b* работы по совершенствованию формулы для оценки цветовых различий были продолжены. В 1994 г. была представлена формула CIE94, в 2000 г. появилась формула CIE DE 2000 [17]. Вычисление значений с помощью этой формулы оказалось достаточно сложным и громоздким, но в то же время обеспечило вполне приемлемые результаты, и на сегодня CIE DE 2000 широко используется для оценки цветовых различий.
Адекватность оценки с помощью CIE DE 2000 особенностям зрительного восприятия была достигнута путем введения значительных нелинейных коррекций, в результате чего идентификация параметров моделей цветокорректирующих преобразований, построенных на метрике с использованием этой формулы, значительно затруднилась. Например, при использовании CIE DE 2000 оценка параметров не может быть получена аналитически с помощью МНК. Решения оптимизационных задач численными методами, выполняющими минимизацию целевой функции, использующей метрику на базе CIE DE 2000, сопряжены с трудностями, так как рельеф функции (обладающей разрывами [18] и являющейся мультимодальной) получается сложным для алгоритмов поиска минимума.
Нужно отметить, что для оценки перцептуальной разницы между цветами существует и альтернативный CIE DE 2000 подход. Наряду с совершенствованием формулы для оценки цветовых различий в колориметрии непрерывно ведется работа по созданию все более равномерных перцептуальных пространств. В результате появляются пространства (например, OkLab, опубликованный в 2020 г., https://bottosson.github. io/posts/oklab/), в которых, как сообщается, ощущаемое цветовое различие практически соответствует обычной евклидовой норме [19]. Но несмотря на появление новых перцептуально-равномерных пространств, на данный момент для расчета воспринимаемых цветовых различий в промышленности повсеместно используется именно CIE DE 2000. Поэтому целесообразно рассмотреть применение для перцептуальной цветокоррекции метрики на базе этой формулы.
Метод перцептуальной цветокоррекции
Схема колориметрического конвейера расчета ошибки цветового преобразования на базе
формулы CIE DE 2000 представлена на рис. 3. Для наглядного описания метода в данной работе рассмотрен случай отображения из пространства RGB-камеры в XYZ (как один из самых важных в конвейере), однако предложенный принцип актуален и для других колориметрических процедур.
Ветвь наблюдателя включает формирование XYZ-координат цвета с помощью функций соответствия стандартного наблюдателя и известных спектральных характеристик цветов:
X = — jñ (1)1 (А.) ж (X)dX;
N
Y=f íñ № (*■) y
N
Z = — jR (X)I(X)dA.;
(1)
N
N = j/ (X)dX,
где Л (А) — спектральная характеристика отражения материала объекта; КХ) — спектральное распределение освещения, падающего на объект; х, у, г — функции цветового соответствия стандартного колориметрического наблюдателя; К — масштабирующий множитель (обычно равный 1 или 100), интеграл принято считать в интервале от 380 до 780 нм,
Спектральные характеристики отражения для цветов могут быть получены в общем случае двояко: либо с помощью использования диаграммы цветов (где они заданы для определенного набора), либо с помощью гиперспектральной камеры, формирующей в каждом пикселе изображения спектральный отклик с числом отсчетов,
существенно превышающим стандартный триплет RGB (обычно используется около 200 отсчетов). Далее выполняют хроматическую адаптацию (учет изменения освещенности) [20] от источника белого света типа D65 (стандартный для XYZ) к источнику типа D50 (стандартный для L*a*b*), что необходимо для перехода из XYZ в L*a*b*:
Y ii 2 Y
z D50 z
D65
Существуют различные алгоритмы для расчета коэффициентов матрицы адаптации. Например, по Брэдфорду [21] переход от 065 к Б50 осуществляют посредством матрицы
М,
ГА
1,0478112 0,0228866 -0,0501270 0,0295424 0,9904844 -0,0170491 -0,0092345 0,0150436 0,7521316
Затем выполняют преобразование из XYZ в L*a*b*:
L = 116 fy -16; а = 500(fx - fy); b = 200(fx - fy);
где
fx =
fy =
kxr + 16 116
иначе
Щyr, если yr > e kyr +16
116
иначе
Данные о спектральных характеристиках отражения для набора цветов и спектральном распределении освещения
XYZ, рассчитанные
для стандартного наблюдателя
Преобразование цветового пространства
L*a*b*-KO-
ординаты
цвета для
наблюдателя
XYZ, рассчитанные для камеры
Блок расчета ошибки на базе CIE DE 2000
L*a*b*-Koop-динаты цвета для камеры
■ Рис. 3. Оценка точности преобразования цветового пространства с учетом особенностей восприятия на базе CIE DE 2000
■ Fig. 3. The CIE DE 2000 — based color space conversion accuracy estimation
fz =
^,
kzr +16
116
иначе
X
Уг =
Yr'
е = 0,008856, k = 903,3,
(Хг, Уг, Zr) — значения для белого цвета Б50: Хг = 96,4212, Уг = 100, Я,. = 82,5188. Значения для точки белого даны для случая, когда X, У, Ъ находятся в диапазоне [0..100]. Для диапазона [0..1] эти значения должны быть разделены на 100.
Ветвь камеры оперирует КОВ-координатами (зависимыми от конкретного сенсора), получаемыми с помощью спектральных характеристик фотоприемника:
100
N
100
N
Jñ (X)/ jR (X)I (X)g
b = ™ ¡R(X)l (X)b(X)dX,
для которых выполняют нормализацию
г r
g - D WB g
b WB b
где — диагональная матрица, обеспечивающая баланс белого [1]:
r "l"
g = 1
b 1
WB
значения г, g, b находятся в диапазоне [0..1].
На следующем шаге выполняется цветокор-ректирующее преобразование (из пространства RGB в XYZ), параметры которого необходимо оценить, и далее аналогично ветви наблюдателя осуществляется переход в L*a*b*. На основе полученных координат цветов в L*a*b* для ветвей
наблюдателя и камеры выполняют расчет цветового различия по CIE DE 2000. В результате целевая функция для задачи минимизации формализуется в виде
АЕ = YJwiAEi
00'
где w — весовые коэффициенты (в общем случае все равные единице); АЕ00 — цветовое различие по формуле CIE DE 2000 для цветов из заданного набора.
В задаче оптимизации важна норма, используемая для расчета целевой функции. Так, L1 соответствует оптимизации по средней ошибке, L2 — по среднеквадратичной и т. д. Чем выше норма, тем больше решение тяготеет к минимизации относительно больших ошибок, при этом повышается средняя. На практике в основном используют нормы L1 и L2 и крайне редко норму выше L4. Поэтому целевую функцию для задачи оптимизации можно переписать с учетом используемой нормы р\
АЕ = Y^i | |ДЕ,
00
Оценку параметров цветокорректирующе-го преобразования с учетом перцептуальных свойств возможно реализовать путем численной минимизации целевой функции, основанной на метрике на базе CIE DE 2000 на множестве параметров преобразования А. Нахождение минимума целевой функции численным методом требует наличия стартовой точки — некоторых начальных значений матрицы А. С точки зрения точности и скорости решения задачи минимизации, чем ближе стартовая точка к положению глобального минимума, тем лучше. Более того, при значительном удалении начального приближения от глобального минимума есть риск получить неудовлетворительное решение (попадание алгоритма минимизации в локальный минимум).
Предлагаемый метод перцептуальной цветокоррекции рассматривает ее как двухэтапную процедуру (рис. 4).
На первом этапе параметры преобразования (в рассматриваемом частном случае — для перехода из RGB- в XYZ-пространство) рассчитываются с помощью евклидовой метрики МНК. Найденное решение, являясь аналитически полученным глобальным минимумом для евклидовой метрики, служит стартовой точкой для алгоритма численной минимизации целевой функции, основанной на перцептуальной метрике. В качестве алгоритма минимизации был выбран BFGS [22].
Рис. 4. Предлагаемый метод перцептуальной цветокоррекции Fig. 4. The proposed method of perceptual color correction
Результаты экспериментального исследования
Для оценки эффективности предложенного метода было выполнено следующее исследование. Рассчитывались коэффициенты цветового преобразования для задачи отображения координат из пространства RGB-камеры (использованы характеристики Sony DXC 930) в пространство XYZ. При этом сравнивались результаты, полученные МНК (т. е. с применением евклидовой метрики, без последующего уточнения по перцептуальной) и предложенным методом. В качестве исходных данных спектров цветов были использованы следующие диаграммы: Macbeth (часто применяемый на практике набор, содержащий спектральные характеристики 24 цветов) и SG (содержащий большое число цветов — 140, достаточно равномерно покрывающих видимый диапазон, что обеспечивает валидность полученных результатов).
Моделирование проводилось для ряда источников освещения, в частности для белого света следующих типов: А, Е, D50, D65, флуоресцент-
ного (FL3.11) и диодного (LED-RGB100) источника. Рассчитывалась средняя ошибка для двух рассматриваемых методов и относительный выигрыш предлагаемого метода. Следует отметить, что для оценки воспринимаемой человеком точности цветового преобразования ориентироваться только на среднюю ошибку нельзя. Специфика восприятия состоит в том, что цветовые различия менее 1.0 по формуле CIE DE 2000 неразличимы для человека. Поэтому 1.0 по CIE DE 2000 называют «порогом восприятия». В то же время на практике широко применяют второй порог, равный 3.0 по CIE DE 2000, называемый «приемлемым порогом». Считается, что разница в цветах менее 3.0 в целом оценивается человеком как допустимая для практических задач. Следовательно, ошибка передачи какого-либо цвета более 3.0 по CIE DE 2000 значительно влияет на воспринимаемую точность цветопередачи. Поэтому важно при оценке точности цветового преобразования проводить анализ, для какого числа цветов были превышены соответствующие пороги, что и было сделано в рамках исследования методов.
■ Таблица 1. Результаты исследования для линейной модели первого порядка с девятью коэффициентами, L2, Macbeth (24 цвета)
■ Table 1. Research results for a first-order linear model with 9 coefficients, L2, Macbeth (24 colors)
=
я H
Средняя ошибка, CIE DE 2000
И M
й
ц ч
ф а с
и
ч
0
Ф S
s £ я ^S ф s
01 Л о
Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, %
И M
й
ц ч
ф а с
й «
О у
Й «
ф и
m 5
я- а
ф
к
§ g
« £
œ m Я я
® t Э §
л VD
И я
œ Я
а о
Д
»Я W
® я
¡S
S «
S a
is л о
m m
ф
а я
Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, %
И M
й
ц ч
ф а я
Я
а е^ 'Я g
ф &
œ m Я я
® t Э
Л VO
Я Я
§ a £ £
А
2,11
1,64
22
79
66
13
25
12
13
Е
1,89
1,64
13
75
13
D50
1,96
1,66
15
67
21
13
-4
D65
1,78
1,59
10
79
58
21
FL3.11
0,89
0,79
10
38
29
LED-RGB100
0,51
0,49
13
13
Очевидно, что вид и сложность модели преобразования влияют на получаемые результаты. Исследование было проведено для двух линейных моделей первого порядка с девятью и 12 коэффициентами (табл. 1-4). При расчете целевой функции использовалась норма р =2 (для обеспечения одинаковой нормы у двух методов).
Анализ таблиц показывает, что применение предложенного метода по сравнению с результатом цветокоррекции без учета перцептуальной метрики позволяет значительно снизить сред-
нюю ошибку цветового преобразования, а также уменьшить долю цветов со значимой ошибкой с точки зрения восприятия.
При использовании матрицы преобразования размера 3x3 для диаграммы Macbeth средняя ошибка снижается в среднем на 12 %, от пяти до 22. При этом для естественных типов освещения (A, D50, D65) удается в среднем на 15 % снизить долю цветов, для которых ошибка цветового преобразования превышает порог восприятия. Доля цветов, превышающих приемлемый порог в целом, остается на том же уровне.
■ Таблица 2. Результаты исследования для линейной модели первого порядка с 12 коэффициентами, L2, Macbeth (24 цвета)
■ Table 2. Research results for a first-order linear model with 12 coefficients, L2, Macbeth (24 colors)
Тип освещения Средняя ошибка, CIE DE 2000 Уменьшение средней ошибки, % Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, % Уменьшение доли цветов с ошибкой цветопередачи, превышающей порог восприятия, % Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, % Уменьшение доли цветов с ошибкой цветопередачи, превышающей приемлемый порог, %
после MHK после предложенного метода после МНК после предложенного метода после МНК после предложенного метода
A 2,55 1,64 35 79 67 12 25 13 12
E 2,18 1,59 27 75 67 8 17 4 13
D50 2,39 1,65 31 75 63 12 21 17 4
D65 2,20 1,56 28 71 63 8 17 4 13
FL3.11 1,23 0,79 35 50 29 21 4 0 4
LED-RGB100 0,61 0,49 18 21 13 8 0 0 0
■ Таблица 3. Результаты исследования для линейной модели первого порядка с девятью коэффициентами, L2, SG (140 цветов)
■ Table 3. Research results for a first-order linear model with 9 coefficients, L2, SG (140 colors)
Тип освещения Средняя ошибка, CIE DE 2000 Уменьшение средней ошибки, % Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, % Уменьшение доли цветов с ошибкой цветопередачи, превышающей порог восприятия, % Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, % Уменьшение доли цветов с ошибкой цветопередачи, превышающей приемлемый порог, %
после МНК после предложенного метода после МНК после предложенного метода после МНК после предложенного метода
А 1,71 1,52 11 59 51 8 17 11 6
Е 1,83 1,72 6 78 64 14 12 15 -3
D50 1,80 1,66 8 66 64 2 15 15 0
D65 1,74 1,64 6 62 61 1 14 14 0
FL3.11 0,83 0,80 3 29 26 3 2 1 1
LED-RGB100 0,48 0,46 3 19 14 5 0 0 0
■ Таблица 4. Результаты исследования для линейной модели первого порядка с 12 коэффициентами, L2, SG (140 цветов)
■ Table 4. Research results for a first-order linear model with 12 coefficients, L2, SG (140 colors)
=
я H
Средняя ошибка, CIE DE 2000
A
E
D50
D65
FL3.11
LED-RGB100
И M
3,60 3,35 3,57 3,43 1,95
0,84
Il S
я Sh œ œ® Чм S о я о С
1,52 1,61 1,60
1,56 0,78
0,46
и
ч
О ~ ф S
s £ я ^S ф s
0 ü Л о
58 52 55 55 60
45
Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, %
И M
76 76 76 74 54
29
о
¡Ms
я Sh œ œ® Чм S о я о с
51 63 63 61 27
14
а С
CD "
5 с § g
« £
œ m
Я я
¡S >g
Э -4
л VO
И Я
§ a
6 S
О
a
О ъР
в
« к ® s ^ iï S «
S a
Э § л о
m m
CD
a с
25 13 13 13
27
15
Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог,
%
И M
29 28 40 29 16
о
¡Ms
я Sh
CD ф®
о я
о
с
12
15
16 14
15 я
о у
Й «
® и
S ®
я a
^ s
fcH G
° 13
« is
œ m
Я Я
¡g 'g
Л VD
И S
Ü а
£ S
я ър a
с i^-
я С
§ 'S
17 13
24 15 15
При использовании матрицы преобразования размера 3x3 для диаграммы SG выигрыш по средней ошибке и доле цветов с существенной ошибкой оказывается относительно небольшим, около 5-6 %. Это связано с тем, что, с одной стороны, значительно большее число цветов позволяет точнее оценить параметры преобразования на первом шаге процедуры, а с другой стороны, преобразование размера 3 х 3 не обеспечивает достаточной гибкости для большого повышения точности цветопередачи за счет уточнения по перцептуальной метрике на втором шаге.
При использовании матрицы преобразования размера 3x4 для диаграммы Macbeth средняя
ошибка снижается в среднем на 30 %, от 18 до 35. При этом в среднем на 10 % снижаются доли цветов, превышающих как порог восприятия, так и приемлемый порог.
При использовании матрицы преобразования 3x4 для диаграммы SG удается получить внушительный выигрыш в снижении средней ошибки — в среднем более чем на 50 %. При этом в среднем на 15-18 % снижаются доли цветов, превышающих как порог восприятия, так и приемлемый порог.
Диаграммы, обобщающие результаты для двух типов освещения D65 и А, представляющих наибольший практический интерес, приведены на рис. 5,6, а и б.
Macbeth Macbeth SG SG
3x3 3x4 3x3 3x4
I Средняя ошибка после МНК, тип освещения 065
Средняя ошибка после предложенного метода, тип освещения Ббб
Средняя ошибка после МНК, тип освещения А
Средняя ошибка после предложенного метода, тип освещения А
Рис. 5. Средние ошибки цветового преобразования для типов освещений D65 и А Fig. 5. Average color conversion errors for illumination types D65 and A
а) 90 80 70 60 50 40 30 20 10 0
Macbeth
3x3
Macbeth 3x4
I Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, после МНК, %, тип освещения Ббб
Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, после предложенного метода, %, тип освещения Ббб
Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, после МНК, %, тип освещения А
Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, после предложенного метода, %, тип освещения А
б) 35
30
25
20
15
10
Macbeth Macbeth SG SG
3x3 3x4 3x3 3x4
I Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, после МНК, %, тип освещения Ббб
Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, после предложенного метода, %, тип освещения Ббб
Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, после МНК, %, тип освещения А
Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, после предложенного метода, %, тип освещения А
■ Рис. 6. Доля цветов, превышающих порог восприятия (а) и приемлемый порог (б), для типов освещений D65 и А
■ Fig. 6. Proportion of colors exceeding the perception threshold (a) and the acceptable threshold (6) for illuminant types D65 and A
Заключение
Полученные результаты показывают, что предложенный метод имеет значительную практическую ценность. Даже при использовании для оценки параметров достаточно простого линейного преобразования, содержащего девять коэффициентов, и небольшой диаграммы цветов Macbeth удается ощутимо повысить точность преобразования с точки зрения восприятия че-
ловеком. При использовании более сложного преобразования (хотя и далеко не самой высокой размерности из применяемых сегодня) выигрыш получается значительным как по снижению средней ошибки, так и по уменьшению доли цветов, превышающих порог восприятия и приемлемый порог.
Следует отметить и универсальность предложенного метода с точки зрения нормы, используемой при минимизации с учетом перцеп-
■ Таблица 5. Результаты исследования для линейной модели первого порядка с 12 коэффициентами, LI, Macbeth (24 цвета)
■ Table 5. Research results for a first-order linear model with 12 coefficients, LI, Macbeth (24 colors)
Тип освещения Средняя ошибка, CIE DE 2000 Уменьшение средней ошибки, % Доля цветов с ошибкой цветопередачи, превышающей порог восприятия, % Уменьшение доли цветов с ошибкой цветопередачи, превышающей порог восприятия, % Доля цветов с ошибкой цветопередачи, превышающей приемлемый порог, % Уменьшение доли цветов с ошибкой цветопередачи, превышающей приемлемый порог, %
после МНК после предложенного метода после МНК после предложенного метода после МНК после предложенного метода
А 2,55 1,58 38 79 54 25 25 21 4
Е 2,18 1,48 32 75 50 25 17 13 4
D50 2,39 1,53 36 75 50 25 21 8 13
D65 2,20 1,46 34 71 42 29 17 13 4
FL3.11 1,23 0,74 40 50 21 29 4 4 0
LED-RGB100 0,61 0,47 22 21 17 4 0 0 0
туальной метрики. В табл. 5 приведены данные результата исследования предложенного метода с использованием Ы нормы при минимизации.
Видно (в сравнении с табл. 2), что выигрыш в уменьшении средней ошибки преобразования дополнительно увеличивается в среднем на 5 %. При этом удается улучшить результат преобразования с точки зрения числа цветов, ошибка на которых не превышает порог восприятия, но доля цветов, ошибка преобразования для которых превышает приемлемый порог, оказывается большей, чем при использовании Ь2 нормы. Это соответствует ожиданиям, так как Ь2 норма способствует уменьшению максимальных ошибок, а Ь1, наоборот, средней.
В заключение можно сделать следующие выводы.
1. Полученные результаты экспериментального исследования позволяют говорить о том, что предложенный метод перцептуальной цве-
Литература
1. Yeejin L., Keigo H. Lossless white balance for improved lossless CFA image and video compression. IEEE Transactions on Image Processing, 2022, no. 31, pp. 3309-3321, doi:10.1109/TIP.2022.3169687
2. Hemrit Gh., Finlayson G. D., Gijsenij A., Gehler P., Bianco S., Funt B., Drew M., Shi L. Rehabilitating the ColorChecker dataset for illuminant estimation. Proc. IS&T 26th Color and Imaging Conf., 2018, pp. 350-353. doi:10.2352/ISSN.2169-2629.2018.26.350
3. Pedro D. Marrero Fernandez, Fidel A. Guerrero-Pena, Tsang Ing Ren, Jorge J. G. Leandro. Fast
токоррекции обеспечивает значительное повышение точности цветокорректирующего преобразования. Например, при использовании линейной модели первого порядка, содержащей 12 коэффициентов, средняя ошибка снижается на 30 % для диаграммы Macbeth и на 50 % для диаграммы SG. При этом в среднем на 10 % для диаграммы Macbeth и на 15-18 % для диаграммы SG снижаются доли цветов, превышающих как порог восприятия, так и приемлемый порог.
2. Метод не ограничен выбором нормы при построении целевой функции и позволяет использовать нормы Lр для любого р. Это дает возможность гибкой настройки для конкретной задачи.
3. Метод может быть успешно применен в широком спектре колориметрических задач (как в камерной, так и в дисплейной части конвейера обработки сигнала), в которых имеет смысл учитывать свойства зрения: характеризация сенсоров, преобразования цветовых охватов и пр.
and robust multiple ColorChecker detection using deep convolutional neural networks. Image and Vision Computing, 2019, no. 81, pp. 15-24. doi:10.1016/j. imavis.2018.11.001
4. GretagMacbeth ColorChecker DC. https://chromaxion. com/information/colorchecker_dc.html (дата обращения: 21.01.2023).
5. Обухова H. А., Мотыко А. А., Поздеев А. А. Цифровая обработка эндоскопических изображений для систем поддержки врачебных решений. Известия вузов России. Радиоэлектроника, 2018, № 6, с. 54-65. doi:10.32603/1993-8985-2018-21-6-54-65
6. Zhao Y., Ferguson S., Zhou H., Elliott C., Rafferty K.
Color alignment for relative color constancy via non-standard references. IEEE Transactions on Image Processing, 2022, no. 31, pp. 6591-6604. doi:10.1109/TIP.2022.3214107
7. Bellavia F., Colombo C. Dissecting and reassembling color correction algorithms for image stitching. IEEE Transactions on Image Processing, 2018, no. 2, pp. 735-748. doi:10.1109/TIP.2017.2757262
8. Wu P.-Ch., Lin C. A green and practical color photograph printing technology based on color difference model and human perception. IEEE Access, 2022, no. 10, pp. 649-666. doi:10.1109/ACCESS.2021. 3138270
9. Ye S., Lu Sh.-P., Munteanu A. Color correction for large-baseline multiview video. Signal Processing: Image Communication, 2017, no. 43, pp. 40-50. doi:10.1016/j.image.2017.01.004
10. Zeng H., Cai J., Li L., Cao Z., Zhang L. Learning image-adaptive 3d lookup tables for high performance photo enhancement in real-time. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, no. 4, pp. 2058-2073. doi:10.1109/TPAMI.2020. 3026740
11. Fei W., Wei W., Dan W., Guowang G. Color constancy via multi-scale region-weighed network guided by semantics. Frontiers in Neurorobotics, 2022, no. 16, pp. 1-15. doi: 10.3389/fnbot.2022.841426
12.Alebrahim R., Thamburaja P., Srinivasa A., Red-dy J. N. A robust Moore — Penrose pseudoin-verse-based static finite-element solver for simulating non-local fracture in solids. ComputerMethods inAp-plied Mechanics and Engineering, 2023, no. 403, pp. 1-26. doi: 10.1016/j.cma.2022.115727
13.MacAdam D. L. Visual sensitivities to color differences in daylight. Journal of Optical Socient of America, 1942, no. 49, pp. 247-274.
14. Chevallier E., Farup I. Interpolation of the MacAdam ellipses. SIAM Journal on Imaging Sciences, 2018, no. 3, pp. 1979-2000. doi:10.1137/17M1147184
15.Durmus Alp. CIELAB color space boundaries under theoretical spectra and 99 test color samples. Color Research & Application, 2020, no. 5, pp. 796-802. doi:10.1002/col.22521
16.Yi-Tun Lin, Graham D. Finlayson. A rehabilitation of pixel-based spectral reconstruction from RGB images. Sensors, 2023, no. 8, pp. 1-20. doi:10.3390/ S23084155
17. Mirjalili F., Luo M. R., Cui G., Morovic J. Color-difference formula for evaluating color pairs with no separation: AENS. Journal of the Optical Society of America A, 2019, no. 5, pp. 789-799. doi:10.1364/JOSAA. 36.000789
18.Hu W., Davis W. The effect of control resolution on the usability of color-tunable lighting systems. LEUKOS — Journal ofllluminating Engineering Society ofNorthAmerica, 2018, no. 15, pp. 1-14. doi:10.1 080/15502724.2018.1477053
19.Hellwig L., Stolitzka D. An advanced color model for evaluating new display technologies. Information Display, 2023, no. 3, pp. 11-15. doi: 10.1002/msid.l392
20. Scott A. Burns. Chromatic adaptation transform by spectral reconstruction. Color Research & Application, 2019, no. 5, pp. 682-693. doi:10.1002/col.22384
21. Akazawa T., Kinoshita Y., Kiya H. Multi-color balance for color constancy. Proc. IEEE Intern. Conf. on Image Processing (ICIP), 2021, pp. 1369-1373. doi:10. 1109/ICIP42928.2021.9506528
22.Shashi Kant Mishra, Geetanjali Panda, Suv-ra Kanti Chakraborty, Mohammad Esmael Samei, Bhagwat Ram. On q-BFGS algorithm for unconstrained optimization problems. Advances in Difference Equations, 2020, no. 638, pp. 1-24. doi:10.1186/ S13662-020-03100-2
UDC 654.1
doi:10.31799/1684-8853-2023-3-26-38 EDN: ZZTURK
The method for perceptual color correction
A. A. Motykoa, PhD, Tech., Associate Professor, orcid.org/0000-0003-4241-4298
N. A. Obukhovaa, Dr. Sc., Tech., Professor, orcid.org/0000-0003-1953-2085, natalial72419@yandex.ru
aSaint-Petersburg Electrotechnical University «LETI», 5, Prof. Popov St., 197376, Saint-Petersburg, Russian Federation
Introduction: Color correction transformations are widely used in the graphics processing pipeline, for example in sensor characterization, white balance, artistic processing, gamut mappings of displays, and so on. However, the current methods of coordinate transformation between different color spaces do not sufficiently take into account the human visual properties, which leads to color reproduction errors. Purpose: To develop a method for the estimation of color correction parameters taking into account human visual perception properties. Results: The proposed method consists of two stages. At the first stage the estimation of color correction transformation parameters is carried out by the least squares method. At the second stage the obtained estimation is specified by means of the numerical minimization of the target function constructed on the perceptual criterion (based on the CIE DE 2000 formula for calculation of color differences). Experimental study has shown that this method allows to significantly increase the accuracy of color reproduction. The average error is reduced by 10 to 50% depending on the color correction model used. In addition, the number of colors with significant for human perception color reproduction errors is reduced by 10 to 15%. The method can use different models of color correction transformations, which makes it universal and gives wide possibilities of implementation in the pipeline of graphic information
processing. Practical relevance: The developed method for the estimation of color correction parameters taking into account human visual perception properties can be applied for the synthesis of TV systems in tasks, where accurate color rendering is important for the user, for example, in digital photography, telemedicine, etc.
Keywords — color correction, CIE DE 2000, color correction transformations, perceptual color correction, color difference formula.
For citation: Motyko A. A., Obukhova N. A. The method for perceptual color correction. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2023, no. 3, pp. 26-38 (In Russian). doi:10.31799/1684-8853-2023-3-26-38, EDN: ZZTURK
References
1. Yeejin L., Keigo H. Lossless white balance for improved lossless CFA image and video compression. IEEE Transactions on Image Processing, 2022, no. 31, pp. 3309-3321, doi:10.1109/TIP.2022.3169687
2. Hemrit Gh., Finlayson G. D., Gijsenij A., Gehler P., Bianco S., Funt B., Drew M., Shi L. Rehabilitating the ColorChecker dataset for illuminant estimation. Proc. IS&T 26th Color and Imaging Conf., 2018, pp. 350-353. doi:10.2352/ ISSN.2169-2629.2018.26.350
3. Pedro D. Marrero Fernandez, Fidel A. Guerrero-Pena, Tsang Ing Ren, Jorge J. G. Leandro. Fast and robust multiple ColorChecker detection using deep convolutional neural networks. Image and Vision Computing, 2019, no. 81, pp. 15-24. doi:10.1016/j.imavis.2018.11.001
4. GretagMacbeth ColorChecker DC. Available at: https://chro-maxion.com/information/colorchecker_dc.html (accessed 21 January 2023).
5. Obukhova N. A., Motyko A. A., Pozdeev A. A. Endoscopic images digital processing for clinical decision support systems. Journal of the Russian Universities: Radioelectronics, 2018, no. 6, pp. 54-65 (In Russian). doi:10.32603/1993-8985-2018-21-6-54-65
6. Zhao Y., Ferguson S., Zhou H., Elliott C., Rafferty K. Color alignment for relative color constancy via non-standard references. IEEE Transactions on Image Processing, 2022, no. 31, pp. 6591-6604. doi:10.1109/TIP.2022.3214107
7. Bellavia F., Colombo C. Dissecting and reassembling color correction algorithms for image stitching. IEEE Transactions on Image Processing, 2018, no. 2, pp. 735-748. doi:10.1109/TIP.2017.2757262
8. Wu P.-Ch., Lin C. A green and practical color photograph printing technology based on color difference model and human perception. IEEE Access, 2022, no. 10, pp. 649-666. doi:10.1109/ACCESS.2021.3138270
9. Ye S., Lu Sh.-P., Munteanu A. Color correction for large-baseline multiview video. Signal Processing: Image Communication, 2017, no. 43, pp. 40-50. doi:10.1016/j.image.2017.01.004
10. Zeng H., Cai J., Li L., Cao Z., Zhang L. Learning image-adaptive 3d lookup tables for high performance photo enhancement in real-time. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, no. 4, pp. 20582073. doi:10.1109/TPAMI.2020.3026740
11. Fei W., Wei W., Dan W., Guowang G. Color constancy via multi-scale region-weighed network guided by semantics.
Frontiers in Neurorobotics, 2022, no. 16, pp. 1-15. doi: 10.3389/fnbot.2022.841426
12. Alebrahim R., Thamburaja P., Srinivasa A., Reddy J. N. A robust Moore — Penrose pseudoinverse-based static finite-element solver for simulating non-local fracture in solids. Computer Methods in Applied Mechanics and Engineering, 2023, no. 403, pp. 1-26. doi: 10.1016/j.cma.2022.115727
13. Mac Adam D. L. Visual sensitivities to color differences in daylight. Journal of Optical Socient of America, 1942, no. 49, pp. 247-274.
14. Chevallier E., Farup I. Interpolation of the MacAdam ellipses. SIAM Journal on Imaging Sciences, 2018, no. 3, pp. 1979-2000. doi:10.1137/17M1147184
15. Durmus Alp. CIELAB color space boundaries under theoretical spectra and 99 test color samples. Color Research & Application, 2020, no. 5, pp. 796-802. doi:10.1002/col.22521
16. Yi-Tun Lin, Graham D. Finlayson. A rehabilitation of pixel-based spectral reconstruction from RGB images. Sensors, 2023, no. 8, pp. 1-20. doi:10.3390/s23084155
17. Mirjalili F., Luo M. R., Cui G., Morovic J. Color-difference formula for evaluating color pairs with no separation: AENS. Journal of the Optical Society of America A, 2019, no. 5, pp. 789-799. doi:10.1364/JOSAA.36.000789
18. Hu W., Davis W. The effect of control resolution on the usability of color-tunable lighting systems. LEUKOS — Journal of Illuminating Engineering Society of North America, 2018, no. 15, pp. 1-14. doi:10.1080/15502724.2018.1477053
19. Hellwig L., Stolitzka D. An advanced color model for evaluating new display technologies. Information Display, 2023, no. 3, pp. 11-15. doi:10.1002/msid,1392
20. Scott A. Burns. Chromatic adaptation transform by spectral reconstruction. Color Research & Application, 2019, no. 5, pp. 682-693. doi:10.1002/col.22384
21. Akazawa T., Kinoshita Y., Kiya H. Multi-color balance for color constancy. Proc. IEEE Intern. Conf. on Image Processing (ICIP), 2021, pp. 1369-1373. doi:10.1109/ICIP42928. 2021.9506528
22. Shashi Kant Mishra, Geetanjali Panda, Suvra Kanti Chakraborty, Mohammad Esmael Samei, Bhagwat Ram. On q-BFGS algorithm for unconstrained optimization problems. Advances in Difference Equations, 2020, no. 638, pp. 1-24. doi:10.1186/sl3662-020-03100-2
