CC BY
14
Метод цветовой консистентности для камер с неизвестной моделью
С.А. Бибиков 12, М.В. Петров12, А.П. Алексеев 2, М.В. Алиев 3, Р.А. Парингер ',2, Е.В. Гошин1,
П.Г. Серафимович ',2, А.В. Никоноров1,2 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34;
2 Институт систем обработки изображений РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН,
443001, Россия, г. Самара, Молодогвардейская, д. 151;
3 Адыгейский государственный университет
Аннотация
Современные методы вычислительной фотографии позволяют приблизить качество изображений, получаемых мобильными камерами, к качеству профессиональных фотокамер. Одна из важнейших задач в этой связи - задача обеспечения консистентности цветов различных камер. В настоящей работе предлагается простой и эффективный способ привести цвета одной камеры к другой, основанный на аппроксимации необходимого преобразования сплайном тоновой коррекции и матрицей цветового преобразования. Экспериментальное исследование проведено в достаточно сложном случае, в котором требуется привести в соответствие цвета изображений, полученных с двух принципиально разных сенсоров, а также с использованием дифракционной оптики. Результаты экспериментов показали, что предложенный метод позволяет получить более высокую точность приведения цветов между камерами, чем существующие аналоги.
Ключевые слова: цветовая коррекция, цветовая консистентность, оптимизация параметров.
Цитирование: Бибиков, С.А. Метод цветовой консистентности для камер с неизвестной моделью / С.А. Бибиков, М.В. Петров, А.П. Алексеев, М.В. Алиев, Р.А. Парингер, Е.В. Гошин, П.Г. Серафимович, А.В. Никоноров // Компьютерная оптика. - 2023. - Т. 47, № 1. -С. 92-101. - DOI: I0.18287/2412-6179-C0-I205.
Citation: Bibikov S, Petrov M, Alekseev A, Aliev M, Paringer R, Goshin Y, Serafimovich P, Nikonorov A. Color consistency method for cameras with unknown model. Computer Optics 2023; 47(1): 92-101. DOI: 10.18287/2412-6179-C0-1205.
Введение
Задачи обработки цвета цифровых изображений имеют давнюю историю и сейчас так же важны как для профессиональных фотокамер, так и для камер мобильных телефонов, качество которых на сегодняшний день приближается к профессиональным [1, 2]. Более того, методы вычислительной фотографии и глубокого обучения позволяют значительно улучшить качество изображений, получаемых с использованием плоской дифракционной оптики или металинз [3 - 8]. Наряду с прогрессом в задачах повышения качества изображений [9], одной из важнейших задач при обработке цвета изображений является задача обеспечения похожести или консистентности цветов на изображениях, полученных с различных камер [10, 11]. Проблема обеспечения схожести цветов при различных способах регистрации или синтеза изображения важна как при обработке фото- и видеоданных с различных источников [5, 11], так и при анализе данных ДЗЗ [12, 13] и синтезе виртуальной реальности [5].
Задача обеспечения цветовой консистентности состоит в том, чтобы сделать цвета одного изображения, называемого исходным, похожими на цвета другого изображения, называемого референтным или целевым. Важнейшим частным случаем является задача обеспечения цветовой консистентности одной и той
же сцены, снятой различными камерами. Схожая задача решается в работе [10] для камер с различным представлением цвета - в виде гамма-корректирован-ного или логарифмически кодированного пространства.
Современная цифровая камера выполняет сложную последовательность шагов первичной обработки изображения [2, 14, 15], включая коррекцию точки белого, коррекцию цветового тона, преобразование и кодирование цветового пространства изображения. В камерах мобильных телефонов процесс первичной обработки изображения определяется конвейером сигнальной обработки изображений камеры (ISP). Кроме того, рассматривая две различные камеры, нужно иметь в виду, что спектральная чувствительность сенсоров этих камер различается [15] и, соответственно, различаются первичные цвета.
Базовыми инструментами для коррекции цвета являются процедуры гамма- или логарифмической коррекции [16, 17], тонового преобразования, применения коррекции точки белого и цветокорректирую-щих матриц [2, 15, 18]. Эти методы позволяют проводить соответственно линейную и нелинейную цветовую коррекцию изображений.
Изменение тона подразумевает построение функции, изменяющей яркости элементов исходного изображения таким образом, чтобы они стали максимально близки яркостям соответствующих
элементов целевого изображения согласно заданной меры близости.
Цветокорректирующая матрица основана на тех же принципах, что и отображение цветов одного цветового пространства в другое. Обычно предполагается, что эти пространства достаточно близки друг к другу и незначительно отличаются основными цветами, т. е. абсолютными колориметрическими координатами цветов, соответствующих максимальным значениям в каналах (для RGB-пространств это точки, соответствующие (1, 0, 0), (0, 1, 0) и (0, 0, 1)). Матрица преобразования соответствует такому преобразованию, которое минимизирует разницу между цветами соответствующих объектов на исходном и целевом изображениях.
В работе [10] рассматривается подход к решению задачи обеспечения цветовой консистентности с подбором параметров неизвестного кодирующего цвет преобразования. В настоящей работе рассматривается другая задача построения цветовой консистентности для различных камер мобильных устройств. Задача решается в предположении, что форма кодирующего цвет преобразования известна, и это гамма-коррекция, стандартная для камер мобильных устройств. Однако остальные параметры ISP и, более того, первичные цвета для этих камер неизвестны.
В работе предложено решение задачи для камер с неизвестными параметрами на основе идентификации параметров матрицы цветового преобразования и сплайна тоновой коррекции для двух изображений по набору совпадающих суперпикселов. Предложен алгоритм поиска совпадающих суперпикселов для двух изображений. Предложены алгоритмы оптимизации параметров, обеспечивающие повышение качества результата.
Экспериментальные исследования разработанных алгоритмов проведены на наборе данных, полученных двумя сенсорами одного мобильного устройства с различным набором первичных цветов - RGGB и RYYB [19]. Оценка качества результата работы предложенного метода показала на тестовом наборе изображений среднее значение в 3,59 dE, что, в частности, превосходит результаты алгоритма из работы [10].
1. Метод и алгоритм обеспечения цветовой консистентности для двух камер 1.1. Модель регистрации изображения
В современных устройствах регистрации изображений используется сложный конвейер алгоритмов обработки изображений, включающий демозаику, баланс белого, цветокоррекцию, различные стандарты цветового кодирования, в том числе и с применением нейронных сетей. В [14] авторами была предложена обобщенная модель конвейера для цифровых устройств регистрации изображений
I = (a • ilini„ )), (1)
где Ilinin - координаты цветового пространства, соответствующие цвету точки линейного изображения, считываемого датчиком камеры, после демозаики; I -координаты цветового пространства, соответствующие цвету точки выходного изображения; A - 3*3-матрица, несущая информацию о цвете и балансе белого для наиболее распространенного случая трехмерных цветовых пространств; значение у определяет степенную функцию (обычно известную как гамма-коррекция).
Это упрощенное представление конвейера, так как в реальных случаях применяются и другие методы обработки, такие как шумоподавление, усиление контраста и т. д. Тем не менее это приближение достаточно точное для тех пикселей, которые не лежат близко к границе цветового охвата [10].
С учетом того, что регистрация изображений осуществляется на два различных сенсора, получаем:
1
10 = ( A0 Ilinin0 )у ,
\ (2)
11 = (A1 Ili„i„l )у.
В рассматриваемом случае зарегистрированные изображения Ilinin0 и Ilinin1 отличаются, так как сенсоры обладают различающейся цветочувствительностью (используются цветовые фильтры RGGB и RYYB), углом зрения. Соответственно, матрицы A0 и A1 содержат различающуюся информацию о переводе в RGB-пространство и балансе белого. Показатель у определяет только кодирование яркости в пространстве RGB, будем считать его значение одинаковым для обоих изображений. Возведение обоих равенств в степень у позволяет перейти к рассмотрению линейных изображений:
Ilin0 = A0Ilinin0 , (3)
I lin1 = A1Ilinin1 .
Изображения Im0 и I/in1 содержат различающиеся сцены, причем большая сцена (пусть это будет Im) целиком включает меньшую Ilmi. Обозначим как I*lm0 часть изображения I/,n0, совпадающую с I«.
Предположим, что существует функция S*(-) и матрица A2, позволяющие получить из изображения Ilinin1 изображение I*
Ilin0 = S* (A2Ilinin1 ). (4)
Тогда с использованием (3) и (4) можно записать следующее равенство:
in = a1ai1S*-1 (Il*n0 ). (5)
Это равенство описывает цветовое преобразование, переводящее цвета части изображения Iiiri0 к цветам изображения Im. Аналогичное преобразование можно получить и для преобразования цветов, переводящее цвета Ilin1 к цветам соответствующей части
изображения Ilino в предположении, что такое преобразование возможно с использованием функции £**(•) и матрицы A3:
Ilin0 = AoA3S** 1 (Ilin1 )• (6)
В (5) и (6) функции S*(-) и £**(•) имеют смысл преобразования яркости (тонкорректирующее преобразование), учитывающего разницу в распределении яркости между двумя соответствующими изображениями hm и I*iino• Это преобразование должно быть обратимым, то есть требование функциональности должно выполняться и для обратных преобразований.
Матрицы в (5) и (6) имеют тот же смысл, что и в (1), - цветовое преобразование, определяющее баланс белого и основные цвета сенсоров. Запишем (5) в более простой форме:
Ilin1 = HS (mo ) ,
H = AlA;1, (7)
S (•) = S-1.
1.2. Общее описание алгоритма
В общем случае изображения, для которых обеспечивается цветовая консистентность, отличаются не только цветопередачей, но и самой зарегистрированной сценой: отличия ракурса, геометрии съемки, положения предметов, условий освещения. Поэтому в условиях неизвестной модели регистрации построение преобразования должно проводиться по цветам точек, принадлежащих одинаковым объектам на двух изображениях.
Задача обеспечения цветовой консистентности или цветовой стабилизации [10] формулируется как построение и применение к исходному изображению преобразования T (•) для минимизации цветовых различий между определенным набором из N соответствующих точек модифицированного исходного и целевого изображений:
T (P): \P0,T (P min, (8)
где Po ={po(1),po(2),...,po(N)} - множество из N координат цветового пространства, описывающие соответствующие цвета целевого изображения Io; P1 ={ p1 (1), p1 (2),., p1 (N )} - множество из N координат цветового пространства, описывающие соответствующие цвета исходного изображения I1. Координаты в цветовом пространстве представляют собой трехмерный вектор:
po (i) = (por (i),pog (i),pob (i)), i = 1..N. (9)
Предлагаемая в работе процедура цветовой стабилизации состоит из трех последовательных этапов: получение пар координат в цветовом пространстве для соответствующих цветов исходного и целевого
изображений; построение и применение тон-корректирующей кривой S (•); построение и применение матрицы цветового преобразования H. Преобразование, описывающее (7), можно записать в следующем виде:
T(P,t) = H(t) S(P,t), (Ю)
где P - трехмерные координаты цвета в цветовом пространстве, t - вектор параметров, независимо задающих корректирующую кривую S(-) и матрицу H.
1.3. Получение соответствующих цветов исходного и целевого изображения
Идентификация параметров преобразования (Ю) выполняется по набору точек в цветовом пространстве, которые описывают соответствующие цвета исходного и целевого изображений.
Для создания набора соответствующих цветов выполняется сопоставление исходного и целевого изображений с учетом особенностей их регистрации сенсорами мобильного устройства. В общем случае у сенсоров различается геометрия съемки: фокусное расстояние, пространственное положение и направление сенсора, время съемки. В рассматриваемом авторами случае используются следующие частные ограничения: изображения получаются стандартным и широкоугольным объективами, сенсоры находятся в одной плоскости, направление съемки совпадает, а сама съемка происходит с разницей не более нескольких секунд.
Эти особенности позволяют считать, что снимаемая камерами сцена отличается незначительно: только углами зрения камер и переместившимися за время между съемкой объектами. Это позволяет для сопоставления изображений эффективно использовать поиск ключевых точек на основе SURF [2o].
Кроме непосредственного совмещения двух изображений, необходимо провести коррекцию геометрических искажений, присущих обеим рассматриваемым камерам. Такая коррекция осуществляется с применением метода undistort, реализованного в рамках процедур калибровки камер в библиотеке OpenCV [21].
После сопоставления двух изображений, приведения их к единому разрешению и обрезки большего из них предполагается, что большинство точек, обладающих одинаковыми пространственными координатами на двух изображениях, относятся к одинаковым объектам. Будем обозначать изображения после геометрического приведения как I'o и I'1.
Множество совпадающих цветов для двух изображений строится на основе анализа цветовой и пространственной близости пикселов сопоставленных изображений, развивая подход работ [22, 23]. Построение цветовой сегментации для обоих изображений выполняется на основе алгоритма FastSLIC [18]. В результате для изображений I'o и А получается два
соответствующих разбиения на области малого изменения цвета J0 и Jl. Эти разбиения накладываются друг на друга, формируется объединенное разбиение J. Исключив из рассмотрения фрагменты разбиения J с площадью меньше, чем заданный порог, мы получим области мало изменяющегося цвета, которые принадлежат одинаковым объектам на обоих изображениях. Обозначим количество оставшихся сегментов разбиения как N.
Как показано в работе [17], существенное влияние на качество цветовой коррекции по фрагментам оказывают границы фрагментов. Для надежного исключения границ объектов обоих изображений мы уменьшаем каждый из сегментов J за счет удаления из рассмотрения пикселов, близких к границе каждого сегмента. Дополнительно, следуя критерию, предложенному в [17], [24], проводится отбор фрагментов согласно требованию наличия одного собственного числа для фрагмента, существенно превосходящего остальные.
После уточнения границ всех N сегментов разбиения J значения соответствующих цветов получаются путем поканального усреднения цветов пикселей каждого сегмента (. =1..^ общего разбиения, примененного к первому и второму изображениям по отдельности.
{( (), Л ())}:
Ро () = (рок () Ров () Ров ())
л 0)=( (0, Р1в ( ) Р1в ()),
(.) 1 V,, () (11)
Рос ( )= — I /ос (х),
. хе
Р1C ( ) = ^ I (x),
. хе
I = 1..N, C = К, О, Б.
Здесь /'о(х) и Г\(х) - трехмерные координаты цветового пространства, описывающие цвета в точке х на изображениях /'о и 1\ соответственно, — - количество пикселов в .-м сегменте разбиения J.
Указанный способ формирования набора соответствующих цветов нацелен на уменьшение влияния изменяющихся условий съемки и шумов. В результате формируется N пар трехмерных координат цветового пространства для соответствующих цветов
{ (ро (1), р1 а»,..., (ро т), рг ^))>.
Цветовым пространством, в котором изначально кодируются оба изображения, является пространство &КОБ. Перед последующими этапами проводится линеаризация значений цветов как изображений, так и отобранных соответствующих цветов с помощью обратной гамма-коррекции [2]. После построения и применения тоновой коррекции и цветокорректиру-ющей матрицы цвета снова переводятся в простран-
ство &КОБ прямой гамма-коррекцией. Здесь и далее будем считать, что значения цвета по любому каналу распределены от о до 1.
1.4. Построение кривой тоновой коррекции
Тоновая коррекция нужна для компенсации эффектов, связанных с различиями в экспозиции и приведении динамического диапазона для двух используемых изображений [25]. Как правило, более широкоугольное изображение из используемой пары может захватывать больше объектов, различающихся по яркости: участки неба, более темные объекты в тенях.
Для коррекции с помощью тоновой кривой предварительно для всех пар соответствующих цветов выполняется приведение к градациям серого, при этом координаты (р>оя(0, Ров(0, Ров(О) и (рш(0, Р1в(0, Р1Б(/)) в трехмерном цветовом пространстве заменяются на соответствующие значения яркости ро,(0 и Р1/(/) согласно [26]:
Ро / ( ) = о, 2126 • Ро К ( ) +
(12)
+о,7152 • ров () + о,о722 • ров ().
При этом каждая пара точек цветового пространства соответствующих цветов превращается в координаты (ри (.), ро/ (0) на плоскости «яркость исходного - яркость целевого».
Задача построения тонового преобразования (•)
5 (•): ()), ро, (/)|^ ш1и (13)
сводится к задаче построения кривой, аппроксимирующей полученные точки. При этом должны быть учтены дополнительные ограничения: кривая в любой точке не должна быть убывающей (информация об этом требовании подробно рассмотрена в [27]), кривая должна максимально близко проходить возле точек (о, о) и (1, 1). Для реализации последнего ограничения к полученному набору из N точек добавляются две точки (о, о) и (1, 1) с большими весами.
Для построения аппроксимирующей кривой используется одномерный В-сплайн третьего порядка с добавлением явных внутренних узлов [23, 28]. При построении добавляется один внутренний узел, соответствующий середине диапазона изменения яркости о,5. Это позволяет получать так называемую ^-кривую, которая позволяет вносить разную коррекцию в разные области яркости изображений. Такой сплайн с одним внутренним узлом определяется 5 параметрами [28].
Полученный сплайн применяется для коррекции яркостных значений всех пикселей исходного изображения /1 вместе с соответствующими исходному изображению значениями отобранных пар цветов:
р1 () = 5 (Р1 ()) =
(14)
= [ 5 (к (()), 5 (к (()), 5 (( ())].
На рис. 1 представлен пример построенного сплайна.
0.0 0.2 0.4 0.6 0.В 1.0 Рис. 1. Пример сплайна тоновой коррекции
1.5. Построение цветокорректирующей матрицы
В общем случае задача обеспечения цветовой кон-систентности двух изображений, получаемых сенсорами с разными функциями чувствительности, является некорректной. Возможно возникновение ситуации, когда объекты исходного изображения, обладающие одинаковым цветом, на целевом изображении будут различаться.
Поэтому в нашем случае решается задача максимально близкого в смысле выбранной меры близости преобразования цветов исходного изображения к цветам целевого изображения.
Стандартное преобразование из одного линейного пространства в другое задается как матричное преобразование, соответствующее некоторому аффинному преобразованию:
[ Я', О', В'] = Н •[ Я, О, В ]Т,
hn h12 h13
H = h21 h22 h23 . (15)
h31 h32 h33
Матрица в данном случае имеет размер 3*3. Это преобразование предполагает, что точка с координатами (0, 0, 0) не изменяется. То есть черный на исходном изображении соответствует черному цвету на целевом. В условиях решаемой задачи это предположение может не выполняться, т. к. сенсоры различных камер могут различаться как в базовых цветах, так и в динамическом диапазоне [10].
Для учета возможной разницы в цветовом диапазоне на изображениях необходима 4*4 матрица, соответствующая проективному цветовому преобразованию [29, 30]. Тогда преобразование примет вид:
[R', G', B',1] =
hn h12 h13 h14
h21 h22 h23 h24
h31 h32 h33 h34
0 0 0 1
:[R, G, B,1]T. (16)
Задача идентификации параметров матричного преобразования Н решается как задача наименьших квадратов.
H = P0P1 [P,r P J1,
p0R (1) p0G (1) poB (1) p0R (2) poG (2) poB (2)
(17)
P
P1 =
PoR (N) poG (N) poB (N) 1
p1R (1) p1G (1) p1B (1) 1
p1R (2) pG (2) p1B (2) 1
p\R (N) pg (N) p1B (N) 1
Здесь H - оценка цветокорректирующей матрицы; Po - ^4-матрица, содержащая отобранные значения цветов целевого приведенного изображения p0(i), i=1..N и единицы; Pi - ^4-матрица, содержащая отобранные значения цветов исходного изображения после коррекции тона p1(i), i=1..N и единицы. В данном случае количество параметров, определяющих преобразование H, равно 12, остальные значения в матрице неизменны.
Полученное преобразование применяется к цветовым координатам каждого пикселя скорректированного по тону исходного изображения I.
1.6. Критерий качества
Выбор метрики для оценки качества выполнения цветовой коррекции является достаточно сложной задачей [12, 25]. В современных работах используются как классические метрики, такие как пиковое отношение сигнал/шум (PSNR) и расстояние в равнокон-трастном пространстве CIE La*b* [12, 31], так и более новые, такие как метрика структурной схожести (SSIM) или метрики, основанные на анализе локальных распределений цветовых гистограмм [25].
В настоящей работе мы будем использовать стандартную для задач сравнения цветных изображений метрику - цветовое расстояние «дельта Е 2000» -AEoo [32], значения которой измеряются в единицах «dE». Однако проведенные исследования показали, что значительный вклад в величину метрики вносится в результате погрешности совмещения изображений. Причиной такой погрешности, как правило, является смещение объектов между различными кадрами или погрешность проективного преобразования, как показано на рис. 2а - г.
При этом важно отметить, что идентификация параметров сплайна S (•) и матрицы H проводится с использованием в качестве меры близости евклидового расстояния в линейном пространстве linRGB. ДЕ00 вычисляется в нелинейном пространстве CIE La*b *, и ее использование требует перевода изображений в это пространство. При этом линейное преобразование, задаваемое матрицей H, теряет смысл.
Исходя из этого, были проведены исследования по использованию для идентификации параметров преобразования (10) алгоритмов оптимизации с использованием в качестве меры близости функции АЕ00.
2. Оптимизация решения
Решение задач по минимизации цветовой разности позволяет получать параметры, соответствующие неким локальным минимумам. Мы провели исследование, направленное на поиск лучшего решения в смысле минимизации используемой меры АЕ00.
Мы решали задачу минимизации целевой функции цветовой разности АЕ00 между множествами соответствующих цветов P0 и P1 приведенного целевого изображения I'0 и приведенного исходного I'1 изображения после трансформации преобразованием T (•) с параметрами a.
a = argminp0 (i),T (p (i), a)l , i = 1, N. (18)
aeA 'АЕ»0
В качестве начального приближения использовались значения параметров, полученных в ходе стандартных вычислений. Задача (18) решается методом последовательного квадратичного программирования на основе алгоритма Недлера-Мида с указанным начальным приближением и ограничением на количество итераций, равным 10000.
3. Экспериментальные исследования
В качестве экспериментальных данных использованы изображения, полученные камерами мобильного телефона Huawei P40pro. Использовались две камеры - широкоугольная в качестве целевой и основная в качестве исходной. Широкоугольная камера оснащена сенсором 1/1,5" Sony IMX650 с субпиксельной сеткой RGGB-формата Quad Bayer, обеспечивающей разрешение 40 Мп или 10 Мп после бин-нинга. Основная камера имеет сенсор 1/1,28" Sony IMX700, специально разработанный по заказу Huawei и имеющий формат RYYB и разрешение 52 мегапикселя или 13 мегапикселей после биннинга. Таким образом, сенсоры имеют принципиально различные базовые цвета - красный, зеленый, синий для широкоугольной камеры и красный, желтый, синий для основной. Вследствие этого задача цветовой стабилизации для двух указанных камер является достаточно сложной.
Съемка наборов соответствующих изображений с двух камер выполнена специально разработанным Android-приложением. Сопоставление изображений выполнено на основе детектора ключевых точек SURF, как описано выше. Общее число снятых пар изображений - 100, в выборке присутствуют различные типы сцен - изображения, снятые в помещении, изображения, снятые на улице, в городской среде и на природе при разных условиях освещения. Примеры изображений приведены на рис. 2д - ф.
4. Результаты
В табл. 1 представлены усредненные результаты применения различных этапов процедуры обеспечения цветовой консистентности. В качестве меры качества использовано значение ЛЕоо. Первая строка содержит среднюю цветовую разницу приведенных изображений до цветовой стабилизации. На второй строке приведены результаты цветовой стабилизации, выполненной по алгоритму из работы [1о], с использованием матричной цветовой коррекции и адаптивной гамма-коррекции. Третья и четвертая строка содержат величину коррекции с применением последовательно тоновой коррекции и применения матрицы цветовой коррекции. Последняя строка содержит результат дополнительной оптимизации. Как можно видеть, предложенный подход обеспечивает существенный прирост качества относительно работы [1о] в о,91 № по тоновой коррекции и 2,21 № по цветокоррекции матрицей. В свою очередь, предложенная дополнительная оптимизация обеспечивает прирост качества в о,12 №.
Табл. 1. Качество цветовой стабилизации для различных этапов обработки тестовой выборки
Этап/тип обработки АЕ00, dE
Исходная цветовая разница 6,08
Алгоритм с подбором гамма-коррекции [1о] 4,93
Тоновая коррекция на основе сглаживающего сплайна 5,01
Цветовая коррекция на основе матричного преобразования 3,71
Оптимизация параметров 3,59
Значительное увеличение качества, полученное в результате, различается для разных типов сцен. Табл. 2 демонстрирует два результата обработки: результат алгоритма [1о] и результат, полученный предложенным в работе алгоритмом со всеми оптимизациями.
Табл. 2. Качество цветовой стабилизации по типам сцен
Тип сцены Алгоритм [10], Предложенный
АЕ00, dE алгоритм, АЕ00, dE
В помещении 4,81 3,97
В городской застройке 4,19 3,08
Природный ландшафт 5,26 3,92
Примеры изображений из указанных категорий приведены на рис. 2. Приведенные примеры показывают общее уменьшение цветовой разницы между изображениями как для алгоритма [1о], так и для предложенного алгоритма. Визуально большую схожесть цветов в результате работы предложенного алгоритма можно оценить по изображениям на рис. 2о - 2р. Цвета асфальта на целевом изображении (рис. 2п) заметно ближе к цветам результата предложенного алгоритма (рис. 2о), чем к цветам результата алгоритма [1о] (рис. 2р).
При этом на результатах обоих алгоритмов остаются различия в цветах отдельных предметов. Эти различия касаются насыщенных цветов из области зелено-желтого, что обусловлено различиями в используемых сенсорах.
5. Применение алгоритма для цветокоррекции дифракционных изображений
Предложенный алгоритм цветовой коррекции обладает достаточно высокой степенью универсальности. Для демонстрации возможностей алгоритма в задаче цветовой коррекции были использованы изображения, полученные в изображающей системе с одно-линзовым дифракционно-оптическим объективом [4].
Для полученного изображения была выполнена нейросетевая реконструкция, согласно алгоритму, описанному в [4, 6, 8]. Такая реконструкция позволяет существенно снизить влияние хроматических аберраций, присущих дифракционной оптике. Обучение нейросетевой модели реконструкции происходит в фиксированных условиях съемки и набор данных снимается в помещении с монитора или проектора, что может приводить к существенным отклонениям в яркости и цветовой температуре изображения, снятого в существенно разнящихся условиях, например, вне помещения при ярком солнечном свете [4].
Решением проблемы дополнительной компенсации цветовых искажений служат алгоритмы цветовой коррекции [5]. Разработанный алгоритм цветовой коррекции позволяет решить такую задачу с достаточно высокой эффективностью. В качестве примера приведем результат обработки изображения, полученного при помощи дифракционной оптики в качестве исходного (рис. 2с). В качестве целевого изображения было использовано то же изображение, обработанное оператором цветовой коррекции вручную (рис. 2т). Результат обработки приведен на рис. 2ф.
Разница между исходным и целевым изображением составила 8,34 Ж в среднем, в результате обработки разница уменьшилась до 0,57 что демонстрирует весьма впечатляющие возможности предложенного подхода для дополнительной цветовой коррекции изображений в дифракционно-оптических системах.
Заключение
В настоящей работе предложен новый метод цветовой коррекции и обеспечения цветовой конси-стентности для изображений с различной, неизвестной, моделью формирования. Метод основан на последовательном применении тонокорректирующего сплайна и цветокорректирующей матрицы расширенного вида (4*4). Эксперименты показывают, что такой подход превосходит по качеству альтернативный метод [10], основанный на применении цветокоррек-тирующей матрицы и адаптивной гамма-коррекции. Предложенный подход демонстрирует среднее №
3,71 против 4,93 для метода [10], дополнительная оптимизация улучшает результат еще на 0,12 dE.
Результаты экспериментов соотносятся с тем, что предложенный подход обеспечивает большую гибкость, чем алгоритмы, использующие только цвето-вокорректирующую матрицу [14] или тонокорректи-рующие сплайны [25], обеспечивая тем самым возможность подстройки как разницы в базовых цветах сенсоров и в цветовой температуре, так и тоновую коррекцию и приведение цветовых диапазонов, и, в итоге, получение более точного соответствия цветов. Эксперименты также продемонстрировали, что разработанные процедуры цветовой коррекции могут успешно применяться не только в задачах обеспечения консистентности, но и в смежных задачах, в частности, для цветовой коррекции изображений, полученных в системах технического зрения на основе дифракционной оптики.
Направления дальнейшего развития разработанных методов заключаются как в развитии самих процедур цветовой коррекции для камер с неизвестными параметрами с тем, чтобы учесть такие неочевидные особенности, как преобразование гаммы и неотобра-жаемых цветов, так и в исследовании других возможных приложений, например, использовании процедур цветовой коррекции при синтезе данных для обучения нейросетевых моделей. Также представляет интерес исследование возможности нейросетевой аппроксимации предложенных процедур.
Благодарности
Работа выполнена при поддержке гранта РНФ 2219-00364.
References
[1] Ignatov A, Kobyshev N, Timofte R, Vanhoey K, Van Gool L. DSLR-quality photos on mobile devices with deep con-volutional networks. Proc IEEE Int Conf on Computer Vision 2017: 3277-3285.
[2] Schwartz E, Giryes R, Bronstein AM, DeepISP: Toward learning an end-to-end image processing pipeline. IEEE Trans Image Process 2018; 28(2): 912-923.
[3] Engelberg J, Levy U, The advantages of metalenses over diffractive lenses. Nat Commun 2020; 11(1): 1991.
[4] Ivliev N, Evdokimova V, Podlipnov V, Petrov M, Ganchevskaya S, Tkachenko I, Abrameshin D, Yuzifovich Yu, Nikonorov A, Skidanov R, Kazanskiy N, Soifer V. First earth-imaging CubeSat with harmonic diffractive lens. Remote Sens 2022; 14(9): 2230. DOI: 10.3390/rs14092230.
[5] Petrov M, Bibikov S, Yuzifovich Y, Skidanov R, Niko-norov A. Color correction with 3D lookup tables in diffractive optical imaging systems. Procedia Eng 2017; 201: 7382. DOI: 10.1016/j.proeng.2017.09.665.
[6] Banerji S, Meem M, Majumder A, Vasquez FG, Sensale-Rodriguez B, Menon R. Imaging with flat optics: metalenses or diffractive lenses?, Optica 2019; 6: 805-810.
[7] Kazanskiy NL, Skidanov RV, Nikonorov AV, Doskolo-vich LL. Intelligent video systems for unmanned aerial vehicles based on diffractive optics and deep learning. Proc SPIE 2019; 11516: 115161Q. DOI: 10.1117/12.2566468.
с;
т)
у)
Рис. 2. Примеры изменений на сцене из-за разницы во времени регистрации и артефактов геометрического приведения: а) фрагмент приведенного исходного изображения «Пляжный бар», б) фрагмент приведенного целевого изображения «Пляжный бар», в) фрагмент приведенного исходного изображения «Уличное кафе», г) фрагмент приведенного целевого изображения «Уличное кафе»; примеры результатов приведения цветов исходных изображений д), и), н) к целевым изображениям ж), л), п) предложенным методом с оптимизацией е), к), о) и методом [10] з), м), р); фрагменты исходного изображения, полученного при помощи дифракционной оптики с), этот же фрагмент после ручной цветокоррекции специалистом т), результат применения предложенного алгоритма цветовой консистентности у)
[8] Nikonorov A, Evdokimova A, Petrov M, Yakimov P, Bibikov S, Yuzifovich Y, Skidanov R, Kazanskiy N. Deep
learning-based imaging using single-lens and multi-aperture diffractive optical systems. 2019 IEEE/CVF Int
Conf on Computer Vision Workshop (ICCVW) 2019: 3969-3977. DOI: 10.1109/ICCVW.2019.00491.
[9] Dudhane A, Zamir SW, Khan S, Khan FS, Yang M-H. Burst image restoration and enhancement. 2022 IEEE/CVF Conf on Computer Vision and Pattern Recognition (CVPR) 2022: 5759-5768.
[10] Rodriguez RG, Vazquez-Corral J, Bertalmio M. Color matching images with unknown non-linear encodings IEEE Trans Image Process 2020; 29: 4435-4444.
[11] Dziembowski A, Mieloch D, Rozek S, Domanski M. Color correction for immersive video applications. IEEE Access 2021; 9: 75626-75640.
[12] Li Y, Yin H, Yao J, Wang H, Li L. A unified probabilistic framework of robust and efficient color consistency correction for multiple images. ISPRS J Photogramm Remote Sens 2022; 190: 1-24.
[13] Xia M, Yao J, Xie R, Zhang M, Xiao J. Color consistency correction based on remapping optimization for image stitching. 2017 IEEE International Conference on Computer Vision Workshops (ICCVW) 2017: 2977-2984.
[14] Bianco S, Bruna A, Naccari F, Schettini R. Color space transformations for digital photography exploiting information about the illuminant estimation process. J Opt Soc Am A 2012, 29(3): 374-384.
[15] Bianco S, Bruna AR, Naccari F, Schettini R. Color correction pipeline optimization for digital cameras. J Electron Imaging 2013, 22(2): 023014.
[16] Vazquez-Corral J, Bertalmio M. Log-encoding estimation for color stabilization of cinematic footage. 2016 IEEE International Conference on Image Processing (ICIP) 2016: 3349-3353.
[17] S-log white paper. SONY Corporation, Tech Rep; 2009. Source:
(https://www.yumpu.com/en/document/read/39818735/son y-s-log-white-paper-gear-head).
[18] Achanta R, Shaji A, Smith K, Lucchi A, Fua P, Susstrunk S. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Trans Pattern Anal Mach Intell 2012; 34(11): 2274-2282.
[19] Huawei P40 Pro Camera test. Source: (https://www.dxomark.com/huawei-p40-pro-camera-review/).
[20] Bay H, Tuytelaars T, Gool LV. Surf: Speeded up robust features. In Book: Leonardis A, Bischof H, Pinz A, eds. Computer Vision - ECCV 2006. Part I. Berlin, Heidelberg: Springer-Verlag; 2006: 404-417.
[21] OpenCV. Camera Calibration, Source: (https://docs.opencv.org/4.x/d9/d0c/group_calib3d.html).
[22] Nikonorov A, Bibikov S, Myasnikov V, Yuzifovich Y, Fursov V. Correcting color and hyperspectral images with identification of distortion model. Pattern Recognit Lett 2016; 83(2): 178-187. DOI: 10.1016/j.patrec.2016.06.027.
[23] Dierckx P. Curve and surface fitting with splines. Oxford: Oxford University Press; 1993.
[24] Evdokimova V, Petrov M, Klyueva M, Zybin E, Kosian-chuk V, Mishchenko I, Novikov V, Selvesiuk N, Ershov E, Ivliev N, Skidanov R, Kazanskiy N, Nikonorov A. Deep learning-based video stream reconstruction in mass-production diffractive optical systems. Computer Optics 2021; 45(1): 130-141. DOI: 10.18287/2412-6179-CO-834.
[25] Zhang A. Flexible new technique for camera calibration. IEEE Trans Pattern Anal Mach Intell 2000; 22(11): 1330-1334.
[26] IEC 61966-2-1: Multimedia systems and equipment-Colour measurement and management - Part 2-1: Colour management - Default RGB colour space - sRGB. Geneva, Switzerland: IEC; 1999.
[27] Nikonorov AV. Spectrum shape elements model for correction of multichannel images. Computer Optics 2014; 38(2): 304-313. DOI: 10.18287/0134-2452-2014-38-2-304-313.
[28] Virtanen P, Gommers R, Oliphant TE, Haberland M, Reddy T, Cournapeau D, Burovski E, Peterson P, Weckesser W, Bright J, van der Walt SJ, Brett M, Wilson J, Millman KJ, Mayorov N, Nelson ARJ, Jones E, Kern R, Larson E, Carey CJ, Polat I, Feng Y, Moore EW, VanderPlas J, Laxalde D, Perktold J, Cimrman R, Henriksen I, Quintero EA, Harris CR, Archibald AM, Ribeiro AH, Pedregosa F, van Mulbregt P. SciPy 1.0: fundamental algorithms for scientific computing in Python. Nat Methods 2020; 17(3): 261-272.
[29] Gong H, Finlayson G, Fisher R. Recoding color transfer as a color homography. Proc British Machine Vision Conf (BMVC) 2016: 17.1-17.11.
[30] Gong H, Finlayson GD, Fisher RB, Fang F. 3D color homography model for photo-realistic color transfer re-coding. Vis Comput 2019; 35(3): 323-333.
[31] Ignatov A, Van Gool L, Timofte R. Replacing mobile camera ISP with a single deep learning model. 2020 IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops (CVPRW) 2020: 536-537.
[32] Sharma G, Wu W, Dalal EN. The CIEDE2000 color-difference formula: Implementation notes, supplementary test data, and mathematical observations. Color Res Appl 2005; 30(1): 21-30.
Сведения об авторах
Бибиков Сергей Алексеевич, родился в 1984 году. В 2007 году с отличием окончил Самарский государственный аэрокосмический университет (СГАУ) по специальности «Прикладная математика и информатика». Кандидат технических наук, работает доцентом кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: обработка изображений, цветовая коррекция, устранение технологических артефактов, параметрическая идентификация. E-mail: bibikov.sa@sssau. ru .
Петров Максим Витальевич, родился в 1989 году. В 2013 году окончил Самарский государственный аэрокосмический университет. Аспирант кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: распознавание образов и анализ изображений, параллельные и распределённые вычисления, вычисления с использованием графических процессоров. E-mail: max.vit.petrov@gmail.com .
Алексеев Андрей Павлович, родился в 1980 году. В 2018 году окончил Самарский национальный исследовательский университет имени академика С.П. Королёва (Самарский университет) по специальности «Менеджмент и управление предприятием». Специалист по обработке изображений и цветовой коррекции в фото-
съемке, полиграфии, офсетной и цифровой печати с опытом 20 лет. Область научных интересов: цветовое восприятие, обработка изображений, цветовая коррекция, методы ИИ в практической обработке изображений, визуальная одометрия. E-mail: andrew-a-2000@yandex.ru .
Алиев Марат Вячеславович, родился в 1978 году. В 2000 году окончил Адыгейский государственный университет по специальности «Прикладная математика», в 2004 году защитил кандидатскую диссертацию по теме «Быстрые алгоритмы гиперкомплексного дискретного преобразования Фурье» и получил степень кандидата физико-математических наук, в 2007 году получил звание доцента кафедры прикладной математики. Заведующий кафедрой прикладной математики и информационных технологий, директор IT куба. Более 15 лет занимается олимпиадным программированием, робототехникой со студентами и школьниками. Область научных интересов: быстрые алгоритмы, обработка изображений, методы ИИ в практической обработке изображений. E-mail: alievmarat@mail.ru .
Парингер Рустам Александрович, 1990 года рождения, доцент кафедры технической кибернетики Самарского национального исследовательского университета имени академика С.П. Королева (Самарский университет), научный сотрудник Института систем обработки изображений РАН - филиала ФНИЦ «Кристаллография и фотоника» РАН. В 2013 году окончил факультет информатики СГАУ. Кандидат технических наук с 2017 года. Круг научных интересов включает интеллектуальный анализ данных, распознавание образов и искусственные нейронные сети. E-mail: rusparinger@ssau.ru .
Гошин Егор Вячеславович, к.т.н., ассистент кафедры суперкомпьютеров и общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработки и распознавания изображений, параллельные вычисления, стереозрение. E-mail: goshine@yandex.ru .
Серафимович Павел Григорьевич, кандидат физико-математических наук; старший научный сотрудник Института систем обработки изображений РАН. Области научных интересов: моделирование и проектирование нанооптических устройств, методы исследования фотонных кристаллов, разработка и исследование программных средств распределённой и параллельной обработки крупноформатных изображений. E-mail: serp@smr.ru .
Никоноров Артем Владимирович, родился в 1979 году. В 2005 году окончил Самарский государственный аэрокосмический университет. Доктор технических наук (2016), профессор кафедры суперкомпьютеров и общей информатики Самарского университета. Опубликовал более 80 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распределённые вычисления, вычисления с использованием графических процессоров. E-mail: artniko@gmail.com .
ГРНТИ: 28.23.15
Поступила в редакцию 4 августа 2022 г. Окончательный вариант - 13 сентября 2022 г
Color consistency method for cameras with unknown model
S. Bibikov 12, M. Petrov12, A. Alekseyev2, M. Aliyev 3, R. Paringer ',2, Ye. Goshin1, P. Serafimovich ',2, A. Nikonorov1,2 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34;
2IPSIRAS - Branch of the FSRC "Crystallography and Photonics " RAS, 443001, Samara, Russia, Molodogvardeyskaya 151;
3 Adyghe State University
Abstract
Modern methods of computational photography make it possible to bring the quality of images obtained by mobile cameras closer to the quality of professional cameras. One of the most important tasks is that of ensuring the consistency of colors from different cameras. In this paper, we propose a simple and efficient way to bring the colors of one camera to another, based on the approximation of the required transformation by a tone correction spline and a color transformation matrix. An experimental study was carried out in a rather complicated case, in which it was required to match colors of the images obtained from two fundamentally different sensors, as well as using diffractive optics. The results of the experiments showed that the proposed method allows one to obtain a higher accuracy of color matching between cameras than existing analogues.
Keywords: color correction, color consistency, parameter optimization.
Citation: Bibikov S, Petrov M, Alekseev A, Aliev M, Paringer R, Goshin Y, Serafimovich P, Nikonorov A. Color consistency method for cameras with unknown model. Computer Optics 2023; 47(1): 92-101. DOI: I0.18287/2412-6179-C0-I205.
Acknowledgements: The research was financially supported by the Russian Scientific Foundation grant #22-19-00364.
Authors' information
Sergey Alekseyevich Bibikov (b. 1984) is Candidate of Engineering Science. He graduated from Samara State Aerospace University in 2007, majoring in Applied Mathematics and Informatics. Currently he works as a associate professor at Supercomputing and Computyer Sciense sub-department of Samara University. Research interests are imaging, color correction, technological artifacts removal, and system identification. E-mail: bibikov.sa@ssau.ru .
Maksim Vitalyevich Petrov (b. 1989). He graduated from SSAU in 2013. Now he is a postgraduate student at Supercomputing and Computer Science sub-department of the Samara University. He has 11 publications. Field of scientific interest: pattern recognition and image analysis, parallel and distributed programming, GPGPU programming. Email: max.vit.petrov@gmail.com .
Andrey Pavlovich Alekseev (b. 1980). In 2018, he graduated from Samara National Research University with a degree in Management and Enterprise Management. Image processing and color correction specialist in photography, printing, offset and digital printing with 20 years of experience. Research interests: color perception, image processing, color correction, AI methods in practical image processing, visual odometry. E-mail: andrew-a-2000@yandex.ru .
Marat Vyacheslavovich Aliev (b. 1978). In 2000 he graduated from Adyghe State University with a degree in Applied Mathematics, in 2004 he defended his Ph.D. thesis on the topic "Fast algorithms for the hypercomplex discrete Fourier transform". Head of Applied Mathematics and Information Technology department, Director of IT Cube. More than 15 years of experience in programming competitions, robotics with students and schoolchildren. Research interests: fast algorithms, image processing, AI methods in practical image processing. E-mail: alievmarat@mail.ru .
Rustam Alexandrovich Paringer, (born 1990), received Master's degree in Applied Mathematics and Informatics from Samara State Aerospace University (2013). He received his PhD in 2017. Assistant professor of Technical Cybernetics department and researcher of IPSI RAS - Branch of the FSRC "Crystallography and Photonics". Research interests: data mining, machine learning and artificial neural networks. E-mail: rusparinger@ssau.ru .
Yegor Vyacheslavovich Goshin is a Candidate of Sciences in Engineering. His current research interests are in image processing, recognition algorithms, parallel computations and stereovision. E-mail: goshine@yandex.ru .
Pavel Grigorievich Serafimovich, Candidate in Physics and Mathematics; senior researcher at the Image Processing Systems Institute of RAS. His areas of research are nanooptics, simulation and design of photonic crystals, parallel and distributed image processing. E-mail: serp@smr.ru .
Artem Vladimirovich Nikonorov (b. 1979). He graduated from SSAU in 2002. He received his PhD degree in 2016. Now he works as a professor at Supercomputing and Computer Science sub-department of Samara University. He has more than 80 publications, two monographs. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming. E-mail: artniko@smail.com .
Received August 4, 2022. The final version - September 13, 2022.
