Процедуры коррекции цвета компьютерных изображений на основании многооткликовых регрессионных моделей Текст научной статьи по специальности «Компьютерные и информационные науки»

КИБЕРНЕТИКА И ИНФОРМАТИКА

УДК 681.3, 621.372.542

ПРОЦЕДУРЫ КОРРЕКЦИИ ЦВЕТА КОМПЬЮТЕРНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВАНИИ МНОГООТКЛИКОВЫХ РЕГРЕССИОННЫХ МОДЕЛЕЙ

© 2002 С. А. Попов, Г. М. Емельянов

Новгородский государственный университет им. Ярослава Мудрого

Предлагаются процедуры коррекции цвета компьютерных изображений с помощью многоотклико-вых регрессионных моделей. Приводится методика калибровки сканеров при высокой степени воспроизводимости получаемых изображений, основанная на линеаризации цветовых параметров и последующем построении корректирующей функции в виде полинома третьей степени в пространстве CIELAB с использованием калиброванных цветовых образцов. Даны рекомендации по методам расчета оценок коэффициентов корректирующей функции цифровых фотографий методом Байеса в случае необходимости коррекции каждого отдельного изображения на основе задаваемых в изображении референтных цветов.

Введение

Цветные изображения, особенно получаемые для профессиональных целей, требуют коррекции цвета. Коррекция цвета таких изображений должна обеспечивать точное воспроизведение цветов изображения в целом и, в частности, его сюжетно важных элементов. Для целей цветовой коррекции широко применяются методы компьютерной обработки изображений, полученных как цифровыми фотокамерами, так и пленочными фотоаппаратами (в последнем случае изображение сканируется). Затем исследуемое компьютерное изображение подвергается редактированию с помощью графических программ. Обычно процедура коррекции цвета выполняется вручную. Как правило, сначала требуется выполнить тоновую коррекцию. Целью тоновой коррекции является настройка тональных диапазонов: средних тонов, полутонов, теней и светов, а также установка белой и черной точек изображения. Процесс цветовой коррекции представляет преобразование цветовых координат и пикселей наблюдаемого изображения в соответствии с корректирующей функцией. В программах обработки изображений эта корректирующая функция известна как тоновая кривая, которая используется для коррекции тона и цвета цифровых изображений вручную [1]. При коррекции тонов тоновая кривая применяется к композиционному каналу, что теоретически должно обеспечивать неизменность цветов. Однако на практике в процессе тоновой коррекции несколько изменяется

и цвет, что вносит дополнительные искажения. Коррекция цвета выполняется также вручную с помощью тоновых кривых, которые применяются к каждому цветовому каналу в отдельности. Фактически математическая модель коррекции в этом случае носит детерминистский характер, поскольку корректирующая кривая проходит точно через заданные в изображении цвета. Одной из главных проблем при этом является обеспечение высококачественного воспроизведения всех цветов. Ручной метод коррекции не учитывает вероятностный характер ошибок наблюдения цвета и не может обеспечить высокую точность коррекции цвета всего изображения.

1. Анализ ошибок наблюдения цвета

Цвет пикселя компьютерного изображения представляется вектором

Y = y2,K, ym } , где m - количество цве-

товых координат в цветовой модели. Для цветовых моделей Lab или RGB m = 3. Совокупная ошибка наблюдения цвета пикселя в компьютерном изображении может быть представлена тремя составляющими в виде

E = Ec + Ep + Es ,

где EC - вектор ошибок цветовых координат, определяемый разбросом наблюдаемых цветовых координат пикселей для однородного цвета (“внутри цвета”), с ковариационной матрицей VC ; EP - систематическая погрешность наблюдения цветовых координат

различных цветов для одного изображения; Ев - вектор ошибок наблюдения цвета, описывающий различия цветов изображений, получаемых в одинаковых условиях (“между изображениями”) с ковариационной матрицей Ув.

Анализ различных видов ошибок наблюдений цветовых координат основывался на эксперименте, который состоял в получении нескольких компьютерных изображений цветовой мишени 1Т8.7/2, содержащей п = 288 калиброванных цветовых образцов. Затем по результатам наблюдений цветовых координат пикселей этих изображений рассчитывались ковариационные матрицы “внутри цвета”, “между цветами” и “между изображениями”.

Анализ ковариационных матриц выполнялся на основе принципов многомерного статистического анализа [2] в следующем порядке.

1. Расчет средних значений цветовых координат Уу образцов цвета и расчет оценок элементов ковариационной матрицы УС-,

- = 1, 2, к, п для каждого образца цвета.

2. Проверка однородности ковариационных матриц УС-.

3. Расчет средних значений цветовых

координат для всей цветовой мишени У.,

г = 1, 2,к, N, где N - число изображений цветовой мишени, и расчет ковариационных

матриц “между цветами” В1г.

4. Расчет оценок элементов ковариационной матрицы Ув относительно общего

среднего У для всех изображений.

Матрица межгрупповых сумм квадратов отклонений относительно общей средней по всем изображениям цветовой мишени определяется в виде

А.. =£ \У, - У - У

с числом степеней свободы /1 = N — 1

= 1 N _

где У =—— I',У, - общее среднее для дан-

IV, '='

ного сканера (цифровой фотокамеры) по всем изображениям; V, - количество пикселей в компьютерном изображении цветовой мишени;

1

У

"IаУу - общее среднее для цве-

-=1

товой мишени; а- - количество пикселей в

п

изображении образца цвета; V, = Iау .

-=1

Ковариационная матрица “между изображениями” равна

Вв

N

= \Т

(1)

с числом степеней свободы /1 .

Ковариационная матрица ошибок “ между цветами” внутри , -й цветовой мишени рассчитывается по формуле

.1,=?^Ц I (,—У)(— *).

Средневзвешенная по всем изображениям ковариационная матрица “между цветами” внутри цветовой мишени равна

— 1 N

«1 = ---------------К', —1)?1,

IV, — N•-=1

(2)

,=1

с числом степеней

IX

свободы /2 = I 'г — N .

,=1

Значимость эффекта изображения проверялась путем сравнения ковариационных

матриц Вв “между изображениями” и В1 “между цветами” с помощью статистики Хо -теллинга

Т2 = ■ 1

(3)

Т

которая приблизительно подчиняется распределению Фишера с числом степеней свободы и / , и / •

Если статистика (3) признается значимой, то эффект изображения следует признать значимым, и в этом случае коррекцию цвета необходимо выполнять для каждого отдельно взятого изображения индивидуально. Если же эффект изображения принимается незначимым, то в этом случае вместо коррекции цвета каждого изображения нужно выполнить калибровку сканера (или фотокамеры). Полученные с помощью калиброванного сканера или фотокамеры изображения не требуют цветовой коррекции (хотя бы в течение некоторого периода времени, поскольку процедуру калибровки следует периодически повторять).

Оценка ковариационной матрицы ошибок наблюдений по одному цветовому образцу равна

=

1 аі

=Л т - у, (- у).

а і-1 г-=1

(4)

Средневзвешенная по всем цветам ко -вариационная матрица “внутри цвета” равна

В,

-Т^- X (а, -1)5. Xа,-1;=1

(5)

і=1

п

с числом степеней свободы /3 = X а, - п .

і=1

распределению Фишера с числом степеней

свободы и /4 = п -1, и /2 •

Если эффект цвета признается значимым, то это означает наличие заметной систематической погрешности воспроизведения цвета, которую нужно компенсировать введением специально подобранной корректирующей функции.

Если эффект цвета признается незначимым, то это означает отсутствие заметной систематической погрешности воспроизведения цвета, и, следовательно, нет необходимости в цветовой коррекции. Следует, однако,

отметить, что ковариационная матрица 8С

характеризует разброс цвета пикселей при формировании в соответствии с принципом метамерности однородного цвета. При отсутствии систематической погрешности средние значения цветовых координат равны истинным. И хотя в целом однородный цвет при этом выглядит правильно, с увеличением разброса цвета пикселей увеличиваются искажения в воспроизведении цвета мелких деталей изображения. Поэтому величина матрицы 8С определяет предельную четкость изображения по воспроизведению цвета.

Для оценивания однородности ковариационных матриц SCj ’’внутри цвета” использовалось сравнение этих ковариационных

матриц со средневзвешенной SC с помощью статистики в виде

Значимость эффекта цвета проверяется путем сравнения ковариационных матриц “внутри цвета”, полученных относительно

среднего ХС и относительно известного значения цвета образца с помощью статистики Хотеллинга

Т,2 = П““71а, (( - у, % ^(( - у,), (6)

п 1 ,=1

где у і 0 - вектор известных цветовых координат ,-го калиброванного цвета.

Статистика (6) при выполнении нулевой гипотезы приблизительно подчиняется

2

Т3 = тах т

tASc.Sc)=

1 аі

тах---------- 1(у, - У, % '■( - У,

} аі -1 ~

(7)

( j = 1, 2,к, п ) со степенями свободы

/5 = aj -1 и / .

Поскольку точное распределение случайной величины типа (7) неизвестно, проверка нулевой гипотезы об однородности ко -вариационных матриц выполнялась методом стохастического моделирования ценой некоторой потери мощности критерия [2]. Для реализации этого метода выполняется к мо-

2

делирований величины Т при условии выполнения нулевой гипотезы. Полученные величины упорядочиваются по возрастанию и

определяется количество к1 значений, вели-

2

чины которых превышают оценку ц , рассчитанную по выборочным данным. Тогда значение функции распределения вероятности Р для статистики (7) при условии выполнения нулевой гипотезы имеет вид

Р = Рг{;2 < Т32 }= 1 - к,

что позволяет принимать решение об однородности соответствующих ковариационных матриц.

Проверка однородности ковариационных матриц SCj выполнялась для различных

типов цветных сканеров и цифровых фотокамер (всего исследовались две цифровые камеры и шесть видов сканеров). Значения величин Р в различных ситуациях находились в диапазоне от 0,83 до 0,98. Это говорит

о том, что в некоторых случаях ковариационные матрицы являются неоднородными и для построения модели коррекции цвета необходимо аппроксимировать их зависимость от величины цвета.

2. Многооткликовые калибровочные модели

При высокой воспроизводимости цвета изображений, что характерно, например, для качественных сканеров, строится калибровочная модель, которая после калибровки сканера позволяет получать точное воспроизведение цветов различных изображений без дополнительной коррекции [3]. Анализ ошибок цветовоспроизведения изображений необходимо выполнять в однородном цветовом пространстве С1ЕЬЛБ, в котором ошибка наблюдения цвета с цветовыми координатами Ь, а, Ь в виде

АЕаЬ = л/ДЬ2 + Да2 + АЬ2

практически слабо зависит от величин цветовых координат, хотя исходные компьютер-

ные изображения получаются в цветовой модели КОБ.

Соотношение между вектором X известных значений СІЕЬЛБ цветовых координат и вектором У наблюдаемых КОБ цветовых координат пикселей изображения представляется многооткликовой регрессионной моделью [4] в виде

У = Г (Б, X )+ Е, (8)

где х = {1,*2,хз }Т, у = уу 15 у 2’’ у з }Т,

Е = {у, е2, у}Т - нормально распределенная

ошибка наблюдения цветовых параметров с нулевым вектором математических ожиданий

еРіе}= 0 и ковариационной матрицей Уаг{Е}= Ер\ЕЕТ }= ¥е ;

ПБ,Х)=У (Б, X )/, (Б, Х),/з(Б, X )}Т -

вектор функций, известных с точностью до коэффициентов;

Б = {{, у, • • •, Ь1 }Т - вектор неизвестных ко -

эффициентов модели.

В данном случае предполагается, что ошибка Е в модели (8) совпадает с ошибкой

ЕС . С учетом дублирования экспериментов, когда на одном цветовом образце с заданными цветовыми параметрами X имеется а,

наблюдений (пикселей), по которым рассчитывается среднее значение наблюдаемых цветовых параметров, выражение для расчета оценок коэффициентов может быть представлено в виде итерационной процедуры [4]

Б * = Б*-1 + у;-1 Хар^і УЕ-1 - - —(Б -1, X,))

,=1

(9)

где * - номер итерации; а, - число пикселей І -го цветового образца, по которым определяется среднее значение У, цветовых координат; У Б - ковариационная матрица оценок коэффициентов;

„(х) р/ X) Б & (б, X)|Бд/з (б, X) Бі

1 М дБ дБ дБ Г

При неоднородных ковариационных матрицах VE ошибок наблюдений зависимость величины их элементов от значений цветовых координат представлялась в виде полной квадратичной модели

Se (X ) = Q(X)A, (Ю)

где X = { , G, B } - вектор средних значений цветовых координат,

SE = , {G , {B , {RG , SRB , SGB } — вектор

оценок элементов ковариационной матрицы, A = {, a2 ,k, a60} - вектор оцениваемых по

результатам эксперимента коэффициентов.

Для модели в виде полного квадратичного полинома матрица Q (X) имеет размерность (6x6O) и представляется в виде

І R,G, в, R2,G2, B2, RG, RB,GB,o,..,o Q(X)=< о,к ,0,1, R,G, в, R2,G2, B2, RG, RB,GB,o,.. ,о ^

о,..,о, R,G, B,R2,G2, B2,RG,RB,gB

Процесс калибровки проводится в два этапа. На первом этапе выполняется процедура линеаризации, обеспечивающая линейность цветовых координат для образцов таблицы градаций серого и компенсирующая цветовой оттенок серых тонов (баланс серого). Для этого по таблице градаций серого строится нелинейная модель с коэффициентами, обеспечивающими чистый серый цвет. В качестве таких моделей в системе RGB рекомендуется выбирать модели типа

у, = bn + b і ExP(b, 3 x)

или y, =(bl + b і x)b 3 ^ 2, 3).

На втором этапе для линеаризованного отклика Y выполняется построение трехотк-ликовой модели Lab - RGB, в качестве кото -рой использовался полином третьей степени со всеми взаимодействиями (всего 6O коэф -фициентов). Расчет оценок коэффициентов B выполнялся по формуле вида (9), в кото-

рой вместо ковариационной матрицы УЕ используется ее аппроксимация SE в виде (10)

Б * = Б *-1 + р*-1У/-1 х

х £ а/(X, )е X )]■' - - - (, X,)], (11)

,=1

где шаг итерации р выбирается исходя из обеспечения наилучшей сходимости итерационной процедуры.

Матрица Р(X) в выражении (11) для модели в виде полного полинома третьей степени имеет размерность (3х60) и представляется в виде

1ЛОБЛ2Д2,Б2,я\о\Б\яо,к,воБ,о,к0 , - о,к Д\о\Б\к\о\Б\ю,.. ,ДЩо,.. ,о

)={ г

о,. ,01 Д, о, БД2,02, Б2, Д , Оъ, Бъ, ко,. ДоБ

Ковариационная матрица оценок коэф -фициентов для случая дублирования и неравноточных наблюдений принимает вид

V - {£ а,РТ (X, ^ (X,)] P(X, ) .

Ковариационная матрица оценок я0Б цветовых координат для заданных С1ЕЬЛБ координат равна

Уу - Р (X ).

Окончательно для выполнения процедуры коррекции цвета на основании модели (8) для наблюдаемого цвета У необходимо определить оценку истинного цвета X . Когда известны оценки коэффициентов В, модель (8) используется для преобразования цветовых координат всего изображения в виде

X = ^ _1 (Б ,У ),

где X = ^- (Б , У ) - функция, обратная функции У = ^ (Б, X ).

Максимально правдоподобные оценки

X вектора X минимизируют квадратичную

форму У - Г (, X )] ^У - Г (, X )] и определяются с помощью следующей итерационной процедуры:

X5 = X 5-1 +

( 4 )-1 [а8-1 (-1 ) а8-1

(12)

где

а

а5-1 = У - Г (В, X8-1),

_ I / (в, X) х э/2 (в, X) х э/з (В, х)

эх

эх

эх

XX!

Модель может считаться адекватной, если остатки модели Д = У - р (, X) могут быть объяснены как ошибки наблюдения. Максимально правдоподобные оценки коэффициентов базируются на предположении, что ошибки наблюдения имеют нулевое математическое ожидание с ковариационной

матрицей SE (X). Для проверки гипотезы о нулевом математическом ожидании остатков используется статистика [2]

^ =-Л"5>,|Т, - Р(Б,X,) ] (X)]-1 У, -Р(,X,),

X а

,=1

,=1

(13)

которая приблизительно подчиняется распределению Пирсона в форме аХ/2 с числом сте-

т/

пеней свободы /

//2- 1Х./1 + ./2- т -1) //2- т )//2- т -1)//2- т - з)

жения [5]. Обычно в таких ситуациях используются референтные цвета, которые помещаются в поле фотографии и которые затем используются для выполнения процедуры коррекции. Если таких цветов нет, то в качестве референтных цветов принимаются так называемые “ психологические”, хорошо узнаваемые цвета в данном изображении. Часто задать в изображении большое количество референтных цветов оказывается весьма затруднительным. Метод максимального правдоподобия (11) дает очень хорошие результаты при числе цветовых образцов от 288 до 100-120 практически без увеличения дисперсии прогнозируемых величин цвета, но затем эта дисперсия резко возрастает. Типичным количеством референтных цветов является 20-50. В этом случае можно применить байесовский метод оценивания коэффициентов. Известно, что эффективность байесовских оценок может быть выше, чем эффективность оценок максимального правдоподобия, при небольших размерах выборок.

Если принять априорное распределение

коэффициентов Б = {, Ъ2, ..., Ъг} в виде

плотности /В 0 (б ), то апостериорная плотность распределения коэффициентов записывается согласно теореме Байеса в виде

/ 7в|у )= Ш\в )/„ - (в) !в ( 1 )_|ь(у | в/(в)в

(14)

А = п-1 и /2 =£а, -п .

,=1

3. Методика построения корректирующей функции для индивидуального изображения

При значительной ошибке Е5 наблюдений цвета “между изображениями”, что часто характерно при наружной съемке цифровыми фотокамерами, коррекцию нужно выполнять для каждого отдельного изобра-

где Ь(У | В) - функция правдоподобия.

Поскольку различные референтные цвета часто имеют различную степень важности, используется взвешенная функция правдоподобия в виде

Фвьм^УеГ2 х

*е*р{- 2 XХу, - ф.-у, )]],-)

Весовые коэффициенты Ж могут представляться в виде Ж, = '№,! , где - скаляр-

ные весовые коэффициенты различных рефе-

рентных цветов, X wj = 1,1 - единичная мат-

,=1

рица размерностью 3x3 для т = 3 .

Оценки коэффициентов £ методом максимума апостериорного распределения (МАР) обеспечивает максимум плотности

апостериорного распределения /В (в\У), то есть

/в’{в\У)= шах /в-(В|Г).

В

Оценки коэффициентов МАР рассчитываются аналогично (11) в виде

В * = В *-1 + р*-1УВ-1 х

(15)

т~)0

где В - математическое ожидание априорного распределения коэффициентов;

VВ - ковариационная матрица этого распределения,

V в " {Х а,Рт (Х, к (Х, )1' ф,)+ (¥В )г1 \.

Для квадратичной функции потерь оптимальной байесовской оценкой коэффициентов минимального риска является апостериорное среднее

I Ж(В)/„0 (В>®

"(В\1В = %---------------- ,,,,

IЬ(В)/в° (В)В . (16)

а

Многомерные интегралы в выражениях (14) и (16) рассчитывались методом статистического моделирования.

Для получения априорного распределения коэффициентов корректирующей модели были использованы фотографии цветовой мишени ЛО!А /78.7/2. По полученным данным строилась трехоткликовая модель в виде полного полинома третьей степени и распределение полученных оценок коэффициентов модели (60 коэффициентов) аппроксимиро-

валось трехмерным нормальным распределением со средним значением и ковариаци-

онной матрицей Vв.

Полученные величины средних оценок коэффициентов и их ковариационные матрицы были использованы в качестве характеристик априорных распределений коэффициентов моделей, на основании которых рассчитывались оценки коэффициентов МАР (15) и байесовские оценки (16). Эти коэффициенты затем были использованы для выполнения процедуры коррекции изображений и расчета ошибки цветовоспроизведения для различного количества образцов цветов.

Заключение

Многооткликовые регрессионные модели вида (8) позволяют описать зависимость вектор-наблюдения от вектора независимых факторов с учетом статистических свойств многомерной ошибки наблюдения. Использование подобных моделей для целей коррекции цвета компьютерных изображений дает возможность повысить качество цветовоспроизведения.

Предложенная процедура калибровки сканеров, основанная на многооткликовой модели, позволяет, как показали расчеты, снизить среднюю ошибку цветовоспроизведения АЕаь компьютерных изображений на 4-5 единиц до величин около 1,5 при максимальной ошибке около 3 для всех исследуемых типов сканеров. Сравнив эти значения с оценками значимости ощущаемого различия цветов (известно, что различие едва заметно, если АЕаЬ < 3 ), можно сделать вывод, что

предлагаемая процедура обеспечивает очень высокую точность цветовоспроизведения.

Для индивидуальной коррекции цвета изображений, полученных при наружной съемке, предлагается использовать байесовский метод оценивания коэффициентов мно-гооткликовой модели на основании набора референтных цветов, которые могут иметь различную степень важности. Этот метод обеспечивает более точные и реалистичные оценки цвета при малом числе наблюдений. При количестве референтных цветов в пределах от 100 до 50 более высокую точность

обеспечивает метод максимума апостериорного распределения (15), при уменьшении референтных цветов до 40-12 более высокая точность обеспечивается при использовании оценок минимального риска (16) со средней

ошибкой АЕаь в пределах 3-6 единиц АЕаЬ (различие заметно, но приемлемо) и с максимальной ошибкой не более 10 единиц.

Описанные процедуры коррекции реализованы в виде программ на языке Visual Basic, которые позволяют выполнять коррекцию цвета в диалоговом режиме.

Список литературы

1. Луций С. А. , Петров М. Н. , По-

пов С. А. Работа в Photoshop на примерах. М.: Издательство “Бином”, 1996.

2. Мейндоналд Дж. Вычислительные алгоритмы в прикладной статистике. М.: Финансы и статистика, 1988.

3. Попов С. А. Многооткликовые модели для калибровки сканеров // Измерительная техника, №8, 2002.

4. Бард Й. Нелинейное оценивание параметров. М.: Статистика, 1979.

5. S. A. Popov and G. M. Emelyanov. Color Correction of Digital Images by Means of Multiresponse Regression Models // Pattern Recognition and Image Analysis, Vol. 12, No. 2, 2002.

PROCEDURES OF DIGITAL IMAGE COLOR CORRECTION BASED ON THE MULTIRESPONSE REGRESSION MODELS

© 2002 S. A. Popov, G. M. Emelyanov The Yaroslav-the-Wise Novgorod State University

Color correction procedures of the digital images by means of multiresponse regression models are presented. Scanner and digital camera calibration method under high images reproducibility condition based on the color coordinates linearization followed by correction function construction in the form of the third degree polynomial in the CIELAB space using calibrated color targets is described. The recommendations are given on computational procedures for the coefficients estimation of the digital image correction function using Bayes method and the image reference colors when color correction of each separate image is necessary.