Экспериментальное определение матрицы цветокоррекции оптико-электронной системы по набору цветовых эталонов Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Экспериментальное определение матрицы цветокоррекции оптико-электронной системы по набору цветовых эталонов

Василюк Н. Н. fvasilyuk@uniqueics.com.).

ООО «Юник Ай Сиз»

Введение.

В большинстве современных цифровых фото-аппаратов и веб-камер, рассчитанных на массового потребителя, электронное цветное изображение формируется матричным фото-приёмным устройством (ФПУ), матрица которого состоит из фотоприёмников трёх (или более) типов. Каждый тип фотоприёмников имеет собственную характеристику спектральной чувствительности к падающему излучению, которая может быть сформирована различными технологическими методами. За счёт различия спектральных характеристик фотоприёмников, возможно получение информации о цвете отдельных элементов снимаемого изображения. Аналогичный механизм восприятия цвета излучения, с некоторой спектральной плотностью мощности (СПМ), реализуется в человеческом глазе, в котором падающий свет воспринимается тремя типами рецепторов, с собственными спектральными характеристиками чувствительности.

При рассмотренном выше способе восприятия цвета источника возникает проблема согласования спектральных характеристик матричного ФПУ и рецепторов человеческого глаза. Такое согласование, в большинстве случаев, не может быть достигнуто в рамках относительно дешёвой оптико-электронной системы. Единственным решением, доступным в таких условиях, является вычислительная коррекция искажённой цветовой информации для каждого пикселя, сформированного ФПУ, уменьшающая ошибки цветовосприятия.

Для промежуточного хранения и передачи информации о цвете изображения используется представление цвета в виде цветовых координат, основанное на сравнении цвета, координаты которого определяются, с тремя опорными (базисными) цветами. Существует несколько стандартов на базисные цвета, которые могут быть сформированы как реальными источниками, так и быть чисто виртуальными, обеспечивающими удобное математическое описание цвета. Цвета, координаты которых приведены к одному из стандартных цветовых базисов, могут быть восстановлены любым средством воспроизведения изображения (с учётом физического механизма формирования цвета в каждом конкретном устройстве).

Поэтому, вычислительная коррекция цветов, на выходе ФПУ, должна обеспечивать приведение корректируемых цветов к некоторому стандартному, заранее установленному, цветовому базису.

Алгоритм приведения цветового вектора к стандартному базису описывается линейным преобразование координат. Если обозначить цветовой вектор пикселя, с

номером г, на выходе ФПУ как с' = [г/ g'i Ъ'], то преобразование этого вектора к

стандартному базису имеет вид:

ап а12 а13

с г = Ас; = а21 а22 а 23 с

_а31 а32 а33

где: сг - цветовой вектор '-того пикселя, в стандартном цветовом базисе; А -

матрица преобразования цветовых пространств. Наиболее естественным способом получения элементов матрицы цветового преобразования, при наличии специального оборудования, является прямое измерение реакции калибруемой оптико-электронной системы на освещение источниками базисных цветов. Менее требовательным к оборудованию является цветовая калибровка системы по изображению цветовых эталонов, которые, при освещении их стандартным источником белого света (или полуденным светом) дают цвета, близкие к взвешенной смеси базисных цветов. В этом случае, элементы матрицы преобразования цветов вычисляются по точно известным цветовым координатам входного изображения, и зашумлённым цветовым координатам того же изображения, измеренным оптической системой, согласно определённому критерию ошибки.

Далее рассматривается методика цветовой калибровки оптической системы (вычисления элементов матрицы преобразования цветов) основанная на одновременной обработке изображения цветовых эталонов методом наименьших квадратов. В данной методике входные и выходные цветовые векторы нормируются и переставляются так, что все коэффициенты матрицы преобразования получаются одновременно, в виде взвешенной МНК-оценки. Такой подход позволяет сохранить информацию о цветности отдельных эталонов, и их изображений, но информация о яркости теряется. Веса отдельных цветовых векторов, и связей между ними, выбираются на основании анализа корреляционных связей изображений отдельных эталонов на выходе ФПУ. Формирование цветного изображения.

Пусть имеется источник видимого света, СПМ которого будем обозначать I (Я). Если обозначить спектральные характеристики трёх типов глазных рецепторов как ЯЯ (я), ЯО (я), Яв (я), соответственно, то количественное описание цветоощущения от рассматриваемого источника имеет вид:

ад ад

Я = к 11 (я)£я (я)я = к (I, £); О = к 11 (я)£о (я)я = , £);

0 0 ад

В = к 11 (я)£в (я)я = к (I, £);

0

где: к - коэффициент пропорциональности для глаза. Здесь введено переобозначение для интеграла от произведения функций

ад

(скалярного роизведения): | / (Я(я)я = (/, g). Для технического представления

0

цвета такое описание неудобно, поэтому используется представление цвета в форме цветовых координат. Для этого выбирают три опорных источника света с несовпадающими спектральными плотностями мощности (цветовой базис, компоненты которого будем обозначать как Я0(я),О0(я),В0(я), соответственно). Подобрав веса базисных цветов

1С (я) = Я (я) + gОo (я) + ЪВ{) (я) (1).

можно получить свет с СПМ 1С (я), который вызывает цветовое ощущение, аналогичное ощущению, связанно с источником I (я). Полученный вектор весовых коэффициентом является вектором цветовых координат источника света в цветовом базисе Я0 (я), О0 (я), В0 (я). Аналитически, цветовые координаты источника получаются решением системы уравнений:

(с, ) = Г (Я0, )+g (О0, )+Ъ(В0, ) = (, £я )

(с, £О ) = г ((0, £О )+g (О0, £О )+Ъ( £О ) = (, £О ). (с, £в ) = г ((0, £в) + g (О0, £в)+Ъ(в0, Яв ) = ((, £в)

При решении приведённой выше системы могут получиться отрицательные значения цветовых координат. Физически это означает, что смесь света, для которого определяются цветовые координаты, и опорного цвета, для которого получен отрицательный коэффициент, вызовет такие же цветовые ощущения, как смесь опорных цветов с положительными коэффициентами. На практике, цветовые координаты получаются путём выравнивания цветов источника и смеси базисных

цветов, получаемой подбором весовых коэффициентов, значения которых фиксируются как цветовые координаты [1].

Оптико-электронная система, формирующая цветное изображение, воспринимает свет по трём цветовым каналам, со спектральными характеристиками Б1 (я), Б 2 (я), Б 3 (Я), которые формируются из спектральных характеристик

фотоприёмных матриц и оптической системы. Выход цветовых каналов, при наличии на входе оптической системы смеси базисных цветов (1), имеет вид:

г ' = к (4, ) = к (г Б) + g (О0, Б) + Ъ(в0, Б,)) g ' = кх (1С, Бе ) = кх (г (0, Б 2) + g (>, Б 2) + Ъ(В0, Б 2)) Ъ' = кх (с,Бв) = К (г(0, Б3) + g(О0,Б3) + Ъ(В0, Б3))

или, в векторно-матричной форме:

г' ' а11 а12 а13" г

g' = К а21 а22 а23 g (2)

Ъ _а31 а32 а33 _ Ъ

где: к1 - коэффициент пропорциональности для оптико-электронной

системы; а11 = (, Б1), а12 = (00, Б1), а13 = (В0, Б1), а21 = ((0, Б2 )К - реакции

цветовых каналов оптико-электронной системы на базисные цвета; Из соотношения (2) видно, что знание матрицы реакций оптико-электронной системы на базисные цвета, с точностью до коэффициента пропорциональности, позволяет привести выходы цветовых каналов системы к заданному цветовому базису.

Калибровка матрицы преобразования цветов.

Большинство современных матричных ФПУ позволяют управлять временем экспонирования чувствительных элементов и коэффициентами усиления цветовых каналов. Поскольку такие настройки сильно влияют на вид спектральных характеристик цветовых каналов калибруемой системы, целесообразно зафиксировать значения времени экспозиции и коэффициентов усиления, для которых производится калибровка. Изменение указанных параметров, для калиброванной системы, должно производится так, чтобы время экспозиции было одинаково во всех цветовых каналах, а отношение коэффициентов усиления оставалось постоянным, и равным тому, которое было зафиксировано при калибровке.

Поскольку численное представление диапазонов изменения цветовых координат входных эталонов и их изображений, на выходе цветовых каналов, могут

не совпадать, целесообразно нормировать значения входных и выходных цветовых координат, на их максимально возможные значения так, чтобы они лежали в пределах [0,1]. В этом случае сохраняется информация о цветности входного и выходного изображений, но информация о яркости утрачивается. Но это не является проблемой, поскольку требуемая яркость изображения может быть настроена конечным пользователем, при его воспроизведении. По этой же причине в дальнейших расчетах можно полагать коэффициент пропорциональности к1 = 1.

При калибровке оптической системы на вход системы подаётся цветная матрица, состоящая из п цветовых эталонов, с нормированными цветовыми

координатами: сг = [ gi Ъг ],г = 1...п . Изображение каждого элемента входной

матрицы представляется в виде окрашенной области, искажённой случайными шумами. Нормированные цветовые координаты отдельных пикселей внутри такой

области: с*(к,т)=[(к,т) g*(к,т) Ъ*(к,т),к = 1...К, т = 1...М, где к, т -

координаты пикселя внутри области, КхМ - размер изображения эталона с номером в пикселях. В качестве цветовых координат изображения соответствующего эталона будем рассматривать значения цветовых координат, усреднённые по соответствующей области:

е. =

Ъ'

КМ

К М

ЕЕ г*(к, т)

к=1 т=1

КМ

ЕЕ g*(к, т)

к=1 т=1

КМ

ЕЕЪ* (к, т)

к=1 т=1

(3).

Для дальнейших расчетов понадобятся значения коэффициентов корреляции шумов цветовых каналов в изображениях различных эталонов:

г

1

с (, ;) = ЕЕ (г((к,т)- г)(к,т)- г])/((М -1)

к=1 т=1

КМ, ч/ ч

< (, ] ) = с (, ] ) = ЕЕ (г * (к, т) - г/) (к, т) - г' )м -1)

к=1 т=1

КМ

с (, ]) = с (, г) = Ц (г* (к, т) - г) (к, т) - г] )/((М -1)

к=1 т=1

КМ

с (, ] )=ЕЕ (* (к, т) - г) (к, т) - г] )м -1)

к=1 т=1

КМ

с (, ])=с (;, 0=ЕЕ (* (к, т) - г )( (к, т) - г; )м -1)

к=1 т=1

КМ

с (,;)=ц (ъ* (к, т) - г ); (к, т) - г;) -1)

к=1 т=1

где: ^ ] - номера эталонов, для шумов в изображениях которых рассчитывается коэффициент корреляции. Коэффициенты корреляции (4) вида сС (г,г), ст2^ (г,г) и а1Ъ ((,г) являются оценками

дисперсии шумов измерения цветовых координат изображения ьтого эталона.

Для написания фундаментальной системы уравнений, пригодной для решения методом наименьших квадратов, необходимо переписать искомую матрицу в виде вектора коэффициентов:

а [а11 а12 а13 | а21 а22 а23 I а31 а32 а33 ] •

При такой записи, фундаментальная система уравнений имеет вид:

с =

с

с

с „

г1 g1 Ъ 0 0 0 0 0 0

0 0 0 г1 g1 Ъ 0 0 0

0 0 0 0 0 0 г1 g1 Ъ

м м м м м м м м м

г„ ^ п Ъп 0 0 0 0 0 0

0 0 0 г„ ^ п Ъ„ 0 0 0

0 0 0 0 0 0 гп g п Ъп

а = Ра

(5)

где: Г - матрица регрессоров. Для получения решения системы (5), методом наименьших квадратов, необходимо построить матрицу весов отдельных измерений. Для этого вычислим ковариационную матрицу вектора измеренных цветовых координат:

С' = соу

с

с

с„

Л

СОУ(С1С1т ) с°у(с1с 2Т) к С°У(С1С '„т )!

с°у(с 2сГ) соу(с 2с 2Т) к соу(с 2с ПТ)

к к к к

м«) соу(( с 2Т) к с°у((с '„т )

(б).

Матрицы ковариаций отдельных цветовых векторов в (6) раскрываются через использование коэффициентов корреляции (4):

/((>;) соу(г/^ ') соу(г^; ) ) соу((^;) соу((ь;) ) соу(ь^;. ) соу(ь )

соу1

(с;с г )

соу\ соу( соу(

а- Ь;) а~((;)

а

((;) (,;)

а

а

(',;) ;)

;) а1((;) аЪъ((;)

(7).

Т.о., выражения (4), (6), (7) полностью определяют ковариационную матрицу вектора измеренных цветовых координат. Согласно [2], оптимальной весовой матрицей является обратная ковариационная матрица вектора измерений:

W = С '-1 (8).

МНК-оценка вектора коэффициентов цветового преобразования, получаемая из системы (5), с весовой матрицей (8) имеет вид [2]:

а = ' (9).

Ковариационная матрица полученной оценки коэффициентов цветового преобразования:

СА = (р^Е )-1 (10).

Выражение (10) для ковариационной матрицы шумов оценки коэффициентов позволяет вынести рекомендацию для набора цветовых эталонов, по которому производится цветовая калибровка оптико-электронной системы. Если назначить всем цветовым координатам, полученным на выходе ФПУ, одинаковые веса, а весовую матрицу принять диагональной (т.е. пренебречь корреляционными связями шумов в различных цветовых каналах изображений различных эталонов), то ковариационная матрица оценки примет вид:

са = а2 (ете )-1

где: а2 - некоторый весовой коэффициент.

Из этого выражения видно, что при равных весах отдельных измерений наилучшая точность оценки, в смысле любой матричной нормы, достигается для такой

матрицы регрессоров Е, для которой выбранная норма матрицы

минимальна. Т.о. из всего набора имеющихся цветовых эталонов, для цветовой

калибровки системы целесообразно выбирать такие, для которых Заключение.

(гтг )-1

^ шт.

В работе рассмотрена методика цветовой калибровки оптико-электронной системы, предназначенной для захвата цветного изображения. Показано, что коэффициенты матрицы цветового преобразования, приводящие выходы цветовых каналов системы к стандартному цветовому базису могут быть получены без специального оборудования. Для цветовой калибровки системы достаточно набора цветовых эталонов, при освещении которых стандартным белым (или полуденным) светом формируется цветовое ощущение, аналогичное цветовому ощущению от взвешенной смеси опорных цветов выбранного цветового базиса. Поскольку изображение набора эталонов, на выходе калибруемой системы, искажено измерительными шумами, сформулирован алгоритм усреднения измеренных значений цветовых координат, и учёта корреляционных связей между шумами измерения в отдельных цветовых каналах, для повышения качества МНК-оценки. Указан количественный критерий отбора цветовых эталонов, для цветовой калибровки системы.

Литература.

1. Красильников Н.Н. Цифровая обработка изображений.- М.: Вузовская книга, 2001.

2. Мудров В.И., Кушко В.Л. Методы обработки измерений. Квазиправдоподобные оценки. - М.: Радио и связь, 1983г.