Устранение цветового рассогласования в фотограмметрической системе камера-проектор Текст научной статьи по специальности «Математика»

УДК 681.3

УСТРАНЕНИЕ ЦВЕТОВОГО РАССОГЛАСОВАНИЯ В ФОТОГРАММЕТРИЧЕСКОЙ

СИСТЕМЕ КАМЕРА-ПРОЕКТОР

А.В. Кровопусков, А.А. Рындин

В статье рассмотрен метод устранения цветового рассогласования в используемой авторами экспериментальной фотограметрической системе. В основе метода лежит воспроизведение функции преобразования инструкций проектора в реальные значения освещения при помощи трехмерной таблицы подстановки и линейной функции цветокоррекции

Ключевые слова: фотограмметрия, гамма, цветовое рассогласование, таблица подстановки

В статье рассматривается

фотограмметрическая система трехмерного сканирования, состоящая из одной цифровой камеры и проектора, посылающего цветной подсвет на снимаемый объект. Вычисление координат точек объекта в трехмерном пространстве производится на основе триангуляции лучей из камеры и проектора. Одной из важнейших задач трехмерного сканирования является реализация алгоритма стереоотождествления. Стереоотождествление представляет собой задачу поиска соответствующих пар пикселей в стереопаре. Стереопара в рассматриваемой фотограмметрической системе представлена набором изображений двух типов: фотографии объекта, освещенного

структурированным подсветом проектора, и набор соответствующих изображений (инструкций) проектора, образующих подсвет. Использование алгоритма ректификации позволяет свести задачу стереотоождествления к одномерной задаче.

Качественному стереоотождествлению

препятствует цветовое рассогласование между цветами в изображении, подаваемом с компьютера на проектор, и соответствующими

спроецированными цветами, снимаемыми сенсором цифровой камеры. Далее в статье будет показано, что цветовое рассогласование может быть существенно сокращено. Это достигается благодаря использованию свойств камеры и проектора, а также специальным процедурам цветовой калибровки. Так как свойства проектора и камеры играют решающую роль, мы начнем с обзора экспериментальной системы.

Наша экспериментальная

фотограмметрическая система структурированного света состоит из компьютера и, управляемых компьютером, проектора и камеры. В качестве проектора используется ЬСБ-проектор с рабочим разрешением 1024х768 пикселей. В качестве камеры используется цифровая фотокамера с рабочим разрешением 800х1200. Трехмерные координаты точки в сцене могут быть вычислены только, если

Кровопусков Андрей Вячеславович - ВГТУ, аспирант, тел. 8 910 343 72 52

Рындин Александр Алексеевич - ВГТУ, д-р техн. наук, профессор, тел. (4732) 77 45 24

она одновременно наблюдается из камеры и проектора.

Проектор проецирует на сцену набор вертикальных световых плоскостей. В нашем случае их количество равно 1024. Для различимости световых плоскостей между собой каждая из них маркируется соответствующим цветом. В качестве метода маркировки был выбран описанный в работе [1] метод фазового сдвига. На Рис. 1 приведен вид кодирующей функции 1(х). Изменения в каждом цветовом канале представляют собой треугольные волны с фазовым сдвигом в 120 градусов относительно друг друга.

Х,Мх) ^ ^

0 Т/6 Т/3 Т/2 2Т/3 5Т/6 Т

Рис. 1. Вид функции маркировки световых плоскостей.

Далее авторами будет приведен существующий метод [2] восстановления инструкций проектора из снятых сенсором камеры цветов в сцене. После этого с использованием обозначений и терминологии приведенного метода будет описан улучшенный метод, приведенный в работе [1]. Далее на основе экспериментальных и аналитических данных будут приведены недостатки существующих методов. После чего будет подробно описан предлагаемый авторами новый метод устранения цветового рассогласования.

Рассмотрим метод восстановления инструкций проектора, приведенный в работе [2]. Отклик сенсора камеры в каждом пикселе описывается как <•00

я = ]0 Л (Л)!г (Л)м.

О = Ц7а (Л) ! (Л)с!Л, (1)

(»СО

В = ]0 л (Л)! (Л)с!Л.

где Я, в, В - это считываемые значения красного, зеленого и синего цветов соответственно. А /к (Л), /а (Л), /В (Л) - спектральный отклик сенсора

камеры в красном, зеленом и синем каналах. 1Г (Я)

- спектр поступившего в камеру света.

Пренебрегая эффектами переотраженного света и флюоресценции, соотношение между спектральной композицией спроецированной световой плоскости (измеренной в некоторой точке сцены) и той частью света, которая была отражена от сцены (измеренная в сенсоре камеры) определяется как

¡г (Я) = V (Я) • к (Я), (2)

где I (Я) - спектр проецированного света, и к (Я)

- пропорциональный коэффициент отражения сцены для длины волны Я .

Выходной свет проектора является суммой красных, зеленых и синих лучей. Обозначим спектр

красных лучей как ¡‘К (Я), при этом нормализуем его таким образом, чтобы ¡‘К (ЯК = 590пт) = 1, где ЯК соответствует пику на графике спектральной чувствительности для красного сенсора камеры. Аналогично введем (Я) и ¡В (Я), как спектры зеленых и синих лучей, нормализованные таким образом, чтобы ¡‘а (Яа = 530пт) = 1 и

¡‘в (Яв = 460пт) = 1.

Графический адаптер передает инструкции в проектор в виде тройки значений. Если передается инструкция [г,0,0], то освещение в заданной точке

будет равно г ’• ¡‘К (Я), где г' - монотонная нелинейная функция г. В общем случае инструкция [г^,Ь] будет давать освещение в заданной точке

Г (Я) = г • ¡1 (Я) + £• ¡1 (Я) + *'• ¡в (Я), (3)

где

(4)

и оператор Р - преобразование из инструкций проектора к реальным значениям освещения. Объединяя выражения 1 и 3, мы получаем для красного канала

/•Я

я = г'£ /я (Л)!Я Л(Л)М +

+ $’ Ц7я (Л)!'„ (Л)к (Л) +

+ Ъ'[/я (Л)!В(ЛЖЛ). (5)

и аналогичные выражения для зеленого и синего каналов.

и Л В

r' r

g' = P< g

V b \

Л

о

означают области

Пусть Ля

определения для соответствующих спектров

проектора !‘К (Л) , !‘а (Л) и !‘В (Л) . Введем

приближение, что отражающая способность сцены постоянна в каждом из данных диапазонов, то есть

УЯ е Л i к (Я) = const = kt i е{R, G, B}.

Теперь для красного цветового канала мы имеем

R = r 'kR j /r (Я) IR (Я)Я g%G j.fR (Я)I'„ (ЯЩ + t'kB J fR (Я) Ib (Я)^Я, (6)

и в матричном виде для всех цветовых каналов

J fR (Я)1^ яя J fR (Я)IG Я)йЯ J fR (Я)1В яя J fG (Я)IR яя J fG (Я)4 ЯЯ J fG Яв яя

J/Я)/яя Jf(Я)4(Я/Я jfB/(я/я

+

+ i

~R

а =

в

J

kR 0 0 " r'

0 ка 0 g'

0 0 к в \ V

(7)

Обозначая компоненты матрицы А в соответствии с выражением 4 и учитывая захватываемый камерой окружающий свет [Я0, в0, В0]т, мы получим для каждого пикселя

" R"

а =

в

kR 0

О ка

00

0 0 к B

r R0

P< g ■ + а0

b B0

[R,G,B]

(8)

Имея считанное камерой значение пикселя возможно восстановить инструкцию проектора [г,g,b]т, ассоциированную с плоскостью освещения.

• Вектор [Ко,в0,В0]т может быть получен съемкой сцены, освещенной лишь окружающим светом.

• Векторное преобразование Р может быть

получено отдельно, в рамках процедуры цветовой калибровки. Это преобразование является нелинейным, но монотонным, а, следовательно, обратимым. Более того, Р - пространственнонезависимо, таким образом, обратное

преобразование Р-1 может быть воссоздано таблицей подстановки.

• Матрица связи А между проектором и камерой может быть дополнительно получена в рамках процедуры цветовой калибровки. Если А близка к диагональной матрице, это означает, что цветовые матрицы камеры и проектора достаточно хорошо реализованы и взаимное влияние цветов мало. Более того, существует обратная матрица А-1. Матрица А не сильно зависит от пространственного положения, поэтому мы будем считать ее константой, а ее локальные изменения - шумом.

• Матрица отражения К зависима от положения и неизвестна. Она может быть определена путем получения дополнительного снимка сцены, освещенного однородным белым светом проектора, то есть при [г^,Ь]т = [255,255,255]т для всех световых плоскостей. Обозначим считанное таким образом значение пикселя камерой как

K

a

a

a

RR

RG

RB

a

a

a

GR

аа

ав

A

K

[Я,, О., В.]т

тогда

' к,

о. =

1 В 5

кк О

О

О

О

О

255 Я0

р< 255 • + —0

255 В0

и матрица К может быть легко вычислена.

В работе [2] выдвигаются два предположения:

• Р - это скалярное отношение вида g' = Р ■ g, где Р - положительная константа.

• Окружающий свет полностью отсутствует, то есть в0=0.

Рассмотрим отдельно один из цветовых каналов, например зеленый. Тогда матрицы А и К превращаются в скаляры. Отсюда, G = АКР ■ g и

От = АКР ■ 255 , следовательно

£ = 255—,

О.

(9)

что является правилом определения инструкций проектора.

На практике выдвинутое выше предположение относительно функции Р является не вполне верным, по двум причинам:

• Функция Р представляет собой функцию трех переменных, то есть ее значение зависит одновременно от значений всех цветовых каналов [г,И,Ь]т.

• Функция Р является нелинейной.

Функция Р возвращает вектор, компоненты которого обозначим как

Рп ([Г, g, Ь]т), Ра ([г, g, Ь]т) и Рв ([г, g, Ь]т).

1 К ’

Учитывая иметь вид

вышесказанное выражение 9 должно

—

О.

Ро ([г, £, Ь]т)

Ро ([255,255,255]т )

(10)

Введем функцию

р

Рк ([г, £,Ь]Т )

Рк ([255,255,255]т )

Ро ([г, £,Ь]Т )

Ро ([255,255,255]т ) Рв ([г, £, Ь]т )

Рв ([255,255,255]т )

(11)

Учитывая выражения 1О уравнение в матричной форме

и 11, получаем

(12)

В работе [1], выдвигается предположение о том, что функция Р близка к линейной, и сама

" К к, г

О— = р< £

1 В і Ь 5

функция представляется преобразования

в

виде

линейного

Р

~К

“'К

Ь

"О "О

ь

(13)

М К

Выражения 12 и 13 в этом случае дают уравнения

' = СКг + Са£ + СВЬ

Кк.

о—.

в/в,

= СКг + со£ + СВЬ

Ь Ь Ь

= Скг + со£ + свЬ Таким образом, мы легко можем вычислить матрицу Мяов- Для этого необходимо спроецировать на объект три чистых цвета [255,0,0]т, [0,255,0]т и [0,0,255]т. Затем посчитать

области цвета

по

некоторой

т

усредненные

[К/К„, о/о., в в,т.

После нахождения матрицы Мьов может быть

найдена обратная ей матрица Мсс = М— . Тогда

на основе считанных сенсором камеры значений могут быть легко вычислены соответствующие им инструкции проектора

(14)

Выражение 14 определяет способ цветокоррекции изображения, снятого сенсором камеры, которая приближает гамму изображения к гамме структурированного подсвета проектора.

г 1 1

£ = Мсс О—

Ь 1 В 1

Рис. 2. Сравнение гаммы подсвета проектора с гаммой изображения сцены после цветокоррекции.

На Рис. 2 приведено трехмерное представление цветовой гаммы одной строки изображения после цветокоррекции, в сравнении с гаммой одной строки подсвета, проецируемого проектором (внешний ряд

Г

г

С

г

а

с

а

С

№

КО

КВ

а

а

а

ОК

ОО

ОВ

А

К

г

точек). Из рисунка видно, что гаммы имеют схожие интервалы в пиковых значениях красного, синего и зеленого цветов, и сильно различающиеся интервалы на промежуточных между ними участках. Это означает, что алгоритм стереоотождествления будет находить достоверные соответствия лишь для некоторых световых плоскостей кодированного светового шаблона.

Итак, нами были рассмотрены два алгоритма устранения цветового рассогласования. Оба они способствуют увеличению точности нахождения соответствий между исходными инструкциями проектора и реальными значениями, полученными сенсором камеры. Из приведенных примеров видно, что в результате описанных преобразований не удается приблизить (в смысле минимизации среднеквадратичного расстояния) гамму реально полученных цветов к исходной гамме цветовых инструкций. Недостатком вышеприведенного метода является то, что в нем не учитывается

нелинейность функции Р .

Ниже приводится предложенный авторами новый способ устранения цветового рассогласования в системе камера проектор. Так как

функция Р монотонна и, следовательно, обратима, то очевидным решением этой проблемы является использование таблицы подстановки для

нахождения функции Р 1 такой, что

(15)

Таблица подстановки определяет

преобразование из одного цветового пространства в другое. Широко применяются таблицы подстановки двух типов:

• Одномерная таблица подстановки хранит соответствие между входными и выходными значениями соответствующих каналов. Для вычисления цветовых значений, не входящих в таблицу, используется интерполяция. Недостатком одномерных таблиц является невозможность учесть взаимовлияние цветовых каналов друг на друга, так как выходное значение каждого канала зависит исключительно от одного входного значения соответствующего канала, поэтому данный способ не применим в нашем случае.

• Трехмерная таблица подстановки дает возможность передать произвольное цветовое преобразование. Преобразование определяется построением трехмерной сетки равномерно расположенных точек в трехмерном цветовом пространстве входных цветов. Для каждой точки определяется соответствующий выходной цвет. Преобразование для всех остальных цветов вычисляется на основе трехмерной интерполяции.

Если для построения одномерной таблицы подстановки требуется N измерений, то для построения трехмерной таблицы потребуется N

r " R/R.T

g = P — < G/G,

b . B/B„\

" RR, r

G/G, = P< g

1 Б § 1 b \

измерений. Наиболее широкое распространение имеют таблицы размерностью [17,17,17], для получения которых требуется 173 = 4913 измерений, что делает процесс цветовой калибровки долгим и ресурсоемким. Вместо восстановления обратной

функции Р -1 авторами предлагается способ,

основанный на восстановлении прямой функции Р такой, что

(16)

Задача существенно упрощается благодаря двум фактам:

1. Количество входных значений функции P ограничено физическим разрешением проектора, и в нашем случае составляет 1024 цвета.

2. Из Рис. 2 видно, что цветовые значения,

формирующие подсвет проектора, строго

упорядочены в пространстве. Более того, множество входных значений имеет 6 ключевых цветов, цветовые значения между которыми изменяются линейно.

Выдвинем предположение, что в результате

цветового преобразования P сохраняется пространственная упорядоченность цветовых значений I(x), образующих подсвет проектора. Другими словами, если I(x-1) и I(x+1) являются двумя ближайшими точками к I(x) для любого

хє[0;1024), то P(I(x — 1)) и P(I(x +1)), будут также являться двумя ближайшими точками к P (I(x)) . Это предположение избавляет нас от необходимости построения полной трехмерной таблицы подстановки. Поскольку совокупность всех выходных цветовых значений в таблице подстановки расположены на замкнутой кривой в пространстве, то любое не содержащееся в таблице подстановки входное значение будет в результате преобразования переведено в значение, лежащее на этой кривой, и легко может быть получено с помощью интерполяции.

На Рис. 3 показан результат применения данного метода с использованием таблицы подстановки из 24 элементов и линейной интерполяции. Черными точками обозначена гамма исходного подсвета проектора. Серыми точками обозначена гамма изображения, полученного в результате

преобразования (R R,, G/ G,, Б/ Б, ), и цветными

точками обозначена гамма преобразованного при помощи таблицы подстановки подсвета проектора. Из рисунка видно близкое соответствие между гаммой изображения (R/R,, G/G,, Б/Б,) и гаммой преобразованного подсвета проектора.

Также видно, что преобразования P приводит к сокращению расстояния между отдельными цветовыми значениями и к существенному

увеличению различии в яркости между цветами подсвета. Это обстоятельство делает полученные результаты неприменимыми в качестве исходных данных для алгоритма стереоотождествления, так как они становятся гораздо более чувствительными к яркостным перепадам.

P([0,0,255] ). На Рис. 4 показан результат описанного метода.

Рис. 3. Пример применения метода сокращения цветового рассогласования на основе таблицы подстановки.

Для минимизации влияния яркостных перепадов на результаты дальнейшего стереоотождествления воспользуемся линеиным преобразованием, аналогичным приведенному в выражении 13.

(17)

1 R § і r

Qcc G/G, = QccP< g

1 -Ьэ B § 1 b \

где Qcc Qrg

Qrgb

RGB ’ "

PR ([255,0,0]г ) Г« ([255,0,0f ) ^ ([255,0,0f )

PrR ([0,255,0f ) Pg ([0,255,0]r ) PB ([0,255,0f )

Pr ([0,0,255]r ) Pg ([0,0,255]r ) Pb ([0,0,255f )

Рис. 4. Пример применения метода сокращения цветового рассогласования при помощи таблицы подстановки и линейной цветокоррекции.

Приведенный метод дает близкое соответствие между гаммами изображений, образуемых левой и правой частью выражения 17. Эти изображения используются в качестве входных данных алгоритма стереоотождествления. Эксперименты показали, что метод приводит к существенному сокращению ошибок алгоритма стереоотождествления, по сравнению с аналогичными результатами методов [1] и [2].

Литература

1. Wan-Chun Ma, A framework for capture and synthesis of high resolution facial geometry and performance, PhD Thesis, National Taiwan University, 2008.

2. D. Caspi, N. Kiryati, J. Shamir, Range imaging with adaptive color structured light, IEEE Transactions on pattern analysis and machine intelligence, 1998.

Для этого таблица подстановки должна быть дополнена тремя дополнительными

измерениями Я([255,0,0]1’), Я([0,255,0]1’) и Воронежский государственный технический университет

COLOUR MISMATCH REDUSING FOR PHOTOGRAMMETRIC CAMERA-PROJECTOR

SYSTEM

A.V. Krovopuskov, A.A. Rindin

A colour mismatch redusing method for authors’ photogrammetric system is observed. The method is based on recover a function that translates projector instructions to real color intencities. A 3D LUT and a linear colorcorrection function is used

Key words: photogrammetry, gamma, colour mismatch, LUT