CC BY
100
КОРРЕКЦИЯ ИСКАЖЕНИЙ МНОГОСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ МОДЕЛИ СПЕКТРАЛЬНО-КОНТУРНЫХ ЭЛЕМЕНТОВ
Никоноров А.В.
Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)
Аннотация
Рассматривается задача коррекции искажений на мгогоспектральных изображениях. Предложен новый подход к коррекции, основанный на идентификации корректирующего преобразования в пространстве спектрально-контурных элементов с метрикой Хаусдорфа. Сформулировано и теоретически обосновано необходимое условие корректируемости. Показано, что оптимизационная задача построения корректирующего преобразования может быть сведена к последовательности задач метода наименьших квадратов (МНК) с ограничениями. Экспериментальное сравнение предложенного подхода с алгоритмом на основе модели Яейпех показало более высокое качество результатов коррекции на основе предложенного подхода для задач цветовой коррекции.
Ключевые слова: обработка изображений, цветовая коррекция, дихроматическая модель, модель спектрально-контурных элементов, метрика Хаусдорфа, МНК с ограничениями, Яейпех.
Введение и постановка задачи
Природа искажений цифровых изображений очень разнообразна. Для их описания используются различные модели [1-9]. Для выработки универсальных подходов к разрозненным задачам обработки изображений с целью их коррекции рассмотрим типы и общие закономерности формирования искажений [10], [11].
Искажения возникают на всех этапах «жизни» изображения - формирования, получения, хранения и обработки. Характер и модели искажений на каждом из этих этапов различны. При оценке степени влияния различных типов и источников искажений, наряду с их характеристиками, важно также учитывать конкретную прикладную область, где эти изображения используются. Так, например, для задач, в которых используются свойства стереоизображений, существенны проективные искажения. Для задач дистанционного зондирования Земли наиболее серьезные проблемы связаны с искажениями, вносимыми турбулентными потоками в атмосфере. Во всех случаях серьёзные трудности вызывают окклюзии - скрытие от регистратора части объекта.
По источникам возникновения искажений их можно разбить на три класса: аппаратные искажения, искажения, возникающие вследствие отличия условий регистрации от заданных, и искажения, вносимые алгоритмами обработки данных. Такое разнообразие искажений приводит к тому, что универсальные методы их коррекции должны базироваться на достаточно общих моделях и предположениях.
Согласно ряду исследований, человеческое зрение имеет способность воспринимать цвет не в отдельных точках, а проводить взвешенное усреднение по некоторой области [13], [14]. На данном факте основана модель Яейпех и одноимённый метод коррекции, а также целый класс методов инвариантных цветов. Целью данных методов является преобразование цветов изображения, обеспечивающее максимальную близость к виду, который имеет место при восприятии изображения человеческим зрением.
Точность коррекции искажений на основе метода инвариантных цветов достаточна для задач распознавания образов и ряда задач машинного зрения. Существует, однако, обширный класс задач, для которых требуется более точная коррекция. Ряд методов, как эвристических [15], так и математически обоснованных [13], [16], опираясь на это свойство, использует понятие узнаваемых цветов (memory colors). В частности, широко известный подход к цветовой коррекции на основе применения так называемой «точки белого» использует максимально яркое пятно на изображении как базовый цвет для коррекции остальных цветов изображения [17]. Использование нескольких «узнаваемых цветов», таких как цвет травы, неба, снега [16], позволяет провести цветовую коррекцию более качественно.
Несмотря на большое разнообразие известных методов и алгоритмов коррекции оптических изображений, к сожалению, они требуют обобщения на случай многоспектральных изображений, так как во многом опираются на психофизику цветовосприятия, которая теряет смысл в случае гиперспектральных изображений. Так, модель Retinex [13], [14] основывается на психофизике, используемые в методах узнаваемых цветов [16] модели восстановления строятся на основе субъективного восприятия цвета, равно как и эвристические методики цветокорректоров [15]. Поэтому для построения восстанавливающих моделей в задачах коррекции многоспектральных изображений в общем случае речь идёт о восстановлении требуемых спектральных характеристик, при этом должны использоваться объективные критерии.
Исходя из указанных особенностей общей задачи коррекции многоспектральных изображений, мы будем использовать подход, основанный на идентификации моделей искажений и/или восстановления. В наиболее распространённой стандартной постановке задачи идентификации предполагается, что задано параметрическое семейство моделей (структура модели), а задача состоит в определении параметров этой модели. Эта задача известна как задача параметрической идентификации, общие аспекты этой задачи рассматривалась, например,
в работах [3], [18], [19], [20], [21]. Вопросы идентификации моделей систем формирования изображений подробно рассматривались в работе [22].
Исходя из сказанного, актуальна задача формализации проблемы коррекции искажений многоспектральных изображений. В рамках такой формализации необходимо определить модели формирования искажений и представления априорной информации, требуемой для коррекции. Также необходимо сформулировать требования к коррекции, не опирающиеся на психофизику восприятия цвета человеком. Решению указанных вопросов, а также построению численного метода коррекции многоспектральных изображений посвящена настоящая работа.
1. Описание искажений многоспектральных изображений на основе дихроматической модели
Для решения задачи коррекции искажений сначала зададим критерий качества коррекции искажений и модель формирования искажений.
Основным объектом цветовой коррекции является многоспектральное изображение, определяемое следующим образом.
Многоспектральное изображение определим как отображение точек плоскости изображения x е Z2 в метрическое пространство спектральных компонент изображения Q c RK:
P(X) = {p(x)}, xе XcZ2, p(x)е PcQcRK . (1)
Для задач коррекции формирование спектральных компонент всех рассматриваемых видов изображений описывается следующей физической моделью: "p{1}(x) I
p(x) = ... = JR(1,x)I(l,x)F(1)d1, xе X, (2)
_ P{K}(x)_|
где R(1,x) и I(l, x) - функции: RxZ2 ® [0,1], которые определяют соответственно спектральный коэффициент отражения объекта и спектральный коэффициент освещения соответственно, a F(l) = [F {1}(1),..., F {K}(1)f - спектральная чувствительность регистрирующих датчиков по K зонам.
Метрика на пространстве спектральных компонент изображений
Для количественного определения качества коррекции рассмотрим вопрос метрики на пространстве спектральных компонент изображения (1)-(2). Для различных видов изображений и различных прикладных задач могут быть использованы различные метрики. Так, для цветных изображений оптического диапазона может быть использована метрика, характеризующая разницу между цветами, близко к тому, как её воспринимает человек. Для этого может быть использована норма ||*||ис, преобразующая спектральную интенсивность цвета в некоторое равноконтра-стное пространство (для оптических изображений таким пространством является CIE Lab [23]):
P1 " Р2 „ = \Puc (P1) " Puc (Pi)
(3)
где Рис (Р;) определяет переход от вектора цветовых координат, полученных согласно (2), к координатам в рав-ноконтрастном пространстве [23]. В дальнейшем будем называть метрику (3) равноконтрастной метрикой.
Для задач цветовой коррекции, как и для задач сегментации изображений [12], [24], [25], может быть рассмотрено совместное К+2-мерное спектрально-контурное пространство У, объединяющее Як цветовое и координатное пространство:
[х,р(х)]еТ = 22 ®Як . (4)
Метрика такого спектрально-контурного пространства У задаётся как:
||х, Р(х)|| = | 1X1 + ||р(х)|| (5)
Модифицированная дихроматическая модель формирования искажений многоспектральных изображений
Существующие методы цветовой коррекции [13], [35], основываясь на предположении о том, что спектральный состав освещения изопланатичен, преобразуют цвет, полученный при оригинальном освещении, к цвету, полученному при некотором идеальном освещении и идеальных условиях восприятия - 1/ (1)Р7 (1):
p(x) ® pI (x) = JR(1, x)II (1)FI (l)dl, x е X.
(6)
Задача точной цветовой коррекции, решаемая в настоящей работе, имеет иной характер и заключается в необходимости скорректировать искажения в освещении, которые в общем случае не изопланатичны, и получить изображение, соответствующее требуемому источнику освещения со спектральным составом /0(Х).
p(x) = J R(1, x) I (l, x)F(1, x)d1 -p0(x) = JR(1,x)I0(1)F(1)d1, xе x'
(7)
Задача восстановления изображения Ро(х) по Р(х) является некорректно поставленной, равно как и задачи нахождения инвариантных цветов [17]. Для решения такой задачи необходимо использование дополнительной априорной информации. Так, в методах инвариантных цветов используются дополнительные гипотезы «серого мира» или «серых контуров» [17]. В настоящей работе предлагается использовать априорную информацию о небольших компактных фрагментах изображения, как это делает в своей работе человек - оператор цветовой коррекции. Эвристические методы работы оператора описаны в работе [15].
В ряде работ [26] показано, что для задач цветовой коррекции предпочтительна модифицированная дихроматическая модель, учитывающая в качестве отдельных слагаемых диффузное отражение /в (1)Я(1, х), зеркальное отражение /5 (1, х)Ях (1, х) и рассеянный окружающий свет /А (1):
2
p(x) = J [ Ib (l)R(l, x) + +IS (l, x)RS (l, x) + . +IA (l)R(l, x)]F(1)d l
(8)
В настоящей работе рассматриваются искажения в освещении, которые представляются комбинацией бликов (зеркального отражения) и затенения, поясняющий пример приведён на рис. 1.
(9)
Рис. 1. Затенение и блик от источника света
Блики описываются слагаемым I,, (1, х)RS (1, х)
соотношения (8). Затенение, согласно [26], может быть представлено как монотонно изменяющийся множитель Не [0,1] для первых двух слагаемых в (8). Действительно, согласно большинству моделей [26], затенение состоит из двух областей - переходной области и области полной тени, как показано на рис. 1. В области, полной тени, присутствует только отражение, вызванное рассеянным светом, в переходной области (области полутени) присутствуют остальные компоненты (8), но с интенсивностью, пропорциональной Н(х). Таким образом, с учётом фактора затенения модель (8) представляется в виде:
р(х) = | [ Н (х)(1в (1Ж1, х) +
+(4 (1, х) Rs (1, х)) +
+1А (1) R(1, 1.
Согласно [27] пикселы искажённого бликом изображения можно разделить на три класса - матовые пикселы, на которых зеркальное искажение отсутствует, пикселы с зеркальным искажением и «пересве-ченные» пикселы, на которых интенсивность зеркального отражения превышает динамический диапазон регистратора. В модели (9) этим пикселам соответствуют следующие компоненты: 1В (1^(1, х) соответствует матовым пикселам, I,, (1, (1, х) -пикселам с зеркальным отражением.
Понятие и характеристики модели спектрально-контурного (в частности, цветоконтурного) элемента опираются на свойство гладкости функции изменения освещения объектов сцены. Это свойство, в свою очередь, в качестве основы имеет физические свойства облучения объектов сцены источником, находящимся на некотором удалении. Даже в случае точечного источника на гладкой поверхности освещаемого объекта всегда найдутся непрерывные кривые у, на которых интенсивность освещения постоянна.
В общем случае, описываемом моделью (9), кривые у для затенения Н и блика ^ различны:
H(x) = Hg, "xeg, Is(l,x) = Ig(l), "xeg.
(10) (11)
(12)
С учетом того, что в одной и той же точке изображения не могут быть наложены одновременно и теневое, и бликовое искажения, выражение (9) для спектрального отклика в точках кривой у можно записать в виде:
Р(х) = | Ну (1в (1) R(1, х) + ^ (1^ (1, х))Р(1) +
+1А (1Ж1, х)Р(1)^ 1,"х е у.
В предположении гладкости функций зеркального отражения и затенения можно также полагать, что в 1;-окрестностях некоторых кривых у! и у2 существуют фрагменты и1 с П1 (у1) и и2 с П1 (у2), такие что спектры R(1, х) отражения на них близки:
^(1,х1),R(1,х2)|| < ts, "х1 е и1, "х2 е и2. (13)
Тогда в соответствии с (12) можно полагать вектор спектральных компонент изображения в пределах фрагмента постоянной величиной, зависящей только от места его расположения на поле изображения, а для двух фрагментов, лежащих в /-окрестностях разных кривых у! и у2, может быть записана функция преобразования, реализующая коррекцию искажений в точках, принадлежащих указанным окрестностям:
Pg, К) = F(Pg (Ug), a),
(14)
gz v g2 ' "71 h'
где F - некоторая функция цветовой коррекции, а a -вектор параметров. Введём формальные определения для указанных фрагментов (элементов) - u1 с Ut (g1) и U2 с Ut (g2).
2. Модель спектрально-контурных элементов
Контурный элемент - множество точек x e C с Z2 на поле изображения, образующих связную область.
Под связной областью в пространстве, изоморфном ZN, здесь и далее понимается область, состоящая из точек соседних в смысле Фон-Неймана или Мура [28], [29].
Спектральный элемент - множество точек пространства спектров (1) p(x) e S cWc RK , образующих связную область.
Спектрально-контурный элемент (СКЭ) (Spectral Shape Element - SSE) определим как импликативное отображение множества точек контурного элемента на множество точек соответствующего спектрального элемента так, что каждой точке контурного элемента соответствует некоторая точка:
u: x e C ® p(x) e S . (15)
Таким образом, спектрально-контурный элемент состоит из двух составляющих - контурного C и спектрального S элементов:
S = J p(x): p(x) = JR(x, 1)I(x, 1)F(x, 1)dl J
(16)
x e C с Z2.
Максимальное расстояние между точками множества С будем называть диаметром контурного элемента:
dC (u) = max ||x1, x
x, ,x9eu
2 IC •
(17)
Максимальное расстояние между точками множества S - диаметром спектрального элемента.
dS(u) = max llp^),p^llS.
x, ,x,eu 11 S
Будем называть СКЭ смежными по положению, если:
К с = 0. (18)
Будем называть СКЭ смежными по спектру, если: " " (19)
llui' S £ t.
Точка рх является внутренней точкой спектрально-контурного элемента (СКЭ) с порогом 1, если можно построить связную траекторию {р1,...ри} такую, что:
а) {р1,...ри} содержит точки соседние с рх,
б) рх лежит внутри связной траектории {р1,...ри},
в) расстояние в смысле метрики пространства (2) между любыми соседними точками траектории меньше некоторого заданного порога 1:
"iе (1,...,п-1): ||р,.,р^Ц < t.
Диаметр спектрального элемента ^(и) всегда ограничен сверху значением порога t.
Пиксел х СКЭ может быть представлен вектором в К+2 - мерном пространстве У с нормой:
лТ Г - чПГ
[x, p(x)] ,[y, p(y)]
= x, y + p(x), p(y) .
(20)
С использованием данной метрики, задающей расстояние между точками, принадлежащими различным спектрально-контурным элементам, может быть сформулирована задача вычисления расстояния между спектрально-контурными элементами как таковыми. Такая задача эквивалентна вычислению расстояния между множествами точек, принадлежащих двум СКЭ.
С использованием метрики (7) может быть введена метрика Хаусдорфа на множестве СКЭ:
(
u., u,. = max
II ' i\\H
maxmin
xeu. yeu j
maxmin
yeu j xeu.
[x, p(x)f, [y, p(y)f [x, p(x)f , [y, p(y)f
Л
(21)
Также метрика Хаусдорфа может быть задана на
множествах спектральных
и контурных
элементов следующим образом.
Метрика для спектральных элементов:
u., u J = max
II ' j lis
maxmin p(x),p(y)
xeu. yeu j
max mini|p(x), p(y)||
yeu I xeui
(22)
Метрика для контурных элементов:
u., u,. = max ll ' j I Is
maxmin x,y
xeu. yeu j
max mini|x, yII
yeu j xeu.
(23)
Из (22) и (23), следует, что метрика выражается как:
u,., u
j iih
u,., u,.
+ u,, u,.
(21)
(24)
3. Коррекция искажений по набору СКЭ, необходимое условие корректируемости
Задача коррекции искажений многоспектральных изображений состоит в решении задачи идентификации функций коррекции по набору СКЭ, для которых выполняется (13):
a* = argminj |p(ug2), F (p(ug), a)
a
{<} e U, (g1), {u'} e U, (y2),
(25)
метрика в (25) понимается в смысле (21). Полагаем, что спектральных координат р формируется согласно модифицированной дихроматической модели отражения (12).
Рассмотрим задачу построения корректирующего преобразования, устраняющего искажение с части изображения. Преобразование (25) преобразует набор СКЭ на искажённой части изображения и = {и..} в другой набор СКЭ, присутствующих на неискажённой части изображения и0 = {и0} .
Определим значение корректирующего преобразования F для СКЭ и как:
F (u, a) = {F (x., p(x.), a)},
x, e u
(26)
При действии корректирующего преобразования различным образам СКЭ соответствуют различные прообразы, т.е. выполняется следующее свойство:
и1 = F(u0,а), и2 = F(u2,а), р(и0) ор(и2) = 0 , (27)
то р(и1)ор(и2) = 0 .
Отметим: т.к. корректирующее преобразование не меняет положение СКЭ, то:
u, F (u, a) I = u, F (u, a) =
= max
max min F (x, p(x), a), p(y)
xeu yeu
max miniF(x, p(x), a), p(y)||
^ yeu xeu " "
(28)
/
С учётом сказанного, задача идентификации (25) принимает вид:
а* = а1£тт|| F (и., а), и,°|, (29)
а
где {и. } - набор исходных, искажённых СКЭ, {и.0} -набор требуемых СКЭ.
Для корректирующих преобразований, которыми в основном пользуются цветокорректоры при обработке изображений [15], характерно следующее свойство. Различным градациям цвета исходного изображения соответствуют различные градации цвета корректированного изображения, т.е. для такого корректирующего преобразование справедливо:
H
c
s
S
C
(30)
Рк (х1) < Рк (х2) ^
Р(Рк (Х1)) < Р(Рк (Х2)) | Р(Рк (*)) > Р(Рк (Х2)) .
В настоящей работе, исходя из дихроматической модели формирования изображения, приводится обоснование того, что подобное свойство является необходимым условием корректируемости и может быть использовано в виде ограничения для оптимизационной задачи (29).
Спектр в точках СКЭ согласно (12) зависит от спектра освещения I(1, х) и спектра отражения объекта R(1, х). Для каждого набора СКЭ значения I (1, х) постоянны, поэтому спектральные компоненты в точках каждого СКЭ зависят от R(1, х). Таким образом, для построения правильного соответствия СКЭ из наборов (м)} и {и,2} необходимо подобрать пары с близкими значениями Я(к, х).
Такое соответствие задаётся в виде пар СКЭ (и,.,и0), так что:
Vi: R(1, x0),R(1, x,) < tR
Vx°e u,., "x, e Ui
(31)
Необходимым требованием для выполнения условия (31) для пар (и,.,и0) и (и},и°) являются следующие условия корректируемости:
"Р(хк ) > Р(х,) ® Р(Р(хк)) > Р(Р(х,))
"хк е и,.,Ух, е и}. (32)
Теорема.
Необходимое условие корректируемости
Для выполнения (31) при том, что F (p( xt), a) = p( x.),
(33)
необходимо выполнение (32).
Чтобы не загромождать изложение, доказательство теоремы вынесено в шестой раздел настоящей работы.
4. Численный метод идентификации
корректирующих преобразований с учётом условия корректируемости
В общем случае решение задачи минимизации в метрике Хаусдорфа является задачей невыпуклой оптимизации, существующие численные методы её решения основаны на использовании генетических алгоритмов [30]. Альтернативный подход заключается во внесении дополнительных ограничений, упрощающих задачу. Так, в частности, в ряде работ оптимизационные задачи в метрике Хаусдорфа решаются для покрытий выпуклыми многогранниками [31]. Для задач цветовой коррекции данная задача решается независимо по всем спектральным координатам, т.о., вместо общей задачи (29) может быть рассмотрена задача: а* = а^шт||Р(р(иД а), рЮЦс ,
а
с учётом определения метрики Хаусдорфа:
||F (p(Ui), a), p(Uo)|| c =
= max(|max( F (p(u1))) - max( p(u0 ))|,
|min(F (p(Ui))) - min( p(u,))|),
с учётом требования монотонности F(p) задача минимизации этого соотношения эквивалентна минимизации:
a* = argmin((max(F (p(u1))) - max( p(u0)))2,
a
(min(F (p(uj)) - min( p(u,)))2).
Т.о. каждый СКЭ характеризуется двумя точками - min(p(u)), max(p(u)), и соответствие (31) может быть заменено множеством соответствий точек P таким, что:
{ Po, Л}*,{ Po, Л} k + 1 ^ 1 \ 7
p0* = min(u0,c), p.k+1 = min(u,c), pu = min(ui,c), pu+1 = min(ui,c).
Тогда задача (27) с учётом требования корректируемости (32) окончательно формулируется в следующем виде:
a* = argmin((F(px, a) - p,)2),
a
F (Л,a) > 0.
Второе условие получено исходя из требования монотонно неубывающей формы корректирующего преобразования, для монотонно невозрастающей формы знак неравенства должен быть изменён.
Представляет интерес полиномиальная аппроксимация корректирующего преобразования, для задачи (29), исходя из требований монотонности, минимальная степень полинома 3, тогда задача принимает вид:
a* = argmin(a3pf + a2pf + a1p1 + a0 -p0)2, (34)
a
3a3p2 + 2a2p1 + a1 > 0. (35)
Данная задача является задачей выпуклой оптимизации и согласно теореме Куна-Таккера решается методом наименьших квадратов с линейными ограничениями неравенствами [32].
5. Результаты экспериментов
В экспериментальной части работы проведём сравнение предлагаемого метода коррекции многоспектральных изображений с алгоритмом на основе модели Retinex с целью проверить качество предлагаемого общего подхода на классической задаче коррекции цветного изображения. Сравнение проводилось с открытой реализацией алгоритма Retinex [33].
Рассмотрим решение задачи устранения тени c изображения на рис. 2.
В качестве исходного набора СКЭ используем набор точек с одинаковыми координатами. На рис. 3 показан график соответствия цветовых координат в этих точках, координаты RGB отмечены на графике соответствующими цветами.
Рис. 3. Соответствие цветовых координат для исходного набора СКЭ
Решение задачи (29) по сформированным таким образом данным позволяет построить цветокорректи-рующее преобразование в виде полинома третьего порядка. Результат коррекции, выполненной при помощи данного полинома, приведён на рис. 4.
Рис. 4. Коррекция по исходному набору СКЭ
Как можно заметить из рис. 4, качество полученной цветовой коррекции недостаточно высокое. С учётом условий корректируемости (32) может быть проведён отбор данных о соответствии точек СКЭ.
Соответствия цветовых координат в соседних точках вдоль границы тени, полученные в результате применения условия корректируемости, и аппроксимация корректирующего преобразования, согласно (34), показаны на рис. 5. Отсеивание данных проведено с использованием алгоритма на основе ЯЛКБЛС [34].
Результат коррекции преобразованием, полученным по набору СКЭ, полученному с учётом условий корректируемости, приведён на рис. 6. Качество цветовой коррекции заметно выше, чем на рис. 4.
Для сравнения на рис. 7 приведён результат обработки изображения на основе модели Яейпех [13], [33], лежащей в основе целого класса методов цветовых инвариантов [17]. Для экспериментального сравнения использовалась реализация Яейпех, доступная в сети Интернет и описанная в [33]. Результат существенно хуже, чем результат на рис. 6.
Рис. 5. Соответствие цветовых координат для набора СКЭ, полученного с учётом условий корректируемости, аппроксимация корректирующего преобразования
Рис. 6. Результат коррекции с учётом условий корректируемости
Рис. 7. Результат коррекции на основе ЯвИпвх Как видно из рис. 6, искажение освещения алгоритмом Яейпех частично устранено, но при этом достаточно сильно искажены цвета всего изображения.
6. Обоснование необходимого условия корректируемости
Рассмотрим соотношение спектральных компонент искажённого и эталонного изображений в рамках дихроматической модели, введённой ранее в (9). Согласно этой модели спектральные координаты пикселов искажённого и неискажённого изображений определяются как:
р(х) = | Н (х)(Я( х, 1)/в (Х)ё 1 +
+1Н (хЯ (х, 1)/х (х, 1)) + Я( х, 1)/А (1)^ (1)ё 1. Р0(х) = | Я( х, 1)(/в (1) + /а (1)^ 1, (37)
где Я(х, 1)/в (1) - световой поток, обусловленный внутренним диффузным отражением, а Яв (х)/в (х, 1) -поверхностным зеркальным отражением, /А(Х) - световой поток рассеянного света, F(X) - функция спектральной чувствительности датчика, Н(х)е[0,1] -функция, определяющая распределение интенсивности затенения по плоскости изображения.
(36)
Следуя [1*], полагаем, что основные искажения определяются затенением и зеркальным (поверхностным) отражением. Также полагаем, что искажения не могут одновременно содержать и затеняющий, и зеркальный компоненты. Таким образом, оба эти случая могут быть рассмотрены отдельно. Тогда может быть сформулирована следующая теорема, описывающая соотношение спектральных координат на искажённом и неискажённом изображениях.
Теорема 1
Если:
1) на изображении существуют гладкие кривые у, такие, что в каждой точке кривой присутствует только один тип искажения и величина искажения постоянна;
2) на неискажённом изображении и кривой у существуют точки, спектральный коэффициент диффузного отражения для которых одинаков, т.е.
Л(х0,1) = ^(х1,1), Я(х2,1) = Я(х2,1),
х1,х2 еу, (38)
тогда справедливо следующее:
Р0(х2)-Р0(х0) > р(х2)-р(х1). (39)
Замечание
Полагаем, что искажение снижает яркость изображения. Если нет, то знак в неравенстве (39) меняется на противоположный. В дальнейшем для определённости рассматриваем только первый случай. Доказательство
В силу условия 1) затенение и зеркальное отражение могут быть рассмотрены раздельно. Рассмотрим сначала затенение.
В случае затенения (36) принимает вид:
р(х) = | (Н (х)Я(х, 1)^ (1) + Я(х, 1) ^ (1))Р (Х)ё 1. (40)
Из условия 1) в случае затенения для точек кривой у затенение постоянно, т.е.:
Н (х,.) = к е (0,1), "х,. еу. (41)
Разность спектральных векторов для точек (38) на неискажённом изображении составит:
Р0 (х2) - Р0(х0) =
, (42)
= | (я(х2,1) - Л(х2,1))^ (1)+1А (1)) р ш 1'
на искажённом: Р(х2) - Р(х1) =
I к(Я(х2,1) - Л(х1,1)) ^ (1)Р (Х)ё 1 + (43)
+1 (Я(х2,1) - Я(х1,1)) ^ (1)Р (Х)ё 1. Вычитая (43) из (42), получим: (Р(х2) - Р(х0)) - (Р(х2) - Р(х1)) = = I (1 - к)(Я(х°2,1) - Я(х2,1)) Iв (1)Р (1)^ 1 > 0
Следовательно, для случая затенения (40) справедливо неравенство (39):
Р0 (х2) - Р0(х0) > Р(х2) - Р(х1).
(44)
(45)
(46)
Рассмотрим случай искажения, вызванного зеркальным отражением, в этом случае (36) принимает вид:
Р(х) = I (Я(х, 1)( Iв (1) + ^ (1)))Р Ц +
+1 Ях (х, 1)IS (х,1) Р (1)йЫ
Так же, как и для затенения, полагаем гладкую форму искажений, так, что существуют точки
$х1, х2 : Ях (х^ (х1,1) =
= Ях (X2)Is (х2,1) = Ях (х)4 (х, 1).
Тогда:
Р(х2) - Р(х1) =
= | (Я(х2,1) - Я(х1,1))( Iв (1) +1а 1.
Откуда также следует справедливость неравенства (39).
Теорема 1 доказана
Неравенство (39) описывает простое практическое наблюдение. Рассмотрим искажение, вызванное гладкими изменениями в освещении и описываемое дихроматической моделью. Если это искажение уменьшает яркость изображения в целом, то и разница межу спектральными компонентами двух пикселов до и после искажения не увеличится.
Рассмотрим задачу построения корректирующего преобразования, устраняющего искажение с части изображения. Преобразование (26) преобразует набор СКЭ на искажённой части изображения и={м} в другой набор СКЭ, присутствующих на неискажённой части изображения и0 = {и,0} .
Задача идентификации корректирующего преобразования имеет вид:
а* = шт Р(и,., а), и°
(47)
где (и,.} - набор исходных, искажённых СКЭ, {и0} -
набор требуемых СКЭ.
Для решения задачи (47) необходимо задание соответствия спектрально-контурных элементов в наборах {и,.} и {и0}. Спектральные координаты в точках СКЭ согласно (2) зависят от спектра освещения /(^,х) и спектра отражения объекта Я(^,х). Для каждого набора СКЭ значения !(^,х) постоянны, цвет каждого СКЭ зависит от Я(^,х). Таким образом, для построения правильного соответствия СКЭ из наборов {и,. } и {и,0} необходимо подобрать пары с близкими значениями Я(^,х).
Такое соответствие задаётся в виде пар СКЭ (и,.,и0), так что:
",: Я(1, х0),Я(1, х,) < (к
"х° е и,.,"х, е и,..
(48)
Необходимым требованием для выполнения условия (48) для пар (и,.,и0) и (и},и°) являются следующие условия корректируемости:
"Р(хк) > Р(х,) ® Р(Р(хк)) > Р(Р(х,)),
"хке и,., "х,е и 1.
(49)
а
Теорема.
Необходимое условие корректируемости Для выполнения (48) при том, что F (р( х,), а) = р( х0), (50)
необходимо выполнение (49). Доказательство
Рассмотрим две пары искажённых и неискажённых СКЭ, (и.,и0) и (и],и°). Если для каждой из
этих пар выполняется (48), то, согласно (38), для пикселов этих СКЭ выполняется и (39): Р(х0) -р(х0) > р(х,)- р(х,),
"х0 е и0,"х0 е и0,"х, е и.,"х, е и].
Т.е. разница между значениями спектра на неискажённых СКЭ больше разницы на искажённых. Следуя свойству (28), р(и0)ор(и0) = 0 . Тогда
р(х0) > р(х0), "х0 е и0,"х0 е и0 при условии, что:
р(х,) > р(х,), "х, е и., "х, е и].
Согласно (3.24) F(р(х,),а) = р(х0), а следовательно, и F(р(х,)) > F(р(х,)), "х0 е и0,"х0 е и0 при условии, что р(х,) > р(х,), "х, е и., "х, е и]. Таким образом, выполняется (49). Теорема доказана.
Заключение
Настоящая работа посвящена ряду вопросов, возникающих при решении проблемы коррекции искажений многоспектральных изображений на основе идеи опорных фрагментов. Предложена общая модель формирования искажений, модель коррекции на основе априорной информации, представленной в виде опорных фрагментов. Сформулированы и обоснованы необходимые условия корректируемости. Для множества таких фрагментов введена метрика, сформулирована и решена оптимизационная задача построения корректирующих преобразований с ограничениями в виде условий корректируемости.
Для проверки эффективности предложенного подхода выполнено экспериментальное сравнение с методами коррекции на основе модели Яейпех. Методы коррекции на основе модели спектрально-контурных элементов демонстрируют более высокое качество коррекции. Таким образом, экспериментально подтверждено, что предложенный общий подход к коррекции многоспектральных изображений как минимум не уступает классическим методам в частной задаче коррекции цветных изображений. Экспериментальное сравнение с существующими методами коррекции гиперспектральных изображений является приоритетной задачей дальнейших исследований.
Благодарности
Автор выражает глубокую признательность профессору В. А. Фурсову за помощь, оказанную при работе
над статьёй. Работа выполнена при поддержке РФФИ (проекты 13-07-13166, 12-07-00581-а, 13-07-12030-офи_м, 13-07-97000-р_поволжье_а) и Министерства образования и науки РФ - №№ 14.577.21.0021, 14411.2049999.19.013 и 14411.2049999.19.025.
Литература
1. Zhuravlev, Yu.I. An Algebraic Approach to Recognition and Classification Problems / Yu.I. Zhuravlev // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. - 1998. - V. 8. - P. 59-100.
2. Пытьев, Ю.П. Методы морфологического анализа изображений / Ю.П. Пытьев, А.И. Чуличков. - М.: Физмат-лит, 2010. - 335 с.
3. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов., Н.Ю. Ильясова, В.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичева, В.А. Фурсов; под ред. В.А.Сойфера. - М.: Физматлит, 2003. - 784 с.
4. Рудаков, К.В. Об алгебраической теории универсальных и локальных ограничений для задач классификации // Распознавание, классификация, прогноз. - 1989. -
C. 176-201.
5. Gurevich, I.B. Descriptive Approach to Image Analysis: Image Models / I.B. Gurevich, V.V. Yashina // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. - 2008. - V. 18(4). - P. 518-541.
6. Ritter, G.X. Handbook of Computer Vision Algorithms in Image Algebra / G.X. Ritter, J.N. Wilson. - CRC Press Inc., 2001.
7. Michaelsen, E. Extraction of building polygons from SAR images: Grouping and decision-level in the GESTALT system / E. Michaelsen, U. Stilla, U. Soergel, L.J. Doktorski // Pattern Recognition Letters. - 2010. - V. 31(10). - P. 1071-1076.
8. Sternberg, S.R. An overview of Image Algebra and Related Architectures, Integrated Technology for parallel Image Processing. - London: Academic Press, 1985.
9. Serra, J. Image Analysis and Mathematical Morphology. -USA, Academic Press, Inc., 1983.
10. Fergus, R. Removing Camera Shake From A Single Photograph / R. Fergus, B. Singh, A. Hertzmann, S.T. Roweis, W.T. Freeman // ACM Transactions on Graphics, SIGGRAPH'06. - 2006. - V. 25(3). - P. 787-794.
11. Geraud, T. Color image segmentation based on automatic morphological clustering / T. Geraud, P.-Y. Strub, J. Darbon // IEEE Proc., Inter. Conf. on Image Processing, Thessaloniki, Greece. - 2001. - V. 3. - P. 70-73.
12. Nieuwenhuis, C. Spatially Varying Color Distributions for Interactive Multi-Label Segmentation / C. Nieuwenhuis,
D. Cremers // IEEE Transactions on Pattern Analysis and Machine Intelligence - 2013. - V. 35(5). - P. 1234-1247.
13. Land, E. The retinex theory of color vision // Scientific American. - V. 237(6). - P. 108-128.
14. Brainard, D.H. Analysis of the retinex theory of color vision / D.H. Brainard, B.A. Wandell // JOSA. - 1986. -V. 3(10). - P. 1651-1661.
15. Margulis, D. Modern Photoshop Color Workflow - The Quartertone Quandary, the PPW, and Other Ideas for Speedy Image Enhancement. - MCW Publishing, 2013. - 480 p.
16. Moreno, A. Color Correction: A Novel Weighted Von Kries Model Based on Memory Colors / A. Moreno, B. Fernando, B. Kani, S. Saha, S. Karaoglu // CCIW'11 Third international conference on Computational color imaging. - 2011. - P. 165175.
17. Gijsenij, A. Computational Color Constancy: Survey and Experiments / A. Gijsenij, T. Gevers, J. van de Weijer //
IEEE Transactions on Image Processing. - 2011. - V. 20(9). P. 2475-2478.
18. Баврина, А.Ю. Моделирование видеоинформационного тракта оптико-электронных систем дистанционного зондирования земли: решения, проблемы и задачи / А.Ю. Баврина, В.В. Мясников, В.В. Сергеев, Е.В. Тре-щёва, Н.В. Чупшев // Компьютерная оптика. - 2012. -Т. 36, № 4. - С. 572-585.
19. Сергеев, В.В. Оценивание пространственно-зависимых искажений с использованием параметризованных моделей / В.В. Сергеев, В.А. Фурсов, М.В. Максимов // III международная конференция «Распознавание образов и анализ изображений: новые информационные технологии» (РОАИ-97): труды конференции. Ч. 1. - Нижний Новгород, 1997. - С. 252-255.
20. Nikonorov, A. Illuminant color correction, using color shape units method // 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies. Samara. - 2013. - V. I. - P. 276-279.
21. Bibikov, S. Recognition of Artifacts in Digital Images Using Conjugacy Indicator / S. Bibikov, V. Fursov, A. Nikonorov, P. Yakimov // 8th Open German-Russian Workshop "Pattern Recognition and Image Understanding". - Nizhny Novgorod, 2011. - P. 21-24.
22. Фурсов, В.А. Адаптивная идентификация по малому числу наблюдений // Приложение к журналу «Информационные технологии». - 2013. - № 9. - 32 c.
23. Джадд, Д. Цвет в науке и технике / Д. Джадд, Г. Вы-шецки. - М.: Мир, 1978. - 580 с.
24. Cheng, H.D. Color Image Segmentation: Advances & Prospects / H.D. Cheng, X.H. Jiangm, Y. Sun, J.L. Wang // Pattern Recognition. - 2001. - V. 34(12). - P. 2259-2281.
25. Chakrabarti, A. Computational Color Constancy with Spatial Correlations / A. Chakrabarti, K. Hirakawa, T. Zickler // TR-09-10. - Cambridge, Harvard University, 2013. - 13 p.
26. Salvador, E. Shadow segmentation and tracking in real-world conditions // PhD Thesis. - EPFL. - 2004. - 194 p.
27. Klinker, G.J. The measurement of highlights in color images / G.J. Klinker, S.A. Shafer, T. Kannade // International Journal of Computer Vision. - 1988. - V. 2. - P. 7-32.
28. Pan, Z. Properties of Self-Replicating Cellular Automata Systems Discovered Using Genetic Programming / Z. Pan, J. Reggia, D. Gao // Advances in Complex Systems. - 2007. - V. 10(1). - P. 61-84.
29. Rosin, P.L. Training Cellular Automata for Image Processing // IEEE Transactions on Image Processing. - 2006. -V. 15(7). - P. 2076-2087.
30. Волотовский, С.Г. Система технического зрения для распознавания номеров железнодорожных цистерн с использованием модифицированного коррелятора в метрике Хаусдорфа / С.Г. Волотовский, Н.Л. Казанский,
C. Б. Попов, Р. В. Хмелёв // Компьютерная оптика. -2005. - Вып. 27. - С. 177-185.
31. Llanas, B. Efficient Computation of the Hausdorff Distance Between Polytopes by Exterior Random Covering // Computational Optimization and Applications. - 2005. -V. 30 - P. 161-194.
32. Lawsen, Ch.L. Solving Least Squares Problems / New Jersey: Prentice-Hall, Inc., Englenood Cliffs, 1974. - 320 p.
33. Limare, N. Retinex Poisson Equation: a Model for Color Perception / N. Limare, A.B. Petro, C. Sbert, J.M. Morel // Image Processing On Line. - 2011.
34. Torr, P. The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix / P. Torr,
D. Murray // International Journal of Computer Vision. -1997. - V. 24(3). - P. 271-300.
References
1. Zhuravlev, Yu.I. An Algebraic Approach to Recognition and Classification Problems // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. - 1998. - V. 8. - P. 59-100.
2. Pytyev, Yu.P. Morphological methods of image analysis / Yu.P. Pytyev, A.I. Chulichkov. - Moscow: "Phizmatlit" Publisher, 2010. - 335 p. - (In Russian).
3. Computer Image Processing, Part II: Methods and algorithms / M.V. Gashnicov, N.I. Glumov, N.Yu. Ilyasova, V.V. Myas-ni-cov, S.B. Popov, V.V. Sergeev, V.A. Soifer, A.G. Khramov, A.V. Chernov, V.M. Chernov, M.a. Chicheva, V.A. Fursov; ed.by V.A. Soifer - VDM Verlag, 2009. - 584 p.
4. Rudakov, K.V. On algebraic theory of global and local constraints in classification problems // Recognition, classification, forecast. - 1989. - P. 176-201. - (In Russian).
5. Gurevich, I.B. Descriptive Approach to Image Analysis: Image Models / I.B. Gurevich, V.V. Yashina // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. - 2008. - V. 18(4). - P. 518-541.
6. Ritter, G.X. Handbook of Computer Vision Algorithms in Image Algebra / G.X. Ritter, J.N. Wilson. - CRC Press Inc., 2001.
7. Michaelsen, E. Extraction of building polygons from SAR images: Grouping and decision-level in the GESTALT system / E. Michaelsen, U. Stilla, U. Soergel, L.J. Doktorski // Pattern Recognition Letters. - 2010. - V. 31(10). - P. 1071-1076.
8. Sternberg, S.R. An overview of Image Algebra and Related Architectures, Integrated Technology for parallel Image Processing. - London: Academic Press, 1985.
9. Serra, J. Image Analysis and Mathematical Morphology. -USA, Academic Press, Inc., 1983.
10. Fergus, R. Removing Camera Shake From A Single Photograph / R. Fergus, B. Singh, A. Hertzmann, S.T. Roweis, W.T. Freeman // ACM Transactions on Graphics, SIGGRAPH'06. - 2006. - V. 25(3). - P. 787-794.
11. Geraud, T. Color image segmentation based on automatic morphological clustering / T. Geraud, P.-Y. Strub, J. Darbon // IEEE Proc., Inter. Conf. on Image Processing, Thessaloniki, Greece. - 2001. - V. 3. - P. 70-73.
12. Nieuwenhuis, C. Spatially Varying Color Distributions for Interactive Multi-Label Segmentation / C. Nieuwenhuis, D. Cremers // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2013. - V. 35(5). - P. 1234-1247.
13. Land, E. The retinex theory of color vision // Scientific American. - V. 237(6). - P. 108-128.
14. Brainard, D.H. Analysis of the retinex theory of color vision / D.H. Brainard, B.A. Wandell // JOSA. - 1986. -V. 3(10). - P. 1651-1661.
15. Margulis, D. Modern Photoshop Color Workflow - The Quartertone Quandary, the PPW, and Other Ideas for Speedy Image Enhancement. - MCW Publishing, 2013. - 480 p.
16. Moreno, A. Color Correction: A Novel Weighted Von Kries Model Based on Memory Colors / A. Moreno, B. Fernando, B. Kani, S. Saha, S. Karaoglu // CCIW'11 Third international conference on Computational color imaging. -2011. - P. 165-175.
17. Gijsenij, A. Computational Color Constancy: Survey and Experiments / A. Gijsenij, T. Gevers, J. van de Weijer // IEEE Transactions on Image Processing. - 2011. - V. 20(9). P. 2475-2478.
18. Bavrina, A.Yu. Modelling of videoinformational tract of optoelectronic remote sensing systems of earth: solutions, problems and tasks / A.Yu. Bavrina, V.V. Myas-nikov, V.V. Sergeev, E.V. Tresheva, N.V. Chupushev //
Computer Optics. - 2012. - V. 36(4). - P. 572-585. - (In Russian).
19. Sergeev, V.V. Parametric identification of spatial based distortions / V.V. Sergeev, V.V. Fursov, M.V. Maksimov // III International Conference "Pattern Recognition and Image Analysis" (PRIA-97), Nizhniy Novgorod, 1997. - V. 1. -P. 252-255. - (In Russian).
20. Nikonorov, A. Illuminant color correction, using color shape units method // 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies. Samara, 2013. - V. I. - P. 276-279.
21. Bibikov, S. Recognition of Artifacts in Digital Images Using Conjugacy Indicator / S. Bibikov, V. Fursov, A. Niko-norov, P. Yakimov // 8th Open German-Russian Workshop "Pattern Recognition and Image Understanding". - Nizhny Novgorod, 2011. - P. 21-24.
22. Fursov, V.A. Adaptive Identification by Small Number of Observations // "Information Technologies" Journal Addons. - 2013. - V. 9. - 32 p. - (In Russian).
23. Judd, D.B. Color in Business, Science, and Industry / D.B. Judd, G. Wyszecki. - Willey, 1975. - 576 p.
24. Cheng, H.D. Color Image Segmentation: Advances & Prospects / H.D. Cheng, X.H. Jiangm, Y. Sun, J.L. Wang // Pattern Recognition. - 2001. - V. 34(12). - P. 2259-2281.
25. Chakrabarti, A. Computational Color Constancy with Spatial Correlations / A. Chakrabarti, K. Hirakawa, T Zickler // TR-09-10. - Cambridge: Harvard University, 2013. - 13 p.
26. Salvador, E. Shadow segmentation and tracking in real-world conditions // PhD Thesis. - EPFL. - 2004. - 194 p.
27. Klinker, G.J. The measurement of highlights in color images / G.J. Klinker, S.A. Shafer, T. Kannade // International Journal of Computer Vision. - 1988. - V. 2. - P. 7-32.
28. Pan, Z. Properties of Self-Replicating Cellular Automata Systems Discovered Using Genetic Programming / Z. Pan, J. Reggia, D. Gao // Advances in Complex Systems. - 2007.
- V. 10(1). - P. 61-84.
29. Rosin, P.L. Training Cellular Automata for Image Processing / P.L. Rosin // IEEE Transactions on Image Processing.
- 2006. - V. 15(7). - P. 2076-2087.
30. Volotovsky, S. Computer vision system for recognition of railway tanks numbers using a modified correlator in the Hausdorff metric / S.G. Volotovsky, N.L. Kazanskiy, S.B. Popov, R.V. Hmelev // Computer Optics. - 2005. -V. 27. - P. 177-185. - (In Russian).
31. Llanas, B. Efficient Computation of the Hausdorff Distance Between Polytopes by Exterior Random Covering // Computational Optimization and Applications. - 2005. -V. 30 - P. 161-194.
32. Lawsen, Ch.L. Solving Least Squares Problems. New Jersey: Prentice-Hall, Inc., Englenood Cliffs, 1974. - 320 p.
33. Limare, N. Retinex Poisson Equation: a Model for Color Perception / N. Limare, A.B. Petro, C. Sbert, J.M. Morel // Image Processing On Line. - 2011.
34. Torr, P. The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix / P. Torr, D. Murray // International Journal of Computer Vision. -1997. - V. 24(3). - P. 271-300.
SPECTRUM SHAPE ELEMENTS MODEL FOR CORRECTION OF MULTICHANNEL IMAGES
A.V. Nikonorov
Image Processing Systems Institute, Russian Academy of Sciences, Samara State Aerospace University
Abstract
This paper presents the spectral-shape elements model for correction of non-isoplanatic deviation in the scene illumination. I propose an identification of the correction function on the set of spectral shape elements with the Hausdorff metric. Also a necessary condition which allows to obtain an adequate form of the color correction function is presented. The experiments performed on real images confirm the high quality of the proposed color correction technique with respect to well-known Retinex method.
Key words: image processing, color correction, dichromatic model, spectral shape elements, Hausdorff distance, non-negative LSM, Retinex model, color constancy.
Сведения об авторе
Никоноров Артём Владимирович родился в 1979 году. В 2005 году окончил Самарский государственный аэрокосмический университет и поступил в аспирантуру. Кандидат технических наук (2005), доцент кафедры общей информатики СГАУ. Опубликовал более 60 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распределённые вычисления, вычисления с использованием графических процессоров.
Artem Vladimirovich Nikonorov (b. 1979). He graduated from SSAU in 2002 and became a PHD-student. After that, he got PhD/Candidate of Science (Engineering) degree in 2005. Now he works as an associated professor at General Informatics sub-department of SSAU. He has more than 60 publications, two monographs. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming.
Поступила в редакцию 12 февраля 2014 г.
