CC BY
11
СИНТЕЗ ОПТИМАЛЬНОГО КОНЕЧНОМЕРНОГО БАЗИСА ХААРА
© 2004 г. Г.И. Белявский, Л.Н. Фоменко
In this paper, the problem of selection the optimum member out of wavelet on a multitude of orthogonal transformation. The technology is based on a wavelet of Haar.
1. Разложение Карунена - Лоэва. Сжатие информации в зрительном анализе является одной из ключевых проблем. Ортогональные преобразования представляют собой один из способов сжатия информации. Среди них разложение Карунена-Лоэва занимает особое место и применяется в том случае, когда сжатие происходит для ансамбля изображений.
Введем некоторые определения.
Определение 1. Будем называть ансамблем векторов совокупность k векторов V = (Х(), Х(к^),
где каждый вектор Х(^ = (х^х^,...^), I = 1,2,..., к,
является элементом пространства R .
Все векторы ансамбля запишем в виде матрицы X = (Х(1), Х(2),..., Х(к)) . Размерность матрицы X равна N х к .
рю информации измерять как норму разности
Определение 2. Вектор М = — £ Xі назовем
к і=і
средним вектором ансамбля.
Определение 3. Ковариационной матрицей ансамбля назовем матрицу С = — XXі - ММТ .
к
Не нарушая общности, будем считать, что М=0, так как М всегда можно вычесть из каждого вектора матрицы Х.
След матрицы С - Б = ії(С) - суммарная дисперсия ансамбля.
Рассмотрим ортонормированный базис
и(і), и(2),..., и^)є , для которого выполнено
10, і ф у
(и, и,) =8Ц , 8Ц =і\ - функция Кронекера.
[і, і = у
Обозначим матрицу базисных векторов через
и = (и(1), и(2),..., и ()).
и имеет размерность N х N. Для нее, очевидно, выполняется соотношение и иг = иг и = Е. Любой вектор ансамбля можно разложить по выбранному базису, т. е.
N
j=l
(l)
(i)
По каналу связи вместо координат вектора X можно передавать коэффициенты разложения б().
Сжатие информации произойдет в том случае, если по каналу связи будет передаваться часть коэффициентов разложения (1). При этом теряется часть информации, которая содержится в векторе X(і) . Если поте-
(j)
j=l
то возникает задача по вы-
бору базиса, для которого величина £ (е\т>) была
г=1
бы минимальной. Решением рассмотренной задачи являются первые т собственных векторов ковариационной матрицы С.
Понятно, что это решение не единственно. В качестве такого экстремального базиса можно взять любую систему ортонормированных векторов, принадлежащих линейной оболочке, натянутой на первые т собственных векторов ковариационной матрицы С.
Тем не менее мы выбираем в качестве экстремального базиса собственные векторы ковариационной матрицы, расположенные в порядке убывания их собственных чисел, так как подмножество бу-
дет решением задачи
Z (e|pдля любого p > l. Та-
i=l
кое разложение называют разложением Карунена-Лоэва. Его можно использовать и как эффективное средство сжатия информации, и для синтеза решающих правил в распознавании образов [1, 2].
В анализе сигналов размерность пространства признаков N имеет порядок нескольких тысяч, поэтому использование разложения Карунена-Лоэва становится трудоемким из-за необходимости решения проблемы сингулярного разложения ковариационной матрицы С порядка N. Как известно, количество необходимых для этого операций имеет порядок М3.
Кроме этого, ковариационная матрица зависит от ансамбля. Это приводит к необходимости новых вычислений для каждого ансамбля и нарушает универсальность подобранного базиса.
2. Метрика. Рассмотрим такое ортогональное преобразование, которое будет обладать в некоторой степени качеством преобразования Карунена-Лоэва и одновременно иметь свойства универсальных и быстро вычислимых ортогональных преобразований, какими являются преобразования Фурье, Хаара, Коши и Адамара. Речь идет о некотором множестве ортогональных преобразований, которому присущи и свойство универсальности, и возможность выбора наилучшего в некотором смысле преобразования для заданного ансамбля изображения.
з
В последнее время большое внимание уделяется вейвлет-преобразованиям ввиду ряда полезных
свойств, им присущих.
На наш взгляд, вейвлет-преобразования идеально подходят для решения нашей проблемы. Таким образом, возникает задача выбора оптимального представителя из вейвлет-пакета.
Уточним понятие оптимальности. Для этого на множестве ортогональных преобразований введем при фиксированном ансамбле метрику.
Пусть W - ортогональное преобразование, U по-прежнему означает преобразование Карунена-Лоэва. Определим коэффициент кодирования преобразования [3] (transform coding gain) формулой:
GW = tr((WX)(WX)T /exp H(WX). (2)
Здесь H(Y) = -N £ In у (Y)2 , где у (Y)2 = - £ 2.
2 N i=i к j=i
Поскольку мы ограничиваемся рассмотрением только ортогональных преобразований, для которых
tr(( WX)(WX)T) = tr( W(XXT)WT) = tr(XXT ) = kD ,
тогда (2) приобретает вид: GW = kD/exp H(WX) .
Таким образом, коэффициент GW максимален, когда H(WX) минимальна. Показатель экспоненты H(Y) можно интерпретировать, например, как энтропию (с точностью до постоянного слагаемого и постоянного множителя) суммы независимых нормально распределенных случайных величин или как логарифм от объема эллипсоида рассеивания, если добавить постоянное слагаемое. Как нетрудно понять, максимизация коэффициента GW эквивалентна минимизации объема эллипсоида рассеивания. Преобразование Карунена-Лоэва доставляет минимум H на множестве всех ортогональных преобразований, и мы будем говорить, что преобразование W * наилучшим образом аппроксимирует преобразование Карунена-Лоэва на некотором подмножестве W ортогональных
преобразований, если W доставляет минимум H на подмножестве W. Мы можем оценить близость преобразования W к преобразованию U вычислением dx( W,U) = |H( WX; - H( UX). (3)
Отметим, что (3) определяет метрику на группе ортогональных преобразований, если отождествить преобразования W и W, для которых H(WX) = H(WX) .
Как уже отмечалось ранее, преобразование Карунена-Лоэва U доставляет минимум H. Следовательно, задача минимизации H эквивалентна задаче минимизации dx. Таким образом, вычисляется ближайшее на W преобразование к преобразованию Карунена-Лоэва в рассматриваемой метрике.
3. Конструирование экстремального базиса. Прежде всего опишем технологию, использующую вейвлет Хаара. Будем считать, что размерность пространства признаков N=2l. Рассмотрим хааровскую фильтрацию: Щ=(х1,х2,...,xN} - множество координат
признакового пространства RN, F0 = уЩ= },...,
¥п = ^ {а({?А{п),...а2>_1}, причем А Iй-1 * = А2) и А
и а 2п) п а 2п+1 = 0 . Эту фильтрацию можно изоб зить в виде бинарного дерева (рисунок):
Соответствие между фильтрацией и базисными векторами определяется правилом: п - 1 слою дерева или сигма-алгебре Рп-1 соответствуют 2п-1 базисных
вектора U
{ur },!Г0-
щим
образом:
U
сконструированных следую-
0, x3 g A(n-1 1 , Г~
(n-1 ) = i.j
A
(n-i)
, xjє A2n)
2i
- l/J A!
(п-1 *
г є A(n) Xj 2i+1
п * 0. При п = 0 = \Ц|а00.
Рассмотрим пример. Пусть N = 23 = 8 . В этом случае получим 4 слоя дерева и сигма алгебре Р3 =ст{а03), А(3),..., Ау3)} будут соответствовать 24-1 = 8 базисных векторов. Сконструируем их согласно описанному выше правилу. ^АО0*| = л/8 = 2^2.
Щ= А О0 * = {х1 ,х 2 ,х3 ,х 4 ,х5 ,х6 ,х7 ,х8}. Хааровская фильтрация: А01 * ={ х1,х2 ,х3,х4}, А( 1 * = {х5 ,х6 ,х7,х8},
^||А (1 * = У^ = 2 ; А02 * ={ х!,х2 } А1 2 ^ ={х3,х4}
A
(2) _
A
(2) _
{x7 ,x8}; JA (2 }\ = 42;
A 03) ={xi}, A-3) ={x 2-.., A 73) ={x8}
Базисные векторы:
Har0o) ={_!_ ,_±_ ,_±_ ,_±_ ,J-
0 12yfl ’ 242 ’ 242 ’ 24l ’ 2V2 ’ 242 ’ 242 ’ 24l
Har0i) ={_!_ ,_-L
0 I242 ’ 242 ’ 242 ’ 242 ’ 242 ’ 242 ’ 242 ’ 242
Har 02} = <! -, -, —, — ,0,0,0,0 k
Har
(2) _
2 2 2 2
= 40,0,0,0! A-1 ,-1 2 2 2 2
,0,0,0,0,0,0
і
Harl(3* = {0,0,l/V2, - l/yf2,0,0,0,01,
Har 0(3} = {l/V2, - 1/ 42 ;
Наг 23; = {о ,0,0,0,1/V?, -1/л/2",0 ,о},
Наг3(3; = {0,0,0,0,0,0,1/42, -1/4?}.
Отметим, что все векторы взаимно ортогональны и длина каждого из них равна 1. Обозначим через Наг стандартное хааровское преобразование, пример которого приведен выше. Рассмотрим матрицу Р перестановок координат. Будем рассматривать множество W хааровских преобразований вида: Наг(Р )= НагР и на этом множестве необходимо выбрать такое преобразование, чтобы доставить минимум Н (Наг(Р^) по матрице перестановок Р .
Постановка задачи. Рассмотрим целевую функ-N Ч2 1 N 1 к
цию ННагСРЩ = £ 1п у (У)? = — £ 1п- £ (у(? )2 , і=1 2N і=1 к у=1
где У = НагґР.Ж = HaгPX.
Для наглядности рассмотрим поведение целевой функции при N = 2. В этом случае
Р(у2) = 1пу2 + 1п (Б - у2), где Б - суммарная дисперсия (след ковариационной матрицы). Пусть у2 - мак-
симально возможное значение
222
Обозначим через S (П1 ) = Z х|;), тогда
xi єА”
X(1 )Hari(n-1) = Г
l
Z. х]Л - Z х( К s n-1) - s і-1)
L-n+1 X єдП X єА”
^х1єА2( xiєА 2i+1
Г 1 ^
Z х (j) 1 s(n-1)
Z(,xl 7 s и
єА(і>) 2
Г і ^
v д(п-1 ^ (j) 1 s(n-1)
: Z l, дк xi t s J,i
I xi єА(” 2
где д(
,-l) = J0, xi є A2I1
11, x. є A
(n) X,eA(n-^->
2i +1 х,єА(
= a(
V2
Представим S (П 171 =
A (п-1 ) 2
2 A (п-1)
S
(n-l) = ji
для у , тогда
2
A
(n-l)
X, єА(
(n-V
Б - у * < у < у * . Из уравнения Р '(у ) = 0 следует, что у2 = Б /2 и функция Р(у2) достигает максимума в точке Б/2, а тогда минимум на его концах в силу симметрии Р(у*) = Р(Б - у 2) . В этой связи нам достаточно найти максимальное значение у *. Это рассуждение позволяет рассматривать задачу синтеза экстремального базиса для каждого атома.
Рассмотрим задачу синтеза базисного вектора для
атома А і”-1 ^. Пусть этому узлу соответствуют базисный
В этом случае
()u(n-1) =_______L
S
(n-l)
4l~- n-3 X, єА(п-l>
( Z^ )(х( ]-jy)) =
Sv"_l)
-=L= ( Z дПл)х()), где x|j) = x() -pj l) . 42РП^ х,єАТ> A,H
Таким образом, задача сводится к поиску max Z ( Z д(П 1 )€j)2, при ограничении:
д j=l x,EAf-«
Г). Тогда x IA(”-l V2'
вектор Hari
Согласно конструкции базиса
j=l
x:Har
(n-l) _
= Z X
(j) .
xl єA’n(,
A
=T- Z
(n-l)| X, є A(
x(j).
,єа(^
2i+l
JArf
Z xp)- Z
,(j)
X, єА(П
хієА(П()+і
X/ eAГ
В рамках статьи мы не ставим целью описание алгоритма решения этой задачи и отсылаем читателя к обширной литературе по булевому программированию.
Литература
1. Ватанабе С. // Автоматический анализ сложных изображений. М., 1969.
2. Белявский Г.И. // Распознавание образов. Киев, 1975. С. 48-59.
3. Nuggehally S., Noll J. and P. Digital Coding of Waveforms: Principles and Applications to Speech and Video. New Jersey, 1984.
1
2
1
1
Ростовский государственный строительный университет_______________________________________19 июня 2003 г.
