Влияние эффекта Гиббса на взаимную согласованность в методе разреженных представлений для изображений Текст научной статьи по специальности «Математика»

УДК 004.94

А. С. Крылов, А. В. Умнов2

ВЛИЯНИЕ ЭФФЕКТА ГИББСА НА ВЗАИМНУЮ СОГЛАСОВАННОСТЬ В МЕТОДЕ РАЗРЕЖЕННЫХ ПРЕДСТАВЛЕНИЙ ДЛЯ ИЗОБРАЖЕНИЙ*

В работе: исследовано влияние: эффекта ложного оконтуривания (в основе которого лежит эффект Гиббса) на взаимную согласованность в методе разреженных представлений. Доказано, что для случайных векторов эффект ложного оконтуривания в сродном увеличивает взаимную согласованность. Приведены результаты численных экспериментов, демонстрирующие, что взаимная согласованность для блоков реальных изображений ведет себя аналогичным образом. Показано влияние: эффекта ложного оконтуривания на разреженность представлений (которая тесно связана со взаимной согласованностью).

Ключевые слова: разреженные представления, эффект ложного оконтуривания, взаимная согласованность.

1. Введение. Эффект ложного оконтуривания на изображениях возникает при потере или искажении информации о высоких частотах и проявляется в виде затухающих осцилляций вблизи резких границ на изображении. Этот эффект может появляться в результате различных алгоритмов обработки изображений, например, сжатия, повышения четкости, изменения разрешения, подавления шума, а также в результате аналоговых преобразований. В основе эффекта ложного оконтуривания лежит эффект Гиббса, отражающий поведение частичных сумм рядов Фурье при аппроксимации в точках разрыва [1]. Пример эффекта ложного оконтуривания для изображений показан на рис. 1.

Рис. 1. Эффект ложного оконтуривания на изображении

В данной статье для работы с изображениями рассматривается метод разреженных представлений, который в последнее время широко используется в различных задачах, связанных с обработкой сигналов [2, 3] и, в частности, изображений [4]. Основная идея этого подхода заключается

1 Факультет ВМК МГУ, проф., д.ф.-м.н., e-mail: krylC8cs.msu.ru

2 НИУ ВШЭ, ст. преп., e-mail: umnovCScs.msu.ru

* Исследование выполнено за счет гранта Российского научного фонда, проект № 14-11-00308.

в представлении сигнала (в данном случае изображения или блока изображения) в виде линейной комбинации небольшого числа сигналов из заранее выбранного избыточного словаря. Запишем элементы словаря как столбцы матрицы и обозначим ее D, сигнал — у, искомое представление — с и максимально допустимую ошибку представления — е. Пусть ||с||о — количество ненулевых координат в векторе с. Тогда задача разреженных представлений может формулироваться так:

{||с||о ->• min | ||у - Dc\\2 < е} . (1)

Полученное представление с на практике обычно содержит всю наиболее важную информацию о сигнале и, например, позволяет эффективно решать задачу подавления шума на изображениях [2]. В общем случае эта задача является NP-полной, но существуют эффективные алгоритмы приближенного решения этой задачи. Словарь в зависимости от задачи может выбираться различными способами, в том числе при помощи предварительного обучения на аналогичных сигналах [3].

Задача разреженных представлений также может формулироваться следующим образом (здесь а — максимально допустимое количество ненулевых коэффициентов):

{||у - Dc\\2 ^ min | ||с||о < «} • (2)

Для этой постановки задачи также существуют эффективные алгоритмы приближенного решения и обучения словарей [3].

2. Связь разреженности и взаимной согласованности. При работе с разреженными представлениями большую роль играет степень разреженности используемых представлений [2], которая тесно связана со взаимной согласованностью сигналов в словаре. Взаимная согласованность /х словаря I), состоящего из столбцов (¿1,..., с1т, определяется так [5]:

КВ) = тах

|Иг|ЫИ.?1|2

Предположим, что в задаче (1) существует решение с, удовлетворяющее неравенству

н и 1 Л 1 со < ~ 1

2 V /х(Г>)

Тогда такое решение будет единственным. В этом случае при отсутствии шума (е = 0) ортогональный "жадный" алгоритм найдет точное решение. Аналогичные результаты имеют место и при наличии шума (е ф 0), но для краткости их полные формулировки здесь не приводятся (см. [5]).

Приведенные выше факты свидетельствуют о том, что с ростом взаимной согласованности количество ненулевых коэффициентов в представлении должно уменьшаться. В данной работе показывается, что добавление эффекта ложного оконтуривания в среднем увеличивает взаимную согласованность, и приводится численная демонстрация того, что добавление эффекта ложного оконтуривания увеличивает взаимную согласованность и уменьшает количество необходимых коэффициентов в методе разреженных представлений для изображений. В работе [6] было обнаружено, что оптимальные степени разреженности для изображений с эффектом ложного оконтуривания и без него сильно отличаются. Результаты данной работы дают объяснение этому эффекту.

3. Связь эффекта ложного оконтуривания и взаимной согласованности. Пусть ж, у — действительные векторы. Обозначим через /х(ж, у) взаимную согласованность этих векторов:

, . def |(ж,у)| ц{х,у) =

\xhWy\W

Отметим, что тогда взаимная согласованность словаря I) = [(¿1,..., с1т] выражается следующим образом:

ц(Б) = тах

гфз

Утверждение 1. Пусть — независимые гауссовские векторы размерности п с не-

зависимыми компонентами, X, У ~ Л/*(0, Е). Тогда

:(»(х,г)) =

1 Г(|)

^Fr (П±1)-

Доказательство. Обозначим X' = Х/ЦХЦг, У = У/ЦУЦг- Тогда

X Y

..(у V\ _

- \\XU\Y\\2

iwpi

Обозначим через единичную сферу в п-мерном пространстве. Тогда распределение X' —

это равномерное распределение на т.е. X' ~ Ы{8п~1) [7]. Аналогично У Тогда,

обозначив через рх>(%) плотность X', а через ру(у) — плотность У, получаем

Е(|(Х',У')1) = J ! \(х,у)\рх>(х)рг>(у)<]<хёу = J ! \(х,у)\ёхёу =

п

Sn-1 Цп — 1 sn-1 S"

2-7Г 7Г 7Г

2 1 I I I I I i / I • / • 2 / ,,-п-2

! { ! I ■■■ I ,cos | sin0n_2 sin 0n_3...sin 0id0i ... йфп-2с1в ) dy = 0 0 О

1 f ___± | п—2 1 ji \ j„ _ 1 /-^ttV 2 \ _ 1 Г(|)

cos | sin™ ф 1 (¿01 dy = —у / -, --- dy =

5П-1 ^ о 3п-1

1. Х',У ~ поэтому рх'(х) = Ру(у) = 1/Аг, где = + 1) — площадь поверхности единичной сферы в п-мерном пространстве, Г(п) — гамма-функция.

2. Перейдем в интеграле по dx к сферическим координатам 01,..., 0П_2, в, таким, что 0 ^ фг ^ ^ 7г, 0 ^ в ^ 27г, и выберем их так, чтобы (ж, у) = созфх. Утверждение доказано.

Воспользовавшись тем, что Г(п + а)/Г(п + /3) па~@ [8], получим

ъ.ж/ \ ^(г") п-юо /2 1

Покажем, что эта функция является строго убывающей. Для этого используем неравенство из [9]:

Г(ж + 1) ( п п

> \ Х + - ) , Ж > 0, 0 < 5 < 1.

Г(ж + в)

Легко показать, что из него следует неравенство Г(ж + |)/Г(ж) 0. Далее имеем

М(п + 1) _ Г(*±±)Г(*±±) _ Г(*±±)Г(*±±) _ (Т{f + V < ( М /пч-1 = 1

М(п) Г(^)Г(|) Г(|)Г(|)| V Г(|) J \2) VV 2/ V2

Пусть х € К™ — действительный вектор. Обозначим через С(ж) € К™ дискретное косинус-преобразование этого вектора и через С~1(х) — обратное дискретное косинус-преобразование. Оператор добавления эффекта ложного оконтуривания G^{x) для 0 < k < п можно определить как оператор, который для вектора размерности п удаляет высокие частоты, оставляя только к координат, соответствующих нижним частотам: G^{x) = • С(х)), где

, . J 1, если i < к, (h,)i = <

10, если % > к.

Утверждение 2. Пусть X,Y — нормально распределенные независимые векторы размерности п : X,Y ~ Л/*(0, Е), где Е — единичная матрица. Тогда

E(fi(Gk(X),Gk(Y)))>E(fi(X,Y)).

Доказательство. Из утверждения 1 значение правой части искомого выражения равно М(п). Теперь рассмотрим левую часть:

\Ок(Х)\\2 ■ \\Ок{У)\\2) у IIС-!(4 • С(Х))\\2 • IIС-!(4 • С(У))||2) \(1к-С(Х),1к-С(¥))\ \ Ц(1(.У)],.....,.[(!(Г)],.....,)

4 • С(Х)\\2 • ||4 • С{У)\\2) \ ||[С(Х)]1,...)Л||2 • ||[С(У)]1,...)Л||2

где [Х]^...^ — ограничение вектора на первые к координат. Здесь была использована ортогональность оператора С~1.

Исследуем теперь, как распределены случайные величины С(Х), С (У). Пусть Т — матрица преобразования С. Эта матрица является ортогональной. Запишем случайные векторы X, У как один случайный вектор У = [Х;У] = (х\,... ,хп,у\,... ,уп). Этот вектор является гауссовским вектором размерности 2п с нулевым средним и единичной матрицей ковариации: У ~ Л/*(0,Е). Пусть теперь Ус — аналогичное соединение векторов С(Х), С (У), т.е. У. с = [С(Х);С(У)). Тогда Ус I У. где

гт о"

и \{) т

так как С{Х) =ТХ и С(У) = ТУ. При этом

~ ЩиО, 11Еит) = Л/*(0, иит) = ЛЛ(0, Е).

Таким образом, Ус — гауссовский вектор с независимыми координатами, а значит С(Х), С(У) — независимые гауссовские векторы размерности п с независимыми компонентами, С(Х),С(У) ~ Л/*(0, Е). Тогда [С{Х)]1у___ук, [С{Х)]1у___ук — также независимые гауссовские векторы размерности к с независимыми компонентами. Значит, в силу утверждения 1

Е(КОк(Х), Ок(У))) = Е ( .,) = М(к).

\ II(X л II2 ' \\МУ )\1,...,кЬ /

Так как к < п, то из строгого убывания функции М получаем искомое неравенство. Утверждение доказано.

Заметим, что при работе с изображениями обычно используется двумерное косинус-преобразование. Оно также является ортогональным (только это свойство преобразования использовалось при доказательстве), поэтому доказанное выше утверждение 2 верно и для изображений.

4. Численные эксперименты. В п. 3 было показано, что для случайных векторов с ростом их размерности математическое ожидание взаимной согласованности уменьшается. На рис. 2 изображены графики зависимости средней взаимной согласованности для блоков реальных и случайных изображений. Видно, что средняя взаимная согласованность для блоков реальных изображений и случайных векторов ведет себя похожим образом и убывает с ростом размерности. Средняя согласованность для реальных изображений убывает медленнее, и мы полагаем, что это связано с тем, что вероятностная масса для них в основном сосредоточена в меньшей области, чем вся п-мерная гиперсфера (например, за счет корреляции между соседними пикселями).

Теперь рассмотрим, как добавление эффекта ложного оконтуривания влияет на среднюю взаимную согласованность для блоков реальных изображений. На рис. 3 изображена зависимость средней (по набору блоков) взаимной согласованности от силы эффекта ложного оконтуривания. Видно, что с ее ростом (с увеличением количества обнуленных частот) растет и взаимная согласованность.

Для анализа влияния добавления эффекта ложного оконтуривания на разреженность представлений рассмотрим решение задачи (2) при различных значениях числа коэффициентов а. На рис. 4 изображена зависимость средней ошибки от параметра а при работе с обычными изображениями и при работе с изображениями, искаженными эффектом ложного оконтуривания. В обоих случаях используется обученный словарь при тех же значениях а. С ростом количества использованных коэффициентов величина ошибки уменьшается в обоих случаях, но видно, что для достижения

0.2

0.0-1-1-1-1-

0 20 40 60 80 100

Размер блока

Рис. 2. Зависимость согласованности от размера блока для реальных (сплошная линия) и случайных (пунктирная линия) изображений

0.40

0.20-1-'-'-'-'-

1.0 1.5 2.0 2.5 3.0 3.5 4.0

Сила эффекта ложного оконтуриваяия

Рис. 3. Зависимость согласованности от силы эффекта ложного оконтуривания для блоков реальных изображений. Пунктиром изображено значение для блоков без эффекта ложного оконтуривания, а сплошной линией — значения для блоков с эффектом ложного оконтуривания

одной и той же ошибки для обычных изображений требуется больше коэффициентов, чем для изображений с эффектом ложного оконтуривания.

5. Заключение. Были приведены результаты, показывающие, что добавление эффекта ложного оконтуривания в среднем увеличивает взаимную согласованность как для случайных векторов, так и для блоков реальных изображений. Также было показано, что добавление эффекта ложного оконтуривания уменьшает необходимое количество ненулевых коэффициентов в представлении.

3 4 5 6 Число коэффициентов

Рис. 4. Зависимость ошибки от числа использованных атомов для блоков без эффекта ложного оконтуривания (сплошная линия) и для блоков с эффектом ложного оконтуривания (пунктирная линия)

СПИСОК ЛИТЕРАТУРЫ

1. Jerry A.J. The Gibbs Phenomenon in Fourier Analysis, Splines and Wavelet Approximations. Dordrecht: Springer Science+Business Media, 1998.

2. Ma 11 at S. A Wavelet Tour of Signal Processing: The Sparse Way. Philadelphia: Elsevier, 2009.

3. Elad M. Sparse and Redundant Representations. N.Y.: Springer, 2010.

4. Elad M., Figueiredo M. A.T., Yi Ma. On the role of sparse and redundant representations in image processing // Proc. IEEE. 2010. 98. N 6. P. 972-982.

5. Donoho D.L., Elad M., Temlyakov V.N. Stable recovery of sparse overcomplete representations in the presence of noise // IEEE Trans. Inf. Theory. 2006. 52. N 1. P. 6-18.

6. Umnov A. V., Krylov A.S., Nasonov A. V. Ringing artifact suppression using sparse representation// Advanced Concepts for Intelligent Vision Systems. Switzerland: Springer International Publishing, 2015. P. 3545.

7. Muller M. E. A note on a method for generating points uniformly on n-dimensional spheres // Comm. ACM. 1959. 2. N 4. P. 19-20.

8. Abramovitz M., Stegun I.E. Handbook of mathematical functions. Washington, D.C.: National Bureau of Standards, 1964. (Абрамовиц M., Стиган И. Справочник по специальным функциям. М.: Наука, 1979.)

9. Kershaw D. Some extensions of W. Gautschi's inequalities for the gamma function // Math. Сотр. 1983. 41. N 164. P. 607-611.

Поступила в редакцию 13.01.16

INFLUENCE OF GIBBS PHENOMENON ON THE MUTUAL COHERENCE IN SPARSE REPRESENTATIONS

Krylov A. S., Umnov A. V.

In this work we research the influence of ringing effect (which is based on the Gibbs phenomenon) on the mutual coherence in sparse representation approach. We prove that for the random vectors ringing effect increases the mutual coherence on average. The numerical results that demonstrate that mutual coherence behaves the same for the real images are given. We also show how the ringing effect affects sparsity of the representations (which is closely related to the mutual coherence).

Keywords: sparse representations, ringing, mutual coherence.