Стабилизированная жесткая пороговая обработка при неизвестном уровне шума Текст научной статьи по специальности «Математика»

economic model with a Cobb-Douglas production function // Differential Equations. 2010. 46. N 12. P. 17501766.)

5. Понтрягин JI. С., Болтянский В.Г., Гамкрелидзе Р.В., Мищенко Е. Ф. Математическая теория оптимальных процессов. М.: Наука, 1961. (Pontryagin L. S., Boltyanskii V. G., Gamkrelidze R. V., Mishchenko E. F. The Mathematical Theory of Optimal Processes. New York: Interscience, 1962.)

6. Киселёв Ю.Н. Достаточные условия оптимальности в терминах конструкций принципа максимума Понтрягина // Математические модели в экономике и биологии. М.: МАКС Пресс, 2003. С. 57-67.

7. Iwasa Y., Roughgarden J. Shoot/root balance of plants: optimal growth of a system with many vegitative organs // Theoretical Population Biology. 1984. 25. P. 78-105.

8. Киселёв Ю.Н., Аввакумов C.H., Орлов M.B. Оптимальное управление. Линейная теория и приложения. М.: МАКС Пресс, 2007.

Поступила в редакцию 02.11.16

УДК 519.22

0. В. Шестаков1

СТАБИЛИЗИРОВАННАЯ ЖЕСТКАЯ ПОРОГОВАЯ ОБРАБОТКА ПРИ НЕИЗВЕСТНОМ УРОВНЕ ШУМА*

В работе изучается влияние способов оценивания дисперсии шума на статистические характеристики стабилизированного метода жесткой пороговой обработки коэффициентов вейвлет-разложения функции сигнала. Проведен анализ несмещенной оценки среднеквадратичного риска и показано, что при выполнении определенных условий распределение оценки стремится к нормальному закону с дисперсией, зависящей от вида оценки дисперсии шума.

Ключевые слова: вейвлеты, пороговая обработка, несмещенная оценка риска, асимптотическая нормальность, оценка дисперсии.

1. Введение. Методы обработки сигналов и изображений, основанные на идеях вейвлет-анализа, остаются популярными уже несколько десятилетий. Объясняется это тем, что такие методы вычислительно эффективны и способны решать те задачи, в которых традиционный Фурье-анализ неприменим. Основные задачи, для решения которых используются вейвлеты, — это сжатие сигналов/изображений и удаление шума. При этом чаще всего применяются процедуры пороговой обработки вейвлет-коэффициентов. В работе [1] предложен стабилизированный вариант жесткой пороговой обработки, позволяющий устранить недостатки традиционных видов жесткой и мягкой пороговых обработок, а в работе [2] изучены статистические свойства этого метода и показано, что несмещенная оценка среднеквадратичного риска является сильно состоятельной и асимптотически нормальной. На практике дисперсия шума также неизвестна, и ее необходимо оценивать. Влияние различных видов оценки дисперсии при мягкой пороговой обработке на предельное распределение среднеквадратичного риска исследовано в работах [3-8]. В данной работе исследуется предельное распределение оценки риска при стабилизированной жесткой пороговой обработке и различных способах оценивания дисперсии шума.

2. Пороговая обработка вейвлет-коэффициентов. Для применения методов пороговой обработки функция / € L2(R), описывающая сигнал, сначала раскладывается по базису, в котором она имеет "экономное" представление. Часто таким базисом является вейвлет-базис, имеющий

1 Факультет ВМК МГУ, доц.; Институт проблем информатики Федерального исследовательского центра "Информатика и управление" Российской академии наук, ст. науч. сотр., д.ф.-м.н., e-mail: oshestakovQcs.msu.su

* Работа выполнена при финансовой поддержке РФФИ, проект № 16-07-00736.

наглядную интерпретацию представления сигнала в виде ряда из сдвигов и растяжений некоторой вейвлет-функции ф:

/ = Е (ММ,к, = ~ к), (1)

з,кег

где ф(1) — некоторая вейвлет-функция (семейство {ф:1,к}з,кег образует ортонормированный базис в Ь2(Ж)). Индексы j ъ к в (1) называются масштабом и сдвигом.

В работе рассматриваются функции сигнала на конечном отрезке [а, Ь], равномерно регулярные по Липшицу с некоторым показателем 7 > 0. Предполагается, что вейвлет-функция ф имеет М непрерывных производных (М ^ 7), М нулевых моментов и удовлетворяет условию

\Г'ф(г)\<И < ос.

В этом случае [9] найдется такая константа С/ > 0, что

(2)

На практике значения функции сигнала заданы в дискретных отсчетах. Кроме того, в реальных наблюдениях всегда присутствует шум. В работе рассматривается следующая модель данных: -Х"» = /г + 1 ^ г ^ 217, где 2-1 — число отсчетов функции сигнала, — незашумленные значения функции сигнала, а е^ — независимые нормально распределенные случайные величины с нулевым средним и дисперсией а2. После применения дискретного вейвлет-преобразования получается следующая модель зашумленных вейвлет-коэффициентов:

Чк = Н,к + 0 < з < 3 - 1, 0 < к < 2'- 1,

где независимы и имеют такое же распределение, как и £г, а и 2"г'/2{/, ■г/^) [9].

Для построения оценки функции сигнала к коэффициентам У^ обычно применяется функция жесткой пороговой обработки р#(у,Т) = ж1(|у| > Т) или мягкой пороговой обработки Р5(у,Т) = 8ёп(а:)(|у| — Т)+ с порогом Т. Функция разрывна, что приводит к появлению дополнительных артефактов и отсутствию устойчивости, а функция р$ приводит к появлению дополнительного смещения в оценке. В работе [1] предложен новый метод пороговой обработки, являющийся сглаженным аналогом жесткой пороговой обработки. В этом методе оценки /х^ вычисляются по формулам

р^к = Е[рн(¥^к + А£^,Т)|У^],

где случайные величины ^^ имеют стандартное нормальное распределение и не зависят от У^, а А > 0 — параметр стабилизации, отвечающий за степень сглаживания.

Вычисляя математическое ожидание, получим

$з,к{а) = к

А

Т^У^Л (Т + Уи.

(р —-— - (р

А / V А

Зависимость от с в этом и последующих выражениях может проявляться через параметры А и Т. Достоинством такого метода является бесконечная дифференцируемость по У^, что приводит к более устойчивым оценкам [1]. Заметим также, что при А —> 0 получается обычный метод жесткой пороговой обработки. В данной работе параметр А будем полагать фиксированным, а в качестве Т рассмотрим так называемый "универсальный" порог Ту = ау 21п2^, который позволяет достичь хороших результатов при подавлении шума и обеспечивает близость среднеквадратичного риска к минимальному при жесткой и мягкой пороговых обработках [9].

3. Несмещенная оценка среднеквадратичного риска. Среднеквадратичный риск метода стабилизированной жесткой пороговой обработки определяется по формуле

,7-1 2^-1

ДЛ Т,а) = ЕЕ ~ Н,к)2- (3)

3 = 0 к=0

В [1] показано, что

2 2 д ~ ßj,k) =Е +2о-2———Aj,fe(cr)

где

а

dY,

3,к

■Н,к{о) =

ф

Т + Y,

j,k

1 - Ф

Т — Ya

j,k

л

т л

<р

а

Ч>

T + Yi

j,k

л

Таким образом, величина

J-1 2j-l

а

ßjfZ» = J] J] {Yj,k - ^,fc(<7)) + - <т

j=0 к=О

(4)

является несмещенной оценкой Д/(Т, с), не зависящей от ненаблюдаемых "чистых" значений /х^.

В работе [2] доказано следующее утверждение, устанавливающее асимптотическую нормальность оценки (4) и позволяющее строить асимптотические доверительные интервалы для риска (3).

Теорема 1. Пусть / задана на конечном отрезке и является равномерно регулярной по Липшицу с параметром 7 > 0. Тогда

( Rj(Tu,a) — Rj(Tu,a)

О'

< X

Ф(х).

4. Виды оценок дисперсии шума. Как правило, дисперсия а2 неизвестна, и вместо ее точного значения необходимо использовать некоторую оценку <т2, которая обычно строится по коэффициентам У/_1)0,....)') 1 1 1- так как в силу (2) эти коэффициенты фактически содержат только шум. При этом порог вычисляется по формуле Тц = <тл/21П2-7, а выражение (4) принимает вид

,7-1 2^-1

j=о к=о

2

2 д

iY3,k - + - V2

" h к

В качестве оценки а (или а) в работе рассматривается выборочная дисперсия

fc=0 fc=0

а также нормированный выборочный интерквартильный размах дц и выборочное абсолютное медианное отклонение от медианы дм-, которые определяются следующим образом:

v med med Yj_ ц\

aR = -7Tt-> aM = -7-, (Oj

¿?3/4 S3/4

где 1,1/4) и У(7_1,з/4) — выборочные квантили порядка 1/4 и 3/4, построенные по выборке из половины всех вейвлет-коэффициентов при j = J—1, £3/4 — теоретическая квантиль порядка 3/4 стандартного нормального распределения (£3/4 и 0.6745), а med обозначает выборочную медиану.

Выборочная дисперсия является самой популярной оценкой величины с2, и в случае отсутствия выбросов эта оценка наиболее предпочтительна. Однако, когда оценка дисперсии строится по выборке сигнала, естественно ожидать, что выборка не будет однородной. Преимущество использования оценок (6) заключается в их робастности, т. е. нечувствительности к выбросам. Нормированный выборочный интерквартильный размах является одной из самых популярных робастных оценок а. Практически во всех работах, посвященных вейвлет-анализу сигналов и изображений, в качестве робастной оценки а предлагается использовать выборочное абсолютное медианное отклонение от медианы (см., например, [10-13]). По этой причине в данной работе рассматриваются оба варианта робастной оценки а.

5. Зависимость предельной дисперсии оценки риска от оценки дисперсии шума.

Оказывается, что способ оценивания дисперсии шума влияет на предельную дисперсию оценки риска. Кроме того, необходимость оценивания дисперсии по выборке сигнала приводит к тому, что приходится увеличивать требования к гладкости функции сигнала. Такой же эффект наблюдается при мягкой пороговой обработке [5-8]. В случае использования выборочной дисперсии влияния на предельную дисперсию оценки риска нет.

Теорема2. Пусть / задана на конечном отрезке и является равномерно регулярной по Липшицу с параметром 7 > 1/4, и оценка дисперсии шума задана соотношением (5). Тогда

( К,1(Ти,аз) - К,г(Ти,а) \

г -, - < х Ф(ж).

\ о2л/2^+1 )

Доказательство. Обозначим

J-12j-l г

Uj(T,a) = ЕЕ (Y'i* ~ +

j=0 к=0 -

д

и запишем разность Rj(Tu,ds) ~ Rj(Tu->p) в виде

Rj{Tv,as) - Rj(Tv, а) = [Uj(fv, as) - Uj{Tv, a)] + \Rj{Tv,a) - Rj(Tv, a)] + (2J - l)(a2 - a2s) =

= S\ + S2 + S 3.

Пусть Cj > 0 — некоторая константа, a Sj = C$ Jll22~jl2. Рассмотрим первую сумму:

5! = l(\a2 - a2s\ > Sj)St + l(\a2 - a2s\ < = S[ + Si

Для произвольного e > 0 имеем Р (S[ > е) ^ Р (|а2 — стЦ > Sj). Если выполнены условия теоремы и С,5 достаточно велика, то найдется константа > 0, такая, что [5]

P{\a2^a2s\>5j)^Cd2-J/2-

р

Следовательно, ¿>i —> О при J ^ оо.

Положим Aj = где 0 < А < 2(а2 — Sj), и обозначим через Fj^iTjj^ds) слагаемые

в сумме S". Тогда будем иметь

J-12j-l

Е Е fjATU,»S) =

3 =о к=о

J-12j-l J-12j-l

= Е Е < Aj)Fj,k{Tu,&s) + E E > Aj)Fj,k{Tu,bs) = m + W2.

3 =0 k=0 3 =0 k=0

д

Учитывая определения Aj, и т^гр—fij,k(a)-> можно доказать существование констант Сi > О

VI з,к

и ¡3 > 0, таких, что для слагаемых в W\ будет верна оценка

4\Yj,k\ < A^Fj^Tu^s)

< (7^5/22-^+1/2)/

П. в.

Следовательно, 2 •7/2Ш1 —> 0 п. в. при ,] —> оо.

Аналогично для слагаемых в Ш2 можно получить оценку

,кI > А/) п. в.,

где С2 > 0 — некоторая константа. Учитывая распределение У^, будем иметь

Е Е > \Чк\2 0 при ,7 ос.

3=0 к=о

Используя неравенство Маркова, получим 2 ,т/2\¥2 А 0 при ^ оо. Таким образом, 2 -,128\ А О

при 3 ^ оо. Далее поступая, как в работах [2] и [5], и учитывая, что 2,/</2У 0 при 7 > 1/4, когда </^>00 [5], получим

»^г + <5з \ ,, ч < ж => Ф(ж).

Теорема доказана.

В случае использования в качестве оценки о величины а и или дм предельная дисперсия оценки риска увеличивается. Кроме того, требования к гладкости функции сигнала также становятся более жесткими.

ТеоремаЗ. Пусть / задана на конечном отрезке и является равномерно регулярной по Липшицу с параметром 7 > 1/2, и оценка дисперсии шума а задана одним из соотношений (6). Тогда

( - Д/(Т[/,бг) \ г -. - < X => Фт(ж),

где Фт(ж) — функция распределения нормального закона с нулевым средним и дисперсией Т2 = = [2Сз/4^(СЗ/4)]~ - 1-

Доказательство. Используя экспоненциальные неравенства для выборочных квантилей [14] и выборочного абсолютного медианного отклонения [15], а также представление —

— Д/(Т[/,(7) = 51 + + Бз, получим, что при выполнении условий теоремы найдется такая константа С$ > 0, что при 6,; = СцЛ1122~,,12 для некоторой константы Сц > 0 будут выполнены неравенства

р(|5я - <Т| > < СЙ2~^2, Р(|£м - > 5/) < Св2~«*.

Следовательно, как и в предыдущей теореме, 2"

0 при ,1 ^ ос.

Далее учитывая, что 7 > 1/2, и поступая как в работах [2], [4] и [8], с использованием разложения Бахадура для выборочных квантилей [16] и выборочного абсолютного медианного отклонения от медианы [5] получаем, что

< ж => фт(ж).

Теорема доказана.

СПИСОК ЛИТЕРАТУРЫ

1. Huang Н.-С., Lee Т.С.М. Stabilized thresholding with generalized sure for image denoising // Proc. IEEE ICIP 2010. Hong Kong: IEEE, 2010. P. 1881-1884.

2. Шеста ко в О. В. Статистические свойства метода подавления шума, основанного на стабилизированной жесткой пороговой обработке // Информатика и ее применения. 2016. 10. № 2. С. 65-69.

3. Маркин А. В. Предельное распределение оценки риска при пороговой обработке вейвлет-коэффициентов // Информатика и ее применения. 2009. 3. № 4. С. 57-63.

4. Маркин А.В., Шестаков О.В. О состоятельности оценки риска при пороговой обработке вейвлет-коэффициентов // Вестн. Моск. ун-та. Сер. 15. Вычисл. матем. и киберн. 2010. № 1. С. 2634. (Mar kin А. V., Shestakov O.V. Consistency of risk estimation with thresholding of wavelet coefficients // Moscow Univ. Comput. Math, and Cybern. 2010. 34. N 1. P. 22-30.)

5. Шестаков О.В. Аппроксимация распределения оценки риска пороговой обработки вейвлет-коэффи-циентов нормальным распределением при использовании выборочной дисперсии // Информатика и ее применения. 2010. 4. № 4. С. 73-81.

6. Шестаков О. В. Асимптотическая нормальность оценки риска пороговой обработки вейвлет-коэф-фициентов при выборе адаптивного порога // Докл. АН. 2012. 445. № 5. С. 513-515. (Shestakov О. V. Asymptotic normality of adaptive wavelet thresholding risk estimation // Doklady Mathematics. 2012. 86. N 1. P. 556-558.)

7. Шестаков О. В. О точности приближения распределения оценки риска пороговой обработки вейвлет-коэффициентов сигнала нормальным законом при неизвестном уровне шума // Системы и средства информатики. 2012. 22. № 1. С. 142-152.

8. Шее та ко в О. В. О екороети еходимоети оценки риека пороговой обработки вейвлет-коэффициентов к нормальному закону при иепользовании робаетных оценок дисперсии // Информатика и ее применения. 2012. 6. № 2. С. 122-128.

9. Mai la t S. A Wavelet Tour of Signal Processing. New York: Academic Press, 1999.

10. Abramovich F., Bailey T.C., SapatinasT. Wavelet analysis and its statistical application//The Statistician. 2000. 49. P. 1-29.

11. DonohoD., Johnstone I. M. Ideal spatial adaptation via wavelet shrinkage // Biometrika. 1994. 81. N 3. P. 425-455.

12. Donoho D., Johnstone I. M. Adapting to unknown smoothness via wavelet shrinkage//J. Amer. Stat. Assoc. 1995. 90. P. 1200-1224.

13. Jansen M. Noise Reduction by Wavelet Thresholding. Lecture Notes in Statistics. Vol. 161. New York.: Springer Verlag, 2001.

14. Serfling R. Approximation Theorems of Mathematical Statistics. New York: John Wiley & Sons, 1980.

15. Serfling R., Mazumder S. Exponential probability inequality and convergence results for the median absolute deviation and its modifications // Statistics and Probability Letters. 2009. 79. N 16. P. 1767-1773.

16. Bahadur R. R. A note on quantiles in large samples // Ann. Statist. 1966. 37. N 3. P. 577-580.

Поступила в редакцию 08.11.16

УДК 519.21

В. Г. Ушаков, Н. Г. Ушаков2

ГРАНИЦЫ ТОЧНОСТИ ВОССТАНОВЛЕНИЯ ИНФОРМАЦИИ, ТЕРЯЕМОЙ ПРИ ОКРУГЛЕНИИ РЕЗУЛЬТАТОВ НАБЛЮДЕНИЙ*

В работе получены нижние и верхние оценки отклонения предела выборочного среднего от оцениваемого математического ожидания, когда обрабатываются округленные данные. Рассмотрены случаи распределений ошибок: нормального, Симпсона (треугольного) и Лапласа (двойного экспоненциального).

Ключевые слова: округленные данные, выборочное среднее, нормальное распределение, распределение Лапласа, распределение Симпсона.

1. Введение. В последнее время наблюдается рост интереса к проблеме обработки округленных данных (см. [1-4] и ссылки в этих статьях). Это вызвано рядом причин, среди которых, в частности, быстрый рост компьютерных технологий, делающих обычными большие объемы данных. Как было показано в [5], при статистической обработке округленных данных ошибка измерения может быть использована для снижения влияния ошибки округления. Более того, во многих случаях целесообразно искусственно увеличивать ошибку измерения, чтобы добиться повышения точности конечного результата. В данной работе получены верхние и нижние границы точности оценки математического ожидания наблюдаемой случайной величины, если распределение ошибки измерения подчиняется одному из трех типов распределений с плотностью распределения /(ж) и характеристической функцией

\ 1 2 0.2

1) нормальному с /(ж) = __и ср(г) =

л/2тта

1 _ I 2еи1*

2) Лапласа с /(ж) = -д-е <т |ж м и ф) = —ц^—у

1 Факультет ВМК МГУ, проф., Институт проблем информатики ФИЦ ИУ РАН, ст. науч. сотр., д.ф.-м.н., e-mail: vgushakovQmail.ru

2 Department of Mathematical Sciences, Norwegian University of Science and Technology, Trondheim, Norway, проф., д.ф.-м.н., e-mail: ushakovQmath.ntnu.no

* Работа выполнена при финансовой поддержке РНФ, проект № 14-11-00364.