Функционалы влияния робастных оценок параметров авторегрессионных полей Текст научной статьи по специальности «Математика»

МАТЕМАТИКА

J

УДК 519.234.3

ФУНКЦИОНАЛЫ ВЛИЯНИЯ РОБАСТНЫХ ОЦЕНОК ПАРАМЕТРОВ АВТОРЕГРЕССИОННЫХ ПОЛЕЙ

В.Б. Горяинов

МГТУ им. Н.Э. Баумана, Москва e-mail: vb-goryainov@mail.ru

Для оценок наименьших квадратов и наименьших модулей, М-оценок и обобщенных М-оценок коэффициентов авторегрессионных полей вычислены функционалы влияния и коэффициенты чувствительности к большой ошибке в наблюдениях.

Ключевые слова: пространственная авторегрессия, М-оценки, функционал влияния, коэффициент чувствительности к большой ошибке.

INFLUENCE FUNCTIONALS OF ROBUST ESTIMATIONS OF PARAMETERS OF AUTOREGRESSIVE FIELDS

V.B. Goryainov

Bauman Moscow State Technical University, Moscow e-mail: vb-goryainov@mail.ru

Influence Junctionals and coefficients of sensitivity to a gross error in observations are calculated for estimations of least squares and least moduli, M-estimations and generalized M-estimations of autoregressive fields.

Keywords: spatial autoregression, M-estimation, influence functional, gross error sensitivity coefficient.

Введение. Рассмотрим стационарное поле на целочисленной прямоугольной решетке, описываемое разностным авторегрессионным уравнением

висимые одинаково распределенные случайные величины с нулевым математическим ожиданием Еец и конечной дисперсией Dец. Такие поля описывают различные характеристики изображений (яркость, интенсивность, градации серого и т.д.) в теории распознавания образов и обработки изображений, одной из основных задач которой является фильтрация изображений на фоне шума посредством оценивания авторегрессионных коэффициентов а = (аю, &оъ аи)Т п0 наблюдениям

Если обновляющее поле е^ является гауссовским, то наилучшими оценками параметра а будут оценки наименьших квадратов [2],

определяемые как точка минимума функции

т п

ЕЕ

г-lj-l)2 • (2)

На практике, однако, предположение о гауссовости .г,, (а значит, и Хг/) обычно нарушается из-за грубых ошибок в измерении Хг/ [3]. С помощью компьютерного моделирования было показано, что в этом случае оценки наименьших квадратов уступают в эффективности знаковым и ранговым оценкам, оценкам наименьших модулей, М-оценкам и обобщенным М-оценкам [4-8].

В данной работе вводятся теоретические характеристики устойчивости оценок к засорению наблюдений грубыми ошибками, которые вычисляются для М-оценок, обобщенных М-оценок, оценок наименьших модулей и оценок наименьших квадратов параметра а. Подтверждается вывод о предпочтительности обобщенных М-оценок при засорении наблюдений грубыми ошибками.

Постановка задачи. М-оценки параметра а по наблюдениям Хч, % = 1..... ш, у = 1..... //, определяются [7] как точка минимума функции

где, например

ЕЕ.

если |ж| < к,

k\x\ — к2, если |ж| > к7

— семейство функций Хьюбера [9, 10], к > 0, или

), (3)

(4)

1-1-

1,

, если |ж| < к,

если |ж| > к7

— семейство функций, называемое бивесом Тьюки [9, 10], к > 0. Рекомендации по выбору р(х) имеются в [9, 10]. В частности, если р(х) = х2, то получаются оценки наименьших квадратов, а если р(х) = |ж| — оценки наименьших модулей.

Пусть плотность / случайных величин является смесью двух гауссовских плотностей:

1

2(7.

I, 0<7<1, (5)

имитирующих появление с небольшой вероятностью 7 среди ец, Ре^ = а\, величин с аномально большой диспрсией а\, а\ и\.

Тогда, например, для семейства функций Хьюбера (4) при к £ (1,5; 2) М-оценки почти не уступают в эффективности оценкам наименьших квадратов при 7 = 0 в (5) и почти так же эффективны, как оценки наименьших модулей при 7 Е (0,05; 0,2), когда эффективность оценок наименьших квадратов невысока (см. [7]).

Предположим теперь, что вместо поля Хц наблюдается поле У',, вида

У а Xг! С' / •

■ ч

где (^ц — независимые одинаково распределенные случайные величины, а и^ — независимые бернуллиевские случайные величины, принимающие значения 1 и 0 с вероятностями 5 и 1 — 5 соответственно, 0 < § < 1. Предположим, что поля ец, /л, и (,7 не зависят друг от друга. Модель (6) описывает загрязнение поля Х^ небольшой долей 6 (обычно на практике 0 < г) < 0.2) случайных ошибок (, 7. Например, при измерении поля Х^ с вероятностью 5 происходит сбой измерительной аппаратуры, и во время сбоя вместо Хг/ наблюдается (, 7. В этом случае М-оценки теряют эффективность.

Дело в том, что если р — выпуклая дифференцируемая функция, то минимизация См (а) в (3) равносильна решению системы уравнений

Ьм(а) = 0, (7)

где

(8)

транспонирования. Потеря эффективности М-оценок при загрязнениях (6) связана с неограниченным множителем Хц в системе уравнений (7), влияние которого на решение этой системы может быть сколь угодно велико при замене X,, на У,, вида (6) и достаточно больших значениях ^ в (6).

Определим обобщенные М-оценки параметра а как решение системы

Ьсм(а) = 0, (9)

где

т

ца) Qij (

(10)

Выбрав в качестве д ограниченную функцию, можно ограничить влияние экстремальных значений на решение уравнения (9). Например,

в качестве д можно взять половину производной

1 , , ч | ж, если |ж| < к,

к, если |ж| > к,

р - функции Хьюбера (4). В этом случае, если Х»_ ij, Xij_ i, X,.

невелики, то слагаемое мым

С) в (10) совпадает со слагае-и ^ противном случае вектор

будет "подрезан" и его длина никогда не пре-

(8).

В

высит

В работах [6-8] чувствительность обобщенных М-оценок, М-оценок и оценок наименьших модулей к загрязнениям вида (6) исследовалась с помощью компьютерного моделирования. Показано, что с ростом 5 в (6) разность между оценкой параметра а и самим параметром увеличивается, что может свидетельствовать о смещенности этих оценок. Возникает необходимость в количественной оценке этого смещения, например, как это было сделано для более простых моделей путем определения кривой чувствительности, кривой влияния и функции влияния [9, 10].

Определения и свойства функционала влияния и коэффициента чувствительности к большой ошибке. В работах [6-8] доказана состоятельность обобщенных М-оценок, М-оценок и оценок наименьших модулей при 5 = 0 в (6). Исследуем поведение этих оценок при

Предположим, что атп — оценка параметра а и при т. п —>• х но вероятности атп а(6). Если 6 ф 0, то оценка атп, вообще говоря, перестает быть состоятельной, т.е. а(8) ф о{(уК Определим функционал влияния 1Р(а(5), оценки атп по формуле

1Е(а(5), характеризует величину главного линейного члена в разложении асимптотического смещения

а

0,

и от функции распределения F: случайной велнчп-

п зависит от а ( ны (и.

Лучше других противостоять засорениям вида (6) наблюдений Х^ будут оценки с ограниченным Обозначим через 5 мно-

жество возможных функций распределения случайных величин Назовем величину

( )) ( ( ), с)1

коэффициентом чувствительности оценки атп к большой ошибке. Оценку атп будем называть робастной на семействе распределений если СЕЗ($, а(5)) < оо.

Найдем функционал влияния и коэффициент чувствительности к большой ошибке для обобщенных М-оценок, М-оценок, оценок наименьших квадратов и оценок наименьших модулей. Обозначим для г, ] = 0, ±1, ±2,...

Обозначим через В = E\v " ' трицу векторов Хц и дп

11.9и (

(11) (12)

взаимную ковариационную ма-

Го,о г 1_1 Г 0-1 в = ( Г_1Д Го,о Г_1,о Год г 1,0 г0> О

где

Г = {(1,0),(0,1),(0,0)}.

Теорема. Пусть атп — решение уравнения Ьтп(а) = 0, атп —У а( и Ь(5, а,(6)) =0 для любых достаточно малых 5,

и — ^u.a)yii\I Л

< ОО,

(13)

(14)

существуют и непрерывны

ности (0, а Тогда

öS

да

в некоторой окрест-

1

ей

В-1 Е

Е[ Ei

n(0V )

n(°V ) ~ aw uoj

a00 s,00)

ИЭ1

Замечание. Так как случайные поля Хг/, иг/, (, 7 предполагаются стационарными, то поле ^ ф (ггз - Щ д^У) как измеримая функция от X,,, г/^, (,7 также будет стационарным полем [11, с. 170, 182]. Поэтому по закону больших чисел для стационарных функций [11, с. 181] при т, п —> оо

и при разумном выборе функций ф и д оценка атп как решение уравнения Ьтп(а) = 0 стремится к а(5) — решению уравнения Ь(5, а,(5)) = 0.

Доказательство теоремы. Из условия теоремы следует, что по теореме о неявной функции в некоторой окрестности точки (0. а(0>) уравнение Ь(5, а) = 0 определяет однозначную дифференцируемую функцию а = а(6) и

da d5

d5

da

Определим полную группу событий:

По формуле полного математического ожидания [12, с. 90, 230]

1

4>(Yu-YAa)gn{Y)\Hijkl

где Е

ф[¥п-¥1Т1а)дп

не зависит от 6. Поэтому

д5

Ф[У1

: 11

,9п (

11000

Ф (Yn-Y^) gn(Y)\H<

'0100

Ф (Yu-Y^A gil(Y)\H<

'0010

ф (Yii - УйУ0)) дп(¥)\н(

¡0001

ф (Yn-Y^Agn

zoooo

ф (Уп - у£а(0)) .911 (

11000

Ф (Хц + Си — а^Х01 — а$х10 — а^Хоо

х

Аналогично

ф (yu - Г^а(0)) ,9п (

= Ei

ф (yu - У£а(0)) ,9п (

Zoioo

а01 S>01,

Zoo 10

1-01

^(Уп-^У^Яп^Яооо! =

ф(Уii-i^a^) gu(Y)\m

0000

L01

Далее

da

da ' ^

ф[¥п-¥1т1а)д11(¥)\Н(

Zoooo

Поэтому

da dö

E [ф'(

— aio Sioj

T1

n(0V )

aoo soo)

Coo))r]

Теорема доказана.

Из теоремы следует, что если функции фи д ограничены, то функционал влияния обобщенных М-оценок ограничен и коэффициент чувствительности к большой ошибке будет конечным.

Для обычных М-оценок д(х) = х и поэтому Е[д(Х^)] = = О,

а В — ковариационная матрица вектора (Х01, Хю. Х,ю), следовательно,

ей

Т

(16)

Видно, что ограниченность функции ф уже не является достаточной для конечности ОЕЗ($, а(5)). Если ф ограничена, но

sup

сек

(о),

11

то IF(a(5), .Ff) может быть сколь угодно большим для такой ф, например, если ошибки Qj = С являются неслучайными, т.е. (, 7 = С, где С G R — произвольная постоянная. Поэтому если класс распределений ^ содержит всевозможные ^-функции (функции распределения постоянных С, С Е К.), то коэффициент чувствительности к большой ошибке для обычных М-оценок может быть неограниченным и М-оценки в этом случае будут неробастными, вообще говоря, даже для ограниченной функции ф(х).

Обозначив плотности случайных величин и Qj через /_ (;/■) и

f,;(x), ПОЛуЧИМ, ЧТО

Отсюда следует, что для конечности коэффициента чувствительности к большой ошибке достаточно условия

sup

(ж,г/)ек2

ф(х

(о)

1%з I

< (X).

Вычислим функционал влияния для двух частных случаев М-оценок — оценок наименьших модулей и оценок наименьших квадратов.

Оценка наименьших модулей — точка минимума функции

т п

или, что равносильно, решение уравнения Ьь1){а) = 0, где

т п ^

Оценка наименьших модулей — частный случай М-оценки при

р(х) = |ж| или ф(х) = sign(ж), где

L, если х > О, -1, если х < 0.

Отметим, что

где 1(А) — индикаторная функция множества А. Обозначим через с-алгебру, порожденную случайной величиной (, 7. Воспользовавшись формулой полного математического ожидания, получим

= Е (^Efsign^n - = Е (&Е[1 - 2Fe(ag>&)]) .

= 2/е(0). Поэтому формула (16) превра-1

Отметим, что E[tfj'(ei щается в

2Д(0)

в~

\Т

(17)

где eij = E((jjE[l — 2F£(af^ Qj)], a Fe — функция распределения слу-

чайных величин е.

Найдем функционал влияния для оценки наименьших квадратов. Оценка наименьших квадратов является точкой минимума (3) с р(х) = х2 или, что эквивалентно, решением (9) с ф{х) = х, д(х) = х. Подставляя в (15) ф(х) = х, д(х) = х, учитывая независимость £ц от а также, что = 0, Е[^'(ец)] = 1, получаем

т

(18)

где В — ковариационная матрица вектора (Х01, Хю, Х00).

Сравнение (17) и (18) показывает, что оценки наименьших модулей предпочтительнее оценок наименьших квадратов, поскольку /F(a(í), К;) в (17) линейно зависит от (, 7, а в (18) — квадратично.

Заключение. Определены такие инфинитезимальные характеристики робастности оценок коэффициентов авторегрессионного поля, как функционал влияния и коэффициент чувствительности к большой ошибке. Эти характеристики вычислены для обычных и обобщенных М-оценок, в частности для оценок наименьших модулей и наименьших квадратов. Сделан вывод о предпочтительности обобщенных М-оценок в условиях искажения наблюдений авторегрессионного поля грубыми ошибками.

СПИСОК ЛИТЕРАТУРЫ

1. Olivier A., Olivier С. Choice of a 2-D causal autoregressive texture model

using information criteria // Pattern Recognition Letters. - 2003. - Vol. 24. No. 9-10.

2. Tjostheim D. Statistical spatial series modelling // Advances in Applied

3. Kashyap R., Eom K. Robust image techniques with and image restoration

4. ГоряиновВ. Б., ГоряиноваЕ. Р. Непараметрическая идентификация пространственной модели авторегрессии в условиях априорной стохастической неопределенности // Автоматика и телемеханика. - 2010. - № 2. - С. 31-41.

5. Г о р я и н о в В. Б. Идентификация пространственной авторегрессии ранговыми методами // Автоматика и телемеханика. - 2011. - № 5. - С. 82-95.

6. Г о р я и н о в В. Б. Оценки наименьших модулей коэффициентов пространственной авторегрессии. // Изв. РАН. Теория и системы управления. - 2011.

7. Г о р я и н о в В. Б. М-оценки коэффициентов пространственной авторегрессии

II Автоматика и телемеханика, - 2012, - № 8, - С, 119-129,

8. Г о р я и н о в В. Б. Обобщенные М-оценки коэффициентов авторегрессионного поля // Автоматика и телемеханика, - 2012, - № 10, - С, 42-51,

9. X ь ю б е р П. Д ж, Робастность в статистике. - М.: Мир, 1984.

10. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. - М.: Мир, 1989.

11. S t о u t W. F. Almost sure convergence. - New York: Academic Press, 1974.

Статья поступила в редакцию 2.03.2012