CC BY
78
МАТЕМАТИКА
J
УДК 519.234.3
ФУНКЦИОНАЛЫ ВЛИЯНИЯ РОБАСТНЫХ ОЦЕНОК ПАРАМЕТРОВ АВТОРЕГРЕССИОННЫХ ПОЛЕЙ
В.Б. Горяинов
МГТУ им. Н.Э. Баумана, Москва e-mail: vb-goryainov@mail.ru
Для оценок наименьших квадратов и наименьших модулей, М-оценок и обобщенных М-оценок коэффициентов авторегрессионных полей вычислены функционалы влияния и коэффициенты чувствительности к большой ошибке в наблюдениях.
Ключевые слова: пространственная авторегрессия, М-оценки, функционал влияния, коэффициент чувствительности к большой ошибке.
INFLUENCE FUNCTIONALS OF ROBUST ESTIMATIONS OF PARAMETERS OF AUTOREGRESSIVE FIELDS
V.B. Goryainov
Bauman Moscow State Technical University, Moscow e-mail: vb-goryainov@mail.ru
Influence Junctionals and coefficients of sensitivity to a gross error in observations are calculated for estimations of least squares and least moduli, M-estimations and generalized M-estimations of autoregressive fields.
Keywords: spatial autoregression, M-estimation, influence functional, gross error sensitivity coefficient.
Введение. Рассмотрим стационарное поле на целочисленной прямоугольной решетке, описываемое разностным авторегрессионным уравнением
висимые одинаково распределенные случайные величины с нулевым математическим ожиданием Еец и конечной дисперсией Dец. Такие поля описывают различные характеристики изображений (яркость, интенсивность, градации серого и т.д.) в теории распознавания образов и обработки изображений, одной из основных задач которой является фильтрация изображений на фоне шума посредством оценивания авторегрессионных коэффициентов а = (аю, &оъ аи)Т п0 наблюдениям
Если обновляющее поле е^ является гауссовским, то наилучшими оценками параметра а будут оценки наименьших квадратов [2],
определяемые как точка минимума функции
т п
ЕЕ
г-lj-l)2 • (2)
На практике, однако, предположение о гауссовости .г,, (а значит, и Хг/) обычно нарушается из-за грубых ошибок в измерении Хг/ [3]. С помощью компьютерного моделирования было показано, что в этом случае оценки наименьших квадратов уступают в эффективности знаковым и ранговым оценкам, оценкам наименьших модулей, М-оценкам и обобщенным М-оценкам [4-8].
В данной работе вводятся теоретические характеристики устойчивости оценок к засорению наблюдений грубыми ошибками, которые вычисляются для М-оценок, обобщенных М-оценок, оценок наименьших модулей и оценок наименьших квадратов параметра а. Подтверждается вывод о предпочтительности обобщенных М-оценок при засорении наблюдений грубыми ошибками.
Постановка задачи. М-оценки параметра а по наблюдениям Хч, % = 1..... ш, у = 1..... //, определяются [7] как точка минимума функции
где, например
ЕЕ.
если |ж| < к,
k\x\ — к2, если |ж| > к7
— семейство функций Хьюбера [9, 10], к > 0, или
), (3)
(4)
1-1-
1,
, если |ж| < к,
если |ж| > к7
— семейство функций, называемое бивесом Тьюки [9, 10], к > 0. Рекомендации по выбору р(х) имеются в [9, 10]. В частности, если р(х) = х2, то получаются оценки наименьших квадратов, а если р(х) = |ж| — оценки наименьших модулей.
Пусть плотность / случайных величин является смесью двух гауссовских плотностей:
1
2(7.
I, 0<7<1, (5)
имитирующих появление с небольшой вероятностью 7 среди ец, Ре^ = а\, величин с аномально большой диспрсией а\, а\ и\.
Тогда, например, для семейства функций Хьюбера (4) при к £ (1,5; 2) М-оценки почти не уступают в эффективности оценкам наименьших квадратов при 7 = 0 в (5) и почти так же эффективны, как оценки наименьших модулей при 7 Е (0,05; 0,2), когда эффективность оценок наименьших квадратов невысока (см. [7]).
Предположим теперь, что вместо поля Хц наблюдается поле У',, вида
У а Xг! С' / •
■ ч
где (^ц — независимые одинаково распределенные случайные величины, а и^ — независимые бернуллиевские случайные величины, принимающие значения 1 и 0 с вероятностями 5 и 1 — 5 соответственно, 0 < § < 1. Предположим, что поля ец, /л, и (,7 не зависят друг от друга. Модель (6) описывает загрязнение поля Х^ небольшой долей 6 (обычно на практике 0 < г) < 0.2) случайных ошибок (, 7. Например, при измерении поля Х^ с вероятностью 5 происходит сбой измерительной аппаратуры, и во время сбоя вместо Хг/ наблюдается (, 7. В этом случае М-оценки теряют эффективность.
Дело в том, что если р — выпуклая дифференцируемая функция, то минимизация См (а) в (3) равносильна решению системы уравнений
Ьм(а) = 0, (7)
где
(8)
транспонирования. Потеря эффективности М-оценок при загрязнениях (6) связана с неограниченным множителем Хц в системе уравнений (7), влияние которого на решение этой системы может быть сколь угодно велико при замене X,, на У,, вида (6) и достаточно больших значениях ^ в (6).
Определим обобщенные М-оценки параметра а как решение системы
Ьсм(а) = 0, (9)
где
т
ца) Qij (
(10)
Выбрав в качестве д ограниченную функцию, можно ограничить влияние экстремальных значений на решение уравнения (9). Например,
в качестве д можно взять половину производной
1 , , ч | ж, если |ж| < к,
к, если |ж| > к,
р - функции Хьюбера (4). В этом случае, если Х»_ ij, Xij_ i, X,.
невелики, то слагаемое мым
С) в (10) совпадает со слагае-и ^ противном случае вектор
будет "подрезан" и его длина никогда не пре-
(8).
В
высит
В работах [6-8] чувствительность обобщенных М-оценок, М-оценок и оценок наименьших модулей к загрязнениям вида (6) исследовалась с помощью компьютерного моделирования. Показано, что с ростом 5 в (6) разность между оценкой параметра а и самим параметром увеличивается, что может свидетельствовать о смещенности этих оценок. Возникает необходимость в количественной оценке этого смещения, например, как это было сделано для более простых моделей путем определения кривой чувствительности, кривой влияния и функции влияния [9, 10].
Определения и свойства функционала влияния и коэффициента чувствительности к большой ошибке. В работах [6-8] доказана состоятельность обобщенных М-оценок, М-оценок и оценок наименьших модулей при 5 = 0 в (6). Исследуем поведение этих оценок при
Предположим, что атп — оценка параметра а и при т. п —>• х но вероятности атп а(6). Если 6 ф 0, то оценка атп, вообще говоря, перестает быть состоятельной, т.е. а(8) ф о{(уК Определим функционал влияния 1Р(а(5), оценки атп по формуле
1Е(а(5), характеризует величину главного линейного члена в разложении асимптотического смещения
а
0,
и от функции распределения F: случайной велнчп-
п зависит от а ( ны (и.
Лучше других противостоять засорениям вида (6) наблюдений Х^ будут оценки с ограниченным Обозначим через 5 мно-
жество возможных функций распределения случайных величин Назовем величину
( )) ( ( ), с)1
коэффициентом чувствительности оценки атп к большой ошибке. Оценку атп будем называть робастной на семействе распределений если СЕЗ($, а(5)) < оо.
Найдем функционал влияния и коэффициент чувствительности к большой ошибке для обобщенных М-оценок, М-оценок, оценок наименьших квадратов и оценок наименьших модулей. Обозначим для г, ] = 0, ±1, ±2,...
Обозначим через В = E\v " ' трицу векторов Хц и дп
11.9и (
(11) (12)
взаимную ковариационную ма-
Го,о г 1_1 Г 0-1 в = ( Г_1Д Го,о Г_1,о Год г 1,0 г0> О
где
Г = {(1,0),(0,1),(0,0)}.
Теорема. Пусть атп — решение уравнения Ьтп(а) = 0, атп —У а( и Ь(5, а,(6)) =0 для любых достаточно малых 5,
и — ^u.a)yii\I Л
< ОО,
(13)
(14)
существуют и непрерывны
ности (0, а Тогда
öS
да
в некоторой окрест-
1
ей
В-1 Е
Е[ Ei
n(0V )
n(°V ) ~ aw uoj
a00 s,00)
ИЭ1
Замечание. Так как случайные поля Хг/, иг/, (, 7 предполагаются стационарными, то поле ^ ф (ггз - Щ д^У) как измеримая функция от X,,, г/^, (,7 также будет стационарным полем [11, с. 170, 182]. Поэтому по закону больших чисел для стационарных функций [11, с. 181] при т, п —> оо
и при разумном выборе функций ф и д оценка атп как решение уравнения Ьтп(а) = 0 стремится к а(5) — решению уравнения Ь(5, а,(5)) = 0.
Доказательство теоремы. Из условия теоремы следует, что по теореме о неявной функции в некоторой окрестности точки (0. а(0>) уравнение Ь(5, а) = 0 определяет однозначную дифференцируемую функцию а = а(6) и
da d5
d5
da
Определим полную группу событий:
По формуле полного математического ожидания [12, с. 90, 230]
1
4>(Yu-YAa)gn{Y)\Hijkl
где Е
ф[¥п-¥1Т1а)дп
не зависит от 6. Поэтому
д5
Ф[У1
: 11
,9п (
11000
Ф (Yn-Y^) gn(Y)\H<
'0100
Ф (Yu-Y^A gil(Y)\H<
'0010
ф (Yii - УйУ0)) дп(¥)\н(
¡0001
ф (Yn-Y^Agn
zoooo
ф (Уп - у£а(0)) .911 (
11000
Ф (Хц + Си — а^Х01 — а$х10 — а^Хоо
х
Аналогично
ф (yu - Г^а(0)) ,9п (
= Ei
ф (yu - У£а(0)) ,9п (
Zoioo
а01 S>01,
Zoo 10
1-01
^(Уп-^У^Яп^Яооо! =
ф(Уii-i^a^) gu(Y)\m
0000
L01
Далее
da
da ' ^
ф[¥п-¥1т1а)д11(¥)\Н(
Zoooo
Поэтому
da dö
E [ф'(
— aio Sioj
T1
n(0V )
aoo soo)
Coo))r]
Теорема доказана.
Из теоремы следует, что если функции фи д ограничены, то функционал влияния обобщенных М-оценок ограничен и коэффициент чувствительности к большой ошибке будет конечным.
Для обычных М-оценок д(х) = х и поэтому Е[д(Х^)] = = О,
а В — ковариационная матрица вектора (Х01, Хю. Х,ю), следовательно,
ей
Т
(16)
Видно, что ограниченность функции ф уже не является достаточной для конечности ОЕЗ($, а(5)). Если ф ограничена, но
sup
сек
(о),
11
то IF(a(5), .Ff) может быть сколь угодно большим для такой ф, например, если ошибки Qj = С являются неслучайными, т.е. (, 7 = С, где С G R — произвольная постоянная. Поэтому если класс распределений ^ содержит всевозможные ^-функции (функции распределения постоянных С, С Е К.), то коэффициент чувствительности к большой ошибке для обычных М-оценок может быть неограниченным и М-оценки в этом случае будут неробастными, вообще говоря, даже для ограниченной функции ф(х).
Обозначив плотности случайных величин и Qj через /_ (;/■) и
f,;(x), ПОЛуЧИМ, ЧТО
Отсюда следует, что для конечности коэффициента чувствительности к большой ошибке достаточно условия
sup
(ж,г/)ек2
ф(х
(о)
1%з I
< (X).
Вычислим функционал влияния для двух частных случаев М-оценок — оценок наименьших модулей и оценок наименьших квадратов.
Оценка наименьших модулей — точка минимума функции
т п
или, что равносильно, решение уравнения Ьь1){а) = 0, где
т п ^
Оценка наименьших модулей — частный случай М-оценки при
р(х) = |ж| или ф(х) = sign(ж), где
L, если х > О, -1, если х < 0.
Отметим, что
где 1(А) — индикаторная функция множества А. Обозначим через с-алгебру, порожденную случайной величиной (, 7. Воспользовавшись формулой полного математического ожидания, получим
= Е (^Efsign^n - = Е (&Е[1 - 2Fe(ag>&)]) .
= 2/е(0). Поэтому формула (16) превра-1
Отметим, что E[tfj'(ei щается в
2Д(0)
в~
\Т
(17)
где eij = E((jjE[l — 2F£(af^ Qj)], a Fe — функция распределения слу-
чайных величин е.
Найдем функционал влияния для оценки наименьших квадратов. Оценка наименьших квадратов является точкой минимума (3) с р(х) = х2 или, что эквивалентно, решением (9) с ф{х) = х, д(х) = х. Подставляя в (15) ф(х) = х, д(х) = х, учитывая независимость £ц от а также, что = 0, Е[^'(ец)] = 1, получаем
т
(18)
где В — ковариационная матрица вектора (Х01, Хю, Х00).
Сравнение (17) и (18) показывает, что оценки наименьших модулей предпочтительнее оценок наименьших квадратов, поскольку /F(a(í), К;) в (17) линейно зависит от (, 7, а в (18) — квадратично.
Заключение. Определены такие инфинитезимальные характеристики робастности оценок коэффициентов авторегрессионного поля, как функционал влияния и коэффициент чувствительности к большой ошибке. Эти характеристики вычислены для обычных и обобщенных М-оценок, в частности для оценок наименьших модулей и наименьших квадратов. Сделан вывод о предпочтительности обобщенных М-оценок в условиях искажения наблюдений авторегрессионного поля грубыми ошибками.
СПИСОК ЛИТЕРАТУРЫ
1. Olivier A., Olivier С. Choice of a 2-D causal autoregressive texture model
using information criteria // Pattern Recognition Letters. - 2003. - Vol. 24. No. 9-10.
2. Tjostheim D. Statistical spatial series modelling // Advances in Applied
3. Kashyap R., Eom K. Robust image techniques with and image restoration
4. ГоряиновВ. Б., ГоряиноваЕ. Р. Непараметрическая идентификация пространственной модели авторегрессии в условиях априорной стохастической неопределенности // Автоматика и телемеханика. - 2010. - № 2. - С. 31-41.
5. Г о р я и н о в В. Б. Идентификация пространственной авторегрессии ранговыми методами // Автоматика и телемеханика. - 2011. - № 5. - С. 82-95.
6. Г о р я и н о в В. Б. Оценки наименьших модулей коэффициентов пространственной авторегрессии. // Изв. РАН. Теория и системы управления. - 2011.
7. Г о р я и н о в В. Б. М-оценки коэффициентов пространственной авторегрессии
II Автоматика и телемеханика, - 2012, - № 8, - С, 119-129,
8. Г о р я и н о в В. Б. Обобщенные М-оценки коэффициентов авторегрессионного поля // Автоматика и телемеханика, - 2012, - № 10, - С, 42-51,
9. X ь ю б е р П. Д ж, Робастность в статистике. - М.: Мир, 1984.
10. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. - М.: Мир, 1989.
11. S t о u t W. F. Almost sure convergence. - New York: Academic Press, 1974.
Статья поступила в редакцию 2.03.2012
