М-оценки коэффициентов 2D-Авторегрессии с необязательно выпуклой функцией потерь Текст научной статьи по специальности «Математика»

электронное научно-техническое издание

НАУКА и ОБРАЗОВАНИЕ

Эл № ФС77 - 30569. Государственная регистрация №0421100025. ISSN 1994-0408

М-оценки коэффициентов 2Л-авторегрессии с необязательно выпуклой функцией потерь

77-30569/246206

# 10, октябрь 2011

В. Б. Горяинов*, Е. Р. Горяинова**

УДК 519.234.3

*МГТУ им. Н.Э. Баумана **Высшая школа экономики mathmod@bmstu.ru

1. Введение

Во многих областях науки и техники, в частности в теории распознавания образов и обработки изображений [1] и в эконометрике [2] для решения ряда задач фильтрации и прогноза используется модель 2Б-авторегрессии

Ху = аюХг_ц + 001X^-1 + ацХг_и_1 + еу, г,] = 0, ±1, ±2,..., (1)

в которой неизвестные авторегрессионные коэффициенты а = (а10,а01,а11)т подлежат оцениванию по наблюдениям авторегрессионного поля Ху на прямоугольной решетке г = 0,1,... ,т, ] =0,1,... ,п. Если обновляющее (инновационное) поле е у не является гауссовским и/или поле Ху наблюдается с ошибками, то наиболее популярные оценки наименьших квадратов параметра а [3] теряют свою эффективность. В этом случае целесообразно использовать более робастные процедуры [4-6]. В частности, М-оценка с функцией потерь Хью-бера частично наследует преимущества как оценок наименьших квадратов, так и оценок наименьших модулей [7]. В [7] для М-оценок с выпуклой функцией потерь (к которым относится функция Хьюбера) найдено асимптотическое распределение, оказавшееся нормальным, что позволило строить доверительные интервалы для коэффициентов а уравнения (1) и проверять различные статистические гипотезы об а. Более робастные оценки получаются, если вместо

неограниченной функции Хьюбера взять подходящую ограниченную функцию, например, бивес Тьюки. Однако эта функция не является выпуклой.

В настоящей работе доказана асимптотическая нормальность М-оценок коэффициентов а уравнения (1) с необязательно выпуклой функцией потерь. Методом Монте-Карло проведено сравнение М-оценок с функциями потерь Хьюбера и Тьюки с оценками наименьших квадратов в предположении о наблюдении поля Ху со случайными аддитивными ошибками.

2. Постановка задачи и формулировка основных результатов

Рассмотрим поле (1), где а = (аю, а01, ац) — неизвестный вектор параметров, а еij — независимые одинаково распределенные случайные величины с функцией распределения ^(х) и плотностью /(х). Будем предполагать поле (1) стационарным. Как показано в [3], достаточным условием этого является отсутствие корней уравнения

1 - аю^1 - ао1 ¿2 - = 0

внутри единичного полидиска

Ы< 1, Ы< 1,

что равносильно выполнению условий (см. [8])

|ам| < 1 для любых (р,д) еХ = {(1, 0), (0,1), (1,1)},

(1 + а2о - а21 - а21)2 - 4(аю + ао1ап)2 > 0,

1 - а01 > |аю + ао1аи|.

Обозначим через а = (а10, а01, а11 )т М -оценку параметра а, построенную по наблюдениям X = {Ху}, г = 0,..., т, ] = 0,..., п. А именно, а — точка минимума функции

т п

^(а) = ^^^^ - а10Х1-1,] - а01 Xi,j-1 - а11Х^-1у-1). (2)

В формуле (2) функция р может быть достаточно произвольной. Так, если р(х) = х2, то М-оценки превращаются в оценки наименьших квадратов, если

р(х) = |х|, то М-оценки совпадают с оценками наименьших модулей, а если р(х) = — , то М-оценки становятся оценками максимального правдоподобия. В [7] рассматривалась функция Хьюбера [9,10]

Pk (x) = , , l2

х2,если |x| < к, 2к|х| — к2,если |x| > к,

где к — неотрицательный параметр. Эта функция является квадратичной в окрестности (—к, к) начала координат и растет линейно на бесконечности. Интуитивно ясно, что М-оценки с такой функцией должны наследовать лучшие свойства оценок наименьших квадратов и наименьших модулей. При к ^ ж М-оценки с р-функцией Хьюбера переходят в оценки наименьших квадратов, а при к ^ 0 — в оценки наименьших модулей.

Теорема. Пусть а — минимум функции (2), где Xij — стационарное поле, описываемое уравнением (1). Пусть также для ф(х) = р'(x)

Е[ФЫ] = 0, (3)

Б[^2(б11)] < ж, (4)

Е[ф'(еп)] > 0, (5)

а ф"(х) ограничена на R.

Тогда при m,n ^ ж случайный вектор л/mn(a — а0) асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей

ЕЫ>2Ы1 B—1

Е[^п)]2 '

где B — ковариационная матрица вектора Z11 = (X01, X10, X00).

Доказательство. Если а — минимум функции L(a) в (2), то а является решением системы уравнений

m n

L(a) = ЕЕ^ (Xij — Zjа) Zij, (6)

i=1 j=1

где Zij = (Xi—1,j ,Xij—1,Xi—1j—1)T, а T — символ операции транспонирования.

Идея доказательства теоремы состоит в приближении функции L(a) ее линейной частью L(a), доказательства близости а и корня а уравнения L(a) = 0 и установлении асимптотической нормальности а.

Установим на парах индексов (i, j) отношение порядка, полагая (i, j) < (k, l), если: 1) j < I или 2) j = I и i < k. Упорядочим массивы еj, Xij, Zj, i = 0,1, 2,... ,m, j = 0,1, 2,... ,n только что введенным отношением порядка на парах (i,j) их индексов. Обозначим через Aij а-алгебру, порожденную случайными величинами {ek1, (k,1) < (i,j)}. Массив а-алгебр Aij, i = 0,1, 2,..., m, j = 0,1, 2,... , n упорядочим так же как массивы eij, Xij и Zij.

Заметим, что ковариационная матрица E(Zij Zj) вектора Zij в силу стационарности поля Xij не зависит от i и j и совпадает с матрицей B.

Так как eij не зависит от Aij, а Zij измерим относительно Aij, то

Е[^(еу- )Zij Zij] = E(E[^/(eij )Zij Zij |Aj ]) =

= E(Zij Zij Ety/fe, )|Aij ]) = B E[^(en)]).

Случайное поле ^/(eij )Zij Zj является стационарным и эргодическим как функция эргодических полей eij и Xij [11, с. 170] и по закону больших чисел для эргодических полей [11, с. 181]

m n

— ЕЕ^'(eij)ZijZij - E[^'(en)ZijZij] = BE[^(en)]. (7) mn

i=1 j=1

Так как B — ковариационная матрица, то она положительно определена. Поэтому существует невырожденная симметричная положительно определенная матрица V размера 3 х 3 такая, что B = V2. Сделаем замену переменных

„ „0 V-1a

а = л/mnV(a — a ), a = a +

л/шп

Тогда = л/шп V(а — а0) является решением уравнения Ф(а) = 0, где

1 ( ^ V— ^ \

Ф(а) =--——Ч1 ,_V—^ V ф\ ег? — 13_ .

Обозначим через решение уравнения Ф(а) = 0, где

1 т п

Ф(а) = а — ^^—,_V—1 )^7. (8)

По центральной предельной теореме для мартингал-разностей [12, р. 171] а асимптотически нормальна с математическим ожиданием

т п

1 -

Еа = —,_V—1 V V Е(ЕЩец)ZijА])

V i=1 . = 1

тп

1 - —1

Е[//(бП)]^—„ i=1

тп

V-1 ЕЕ Е(2„Е[/(.у)]) = 0

и ковариационной матрицей

2

(б, )])2

(ьз )<(к,1)

2

= '„,„(Е[///(. )])2 Е Е(Е[^(6,3 )^(бк! Ж(V— ^Ы )Т\А„ ]) +

тп

+ '»т(Е[///(бИ)])2 Е Е Е(Е[/2(б,^—^(V—%Л%]) =

i—1 .—1

2

———— £ )Е[/(бк1 )V—%(V—А]) +

V [<г I. с.-,з)<ск!г)

тп

+ —«(ЕИб11)])2 Е Е Е(/2(б«)Е^—%(V—%)Г^]) =

i—1 3—1

2

= —„(ЕЙ.,,)]). Е ЕК'('-('»)1'-1а')Г] +

+Е Е Е[,/2(<")№"—'•

где I — единичная матрица.

Покажем, что а—а = ор(1) приш,„ ^ то, откуда будет следовать асимптотическая нормальность а и, стало быть а. Разлагая Ф(а) по формуле Тейлора, получим

Ф(а) — Ф(а) =

т п / гуТтг — 1

1 1 / ZД• V 1а I

V—1ЕЕ— Н^' — а +

Е[//(бИ)^^/ш„ 13=1 \ л/ш„

т п

1 — -1

тп

V-1 ЕЕ^)^ТV-1 а^ - а +

Е[^'(еп)]тп' ^ 3=1 г '

1 т п / ^т у—1а\

+ ^-^—ггV—11 V Vец — тг7 ^,_ 1 V—1а|2^г? +

2(тп)3/2Е[^'(еп)] ^^ \ 3 3 у 1 3 1 3

+ Ор(1), 0 < т < 1.

Учитывая (7), получим, что

тп

1 \гуТлг-1

ГГ(/ „ — V—^ '(ег7 )^Т V—1а^г7 — а = ор(1).

г=1 3=1

Из ограниченности ^"(ж) и положительной определенности V—2 следует, что

Е

V—1££ е.з — ТзV—1«|2Д

Е[^'(е11)](шп)3/2 V 13 13 ^тп

<

< Сош^а|2 ( тах

л/тп

тп

V—1 ^ЕЕ Е[2ТV]= Ор(1)

'=1 3=1

равномерно для любого а из произвольного компактного множества в К. Поэтому

Ф(а) — Ф(а) = ор(1) при т,п ^ то. Из независимости е 3 от и от ек1 и Xпри (к, 1) < (г, ^) следует, что

тп

Е|Ф(а) — а|2 = Е[|а |2] = E|V—1 ЕЕ ^ |2 =

'=1 3=1

= Е[|^(еп|2]Е[^11—2^Т1] < то.

Поэтому можно выбрать постоянную К таким образом, чтобы Р{| Ф(а) — а |2 < К} была сколь угодно большой. Так как

|Ф(а) — а| < |Ф(а) — Ф(а)| + |Ф(а) — а| < Сош^ для всех а е [—К, К],

1

то по теореме Брауэра [13, с. 506] существует неподвижная точка а у функции ^(а) = Ф(а) - а, т.е. Ф(а) = 0, причем |а| < К с вероятностью сколь угодно близкой к 1. Отсюда и из (8) следует, что

|а - й| = |ф(а)| = |Ф(а) - Ф(а)| ^ 0

по вероятности.

Таким образом а асимптотически нормальна с математическим ожиданием

Е[^2(ец)]

а и ковариационной матрицей (Е[^/(б111)])21 , а а асимптотически нормальна с математическим ожиданием а и ковариационной матрицей р^/611^ В-1. Теорема

доказана.

Пример.

При помощи пакета МЛТЬЛВ были смоделированы N = 500 матриц Xij, г = 0,1, 2,..., т, ] =0,1, 2,..., п размера т = п = 30 значений поля (1) с а = (0.40, -0.50,0.90). Случайные величины еу в (1) предполагались гаус-совскими с математическим ожиданием Е[еу ] =0 и дисперсией D[бij] = 1. Каждое сотое значение Ху искажалось ошибкой Уу — гауссовской случайной величиной с Е[уу] =0 и дисперсией ] = 81. Таким образом, наблюдалось поле

Xij + % ,

где бернуллиевская случайная величина пу принимала значения 1 и 0 с вероятностями 7 = 0.01 и 1 - 7 = 0.99 соответственно. Случайные величины еу, Уу и пу, г = 0,1, 2,..., т, ^ =0,1, 2,..., п, предполагались независимыми.

Средние арифметические по N = 500 реализациям оценок наименьших квадратов, М-оценок Хьюбера и М-оценок Тьюки параметра а = (0.40, -0.50, 0.90) равны соответственно (0.2619, -0.4425,0.7144), (0.3413, -0.4755, 0.8367) и (0.3967, -0.4980,0.8959).

Средние квадратические отклонения по N = 500 реализациям оценок наименьших квадратов, М-оценок Хьюбера и М-оценок Тьюки параметра а = (0.40, -0.50, 0.90) равны соответственно (0.0645,0.0408,0.0866), (0.0342,0.0225,0.0351) и (0.0273,0.0234,0.0278).

Таким образом, результаты моделирования свидетельствуют о преимуществе М-оценок с функцией потерь Тьюки над М-оценками с функцией потерь Хьюбера и в особенности над оценками наименьших квадратов.

3. Заключение

М-оценки параметров 2^-авторегрессионной модели являются состоятельными и асимптотически нормальными. Они значительно превосходят в эффективности оценки наименьших квадратов и заметно превосходят в эффективности М-оценки в достаточно типичном случае, когда наблюдения авторегрессионного поля являются нормальными и измеряются с достаточно редкими ошибками.

Список литературы

1. Mast F., Jancke L. (Eds.) Spatial Processing in Navigation, Imagery and Perception. New York: Springer, 2007. 440 p.

2. LeSage J. P., Pace R.K. Introduction to Spatial Econometrics. Boca Raton: Taylor & Francis, 2009. 273 p.

3. Tjostheim D. Statistical Spatial Series Modelling //Advances in Applied Probability. 1978. V. 10. № 1. P. 130-154.

4. Горяинов В. Б., Горяинова Е. Р. Непараметрическая идентификация пространственной модели авторегрессии в условиях априорной стохастической неопределенности //Автоматика и телемеханика. 2010. № 2. С. 31-41.

5. Горяинов В. Б. Идентификация пространственной авторегрессии ранговыми методами. // Автоматика и телемеханика. 2011. № 5. С. 82-95.

6. Горяинов В. Б. Оценки наименьших модулей коэффициентов пространственной авторегрессии. // Изв.РАН. Теория и системы управления. 2011. № 4. С. 58-65.

7. Горяинов В. Б. М-оценки коэффициентов пространственной авторегрессии. // Автоматика и телемеханика. 2012. В печати.

8. Basu S., Reinsel G. C. Properties of the Spatial Unilateral First-Order ARMA Model //Advances in Applied Probability. 1993. V. 25. № 3. P. 631-648.

9. Хьюбер П.Дж. Робастность в статистике. М.: Мир, 1984. 304 с.

10. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния.- М.: Мир, 1989. 512 с.

11. Stout W. F. Almost Sure Convergence. New York: Academic Press, 1974. 381 P.

12. Pollard D. Convergence of Stochastic Processes. New York: Springer-Verlag, 1984. 223 p.

13. Данфорд H., Шварц Дж. Линейные операторы. I. Общая теория. М.: ИЛ, 1962. 896 с.

electronic scientific and t echnical periodical

SCIENCE and EDUCATION

El № FS77 - 30569. №0421100025. ISSN 1994-0408

M-estimates for 2D-autoregression coefficients with unessentially convex loss function

77-30569/246206

# 10, October 2011

V. B. Goryainov*, E. R. Goryainova**

*Bauman Moscow State Technical University **Higher School of Economics mathmod@bmstu.ru

For the process of 2D-autoregression of order (1, 1), M-estimates with unessentially convex loss function were found to be asymptotically normal. Using computer simulation methods, the stability of these estimations to observational overshoots was studied.

References

1. Mast F., Jancke L. (Eds.) Spatial Processing in Navigation, Imagery and Perception. New York: Springer, 2007. 440 p.

2. LeSage J. P., Pace R.K. Introduction to Spatial Econometrics. Boca Raton: Taylor & Francis, 2009. 273 p.

3. Tjostheim D. Statistical Spatial Series Modelling //Advances in Applied Probability. 1978. V. 10. № 1. P. 130-154.

4. Neparametricheskaya identifikaciya prostranstvennoy modeli avtoregressii v usloviyah apriornoy stohasticheskoy neopredelennosti. //Avtomatika I telemehanika. 2010. № 2. C.31-41.

5. ropauHOB B. E. Iidentifikaciya prostranstvennoy modeli avtoregressii rangovimi metodami. //Avtomatika I telemehanika//. 2011. № 5. C. 82-95.

6. ropauHOB B. E. Ocenki naimenshih moduley koefficientov prostranstvennoy avtoregressii//IzvestiaRAN. Teoria I sistemy upravleniya. 2011. №4. C. 58-65.

7. ropauHOB B. E. M-ocenki koefficientov prostranstvennoy avtoregressii // Avtomatika I telemehanika. 2012. (V pechati).

8. Basu S., Reinsel G. C. Properties of the Spatial Unilateral First-Order ARMA Model //Advances in Applied Probability. 1993. V. 25. № 3. P. 631-648.

9. Properties of the Spatial Unilateral First-Order ARMA Model //Advances in Applied Probability. 1993. V. 25. № 3. P. 631-648.

10. Hampel F., Ronchetti E., Rausseu P.,Shtael V. Robastnost v statistike. Podhod na osnove funkcii vliania. M.: Mir, 1989. 512 s.

11. Stout W. F. Almost Sure Convergence. New York: Academic Press, 1974. 381 p.

12. Pollard D. Convergence of Stochastic Processes. New York: Springer-Verlag, 1984. 223 p.

13. Danford N., Schvarts G. Lineynie operatori. Obchshaya teoria. M.: IL, 1962. 896 s.