Свойства адаптивном робастной оценки регрессии Текст научной статьи по специальности «Математика»

однородными элементами // Прикладная математика и механика. 2012. Т. 76. Вып. 4. С. 546-549.

2 Попов И. П. Колебательные системы, состоящие только из

инертных или только упругих элементов, и возникновение в них свободных гармонических колебаний //Вестник Томского государственного университета. Математика и механика. 2013. № 1(21). С. 95-103.

3 Попов И.П., Шамарин Е.О. Свободные механические гармонические

колебания со смещенными фазами // Вестник Тихоокеанского государственного университета. 2013. № 2(29). С. 39-48.

4 Попов И.П. Механические колебательные системы, состоящие

только из однородных элементов, и возникновение в них свободных гармонических колебаний // Омский научный вестник. Приборы, машины и технологии. 2012. № 3(113). С. 177-179.

5 Попов И.П. Колебательные системы с однородными элементами //

Инженерная физика. 2013. № 3. С. 52-56.

6 Попов И.П. Реактивные элементы электрических цепей с

«неэлектрическими» параметрами //Вестник Самарского государственного технического университета. Технические науки. 2010. №4(27). С. 166-173.

7 Попов И.П. Свободные гармонические колебания в системах с

элементами различной физической природы // Вестник Костромского государственного университета им. H.A. Некрасова. 2012. Т. 18, № 4. С. 22-24.

8 Попов И.П. Об электромагнитной системе единиц //Вестник

Челябинского государственного университета. Физика. 2010. Выпуск 7. №12(193). С. 78-79.

9 Попов И. П. Функциональная связь между индуктивностью и массой,

емкостью и упругостью //Вестник Забайкальского государственного университета. 2013. № 02(93). С. 109-114.

10 Попов И.П. Зависимость реактивного сопротивления

пьезоэлектрического преобразователя от механических параметров его нагрузки //Научно-технический вестник информационных технологий, механики и оптики. 2013. № 5 (87). С. 94-98.

11 Попов И.П. Реализация частной функциональной зависимости

между индуктивностью и массой // Российский научный журнал. 2012. № 6(31). С. 300-301.

12 Попов И.П. Упруго-индуктивный осциллятор//Российский научный

журнал. 2013. № 1(32). С. 269-270.

УДК 519.233.22 О.С. Черепанов

Курганский государственный университет

Index terms: linear regression, weighted maximum likelihood method, robust, adaptive.

ВВЕДЕНИЕ

Математическая статистика предлагает большой набор робастных алгоритмов для задачи регрессии [1-3]. Как правило, предложенные алгоритмы эффективны лишь для определенных классов супермоделей и не обладают способностью адаптации к виду и степени засорения. Исключением может служить усеченная регрессия [4], однако параметр усечения зачастую подбирается эвристически. В связи с этим возникает необходимость в адаптивных алгоритмах с автоматической подстройкой к виду распределения и выбросам в исходных данных.

В работе на основе взвешенного метода максимального правдоподобия [5; 6] рассматриваются свойства адаптивных параметрических оценок линейной регрессии для нормального распределения и их сравнение с рядом робастных алгоритмов [3].

1 Постановка задачи

Рассмотрим классическую задачу одномерной регрессии:

у = г(х, ©) + £ , (1)

где x - случайная величина с известной функцией распределения G1 и плотностью g,; r - функция регрессии, определенная с точностью до параметров 0=(О1,..,О]); S- независимая от x случайная величина с известной функцией распределения G2 и плотностью g2. Требуется по двумерной выборке (x,,yi=1..N оценить

вектор параметров ©.

2 Взвешенный метод максимального правдоподобия для задачи регрессии

Оценка вектора параметров функции регрессии (1) на основе взвешенного метода максимального правдоподобия [5; 6] определяется как решение системы уравнений вида:

свойства адаптивном робастнои оценки регрессии

Аннотация. В работе рассматриваются свойства адаптивных параметрических оценок линейной регрессии, полученных на основе взвешенного метода максимального правдоподобия. Получены квадратичные погрешности адаптивной оценки для моделей выбросов Тьюки. Проведено сравнение эффективности предложенной адаптивной оценки с классическими робастными оценками линейной регрессии.

Ключевые слова: линейная регрессия, взвешенный метод максимального правдоподобия, робастный, адаптивный.

O.S. Cherepanov Kurgan State University

properties of adaptive robust regression estimation

Abstract. The paper considers the properties of adaptive linear regression parameter estimators derived from the weighted maximum likelihood method. Quadratic errors of adaptive estimation for models of Tukey outliers were obtained. The efficiency of the proposed adaptive estimation was compared with classical robust estimates of linear regression.

j (xt ,y i) = 0, j =

¿=1

д

Vj (x' y = lo§ Si (У 1x)s'l (x)S2 (УIx) дв. '

(2)

где - °Ценочная вектор-функция,

¡=(¡¡,1) - вектор параметров радикальности, определяющий робастность оценки.

При ¡=(0,0) получаем оценки максимального правдоподобия (ОМП), при ¡=(0.5,0.5) и ¡=(1,1) - радикальные оценки (РО) и оценки максимальной устойчивости (ОМУ) соответственно.

Интегральная квадратичная погрешность регрессии Я может быть записана в следующем виде [3]:

Я = 1гЕ(ггТ Н т )Н т),

(3)

(

г =

д

д

\

— г (х, ©),..,—г( X, ©)

двь.

двх

Н = (Е¥)-1,

где^р - матрица производных (д^у /(дд{).

Для независимых случайных величин х и £ квадратичную погрешность (3) принимает следующий вид:

Я = К(Е(ггт )Нт )Нт). (4)

3 Оценки параметров линейной регрессии для нормального распределения

Пусть функция регрессии имеет линейный вид

у=в0+в1х+е, где х - нормальная случайная величина

Ы(/и, о[)• £ - нормальная случайная величина Ы(0,а2)-

Без потери общности положим, что ц=0-

Оценочные уравнения (2) запишутся в виде:

£ = у-г(х,@н),

где д, и д2 - плотности нормального распределения. Оценку параметров линейной регрессии можно представить в следующем виде:

С*/ )ёг ) = 0 ,

/=1

(5)

N

i

¿=1

Для задачи линейной регрессии с нормальным распределением х и е матрицы , гргр?' и можно записать в виде:

• • т IX =

1 X

X X2

л у

=

' Ш22 2 (*) Ш22 2 (*) '

ХЕ2ё? (х)^'2 {£) Х2£28^ (Х)^2'2 (/?).

/

1 —-1

2 2

V °2 У

1

X

X X2,

А у

4 Исследование эффективности оценки регрессии ВММП

Исследуем эффективность оценки (5) в зависимости от параметров радикальности при наличии и отсутствии выбросов модели Тьюки вида:

- ё(х,е)=ё1(х)+ё2(£) (без выбросов), (6)

- ё(х,е) =ё](х)((1 -р)ё2(е) + Рё2(е -а0)

(асимметричные выбросы по у), (7)

- ё(х,е)=ё1(х)((1-р)ё2(е)+рё2(е /Ы>

(симметричные выбросы по у), (8)

-ё(х,е)= (1-р)ё1(х)ё2(е)+ +рё1((х- а2)/э2)ё2((£ - «д^Ад) (асимметричные выбросы по х). (9)

Таблица 1 - Значения параметров моделей

Значения параметров моделей представлены в таблице 1.

Относительная эффективность оценки определялась как

5 =

Я + В

где Я-квадратичная погрешность (3), В - интегральный квадрат смещения функции регрессии. Введем следующие обозначения: ОМП - оценка максимального правдоподобия (1 =

/г=0);

РО - радикальная оценка (1 = 1= 0.5); ОМУ - оценка максимальной устойчивости 1 = 1= 1); АО - адаптивная оценка, значения параметров радикальности которой минимизируют интегральную вариацию.

4.1 Квадратичная погрешность линейной регрессии без выбросов

При отсутствии выбросов матрицы , JEГ^JAJ>Г , рр и Н можно записать в следующем виде:

Еггт

'1 0 Л 0

ЕЧ>^Т =

ЕЧ =

т,)2'' (л/2^о-2)2'' (2/, +1)1/2(2 /2 +1)3'

1 0

„ а,2

(л/^стО'Ч^о-гУЧ/, +1)1/2(/2 +1)3

Я

- (л/2^7, /' (Л/2яа2 (/, +1)3/2 (/2 +1):

3/2

О",

2/,+1у

0

Л. /,+1

о

/1+1 0 1

(10) . (11)

.(12) (13)

Согласно (4) и (10) - (13) квадратичная погрешность примет вид:

_^(/1+1)(/2+1)3(/12+4/1+2)

Я =

(21, +1)3/2(2 /2 + 1)3/2

Значения эффективностей рассматриваемых оценок в отсутствии выбросов представлены в таблице 2.

4.2 Квадратичная погрешность линейной регрессии с выбросами по у

При наличии выбросов по у матрицы ]йдхт . , и Н можно записать в следующем виде:

(П

Егг =

0

чу

(14)

Параметр Функция регрессии о2 а, а2 а3 Р

Значение у=х+3 1 0,5 5 5 -5 1,5 0,5 0,5 0,1

Таблица 2 - Эффективность оценок ВММП на распределении (5)

Параметр радикальности ОМП РО ОМУ АО

Вариация 0,5 0,67 1,04 0,5

Эффективность 1 0,74 0,48 1

ЕЧУ =

*2 (1 - Р)

т (2/2 +1)3/2

р ехр

+

/2 а

(2/2^7+1)

2

*2 +-

а

2/2 ^ + Ъ

2/2 ^2 +1

Г1

(72^ (л/2Лст2 )2'2 (2/! +1)1/2

о ^ о *12

2/1 +1

(15)

с

1 - р

р ехр

а

: V

2(/2+1) 2

2 J

а

(/2^22 +1) 2

-1

2

ЕЯ = -

(/2 + 1)3/2 (/2 ^ + 1)3/2

(л/2По" У' (42Ла 2 У» (/ +1)1/2

о

/ + 1

(16)

Н = -

(4Ъпох У1 (4Ъпо2 У2 (/ +1)

1 - Р (/2 +1)3/2

(17)

^2 =■

Согласно (4) и (14) - (17) квадратичная погрешность примет вид:

(/, + IX/,2 + 4/, + 2)

Я =

(2/2 +1)

3/2

Г

1 - Р

р ехр

/

а

2

/

а

2 ^ 2

(/2 + 1)

3/2

+

1 —

2(/2< + 1) ^2 Д (/2< + 1) ^

2 У

2 3/2

(/2 < + 1)

Для симметричных выбросов по у квадратичная погрешность будет иметь вид:

(

(/Х +1)(/Х2 + 4/, + 2)

Л =-

^2 (1 - р + Р"х

(2/2 +1)3/2 (2/2 ^22 +1)

Л

(2/2 +1)

3/2

1 - Р

(/2 +1)3/2 ■ (/2+1)3/2

+

Р

Значения эффективностей оценок в условиях симметричного засорения по у представлены в таблице 3. Таблица 3 - Эффективность оценок ВММП на распределении (6)

Параметр радикальности ОМП РО ОМУ АО

Вариация 0,9 0,79 1,20 0,64

Эффективность 0,71 0,81 0,53 1

Для асимметричных выбросов по у квадратичная погрешность запишется в виде:

а 22 (/, + 1)(/2 + I)3 (/,2 + 4/, + 2)

Я =■

(1 - р) + р ехр

'2 а]

V (2/2 + 1) а2 у

а 2 ^ 1 — а 2 (2/2 + 1) у у

(2/, + 1)3/2 (2/2 + 1)3

(1 - р) + р ехр

/2 а1 ^ V 2(/2 + 1) а22 у

' а 2 ^

1 — '2 а1

V '2 + 1 а22 уу

Значения эффективностей оценок в условиях асимметричного засорения по у представлены в таблице 4. Таблица 4 - Эффективность оценок ВММП на распределении (7)

Параметр радикальности ОМП РО ОМУ АО

Вариация 5,75 0,79 1,15 0,57

Эффективность 0,10 0,72 0,49 1

4.3 Квадратичная погрешность линейной регрессии с выбросами по х

В рамках модели (9) квадратичную погрешность можно представить в следующем виде:

Я = (1 - р)(г((Ехггт )Н(^ЯЯт )Нт) + р(г((Е2ггт )Н(Е2ЯЯт )Нт ). При наличии выбросов по х матрицы т, т , и Н можно записать в следующем виде:

Г1 0 ^

Е1ггт =

V0 У

Е 2 гг т =

Г1

22

\а2 ^2 + а2 У

Е ТТ1 =

(42Лах )2г> (42~Па2)21' (2/ + 1)1/2 (2/2 + 1)3/2

О

О

О ^

2

2/2 +1 у

+-

а.

Е2 ЯЯ1 =

2/2 w2 +1,

^ ( ехр

а-,

а.

2

(2/^2 + 1) ^ (2/2^22 + 1) ^

(42жа!)24 (л/2Лст 2)2'2 (2/,^,2 +1)3/2 (2/2 ^22 +1)

3/2

2/,< +1

5Ч2 +-

2/Х +1,

£Я =

С ап а12 ^ ^а21 а 22 у

«11 =-

(72^У1 (42Пст2)'* ^(/ + !)1/2 (4 +1)

1 - р

\3/2

^ ехр

а.

а

2(/1^12 +1) а? 2(1 2^22 +1) ст2

2 У

(/1 < + 1)1/2 (/2^ + 1)

3/2

' а ^

/2 Щ + 1

V 2 У

2 ^ -1

(

а 2 р ехр

а

а.

а12 Я21

2(Щ2 +1) ст2 2(/2^22 +1) ст2

2 У

" (42Лст1 )* (72^ у» (/^2 +1)3/2 (/2+1)3/2

/2 ^ + 1

' а ^

V СТ 2 У

2 ^ - 1

a22

1 - P

(42Лах f (422па2 )lj t (li +1)3/2 (l2 +1)

3/2

p exp

ll

а

2(llwl2 +1) a2

l2 а3л

2(l2W22 +1) a2

2 У

(liWi2 +1)3/2 (l2 W22 +1)

2

3/2

Г а V

h W22 +1

V a 2 y

-1

W2 +

а

ai2 (liWi2 +1)

= , 1

О 2

Ввиду громоздкости получаемых выражений, конечная запись квадратичной погрешности для асимметричных выбросов по х не приводится.

Значения эффективностей оценок в условиях модели (9) представлены в таблице 5.

Таблица 5 - Эффективность оценок BMMÏ на распределении (8)

Параметр радикальности ОМП PO OMy AO

Вариация 141,03 0,75 1,15 0,58

Эффективность 0,004 0,78 0,51 1

ЗАКЛЮЧЕНИЕ

В работе получена квадратичная погрешность оценки линейной регрессии при нормальном распределении случайных величин для разных моделей выбросов. Проведено исследование эффективности адаптивных оценок линейной регрессии взвешенным методом максимального правдоподобия для разных значений параметров радикальности. По результатам исследования можно сделать следующие выводы. Оценка метода наименьших квадратов (/1=0,/2=0) обладает низкой эффективностью при наличии выбросов (см. таблицы 2-5). Робастная оценка максимальной устойчивости [3] (/1=1, /2=1) слишком пессимистична, в результате чего проигрывает по эффективности в два раза адаптивной оценке. Адаптивная оценка за счет подстройки к степени засорения превосходит ОМП РО и ОМУ на всех рассмотренных моделях выбросов (см. таблицы 2-5).

Список литературы

1 Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в

статистике. М.: Мир, 1989. 512 с.

2 Хьюбер П. Робастность в статистике. М.: Мир, 1984. 303 с.

3 Шурыгин А. М. Прикладная статистика. Робастность. Оценивание.

Прогноз. М.: Финансы и статистика, 2000. 223 с.

4 Rousseeuw P.J., Leroy A.M. Robust Regression and Outlier Detection,

John Wiley New York, 1987.

5 Симахин В.А. Непараметрическая статистика. ЧII. Теория оценок.

Курган: Изд-во КГУ, 2004. 163 с.

6 Симахин В.А. Робастные непараметрические оценки. LAMBERT

Academic Publishing, Germany 2011. 292 с.

УДК 62-503.56

И.А. Иванова, Д.А. Шестов, А.В. Ваземиллер,

H.Г. Тихомиров

Курганский государственный университет

оптимизация управления стохастическими объектами

Аннотация. В статье рассмотрены вопросы оптимизации работы стохастических систем. Получено уравнение оптимального управления.

Ключевые слова: стохастические системы, оптимальное управление.

I.A. Ivanova, D.A. Shestov, A.V. Vazemiller, N.G. Tikhomirov

Kurgan State University

optimization of management by stochastic objects

Abstract. The article addresses the problem of optimization of stochastic systems. The equation of optimal control has been obtained.

Index terms: stochastic systems, optimal control.

На объекты, работающие в режиме реального времени, действуют различные случайные возмущения, начальные фазовые координаты точно не известны, текущие фазовые координаты не измеряются. Существующая теория статистически оптимальных систем автоматического управления в значительном числе случаев не позволяет провести синтез стохастического оптимального управления. Рассмотрим случай, когда информация о векторе обратной связи поступает на вход системы управления в некоторые дискретные моменты времени.

Необходимо синтезировать оптимальную систему слежения угла поворота выходного вала электродвигателя за входным полезным сигналом вида

х0 t2/2,

где x0, x2, x3 — неизвестные, но постоянные в каждой реализации коэффициенты с заданной априорной корреляционной матрицей.

На вход стохастической системы управления (рисунок 1) поступает £ (t) — разность между суммой полезного сигнала и нестационарного «белого шума» £(t) и

текущим углом у (t), который является обратной связью в следящем устройстве. Корреляционная функция шума £(t) имеет вид