О непараметрической оценке нестационарной функции регрессии по наблюдениям Текст научной статьи по специальности «Математика»

УДК 62.501

А. В. Медведев, А. В. Фаустов

О НЕПАРАМЕТРИЧЕСКОЙ ОЦЕНКЕ НЕСТАЦИОНАРНОЙ ФУНКЦИИ РЕГРЕССИИ ПО НАБЛЮДЕНИЯМ

Рассматривается проблема восстановления функции регрессии по наблюдениям со случайными ошибками. Предлагаются непараметрические оценки нестационарной функции регрессии. Приводятся результаты статистического моделирования непараметрических алгоритмов. Рассматривается задача моделирования статических многомерных нестационарных систем с запаздыванием.

Ключевые слова: непараметрические оценки, дискретно-непрерывные процессы, рессия, идентификация, моделирование.

нестационарность, рег-

В многочисленных приложениях часто возникает необходимость в восстановлении функции регрессии М{х\и} по наблюдениям случайных величин (и, х), I = 1,5, где 5 - объем выборки наблюдений. В классе непараметрических оценок принята статистика, которая будет представлена далее [1]. Предполагается, что плотность вероятности р(и), У и, и е ЗДи), р(и) > 0 неизвестна. При этом предполагается, что х(и) не меняется с течением времени. Поскольку при моделировании дискретно-непрерывных процессов широко используются регрессионные модели, то существенное значение имеет факт дрейфа во времени характеристик исследуемого объекта. Среди многих факторов, влияющих на последнее, отметим только безусловное старение оборудования, других технических средств, где и протекает интересующий нас процесс. Однако укажем кратко и на другие причины, влияющие на дрейф характеристики процесса, а также отметим некоторые его проявления при моделировании:

- наличие неизвестных переменных либо переменных, не поддающихся измерению (естественно, что для успешного решения задачи идентификации с присутствием неконтролируемых входных переменных процесса их значения должны меняться медленно; в противном случае, и тем более, когда значения таких переменных случайны и приводят к осциллирующему процессу, ожидать хороших моделей не приходится);

- изменение параметров модели объекта во времени (речь в данном случае идет не об изменении параметров модели, как это происходит в ряде рекуррентных алгоритмов идентификации, когда наблюдается сходимость параметров некоторым оценкам, а о дрейфе параметров, связанных именно с изменчивостью объекта идентификации);

- изменение структуры объекта во времени (редко встречающаяся на практике ситуация, тем не менее, интересная с точки зрения теории, побуждающая к построению более универсальных, адаптивных алгоритмов идентификации).

Приведем примеры изменения характеристики нестационарного процесса. Из соображений простоты рассмотрим одномерные статические объекты (рис. 1). На рис. 1, а и 1, в представлены истинные характеристики стационарного и нестационарного объекта. Характеристика последнего изменилась за некоторый

интервал времени [/ь t2]. Точки выборки, полученные с обоих объектов, показаны на рис. 1, б и 1, г. Объемы выборки наблюдений одинаковы, на выход объекта наложена одинаковая аддитивная центрированная помеха.

На рис. 1 приняты следующие обозначения: и -входная переменная процесса; х - выходная переменная. Приведенная иллюстрация, помимо разъяснения, о каких процессах идет речь, подводит к следующей задаче: необходимо определить, имеем ли мы дело со стационарным процессом и присутствуют ли помехи в каналах измерений, или имеющаяся выборка отражает поведение нестационарного процесса, а не просто несет в себе искажения, вносимые помехами измерений.

Далее рассмотрим непараметрические оценки функции регрессии по наблюдениям при неизвестном дрейфе изучаемого процесса.

Непараметрические оценки функции регрессии. Непараметрическая оценка функции регрессии

по наблюдениям с ошибками {x,, и

(1). и(2)

,,(m)

},

I = 1,5, где т - размерность вектора входных переменных, имеет вид [1; 2]

= ХX,

Пф

j =1

и ) =

m /

/s m

X П ф

,=1 j=1

(1)

где финитная колоколообразная функция Ф( ) удовлетворяют некоторым условиям сходимости [2]:

lim—ф((и - и ) / с ) = 5(и - и ),

s^w С Cs

— J ф((и - ut) / cs) du = 1, (2)

Cs Q(u)

где 5(u-u,) - дельта-функция Дирака. Параметр размытости cs удовлетворяет следующим условиям сходимости [1; 2]:

cs > 0, lim cs = 0, lim s • csm = w . (3)

s^w s^w

Асимптотические свойства непараметрической оценки (1) достаточно хорошо исследованы, в частности, сходимость оценки xs доказана в среднеквадратичном и почти наверное [3; 4]. Однако эта непараметрическая оценка (1) непригодна для восстановления регрессионных характеристик нестационарного объекта.

и - и

и - и

с

с

S

л

Поведение процесса

? * . ‘ **•' V*:- ♦ Д«*?' ’Ъ'Х,- *

*> "V*:!

----Поведение процесса в момент времени 12 в

----Поведение процесса В момент времени 12

2 4 6

+ + + Точки выборки

Рис. 1

а

г

Нестационарная непараметрическая оценка функции регрессии. Пусть истинная характеристика процесса изменяется во времени в пространстве входных и выходных переменных заранее непредвиденным образом. В этом случае использование всей выборки наблюдений, проводимых в оценке (1), будет искажать оценку функции регрессии, и обусловлено это будет тем, что наблюдения, ранее полученные на объекте, не отражают свойств объекта в настоящий момент времени. Естественно считать, что «старая» информация в виде элементов выборки {х„ и(1)„ и(2)„ ..., и(т)„ 1=1, 2,...} должна использоваться с меньшим весом.

Идея непараметрического алгоритма, учитывающего временной дрейф характеристик исследуемого процесса, состоит в том, что «старая» информация в непараметрической оценке функции регрессии получает меньший вес [2].

Для восстановления функции регрессии в нестационарных условиях х(и, Г) предлагается ввести в непараметрическую оценку функции регрессии (1) некоторую функцию «памяти», убывающую с увеличением аргумента р = (а—), где i - дискретное время поступления информации, I = 1, 2, ... а; а - текущее время [2]. Тогда непараметрическая оценка нестационарной функции регрессии по наблюдениям (х, и) будет иметь вид

Пф

І=1

р(5 - І)

ХПФ

і=1 1=1

(4)

р(5 - І)

2) V/', 1 є [1, 5], і > І ^ р(5 - і) > р(5 - І);

3) і = 1 ^ р(5 - і) = р(5 -1) > 0 .

Приведем варианты вида функции памяти р(5 - і):

р(5 - і, а1, а2) =

—(5 — і) + а1 |(5 - і) - с\ +

-0,5 + 0,5

а

0,5 •а1 а3 =---------- + 0,5,

(5)

(6)

где параметр а1 е (0, а) определяет положение точки перегиба функции; параметр а2 е (0, да) определяет «крутизну» функции; параметр а3 нормирует функцию «памяти» на единицу. Поведение функции (5) (функции «памяти») при различных значениях параметров а1 и а2 приведено на рис. 2.

Также функция «памяти» может быть кусочнопостоянной, приводя к скользящему аналогу непараметрической оценки (1).

Введем показатель изменчивости 5(^, ^) характеристики исследуемого процесса в следующем виде:

8(/1, ^) = | | х(и, t1) - х(и, t2)| du .

(7)

□ (и )

где р = (&—^ - функция «памяти», удовлетворяющая следующим свойствам:

1) i = а ^ р(а - /) = р(0) = 1;

Обозначим дискретность измерения переменных (х, и) через М. Величина Дt, естественно, будет зависеть от показателя изменчивости 5(^, ^), где tl < ^. Можно считать, что при медленно меняющейся во времени характеристике процесса, т. е. при малых значениях 5(^, ^), дискретность измерений Дt «вход-ных-выходных» переменных процесса (х, и) больше, чем в случае больших значений 5(^, ^). В последнем случае параметр Дt - дискретность измерения «вход-ных-выходных» переменных, следует уменьшить. Анализ этого вопроса требует дополнительных исследований имеющейся выборки наблюдений {х„ и(1)„

„(2).

..., и(т)і,I = 1, 2, ...}.

ОС

3

с

и - и

с

/КО

0.2

• \ P(-) 0.8 0.6 0.4 0.2 1 1 1 1 i Д ■- V1' - ■A \ \ \ ■ - . ^

0 20 40 60 80 S-i 0 20 40 60 80 S—l

—pis—i^JS) p(i-г.10.0) — p(s-i. 1.50) — p(s -i.10.50)

.... p(s-i,5.0) -. p(s-i,20.0) .. .. p(s -i.5.50) - pis -i.20.50)

Рис. 2

Другой подход к попытке оценить изменчивость исследуемого процесса состоит в выявлении подобластей в пространстве входных и выходных переменных, которые могут отражать нестационарность процесса. Он основан на применении условной дисперсии D{x|u} = М{х2|и} - [М{х|и}]2 [5]. Условная дисперсия выходной переменной может быть оценена следующей непараметрической статистикой:

Ds (x | u) = -

Пф

j=i

ХПФ

i=1 j=l

Пф

j=1

(8)

указание учителя о принадлежности £ к классу У или У2. В этом случае модификация непараметрического алгоритма классификации, учитывающая изменчивость классов, имеет вид

Хч

Us (vi,..., vm) =-

Пф

j=1

p(s - i)

ХПф

i=1 j=1

-. (9)

p(s - i)

Управление. Аналогичную предбудущей модификацию можно предложить и для непараметрического алгоритма управления статическим нестационарным объектом:

X Uiф

/ * \ x - x

Us (x) =-

p(s - i)

ХПФ

i=1 j=1

Большие значения оценки (8) (к примеру, выше некоторого порогового значения) могут сигнализировать об изменчивости объекта в рассматриваемых подобластях пространства наблюдений.

Нестационарные адаптивные модели и алгоритмы. Рассмотрим нестационарные адаптивные модели.

Распознавание образов. Оценка (4) с использованием функции «памяти», помимо применения в задаче оценки нестационарной функции регрессии, также может применяться и к непараметрическим алгоритмам классификации, а необходимость в них возникает, когда обучающая выборка накапливалась в течение некоторого времени, за которое расположение классов в признаковом пространстве изменилось, при этом классические алгоритмы классификации, не учитывающее изменение классов во времени, естественно, будут давать плохие результаты.

Рассмотрим случай, когда некоторая ситуация £ может быть отнесена к одному из двух классов У или У2 и характеризуется значениями вектора признаков V = (VI, ..., V*). Задача классификации сводится к построению решающего правила на основании обучающей выборки {у* = (у1,...,vm),и* | объемом *, где и* -

ХФ

(10)

p(s - i)

где x - требуемое значение выхода объекта.

Статистическое моделирование нестационарных непараметрических оценок функции регрессии. При исследовании непараметрической оценки нестационарной функции регрессии (4), а также при сравнении результатов с использованием оценки (1) использовался метод статистического моделирования. В качестве уравнения, описывающего моделируемый объект, было выбрано следующее:

x(ü.) = sin u(1) + —— • cos (и(2) )-

' 250 v ' ’ (11)

U ^ U(4'> - u, • u.

+ sin (и}5) + 0,5^,

где i e [1, s].

- объем выборки;

,(1)

e [0,5],

,,(2)

e [0,5], u e [0,5]

.,(4)

e [0,5], u(> e [0,3]. Значе-

ния входных переменных и генерировались случайно в соответствии с равномерным законом распределения в заданных интервалах.

Для имитации функционирования объекта в условиях помех различной интенсивности на имитируемый выход объекта (11) накладывается центрированная аддитивная помеха по следующему правилу:

X,- = х* +5,., (12)

v - v

c

uJ - uJ

c

2

c

uJ - uJ

c

2

u -u

c

V cs У

s

u -u

xu

c

c

s

где х, - выход объекта с наложенной на него помехой; х* - выход объекта без помехи; £ - случайная величина, подчиняющаяся нормальному закону распределения N(0, с), а значение среднеквадратичного отклонения с определяется в зависимости от заданного уровня помехи е (%) согласно выражению

ст = -

тах(х(и | і = 0), х(и | і = 5)) -- тіп(х(и | і = 0), х(и | і = 5))

6 -100%

(13)

1 5

Ш =\ і- ‘Ё( Х(и1 ) - Х5 , С5 ))2

I 5 1=1

(14)

где х(и) - значение выходной переменной в 1-й точке выборки в момент времени *; х*(щ, с*) - значение выхода модели (1), построенной по имеющейся выборке в той же точке. Аналогично будем проводить оценку качества моделирования при использовании непараметрической модели (4):

Ш' = л - •£( х(иі) - х*(и, С5))

(-5)

в этом случае интервал 6с будет соответствовать заданному в процентах интервалу от изменения выхода объекта.

Оценка качества моделирования проводилась с использованием следующего критерия:

где х^и 1, с*) - значение выхода оценки (4).

Оценку ошибок моделирования по нескольким экспериментам, проводимым в одних и тех же условиях, будем проводить усреднением по серии экспериментов.

Результаты исследования качества моделирования в зависимости от уровня шума е (%) приведены в табл. 1, усреднение проводилось по 50 экспериментам при каждом уровне шума, объем выборки * = 3 000.

Сравнение зависимости среднеквадратичных оценок ошибок моделирования (14) и (15) для стандартной (1) и модифицированной (4) непараметрических оценок функции регрессии от уровня шума е (%) приведено на рис. 3.

Рис. 3

Можно сделать вывод, что исследуемый алгоритм чувствителен к помехам, а также к точкам выбросов, ввиду того, что больший вес придается последним наблюдениям, даже если они оказываются ошибочными.

Приведем результаты моделирования при увеличении объема выборки за счет уменьшения шага дискретизации снятия наблюдений. То есть увеличим число наблюдений при условии, что последнее наблюдение будет происходить при одинаковых параметрах объекта (табл. 2). Усреднение проводилось по 50 экспериментам при каждом объеме выборки, на выход объекта наложена 5%-я помеха.

Графически сравнение зависимостей среднеквадратичных ошибок моделирования (14) и (15), указанных в табл. 2, представлено на рис. 4.

Как видно из рис. 4, при уменьшении шага дискретизации снятия наблюдений по времени (а в данном случае именно за счет этого увеличивался объем выборки) заметна некоторая сходимость модифицированного алгоритма (4).

Увеличим объем наблюдений, оставив шаг дискретизации снятия наблюдений постоянным, сохранив исходный характер нестационарности (11). Объем выборки наблюдений * будет равен 3 000, 5 000,

7 000, 9 000, 12 000. Результаты приведены в табл. 3.

Сравнение зависимостей относительных ошибок моделирования (14) и (15) для стандартной и модифицированной непараметрических оценок функции регрессии по проведенной серии экспериментов представлено на рис. 5.

Таблица 1

Значение усредненных оценок ошибок моделирования в зависимости от уровня помех

е

I =1

е, % 0 5 10 15 20 25 30 35 40

Ш 4,08683 4,35962 5,1858 5,97146 6,50943 7,11131 8,16638 9,34669 11,26575

Ш’ 1,10454 1,42067 1,91831 2,9245 3,90674 4,93265 6,40269 7,70785 9,69883

Таблица 2

Значение усредненных оценок ошибок моделирования в зависимости от объема выборки

5 3 000 5 000 7 000 9 000 11 000 20 000

Ш 4,35962 4,35114 4,28764 4,25306 4,20386 4,18571

Ш’ 1,42067 0,71623 0,30293 0,15271 0,14397 0,11291

Таблица 3

Значение усредненных оценок ошибок моделирования в зависимости от объема выборки

5 3 000 5 000 7 000 9 000 12 000

-^отн 4,35962 5,65906 8,00766 11,24024 17,08449

^ отн 1,42067 1,56532 1,62685 1,7869 2,05778

значением помехи. Рассматриваемый алгоритм более чувствителен к помехам.

Однако в любом случае адекватность получаемой модели зависит от реального объекта, скорости изменения характеристик объекта, частоты дискретизации снятия наблюдений, наличия априорной информации и качества получаемых данных.

При исчерпывающей выборке наблюдений позволительно использовать лишь ее часть для получения более точных оценок. Предлагаемый вид функции «памяти» рекомендуется использовать в тех ситуациях, когда невозможно определить вес каждого наблюдения конкретно. В противном случае, необходимо видоизменять функцию «памяти» в соответствии с имеющейся информацией.

Библиографические ссылки

1. Медведев А. В. Элементы теории непараметрических систем управления // Актуальные проблемы информатики, прикладной математики и механики. Ч. 3. Информатика. Новосибирск ; Красноярск : Изд-во СО РАН. 1996. С. 87-112.

2. Медведев А. В. Адаптация в условиях непараметрической неопределенности // Адаптивные системы и их приложения. Новосибирск : Наука, 1978. С. 4-34.

3. Кошкин Г. М., Пивен И. Г. Непараметрическая идентификация стохастических объектов : науч. пособие // Хабаровск : ДВО РАН, 2009. С. 336.

4. Васильев В. А., Добровидов А. В., Кошкин Г. М. Непараметрическое оценивание функционалов от распределений стационарных последовательностей / отв. ред. Н. А. Кузнецов. М. : Наука, 2004. С. 508.

5. Дисперсионная идентификация / Н. С. Райбман [и др.] ; под ред. проф. Н. С. Райбмана. М. : Наука, 1981. С. 336.

A. V. Medvedev, A. V. Faustov

ABOUT NONPARAMETRIC ESTIMATION OF NONSTATIONARY REGRESSION FUNCTION ACCORDING OBSERVATIONS

A problem of backup of mathematical models of nonstationary processes in a non-parametric uncertainty is considered in the article. Estimations of nonstationary regression function are offered. Results of numerical simulation are given. A problem of static multi-dimensional nonstationary systems modeling with delay is considered as well.

Keywords: nonparametric estimations, discrete-continuous processes, nonstationarity, regression, identification, modeling.

© Медведев А. В., Фаустов А. В., 2010

5*10 1*1<Г 1.5*10’ >10’

значение ошибки (14)для оценки (1) значение ошибки (15)для оценки (4)

Рис. 4

4х^ 6x10 8*^ 1хЮ’ 1.2x10’

значение ошибки (14)для оценки (1) іа а значение ошибки (15)для оценки (4)

Рис. 5

Последний рисунок, отражает наиболее существенный момент, отмеченный ранее: непараметрическая оценка (1) непригодна для восстановления регрессионных характеристик нестационарного объекта.

В ходе численных исследований определено, что использование предлагаемой непараметрической оценки нестационарной функции регрессии дает более точные результаты оценивания, чем известная непараметрическая оценка, кроме случаев с большим