CC BY
52
метрических регрессий. Полученные выводы являются общими и не зависят от используемого метода заполнения пропусков в исходных данных.
список литературы
1. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. Новосибирск, 1999. 270 с.
2. Лапко А. В., Лапко В. А., Соколов М. И., Ченцов С. В. Непараметрические модели коллективного типа. Новосибирск: Наука, 2000. 144 с.
Рекомендована Поступила в редакцию
НПО ПМ 12.01.08 г.
УДК 681.5.015
А. И. Рубан
Сибирский федеральный университет Красноярск
МОДУЛЬНЫЕ ХАРАКТЕРИСТИКИ НЕЛИНЕЙНЫХ СТАТИЧЕСКИХ МОДЕЛЕЙ СТОХАСТИЧЕСКИХ ОБЪЕКТОВ
Рассмотрены модульные характеристики, определяющие качество нелинейных статических моделей стохастических объектов, на их основе построены коэффициенты близости между медианной моделью (оптимальной моделью в смысле минимума среднего модульного отклонения выходов объекта и модели) и субоптимальными медианными параметрическими статическими моделями стохастических объектов. По коэффициентам близости можно отслеживать изменение качества параметрических моделей при подборе их структуры.
Введение. Рассмотрим стохастический объект, который имеет один вход и один выход. X и У — непрерывные входная и выходная случайные величины. Идеализированными моделями стохастического объекта являются условные статистические характеристики. Особое место среди них занимает регрессия — зависимость средних значений между выходом и входом объекта [1, 2]:
»
М{У|х}-п(х) = | у/(У|х)йу, (1)
—с»
где М {У | х} — условное математическое ожидание.
Для фиксированного значения входа X = х регрессия удовлетворяет критерию минимума среднего условного квадратического отклонения:
11 (х)=МУ {(У—П)2 |х = х} = пип. (2)
п
Наименьшее значение параметра ¡1 (х) обозначим через
А (х) = Му {[У—п(х)]2 |х = х} - Б {У | х} . (3)
Здесь £!(х) - Б {У | х} — условная дисперсия выхода объекта.
Минимума достигает и усредненное (по X ) значение условной дисперсии
А - Б{У | X}=Мх {А (X)}=Муд {(У—п(X))2}, (4)
т.е.
П(Х)=агв т1пМу£{(У-ВД)2}. (5)
п(X)
В работах [1, 2] £ названа средней условной дисперсией, там же введено понятие средней дисперсии регрессии:
Б2 - Б{п(Х)} = Мх {(п( X) - ту )2}. (6)
Известна теорема о разложении дисперсии выхода объекта £{У} - £у на сумму дисперсий £ и Б 2 :
£у = £ + £. (7)
Смысл составляющих в равенстве (7) следующий: средняя дисперсия регрессии £>2 характеризует ту часть флуктуаций выхода объекта У, которая вызвана влиянием входной переменной X, и это влияние описано с помощью модели — регрессии. Средняя условная дисперсия £1 определяется влиянием на выход всех остальных переменных объекта, кроме X,
т.е. дисперсия £1 характеризует степень неопределенности математического описания объекта. Если объект полностью описан регрессионной зависимостью п( X) (т.е. нет дополнительных воздействий на объект и нет дополнительной стохастичности внутри объекта; в этом случае У = п(X) ), то £1 = 0 и £2 = £у . Если объект никак не описан регрессией п(X), то £ = £{ у} и одновременно £2 = 0 .
Ранее было указано, что для модели в виде регрессии п( X) средняя условная дисперсия £1 достигает минимального значения. Тогда из равенства (7) следует, что средняя дисперсия регрессии £2 достигает своего максимального значения.
На основе дисперсии условного математического ожидания £2 построено [1, 2] дисперсионное отношение
Пу|х =4
£М Ух}
1 ' " (8)
£у
значение которого находится в интервале [0; 1].
Дисперсионное отношение Пу|х достигает предельных значений в следующих случаях:
— Пу|х = 0, если выход объекта У не зависит от входа X . Обратное утверждение верно не всегда;
— Пу|х = 1, если У и X связаны жесткой зависимостью в виде функции У = ф (X). Тогда М{У|X} = ф (X). В этом случае другие воздействия (кроме X ) не влияют на выход У и £1 = 0 (т. е. £2 = £У ).
В работах [3—5] на основе использования непараметрической оценки Розенблатта— Парзена для плотности распределения вероятностей построены сравнительно простые и эффективные оценки дисперсионных характеристик: условной дисперсии выхода объекта £1(х) - £ {У | х}, средней условной дисперсии £1 = Mх {£1(X)} , средней дисперсии регрессии
£2 = Mх {(п( X) - ту ) }, дисперсионного отношения Пу|х , коэффициента степени нелинейности объекта.
В статье [6] введены аналогичные вышеуказанным дисперсионные характеристики для субоптимальных (в соответствии с критерием минимума среднего квадратичного отклонения
выходов объекта и модели) параметрических нелинейных моделей Y = а0 +^ауфу (X),
i=l
Y = ао +ц(а, X), и на основе дисперсионных характеристик построен коэффициент близости параметрических моделей и регрессии. При оценивании этих статистических характеристик применимы результаты работ [3—5].
Постановка задачи. При разработке моделей объектов стремятся построить субоптимальные параметрические линейные и нелинейные модели. Изменение критерия (2), (5) позволяет получить другие (в отличие от регрессии) модели, которые более слабо реагируют (т. е. являются робастными) на нежелательные изменения условной плотности распределения f (y | х). Применение вместо квадратического (2), (6) модульного критерия оптимальности [7] приводит к медианной модели. Оценки для медианной модели, построенные по экспериментальным данным, обладают (по сравнению с оценками регрессии) свойством робастности по отношению к малой доле аномальных измерений выхода.
Целью предлагаемой работы является построение соответствующих идеализированных модульных характеристик, которые характеризуют качество получаемых параметрических субоптимальных параметрических моделей по отношению к оптимальной медианной модели.
Медианная модель. Для каждого фиксированного значения входа X = х медианная модель ц( х) удовлетворяет критерию минимума условного среднего модульного отклонения:
¡1,ц (х) = My {| Y-Ц||Х = х} = min. (9)
ц
Убедимся в этом. Из необходимого условия минимума показателя ¡1 ц (х)
dhy (х)
d ц
-My{[sgn(Y-Ц)] |Х = х} = 0
получим решение в виде условной медианы:
г-
j sgn(y-цХДу1 х)dy=- j f (y1 х)Ф+j f(y1 х)dy=0,
ц ю 1
j f (y1 х)Ф=j f (y1 х)Ф=2.
f (yk)A
2
-ю ц
Здесь г — знаковая функция, при этом учитывается условие нормировки для плотности
распределения вероятности /(у | х) .
Для фиксированного значения X = х на рис. 1 приведены условная плотность распределения выхода /(у | х) и значение медианы ц(х) — среднего по вероятности значения.
Убедимся в слабом влиянии на значение условной медианы ц( х) слабых изменений условной плотности /(у | х) при сильном влиянии их на значение регрессии п(х) (условного математического ожидания).
Считаем, что / (у | х) состоит из двух компо-
Рис. 1
нент (первая часть — основная, вторая — аномальная)
f (y1 х) = (1-a)f1 (y1 х)+а f2 (y1 х).
ц
Здесь а — вероятность появления аномальной компоненты (она мала и обычно не превышает 0,1).
Местоположение (например, условное математическое ожидание П2(х)) аномальной компоненты находится на сравнительно большом удалении 5 от основной, т.е. П2 (х) = П1 (х)+5 : М {У | х}=п(х) = (1-а)п1 (х)+а п2 (х) = (1-а)п1 (х)+а [п1 (х)+5] = П1 (х)+а5 .
При неизменной вероятности а с ростом 5 регрессия п(х) нарастает, а медиана |д(х) не изменяет своего значения. Она робастна (рис. 2) по отношению к указанной аномалии в условном законе распределения.
Рис. 2
В верхней части рис. 2 представлено исходное симметричное распределение f (y | x), при этом n(x) = ^(x). В нижней части рисунка показано распределение f (y | x) с основной (1 -а) f1(y | x) и аномальной а f2(y | x) компонентами при а = 0,1; там же отмечены указанные выше характеристики и параметры.
Наименьшее значение Ii ^ (x) обозначим через
Ai(x) = MY{|Y-|д(x)| \X = x}. (10)
Этот показатель является аналогом a (x) = yjD| (x) D {Y | x} при рассмотрении регрессии.
Для медианной модели x) своего наименьшего значения достигает и усредненное (по X ) условное модульное отклонение (10)
Ai = Mx {A1 (X)}=MY X {| Y-|ДХ)|}, (11)
т. е.
М(Х)=arg min Myx{|Y-p(X)|}. (12)
ЩХ) ^
Параметр A1 представляет собой среднее модульное отклонение выхода объекта и условной медианы (медианной модели). Можно (как и ранее при использовании регрессии и дисперсионных функций) ввести среднее модульное отклонение условной медианы и медианы выхода:
A2 = Mx {|м(Х) — My |}. (13)
Введем Ay — среднее модульное отклонение выхода объекта и медианы My , которое является аналогом среднего квадратического отклонения Gy = yjDy :
AY = My {|Y—MY|}. (14)
В дальнейшем для упрощения записи формул убираем индексы операторов усреднения (математического ожидания) M{•}, где указаны случайные величины, по которым ведется усреднение.
Для квадратов модульных характеристик Ay , A1, A2 справедливо равенство, аналогичное (7),
AY =A2 +A22. (15)
Ф Докажем его.
На рис. 3 в линейном пространстве представлена проекция вектора Y—My на плоскость моделей м(X)—My . Результатом проекции является вектор м(X)—My . Разность между этими векторами есть вектор Y—m(X) . Длина
P(Y, M(X))=M{|Y—м(Х)|}^ (16)
этого вектора минимальна (12):
M(X)=arg min M{|Y—p(X)|}.
M( x)
Здесь m( X) — оптимальная модель. Для прямоугольного треугольника верна теорема Пифагора: квадрат длины вектора Y—My равен сумме квадратов длин векторов Y—м(Х) и
M(Х)—MY :
p2(Y, my ) = P2(Y, m(X))+р2(м(X), My ), где p(Y, my)=M{|Y—My |}-Ay , р(м(Х), My) = M{|m(X)—My |}t
Смысл модульных характеристик тот же, что и для соответствующих дисперсионных характеристик, представленных во Введении.
Среднее модульное отклонение условной медианы и медианы выхода A2 характеризует
ту часть флуктуаций выхода объекта Y, которая вызвана влиянием входной переменной X, и это влияние описано с помощью модели — условной медианы. Средним модульным отклонением A1 выхода объекта и условной
медианы определяется влияние на выход всех остальных переменных объекта, кроме входной X. Таким образом, параметр A1 характеризует степень неопределенности
описания объекта. Если объект полностью описан условной медианой м(Х) (т. е. нет дополнительных воздействий на объект и нет дополнительной стохастичности внутри объекта; в этом случае Y = м( X) ), то A1 = 0 и одновременно A2 = Ay . Если объект не описан условной медианой м(X), то A1 = Ay и одновременно A2 = 0.
На основе модульных характеристик A2, Ay строим модульное отношение
MY|X = A2 /AY , (17)
которое лежит в интервале [0; 1].
My
y-m(X)
М(Х -My Рис. 3
Модульное отношение Mr|X похоже по своей сути на дисперсионное отношение (8) и
достигает предельных значений в тех же случаях; |y|x = если выход объекта Y не зависит
от входа X, а зависимость отслеживается с помощью условной медианы. Обратное утверждение верно не всегда — Му|х = 1, если Y и X связаны жесткой зависимостью в виде
функции Y = ф (X), тогда |(X) = ф (X). В этом случае другие воздействия (кроме X ) не влияют на выход Y и Aj = 0 (т.е. А2 = Ау ).
Нелинейные медианные параметрические модели. Считаем, что параметрическая нелинейная (по каналу вход—выход и по параметрам) модель объекта имеет вид
Y=ао +ф(а, X), а = (аь ..., ат). (18)
Здесь специально выделены слагаемые ао и ф(а, X) — в первом всегда отсутствует зависимость от входа X, во втором — всегда присутствует эта зависимость, причем ф(а, 0) = 0 .
Параметры а0, а модели (18) также найдены из критерия [см. (12)] минимума среднего модульного отклонения выходов объекта Y и модели а0 +ф(а, X)
а0,а = arg minM{|Y-а0-ф(а, X)|}. (19)
а0, а
Модель (18) является оптимальной по параметрам среди моделей выбранной структуры, т. е. это субоптимальная модель. Это название используем, чтобы отличать модель от соответствующей оптимальной модели — условной медианы.
Наименьшее значение минимизируемого в (19) модульного показателя обозначим [см. (11) для оптимальной модели — условной медианы] через
А1парам = M{|Y-Y|} = M{|Y-а0-ф(а, X)|}. (20)
Введем также среднее модульное отклонение субоптимальной параметрической модели (18) и медианы выхода
А2парам = M{|Y|}= M{|а0 +ф(а, X)|}. (21)
В результате получим выражение, аналогичное (15), связывающее квадраты модульных
характеристик Ay , А1парам , А2парам :
AY = А2парам + А2парам . (22)
Как и ранее (17), введем модульное отношение, основанное на использовании субоптимальной модели Y (18),
= А2парам (_з)
^Т^парам = А ' ^ '
значение которого находится в интервале [0; 1]. Для него и модульного отношения (17) справедливо неравенство:
^парам ^Y|X . (24)
Ф Доказательство неравенства (24) основано на том, что при построении оптимальной (условной медианы) и субоптимальной параметрической модели (18) использован один и тот же критерий оптимальности. Применяются также равенства (15), (22). Во-первых, всегда выполняется неравенство
А1 - M {|Y-|(X)|}< M {| Y-Y |} - А1парам, (25)
следующее из критерия оптимальности условной медианы |( X) в смысле модульного критерия |(X)=arg min M{|Y-|(X)|}. Любые другие выбранные зависимости |(X) от X, в том | X)
числе и параметрические модели У = ао +ф(а, X) [с оптимальными параметрами ао, а, вычисленными из того же модульного критерия оптимальности (19)], не могут уменьшить нижней границы М{|У-д(Х)|} модульного показателя М{|У-Ц(Х)|}. Модель (18) является только субоптимальной.
Второе неравенство, эквивалентное (24)
Л2парам _ М{|У-|у |} <М{| |(X)-|Ду |} _А2, (26)
следует из предыдущего неравенства с учетом разложений (15), (22) квадрата среднего модульного отклонения выхода объекта и медианы на две квадратичные компоненты. ф
Коэффициент близости субоптимальной параметрической модели У = ао +ф(а, X) и условной медианы |( X) зададим в естественном виде
= |У|Хпарам _М{|а0 +ф(а, X)-|У |}
я
У
(27)
М{| |(X)-|у |}
Можно также ввести относительный коэффициент корреляции между выбранной субоптимальной параметрической моделью и условной медианой
Я
М{[У-|у ][|( X)-|у ]}
(28)
У » ^М{(У?-|у X)-|у )2}
Модуль этого коэффициента корреляции | Яу» | по своей сути эквивалентен коэффициенту » .
Итоговые соотношения между модульными характеристиками представлены на рис. 4.
А2у<
А2 = А
А2
» а2 Д. »А1
М^ ^МтрГиарам
А2 —А2парам
0 <|УXпарам--2паР™ <1
АУ
(
А1 —А1 парам
А
2
2парам
А
2
1 парам
А2У=А21 +А22 у. _)
V
Оптимальная модель — условная медиана
Рис. 4
А2 =А2 +А2
У 1 парам 2парам
Субоптимальная параметрическая модель
Заключение. В многомерном случае (когда объект имеет т входов X и один выход У ) все вышеприведенные модульные характеристики сохраняются. В них лишь следует скалярную случайную величину X заменить на векторную X .
Для введенных коэффициентов соответствия оптимальной модели в виде условной медианы и субоптимальных параметрических моделей с фиксированной структурой необходимо построить хорошие (состоятельные) оценки. На этом пути получить практически реализуемые результаты удается за счет использования непараметрической оценки медианной модели [5, § 4.8] с усеченными ядрами и оптимально настроенными коэффициентами размытости.
0
0
список литературы
1. Райбман Н. С., Чадеев В. М. Построение моделей процессов производства. М.: Энергия, 1975.
2. Дисперсионная идентификация / Под ред. Н. С. Райбмана. М.: Наука, 1981.
3. Рубан А. И. Непараметрическая дисперсионная идентификация // Изв. АН СССР. Техническая кибернетика. 1989. № 3. С. 212.
4. Rouban A. I. Nonparametric dispersing identification // Advances in Modeling & Analysis: Series D. Mathematical Tools; General Computer Tools. France: A.M.S.E. 1998. Vol. 1, N 2. P. 43—50.
5. Рубан А. И. Методы анализа данных: Уч. пос. Красноярск: ИПЦ КГТУ, 2004.
6. Рубан А. И. Дисперсионные характеристики нелинейных статических моделей стохастических объектов // Информатика и системы управления. Вып. 10. Межвуз. сб. науч. тр. Красноярск: ГУ НИИ информатики и процессов управления, 2004. С. 5—20.
7. Хьюбер П. Робастность в статистике. М.: Мир, 1984.
Рекомендована Поступила в редакцию
НПО ПМ 12.01.08 г.
