Формирование алгоритмов идентификации стохастических объектов с высокой скоростью сходимости Текст научной статьи по специальности «Математика»

где q — новые значения остатков, независящие от е,

но с тем же распределением; gm — оценки коэффициентов для неполной модели, включающей только

m переменных. Так как параметры g и а2 неизвестны, эмпирический риск

J эмп (m) = n ^|Xg + e - Xmg„

= П“ЦТ-Xmg^i2.

2

(3)

Очевидно, оценки (3) в среднем меньше истинного риска (2). Для устранения смещения воспользуемся изложенным приёмом. Рассмотрим модель вида (1) с параметрами:

Л Л 2

(g, ст Ip) с числом наблюдений n,

2

где g — оценки параметров полной модели, а ст — средний остаточный квадрат для этой модели;

ст2 = RSS / n(p - N), здесь

RSS = YTY -Y g,TW-TU. i=l

gi = (W.TW) ■1WiTUi,

(4)

W. — матрица размера pxm; U. — pxl вектор.

Данная оценка основана на гипотезе адекватности алгоритма на опорной выборке.

Для линейного адекватного алгоритма эта оценка несмещенная. Для линейного неадекватного алгоритма оценка ст2 смещена и всегда завышена. Если поиск лучшего набора переменных основывается на выборочных данных, то традиционные оценки качества решения оказываются смещенными. Если опре-

делить J ср (m) и EJ эмп (m) и подставить полученные

2

выражения в аддитивную оценку или ст в дисперсионную оценку, получив мультипликативную оценку [2], ист2 вычислить по (4), то все оценки совпадут. Аддитивная оценка в случае, когда ст2 известно и либо алгоритм адекватен, либо прогноз производится

в точках обучающей выборки (Xv = X w), является несмещенной оценкой риска. Мультипликативная оценка — несмещенная для линейного адекватного алгоритма. Дисперсионная оценка оказывается точной при известном ст2 для адекватного линейного алгоритма.

Рассмотрим выбор порядка модели для случая, когда исследуется средняя интегральная ошибка прогноза

Lm = E||F(x) _ Fm(x)||2 .

, N 2

При неизвестных ст2 , Рm = X (g.)2 , где g -

i=m+1

оценка вектора параметров для полной модели, 22

используя є П для оценки Ее П , где є П — n-я

невязка измерений, и выражение (4), получаем

е[є T Є J = Lm +<T2p . (5)

И критерий принимает вид

m = argminLm

1<m<m '

Таким образом, применение при выборе порядка модели предложенных оценок качества решения позволяет строить алгоритмы, дающие малый риск при прогнозе.

Литература: 1.Efron B. Bootstrap methods: Another look at the jackknife. Ann. Statist.,1979. Vol. 6. Р. 1-26. 2. Линекер И.Ш., Трунов В. Г. Сравнение критериев эффективности обучения при восстановлении зависимости по эмпирическим данным. Модели. Алгоритмы. Принятие решений. М.: Наука, 1979. 126 с.

Поступила в редколлегию 10.06.99 Рецензент: д-р техн. наук Авраменко В.П.

Грицюк Вера Ильинична, канд. техн. наук, докторант ХТУРЭ. Научные интересы: стохастические системы управления. Хобби: музыка, литература. Адрес: Украина, 61726, Харьков, пр. Ленина, 14, тел. 40-93-06.

УДК 62.50

ФОРМИРОВАНИЕ АЛГОРИТМОВ ИДЕНТИФИКАЦИИ СТОХАСТИЧЕСКИХ ОБЪЕКТОВ С ВЫСОКОЙ СКОРОСТЬЮ СХОДИМОСТИ

ПЕРВУХИНА Е.Л.______________________

Идентификация стохастических объектов рассматривается как задача стохастической оптимизации. Исследуется подход к ее решению, основанный на методах и принципах информационной теории идентификации. Предлагается новый метод выбора матрицы весовых коэффициентов для формирования алгоритмов стохастической оптимизации с высокой скоростью сходимости.

Повышенный интерес исследователей к современным методам анализа, позволяющим сопоставить между собой различные варианты моделей систем и объектов и выделить наилучший из них, объясняет постановку задачи идентификации стохастических объектов для оценки и оптимизации функций многих переменных со случайными ошибками. При такой формулировке идентификация объекта сводится к подбору параметров его модели на основе наблюдаемых входных и выходных величин в целях достижения экстремума некоторого критерия, характеризующего качество идентификации.

В настоящее время существует большое количество работ, посвященных вопросам теории идентификации стохастических объектов, оценке значений функций и производных от них, а также прикладным проблемам, что делает невозможным полное освещение состояния вопроса и тем более составление достаточно представительного обзора литературных источников.

60

РИ, 1999, № 2

В настоящей работе под задачей идентификации стохастических объектов в узком смысле понимается оценка параметров и состояния объекта по результатам наблюдений над входными и выходными переменными, полученными в условиях функционирования объекта, при известной структуре объекта и заданного класса моделей, к которому этот объект относится.

Среди предлагаемых алгоритмов оценки коэффициентов разностных уравнений по наблюдаемым данным наиболее часто используются рекуррентные алгоритмы, позволяющие осуществить идентификацию в режиме нормальной работы объекта [1]. Алгоритмы отличаются друг от друга скоростью сходимости, вычислительными затратами и стабильностью — малой чувствительностью к “выбросам” входных переменных. Однако на практике эти алгоритмы часто оказываются неработоспособными, получаемые в результате их применения оценки зависят от начальных условий, а скорость сходимости оказывается слишком малой.

В [3] предприняты шаги устранить существующие недостатки путем учета в настраиваемых моделях, критериях качества и непосредственно алгоритмах имеющейся в распоряжении исследователей априорной информации об объекте.

В данной работе идентификация стохастического объекта рассматривается как задача стохастической оптимизации, исследуется возможность ее решения методами информационной теории идентификации, а также предлагается новый способ выбора матрицы усиления в формируемом для идентификации динамического объекта алгоритме стохастической аппроксимации.

Пусть наблюдаются входные воздействия и выходные величины стохастического объекта. При этом уравнение его настраиваемой модели представится в виде

N N N

у®=-Тятії-J)+2>А* -J)+2dJ>('-J) -5# -/)],

т=1 т=0 т=1

(1)

где u(i) — входное воздействие в момент времени i;

у(і — J), y(i - j) — выходная величина и ее оценка в момент времени (i-j).

При введенном векторе наблюдений

х'(0 =

= Г- у(i - 1), —,-у(i - N), u(i),..., u(i - N)Л

U(i -1) - 5(i - ^ • • ■, y(i - N) - 5(i - N) J

и векторе параметров

с’ = (Яї,...Яу , *0, —, bN , d1,--; dN ) размерности n = 3 N + 1 уравнение (1) принимает вид

у(i) = с'x(i) . (2)

Вектор всех наблюдений до момента времени

i z (i) = (у (iX x (i)) включает вектор наблюдений

x(i) и выходную величину y(i) . В этом случае невязка (ошибка наблюдения)

s(i) = s(z(i\ с) = у(i) - у(i)

РИ, 1999, № 2

представляется в виде

s{z(i), с) = у(i) - с' x(i) . (3)

Предполагается, что объект работает в стационарном режиме, т. е. вероятностные характеристики последовательностей у(i) , у(i) и, следовательно, z(i) не зависят от момента времени i.

Вектор оптимальных параметров может быть обозначен как

❖ • Ґ * * -г * у * у* 7*\ / Л\

с = (a ,..Mn,b0,...,bN,di,...,dN). (4)

Рассмотрим экстремальную задачу достижения минимума средних потерь

сmin J(с) = s(z(i),с)]} = J(c) = J* .(5)

Здесь C — подмножество пространства Rn , определяющее допустимую область изменения с; E —

символ математического ожидания; F s(z(ilс^ -

функция потерь. Качество идентификации тем выше, чем меньше средние потери, определяемые усредненной функцией потерь. В общем случае решение (5)

*

не единственно, с — элемент множества решений. Поскольку функция потерь, характеризующая качество идентификации, является стохастической, т.е.

задана случайными величинами s(z(i), с) , то экстремальная задача (5) тоже стохастическая.

Рассмотрим случай, когда C = Rn, т.е. (5) сводит*

ся к задаче на безусловный экстремум. Точка с является точкой минимума J(с) на C , если для всех с є C выполняется неравенство

J(с) - J{с*) > 0.

Если функция потерь дважды дифференцируема

по аргументу, то условия, определяющие оптималь-

*

ное решение с , записываются в виде

cJ ( с) cb ~ 0 ’ (6)

& J ( с) — >0 a? ‘ (7)

Основной интерес представляет часто встречаемая на практике ситуация, когда плотности распределения помех и наблюдений априорно неизвестны и,

cJ (с)

значит, градиент средних потерь

сЪ

не может

быть полностью определен.

Поэтому применим для решения указанной задачи безусловной минимизации (5), где C = Rn, один из рекуррентных алгоритмов [3]:

() (- 1) B Fs(z(il с(і - О] (8)

с(г) = с(і - 1) - — •------------, (8)

і ct

который не требует знания градиента средних потерь cJ (с)

, а использует градиент функции потерь зависящей от текущей информации,

cb

є( z(i),с)]

cb

61

которая содержится в наблюдениях z(i) . Здесь Б >0 — некоторая положительно определенная матрица.

Точность оценок, порождаемых алгоритмом (8), характеризуется матрицей ковариаций ошибок оценки вектора параметров c(i) :

Vi = E{((c(,) - c‘)(c(,) - c*)'j = E{SW(f)} ,

где S(i) = c(i) - c* — вектор ошибки.

Асимптотическая матрица ковариаций ошибок оценки вектора параметров c(n) определяется как предел:

V = lim V

Уравнение, которому удовлетворяет V , найдено в [3] и имеет вид

I

--Б-ц- 4c,<r(p)) V+V --Б-ц • A(c,cf(Po))

I

-Б-ц ■ Ac,<r(p)) ■ Б.

(9)

В этом уравнении I — единичная матрица размерности п,

А

E

& F S( z(i), cl

сЪ2

№

E \

«FI1 s( z(i), c]

sc

A( c*, <j2 (p0)) — нормированная информационная

*

матрица, зависящая от оптимального решения c и дисперсии шума объекта a2 (p0) .

Асимптотическая матрица ковариаций ошибок оценки характеризует асимптотическую скорость сходимости алгоритма (8). В свою очередь, как следует из уравнения (9), эта матрица зависит от матрицы Б .

Поэтому алгоритм (8) будет оптимальным по асимптотической скорости сходимости при Б - Б0, если соответствующая ему асимптотическая матрица ковариаций ошибки V(Б0) минимальна, т.е. если V (Б) > V (Б0) У Б >0. (10)

В [3] предлагается найти матрицу Б0 с помощью метода вариаций. Однако этот метод является довольно громоздким и недостаточно строгим. Обоснованный и простой выбор матрицы Б0 можно провести, используя матричное дифференциальное исчисление [4,5].

Матричное неравенство (10) означает, что

t'V(Б)т>тУ(Б0)т, (11)

где т — произвольный вектор.

Поскольку матричное уравнение (9) не разрешимо относительно V, построим функцию [2]

Ф = Г-H-A(c‘,a1(p0)) -V-ц-V ■A(c,o2(p0)) Б + МрБ ■ A(c',^( pj) ■ Б= О,

являющуюся сложной функцией матриц V и Б. Для оптимальной матрицы Б, минимизирующей V (Б),

согласно (11), должно выполняться необходимое условие существования экстремума матричного функционала t'Vt:

c^t'Vt) dV

---—— = 0 и, следовательно, ~~~ = 0.

сБ OD

Для определения производных матричных функций ф и V по матрице Б применим правила матричного дифференцирования [4,5], в частности, правило определения производных сложных матричных функций или так называемое цепочное правило:

£ф £ф (12)

сБ сБ сУ '

Отсюда

dV (as>

сБ ~ l^V.

(13)

Дифференцирование матричной функции (12) по матричному аргументу Б в соответствии с принципами матричного дифференциального исчисления дает

— = -ц 11 ® А(С *,ст2( P0))) -- /VEnn 1 А(c',а2(P0))Vв0 +

+ rt-(I ® A(c-,^(p„i)■ Б1 + (14)

М2 Enn(A(c ",°2( P0)) ■ Б'® 4"

а по матричному аргументу V —

*£ = I-м •(A(c\a2(P0)) • Б'®I)—

~М1 • En„(I ® A(c\а2(P0)) • Б)

Здесь E — перестановочная матрица размерности nn х nn; ® — символ Кронекерова матричного произведения.

Подставляя (14), (15) в (13), после приведения подобных членов и использования необходимого условия существования экстремума получаем

Б • A(c*,a2(P0))• V-б • A(c*,a2(б))• Б'= 0;

V = — Б'

Мі

(16)

После подстановки (16) в (12) и несложных преобразований находим, что

Б0 = -}- A(c\a2( P0)) 1

і

или

Б0 =

E

& F s( z (i) c)]

A(c\a2( P0)) 1. (17)

dc

1

Значит,

62

РИ, 1999, № 2

V (В)

E \

\E

Е!'[ Ф0); с)]

cb

& F s(z(i), с]

cb

2

• Л(с\а2(p0))~l . (18)

Можно показать, что

&V

сВ2

есть положительно

определенная матрица. Это достаточное условие минимума матричного функционала r'Vr-

Поскольку найдено единственное значение экстремума r'Vr, то значение В0 из (17) определяет его глобальный минимум.

Выбрав оптимальную матрицу В0, можно построить либо оптимальный (если известна плотность распределения шума объекта) по асимптотической скорости сходимости алгоритм идентификации исследуемого стохастического объекта, либо реализуемый оптимальный алгоритм (если плотность распределения шума объекта р0 и дисперсия <у2(р0) неизвестны), определяемый выражением

с(п) = b(n - 1) +

nE

1__________

С F S( Z (i ), b)]

cb2

■ Л( c( n - 1),

^2(Po))_1 x

<F[ s(z(i), c(i - 1))] Fb (i - 1)x(i))

cb cb

(19)

УДК 519.237

МЕТОДЫ РЕШЕНИЯ МНОГОКРИТЕРИАЛЬНЫХ ЗАДАЧ ОПТИМИЗАЦИИ ИНФОРМАЦИОННЫХ СИСТЕМ

БЕЗРУК В.М.

С единых позиций излагается методология оптимизации информационных систем при учете совокупности показателей качества, включая особенности многокритериальной постановки задачи, методы формирования множества допустимых вариантов и нахождения подмножества Парето-оптимальных систем, а также выбора среди них единственного варианта системы.

В настоящее время наблюдается повышенное внимание к проблемам оптимизации сложных систем по совокупности показателей качества. Это объясняется необходимостью более глубокого изучения предельных возможностей систем, а также практическими потребностями конструктивного учета совокупности противоречивых требований при проектировании систем. В работах [1-9] рассмотрены особенности отдельных этапов решения многокрите-

Здесь нормированная информационная матрица Л (с , а2 (р0)) заменена выборочной

Л(с(п - 1);СТ2(Po)) 1.

Таким образом, с использованием принципов матричного дифференциального исчисления выбрана матрица усиления, минимизирующая ковариацию ошибок оценки, что позволяет сформировать асимптотически оптимальный на классе алгоритм идентификации стохастического объекта, обладающий максимально возможной скоростью сходимости. При этом окончательное выражение для В0 не противоречит результатам выбора оптимальной матрицы В0 в [3].

Литература: 1. Катковник В.Я. Линейные оценки и стохастические задачи оптимизации. М.: Наука, 1976. 138с. 2. Подвинцев Ю.В., Первухина Е.Л. К вопросу идентификации в линейных динамических системах с помощью матричного дифференцирования. Деп. в УкрНИИНТИ 02.01.86, № 19-Ук86, 6с. 3. ЦыпкинЯ.З. Информационная теория идентификации. М.: Наука, 1984. 140с. 4. Bentler, P. Lee, S. Matrix derivatives with chain rule and rules for simple, Hadamard and Kronecker products; Journal of Mathematical Psychology. 1978. N17. P. 255-262. 5. Magnus & Neudecer. Matrix Differential Calculus with Applications in Statistics and Econometrics. Wiley, New York,1988. 180р.

Поступила в редколлегию 21.06.99 Рецензент: д-р техн. наук Стенин А.А.

Первухина Елена Львовна, канд. техн. наук, доцент Севастопольского государственного технического университета. Научные интересы: методы стохастической оптимизации Адрес: Украина, 310007, Харьков, ул. Мира, 4, кв. 52, тел. 30-82-18.

риальных задач. В данной статье обобщаются и с единых позиций анализируются все этапы решения многокритериальных задач применительно к оптимизации информационных систем, включая постановку задачи, нахождение Парето-оптимальных систем и выбор единственного варианта системы.

1. Постановка задачи проектирования оптимальной системы

В самом общем случае систему можно рассматривать как упорядоченное множество элементов, отношений и их свойств [1]. Однозначное их задание полностью определяет систему, т.е. ее структуру, цель, эффективность. Основной задачей проектирования является конкретизация и определение всех указанных категорий. Решение этой задачи включает определение исходного множества решений, формирование подмножества допустимых решений, задание критерия оптимальности системы, а также выбор системы, оптимальной по заданному критерию [1-4]. Предполагается, что система ф = (5, Д) определяется структурой 5 (совокупностью элементов и связей) и вектором параметров Д . Для информационной системы должно быть задано множество входных воздействий х и выходных результатов Y , что определяет систему как отображение

РИ, 1999, № 2

63