Идентификация по малому числу наблюдений с использованием критерия относительной согласованности оценок Текст научной статьи по специальности «Математика»

ИДЕНТИФИКАЦИЯ ПО МАЛОМУ ЧИСЛУ НАБЛЮДЕНИИ С ИСПОЛЬЗОВАНИЕМ КРИТЕРИЯ ОТНОСИТЕЛЬНОЙ СОГЛАСОВАННОСТИ ОЦЕНОК

Гаврилов А.В., Сойфер В.А., Фурсов В.А. Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет

Аннотация

В работе рассматривается задача параметрической идентификации по малому числу наблюдений. Развивается подход, основанный на так называемом принципе согласованности оценок. Идея заключается в поиске среди наблюдений более свободного от шума подмножества. Исследуется так называемый критерий относительной согласованности, позволяющий формировать эти подмножества при отсутствии априорной информации.

Введение

Во множестве приложений, связанных с построением адаптивных систем, в которых перенастройка осуществляется с использованием результатов эпизодической идентификации объекта в режиме его нормального функционирования, возникают проблемы выбора информативных данных из всего набора исходных данных и неустойчивости статистических характеристик шумов при малом числе наблюдений.

К таким приложениям можно отнести определение характеристик искажающих и восстанавливающих систем, фильтров, оценку разрешающей способности [1], определение характеристик нелинейных оптических систем, построение адаптивных алгоритмов управления [2] и т.д.

Определение наиболее информативных фрагментов исходных данных тесно связано с проблемой обусловленности. Получение численных характеристик обусловленности, с одной стороны, требует вычислительных затрат и имеет ряд особенностей, но с другой стороны, идентификация по выделенному набору данных не гарантирует высокой точности оценок [3].

Решение непосредственно задачи идентификации часто проводится в рамках теории статистического оценивания [2]. Однако при малом числе наблюдений они оказываются необоснованными и ненадежными [4].

В работе [5] рассматривался двухэтапный метод эпизодической идентификации, базирующийся на так называемом принципе согласованности оценок, не связанный с требованием статистической устойчивости. Идея метода заключается в поиске подсистемы наиболее свободной от шума [4] с использованием алгоритмов переборного типа.

В рамках этого подхода одна из центральных проблем заключается в том, что априори не известна размерность такой подсистемы. Предположение о том, какая часть исходных данных может считаться наиболее свободной от шума, конечно, менее жестко, чем традиционно используемые. Тем не менее, представляет интерес построение методов и алгоритмов, позволяющих устанавливать это в ходе решения задачи идентификации без привлечения априорной информации.

1. Постановка задачи

Задача параметрической идентификации по N наблюдениям входного и выходного сигналов сводится к задаче построения оценки с М х 1 -вектора параметров с по N х1-вектору у и N х М - матрице X, формируемым по доступным для непосредственного наблюдения данным, при неизвестном N х 1 -векторе ошибок £ :

У = Хс + %. (1)

Задача построения оценок параметров в рамках принципа согласованности строится в виде следующей последовательности этапов [6]:

1. Задание размерности Р (М < Р < N) так называемых подсистем верхнего уровня.

2. Построение всех возможных подсистем верхнего уровня путем всех возможных сочетаний строк

в системе (1): НР , г = 1,Ср .

3. Построение для каждой подсистемы верхнего уровня НР всех возможных подсистем нижнего

уровня £р,М размерности М , у = 1, Ср .

4. Построение для каждой из подсистем нижнего

- Р,М

уровня оценки сг,у искомого вектора параметров.

Ясно, что в результате будут получено Ср различных оценок.

5. Вычисление для каждой из подсистем верхнего уровня Нр значения функции взаимной близости Д (Нр), характеризующей близость полученных на подсистемах нижнего уровня £р}М векторов

- Р,М

оценок Сг,у .

6. Сравнение значений функции Д(нр) и выбор

подсистемы верхнего уровня, для которой множество оценок наиболее согласовано (по критерию минимального значения функции взаимной близости).

7. Построение точечной или интервальной оценки на выбранной подсистеме.

В рамках указанной общей схемы могут применяться различные методы получения множеств оценок на подсистемах и критерии взаимной близости.

Ясно, что эффективность этой схемы в целом зависит от способов ее реализации на отдельных этапах.

В настоящей работе более подробно рассматривается первый этап построения оценок - определение размерности подсистем верхнего уровня. Задача решается применительно к рассматривавшейся в работе [5] функции взаимной близости вида:

АК )=

j=1, L-1 k=j+1, L

Ci, j - Ci,k

(2)

где Ь - число подсистем нижнего уровня, содержащихся в подсистеме верхнего уровня. Для указанной функции (2) исследуется возможность определения наиболее предпочтительной размерности подсистемы верхнего уровня на основе текущих оценок параметров без привлечения априорной статистической априорной информации.

2. Критерий относительной согласованности Интуитивно ясно, что точность согласованных оценок будет тем выше, чем меньше подвержена шуму отобранная подсистема верхнего уровня. Притом, как правило, чем меньше размерность этой подсистемы, тем больше вероятность того, что она окажется менее зашумленной.

С другой стороны, с уменьшением размерности подсистемы верхнего уровня надежность оценок падает. В частности, при уменьшении числа обрабатываемых данных возрастает вероятность получения смещенных оценок. Другими словами, всегда желательно, чтобы усреднению подвергалось, по возможности, большее число измерений.

Для предварительного анализа указанных факторов функцию взаимной близости (2) перепишем в виде:

- p,M - P,M

c i, j - c i,k

=

j=1, L-1

k=j+1, L

=

j=1, L-1

k=j+1, L

j=1, L-1 k=j+1, L

- P,M - P,M

ACi, j - ACi,k

-P,M -P,M \T

Ac i, j - Ac i,k I

(3)

-P,M ~P,M

Aci, - Aci,k

Подставляя в (3) Дег-,] = Хг-,;-^, функцию взаимной близости (2) можно представить в виде двух

слагаемых:

a(hP ) = A1 (HP )+A 2 (HP ),

A1 (HP) = (L- 1)£%T (XjXT))j

j=1

А2 (HP) = 2 ^ (XjXT ) •

j =1, L-1 k=j+1, L

(4)

(5)

Из соотношений (4), (5), (6) видно, что если ошибки измерений независимы и носят случайный характер, основной вклад в функцию взаимной близости вносит сумма Д1 (нр). Этот вклад тем меньше, чем меньше интенсивность ошибок измерений и лучше обусловленность подсистем нижнего уровня.

При малом числе наблюдений характеристики обусловленности могут сильно отличаться на разных реализациях. Для учета этого фактора функция взаимной близости должна входить в критерий в виде относительной величины, учитывающей характеристики конкретной реализации системы (1).

Кроме того, критерий должен отражать обсуждавшийся выше объективно имеющий место факт противоречивости показателя согласованности оценок и размерности подсистемы верхнего уровня. Другими словами, решение о числе используемых данных для получения искомой оценки должно быть компромиссом между ее размерностью и согласованностью оценок, полученных на входящих в нее подсистем нижнего уровня.

С учетом сказанного, критерий задается в виде:

5 (НР ) = аф(ягр ) + РУ((Г ), (7)

где а, р - коэффициенты, характеризующие степень влияния фактора, а ф(нр), Нр) - функции, аргументом которых являются размерности подсистем верхнего уровня и удовлетворяющие следующим условиям:

ф(нр)е (0,1), ч(нр) е (0,1),

i = 1, CP.

P = M +1, N -1, 1. Относительная взаимная близость:

А( HP )

ф

(HP )

А

(hn )

(8)

(9)

где А (HN) - значение функции взаимной близости,

полученное на всей исходной системе (1). Очевидно, что функция (9) удовлетворяет условию (8), а зависимость от параметра P функции min ф( Нр)

будет носить характер, аналогичный показанному на рис. 1.

Данный фактор характеризует согласованность оценок, полученных на подсистеме верхнего уровня в сравнении с согласованностью всей исходной системы.

2. Относительная размерность подсистемы верхнего уровня:

(HP )

CM -,

^N+M-P 1

CM i ' CN 1

(10)

Функция (10) удовлетворяет условиям (8). Данный фактор отражает относительное число оценок, получаемое на подсистеме верхнего уровня. Функ-

ция сконструирована таким образом, чтобы компенсировать уменьшение значения относительной взаимной близости при уменьшении размерности подсистемы верхнего уровня. Достигается это нормировкой на максимально возможное количество подсистем нижнего уровня, а также заменой возрастающей биномиальной функции на аналогичную убывающую в числителе дроби.

с - с

♦- Относительная взаимная

близость

---■---Относительная размерность

подсистемы

Рис. 1. Пример зависимостей показателей

относительной взаимной близости и относительной размерности подсистемы от размерности подсистемы верхнего уровня

На рис. 1 приведены характерные зависимости показателей минимального значения функции взаимной близости и относительной размерности подсистемы верхнего уровня от абсолютного значения размерности подсистемы верхнего уровня для случая N = 10, М = 4.

3. Процедура отбора данных и пример реализации

Исследовалась процедура отбора данных по критерию относительной согласованности оценок при

значениях коэффициентов а = 1, р = 1

N

, к )

А

(Нр) 1 см

У 1 ) + 1 CN+М - Р

АН) N

-1

См -1

CN 1

(11)

Проводились серии по 500 экспериментов, в каждом из которых решалась задача идентификации, с одинаковыми параметрами модели (1).

Элементы матриц и векторов были взяты из выборок нормально распределенных случайных величин с параметрами, соответственно цх = 0, стх = 100 , = 0 , ст^ = 5 . Помехи моделировались как смесь нормальных и аномальных ошибок. Аномальные ошибки имели равномерное распределение на интервале (50,100). Относительное число

аномальных ошибок в смеси составляло 0,1.

Предложенный метод идентификации с отбором данных по критерию относительной согласованности сравнивался с методом наименьших квадратов (МНК) [6]. Для сравнения использовался показатель

£ = ,

с - СЬ5М

(12)

где с - оценка вектора параметров, полученная с

применением критерия (11), а сьш - МНК-оценка.

В таблице 1 представлены результаты, полученные при N = 10 и М = 4, в виде относительных значений от общего числа экспериментов (в процентах). В первых четырех строках таблицы приведены данные о числе экспериментов, в которых ошибка идентификации меньше, чем при идентификации по МНК.

Таблица 1. Сравнение метода с МНК при N = 10, М = 4

0 1 2 3 4 5

( 0,0-1) 0 40.4 43.6 36.2 8 1.2

(0.1,0.2 ) 0 23.4 27.8 21.6 10.6 4.6

( 0.2,0.5) 2.2 22.8 18.6 23.4 31.2 18.2

(0.5,1) 14.4 8.2 7.2 10.4 25 30.4

(1,2 ) 47 3.4 2.2 6.4 18.6 29.6

( 2,5 ) 31.2 1.6 0.6 2 5.8 14.2

( 5,10 ) 4.8 0.2 0 0 0.8 1.4

(10, +<») 0.4 0 0 0 0 0.4

На рис. 2 показано распределение экспериментов по интервалам (таблица 1), характеризующим их качество относительно МНК. 50 г

Рис. 2. Распределение экспериментов

Средние точки кривых соответствуют экспериментам, где точность согласованных и МНК-оценок была приблизительно равной ((0.5, 2)). Левые и правые

2

точки соответствуют экспериментам со значением показателя ^е (0,0.1) и ^ е (10, соответственно.

Из таблицы 1 и рис.2 видно, что даже в случае отсутствия аномальных ошибок или их преобладания точность получаемых оценок вектора параметров в среднем не хуже МНК-оценок. В остальных случаях качество получаемых оценок существенно выше.

В таблице 2 приведены проценты от общего количества экспериментов в распределении по качеству их результатов в сравнении с МНК для различных параметров и числа аномальных ошибок.

Таблица 2. Сравнение с МНК для различных параметров и интенсивности аномальных ошибок

N 5 10 15

M 2 4 9

N^ 0 1 0 3 0 2

( 0,0.1) 0,2 57,6 0 36,2 0 43

( 0.1,0.2) 0,8 18,8 0 21,6 0 25

(0.2, 0.5) 4,4 15 2,2 23,4 2 19

(0.5,1) 17,4 4 14,4 10,4 16 8

(1,2 ) 38,6 2,6 47 6,4 44 5

( 2,5) 25,2 1,6 31,2 2 34 0

(5,10) 9,2 0,2 4,8 0 3 0

(10, +ш) 4,2 0 0,4 0 1 0

Заключение

Таким образом, предложенный метод в рамках принципа согласованности оценок позволяет в условиях отсутствия априорной информации о вероятностных характеристиках шумов осуществлять

выбор подсистемы, более свободной от шума, чем исходная система.

В результате двухэтапной процедуры отбора данных определяются наиболее информативные, на основании которых далее и решается задача идентификации. На первом этапе среди исходных данных с помощью численных показателей обусловленности отбираются потенциально более информативные данные. На втором этапе применение критерия относительной согласованности оценок позволяет отделить данные, хорошая обусловленность которых вызвана шумами.

Благодарности

Работа выполнена в рамках российско-американской программы «Фундаментальные исследования и высшее образование», при поддержке РФФИ (гранты №№03-01-00109 и 04-07-90149) и гранта Президента РФ №НШ-1007.2003.01.

Литература

1. Методы компьютерной обработки изображений // Под. ред. В.А. Сойфера, М.: Физматлит, 2001.

2. Гроп Д. Методы идентификации систем // М.: Мир, 1979.

3. Фурсов В.А. Идентификация моделей систем формирования изображений по малому числу наблюдений // Самар. гос. аэрокосм. ун-т. Самара, 1998.

4. Kalman P.E. , Noised systems identification. Advances of Mathematical sciences, v. 40, issue 4 (244), 1985.

5. Fursov Vladimir A., Gavrilov Andrey V. Conforming Identification of the Controlled Object, Proceeding International Conference on Computing, Communications and Control Technologies: CCCT'2004, August 14-17, 2004 -Austin, Texas, USA. P. 326-330.

6. Bjorck A. Least Squares Methods // Elsevier Science Publishers B.V. (North Holland), 1990.