Идентификация моделей с отбором данных по критерию обобщенной фрактальной размерности Текст научной статьи по специальности «Математика»

УДК 535.12

ИДЕНТИФИКАЦИЯ МОДЕЛЕЙ С ОТБОРОМ ДАННЫХ ПО КРИТЕРИЮ ОБОБЩЕННОЙ ФРАКТАЛЬНОЙ РАЗМЕРНОСТИ

©2004 А.В. Никоноров

Самарский государственный аэрокосмический университет

Проведено исследование такой характеристики процедуры адаптивного оценивания параметров мделей, как плотность множества получаемых оценок. Обосновано применение этой характеристики в качестве критерия взаимной близости при согласованном оценивании по малому числу наблюдений. Для определения плотности рассчитывается показатель обобщенной фрактальной размерности. Эксперементально показана эффективность применения показателя фрактальной размерности в качестве критерия взаимной близости.

Введение

В работах [1, 2] сформулирован общий подход к решению задач идентификации по малому числу наблюдений, основанный на так называемом принципе согласованности оценок. Основная идея подхода заключается в использовании критериев, не требующих задания априорных вероятностных моделей, которые, как известно, при малом числе наблюдений ненадежны. Общая схема построения согласованных оценок сводится к формированию из исходной системы множества подсистем меньшей размерности, среди которых отбирается та, для которой значение заданного критерия согласованности (взаимной близости) минимально.

Применение различных критериев близости в рамках данного подхода, порождает целый класс различных адаптивных алгоритмов оценивания. В работе [2] были рассмотрены критерии близости оценок в пространстве параметров моделей. В работах [3, 4] продемонстрировано успешное использование согласованности в пространстве отклика модели. Однако можно показать, что при определенных предположениях о природе оценок истинное значение оцениваемого вектора параметров принадлежит наиболее плотной области множества оценок. Поэтому наиболее естественным представляется использование в качестве критерия близости оценку пространственной плотности распределения оценок в пространстве параметров модели.

Кроме функции взаимной близости определяющим для алгоритма является генерации подсистем исходной системы, на которых выполняется оценивание. Базовым методом генерации подсистем является метод, предложенный в работе [2]. Для построения множества оценок используются так называемые подсистемы верхнего и нижнего уровней. Для подсистемы верхнего строится множество подсистем нижнего уровня по принципу скользящего окна, на этих подсистемах выполняется оценивание. Рассчитывается взаимная близость оценок на подсистемах нижнего уровня принадлежащих некоторой подсистеме верхнего уровня, из всех подсистем верхнего выбирается система, оценки на которой наиболее близки. Окончательная оценка параметров модели выполняется по этой, наиболее согласованной подсистеме.

Нахождение множества оценок с наилучшим значением взаимной близости оптимизационная задача. В базовом алгоритме применяется переборный метод решения этой задачи. Как альтернатива в работе [3] предлагается методика оптимизации критерия взаимной близости с использованием генетических алгоритмов поиска. В развитие этого подхода в данной работе предлагается модифицированный алгоритм. Основное отличие предлагаемой схемы от базовой в способе выбора множества оценок, по которым выполняется рассчет согласованности. Если в базовом алгоритме оценки рассчитываются по множеству наборов строк некоторой

подсистем, то в предлагаемом методе ищется наиболее согласованное подмножество на множестве всех возможных оценок.

Множество оценок распределяется в пространстве параметров моделей неравномерно и не регулярно, для определения характеристик этого множества можно использовать методы фрактальной геометрии. В частности для оценки плотности этого множества в данной работе рассчитывается показатель так называемой дробной размерности. Эффективность предлагаемой методики проверяется на задаче линейной аппроксимации спектров отражения красочных смесей.

Постановка задачи и предположения

Предполагается, что на основе физических законов и/или эмпирических соотношений задана структура модели:

г* = Fk (х*, с), (1)

* *

где гк, г; - известные или доступные для

непосредственного измерения скаляр и вектор, удовлетворяющие точной параметрической модели заданного вида (1) (в предположении, что такая модель существует), а с -МХ 1-вектор неизвестных параметров, подлежащий определению.

Пусть производится серия из N измере-

^ * *

ний гк , гк в условиях, при которых вектор

искомых параметров остается неизменным. Тогда можно записать систему уравнений вида:

Ук = Fk (Х; , С)+ £ к = , (2)

где хк и ук - непосредственно наблюдаемые в эксперименте вектор и скаляр соответственно, а £к k=1,N - ошибки. Предполагается, что ошибки измерений пренебрежимо малы по сравнению с ошибками аппроксимации. Поэтому можно считать, что ошибки входят в уравнения аддитивно. Таким образом, задача идентификации модели в данном случае заключается в определении МХ 1- вектора с по

малому числу наблюдений гк, гк, к = 1, N в присутствии вектора ошибок

£ = [£, £2,..., ^ ]г . Нам потребуются следую-

щие предположения относительно компонентов соотношения (2):

1. Скаляры yk и вектора xk k = 1, N

фиксированы, т. е. известны в результате измерений на одной реализации.

2. Число наблюдений мало, так что имеет место неопределенность статистических характеристик вектора о.

3. Норма вектора ошибок

% = [£j,£2,...,£n ]t ограничена, а его направление в шаре

S = %: (%T % f = Н 2 < R%= Const j случайно.

Под случайностью направления вектора ошибок понимается отсутствие систематического смещения к какому либо значению.

Процедура построения оценок

В зависимости от вида зависимости F можно предложить различные методики нахождения оценки С вектора с, в частности в работе [5] оценивание проводится для нелинейных моделей цветовоспроизведения. Однако предлагаемые в этой статье методики оценки плотности оценок с использованием дробной размерности инвариантны к способу получения оценок, и их применение вполне может быть рассмотрено для модели типа линейной регрессии:

Xc = y +(3)

Оценка параметров (3) рассчитывается по МНК как:

(3 = [XTXГ1 XTy. (4)

В [6] показано, что для улучшения оценки (4) оправдано применение следующего класса модифицированных МНК оценок:

c = [X^X]"1 XTG2k(y + Ayk). (5) где Gk так называемая весовая матрица, а

Ayk — корректирующий вектор.

Базовый метод согласованного соответствует нулевому значению корректирующего вектора Ay = 0 и весовой матрице диагонального вида

Gk = diag (d) = diag (dk,..., d^!), (6)

где di = 1 если k-тая исходной системы входит в подсистему по которой проводится оценивание, иначе di = 0, причем ранг

R = rank (G\) равен количеству строк в k-той подсистеме, в дальнейшем эту величину будем называть рангом подсистемы. Для Gk

соответствующей некоторой подсистеме верхнего уровня строятся все возможные матрицы Gk , rank(Gk ) = P . Строятся оценки:

скл = [XTG2KqXГ1 XTGl. (7) Для подсистемы верхнего уровня вычисляется значение критерия взаимной близости оценок на подсистемах нижнего уровня, вообще говоря, как функция следующего вида:

W(ck,„...,Ckq), Q = CPR . (8) По подсистеме с наилучшим значением W строится окончательная точечная оценка вектора параметров C.

Такая оценка может быть выбрана как наиболее близкая к среднему значению

c множества 0k состоящего из всех оценок для k-той подсистемы верхнего уровня:

c = arg min (c - c).

Cq<=-0k '

(9)

в этом случае С е0 к и соответственно можно указать матрицу Gk из (6) и подмножество строк системы (3) по которым найдена оценка. Однако можно выбирать С равной

среднему значению множества 0к: 1

Qk cieeK

c k = ck .

(10) (11)

В этом случае С не обязательно принадлежит 0 к . Если У к : С £ 0 к, то найденная

оценка не удовлетворяет (7), однако удовлетворяет (5), в силу непрерывности этого соотношения. Т.е. этой оценке соответствует не только некоторая весовая матрица, но и не нулевой корректирующий вектор.

Можно предложить следующее обоснование метода. Рассмотрим геометрическую

трактовку процесса формирования множества оценок и выбора среди них наилучшей. Каждой подсистеме верхнего уровня соответствует некоторое множество оценок 0к, обозначим диаметр этого множества за dk . Тогда из требования (3) об отсутствии систематического смещения вектора ошибки следует, что, истинное значение вектора параметров находится внутри области покрываемой

множеством 0к, по крайней мере, для подсистем с рангом Rk > Rпор . Таким образом,

для большинства подсистем начиная с некоторого ранга истинное значение вектора параметров должно покрываться пересечением

всех 0к . Если рассматривать все множества

0к соответствующие подсистемам одного ранга, то количество оценок в каждом из этих множеств будет одинаковое. Тогда наиболее согласованной системе будет соответствовать наиболее плотное множество оценок. В свою очередь оценки такого наиболее плотного множества оценок будут наименее удалены от истинного значения параметров. Таким образом, можно определить критерий взаимной близости для подсистемы как плотность соответствующего множества оценок.

Наиболее плотное множество оценок не обязательно принадлежит некоторой подсистеме верхнего уровня, это может быть произвольное подмножество оценок, причем возможно полученных для подсистем различного ранга. С учетом этого факта можно предложить алгоритм получения согласованных оценок не на подсистеме верхнего уровня, а непосредственно, а непосредственно на наиболее плотном подмножестве из пространства оценок.

Такой модифицированный метод получения согласованных оценок возможно реализовать при помощи генетического алгоритма поиска, определяемого следующим образом. Хромосома (особь) представляет собой

вектор d1k и определяет весовую матрицу (6).

Популяция соответствует множеству 0к .

Селекция родителей проводиться по случайной схеме, чтобы увеличить пространство

поиска алгоритма. Оператор мутации стандартный, кроссовер одноточечный. Приспособленность особи считается как отклонение оценки соответствующей особи от среднего значения по популяции на данной итерации. Приспособленность рассчитывается в два этапа: сначала для всех особей рассчитываются оценки Ск ) (5) и находится среднее

по популяции по формуле (10), а потом рассчитывается приспособленность каждой особи как:

f (dk) = ck (dk) - c

(12)

pt (s) = lim

n (е)

(13)

£^0 N

представляет собой вероятность того, что некоторая точка находится в /-той ячейке. Введем в рассмотрение обобщенную вероятностную сумму Z(q, в), с показателем степени - го < q < +го

N (е)

Z (q,e) = £ pq (е).

(14)

Как было показано в [5] генетический поиск позволяет за счет некоторого увеличения ошибки оценивания значительно сократить вычислительные затраты на построение согласованных оценок.

Плотность множества оценок

В предыдущем разделе неявно использовалось среднее арифметическое приближение плотности множества 0. Однако множество 0 не регулярно распределено в пространстве и поэтому такое приближение является очень грубым. Рассмотрим задачу более точного вычисления плотности точечного множества 0. Плотность данного множества можно определить как отношение мощности множества к объему, покрываемому

множеством в пространстве р0 = Q / V0 . Характеристикой того, как распределяется множество в пространстве, является размерность множества. Точечному множеству свойственна так называемая мультифрактальная размерность.

Обобщенная фрактальная размерность (размерность Реньи) согласно [7] определяется следующим образом. Разобьем область L М-мерного евклидова пространства, содержащую точечное множество 0, на кубические ячейки со стороной ее и объемом £М. Пусть номер / занятых ячеек в которых находится хотя бы одна точка множества 0 изменяется в пределах / = 1,2...N (г), здесь N(ee) суммарное количество занятых ячеек.

Пусть п^ (г) представляет собой количество точек в ячейке с номером /, тогда предел

Спектр обобщенных фрактальных размерностей Dq характеризующий распределение точек множества определяется как: т^)

D = q-1

где т(д) имеет вид:

z(q) = lim

ln Z (q,e) ln е

(15)

(16)

^0 * Dq

Если Dq = const, то множество представляет собой регулярный фрактал, если Dq

переменная величина, то множество представляет собой мультифрактал. Величина

Vq равна хаусдорфовой размерности множества. Для оценки плотности точечного множества можно воспользоваться данным значением размерности в силу его экстремальных свойств.

Если предположить гиперкубическое строение множества И, то его объем можно оценить как

V0= rDo. (17)

Если предположить, что множество оценок структурой близкой к радиально симметричной, то можно воспользоваться определением массовой размерности, что позволит существенно уменьшить вычислительную сложность.

Для радиально симметричного множества оценок объем рассчитывается как:

V0= r(Do)rD

(18)

где

7(Do) = Г(1/2)Do /Г(1 + Do/2), (19) Г(х) - Гамма-функция:

2

o

Г(X) = Je-ttx~ldt, x > 0.

(20)

Окончательно плотность множества 0 оценок на подсистеме определяется как:

N

р& = к^. (21)

Вычисленная таким образом плотность множества оценок может быть использована в качестве критерия взаимной близости. Для множеств с одинаковым диаметром и количеством элементов в качестве критерия близости можно использовать непосредственно значение размерности Хаусдорфа. В частности такое использование эффективно для одинаковых подсистем в базовом алгоритме построения согласованных оценок или для вычисления значения согласованности популяции при генетическом построении оценок. При этом наиболее согласованному множеству оценок соответствует наименьшая размерность.

Численное исследование

При практическом вычислении размерности (15) возникает ряд проблем. Две основные заключаются в необходимости выбора шага по ee и в конечном размере множества, размерность которого оценивается. Вычисленное значение размерности точечного множества смещается относительно истинного значения тем сильнее, чем меньше количество точек в множестве. Значение не значительно при десятках тысяч точек в множестве. При расчете размерности подсистемы небольшого ранга приходится иметь дело с менее чем с тысячей точек, а для генетического алгоритма использовалась популяция в 400 точек, при таких количествах точек смешения вычисленной размерности становиться не приемлемым.

В работе [8] предлагается способ уменьшения этого смещения для клеточного алгоритма вычисления размерности. Он заключается в сравнении межточечных расстояний на исследуемом множестве и на сгенерированном фрактальном множестве. С использованием предлагаемого алгоритма удалось вычислить размерности для множеств из не-

скольких множеств точек. Однако для множеств, в которых количество точек различается на порядок и более значения получаемых размерностей не сравнимы. Поэтому, фрактальная размерность, вычисленная таким образом, может использоваться в качестве функции взаимной близости только для множеств, с примерно одинаковым количеством точек.

В качестве примера рассмотрим оценивание параметров линейной зависимости (3) спектра отражения красочной смеси от компонент входящих в смесь. Пример модельный, спектр смеси был получен расчетным путем, а потом на него было наложены шумы. Используется 17 отсчетов спектра, графики спектров смеси до (гладкая кривая) и после зашумления приведены на рисунке 1.

Спектры компонент, входящих в смесь, приведены на рисунке 2. Таким образом, исходная система имеет матрицу 17x5.

Остаточная сумма квадратов для оцен-

1инна волны. Рис. 1. Спектр смеси

550 600 650 700

Длинна волны, нм Рис. 2. Спектры компонент смеси

ки (4) по исходным данным составляет 2.785. В дальнейшем ошибкой будем называть СКО между рассчитанным и не зашумленным спектром. Для МНК оценки по исходной системе ошибка составляет 2.7115. Для базового алгоритма использовались подсистемы нижнего уровня ранга 7 и подсистемы верхнего уровня ранга 12. Исходной системе соответствует С/7 = 19448 оценок на подсистемах нижнего уровня, это множество имеет размерность Хаусдорфа, рассчитанную клеточным методом, равную D0 = 1.831. Каждой подсистеме верхнего уровня соответствует 792 оценки, для наиболее согласованной подсистемы оценка рассчитывается по (11). Ошибка для такой оценки составила 0.112,

размерность D0 = 0.976 , что значительно меньше, чем для исходной системы. Для произвольно взятой подсистемы верхнего уровня ошибка составила 1.753 и D0 = 1.128.

При использовании генетического алгоритма наилучшее значение ошибки составило 0.964. Размерность D0 вычислялась для множеств из 200 точек, что соответствует использовавшемуся размеру популяции. Значения ошибки и размерности приведены в таблице 1.

Из таблицы видно, что меньшему значению размерности соответствует меньшее значение ошибки, что действительно позволяет использовать оценку размерности в качестве критерия взаимной близости. Однако для множеств с равным количеством точек это не так.

Поиск таких фрактальных характеристик множества оценок, которые были бы не зависели от количества точек в множестве, требует дальнейшего исследования.

Заключение

В данной работе проведено исследование такой характеристики адаптивного оценивания параметров мделей, как плотность множества получаемых оценок. Обосновано применение этой характеристики в качестве критерия взаимной близости при согласованном оценивании по малому числу наблюдений.

Для определения плотности точечного множества использовалась обобщенная фрактальная размерность. В ходе мсследования была установлена непосредственная связь значения размерности и погрешностью оценивания. Экспериментально показана возможность применения размерности Хаусдор-фа в качестве критерия взаимной близости. Однако процедура вычислениия обобщенной фрактальной размерности с большими ограничениями применима к точечным множествам оценок. Разработка процедуры определения размерности свободной от этих ограничений, равно как исследование других фрактальных характеристик множества оценок чвляется перспективным направлением для дальнейшей работы.

Благодарности

Автор выражает глубочайшую признательность профессору В.А.Фурсову и доценту С.Б.Попову за помощь, без которой не была бы написана эта статья. Работа выполнена при поддержке Министерства образования РФ, Администрации Самарской области и Американского фонда гражданских исследований и развития (CRDF) в рамках российско-американской программы "Фундаментальные исследования и высшее образование" (ВЯНЕ) и РФФИ (гранты № 03-0100109, 04-07-90149, 04-07-96500).

Таблица 1. Зависимость ошибки от размерности Хаусдорфа

Ошибка Оценка размерности D0

0.6756 0.8234

0.9611 0.8360

1.2950 0.8661

1.6054 0.9107

2.0753 0.9392

СПИСОК ЛИТЕРАТУРЫ

1. Fursov V A. Theoretical and calculational aspects of constructing recognition algorithms using a small number of observations. Proc. of the All-Russian Conf. "Mathematical Methods of Pattern Recognition" (MMPR-10). Moscow, 19-23 November. 2001.

2. Fursov V.A. Conformity Principle in Problems of Identification, International Conference Melborne, Australia and St.Petersburg, Russia. Springer-Verlag/ 2003.

3. Никоноров А.В., Попов С.Б., Фурсов В.А. Вычислительные аспекты реализации идентификации моделей цветовоспрозве-дения. // Известия СНЦ РАН. Т 4. №1.

4. Nikonorov A., Popov S., Fursov V. Identifying

Color Reproduction Models, Pattern Recognition and Image Analysis. 2003. Vol. 13. №2.

5. Никоноров А.В, Попов С.Б., Фурсов В.А. Идентификация нелинейных моделей цветовоспроизведения. Доклады 11 Всероссийской конференции "Математические методы распознавания образов" ММРО-11, Москва. 2003.

6. Фурсов В.А. Идентификация моделей систем формирования изображений по малому числу наблюдений. Самара: ИПО СГАУ 1998.

7. Федер Е. Фракталы, М.: Мир, 1991.

8. Roberts. A.~J. Estimate generalised fractal dimensions of a set of points. Technical report, http://www.sci.usq.edu.au/staff/ aroberts/fdim.sh, 1994.

MODEL IDENTIFICATION WITH DATA SELECTION BY CRITERIA OF GENERALIZED FRACTAL DIMENSION

©2004 A.V. Nikonorov

Samara State Aerospace University

In the given work the investigation of the density of set of received adaptive parameters estimations is carried out. Application of this characteristic is proved as criterion of mutual closenes during conforming estimayion using small number of observation. For definition of density the value of generalized fractal dimension is calculated. Efficiency of application of a fractal dimension as critera of mutual closenes is experimentally shown.