О рекуррентных непараметрических алгоритмах адаптации Текст научной статьи по специальности «Компьютерные и информационные науки»

Математические методы моделирования, управления и анализа данных

Это делает метод интерпретируемым и дает возможность применять его для решения тех задач, в которых потери от принятия неверного решения могут быть велики, и само решение должно быть обосновано.

Многие методы распознавания образов (например, нейронные сети, метод опорных векторов) хотя и находят решения с хорошей точностью, но не дают касательно них каких-либо объяснений. Но при использовании систем диагностики и прогнозировании в практических задачах (например, задачах медицинской диагностики и прогнозирования) порой требуется знать, почему некое новое наблюдение принадлежит определенному классу, как далеко оно от «границы» классов, насколько это решение обоснованно. В таких случаях требуется метод классификации данных, который помимо самого решения предоставит в явном виде решающее правило, т. е. выявляет знания из имеющихся данных.

Библиографические ссылки

1. Hammer P. L., Bonates T. Logical Analysis of Data: From Combinatorial Optimization to Medical Applications. RUTCOR Research Report 10-2005, 2005.

2. Antamoshkin A. N., Masich I. S. Unimprovable algorithm for monotone pseudo-Boolean function conditional optimization // Engineering & automation problems. Vol. 6. № 1. 2008. P. 71-75.

3. Antamoshkin A. N., Masich I. S. Heuristic search algorithms for monotone pseudo-boolean function conditional optimization //Engineering & automation problems. № 3. 2007. P. 41-45.

4. Осложнения инфаркта миокарда: база данных для апробации систем распознавания и прогноза : препринт № 6 / С. Е. Головенкин, А. Н. Горбань, В. А. Шульман и др. Красноярск: Вычислительный центр СО РАН 1997.

I. S. Masich, R. I. Kuzmich Siberian State Aerospace University named after academician M. F. Reshetnev, Russia, Krasnoyarsk

SEARCH ALGORITHMS FOR PSEUDO-BOOLEAN OPTIMIZATION IN CLASSIFICATION PROBLEMS

A data classification method based on combinatorics and optimization is considered in the paper. The decision rule bases on the model received by solving combinatorial optimization problems. Search algorithms of pseudo-Boolean optimization are designed and investigated for solving these problems.

© Масич И. С., Кузьмич Р. И., 2011

УДК 519.8

А. В. Медведев

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Россия, Красноярск

О РЕКУРРЕНТНЫХ НЕПАРАМЕТРИЧЕСКИХ АЛГОРИТМАХ АДАПТАЦИИ

Рассматриваются непараметрические оценки кривой регрессии по наблюдениям с помехами. Приводятся для одного частного случая рекуррентные непараметрические алгоритмы управления экстремальным объектом и соответствующие теоремы сходимости.

В теории адаптивных систем развитые ранее непараметрические алгоритмы не допускают рекуррентную запись [1]. Однако, как видно будет ниже, рекуррентное представление непараметрических алгоритмов возможно для одного частного случая. Основанием для этого является непараметрическая оценка плотности вероятности случайной величины х по

наблюдениям X, 1 = 1,5, имеющей вид [2]:

Р5 (х) = 5-1 ^ с-'ф (с- (х - X)), допускающая рекур-

1=1

рентную запись:

Р.5 (х) = Р5-1 (х)- 5-1 (Р_, (х)- с-1ф(с-1 (х - X. ))) , (1)

где колоколообразная функция ф(-) и параметр размытости е, 1 = 1,5 удовлетворяют некоторым условиям сходимости [2].

Используя рекуррентную оценку плотности вероятности (1), можно получить соответствующую оценку функции регрессии по наблюдениям пары случайных величин (х, у), т. е.

y (xbiX'y,Ф i-zl |/х^Ф

' x - X I

(2)

где (Xt, Yj, i = 1, s) - выборка наблюдений случайных величин (x, y) с помехами. Непараметрическая оцен-

Решетневскце чтения

ка функции регрессии ух (x) = M {у | х} (2) может быть представлена в рекуррентном виде. Для этого в (2) прибавим и вычтем у5-1 (x) и преобразовывая

Прибавляя и вычитая в (5) us, выделим слагаемое

Y c-Y ф

x - X,.

/ ес-'ф

( x - X ö

( *

YUc-'F ^^ I / Ес-'ф

^ г* X ö ö

- u

С 0 0

. (8)

- ys-1 (x), получим:

Несложные выкладки (8) приводят (5) к виду

ys (x) = ys-i (x)- a-Ч1 (ys-i (x)- ys)ф Уо (x ) = y (Xо);

' x - X, ö

s

us +1 = us -Dus

1+ß-V;'F

xs+1 -

/0

(3)

a = a , + с'Ф

( x - X ö

ßs-1 =Y c-'Ф

( *

(9)

ßo = 0

a0 = 0.

Анализ рекуррентной процедуры (9) показывает, что при неудачном шаге на 5-ой итерации на (5 + 1)-ой Если Х1 = Х;_1 + Дх, Дх - шаг дискретизации, итерации Ди5 вычитается из и5, т. е. возвращает ее в

i = 1, s, то оценка (2) упрощается и принимает вид

ys (x) =1Е Y.c-'H

( x - X ö

предыдущее состояние, и далее делается следующий шаг Ди5+1 в соответствии с (9). Рекуррентные алго-(4) ритмы класса (3) и (9) назовем мультирекуррентными.

Пусть наименьшему значению х = х соответству-

где H(•) с точностью до постоянной равна колоколо- ет такое и*, что х(u*) = minх(u). При

активном на-

П(и)

образной функции Ф(-). Рекуррентная форма оценки

(4) очевидна.

При непараметрическом управлении безынерционным объектом в условиях активного накопления которые измеряются в процессе управления объектом.

коплении информации имеют место наблюдения пары случайных величин (Х1, и1), (Х2, и2),..., (Х5, ),

информации, алгоритм дуального управления имеет вид [1]:

(5)

us +1 =u* + DUs+ 1>

( *

**=YuФ ^^ I / YuФ

' x*+i - Xi ^

(6)

Имеет место следующая теорема. Пусть х (u) e L2 - измеримая функция и lim cs = 0, lim scs = ¥ , c, > 0,

i = 1, s, limM{|Aus} = 0, тогда limM { us+j -u* } = 0.

S®¥ " s®¥ III II.)

В заключении заметим, что применение мультире-куррентных процедур возможно только в случае, если где u - входное управляющие воздействие; х - вы- х* - единственная точка, например, при управлении ходная переменная; Aus+1 - поисковые шаги, такие, экстремальным объектом интерес представляет толь-что Aus ® 0 с ростом s. Например, ко экстремальное значение х (u). Мультирекуррент-

Aus+1 = e(х*+1 -хs), а х*+1 < х°0, х°0 < minх,, например ные алгоритмы могут быть полезны также щи мед' ленно меняющемся во времени значении х (t). х*+1 = х° - cs. С учетом (1) формулу (6) можно привести к виду:

YUiC-'Ф

( *

x,.+, - X,

Л

Y сг'Ф

' x*+i - Xi ^

(7)

Библиографические ссылки

1. Медведев, А. В. Непараметрические системы адаптации. Новосибирск : Наука, 1983.

2. Wolverton C. T., Wagner T. J. Recursive estimates of probability densities IEEE Trans // Syst. Sci and Cybernet. 1969. Vol. SSC-5. № 3.

A. V. Medvedev

Siberian State Aerospace University named after academician M. F. Reshetnev, Russia, Krasnoyarsk

ABOUT RECURRENT NONPARAMETRIC ADAPTATION ALGORITHMS

Nonparametric estimations of a curve regression according to observations with a noise are considered. Recurrent nonparametric algorithms of control by an extreme objects and corresponding theorems of convergence are given for one particular case.

© Медведев А. В., 2011