Загальний випадок фільтра Калмана Текст научной статьи по специальности «Компьютерные и информационные науки»

ronal nets with known topology are investigated. The attempt is done(made) to interprete conveyor information processing in such nets by wave packets. Is shown, that the information processing in nets given topology, has space-time character and answers a hypothesis about space-time organizations of potentials of a head brain. The outcomes of work can be used for want of creation of high-duty data reduction systems.

На протяжении многих лет сохраняется интерес к исследованию информационных процессов в нейронных структурах. Это обусловлено высокой эффективностью обработки информации, присущей таким структурам. В настоящее время отсутствуют достоверные знания о механизмах обработки информации нейронными сетями, существует лишь множество гипотез. Одна из современных гипотез представленная школами М.Н.Ливанова, А.Н.Лебедева, Н.П.Бехтеревой [1,2], базируется на существовании динамических волновых пакетов, как основных носителей информации. Согласно этой гипотезе, информация хранится в памяти в виде устойчивых комбинаций из незатухающих волн нейронной активности. В работе [3] исследована модель нейронной сети, подтверждающая существование таких волновых пакетов. Однако, результаты этих исследований объясняют скорее физическую природу волновых процессов в нейронных сетях, информационный аспект этих процессов исследован недостаточно.

В настоящей работе проводится интерпретации волновых процессов конвейерной обработкой информации в искусственных многослойных нейронных сетях. Эти свойства достаточно полно проявляются в конвергентных сетях, рассмотренных ранее в работах [ 4,5 ]. Моделирование таких сетей может быть проведено с использованием формальных моделей нейронов -пороговых элементов. Модель нейрона для сетей минимальной конфигурации, как показано в [5], описывается выражением:

av[k + 1] = Sgnj 2аЦ - 1 [к] х xv[k] + a2| - 1 [k]j, (1)

времени [к+ 1 ] ,

V - 1Гл у - 1г;т а1 [к] , а2 [к] - выходные сигна.

V -1 слоя в момент времени [к] , ху[к] - сигнал

синхронизации нейрона V слоя.

Рассматриваемая модель нейрона является дискретным аналогом непрерывной модели, предложенной в работе [3]. Временные задержки между слоями сети определяют динамическую память сети. Внутреннее состояние сети в момент времени [ к] можно представить упорядоченной последовательностью состояний нейронов вида:

g[k] = j(a![к], a2[k])(a1 1[k],a2 1 [к], ...,a4 1[к])... (2)

...(a1 [к ],..V„ [к ])

Рассмотрим работу сети при реализации некоторого списка булевых функций от п переменных. Очевидно, любая булева функция от п переменных может быть определена некоторой системой остаточных функций:

f(x 1, ..., xn) = Sgn-j 2 a1(x1, ..., xn- 1 )х xn + a2(x1, ..., xn- 1 ) j,

n- 1

a1 (x1, ..., xn- 1 ) = Sgn-j 2a1 (x1, xn-2) хxn- 1 + (3)

, n-1

+ a2 (x1,., xn-2)

a2(x1, xn- 1 ) = Sgn-|2a3 1 (x1, ..., xn- 2) х xn- 1 +

, n-1 . .

+ a4 (x1,., xn-2)

x1 ) = Sgn-^2a1 х x1 + a^ | ,

«2»-1 ц)=2 и1«-1х х1+а2« },

здесь а .( *) - остаточные булевы функции,

а^ а^, ..., а^ - двоичный набор, задающий функцию

/(х 1, ..., х ). Таким образом, некоторому списку функций п переменных ( ■ ),^2( ■ ), ...,/»( ■ ) можно поставить в соответствие матрицу

(4)

1. 1. 1.

где а^ а2 .а » - двоичный набор, определяющий ^ю

функцию списка ( ■ ),^ ■ ), ...,/»( ■ ) . Пусть, начальное состояние сети определится выражением

д[0] =-|(а 1[0],а2[0])(а?-1 [0],а2-1[0], [0])...(5)

в момент 11 a1 11 a2 . 11 • a n 2n

12 a1 12 a2 . 12 • a n 2n

нейронов

- сигнал 1n a1 1n a2 . 1n • a n 2n

11

11

v

54

"Радюелектрошка, шформатика, управлшня" № 1, 1999

И. С. Захаров, В. Н.Лопин: Конвейерные информационные процессы в многослойных нейронных сетях.

где (а^ а^, ..., а1^ - двоичный набор, задающий в

первом слое сети функцию

к

/(х^ ..., хп), а{ [0] - произвольное состояние

элемента. Считаем, что входные п-разрядные слова поступают на сеть последовательно, начиная со старшего разряда Хр . Тогда при поступлении на первый слой сети

сигнала х^ = хр , в момент времени к=1, сеть устанавливается в новое состояние д [ 1 ] :

y = f2(x2v ..., х2п) =

д [ 1 ] =|(а? [ 0 ],а2 [ 0 ])... , ...(а ^ хр ).а2П -1(Х1 ))(а1.....а2п)}

211211 1

здесь а1 (х1 )...а п(х1) - остаточные функции, х { - 1-

переменная ]-функции. Во время второго такта, по сигналу х1 = х12 , выполняется обработка функции /1^, ...,хп) только вторым слоем. Это означает, что первый слой сети может обрабатывать другую функцию списка /,(х^ ..., хп). При поступлении на этот слой

сигнала х,

Пт-, nr

„ I „ n, П П , 2 n, П = Sgnj 2а1 (х1, ..., xn_ 1 ) хxn + ап(х1, ..

ln - 1>

(6)

2 * ( 12 12 12Л

= Х1 и двоичного набора , а2 , ...,a nJ ,

определяющего функцию f^x^ ...,xn) сеть устанавливается в состояние

. (7)

для 2n такта: nn

y = fn(x1, ...,xn) = .

„ In n, n n , я n. n n , I

= Sgnj 2 a1 (x1, ..., xn - 1 )х xn + a2(x1, ..., xn - 1 )

Из проведенного анализа следует, что любой слой сети в течении такта участвует в обработке лишь одной функции из списка f1( ■ ),f2( ■),...,fn( ■ ) .

Следовательно, такая n-слойная нейронная сеть одновременно обрабатывает n функций, таким образом, процесс обработки списка функций носит конвейерный характер. Обработка выполняется с перемещением информационного потока в направлении от основания к вершине сети при послойной синхронизации. Очевидно, при полной загрузке сети любая функция будет реализовываться через один такт, определяемый временем переходного процесса слоя. Особый интерес представляют замкнутые нейронные сети с поточной обработкой информации. Действительно, в этом случае сеть можно представить функцией переходов дискретного автомата:

A(k + 1 ) = Ф[A(k), U(k)] ,

(9)

q[2] =• (a 1 [0],a2[0])...

( 31, 1 1, 31 , 1 1,4 ( 12 12

...(а1 (х1, х2 )...а2п - 2 (х1> х2 )}--(а1 >.,а2п

Очевидно, на (п-1) - такте работы сети, в режиме загрузки списка функций

/\( ' ),/2( ' )' /п- 1 ( ' ) , устанавливается состояние

д [п - 1] =-|(а1 (х1, х^ - 1 ),а2(х1>., х^ - 1))... . (8)

.(а 1(п - 1 ),.,а2пп - 1)

Таким образом, на п и последующих тактах работы сеть, согласно системе (3), последовательно реализует значения функций списка /1 ( - ),/,( - ), ...,/п( ' ) . Действительно, для п такта:

11

У = /1 Ц,--, хп) = ,

„ L n. 1 1 , 1 n. 1 1 , = Sgn-j 2a1 (x1, ..., xn- 1) хxn + a2(x1, ..., xn- 1 )

для (n+1) такта :

где А(к + 1) - вектор состояний в момент времени к + 1 , А (к) - вектор состояний в момент времени к , и(к) - вектор возмущений в момент времени к, Ф( 0) -функция преобразования. В общем случае, система (9) определяет некоторое множество динамических последовательностей состояний М = {(цг-)} . Каждой

соответствует некоторое значение и(к) . Можно отметить, что функция переходов автомата (9) определяет дискретный вариант описания нейронной сети, тождественный системе дифференциальных уравнений [3]. Характер протекания информационных процессов в системе (9), очевидно, определяется функцией Ф( 0). Функция Ф( 0) однозначно задает модель нейронной сети и определяется некоторой системой булевых функций вида у^ = фДх^ ..., хп) , где

} = 1,2,..., к. Эта система функций может быть реализована рассмотренной выше многослойной нейронной сетью . Очевидно, в таких замкнутых нейронных системах возможны динамические повторяющиеся последовательности состояний (ДППС). Можно сделать предположение, что накопление информации в нейронных системах связано с расширением множества ДППС, трактуемых в работе [1] как циклические коды. Конвейерная обработка

информации такими многослойными нейронными сетями имеет пространственно-временной характер и поддерживает концепцию Ливанова М.И. о пространственно-временной организации потенциалов головного мозга.

Таким образом, результаты работы объясняют возможность существования волновых процессов в нейронных сетях с позиций конвейерной обработки информации. Искусственные нейронные сети, использующие конвейерную обработку, обладают высокой пропускной способностью и могут быть использованы при создании высокопроизводительных систем обработки непрерывной информации.

ПЕРЕЧЕНЬ ССЫЛОК

1. Ливанов М.Н. Пространственно-временная организация потенциалов и системная деятельность головного мозга. М.: Наука,1989, 400 с.

2. Лебедев А.Н., Луцкий В.А. Ритмы ЭЭГ-результат взаимодействия колебательных процессов // Биофизика, 1972,т.17, N3, с. 556-558.

3. Майоров В.В., Мышкин И.Ю. Математическое моделирование нейронов сети на основе уравнений с запаздыванием // Мат.моделирование, 1990, т.2. N11. с. 64-76.

4. Лопин В.Н. О надежности управляемой сети на пороговых элементах при ограничении на ее сложность. В сб.: Адаптивные системы управления, Киев, ИК АН УССР 1975, с.91-97.

5. Лопин В.Н. Конвейерный принцип обработки информации в сетях на пороговых элементах // Автоматика, 1984, N 1, с. 7073.

УДК. 621.924.229.86

ЗАГАЛЬНИЙ ВИПАДОК Ф1ЛЫРА КАЛМАНА

А. Г. KiKy, Т. i. BiAoyc

Получена модель фильтра Калмана для объектов, когда порядки операторов левой и правой частей их дифференциальных уравнений одинаковы. Фильтр позволяет определить оценки переменных состояния любых таких конечномерных объектов управления в Калмановской постановке.

Необходимость таких фильтров возникает в случае синтеза оптимального управления упомянутыми объектами, а также квазиоптимального управления объектов с чистым запаздыванием, которые апроксимируются известным рядом Пада, у которых порядки операторов левой и правой частей их дифференциальных уравнений одинаковы.

Отримана модель ф1льтра Калмана для об'ект1в, коли порядки оператор1в л(воЧ i правоi частин ¿хтх диференщальних ргвнянь однаковi. Фiльтр дозволяе визначити ощнки змiнних стану будь-яких таких кiнцевомiрних об'eктiв керування в Калматвськш постановщ.

Необхiднiсть таких фiльтрiв виникае у випадку синтезу оптимального керування згаданими об'ектами, а також квазюптимального керування об'eктiв iз чистим затзнюванням, що апроксимуються вiдомим рядом Пада, у яких порядки операторiв лiвоi i правоi частин iхтх диференщальних рiвнянь однаковi.

The model of the filter Kalman for objects is received, when the orders of the operators left and right parts of their differential equations are identical. The filter allows to define estimations of a variable condition anyone such of objects of management in Kalman to statement.

The necessity of such filters arises in case of synthesis of optimum control of the mentioned objects, and also optimum of management of objects with pure delay, which aproсses by a known line Pada, at which the orders of the operators of the left and right parts of their differential equations are identical.

Ф1льтр Калмана розроблений для випадюв, коли р1вняння стану об'екив, в тому числ1 i об'екив керування, описуються моделями виду:

Х( t) = A (t)x( t) + B1 (t) u (t) + B2w( t) Mx( t0) = x (t0)

(1)

T

де х = [х1 ...хп] u = [u1...ur] , W = [ W1... Wl]

вщповщно вектори змшних стану, управлшня 1 перешкод; А, В1, В2 - матриц розм1ром (п х п) , (п х г), (п х /) в1дпов1дно, х(- початков1 умови, М - оператор

математичного спод1вання. При цьому W(t) -гаус1вський центрований б1лий шум з1 кореляцшною матрицею

Pw(^т) = M[ч>(0™7,(т)] = Q(t)8(t- т), (2)

де 8( ^ - функщя Дирака, 0(0 - матриця штенсивноси шума.

Якщо шум не б1лий, то його можна "об1лити" за

допомогою в1дпов1дних ф1льтр1в. Ф1льтр змшних стану х( t) вид1ляе оцшки вектора x(t) на основ1 шформацп про нього, яку отримано за допомогою вим1рювача, 1 який описуеться моделлю

Уы(t) = ^^х(t) + у(t) , (3)

T T

де у = [y1.■■ym ] , V = [у1 .vm ] - вектори

вим1рювання 1 перешкоди вим1рювання, С(0 - матриця розм1рн1стю (ш х ш) .

Проте, коли порядки л1во! та право! частин диференцшного р1вняння об'екту р1вш, в1н описуеться моделлю

х (0 = Ах( t) + В1 (t) и (0 + Б2м> ,

Мх( t0) = х (t0), (4)

у(0 = Сх(t) + Би(t) , (5)

де (4) р1вняння стану; (5) - р1вняння виходу; у -

56

"Радюелектронжа, iнформатика, управлiння" № 1, 1999