CC BY
38
В целом процедура использования имитатора сигнала HP показывает, что при ширине спектра рассеяния в 10 кГц, образуемой в случае использования несущей 150 МГц, и при дискретности элементов спектра не более 50 Гц можно получить достаточную точность оценки работоспособности технических систем радиолокатора HP. Погрешность не превышает одного процента при длительности зондирующего импульса порядка 1 мс и незначительно увеличивается с ростом задержки т .
Полученные выводы можно отнести и к радиолокаторам HP, работающим на других частотах, если использовать шаг по частоте 0,5 % от полосы, а длительность импульсов будет соответствовать интервалу корреляции флуктуаций электронной плотности.
Выводы
Таким образом, применение имитаторов, позволяющих формировать входные сигналы длярадиолокато-ров HP при произвольном векторе ионосферных параметров, даёт возможность контролировать правильность функционирования его алгоритмического обеспечения.
Научная новизна приведенных в статье результатов состоит в том, что получила дальнейшее развитие процедура контроля состояния такого сложного объекта, как измерительный радиолокационный комплекс, предназначенный для определения параметров околоземной космической плазмы.
Практическая значимость результатов исследований связана с полученной возможностью иметь с помощью имитатора псевдослучайного сигнала HP дополнительную информацию, необходимую для принятия решений о достоверности расчёта параметров ионосферы.
Дальнейшее направление исследований состоит в разработке информационных технологий, позволяющих в реальном времени оценивать методические погрешности измерений и автоматизировать процесс обработки ионосферной информации
УДК 517.922+517.958
СТРУКТУРНЫЕ И ФУНКЦИОНАЛЬНЫЕ ХАРАКТЕРИСТИКИ ДЕСКРИПТОРНЫХ НЕЙРОННЫХ СЕТЕЙ
РУТКАС А.А., ХАХАНОВ В.И.__________________
Дескрипторные нейронные сети конструируются из динамических и статических нейронов. Они являются логическими схемами полулинейных дифференциально-алгебраических (дескрипторных) систем. Нейросетевая модель дескрипторной динамической системы строится по нормальной форме уравнений системы и качественно характеризует ее эволюцию.
Литература: 1. Dougherty J.P, Farley D.T. A theory of incoherent scattering of radio waves by a plasma // Proc. Roy. Soc. A259. 1960. P. 79-99. 2. Farley D. 71, Dougherty J. P., Barron D. W. A theory of incoherent scattering of radio waves by a plasma // Proc.Roy. Soc. 1961. V. A263. P. 238258. 3. Эванс Дж. Теоретические и практические вопросы исследования ионосферы методом некогерентного рассеяния радиоволн//ПТИЭР. 1969. Т. 57, №4. С. 139177. 4. Рогожкин Е.В. Измерение параметров ионосферной плазмы по корреляционной функции сигнала некогерентного рассеяния // Ионосферные исследования. М.: Наука, 1979. № 27. С. 46-59. 5. Зондирующие сигналы для исследования ионосферы методом некогерентного рассеяния /7 Рогожкин Е.В., Пуляев В.А., Лысенко B.FI. Харьков: НТУ «ХПИ». 2008. 256 с. 6. Рогожкин Е.В., Пуляев В.А., Белозёров Д 77. Моделирование сигнала некогерентного рассеяния с заданными корреляционными свойствами // Радиотехника. Харьков: ХНУРЭ. 2007. № 149. С. 38-42.
Поступила в редколлегию 22. 02. 2009 Рецензент: д-р. техн. наук, проф. Дмитриенко В. Д.
Белозёров Дмитрий Петрович, м. н. с. Института ионосферы НАН и МОН Украины. Научные интересы: автоматизация процесса обработки ионосферной информации. Адрес: Украина, 61082, Харьков, пр. Московский, 232А, кв. 48.
Пуляев Валерий Александрович, д-р техн. наук, профессор, зам. директора Института ионосферы НАН и МОН Украины. Научные интересы: информационные технологии оценки параметров ионосферы. Адрес: Украина, 61055,Харьков,ул. 2Пятилетки, 59,кв. 65,тел. 94-37-41.
Рогожкин Евгений Васильевич, д-р физ.-мат. наук, профессор кафедры «Радиоэлектроника» НТУ «ХПИ». Научные интересы: исследование ионосферы методом некогерентного рассеяния. Адрес: Украина, 61174, Харьков, пр. Победы, 57Г, кв. 40, тел. 33-76-146.
1. Введение
Дескрипторные системы управления описываются системами дифференциально-алгебраических уравнений, векторная форма которых имеет вид
~ (Ax(t)) + Bx(t) = f (t, x), (1)
где (n x n) - матрица А может быть необратимой:
det A = 0 [1]. Разностная аппроксимация уравнения (1) приводит к дескрипторной системе с дискретным временем [2, 3]:
Ax(k + 1)+Bx(k) =fk(x(k)), k = 0,l,2,... (2)
Существует много исследований линейных динамических систем (1), (2), см. например [3, 4].
РИ, 2009, № 1
37
Здесь мы не рассматриваем задачу оптимального управления ([1, 2]), поэтому управляющее воздействие в правых частях уравнений (1),( 2) не выписываем в явном виде. В работах [5,6] некоторые классы дескрипторных систем (2) моделировались с помощью дескрипторных нейронных сетей, сконструированных как специальные соединения динамических и статических нейронов, именно классических нейронов типа Хопфилда и Маккалоха-Питтса [8,9] или их векторных обобщений. При этом рассматривались те и только те нейронные сети, которые моделируют дескрипторные системы (2) индекса 1. Это означает, что для больших значений спектрального (частотного) параметра X матрица-функция R(X) = (ХА + В)-1 существует и ограничена:
(ХА + В)-1
sc-fefcCX) <с0,
X > г.
(3)
В настоящей работе ограничение (3) снимается. Мы получаем структуру и анализируем функциональные и параметрические свойства нейронной сети, моделирующей дескрипторную систему (2) с произвольным регулярным характеристическим пучком матриц ХА + В • Регулярность означает, что характеристический многочлен не является тождественно нулевым:
det(XA + В) ^ 0 . (4)
2. Нормализация дескрипторной системы
Для любого регулярного пучка ХА0 +В0 квадратных матриц существуют две обратимые квадратные матрицы P.W . приводящие пучок ХА0 +В0 к нормальной форме К.Вейерштрасса [4]:
Р(ХА0 + B0)W =ХА + В, А
Е 0 . В = J 0
_ 0 н Е
(5)
Здесь матрицы А, В нормальной формы записаны в блочно-диагональной форме, где Ej - единичная матрица размерности j х j, j - матрица размерности mxm. Матрица Н размерности (п-щ)х(п-т) является блочно-диагональной, причем ее диагональные блоки являются нильпотентными клетками Жордана Nj размеров Sj, так что Xsi =n-m.
N; =
0 1 0 . . о"
0 0 1 . . 0
. N-' =0, Nji_1^0
0 0 0 . . 1
0 0 0 . . 0
Число р = maxs; назътваетсяиндексомпучкаматриц І
ХА о + В0 и пучка ХА + В • Ясно, что индекс р пучка совпадает с индексом нилъпотентност и матричного блока Н в (5): Нр-1 t- 0. Нр =0. Дескрипторная система с дискретным временем
38
A0z(k +1) + B0z(k) = gk(z(k)), k =0,1,2,... (7)
приводится к эквивалентной «нормализованной» системе
Ax(k + 1)+Bx(k) = gk(Qx(k)), k = 0,1,2,...
путем замены состояния z(k) = Wx(k) и умножения уравнения (7) на обратимую матрицу Р. Чтобы избежать чисто технических усложнений и не вводить промежуточных обозначений для вектора состояний и коэффициентных матриц, мы будем считать, что в исходном уравнении (2) матрицы А, В уже имеют нормальную форму (5). Легко показать [4,7], что для пучка ХА + В (и для любого эквивалентного ему пучка) при больших X справедлива оценка
(ХА + В)-1
<С-[Х|Р \
N
> г
(8)
Здесь г выбирается так, чтобы г > max|Xk| + є ,где Xk
k
- корни характеристического многочлена (4).
Индекс р пучка ХА + В можно также определить как наименьшее целое число, для которого справедлива степенная оценка (8) для матрицы-функции (ХА + В) 1 = R(X). Если матрица А обратима, в частности при А = Е , то р = md(X А + В) = 0 , система (2) является явной разностной системой. Таким образом, ненулевое значение индекса р > 1 является признаком дескрипторностис исте м ы. Если индекс пучка р = 1, то оценка (8) превращается в оценку (3) и в нормальной форме (5) нильпотентный блок н оказывается нулевым: Н = 0 • Нейросетевые модели дескрипторных систем индекса 1 строились в [5, 6].
3. Структура дескрипторных нейронных сетей произвольного индекса
В соответствии с подходом в теории нейронных сетей [8, 9] нелинейные векторные функции fk(x) в (2) выбираются в форме
fk(x) = T/(u),u = Wx + 0(k), (9)
где и є Rn - вектор внутренних состояний сети; х є Rn - вектор входов. Элементы Wjk матрицы W трактуются как синаптические веса, компоненты 9; (к) вектора 9(к) - как смещения или внешние воздействия на к -м такте. В соответствии с разбиением нормализованных матриц А, В на блоки (5) разобьем на два блока векторы х,у в уравнении (2):
х =
_ _ - xi М'1 хт+1
V -Ф = Ф ; v = ,ф = ,h =
її
_хт _ _Ч'т_ _ Хп _
' (Ю)
Для простоты мы предполагаем, что нильпотентный блок Н в (5) состоит из одной нильпотентной клетки Жордана Nj = Н индекса р ; тогда в (6) Sj = р = п - ш.
РИ. 2009. № 1
Это предположение позволяет получить визуально обозримые логические схемы модельных нейронных сетей, сохраняя те особенности их структуры, которые определяются произвольно высоким индексом р = ind(/.A + В). Теперь при каждом к = ОД,... векторное уравнение дескрипторной системы (2) переписывается так:
v(k +1) + Jv(k) = cp(Wx(k) + 9(k)), (11)
xm+2 (k +1) + xm+1 (k) = (Wx(k) + 0(k))
xm+3 (k +1) + xm+2 (k) = v)/m+2 (Wx(k) + 0(k))
xn (k +1) + xn_! (k) = (Wx(k) + 0(k))
(12)
xn(k) = \pn(Wx(k) + 0(k)). (13)
Здесь уравнения (12), (13) являются скалярными, уравнение (11) - векторным, если m > 1.
Предв арительно рассмотрим примеры с минимальным числом входов п и малыми значениями индекса р .
Пусть р = 1,п = 2 [5, 6]. Уравнения (11)-(13) есть два
такта. После этого значения второй компоненты х2 (k +1) следует искать как явную ф\ нкцию
х2(к + 1) = F(xj(k + 1),9(к + 1)) (16)
из неявного уравнения (15), записанного для ]< + і -го такта:
х2(к + 1) = y2(U](k + l),u2(k + 1)),
uj(k +1) = ^ WjiX; (к + 1) + 0j(k +1) (17)
i=l
Условия на функцию активации (|/2 и матрицу синаптических весов W, достаточные для получения из (17) явной функции F (16). указаны в [10] длячастно-го случая активационных функций =v|/k(U|<). Можно скорректировать эти условия в общем случае (14), (15). Получение компоненты выхода х2(к + 1)
через явную функцию F (16) показано на рис.1 п\ нктирным блоком.
Простейшая нейронная дескрипторная сеть индекса р = 2 изображена на рис.2.
скалярных уравнения при каждом к = 0,1,2, . ..;
x1(k + l) + Jx1(k) = y1(u1(k),u2(k)), (14)
х2 (к) = vp2 (uj (к), u2 (к));uj (к) = wj, • Xj(к) +
-f\\ j2 • x21 к i -г 0jі к i (15)
У равнение (14) является явным разностным; уравнение (15) - алгебраическим (статическим).Модельная дескрипторная нейронная сеть изображена на рис. 1.
Рис. 1. Дескрипторная нейронная сеть индекса р = 1 с двумя входами
У равнение (15) задает алгебраическую связь (зависимость) между значениями входов x1(k),x2(k) нак-м такте. Значение первой компоненты выхода х j (k +1) сразу находится из (14) по данным к-го
Рис. 2. Дескрипторная нейронная сеть индекса 2 с тремя входами
Она моделирует дескрипторную систему скалярных уравнений
РИ, 2009, № 1
хДк + 1) + ІхДк) = yjlWxlk) +9(к)), (18)
39
х3(к + 1) + х2(к) = vj/2(Wx(k) + 0(k)), (19)
х3(к) = v[/3(Wx(k) + 0(к));к = 0.1.2.... (20)
Уравнения (18)-(20) являются частным случаем системы (11)-(13), когда п = 3,ш = 1,р = 2;
x = (x1,x2,x3)tr, 0 = (0b02,03)tr
Выражение (20) задает алгебраическую зависимость между компонентами х; (к) входного вектора х(к) на к-м такте. Запишем эту зависимость на (к + 1) -м такте с помощью столбцов W1 матрицы синаптических весов W в виде
x3(k + l) =y3[W1x1(k + l) + W2x2(k+l) +
+ W3x3 (к +1) + 0(к +1)]. (21)
При некоторых условиях на функционал y3(u1, u2.u3) и вектор-столбец W2 уравнение (21) имеет единственное явное решение относительно переменной х2 :
х2(k +1) = F[xj (к +1), х3 (к +1), 0(к +1)]. (22)
Получение второй компоненты х2(к + 1) входа для (к + 1) -го такта по формуле (22) отмечено на рис.2 пунктирным блоком. Статическое равенство (20) на k-м такте отражено в нижней части нейронной сети зацикливанием выходного сигнала активационного
блока \|/3 на шину входного сигнала х3(к) с необходимым реверсом направления (умножением сигнала на -1).
Теперь можно перейти к нейросетевой реализации общей дескрипторной динамической системы (11)-(13) с произвольным индексом р = п - ш. Моделирующая нейронная сеть изображена на рис.З. В верхней части имеется чисто динамический блок с векторным входом v(k), векторным выходом v(k + l) размерности m и активационной векторной функцией <р ;этот блок реализует векторное уравнение (11). Все последующие активационные блоки, отвечающие функционалам vpm+ь••■'Ч'п 5 имеют одномерные выходы и участвуют в реализации скалярных уравнений (12, 13) в количестве n - т . При заданных на k-м такте всех входах х; (к) для (к +1) -го такта остается неопределенным только входной сигнал хш+](к + 1). Предполагается, что хт+1 (к +1) можно однозначно найти из уравнения (13), записанного для (к +1) -го такта. Тогда выражение (13) определяет явную функцию F для получения сигнала хш+](к + 1) с использованием опережающего значения смещения 0(к +1), см. пунктирный блок на рис.З и формулу (28) в п.4.
Замечание 1. Для обозримости модельной нейронной сети выше было сделано упрощающее предположение о том, что нильпотентный блок н в нормальной форме (5) состоит из одной нильпотентной клетки Жордана вида (6).
Рис. 3. Дескрипторная нейронная сеть индекса р = п - ш
В общем случае числа q > 1 нильпотентных клеток изменится структура нижней части сети, отвечающей
РИ, 2009, № 1
40
входам xm+j,...,xn . Каждой нильпотентной клетке будет отвечать индивидуальная подсистема скалярных уравнений вида (12), (13). Каждое алгебраическое уравнение типа (13) необходимо будет разрешить
относительно переменной типа xm+1(k) и соответственно в нейронной сети появятся q разрешающих
блоков F] • 1'2.Fq вместо одного пунктирного блока
F на рис.З.
Рассмотрим важную в теории нейронных сетей ситуацию «невзаимной активации», когда каждая скалярная активационная функция зависит только от одноименной компоненты Uj вектора внутренних состояний U = (u1,....un)lr = Wx -r-0 : Уі(и) =4/i(u;),
і = 1,..., n . Тогда реализация подсистемы щ динамических (разностных) уравнений с векторной формой (11) производится с помощью щ классических динамических нейронов Хопфилда с активационными
функциями = 1......щ. Модельная дескрипторная
нейронная сеть изображена на рис. 4. Дескрипторная часть сети преобразует блок (xm+](k)..xn(k)) векто-
ра входов в вектор (xm+2(k + l),...,xn(k + l),0), который является результатом применения операции левого сдвига к вектору (xm+1(k + l),...,xn(k + 1)). Для сетевого моделирования указанного дескрипторного преобразования на рис. 4 использованы р-1 динамических нейронов Хопфилда с переключением на последующий соседний канал выходов их активационных блоков м;т 11 Ч;п-1 • а также один статический
нейрон Маккалоха-Питтса с возвращением реверсированного выходного сигнала активационного блока
\|/п на шин}7 входного сигнала xn(k).
Замечание 2. В дескрипторных нейронных сетях рис. 1 -4 синаптические усиления или ослабления входных сигналов х; (к) учитываются в активационных блоках г|/;, выходы которых не полностью определяют выходы сети уj (k) = xj (k + 1). а лишь аддитивно участвуют в формировании значений х j (к +1). Во вторую аддитивную составляющую выходов сети входные сигналы хДк) включаются с коэффициента-миматрицы (-J) в динамическом блоке для і = l,...,m и с коэффициентами (-1) для і = m + 2,..., n . Властности, при полном синаптическом подавлении входных сигналов, когда W = 0, сеть трансформирует допустимые (распознаваемые) входные сигналы в выходные в соответствии со своей структурой. Ниже мы опишем эту трансформацию как рекурсивное отображение сети.
Рис. 4. Дескрипторная сеть индекса р = п - ш с невзаимной активацией во всех каналах
РИ, 2009, № 1
41
4. Рекурсивное и эволюционное отображения в дескрипторной нейронной сети
Наше предположение «явной дескрипторной разрешимости» состоит в следующем: для дескрипторной системы (11)-(13) индекса р = п-ш>1 последнее статическое алгебраическое уравнение
\\in (Wx + 0) - хп = 0, х = (xj xn)tr,0 = (0J 0n )tr (23)
однозначно разрешимо относительно компоненты хП1,.|, так что уравнение (23) определяет явную функцию F: R2”-1 —» R по правилу
xm+1=F(Xl....xm;xm+2....xn;0). (24)
Свойство явной дескрипторной разрешимости обеспечивается определенными условиями согласования активационного функционала \|/п и синаптических весов wjjj -коэффициентовматрицы W (см.,например, п.5). Уравнение (23) определяет в пространстве Rn поверхность-многообразие Л = {х} векторов х є Rn , удовлетворяющих равенству (23). При этом поверхность Л = Л(0) зависит от вектора смещений 0 . Функция F осуществляет явное задание допустимой поверхности А = Л(0), где (п -1) переменных Xj(i^m + 1) считаются свободными переменными. Следовательно, на k-м такте уравнение (13) определяет поверхность Л = Л(0(к)) = Лк допустимых входных векторов х(к) для нейросети. Можно считать, что входные векторы х(к) из многообразия Лк распознаются нейросетью на к-м такте, остальные векторы х г Л|_ - не распознаются. Допустимые многообразия (поверхности)
Лк = {х = x(k): ipn (Wx + 0(к)) -хп = 0},к = 0,1,2,...(25)
имеют размерность п -1: dimAk = п -1. Многообразие Aq называется начальным и описывается выражением (25) при к = 0 .
Рассмотрим операторы (отображения) рекурсии Sk и эволюции Фк , действующие следующим образом:
Sk(x(k-1)) = х(к), Фк(х(0)) = х(к); к = 1,2,3,... (26)
Определение этих операторов будеткорректным, если мы точно укажем их области определения и единственность. Выберем любой входной вектор х(к) є Лк на к-м такте. Из уравнений (11), (12) однозначно находится часть выходных компонент
Xj(k +1) = g;(x(k),0(k)),Vi Ф Щ + 1 . (27)
Явное статическое соотношение (24) для х = x(k +1) имеет вид
хт+1 (к +1) = F(xj (к + 1) X т (к +1); хт+2 (к +1)
хп (к -і- 1):Н(к -і- 1)). (28)
Подставляя в правую часть (28) значения х; (к +1) из (27), получаем явное выражение для последней вы-
ходной компоненты через вход х(к) и смещения 0(к),0(к + 1):
хт+1 (к +1) = gm+1 (х(к), 0(к), 0(к +1)). (29)
Следовательно, оператор рекурсии Sk+1 определен однозначно на поверхности Лк = {х(к)}(25), действует как отображение Sk+1: Ak —» Ak+1. Доказана
Теорема 1. В предположении явной дескрипторной разрешимости (24) уравнения (23) для дескрипторной сети рис.З корректно определен оператор рекурсии Sk+1 : Ak —> Ak+1. Он зависит от смещений 0(k), 0(к +1) как от параметров:
x(k + l) = Sk+1(x(k).0(k),0(k + l)). (30)
Эволюционный оператор Фк (26) корректно определен на начальном многообразии Л0, действует как отображение Фк : Л0 —> Лк и является суперпозицией операторов рекурсии
фк =sk °sk-i °-°sl- (31)
5. Специальные классы активаций и синаптических преобразований входов
Рассмотрим несколько характерных значений параметров дескрипторных нейронных сетей рис.З, 4.
5.1. Случай линейной активации в статическом нейроне
В этом случае активационная функция v|/n в уравнении (13) является линейной:
П *г
Ч/п(и) = (а,и) = 2>;и;,а = (аь...,ап)- ^
і—1
Поскольку вектор и внутренних состояний равен
п
u = Wx + 0, гц = X wijxj +0;, то уравнение (13) пе-j=i
реписывается в виде
11 П ( 11 Ап
xn = ZaiUi;xn = V xlj + X^j©,
i=l j = LV і = 1 y i=l
Используя обозначение WJ для j -го столбца матрицы синаптических весов W и отделяя слагаемое с компонентой Хш.:_| , из последнего соотношения получаем
(a,Wm+1)xm+1 = xn - x(a;WJ)Xj -(а,0). Vj^m+l
Здесь (а,Ь) обозначает скалярное произведение векторов а. b є R" . Если
(a, Wm+1 )*0~ Xaiwi.m+i (33)
i=l
то на каждом такте компонента хш+| вектора входных сигналов х = х(к) выражается через остальные его компоненты по формуле
42
РИ, 2009, № 1
Mil +1
(к):
= (l.Wm+1)"1
Xn(k)
2(a,WJ)\j(k)
Vj ^ mil
£ (a11, W-> )x: (k +1) - (a11,0(k +1))
j^m+l
(39)
-(a.0(k))]. (34)
Получен следующий признак явной дескрипторной разрешимости (см.п.4).
Теорема 2. Пусть в дескрипторной нейронной сети рис.З, 4 активационная функция уп последнего (статического) нейрона является линейной в смысле представления (32). Если вектор коэффициентов a и вектор-столбец Wm+1 синаптической матрицы не ортогональны друг другу в пространстве R11, то алгебраическое уравнение (13) ~ (23) явно разрешается относительно компоненты хт+1 и соответствующая явная функция f определяется правой частью формулы (34).
Следствие. При условии (33) в дескрипторной нейронной сети (и соответственно в исходной дескрипторной системе (2) с дискретным временем до ее нормализации) корректно определены оператор рекурсии Sk+1 (30) и оператор эволюции Фк(31).
5.2. Случай линейных активаций всех нейронов
Пусть в дескрипторных сетях рис.З, 4 активационные функции \|/г всех нейронов (г = 1.п) являются ли-
нейными:
4/r(u) = (ar,u)= 2>[иьаг =(aJ....а1)11
і—1
u = Wx(k) + 9(k), u; = ^ WyXj(k) + 9;(k) j=i
(35)
Тогда система (11)-(13) переписывается в видеп скалярных линейных урав нений:
xr(k + l)
(ar, Wx(k) + 0(k))- X JrjXj(k);r = 1.
j=i
m .(36)
xm+2 (k +1) = |am+1, Wx(k) + 0(k))- xm+1(k) xm+3 (k +1) = (a111+2. Wx(k) + 0(k)j- xm+2 (k)
xn (k +1) = (a11-1, Wx(k) + 0(k)j- xn_j(k)
(37)
xn(k + l) = (an,Wx(k + l))+(an,0(k + l)) . (38)
Здесь в качестве равенства (38) записано алгебраическое уравнение (13) статического нейрона на (k +1) -м такте. Уравнения (36), (3 7) дают явные выражения gr (27) компонент выхода xr (k +1) при г m +1 через компоненты входа х(к). По формуле (34) при а = а11 и (an,Wm+1)^0 получаем явную функцию F (28):
xm+1 (k +1) = (а11, Wm+1 (Г1 [хп (к +1) -
Напомним, что WJ есть j-й столбец синаптической матрицы W • Подставляя в правую часть (39) выражения Xj(k + 1) через х(к) из (36), (37), j?in-rl. получаем явную функцию gm+i (29). С помощью прямых выкладок проверяется, что функция gm+] является линейной относительно своих трех векторных аргументов:
Xm+1 (k +1) = gm+1 (х(к). 0(к). 0(к +1)) = (а, х(к)) +
+(Р.0(к)) + (у.0(к + 1)). (40)
Здесь векторы а, J3, у в скалярных произведениях есть векторы-столбцы из R" . Таким образом, равенства (36), (37), (40) задают рекурсивное отображение Sk+i: Ak -> Ak+] , зависящее от векторных параметров 9(k),9(k + l), так что х(к+ 1) = Sk+1(x(k)). При нулевых смещениях 0 = 0 рекурсивные отображения Sk+i: Лк —> Лк+і и эволюционный оператор Фк :Л0 -> Лк (31) являются линейными и могут быть записаны как (п х п) - матрицы. Несмотря на то, что здесь преобразования Sk+1,®k формально можно применять к любым векторам х є Rn, действие Sk+] как рекурсивного отображения нейронной сети имеет смысл только на многообразии Л ^ входных векторов k-го такта:
Ak ={x = x(k):xn = (a11, Wx + 0(k))]. (41)
Аналогично отображение Фк = Sk °...° S2 ° Sj имеет смысл эволюционного оператора (26) для нейронной сети только на распознаваемых векторах х = х(0) из начального многообразия Л0:
Л0 = [х = х(0): xn = (а11. Wx + 0(0))]. (42)
В качестве примера рассмотрим сеть вида (см. рис.З) индекса р = 3 с пятью нейронами: щ = 2, п = 5. Тогда (3 6)-(3 8) являются пятью уравнениями
Х1 (k +1) = (a1. Wx(k) + 0(к)) - Jj jXj (к) - J12x2 (к),
х2(к + 1) = (a2, Wx(k) + 9(к)) - J21X!(k) - J22x2(k),
х4(к + 1) = (а3. Wx(k) + 0(к)) - х3 (к),
х5(к + 1) = (a4, Wx(k) + 0(к))- х4(к),
х5 (к +1) = (а5. Wx(k +1) + 9(к +1)),
х(к) = (x1,x2,x3,x4,x5)tr(k) .
Из первых четырех уравнений получаются следующие рекурсивные представления для компонент xr (k +1), г Ф 3 , т.е. линейные представления функций gr (27) с помощью скалярных произведений:
xi(k + l) =g1(x,0)(k) ее (w*a1 -b1, x(k))+ (a1,0(k));
РИ, 2009, № 1
43
х2(к + 1) = g2(x,0)(k) = (\У*а2 -b2,x(k))+(a2,0(k)); x4(k +1) = g4(x(k).()(k)) = (wV -b'\x(k))+ (a’,0(k)); x5(k 1) = g5(x(k).0(k)) = (w*a4 -b4,x(k))+(a4,0(k)), где введены векторы
b1 = (Ju. J12.0.0.0),r . b2 = (J21. J22.0.0.0),r,
b3 = (o,o,i,o,o)tr . b4=(0,0,0,i0f.
Для дальнейшего обозначим С; = 0Г . W1). В предпо-
5 3
ложении теоремы 2 с3 = (a . W ) ?П) с помощью формулы (39) находим
х3 (k +1) = g3 (х(к), 0(к), 0(к +1)) = — [(oq, Wx(k)) +
сз
+ (a2, х(к)) + (aj,0(к)) - (а5,0(к +1))]. где oq = -Cja1 -с2а2 -с4а3 +(1-с5)а4:
а2 = (С1J11 с2^21-с1^12 +с2^22’с4;(с5
деленной и однозначно преобразует распознаваемые входные векторные сигналы х(к) в выходные х(к + 1). У равнения состояний сети (11)-(13) принимают форму
m
х; (k +1) = - X Jjj • Xj (к) + ц/j (0(к)); і = 1 m
j=i '
xm+2(k + 1) + xm+l(k) = 'l/mM(0(k)) ,
Xm+3(k +1) + xm+2(k) = vpm+2(0(k)) ,
xn (k +1) + xn_! (k) = (0(k)),
xn(k) = v|/n(0(k)),k = O.1.2.
Запишем последнее равенство для (к +1) -го такта и с его помощью исключим из предпоследнего уравнения xn(k + l). Получим выражение xn_j(k) через k-е и (k +1) -е смещения:
Отсюда следует представление функции g3 =gm+| в виде суммы (40) трех скалярных произведений,
1 Lr* 1 1 5
где а = —oq+oc2J|3 = —oq,y =------а
с3 с3 с3
Рекурсивное равенство
x(k +1) = Sk+1 (х(к), 0(к), 0(к +1))
в векторной форме с матричными коэффициентами выглядит так:
х(к + 1) = А|Х(к) + А20(к) + А30(к + 1).
Здесь квадратные матрицы Ak(nxn) стационарны (не зависят от номера такта к):
1 'jD 1 І» Я і "а1*" "о"
a2*W -b2* О* а 0
* а ; а2 - Р* ; а3 - * У
a3*W-b3* а3* 0
_a4*W -b4*_ 4* а 0
При нулевых смещениях 0 = 0 отображение рекурсии Sk+] = А| является умножением на стационарную матрицу А|. а эволюционный оператор Фк -умножением на матрицу А^ : Фк(х(0)) = А^х(0).
5.3. Функционирование сети при полном синаптическом подавлении входных сигналов
Рассмотрим случай нулевой синаптической матрицы: W = 0 • Эта ситуация является предельной и не реализуется точно при получении системы (1 1)-(13) как нормальной формы динамической системы (7): при эквивалентной замене переменных z = Wx матрица W должна быть обратимой. Однако мы покажем, что «предельная» дескрипторная нейронная сеть с нулевыми синаптическими весами для любой из конструкций (см. рис. 1-4) является полностью опре-
xn-1(k) = v|/n_i(0(k))-vpn(0(k+l)).
Продвигаясь последовательно от нижних}равнений к верхним, мы выразим все входы k-го такта хп (к)..хт+1(к) через опережающие значения сме-
щений:
xi(k) = ZX-1)'Vi+j(0(k +j))-i = т + 1.п. /43ч
j=0 ' '
Здесь индексы принимаютзначения:
п — і = n — in — 1. її — ш - 2.0; і + j = і, і +1.n;
k + j = k.k+l.k + p-1; р = п- щ = ind(XA + В).
Часть h(k) = (xm+1(k)...xn(k))tr вектора входов
x(k) однозначно определяется через смещения 0(k + j):
h(k) = H(0(k). 0(k + 1) 0(k + p -1)). (44)
Компоненты x; вектор-функции h есть скалярнозначные функции, записанные в правых частях равенств (43). Используя разбиение (10) вектора входов х(к) на блоки v(k),h(k) ,мыможем описать многообразия Ак входных векторов х(к), распознаваемых сетью:
Ак = Iх = х(к): х = v © h(k), Vv є Rm }
Следовательно, dimAk = щ, Vk = 0,1,2. Действие
отображения рекурсии Sk+1: Ak —> Ak+1 удобно записать в виде (см. (10)):
- Jv(k) + cp(0(k)) h(k + 1) -
где v(k) - любой вектор из Rm; h(k) и h(k + l) -единственные фиксированные векторы (44), компоненты которых определяются формулами (43).
V(k)
h(k)
44
РИ, 2009, № 1
В частности, если активационные функции нормированы так, что v|/(0) = 0, то при нулевых смещениях отображения рекурсии Sk+] и эволюции Фк линейны. Учитывая, что в случае нулевых смещений h(k) = 0, Vk, многообразия распознаваемых входов Л k линейны и стационарны, причем
Лк = Л0 = Rm © 0 = {v ® 0},
чтит*
6. Выводы
Нейронные сети являются эффективным инструментом анализа динамических объектов сложной структуры. В работе рассмотрены модели нейросетевого типа для дескрипторных динамических систем с дискретным временем или по другой терминологии- для неявных и вырожденных дискретных динамических систем. Построенные логические сетевые модели названы дескрипторными нейронными сетями. Отличительной особенностью их структуры является использование в одной сети одновременно динамических и статических нейронов. Особенностью функционирования дескрипторной нейронной сети является наличие определенной алгебраической зависимости между компонентами векторного входного сигнала в каждый момент времени, т.е. принадлежность входного вектора некоторому допустимому многообразию Л в пространстве входов Rn . Входные векторы, не принадлежащие допустимому многообразию Л, не воспринимаются (не распознаются) дескрипторной нейронной сетью. Если сигналы смещения в сети нестационарны, то допустимое многообразие входов Л = Лk также нестационарно, т.е. индивидуально
для к -го такта, а моделируемая дескрипторная динамическая система неавтономна. В работе показано, что построенная нейронная сеть определяет однозначную рекурсию х(к) —Sb > х(к +1), которая действует как отображение Sk :Ak —>Ak+1 на допустимых многообразиях входных сигналов. Построенные явные формулы для отображений Sk и их суперпозиций содержат важнейшую информацию для анализа моделируемой дескрипторной динамической системы, в том числе неавтономной. При нестационарных векторах смещений 9(к) отображение рекурсии Sk зависит от времени (такта) к иотсмещения 9(к). Зависимость рекурсии Sk от 9(к) имеет место также для явной (недескрипторной) динамической системы
x(k + l)=f[Wx(k) + 9(k)]
и соответствующей недескрипторной нейронной сети, когда Лк = Rn (Vk) и отображение Sk определено на всем пространстве входов Rn . Однако для дескрипторной динамической системы и нейронной сети рекурсия Sk :Лк —>Лк+] на к-м такте зависит не только от смещения 9(к), но и от смещения 9(к+1) на следующем такте (эффект «упреждения»-влияния опережающих значений внешних воздействий). При некотором выборе параметров дескрипторной сети опережение в учете смещений может быть более одного такта, однако оно не превышает индекса дескрипторности.
Литература: 1. Bender D.I., Laub A. The linear-quadratic optimal regulator for descriptor systems, IEE Transactions on Automatic Control. 1987. Vol. AC-32, № 6. P.2062-2077.2. Bender D.I., Laub A. The linear-quadratic optimal regulator for descriptor systems:discrete-time case. Automatica 23(1987). P.71-85. 3. Bondarenko M.F., Rutkas A.G. On a class of implicit difference equations, Dopovidi NAN Ukraine. 1998. №7. C. 11-15. 4. Gantmacher F. R. Theory of matrices. -M.: Nauka, 1966. 576 p. 5. Rutkas A.A. Descriptor Neural Networks And Singular Implicit Dynamic Systems, Proceedings of IEEE East-West Design & Test Symposium (EWDTS’08), Lviv, Ukraine, October9-12,2008. P.429-430.6. Руткас A.. I. О свойствах дескрипторных нейронных сетей //Радиоэлектроника и информатика. 2008.№2. С. 11-16. 7. Vlasenko і... I. Evolutional models with implicit and degenerate differential equations, Dnepropetrovsk: System technologies, 2006. 273 p. 8. Бодянский E.B., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применения. Харьков, ТЕЛЕТЕХ, 2004. 372 с. 9. Руденко О.Г., Бодянский Е.В. Искусственные нейронные сети, Харьков, «СМИТ», 2005. 408 с. 10. Руткас А.А. Нейромоделирование одного класса динамических систем. Радиоэлектроника и информатика. 2008. № 3. С. 22-27.
Поступила в редколлегию 19.02.2009
Рецензент: д-р техн. наук, проф. Кривуля Г.Ф.
Руткас Андрей Анатольевич, аспирант ХНУРЭ. Научные интересы: машинный перевод, искусственные нейронные сети, динамические системы. Увлечение и хобби: электронное и математическое обеспечение систем GPS, системы безопасности и слежения. Дом. адрес: Украина, 61001,Харьков,ул.Плехановская,2/5,кв.29, дом.тел.: (057) 732-28-35.
Хаханов Владимир Иванович, декан факультета компьютерной инженерии и управления ХНУРЭ, д-р техн. наук, профессор кафедры автоматизации проектирования вычислительной техники, IEEE Computer Society Golden Core Member. Научные интересы: проектирование и диагностика цифровых систем, сетей и программных продуктов. Увлечения: футбол, баскетбол, горные лыжи. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. (057) 70-21-326. E-mail: [email protected].
РИ, 2009, № 1
45
