О двух подходах к параметрической идентификации на базе нейросетевых технологий Текст научной статьи по специальности «Математика»

УДК 519.711

О ДВУХ ПОДХОДАХ К параметрической идентификации на базе

НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ М.В. Коровкин

В статье рассматривается задача параметрической идентификации. Приведены два подхода, основанные на использовании нейронных сетей, позволяющие построить линейную разностную модель объекта. Выполнено сравнение вычислительной эффективности алгоритмов

Ключевые слова: параметрическая идентификация, нейронная сеть

На современном этапе развития аппарата нейронных сетей существует два основных направления их применения к задачам параметрической идентификации сложных динамических систем. В первом случае нейронная сеть выступает непосредственно в роли модели объекта. Наиболее часто при этом речь идет о моделях скользящего среднего (нелинейных в общем случае) и КАКМА-моделях, в зависимости от используемой архитектуры динамической нейросети. Известным также является тот факт, что введение в архитектуру нейронной сети обратных связей потенциально позволяет получить широкие возможности по представлению динамики моделируемых процессов. Однако при обучении подобных рекуррентных сетей выделяются следующие два основных недостатка:

• отсутствие гарантий устойчивости получаемой модели для стандартных вариантов алгоритмов обучения;

• длительное время обучения.

С точки зрения практического

применения нейронных сетей в контурах адаптивных систем управления оба этих недостатка препятствуют их широкому распространению.

Второе направление предполагает

использование нейросетей в качестве

вспомогательного инструмента для решения задачи параметрической идентификации: выход сети определяет набор параметров модели с заданной структурой, подлежащих

нахождению. Аналогично предыдущему

случаю, здесь возможно применение как статических, так и рекуррентных сетей.

Сеть Хопфилда является одним из наиболее изученных вариантов нейронных сетей, применяемых для решения широкого класса

задач, в том числе оптимизационных [1]. В непрерывном варианте соответствующая система дифференциальных уравнений, описывающая динамику изменения внутреннего состояния сети имеет вид:

сА = їй, - ^+1,, / = V»

' С ^ ] ] Яі (1)

х = / (V)

Проиллюстрируем ее использование на примере идентификации модели в виде линейной разностной системы:

х(к +1) = Ах(к)+ Бы(к),

x є Rdx, u є Rdu

(2)

Здесь х - вектор состояния объекта управления, и - вектор управляющих

воздействий. Будем предполагать, что измерению в дискретные моменты времени доступны непосредственно оба этих вектора, т.е. нам известны конечные наборы векторов х(0),..., х(Ы +1), и(0),..., и(Ы +1) . Выбору в ходе решения задачи подлежат матрицы системы (2), исходя из условия минимума функционала

N dx

(З)

Коровкин Максим Васильевич - СПбГУ, канд. физ.-мат. наук, доцент, e-mail: maxik@vrm.apmath.spbu.ru

Е и = IIР (к)),

к=0 1=1

е(к ) = х(к +1)- Ах(к)- Ви(к), е(к)е Я.11*, <р(х) = х2 Для того, чтобы применить сеть Хопфилда для отыскания набора коэффициентов матриц А, В , необходимо определить так называемую функцию энергии, значения которой должны убывать на траекториях, образованных изменяющимся вектором состояния сети. Стабильное состояние сети будет соответствовать минимуму функции энергии и, одновременно, будет являться решением исходной задачи. Упростим ситуацию, предполагая функции активации / в (1) линейными, тогда (1) преобразуется к виду:

су

Сі

Ж • у + ж0.

(4)

ж = -тж1,

Вектор состояния сети составим из строк матриц А, В : V = (а1,Ъх,а2,...,Ъл ). Полагая в качестве функции энергии сети функцию Еш из (3) получим значения весовых коэффициентов Ж, Ж0 исходя из соотношения:

СУ

дУ

(5)

Здесь т - вспомогательная положительно определенная матрица. При таком выборе соотношения для производной вектора

состояния сети выполняется неравенство

с1Е ЭЕ dV дЕт ( ЭЕ^ ЪЕТ ЭЕ

Ж ЭV dt ЭV [ 2 ЭV J ЭV 2 ЭV < 0 ’

что соответствует определению функции энергии.

В силу предположений (3) имеем е1 (к ) = е, (к, а., Ъ) и Эе N

—^ = -2^ х, (к + 1)х(к) +

Эа к=0

. N N

+ 2 1 х(к )хт (к) 1 х(к )ит (к)

. к=0 к=0

Е

дъ

= -2І хі (к + 1)и(к) +

+

2І 1 и(к )хт (к) 1 и(к )ит (к)

С т\ а

ъ,

т ат

ъ,

Вводя обозначения

Ж = 2І х(к)хт (к); Ж = 2І х(к)ит (к);

к=0 к=0

N N

Ж21 = 2І и (к )хт (к ) Ж22 = 2І и (к )ит (к);

)

' N ~

1 хі(к +1)х(к)

к=0

N

1 хі(к +1)и (к)

Ж0. =-2

0і

получаем весовые матрицы сети в следующем виде:

Ж =

Ж "11 Ж гг 12 0 0 0

Ж гг 21 Ж гг 22 0 0 0

0 0 0 0

0 0 0 Ж ” 11 Ж 12

0 0 0 Ж ГГ 21 Ж 22

Ж =-гг0

Ж,

Ж.

Следует отметить, что представленная последовательность построения матриц системы вида (4) является непосредственным следствием линейности производной функции р в (3) по

коэффициентам матриц А, В . Вследствие этого, использование альтернативных вариантов критерия (3) приведет к невозможности формирования линейной сети Хопфилда в указанном виде.

Оптимальный набор значений

коэффициентов матриц А, В соответствует

положению V * равновесия системы (4) с найденными матрицами. Очевидно, что его отыскание будет эквивалентно поиску решения системы линейных уравнений Ж V = — Ж0, что, в свою очередь, потребует обращения матрицы Ж . С другой стороны, интегрируя (4) с произвольными начальными условиями можно получить сколь угодно точное приближение к решению.

С точки зрения практической реализации данных алгоритмов возникает вопрос об оценке эффективности каждого из вариантов. При выборе какого-либо алгоритма обращения матрицы для известной размерности вектора параметров V получаем вполне определенное количество операций для вычисления решения задачи. В то же время, на трудоемкость нахождения приближенного решения будут оказывать влияние:

1. выбор численного алгоритма решения системы линейных дифференциальных уравнений (4);

2. требование к точности приближенного решения;

3. выбор начальных условий для системы (4);

4. размещение собственных значений матрицы Ж на комплексной плоскости.

Дополнительным фактором влияния в данном случае является выбор указанной выше матрицы /2 исходя из каких-либо

к=0

к=0

к=0

к=0

вспомогательных требований. При этом необходимо учитывать, что пункты 1 и 4 на самом деле не являются независимыми. Выбором значения Ц можно обеспечить

заданный спектр матрицы Ж , что позволит, например, устранить трудности, характерные

для жёстких систем дифференциальных уравнений.

В ряде случаев, когда для системы (2) имеется предварительная оценка для матриц А0 , В0 , можно предложить следующие

очевидные соображения для повышения

эффективности нахождения приближенного решения задачи (1)-(3).

В качестве начальных условий при решении (4) следует использовать вектор, составленный из коэффициентов матриц А0 , В0 .

Для известных А0 , В0 и

последовательности управляющих воздействий и(0),..., и(Н +1) можно вычислить

соответствующее им решение системы (1). По найденному решению вычислить матрицу Ж1 в (6). При условии, что эта матрица обратима и положительно определена, матрица Ц может быть выбрана таким образом, что произведение -2Ж =Ж * , где Ж * - матрица с заданным спектром, обеспечивающим необходимую скорость сходимости к положению равновесия.

В качестве примера, позволяющего проиллюстрировать алгоритмы, рассмотрим задачу параметрической идентификации бокового движения морского подвижного объекта. Будем предполагать, что движение объекта по курсу задается нелинейной системой дифференциальных уравнений р = ^(р,о,8),

со = Fш(b,w,8), (7)

р = о,

8 = Р3(и),

где р - угол дрейфа судна, о - угловая скорость вращения по курсу, р - угол курса, 8 - отклонение вертикального руля, и -управление.

Будем считать, что нам известны эталонные значения коэффициентов системы линейного приближения первых двух уравнений (7) в дискретном времени, которое может быть получено в результате линеаризации и дискретизации системы (7) в виде

/3{к +1) = anfi{k)+anw{k)+blS{k), a(k +1) = a21b(k)+a22w(k)+b2d(k).

Предположим также, что для значений моментов времени t = А-k, А> 0, k = 0,N +1 измеряются функции d(t), /3(t), a(t) в процессе движения реального объекта или его нелинейной модели, представляемой

уравнениями (7). Используя только эти измерения, найдем значения коэффициентов a11,a12,a21,a22,b1,b2.

В качестве тестового режима, по данным которого осуществляется поиск

коэффициентов, будем рассматривать повороты судна на малые углы по курсу, реализуемые с использованием стабилизирующего закона управления по состоянию в виде

u = m1b + m2a+ m3(j-j*) + m4d, (9)

где (p = const - заданная курсовая поправка.

В качестве начальных значений искомых параметров, будем использовать величины, полученные по предполагаемым физическим характеристикам объекта управления.

Базовым инструментов для проведения вычислительных экспериментов выберем пакет MATALB с подсистемой имитационного моделирования Simulink и расширением Neural Network Toolbox [2].

Для сравнения с рассмотренным выше алгоритмом на основе сети Хопфилда выберем простую рекуррентную сеть (рис.1) с одним линейным слоем, содержащим два нейрона. Её обучение будет осуществляться стандартным для Neural Network Toolbox методом Левенберга-Марквардта. В качестве исходных данных для обоих алгоритмов будут выступать измерения х(0),..., x(N +1), u(0),...,u(N +1) , N =

3000, полученные для шага дискретности 0.01 секунды при имитационном моделировании в Simulink нелинейной модели (7).

На основании анализа результатов, приведенных в таблице , можно сделать следующие выводы.

Использование нейронной сети Хопфилда в виде (4) для отыскания необходимого набора параметров обеспечивает достаточно высокое качество приближенного решения при отсутствии погрешностей в измерениях. Время, необходимое для решения задачи поиска стационарного состояния сети Хопфилда с использованием средств пакета MATLAB, примерно на порядок выше времени непосредственного обращения матрицы W .

Восстановление линейной модели непосредственно в виде рекуррентной нейронной сети задействует наибольшее количество вычислительных ресурсов при сравнимом качестве получаемой модели. Это затрудняет использование подобных алгоритмов в задачах, требующих периодической коррекции линейной модели объекта.

Литература

1. Andrzej Cichocki, Rolf Unbehauen Neural Netwoks for Solving Systems of Linear Equations and Related Problems IEEE Transactions on Circuits and Systems, vol. 39, no. 2, Feb. 1992

Результаты идентификации линейной модели бокового движения

№ a11 a12 bl a21 a22 b2 Время счета, с

1 Эталонная модель 0.9908 0.0б09 0.0019 0.004б 0.9З09 0.00155

2 Решение системы линейных уравнений 0.9911 0.05б1 0.0020 0.0049 0.9255 0.001б 0.000859

З Модель Хопфилда 0.9911 0.05б1 0.0020 0.0049 0.9255 0.001б 0.00505б

4 Модель Хопфилда, 5% шум по измерениям 0.9З10 0.4744 -0.001б 0.007З 0.9048 0.0007 0.004452

5 Рекуррентная нейронная сеть с линейным слоем 0.992З 0.0448 0.0022 0.00ЗЗ 0.9425 0.0012 1З57.85

Санкт-Петербургский государственный университет

ABOUT TWO APPROACHES TO PARAMETRIC IDENTIFICATION USING NEURAL

NETWORKS

M.V. Korovkin

The article is devoted to the problem of discrete linear system identification using different types of neural networks. Specially formed Hopfield network is compared to linear recurrent network in terms of accuracy and computational time

Key words: neural network, parametric identification

Unit Delay

Архитектура рекуррентной нейронной сети

2. Neural Network Toolbox User’s Guide,

The MathWorks, Inc., 2011 [Электронный ресурс] // URL: http://www.mathworks.com/help/pdf doc/nnet/nnet ug.pdf (дата обращения 1.10.2011)