Нейросетевая аппроксимация векторного поля динамической системы в задаче приближенного построения области достижимости летательного аппарата Текст научной статьи по специальности «Математика»

электронное научно-техническое издание

НАУКА и ОБРАЗОВАНИЕ

Эя №ФС 77 - 30569. Государствен идя регистрация №0421100025.155П 1994-0408_

Нейросетевая аппроксимация векторного поля динамической системы в задаче приближенного построения области достижимости летательного аппарата

# 08, август 2011

авторы: Карпенко А. П., Морозов А. Н., Федин В. А.

УДК 519.6

МГТУ им. Н.Э. Баумана apkarpenko@mail.ru alexnikmorozov@gmail.com vlfedin@gmail.com

Введение

Во многих приложениях, в которых модели исследуемых объектов представляют в виде обыкновенных дифференциальных уравнений (ОДУ), возникает задача построения области достижимости соответствующей динамической системы. Например, такая задача возникает при решении проблемы траекторной безопасности летального аппарата [1], при решении близкой задачи о посадке вертолета на подвижный носитель [2].

Важной особенностью задачи построения области достижимости является то, что ее часто приходится решать в режиме реального времени. При этом основные вычислительные затраты обусловлены затратами на интегрирование указанной системы ОДУ. Таким образом, актуальной является задача быстрого интегрирования модельной системы ОДУ.

Известно несколько подходов к построению области достижимости динамической системы. Прежде всего, возможно точное аналитическое построение этой области. Однако такой подход возможен лишь в простейших случаях, не представляющих практического интереса. Поэтому для построения этой области обычно приходится использовать приближенные численные методы. Среди этих методов выделим

http://technomag.edu.ru/doc/204143.html Страница 1

• метод мультифиниша,

• нейросетевые методы.

Основная идея метода мультифиниша состоит в многократном численном интегрировании модельной системы ОДУ при различных допустимых управлениях [3]. Метод хорошо распараллеливается, как для М1МБ, так и для Б1МО многопроцессорных вычислительных систем [4, 5].

Нейросетевые методы приближенного построения области достижимости ориентированы на аппроксимацию нейронными сетями непосредственно границы этой области [7].

Можно предложить значительное число вариантов метода мультифиниша. Так, возможна комбинация этого метода с методом аппроксимации векторного поля модельной системы ОДУ. Суть такой комбинации заключается в предварительной аппроксимации правых частей модельной системы ОДУ с помощью, например, локальной кусочно-постоянной и локальной кусочно-линейной интерполяции, глобальной полиномиальной аппроксимации [6]. В данной работе рассматривается нейросетевая аппроксимация правых частей модельной системы ОДУ.

В первом разделе работы приводится постановка задачи построения области достижимости для системы ОДУ седьмого порядка, описывающей движение центра масс летательного аппарата. Во втором разделе рассмотрены используемые далее нейронные сети. Третий и четвертый разделы посвящены исследованию эффективности нейросетевой аппроксимации векторного поля указанной системы ОДУ. Пятый раздел посвящен исследованию некоторых способов повышения точности аппроксимации, которые приводят к использованию ансамблей нейронных сетей, включающих в себя число сетей, превышающее порядок модельной системы ОДУ. В заключении сформулированы основные результаты работы и очерчены перспективы ее развития.

Все вычислительные эксперименты, результаты которых приведены в работе, выполнены с помощью программной системы МаЙаЬ7 Я2009 [8, 9].

1. Постановка задачи

Рассмотрим динамическую систему седьмого порядка

V = g(пт- sin^) = f \в,пт\

gn sin у г2 / п Ч

V = ---2Т = f (v,e,y,n),

V cose

g 3

в = — (n cosy- cose) = f (v,e,y, n),

V

y = ny,

-5 ,

(1)

i = vcosvcose = f (v,v,e),

.У = v sine = f 6(v,e), z =-v sinvcose = f 6(v,v,e),

описывающую движение центра масс летательного аппарата [1], где g=9,81 м/с — ускорение свободного падения.

Фазовыми переменными системы являются v — скорость летательного аппарата; V — угол поворота траектории; e — угол наклона траектории; у — угол крена; х, у, z — координаты центра масс аппарата в земной системе координат, где у - его высота.

Если не оговорено иное, используем следующие ограничения на указанные фазовые переменные:

vmin = \6VX ,м/с; vmax = 1,9V зв ,м/с;

vmin=-^2, vmax=^/; emin = , emax = ;

ymin =-n9 ymax =Л;

хmin = 1500 м, хmax = 4500 м; уmin = 500 м, уmax = 3500 м; zmin = 1000 м, zmax = 3000 м. Здесь V3e = 340,м/с - скорость звука в воздухе.

Управлениями летательного аппарата являются нормальная перегрузка п, тангенциальная перегрузка пт и скорость изменения угла крена пу. На

управления, полагаем, наложены ограничения

' \п\ < п^ = 8,0;

пт ^ К™;п^] = [-1,6;0,6]; (2)

nr

< л.

Последняя компонента управления принимает значение л, рад/c при необходимости увеличения угла крена и (-л), рад/c - при необходимости его уменьшения.

Движение системы рассматриваем на интервале времени [t0, tT ], где t0 = 0 - начальный момент времени, tT = T - продолжительность полета. Полагаем заданными начальные значения фазовых переменных системы (1), т.е. значения величин v(0) = v0, ц/(0) = щ0,..., z (0) = z0.

Областью достижимости летательного аппарата (ОДЛА) назовем множество всех возможных значений вектора (x(T), y(T), z(T)), которые

могут быть получены на решениях системы (1) при заданных допустимых начальных условиях v0, i//0,...,z0 и выполнении ограничений (2) на компоненты вектора управления.

Очевидно, что ОДЛА полностью определяет ее граница. В работе [1] получены структуры управлений, приводящих летательный аппарат (1) на эту границу при фиксированном угле крена (когда у = const). Указанные управления являются кусочно-постоянными, имеют не более одной точки переключения и определяются выражениями: для дальней границы ОДЛА

пт =

п max t e [t tf ]

n , t e [t0;t L n = nmax; (3)

0, t e (tf,tT],

nT

для ближней границы

max / Гt tn л

iT , i e t J, n = -nmax; (4)

max, t e (tn,tT J,

для боковой границы

max . г j- ¿si -n , 1 e [to, 1 J, (5)

nr= nrmax, n = <

,„max > f.s j i

n , t e (t ,tT J.

Здесь tf, tn, ts - моменты переключения управлений, обеспечивающие достижение летательным аппаратом указанных границ ОДЛА.

Положим, что 8■ = ftJ - ftJ — погрешность аппроксимации функции

fj (*) в i-ой точке тестового множества. Здесь f]J, f/ - точное и

приближенное значения функции fJ (*) в указанной точке; i e [1: K J, J e [1: 6J; J ф 4; K — мощность тестового множества.

Используем следующие меры точности аппроксимации: средняя абсолютная погрешность

1 к

E абс = Т7 2 8i ; к i=1

средняя квадратичная погрешность (mean square error)

Emse = mse =

к

Zfe - Еабс ) ; i-1

к -1\

максимальная абсолютная погрешность

Eмакс = max 8i; ze[1:K J

средняя относительная погрешность

1 K 8

ECP =~Z

Ki=1\fA

2

1

2. Типы используемых нейронных сетей

Используем для аппроксимации функции fJ (*) два типа многослойных

нейронных сетей - трехслойную опережающую сеть с прямым распространением сигнала (Feed-Forward Network - FFN) и аналогичную каскадную сеть (Cascade Neural Network - CNN); J e [1:6], J Ф 4 [10]. Структуры указанных сетей приведены на рисунках 1, 2.

Входим Скршш Вшо&ай

слой слой слой

Рисунок 1 - Структура трехслойной FFN-сети

Входной слой сетей FFN , CNN состоит из числа нейронов, равного размерности задачи. В выходном слое во всех случаях используем один нейрон с линейной функцией активации. Нейроны скрытого слоя имеют сигмоидальные функции активации. Число этих нейронов является свободным параметром сетей и подбирается, исходя из требуемой точности аппроксимации.

Рисунок 5 - Структура трехслойной CNN-сети

Для обучения FFN -и CNN -сетей используем алгоритм обратного распространения ошибки со средним квадратичным отклонением MSE в качестве ошибки обучения.

3. Аппроксимация с помощью РР^сетей

Рассмотрим прежде вариант аппроксимации каждого из уравнений

(*) своей -сетью (так что общее число нейронных сетей равно

пяти); у е [1:6], у ф 4.

3.1. Зависимость ошибки обучения от начальных условий.

Используем в качестве примера функцию

г\в,пт) = я{пт- В1П£). (6)

Покроем интервалы [0тт,0тах], [п^1П, п^] равномерными сетками

Лт, Лв с МТ и Мв узлами соответственно. Значения функции / 1(в,пт) в

узлах сетки Лт х Лв используем в качестве обучающей выборки.

Хорошо известно, что характер сходимости процесса обучения нейронной сети и сам результат обучения, могут сильно зависеть от начальных значений весовых коэффициентов нейронной сети. Эффект

иллюстрирует рисунок 3, на котором показана зависимость ошибки обучения MSE от номера эпохи (epoch) обучения e для пяти случайных наборов весовых коэффициентов.

Эксперименты выполнены при Mт = Mв = 20, так что общее число узлов сетки АгхАв равно 400 (мощность обучающей выборки £=400). В качестве тестовой выборки использованы 400 случайных точек, равномерно распределенных в прямоугольнике [втт,втах]х [«тт,n^] (так

что мощность тестовой выборки также равна 400). Максимальное число эпох обучения e принято равным 50.

"О 5 10 15 20 25 30 35 40 45 50

1, 2,.. .,5 - номера случайных наборов весовых коэффициентов

Рисунок 3 - К зависимости ошибки обучения МББ нейронной сети БЕИ1 от начальных значений ее весовых коэффициентов

3.2. Варьирование чисел нейронов и эпох обучения. Результаты исследования зависимости ошибки БЕИ -аппроксимации функции /1(в,пт) от числа нейронов в сети иллюстрируют рисунки 4, 5. Во всех случаях обучение производилось 10 раз, исходя из случайных начальных значений весовых

коэффициентов. В качестве результата обучения принималась нейронная сеть, обеспечивающая минимальное значение МБЕ. Исследование выполнено с использованием указанных выше обучающей и тестовой выборок.

Аналогичные результаты получены также для остальных уравнений системы (1) - таблица 1.

МвЕ

0 45

0.4

0.35

0.3 0.25 0.2 0.15 0.1 0.05

............1 -....., 1

2/ \\

! 1 1 \

0 5 10 15 20 25 30

1 - тестовая выборка; 2 - обучающая выборка

Рисунок 4 - МЖ-ошибка аппроксимации функции /х(в,пт) сетью ББЫ1 в зависимости от числа нейронов скрытого слоя N

Еабс

0.5

0.45 0.4

0.35

0.3 0.25 0.2 0.15 0.1

1

\ 2

0 5 10 15 20 25 30

1 - тестовая выборка; 2 - обучающая выборка

Рисунок 5 - Ошибка Еабс аппроксимации функции /1 (в, пт) сетью FFN1 в зависимости от числа нейронов скрытого слоя N

Результаты исследования показывают, что при фиксированной мощности К обучающего множестве не удается путем варьирования числа

нейронов в скрытом слое ЕБЫ 1-сети обеспечить для всех уравнений системы (1) близкую точность аппроксимации. Точнее говоря, минимальное достигнутое значение ошибки МБЕтт изменяется в условиях

2 3

исследования от величины 0,01 для функций I (*), I (*) до величины 0,5

для функцийI5(*), I6(*) (в 50 раз!). При этом оптимальное число нейронов в скрытом слое изменяется от пяти до 20, а оптимальное число эпох обучения - от 40 до 58.

Таблица 1 - Результаты исследования эффективности ЕЕЫ-аппроксимации векторного поля динамической системы (1)

Функция МБЕ т1П Ыор еор

I 1(в, п) 0,1 5 40

I >,в, п,г) 0,01 5 58

I >,в, п,у) 0,01 5 58

I5^,в,^) 5,0 20 42

I >,в) 5,0 20 40

17^,в,^) 5,0 20 42

3.3. Варьирование мощности обучающей выборки. Рассмотрим в качестве примера функцию

I >,в) = V вт(в). (7)

Аналогично тому, как этот сделано выше, покроем интервалы [Vтт, Vтах], [—втах, втах ] равномерными сетками А v, Ав с Му и Мв узлами соответственно, так что мощность обучающей выборки равна К = МУМ в.

Электронный журнал, №8 август 2011 г. http://technomag.edu.ru Страница 10

Эффективность увеличения мощности обучающей выборки К иллюстрирует таблица 2. Таблица показывает, что увеличение этой мощности приводит к уменьшению, хотя и медленному, указанных в таблице ошибок аппроксимации. Так переход от К = 49 к К = 2025 (увеличение значения К более чем в 40 (!) раз) приводит снижению МБЕ с 6,2 до 2,6 (всего лишь несколько более чем в два раза). Отметим, что увеличение мощности обучающей выборки К вызывает быстрый рост вычислительных затрат на обучение нейронной сети.

Таблица 2 - К эффективности увеличения мощности обучающей выборки при аппроксимации функции 16 (V, в): ОВ - обучающая выборка, ТВ - тестовая выборка

Мощность выборки К 0 0 ембе , м /с Еабс , м/с Е % отн ■>'"

ОВ ТВ ОВ ТВ ОВ ТВ

49 6,2 13,1 6,9 10,6 7,7 25,0

225 4,6 5,9 6,7 7,6 6,8 11,0

900 3,2 3,6 4,5 4,8 4,4 6,1

2025 2,6 2,9 3,6 3,7 3,4 4,2

4. Аппроксимация с помощью CNN-сетей

Аппроксимируем каждое из уравнений (*) с помощью своей СМЫ] -сети (так что общее число нейронных сетей также, как в разделе 3, равно пяти); у е [1:6], у ф 4.

Рассмотрим в качестве примера уравнение

15(у,в,^) = V СОБ(в)СОБ(^) . (8)

Покроем интервалы [Vт1П,Vтах], [втт,втах], [^тт,^тах] равномерными сетками Аг, Ав, А¥ с Му, Мв и М¥ узлами соответственно, так что мощность обучающей выборки равна К = МУМ вМ¥.

Исследование эффективности CNN-сети выполнено в области

°У2

на сетке с

[Vшш,утах] = [50;550] м, [вт1П;втах] = |0;%], [^тт,^тах] =

К = 20 х 20 х 20 = 8000 узлами при числе нейронов в скрытом слое, равном 20.

Результаты исследования показывают, что CNN-сеть обеспечивает при прочих равных условиях примерно в два раза меньшую среднюю квадратичную ошибку аппроксимации по сравнению с FFN-сетью. Так по результатам пяти экспериментов с различными начальными значениями весовых коэффициентов FFN-сеть обеспечила минимальную ошибку, равную 9,0. CNN-сеть в тех же условиях обеспечила ту же ошибку, равную 3,2.

Отметим, что указанное уменьшение погрешности аппроксимации каскадная нейронная сеть обеспечивает практически без увеличения времени ее обучения.

5. Повышение эффективности аппроксимации 5.1. Учет релейности управлений. Поскольку, в конечном счете, аппроксимацию векторного поля динамической системы (1) предполагаем использовать для построения границ ОДЛА, задачу аппроксимации можно упростить.

Рассмотрим опять для примера функцию (6) и положим, что речь идет об аппроксимации ближней границы ОДЛА, когда управление пт должно

принимать только значения птт, птах (формула (4)). На этом основании перейдем от аппроксимации функции двух аргументов / 1(в, пт) к аппроксимации двух функций одного аргумента

/_1(пгт1п,в), /Кптах,в).

Используем для аппроксимации каждой из этих функций свою FFN-сеть, т.е. применим для аппроксимации функции / 1(в,пТ) ансамбль из двух сетей

FFN1, FFN}.

Результаты исследования показывает, что, как и следовало ожидать, учет релейности управления позволяет значительно уменьшить ошибку аппроксимации МБЕ. Так для нейронных сетей с пятью нейронами в скрытом

слое и прочих равных условиях аппроксимация функции I—1(*) обеспечивает

МБЕ=0,00012, а аппроксимация функции /+(*) - МБЕ=0,0037 (почти на порядок меньше по сравнению с вариантом, в котором релейность управления не учитывается (!) - раздел 2.1).

Указанные результаты получены при мощности обучающей выборки К, равной 200 для каждой из указанных нейронных сетей. Таким образом, суммарная мощность обучающей выборки, как и в разделе 2.1, принята равной 400.

Отметим, что при увеличении мощности обучающей выборки ошибка аппроксимации МБЕ уменьшается очень медленно. Так при К = 1000 эта ошибка уменьшается всего лишь до величины 0,00008.

Представляет интерес то обстоятельство, что время на обучение сети БЕИ1 на выборке из 400 элементов в 1,2 раза превышает суммарное время обучения нейронных сетей БЕИ—, с той же суммарной мощностью выборки.

Отметим также, что при использовании данного подхода число нейронных сетей для аппроксимации дальней и ближней границ ОДЛА составляет семь, а боковой границы - восемь. Таким образом, для аппроксимации всех границ ОДЛА при данном подходе требуется 22 нейронных сети.

5.2. Декомпозиция области допустимых значений. Аналогично разделу 3.3 рассмотрим функцию (8). Увеличить точность нейросетевой аппроксимации возможно за счет декомпозиции области допустимых значений аргументов этой функции

О = [Vт1П, Vтах ] х [втт, втах ] х [^тт, ^тах]

Ь

на ряд непересекающихся подобластей П1, О2,., Оь таких, что У 01 = О.

I=1

Эффективность данного приема демонстрируем для четырех подобластей равного объема (Ь = 4):

01 = [ушцу™х] х

02 = [V т1п; V тах] х

03 = [V т1п; Vтах] х

ж/ '0 /2;0

х

/2;0

-п/ 0 - /2;°

х

0;^

2

0;^

2

х

-п/ 0 - /2;0

о 4 = [V ; Vтах] х

0;^

2

х

0;^

2

Мощность обучающей выборки для каждой из указанных подобластей принимаем равной К = МЛ!МвМ¥ = 20 х 20 х 20 = 8000, так что суммарное

число узлов сеток А(, I е [1:4], покрывающих подобласти О(, равно 32000.

Для аппроксимации функции /5^,в,^) в каждой из подобластей 0г-,

I е [1: 4] используем свою каскадную нейронную сеть CNN5 (раздел 2.3) с 20 нейронами в скрытом слое.

Результаты исследования показывают, что в указанных условиях декомпозиция области допустимых значений позволяет получить ошибку аппроксимации МБЕ« 5. Без декомпозиции области О на обучающей выборке той же мощности аппроксимация функции (8) аналогичной нейронной сетью с 20 нейронами в скрытом слое позволяет получить МБЕ« 80. Таким образом, рассмотренная декомпозиция области допустимых значений позволяет уменьшить ошибку аппроксимации МБЕ примерно в 16 раз. Отметим, что в данном случае суммарное время обучения четырех нейронных сети примерно в четыре раза превышает время обучения одной нейронной сети.

Положим, что, как и в рассмотренном примере, интервал допустимых значений каждой из угловых фазовых переменных разделен на два подынтервала. Легко видеть, что в этом случае метод декомпозиции области допустимых значений фазовых переменных требует использования 20 нейронных сетей для аппроксимации всех границ ОДЛА. Аналогично, при

использовании комбинации метода учета релейности управления и метода декомпозиции области допустимых значений фазовых переменных аппроксимация дальней границы ОДЛА требует 22 нейронных сетей, ближней границы - также 22 сетей, а боковой границы - 28 сетей. Так что общее число нейронных сетей в этом случае равно 72.

Заключение

Выполнено широкое исследование эффективности нейросетевой аппроксимации векторного поля модельной системы ОДУ при варьировании чисел нейронов и эпох обучения, мощности обучающей выборки, топологии нейронной сети. Рассмотрены два способа повышения эффективности нейросетевой аппроксимации - за счет учета релейности управлений, приводящих на границы области достижимости системы, а также за счет декомпозиции области допустимых значений фазовых переменных системы. Результаты исследования показывают, что нейросетевая аппроксимация векторного поля модельной системы ОДУ в комбинации с методом мультифиниша может быть использована для приближенного построения области достижимости динамической системы.

Задача выбора способа нейросетевой аппроксимации векторного поля является, по сути, многокритериальной. Прежде всего, кроме точности приближения границ множества достижимости следует учитывать процессорной время, необходимое для построения этих границ. Кроме того, может быть необходимым учет требуемого объема оперативной памяти ЭВМ. Поэтому в развитии работы планируется разработка алгоритмического и программного обеспечения для решения задачи нейросетевой аппроксимации векторного поля модельной системы ОДУ как многокритериальной задачи принятия решений.

В продолжении работы имеется в виду также исследование погрешности аппроксимации границ ОДЛА с помощью комбинации методов

мультифиниша и нейросетевой аппроксимации векторного поля модельной системы ОДУ подобно тому, как это сделано в работе [6].

Наконец, планируется исследование эффективности нейросетевой аппроксимации на параллельных вычислительных системах различных архитектур, включая графические процессорные устройства.

Литература

1. Воронов, Е.М. Алгоритм оценки границ области достижимости летательного аппарата с учетом тяги / Е.М. Воронов, А.А. Карпунин // Вестник МГТУ. Сер. Приборостроение.- 2007.- №4(69).- с. 81-99.

2. Гурман, В.И. Приближенные методы оптимизации управления летальным аппаратом / В.И. Гурман, В.И. Квоков, М.Ю. Ухин // Автоматика и телемеханика.- 2008.- №4.- с. 191-201.

3. Воронов, Е.М. Численные методы построения области достижимости динамической системы / Е.М. Воронов, А.П. Карпенко, О.Г. Козлова, В.А. Федин В.А. // Вестник МГТУ им. Н.Э. Баумана, серия «Приборостроение», 2010, №2 (79), с. 3-20.

4. Воронов, Е.М. Параллельное построение множества достижимости высокоманевренного летательного аппарата методом «мультифиниша» / Е.М. Воронов, А.П. Карпенко, В.А. Федин // Параллельные вычислительные технологии (ПаВТ'2010): Труды международной научной конференции (Уфа, 29 марта - 2 апреля 2010 г.) [Электронный ресурс] - Челябинск: Издательский центр ЮУрГУ, 2010. - с. 113-120.

5. Витюков, Ф.А. Построение области достижимости динамической системы на NVidea и AMD графических процессорах / Ф.А. Витюков, В.К. Домашнев, А.П. Карпенко, В.А. Федин В.А. // Научный сервис в сети Интернет: суперкомпьютерные центры и задачи Труды международной суперком- пьютерной конференции (21-26 сентября 2009 г., Новороссийск). -М.: Изд-во МГУ, 2010. - с.635-641.

6. Карпенко, А.П. Построение границы области достижимости динамической системы комбинацией методов мультфиниша и аппроксимации векторного поля / А.П. Карпенко, Д.С. Кулеш, В.А. Федин В.А. // Наука и образование: электронное научно- техническое издание, 2011, 5, [Электронный ресурс]. (http://technomag.edu.ru/doc/185335.html).

7. Voronov, E.M. Neuronet approximation of aircraft attainability domain boundary / E.M. Voronov, A.P. Karpenko, O.G. Kozlova, V.A. Fedin,

A.G. Trofimov // Optical Memory and Neural Networks (Information Optics), 2010, № 4, с. 291 - 299.

8. Дьяконов, В.П. MATLAB 7.*/R2006/2007. Самоучитель /

B.П. Дьяконов.- Москва.: «ДМК-Пресс», 2008.- 768 с.

9. Медведев, В.С. Нейронные сети. Matlab 6 / В.С. Медведев,

B.Г. Потемкин.- М.: Диалог-МИФИ, 2001.- 496с.

10. Хайкин, С. Нейронные сети. Второе издание. Полный курс /

C. Хайкин. - М: Вильямс, 2008.- 1103 с.