СРАВНИТЕЛЬНЫЙ АНАЛИЗ НЕЙРОСЕТЕВЫХ ЭМУЛЯТОРОВ ДЛЯ ДИНАМИЧЕСКИХ ОБЪЕКТОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.032.26

DOI: 10.24412/2071-6168-2022-12-21-27

СРАВНИТЕЛЬНЫЙ АНАЛИЗ НЕЙРОСЕТЕВЫХ ЭМУЛЯТОРОВ ДЛЯ ДИНАМИЧЕСКИХ ОБЪЕКТОВ

Н.А. Беззубов, С.В. Феофилов

В статье рассматриваются наиболее используемые эмуляторы динамического объекта с использованием сетей обратного распространения и сетей радиально-базисных функций. Представлено понятие сетей с радиально-базисными функциями и сетей обратного распространения. Показано, что алгоритм обратного распространения ошибки (существующий в многочисленных модификациях) показал очень хорошие результаты в обучении искусственных нейронных сетей при решении многих прикладных задач. Вместе с тем этот алгоритм является локальным, т. е. гарантированно работает только тогда, когда минимизируемая при обучении функция ошибки является унимодальной. Во многих задачах функция ошибки мультимодальна. В этом случае требуются стохастические методы обучения с учителем. Однако сети радиально-базисных функций обладают плохими экстраполирующими свойствами и получаются весьма громоздкими при большой размерности вектора входов. Проведено моделирование систем на базе нейронных сетей, показывающее успешное решение задачи эмуляции линейного динамического объекта, в силу их универсальных аппроксимационных свойств

Ключевые слова: нейросетевое управление, нейроэмулятор, сети радиально-базисных функций, сети обратного распространения, динамический объект.

В последние десятилетия искусственные нейронные сети (ИНС) стали использоваться в различных областях науки и техники в том числе современной теории автоматического управления. В этой научной дисциплине особенно ценным преимуществом ИНС является способность менять свое поведение в зависимости от внешней среды, т.е. проявлять свойства адаптивности и робастности.

Нейросетевые системы управления - это системы управления с использованием ИНС в качестве контроллера, идентификатора объекта или оптимизатора для настройки параметров регулятора [1].

Процесс идентификации объекта управления заключается в построении его описания по известным входным и выходным сигналам, которое можно использовать для предсказания выходного сигнала при произвольном входном.

В нейроуправлении задачу идентификации решает прямой нейроэмулятор, который используется для вычисления градиента ошибки и обучения в режиме онлайн нейроконтроллера, формирующего управляющий сигнал для объекта.

Рассмотрим два типа нейронных сетей, наиболее используемых при решении задач эмуляции динамики объекта в системах управления.

Сети обратного распространения. Большое значение для развития в изучении ИНС имело появление алгоритма обратного распространения ошибки, позволяющего обучать многослойные ИНС [2].

Свое название нейронные сети обратного распространения (Back-Propagation Neural Network -BPNN) получили благодаря этому алгоритму обучения, в котором ошибка распространяется от выходного слоя к входному, т. е. в направлении, противоположном направлению распространения сигнала при нормальном функционировании сети.

Нейронная сеть обратного распространения состоит из нескольких слоев нейронов, причем каждый нейрон слоя i связан с каждым нейроном слоя i+1 (рис. 1).

Рис. 1. Структура сети обратного распространения

В общем случае задача обучения многослойной нейронной сети обратного распространения сводится к нахождению некой функциональной зависимости у = _Дх), где х - входной, а у - выходной векторы. Такая задача, при ограниченном наборе входных данных, имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки нейронной сети, которая находится по методу наименьших квадратов:

21

E(w) = i Z (yj - dj )2'

2 j=1

где yj - значение j-го выхода нейросети; dj - целевое значение j-го выхода; p - число нейроном в выходном слое.

Основная идея обратного распространения состоит в получении оценки ошибки для нейронов скрытых слоев. Заметим, что известные ошибки, допускаемые нейронами выходного слоя, возникают вследствие неизвестных ошибок нейронов скрытых слоев. Чем больше значение синаптической связи между нейроном скрытого слоя и выходным нейроном, тем сильнее ошибка первого влияет на ошибку второго. Следовательно, оценку ошибки элементов скрытых слоев можно получить как взвешенную сумму ошибок последующих слоев. При обучении сети сначала предъявляется образ, для которого вычисляется ошибка выхода. Далее эта ошибка распространяется по сети в обратном направлении, изменяя веса межнейронных связей.

Алгоритм обратного распространения ошибки позволяет обучать ИНС с любым числом слоев. Можно сказать, что алгоритм фактически использует разновидность градиентного спуска, перестраивая веса в направлении минимума ошибки [3].

При использовании для обучения многослойных нейронных сетей алгоритма обратного распространения ошибки, в основе которого лежит градиентный метод, могут возникнуть следующие проблемы:

1. В общем случае неизвестен выбор количества слоев и количества нейронных элементов в слое для многослойных сетей;

2. Медленная сходимость градиентного метода с постоянным шагом обучения;

3. Выбор подходящей скорости обучения а. Слишком малая скорость обучения увеличивает время обучения и может привести к скатыванию нейронной сети в ближайший локальный минимум функции суммарной квадратичной ошибки сети. Большая скорость обучения может привести к пропуску глобального минимума и сделать процесс обучения расходящимся;

4. Градиентный метод не различает точек локального и глобального минимумов. В общем случае алгоритм обратного распространения ошибки не позволяет достигнуть глобального минимума функции суммарной квадратичной ошибки сети.

5. Влияние случайной инициализации весовых коэффициентов нейронной сети на поиск минимума функции суммарной квадратичной ошибки. При разной инициализации синаптических связей могут получаться различные решения задачи. Это характеризует неустойчивость алгоритма обучения, когда нейронная сеть в одних случаях может обучаться до требуемой суммарной квадратичной ошибки, а в других нет.

В [4] подробно рассматриваются различные модификации алгоритма обратного распространения ошибки в целях нейтрализации приведенных выше недостатков.

Сети радиально-базисных функций. Нейронные сети радиально-базисных функций (Radial Basis Function Neural Network - RBFNN) были впервые предложены в работе [5]. Свое название сети получили из-за отличительной особенности в виде использования в качестве функций активации нейрона радиально-базисных функций вместо ^-образных функций (гиперболический тангенс, сигмоида).

Радиально-базисные функции - специальный класс функций, значение которых монотонно уменьшается (увеличивается) с увеличением расстояния от центра.

В качестве радиально-базисной функции обычно используется функция Гаусса.

2

hj = exp(- Х C2 ), j=1,2,...,m, (1)

j 2bj

где x = [xi X2 ... x„\T - вектор входа; cj = [cji, ... , Cjn]T - вектор центра активационной функции нейрона; bj = [bji, ... , bjn]T - среднеквадратичное отклонение, характеризующее ширину радиально-базисной функции.

Сеть радиально-базисных функций (РБФ) содержит в наиболее простой форме три слоя: обычный входной слой, выполняющий распределение данных объекта для первого слоя весов; слой скрытых нейронов с радиально-симметричной активационной функцией; выходной слой (рис. 2).

Сеть РБФ подобно многослойной сети обратного распространения является универсальным аппроксиматором.

Для построения сети РБФ необходимо выполнение следующих условий:

- наличие эталонов, представленных в виде весовых векторов нейронов скрытого слоя;

- наличие способа измерения расстояния входного вектора от эталона. Обычно это стандартное евклидово расстояние;

- специальная функция активации нейронов скрытого слоя, задающая выбранный способ измерения расстояния. Обычно используется функция Гаусса, которая существенно усиливает малую разницу между входным и эталонным векторами.

Нейронные сети радиально-базисных функций имеют ряд преимуществ перед многослойными сетями обратного распространения:

- они моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя, тем самым избавляя разработчика от необходимости решать вопрос о числе слоев;

- параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью известных методов линейной оптимизации, которые работают быстро и не испытывают трудностей с локальными минимумами, мешающими при обучении с использованием алгоритма обратного распространения ошибки. Поэтому сеть радиально-базисных функций обучается очень относительно быстро.

Рис. 2. Структура сети радиально-базисных функций

Использование сетей радиально-базисных функций предполагает следующую проблему: данные сети обладают плохими экстраполирующими свойствами и получаются весьма громоздкими при большой размерности вектора входов [6].

Нейроэмуляция линейного объекта. Для решения задачи идентификации воспользуемся нейроэмулятором динамики поведения объекта на базе рассмотренных нейронных сетей. На рис. 3 представлена обобщенная схема идентификации динамического объекта.

Рис. 3. Обобщённая схема идентификации динамического объекта

Классический алгоритм эмуляции выходного сигнала объекта с применением сетей обратного распространения описывается следующим образом (рис. 4):

1) Вычисление ошибки нейроэмуляции. Вход скрытого слоя:

х] = Е :.

г

Выход скрытого слоя (функция активации - сигмоида):

х :=^(х:) = —1—х7'

1 + е ]

Ох • ' '

тогда _± = х (1 - х : ).

Ох: у у

Выход нейронной сети обратного распространения:

Уо (к)=Е4>}ах} , }

тогда ошибка эмуляции е(к)=у (к)—уп (к).

Функция ошибки эмуляции для обучения:

Е=1 е 2 (к). 2

2) Обучение нейронной сети обратного распространения.

Обучение производится методом градиентного спуска, т.е. на каждой итерации изменение веса Wjo производится по формуле:

Awio ==П • е(к)=П • e(k) • x j:

dWj0 dWjo

где п - коэффициент скорости обучения.

Значение веса в момент времени к + 1:

Aw- (к +1) = Wjo (к ) + Aw-■

Изменение значения веса w-:

vij =ц-е(к).

J dWi,- dWj;

Значение веса в момент времени к + 1:

А^р (к +1) = (к) + А^р. Учитывая предыдущие изменения значений весов, получим

Амр0 (к +1) = (к) + А^ + а^р0 (к) - (к -1),

Awij (t +1) = Wjj (t ) + Aw- + a (Wjj (t ) - Wjj (t -1)),

где a - момент обучения.

разом.

Рис. 4. Структура нейронной сети для эмуляции

Для сетей радиально-базисных функций значения весов будут рассчитываться следующим об-

Принимая во внимание формулу (1) и значение веса w = [w1, ..., wm]T: Выход сети радиально-базисных функций:

Ут(t) = w1h1 + w2h2 + ••• + wmhm ■ Функция ошибки эмуляции для обучения сети:

E (t ) = |( У (t ) - Ут (t ))2.

По методу градиентного спуска определяются параметры сети радиально-базисной функции:

QE

Aw j =-г!—=-ц- (y(t) -ym (t)) • hj , w- (t) = w- (t -1) + Aw- (t) + a(w- (t -1) - w- (t - 2)),

J Qw- J

2

_, bj (t ) = bj (t -1) + Abj (t ) + a (bj (t -1) - bj (t - 2)),

QE

Abj =-гПог-(y(t) - Ут (t)) • wjhj

x - cj

Qb, w» "J-J b3

jj

Acji =-ц—=ц.(y(t)-ym(t))• w,, cji(t) = cji(t -1) + Acji(t) + a(cji(t -1) - cji(t - 2)) ■ J Qcji J bj

Пример моделирования нейроэмуляции объекта. Промоделируем работу нейроэмуляторов на базе сетей обратного распространения и на базе сетей радиально-базисных функций. В качестве эмулируемого линейного динамического объекта примем колебательное звено с параметрами K = 1, T = 1, £ = 0,5:

y(s) -■

T2 s + 2TÇ +1

На вход системы подадим ступенчатый сигнал и синусоидальный сигнал: u = 0,5sin(0.5^k); вектор входа нейроэмулятора: x = [u(k) y(k)]; архитектура нейронной сети обратного распространения: 26-1; архитектура нейронной сети радиально-базисных функций: 2-5-1; начальные значения весов выберем случайными в диапазоне от -1 до 1; коэффициент скорости обучения: п = 0,5; момент обучения a = 0,05; параметры радиально-базисных функций:

-1,5 -0,5 0 0,5 1,5 Т -1,5 -0,5 0 0,5 1,5 Результат моделирования представлен на рис. 5 и рис. 6.

cj =

bj =[1,5 1,5 1,5 1,5 1,5 ]Т, j =1, 2 3, 4 5.

I Объект 1iipo >му;щ op BPNN Исйро>уу;шор RBp[_

+

+

+

—

+

I llü»ptthM>:Jtf]L>|> liPN\ --1 II|M IM;. ]^I1IJ>Ii.-

Рис. 5. Результат работы нейроэмуляторов и ошибка эмуляции (отработка ступенчатого сигнала)

0.5 0.4 0.3 0.2 0.1 о •0.1 -0.2 -0.3

0.05

э с

-0.0Î

Объект ~~ - Нсирспмул ятор BPNN

А л

/ \ \

у \ \ \ \ \

\ \ i \ \

\ \ 1 \ \ и Ч

ч/

1 -!-1-1- - -

1-Ненрсимулятор BPNN -Hçîipoiu удятор RBfI

1 1 1 »

10

I

Рис. 6. Результат работы нейроэмуляторов и ошибка эмуляции (отработка синусоидального сигнала)

Заключение. Рассмотрены наиболее используемые методы нейросетевой эмуляции линейных объектов в системах управления: с использованием сетей обратного распространения и сетей радиально-базисных функций.

Алгоритм обратного распространения ошибки (существующий в многочисленных модификациях) показал очень хорошие результаты в обучении ИНС при решении многих прикладных задач. Вместе с тем этот алгоритм является локальным, т. е. гарантированно работает только тогда, когда минимизируемая при обучении функция ошибки является унимодальной. Во многих задачах функция ошибки мультимодальна. В этом случае требуются стохастические методы обучения с учителем.

Простая структура сетей радиально-базисных функций, содержащих только один слой скрытых нейронов, делает возможным прямой расчет весов сети. В этом заключается преимущество по сравнению с другими типами нейронных сетей, которые используют трудоемкие алгоритмы обучения. Параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью известных

методов линейной оптимизации, которые работают быстро и не испытывают трудностей с локальными минимумами, мешающими при обучении с использованием алгоритма обратного распространения ошибки. Поэтому сеть РБФ обучается очень быстро - на порядок быстрее, чем с использованием алгоритма обратного распространения. Однако сети радиально-базисных функций обладают плохими экстраполирующими свойствами и получаются весьма громоздкими при большой размерности вектора входов.

Проведенный эксперимент подтверждает целесообразность использования сетей обратного распространения и сетей радиально-базисных функций для нейроэмуляции динамики объекта, в силу универсальности их аппроксимационных свойств.

Список литературы

1. Терехов В.А., Тюкин И.Ю., Ефимов Д.Б. Нейросетевые системы управления: Учебное пособие для студентов, обучающихся по специальности «Управление и информатика в технических ВУЗах» // М.: Высшая школа, 2002. 183 с.

2. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by error propagation. I. Parallel distributed processing. 1986. Vol. 1. P. 318-362.

3. Бураков М.В. Нейронные сети и нейроконтроллеры: учеб. пособие. СПб.: ГУАП, 2013.

284 с.

4. Головко В.А., Краснопрошин В.В. Нейросетевые технологии обработки данных: учеб. пособие. Минск: БГУ, 2017. 263 с.

5. Broomhead D.S., Lowe D. Multivariable functional interpolation and adaptive networks // Complex Systems. 1988. N 2. P. 321-355.

6. Николаева С.Г. Нейронные сети. Реализация в Matlab: учебное пособие. Казань: Казан. гос. энерг. ун-т, 2015. 92 с.

Беззубое Никита Андреевич, аспирант, nikobezzubov@gmail. com, Россия, Тула, Тульский государственный университет,

Феофилов Сергей Владимирович, д-р техн. наук, профессор, svfeofilov@mail.ru, Россия, Тула, Тульский государственный университет

COMPERATIVE ANALYSIS OF NEURAL NETWORK EMULATORS FOR DYNAMIC OBJECTS

N.A. Bezzubov, S. V. Feofilov

The article deals with the most used dynamic object emulators using backpropagation networks and networks of radial basis functions. The concept of networks with radial basis functions and backpropagation networks is presented. It is shown that the error backpropagation algorithm (existing in numerous modifications) showed very good results in ANN training when solving many applied problems. At the same time, this algorithm is local, i.e., it is guaranteed to work only when the error function minimized during training is unimodal. In many problems, the error function is multimodal. In this case, stochastic methods of supervised learning are required. However, the networks of radial basis functions have poor extrapolating properties and are very cumbersome when the dimension of the input vector is large. The modeling of systems based on neural networks has been carried out, showing the successful solution of the problem of emulating a linear dynamic object, due to their universal approximation properties.

Key words: neural network control, neuroemulator, radial basis function neural network, back-propagation neural network, dynamic object.

Bezzubov Nikita Andreevich, postgraduate, nikobezzubov@gmail.com, Russia, Tula, Tula State University,

Feofilov Sergey Vladimirovich, doctor of technical sciences, professor, svfeofilov@mail.ru, Russia, Tula, Tula State University