Многошаговое оптимальное нейросетевое управление Текст научной статьи по специальности «Математика»

УДК 004.8

МНОГОШАГОВОЕ ОПТИМАЛЬНОЕ НЕЙРНСЕТЕВНЕ УПРАВЛЕНИЕ

П.В. Сараев

Рассмотрено оптимальное управление динамическими системами, основанное на моделировании систем с помощью нейронных сетей прямого распространения. Разработан алгоритм многошагового оптимального управления, использующий суперпозиционную структуру нейронной сети и учитывающий долгосрочный характер влияния управляющих сигналов на объект управления. Предложено применение разработанного алгоритма к управлению деятельностью коммерческих организаций и предприятий.

Ключевые слова: нейронные сети, нейросетевое управление, динамические системы.

ВВЕДЕНИЕ

Традиционные алгоритмы синтеза оптимального управления (основанные, например, на применении принципа максимума Л.С. Понтрягина) опираются на знание структуры объекта управления, т. е. модели его функционирования. Поведение многих систем, в особенности социальных и экономических, невозможно или очень сложно представить в виде системы дифференциальных или разностных уравнений, основываясь только на знании целей объекта и его внутренних свойств. Единственная возможность построения моделей сложных состоит в использовании входной и выходной информации, описывающей поведение объекта. Наиболее эффективный инструмент исследования поведения таких систем — нейросетевое моделирование. Нейросетевые модели позволяют выявить сложную нелинейную зависимость между входными и выходными сигналами системы на основании вход-выходной таблицы данных — обучающего множества.

1. НЕЙРОСЕТЕВЫЕ МОДЕЛИ ДИНАМИЧЕСКИХ СИСТЕМ

Нейронная сеть (НС) прямого распространения (рис. 1) реализует нелинейную зависимость

У = X), (1)

где м — вектор весов (параметров) сети, х — вектор входов, у — вектор выходов модели объекта управления (ОУ). Преобразование (1) производится путем послойного вычисления сигналов внутри НС, которые осуществляют простейшие элементы — нейроны.

Пусть N и Я — число входов и выходов НС соответственно, М — число слоев НС, ^ — число

нейронов в т-м слое, у(т ^ — выход д-го нейрона т-го слоя, т = 1, ..., М, д = 1, ..., Nm. Нейрон преобразует входной сигнал с нейронов предыдущего слоя в скалярный выход по правилу

у(т’ а) = а(пе/{т’ а)) = а

^ (т, а) (т - 1, ))

£ М У

(2)

= 0

Ат, а) (т, а)

где пег ’а — уровень активности нейрона, м) 7 —

вес #-го нейрона т-го слоя, соответствующий

/-му входу нейрона — выходу нейрона у(т - 11\

У(т 1’ 0) = 1 — фиктивный единичный входной сигнал нейрона, а — нелинейная функция актива-

Рис. 1. Нейронная сеть прямого распространения

ции, в качестве которой обычно используется сигмоидная логистическая функция

а(пеї) ■

1

1 + е

(3)

В формуле (2) для нейронов 1-го слоя (т = 1) следует взять у(т - 1 1) = х- — /-й вход НС. Если для слоя т выходы нейронов обозначить через вектор

у(т - 1), матрицу весов нейронов — через Ж(т), а через Ф — функции активации нейронов слоя, то отображение (1) с учетом отсутствия функций активации в нейронах выходного слоя конкретизируется:

у = у(М) = Ж(М)Ф(Ж(М - 1}Ф(...Ф(Ж(1)х)...)). (4)

Выражение (4) определяет суперпозиционную структуру НС.

Центральным этапом построения нейросетевой модели является ее идентификация, включающая в себя структурную и параметрическую идентификацию. Задача структурной идентификации нейросетевой модели является частично решенной — функционирование нейронов, алгоритм связи нейронов в слоях, способ передачи сигналов фиксированные. Параметрическая идентификация, называемая обучением НС, производится на основе обучающего множества — таблицы входных-выход-

~ г~(к) -(к), г л ^ -(к)

ных значений {х , у }, к = 1, ..., К, где х —

~ (к)

вектор входов сети, у — вектор соответствующих выходов (указаний учителя), К — число примеров обучающего множества. Цель обучения — определение весов НС заданной структуры, приводящих к минимизации квадратичного функционала, характеризующего ошибку работы сети на обучающем множестве:

К R

Q(w) = £ £ (уг(м Х(к)) - У? )2,

(5)

к = 1 г = 1

где у(м, х(к)) — г-й выход НС при подаче на вход

вектора х( к) из обучающего множества, уГк) — г-й

элемент вектора указаний учителя для к-го примера. Фактически, обучение НС — нелинейная задача о наименьших квадратах, носящая многоэкстремальный характер.

Суперпозиционный характер НС лежит в основе многих алгоритмов обучения и является основой эффективного метода вычисления градиента функционала (5) по вектору весов — процедуре обратного распространения ошибки [1, 2]. Для обучения НС могут быть использованы алгоритмы, основанные на линейно-нелинейном соотношении и матричном псевдообращении, приводящие к снижению размерности пространства оптимизи-

Рис. 2. Нейросетевая модель динамической системы

руемых весов [3—5]. Для гарантированного глобального обучения НС рекомендуется применение интервальных методов, рассмотренных в работах [6, 7]. Хотя отображения (1) и (4) являются статическими, НС можно применять и для моделирования динамических систем. В таких системах выход зависит от дискретного времени ї (у = у[ї]), при этом вместо отображения (1) рассматривается зависимость вида

у[ї] = Дм; х[ї], х[ї - 1], х[ї - С];

У[ї - 1], у[ї - 2], ..., у[ї - С]), (6)

где С — порядок задержки сигналов. На рис. 2 схематично приведена структура динамической модели (6). Кружки на рис. 2 означают не отдельные нейроны, а их ансамбли, соответствующие группам нейронов. Для идентификации модели (6) используются те же подходы, что и при идентификации НС статических систем, основанные на минимизации функционала (5). Дополнительная сложность состоит в определении порядка задержки С.

В задачах управления часть вектора входных сигналов составляют управляющие сигналы. Будем обозначать через и[ї] вектор управляющих воздействий — подвектор х[ї]. Если через у[ї] обозна-

ПЄТ

чить оставшиеся сигналы вектора х[/] (возмущения), то зависимость (6) примет вид

уМ = /м; ф], и[/ - 1], ..., и[/ - ¿]; у[/], у[/ - 1], ..., у[/ - ¿]; у[/ - 1], у[/ - 2], у[/ - ¿]). (7)

В отличие от управляющих воздействий и[/] сигналы у[/] недоступны изменению, они могут отражать, например, воздействия на объект управления со стороны внешней среды. Зависимость (7) отражает зависимость выхода объекта в момент времени t от входных сигналов не только в текущий, но и в предыдущие моменты времени.

2. АЛГОРИТМ МНОГОШАГОВОГО ОПТИМАЛЬНОГО НЕЙРОСЕТЕВОГО УПРАВЛЕНИЯ ДИНАМИЧЕСКИМИ СИСТЕМАМИ

Большой класс задач управления относится к задачам синтеза оптимального управления. Управление объектами на основе НС является перспективным направлением [8—10]. В работе [3] рассмотрено нейросетевое управление, в котором критерием качества управления принят функционал

/ = £ №] - у[ї])2 + р«2[ї - 1],

(8)

где г [/] — уставка ОУ в момент времени /, р 1 0 — коэффициент пропорциональности. Критерий (8) подлежит минимизации.

Вместо функционала (8) рассмотрим функционал более общего вида

/(и[Т + 1], ..., и[Т + 5]) =

Т + 5

£ я(и[ї], у[ї]),

і = Т + 1

(9)

где Т — последний момент времени, на который известно значение выхода, 5 — интервал (число шагов) управления, g — некоторая функция, которую будем считать дифференцируемой по компонентам векторов у[/] и и[/], /; = Т + 1, ..., Т + Рас-

смотрим задачу максимизации функционала (9) по величинам и[Т + 1], ..., и[Т + 5]. При 5 = 1 получается задача одношагового, при 5 > 1 — многошагового управления. Многошаговое управление учитывает длительный характер влияния управляющих воздействий и[/] на последующее поведение системы вследствие динамического вида зависимости (7). Функция g выбирается, исходя из целей управления, и обычно имеет несложный вид. Аналогично, как и в критерий (8), в функционал (9) можно заложить требование минимизации затрат на управление «[/], что не приведет к усложнению предлагаемого алгоритма управления.

Рассмотрим синтез управления на основе прямой модели ОУ. На рис. 3 приведена структура нейросетевого управления. Вместо реальных значений выхода ОУ у[/] используется модельное зна-

*/] . ОУ уЩ Целевая

\ ч / функция 7

г

У /Л

Синтез и[і\ ^ Нейросетевая У М Оценка целевой функции .Ґ

управления модель

\

Рис. 3. Схема нейросетевого управления на основе прямой модели ОУ

чение у *[/] и, соответственно, вместо реального значения функционала J его оценка У*. В дальнейшем это будет подразумеваться, но для упрощения записи указываться не будет.

Критерий (9) — дифференцируемая нелинейная функция нескольких переменных, оптимизация которой может быть произведена методами локальной оптимизации гладких функций с учетом заложенной в градиенте информации о поведении функции в окрестности текущего решения. Частная производная критерия (9) по компоненте иДз] (/-му управляющему сигналу в момент времени ^, з = Т + 1, ..., Т + 5), находится по формулам

Л :

Эи і ( 5 ) Эя ( и [ ї 1 , у г ї 1 )

Эи і г 51

Т + 5 £

і = Т + 1

Эя ( и г ї 1 , у г ї 1 )

ди) [ 51

R

£

г = 1

Эя (и г ї 1, у г ї 1) . дУг[ /1

Эу г г ї 1

Эи і г 51

(10)

. (11)

Так как при / < з выход у[/] не зависит от управляющего сигнала иДл], получаем для этого случая

Эя( и г ї 1 , у г ї 1 ) = о. Эи) г 51

(12)

С учетом выражения (12) формула (10) прини мает вид

Т + 5

Э/•) = У^Эя ( и г ї 1 , у г ї 1 ) (13)

£ Э и; г 5 1 . ( )

І = 5 а Л

Эи і( 5)

Множитель Эя ( и г -1 > у г -1 )

в формуле (11) опре-

Эу г г ї 1

деляется, исходя из конкретного вида функции я; основная задача состоит в вычислении множителя

Эу г г ї 1

. Рассмотрим отдельно случаи, когда ї = 5 и

Эи I г 51

когда ї > 5.

При ї = 5 частная производная

Эу г г ї 1

находится

Эи I г 51

с помощью алгоритма, аналогичного процедуре

16

С0НШ1 5С1ЕНСЕ8 № 5 • 2008

обратного распространения ошибки. Введем обоз начения

/’ г) = мДО, Уг =

По правилу дифференцирования сложной фун кции для произвольного слоя т = 0, ..., М — 1 по лучаем

сУг

Эу

(m, i)

+ 1

r srmi = *

q Уд

+ 1

= Z r sm + 1, q •

q = 1

дУг • дУ

(m + 1, q)

(m + 1, q)

дУ

,(m, i)

• дУ

(m + 1, q)

дУ

(m, i)

(15)

Формула (15) позволяет рекуррентно вычислить величины 5^,;', начиная с т = М — 1 и далее, уменьшая номер слоя т. При т = 0 получим ис-ЭУг [? ] _ ЗУг [ ? ]

комую производную

dUi [ s ]

дУ

,(0, i)

= s0i. Частная

производная

дУ

(m + 1, q)

дУ

(m, i)

с учетом выражения (2) вы-

числяется так:

dy(m + 1 q) = dy(m +1’q)

(m + 1, q)

dy(m'11 5net>m +1дУ

= a„ (net(m + "')• w(m + 1,ql

(m + 1, q)

(m, i)

(16)

где (net(qm +) — производная функции актива-

ции по своему аргументу — уровню активности нейрона, которая для функции (3) вычисляется как anet (net) = a(net)(1 — a(net)). Начальное условие для рекуррентного пересчета (при m = M — 1) также вычисляется по формуле (16).

В случае t > s необходимо учитывать факт зависимости выхода yr[t] от управляющих сигналов M;[s] через выходы в предыдущие моменты времени y[s], y[s + 1], ..., y[t — 1]. Для вычислений может быть применена формула

dy r [ t ] дм Д s ]

дУг [ t] І + * ЭуДТ] • Эур [s] Эм i[ s ]J 1 p* дУр [ s ] д Mi [ s ]

(17)

где

дУр [ s] д м i [ s ]

и

дУг[ t ]

— производные функции (7)

Эмд 5 ]) х

как явно зависящей от мДя] — определяются по формулам (15) и (16) (если ? — 5 > d, т. е. V [?] явно

Эуг[ t ]|

r 1 = 0). В выражениях

не зависит от м Ы, то

; ^мД 5]) х

(14) необходимо соответствующим образом понимать величины У0, ;). В формуле (17) для расчета

дУг [ t ]

дУ„ [ s]

совместно с формулами (15) и (16) рекур-

(14) рентно применяется аналогичная (17) формула

дУг [ t ]

дУр [ s]

дУг[ t ]

*

дУг [ t ] дУі [ s + 1 ]

дУр[ s ]J 1 iT1 дУ/[ s + 1 ] дУр[ s ]

дУДs+1 ] где —I—и

дУр [ s ]

дУг[ t ]

дУр[ s 1

— производные функции

гр^\ р1.5]у х

как явно зависящих от переменных, по которым производится дифференцирование.

Таким образом, для реализации многошагового оптимального управления на основе учета супер-позиционного характера структуры НС может быть использован алгоритм, опирающийся на формулы (13), (15)—(17). Чтобы спрогнозировать выходные значения у[?], необходимо также знать значения у[?] при ? = Т + 1, ..., Т + Наиболее целесообразно предварительное прогнозирование значений у[?] с помощью методов анализа временных рядов. Для этих целей также могут применяться НС.

3. УПРАВЛЕНИЕ ДЕЯТЕЛЬНОСТЬЮ КОММЕРЧЕСКИХ ОРГАНИЗАЦИЙ

Экономические системы представляют собой сложные объекты с большим числом взаимодействующих элементов. К важнейшим звеньям таких систем относятся коммерческие организации и предприятия. Их экономическую деятельность целесообразно рассматривать как функционирование динамических систем. Организация рассматривается в виде «черного ящика», на вход которого поступают входные сигналы (внутренние и внешние факторы, влияющие на деятельность организации), на выходе — результаты ее деятельности (объемы реализованной продукции и рассчитываемые на ее основе доходы и прибыль). Под внешними факторами подразумевается состояние экономической среды, в которой функционирует организация. Входные сигналы «перерабатываются», и на выходе формируются выходные величины — объем реализованной продукции или предоставленных услуг, а также доход и прибыль организаций от осуществляемой ими деятельности. Задача определения оптимальных значений входных внутренних факторов, приводящих к достижению поставленных целей, является главной в управлении деятельностью организаций.

Среди входных величин выделяются управляемые (контролируемые), т. е. те величины, значения которых зависят от управляющего персонала организации, и неуправляемые (неконтролируемые). К управляемым величинам относятся расходы на производство, цены на реализуемую про-

R

дукцию, расходы на оплату труда сотрудников организации, рекламу, научно-исследовательские разработки. Именно эти факторы служат рычагами воздействия менеджмента организации. К неуправляемым величинам относятся все внешние факторы. Кроме того, в конкретный момент времени к ним может относиться и часть внутренних (к ним может относиться часть управленческих затрат, затраты на аренду помещения и оборудования по заключенным контрактам в рассматриваемом временном периоде). Влияние ряда входных величин долгосрочное. В частности, расходы на научно-исследовательские разработки дают эффект лишь через некоторый срок. Указанные факты служат основанием для эффективного применения разработанного многошагового алгоритма оптимального нейросетевого управления деятельностью коммерческих организаций.

Выходы модели у обозначают спрос клиентов на реализуемую продукцию (услуги), входящую в ассортимент организации. Для задания функционала качества оптимального управления (9) необходимо задать функцию g, входящую в функционал. Если цель организации состоит в увеличении спроса на /-ю продукцию, то

g(M, у) = Уі,

(18)

при стремлении увеличить доход от реализации /-й продукции рассматривается функция

¿(м, у) = М;уг, (19)

где м; — цена /-й продукции. В подавляющем большинстве случаев вместо функций (18) и (19) стоит цель в максимизации прибыли. Для /-й продукции

¿(м, у) = ¿(м., у.), (20)

где к — выбираемая для конкретной организации и зависящая от сферы деятельности и режима налогообложения, которая будет иметь простой вид. Если требуется учитывать весь спектр реализуемой продукции, то функция g будет представлять собой сумму величин. Вместо функций (18)—(20) следует соответственно принять

R

¿(м у) = £ ур

/ = 1 R

¿(м у) = £ мур

/ = 1

¿(м, у) = к(м1, м2, ..., мК, у1, у2, ..., у^.

Алгоритм многошагового оптимального управления на основе моделирования динамических систем может быть применен для получения более качественных рекомендаций по управлению ценовой политикой предприятий, которое рассматривалось ранее в работе [11] на основе описания де-

ятельности организации с помощью статической нейросетевой модели.

ЗАКЛЮЧЕНИЕ

Предложенные расчетные формулы алгоритма оптимального управления на основе нейросетевой модели позволяют эффективно учесть суперпози-ционный характер нейросетевой модели объекта управления. Алгоритм учитывает влияние управляющих воздействий на поведение объекта не только в настоящий момент времени, но и в будущем. Универсальный характер формул позволяет реализовывать управление произвольным объектом управления независимо от его природы. В частности, алгоритм может быть эффективно применен для управления деятельностью коммерческих организаций.

ЛИТЕРАТУРА

1. Аведьян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика. — 1995. — № 4. — С. 106—118.

2. Осовский С. Нейронные сети для обработки информации. — М.: Финансы и статистика, 2002. — 344 с.

3. Сараев П.В. Использование псевдообращения в задачах обучения искусственных нейронных сетей / Электронный журнал «Исследовано в России». — 2001. — № 29. — С. 308—317. — Режим доступа: http://zhurnal.ape.relam.ru/ articles/2001/029.pdf.

4. Сараев П.В. Обучение искусственных нейронных сетей: учет линейно-нелинейной структуры // Вестник молодых ученых. — 2003. — № 2. / Сер. «Прикладная математика и механика». — Вып. 1. — С. 92—100.

5. Blyumin S.L., Saraev P.V. Reduction of Adjusting Weights Space Dimension in Feedforward Artificial Neural Networks Training // Proc. of IEEE Int. Conf. on Artificial Intelligence Systems / IEEE, 2002. — P. 242—247.

6. Сараев П.В. Применение методов интервального анализа в обучении нейронных сетей // Искусственный интеллект. Интеллектуальные и многопроцессорные системы — 2006 // Материалы Седьмой Международной научно-технической конференции. — Таганрог, 2006. — Т. 2. — С. 216—220.

7. Сараев П.В. Комбинирование интервальных методов и псевдообращения в глобальном обучении нейронных сетей / X Всерос. науч.-техн. конф. «Нейроинформатика — 2008»: Сб. науч. тр. — М.: МИФИ, 2008. — Ч. 2. — С. 208—215.

8. Методы робастного, нейро-нечеткого и адаптивного управления / Под ред. Н.Д. Егупова. — М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. — 744 с.

9. Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения. — М.: ИПРЖР, 2000. — 272 с.

10. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. — М.: ИПРЖР, 2002. — 480 с.

11. Сараев П.В. Нейросетевое моделирование и управление ценовой политикой // Системы управления и информационные технологии. — 2004. — № 1 (13). — С. 37—41.

Статья представлена к публикации членом редколлегии

С.Д. Земляковым.

Сараев Павел Викторович — канд. техн. наук, доцент, Липецкий

государственный технический университет, S (4742) 32-80-51,

e-mail: [email protected]