CC BY
11
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
Черемных С.В.
УДК 62:50
АВТОМАТИЗАЦИЯ ВЫБОРА ЗНАЧЕНИЙ ПАРАМЕТРОВ В АЛГОРИТМАХ СИЛЬНОГО И СЛАБОГО УЛУЧШЕНИЯ ВТОРОГО ПОРЯДКА ДЛЯ ЗАДАЧ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ
Введение
В настоящее время для решения задач оптимального управления разработана группа приближенных методов, основанных на принципе расширения. Алгоритмы последовательных улучшений, полученные на основе достаточных условий сильного и слабого локального минимума [1,2,3,4,5] содержат параметры, которые являются регуляторами шага. Значения этих параметров задаются в самом начале работы алгоритма, и в дальнейшем от выбранных значений зависит весь ход итерационного процесса. Итерация метода второго порядка состоит из интегрирования исходной дифференциальной связи и вспомогательной нелинейной векторно-матричной системы дифференциальных уравнений, зависящих от параметров. Изменение значений параметров влечет за собой переинтегрирование вспомогательной системы, что является очень трудоемким процессом. Рациональное управление этими параметрами представляется актуальной проблемой, т.к. позволяет повысить эффективность работы вышеуказанных алгоритмов. В работе рассмотрен один из подходов к решению сформулированной проблемы. Предложены модифицированные алгоритмы сильного и слабого улучшения второго порядка для задачи оптимального управления со свободным правым концом, особенностями которых являются: 1) выбор значений параметров путем решения одномерной задачи минимизации, т.е. выбор наилучших значений параметров на каждой итерации; 2) разложение по параметру решений вспомогательной вектор-но-матричной системы дифференциальных уравнений, что позволяет избежать ее многократного интегрирования на каждой итерации.
Пусть задана управляемая система дифференциальных уравнений на отрезке [£0,г1 ]:
—=I ах,и\ м у '
х
Со ) =
х
(1)
где х(г) е Я" - непрерывная и кусочно дифференцируемая вектор-функция, а управление и(г)е - кусочно непрерывная вектор-функция, и функционал I = Б(х(г1 )) + |10 (г,х,и)М, ко-
г о
торый требуется минимизировать.
Поиск состояния х(г) и управления и(г), минимизирующих заданный функционал, осуществляется с помощью итерационной процедуры, в которой на каждом шаге решается задача улучшения: заданы начальные значения х1 (г) и и1 (г), требуется найти новые состояние х"(г) и управление и11 (г) такие, что выполняется 1( х11 ,и11 )< 1( х1 и1 ).
2. Алгоритмы улучшения второго порядка.
В работах [1,2,3,4,5] описаны методы сильного и слабого улучшения для данной задачи и получены соответствующие алгоритмы. При выводе многих алгоритмов применен метод локализации, например, в [3,5] конструируется положительно определенный функционал У(х1 ,и1 ,х,и), имеющий смысл штрафа за отклонение от опорной траектории, а затем задача улучшения исходного функционала сводится к задаче улучшения вспомогательного функционала !а(х,и) = а!(х,и) + (1 -а)У(х1 ,и1,х,и), где а е [0,1] - скалярный параметр. В методе сильного улучшения функционал У(х1 ,и1 ,х,и) задается в виде
1 1 ' У(х1 ,и1 ,х,и) =— |Ах'БАхМ +[Ах(г1)] БАх(г1)
1. Постановка задачи.
Ч'о
где E - единичная матрица размерности nх n, Ах = х -x' (t), или в виде
1 г t. < ^
J (х1 ,u' ,x,u) = — j Ax 'ßAxdt + [Ax(t. )] yAx(t. ) , (2)
где р, у - диагональные положительно определенные матрицы размерности пх п.
Во втором случае диагональные элементы матриц р и у могут выполнять роль весовых коэффициентов, уравновешивающих, например, разные масштабы, разную степень влияния и т.п. различных компонент вектора состояния. Аналогично, в методе слабого улучшения функционал J(х' ,и' ,х,и) задается в виде
1Г V ' ^
J(х1 ,и',х,и)=- Г Ли' БЛиМ + [Лх(^)] БЛх(^)
2 I' 0
где Б - единичная матрица размерности (тх т или пх п), Ах = х -х1 Ли = и-и1 (?) или в виде
1 ГV ' л
Jру(х',и',х,и) = — jЛu'рЛudí +[Лх(?1)] уЛх(?1)
u11 (t) = S(t,xn (t ),V(t)+ a(t)( x" (t)-x' (t)))
6. Если l(x" ,u'' )> l(x! ,u!), то изменяем значения параметров a, ß , y и повторяем процесс с пункта 3.
Алгоритм слабого улучшения
1. Задаем управление u'(t), из системы (1) находим x' (t).
2. Задаем значения параметров: а = а',
ß=ß', y=y'.
3. При этих значениях параметров из системы
=-на + (на + н, )(на -(i - a)ß)-1 на,
d| =-Hax -aHJx -На¥а + (Hau + Н- )•
(наи -(1 -a)ß)-1 (нах + H>)
, (3)
где р,и у - диагональные положительно определенные матрицы размерности тх т и пх п, соответственно.
Алгоритмы сильного и слабого улучшения второго порядка, описанные в работе [5], с учетом того, что функционал J(х' ,и',х,и) задается формулой (2) или (3), имеют вид:
Алгоритм сильного улучшения
1. Задаем управление и'(?), из системы (1) находим х' (?).
2. Задаем значения параметров: а = а', р=р', У =У'.
3. При этих значениях параметров из системы
-t=-на-а(н;-н a) f ^ +(1 -a)ß-GH^x -H^^
(4)
V(t. ) = -aFx (x'(t. )), oft ) = -aFxx (x' (t. ))-(1 -a)y
вычисляем и ст(?).
Здесь - п-вектор, ст(?) - пх п- симметрическая матрица, На(^х,р,и) = р^ (t,x,u)-аf0(?,х,и), р - п-вектор, На(^х,р) = тахНа(?,х,р,и), все производные функции На и вычисляются в точке (?,х' производная На в точке
(и' (0^(0^(0). ^
4. Из системы — = f(t,x,u(t,x,p)), х(?0) = х0,
где и(^х,р) = агдтахНа(?,х,р,и), р = + ст(?)Лх, Лх = х -х' (?), вычисляем х''(?).
5. Находим
^ ) = -аРх (х')), а^ ) = -аРхх (х' ))-(1 -а)у вычисляем и ст(?). В системе (5) производные функции На вычисляются в точке (и' (О^)и'(О) ^
4. Из системы — = f(t,x,u(t,x,p)), х(?0 ) = х0,
где и = и' +Ли(^Лх), Лu(t,Лx) = -(На -(1 -а)р)-1 •
•[Нца+(Нцаа + )Лх], Лх = х -х'вычисляем х''(?).
5. Находим и''(^ = и'(П + Ли^,х'' -х').
6. Если 1(х'' ,и'' )> '(х' ,и'), то изменяем значения параметров а,р , у и повторяем процесс с пункта 3.
3. Управление параметрами алгоритма.
В вышеприведенных алгоритмах от выбранных значений а, р, у зависит весь ход итерационного процесса: существование решения системы (4) или (5) на всем отрезке ], успешность итерации (т.е. удалось ли улучшить функционал), глубина улучшения функционала на итерации и, следовательно, необходимое количество итераций. Сформулируем задачу управления выбором параметров алгоритма: имеется элемент (х'^),и' требуется найти такие значения параметров а, р , у , чтобы найденный при этих значениях элемент (х''(t)) был наилучшим (в смысле наименьшего значения функционала) среди всех элементов (х''^),и''найденных при различных допустимых значениях а, р, у.
Для решения данной задачи будем исследовать зависимость функционала от параметров а, р, у. Обозначим р., г =1,п (или г =1,т) - диагональные элементы матрицы р; у., ) =1,п - диагональные элементы матрицы у. Рассмотрим за-
VC
V 0
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
дачу оптимального управления, решаемую с помощью алгоритма улучшения, как задачу с параметром а, где а =(а,р1,р2,...,рп,у1,у2,...,уп) - в методе сильного улучшения; а =(а,р1 ,р2,...,рп ,у 1, ,у2,...,уп) - в методе слабого улучшения. После выполнения пунктов 1-5 алгоритма сильного или слабого улучшения получаем:
Решается система — = 1(г,х,и(г,х,а)),
х(г0) = х0, находятся х" и и11 =и(г,хп,а), вычисля-
функционала
ется
значение
ч
1( х11, и11) = р( х11 (г1)) +110 (и11, и(г,х" ,а ))ся.
г о
Введем обозначения:
1(г,х, и(г,х,а)) = д(г,х,а), 10 (г,х, и(г,х,а)) = д0 (г,х,а). Тогда получаем следующую задачу: требуется минимизировать функционал
г 1
^ = 1( х,а ) = Р(х(^ )) + | д0 (г, х,а
где х(г) - непрерывные и кусочно дифференцируемые функции, удовлетворяющие на [г0,г1 ] системе дифференциальных уравнений йх
— = д(г,х,а), х(го ) = х0, а - параметр-вектор размерности 2 п + 1 (или т + п +1).
Это конечномерная задача минимизации, для решения которой можно применить градиентные или квазиньютоновские схемы. В то же время это задача с параметром, которую можно рассматривать как частный случай задачи оптимального управления с параметром. Поэтому для получения формул частных производных функционала по компонентам параметра а, необходимых при применении градиентной схемы, можно воспользоваться формулами для производных функционала по параметру, выведенными в работе [5].
В результате получаются следующие выражения для /а, /р , /у при а = а1, р = р1, у=у1.
В алгоритме силь ного улучшения:
В алгоритме слабого улучшения:
'' Г -1
I = -jH (t,х11,V,u11 ).J[H" -(1 -а1 )ß'У x[ß' +
to 1
+(t, х1, ¥ а, u')] X [на - (1 - а1У ]-1 X *[на+(+ на,)(х" -х1)]- (9)
-[на-(1 -а1 )ß1 ]-1 x[Hu (t, х1, ¥а и1) + +(н„а¥аа + Них (t, х1 ,Уа ,u1))(х11 - х1 )]}dt;
V =-JHu'(t,х11,V(t),u").{[н„аи -(1 -а1 )ß1 ]-1 X
to {
X [Н0и (t,х1, v ß., и1) - (1 - а)E ] X [н„аи - (1 - а1 )ß1 ] 1 x X [Н„а + ( H> + Hl)(х11 - х1)] - (10)
-[Н„аи -(1 -а1 )ß1 ]-1 x[h„0(t,х1,Vß.и1) + +(HU'vCTßi + них(t,х', Vß.))(х11 -х1 ) }dt, i = 1m;
^ =-jHu'(t^V(t)U).{[н„аи -(1 -а1 )ß1 ]-1 X
to {
x[h0u (W, Vß. )]x[hI-(1 -а1 )ß1 ]-1 X x[hI +(H> + HI)(х" -х1)]- (11)
-[Н„аи -(1 -а1 )ß1 ]-1 x[ HU (t, х1, ¥tj U ) + +f H.la. + Hi(t,х1 ,v,,и1 ))(х11 -х1 )]jdt, j = U.
t1
WH '(t, х11, V,u" ). Hu (t, х11 ,¥а+Па( х11 - х1 ),и" )
to
>: H1u (t, х11, v + a(х11 - х1), и11 ) dt;
t1
V=JH '(t, х11, V,u" ). HO (t, х11, Vßi +а,( х11 - х1 ),и" )
to
HI (t, х11, v + o( х11 - х1 ),и" )1 1dt, i =iu
!T j =
t1
= J Hu'(t,х11, V, и11). HO (t,i", vTj + aTj (х11 - х1), и11) :
и(t,х11, v + а(х11 -х1 ),и"^dt, j = U;
(6)
(7)
(8)
uV Tj
В формулах (6) - (11): н(г,х,р,и) = р'-1(г,х,и)--10 (г,х,и), н а =(г,х,р,и,а) = р'-1 (г,х,и)-а10 (г,х,и); Н0(г,х,р,и) = р' -1(г,х,и), функция находится из системы
^^^ = -Нх (г,хп, ^а1), ) = -Рх (х11 (г1)), где Н(г,х,р,а) = р'д(г,х,а)-д0(г,х,а), а1 =(а1 ,р/,уI),
I =1,п(т), у =1,п; производные функции На, аргументы которых опущены, вычисляются в точке (г,х1 (г),^(г),и1 (г)); е. - квадратная матрица тх т, у которой элемент е.;. =1, а все остальные элементы равны нулю.
В формулах (6) - (8) функции у(г) и ст(г) находятся из системы (4) при а = а1, р = р1, у = у1 ,ав формулах (9)- (11) функции у(г) и ст(г) находятся из системы (5). Функции уа(г), ста(г), (г), стр (г), уу (г), ау (г) находятся из систем, полученных дифференцированием системы (4) (или системы (5)) по а, р., уу, соответственно.
Чтобы, решая полученную задачу минимизации, не интегрировать заново систему (4) (или систему (5)) при каждом изменении значений параметров, можно вычислять функ-
j=1
CTI
ции ^(t) и приблизительно, разложив их в ряды Тейлора по параметрам в окрестности точки (а' ,р', у'):
'' ,р'' ,у'' ) = ^,а' ,р' ,у' ) + уа(и' ,р' ,у') х х(а'' -а')+ £^ (^а',р',у')(р'' -р') + (12)
г =1
Е^, (t,а',р',у' )(у 1 -у');
=1
(t,а'' ,р'' ,у'') = ст(?а' ,р' ,у') + ста (t,а' ,р' ,у' )х х(а'' -а') + £Стр_ (?а',р',у')(р'' -р')+ (13)
г =1
Сту 1 (и' р ,у' )(у 1 -у').
1=1
Изложенный подход позволяет создать модифицированные алгоритмы сильного и слабого улучшения второго порядка, в которых организован поиск наилучших значений параметров на каждой итерации.
Модифицированный алгоритм сильного улучшения.
1. Задаем управление и'из системы (1) находим х'
2. Задаем значения параметров: а = а',
р=р', у=у'.
3. Из системы (4) при а', р', у' вычисляем и ст(?).
(1х
4. Из системы — = f(t,x,й(t,x,p)), х(?0 ) = х0,
где ~(?,х,р) = агдтах Н а(^х,р,и), р = + ст(?)Лх, Лх = х -х' вычисляем х''
5. Находим 5. Находим
и'' (t) = й(и'' (о, + ст(?)( х" (t) - х' (t)))
6. Вычисляем 7а , /Р( , I в точке (а' ,р',у')
по формулам (6)-(8) и задаем а'' =а',
р'' =р'-^р., у' =у'1, /М =1,2.....п ,
где - скалярный параметр. Переходим к решению одномерной задачи минимизации функционала /(а'',р'',у'') по переменной Функции ^(t) и ст(?) при а = а'', р = р'', у = у' вычисляем по формулам (12)-(13).
7. Находим й при а'', р'', у'', '',р'',у''), а(^а'' ,р'' ,у''), а затем заново вычисляем х''(t) и
и" ^).
Модифицированный алгоритм слабого улучшения.
1. Задаем управление и'из системы (1) находим х'
2. Задаем значения параметров: а = а',
р=р', у=у'.
3. Из системы (5) при а', р', у' вычисляем и ст(?).
где
[ и
X
(t).
dx -
4. Из системы — = f(t,x,u(t,x,p)), x(t0 ) = x0,
и = u' + A u(t,Ax), A u(t,Ax) = -(-(1 -a)p)^ • (Hua¥c + Hua )Ax], Ax = x -x'(t), вычисляем
5. Находим u''(t) = u'(t) + Au(t,x'' -x').
6. Вычисляем I„
I в точке (a ,p , у )
по формулам (9)-(11) и задаем a'' =a'-у,
p'' =p' -^p ,i =1,2.....m, у j
= у' -У
' j _= У j
j = 12,
где - скалярный параметр. Переходим к решению одномерной задачи минимизации
'' ,р'',у'') по переменной
функционала /(с
v ,Р'' ,У''. ), а затем заново вычисляем x'' (t) и
>
Функции y(t) и a(t) при a = a'', Р = Р'', у = у' вычисляем по формулам (12)-(13).
7. Находим u при a'', Р'', у'', y(t, ait,a ,p ? (t).
4. Тестовые примеры.
Для сравнения работы первоначального (базового) и модифицированного алгоритмов решены на компьютере пять тестовых примеров. Приведем результаты решения двух примеров. В этих примерах параметры p и у были зафиксированы, изменялся только параметр a, его начальное значение a start задавалось одинаковым в обоих алгоритмах: a start =1 и a start = 0.7. В базовом алгоритме начальное значение параметра a оставалось таким, как задано на всех итерациях до тех пор, пока удавалось улучшать функционал. В случае, когда улучшить функционал не удавалось, значение параметра a уменьшалось на 30%. В модифицированном алгоритме на каждой итерации предпринималась попытка оптимизировать имеющееся значение параметра a и выполнить эту и последующие итерации с найденным значением. Другие характеристики алгоритма (шаг интегрирования, точность вычисления функционала и т.п.) задавались одинаковыми в обоих алгоритмах.
Пример 1. Пусть: dx
_= u 1
dt ' '(x,u) = J(x2(t) + u2(t))dt, t e [0,1],
x(0) = 1. 0
Были выбраны: шаг интегрирования h = 0.001, точность вычисления функционала Б = 0.0001, начальное управление u'(t)= 0.
Результаты вычислений алгоритмами сильного улучшения представлены: при astait =1, в таблице 1, при astart = 0.7 - в таблице 2. Результаты вычислений алгоритмами слабого улучшения представлены: при astart = 1, в таблице 3, при astart = 0.7- в таблице 4.
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
Данный пример решается базовым алгоритмом за одну итерацию, если сразу задать параметр а равным единице. В такой ситуации у модифицированного алгоритма нет преимуществ. Однако не всегда при а5(аг( =1 первые итерации алгоритма бывают успешны, и тогда начальное значение а приходится уменьшать. Преимущества модифицированного алгоритма проявляются в тех случаях, когда первоначально заданное (или уменьшенное на первых итерациях) значение а в дальнейшем мож-
но увеличить, сократив тем самым количество итераций, необходимых для решения задачи.
Пример 2. Пусть:
-О- х 2
х
-и,
йх..
=х
йг
х1 (0) =1.5, х 2 (0)= 1.5.
Результаты вычислений алгоритмами сильного улучшения при а5,аг, = 1
Таблица 1
Базовый алгоритм сильного улучшения Модифицированный алгоритм сильного улучшения
Номер итерации Значение параметра а Значение функционала Номер итерации Значение параметра а Значение функционала
0 - 0.1000000Е + 01 0 - 0.1000000Е + 01
Результаты вычислений алгоритмами сильного улучшения при а5(аг, = 0.7 Таблица 2
Базовый алгоритм сильного улучшения Модифицированный алгоритм сильного улучшения
Номер итерации Значение параметра а Значение функционала Номер итерации Значение параметра а Значение функционала
0 - 0.1000000Е + 01 0 - 0.1000000Е + 01
1 0.7 0.7329050Е + 00 1 0.74996 0.7312426Е + 00
Результаты вычислений алгоритмами слабого улучшения при а5,аг, = 1 Таблица 3
Базовый алгоритм Модифицированный алгоритм
слабого улучшения слабого улучшения
Номер Значение Значение Номер Значение Значение
итерации параметра а функционала итерации параметра а функционала
0 - 0.1000000Е + 01 0 - 0.1000000Е + 01
1 1 0.7335367Е + 00 1 1 0.7335367Е + 00
Результаты вычислений алгоритмами слабого улучшения при а5,аг, = 0.7 Таблица 4
Базовый алгоритм слабого улучшения Модифицированный алгоритм слабого улучшения
Номер итерации Значение параметра а Значение функционала Номер итерации Значение параметра а Значение функционала
0 - 0.1000000Е + 01 0 - 0.1000000Е + 01
1 0.7 0.7460582Е + 00 1 0.999996 0.7335645Е + 00
2 0.7 0.7360622Е + 00
3 0.7 0.7355737Е + 00
4 0.7 0.7355726Е + 00
1 5
'(х,и) = - Кх2 + х22 (^ + и2 (^)м, t е [0,5].
2 0
Пример взят из работы [5] без учета ограничений на управление.
Этот пример решен методом слабого улучшения при тех же значениях шага интегрирования, точности вычисления функционала и начальных значениях параметра алгоритма а. Начальное управление и'(^ = 0.
Данный пример демонстрирует тот случай, когда необходимо задавать начальное значение параметра а достаточно маленьким. На первой итерации система (5) имеет решение на всем отрезке [^ ] только при а < 0.7, а улучшение функционала получается при а< 024. Однако, как показывают результаты вычислений для а= 1 представленные в таблице 5, начиная с третьей итерации значение параметра а можно существенно увеличить и получить решение задачи за меньшее число итераций.
Тестовые примеры показали, что модифицированные алгоритмы справляются с решением задачи так же хорошо, как и базовые алгоритмы, а в некоторых случаях оказываются эффективнее. Прежде всего это те случаи, когда особенности решаемой задачи оптимального управления (жесткость исходной системы, овражность минимизируемого функционала и др.) приводят к необходимости
задавать малые значения параметра на первых итерациях. Также результаты решения примеров показывают, что модифицированные алгоритмы точнее находят минимум функционала.
БИБЛИОГРАФИЯ
1. Кротов, В.Ф., Гурман, В.И. Методы и задачи оптимального управления. — М.: Наука, 1973. - 448 с.
2. Гурман, В.И., Расина, И.В. О практических приложениях достаточных условий сильного относительного минимума// Автоматика и телемеханика. — 1979. — №10. . — С. 12-18.
3. Новые методы улучшения управляемых процессов./В.И. Гурман [и др.]. — Новосибирск: Наука. Сиб. отд-ние, 1987. — 183 с.
4. Гурман, В.И., Батурин, В.А., Расина, И.В. Приближенные методы оптимального управления. — Иркутск: Изд-во Иркут. Ун-та, 1983. — 178 с.
5. Батурин, В.А., Урбанович, Д.Е. Приближенные методы оптимального управления, основанные на принципе расширения. — Новосибирск: Наука. Сиб. Предприятие РАН, 1997. — 175 с.
Сравнительные результаты расчета при а5,ш, = 1 Таблица 5
Базовый алгоритм слабого улучшения Модифицированный алгоритм слабого улучшения
Номер итерации Значение параметра а Значение функционала Номер итерации Значение параметра а Значение функционала
0 - 0.9417026Е + 01 0 - 0.9417026Е + 01
1 0.24 0.7166565Е + 01 1 0.24 0.7166565Е + 01
2 0.24 0.4832038Е + 01 2 0.2238 0.4785429Е + 01
3 0.24 0.4542503Е + 01 3 0.8418 0.4375920Е + 01
4 0.24 0.4450811Е + 01 4 0.8418 0.4347006Е + 01
5 0.24 0.4408217Е + 01 5 0.8418 0.4345186Е + 01
6 0.24 0.4385656Е + 01 6 0.42016 0.4343673Е + 01
7 0.24 0.4372587Е + 01 7 0.42016 0.4343584Е + 01
8 0.24 0.4364468Е + 01
9 0.24 0.4359137Е + 01
24 0.24 0.4345329Е + 01
