CC BY
18
ВЕСТНИК БУРЯТСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2012/1
8. Малтугуева Г. С. Алгоритм группового выбора при описании индивидуальных предпочтений в виде ранжировок / Г.С. Малтугуева, Ю.В. Котлов // Вестник ТГУ. - №9 (II). - 2004. - С. 44-47.
9. Васильев С.Н. Методы и алгоритмы многокритериальной оптимизации на основе нестрогих ранжировок альтернатив по частным критериям и опыт компьютерной реализации / С.Н. Васильев, Ю.В. Котлов // Проблемы управления и информатики. - 2006. - № 1-2. - С. 28-38
10. Малтугуева Г.С. Программный комплекс для решения задач группового выбора // Вычислительные технологии. - 2008. - Т.13; Вестник КазНУ им. Аль-Фараби. Сер.: Математика, механика, информатика. - 2008. -№3(58). - С.365-368.
11. Мулен Э. Кооперативное принятие решений: аксиомы и модели / Э. Му-лен. - М.: Мир, 1991. - 464 с.
Малтугуева Галина Станиславовна - программист, Институт динамики систем и теории управления СО РАН; 664033, г. Иркутск, ул. Лермонтова, 134, +7 (3952) 45-30-19, gama@icc.ru.
Юрин Александр Юрьевич - канд. техн. наук, соиск. науч. степени, Институт динамики систем и теории управления СО РАН; 664033, г. Иркутск, ул. Лермонтова, 134, +7 (3952) 45-30-19, +7 (3952) 37-59-36, iskander@icc.ru. Maltugueva Galina Stanislavovna - programmer, Institute of System Dynamics and Control Theory SB RAS, 664033, Irkutsk, Lermontov st., 134, +7 (3952) 4530-85, gama@icc.ru.
Yurin Alexander Yurievich - candidate of science (Ph.d.), senior researcher, Institute of System Dynamics and Control Theory SB RAS, 664033, Irkutsk, Lermontov st., 134, +7 (3952) 45-30-19, iskander@icc.ru.
УДК 517.977 © И.В. Расина
МЕТОДЫ УЛУЧШЕНИЯ УПРАВЛЯЕМЫХ ПРОЦЕССОВ
В статье дан краткий обзор приближенных методов оптимального управления и идей, лежащих в их основе. Изложение ведется в терминах постановок задач оптимизации и улучшения управления в стандартной форме для непрерывных управляемых систем. Рассмотрены методы первого и второго порядков, а также методы глобального улучшения.
Ключевые слова: оптимизация, оптимальное управление, улучшение, приближенные методы.
I.V. Rasina
METHODS OF IMPROVEMENT CONTROL PROCESSES
The article gives a brief overview of approximate methods of optimal control and the ideas underlying them. Material is presented in terms of optimization and improvement control problems in the standard form for continuous control systems.
Расина И.В. Методы улучшения управляемых процессов
The first and second orders methods and methods of global improvement are considered.
Keywords: optimization, optimal control, improvement, approximate methods.
Практическое использование современной теории оптимального управления ограничено сложностями реализации теоретических соотношений, описывающих искомое решение. Это послужило мотивом для разработки численных методов, позволяющих искать оптимальное решение напрямую, посредством операций улучшения управления, повторяемых в итерационной процедуре. В числе основоположников Р. Курант [1], Д.Е. Охоцимский и Т.Н. Энеева [2, 3], Л.В. Канторович [4], Л.И. Шатровский [5], Дж. Келли [6], в работах которых нашли развитие градиентные методы. Т.к. эти методы широко представлены в научной и учебной литературе, подробно их рассматривать не будем, сославшись, например, на книгу Ф.П. Васильева [7]. Они относятся к категории методов первого порядка, которые, как правило, демонстрируют снижение эффективности по мере приближения к оптимуму, что заставило обратиться к более сложным схемам, в частности к методам второго порядка [8-11].
Цель данной статьи - дать краткий обзор и сравнительный анализ методов улучшения второго порядка, а также нелокальных методов, основанных на достаточных условиях оптимальности Кротова [12], и родственных методов, использующих основы принципа максимума Понтрягина [13] и его обобщений, не затрагивая многих других приближенных методов, составляющих обширную, ставшую самостоятельной, область исследований. С ними можно познакомиться подробно по специальным обзорам. Для краткого ознакомления можно рекомендовать обзор, содержащийся в [14].
Изложение ведется в терминах следующей постановки задачи оптимизации и улучшения управления в стандартной форме для непрерывной системы
Предполагается, что ^ , х(^) = х1, ^р фиксированы. Задан функционал как функция конечного состояния I = р(х(^р)).
Задача оптимизации состоит в поиске последовательности }е В, минимизирующей функционал, где В - множество процессов т = (х(^),и($)), удовлетворяющих (1) и (2). Построение минимизирующей последовательности может вестись через решение задачи улучшения, в которой задан некоторый элемент т1 е В. Требуется найти элемент
Введение
x = f (t,x,u), t e T = [tI,tF], x e Rn, u eU (t, x) с Rp.
(1) (2)
ВЕСТНИК БУРЯТСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2012/1
т11 е Б на котором I меньше: I(т11) < I(т1). Решая эту задачу итерационно, можно построить улучшающую, в частности минимизирующую, последовательность (т5} . Задача рассматривается при естественных для практики предположениях: непрерывность функций /(¿, х, и), Р(х) и многозначного отображения и(¿, х), кусочная непрерывность и(^), кусочная гладкость х(^).
1. Методы на основе достаточных условий оптимальности
Идея этих методов состоит в сведении задачи улучшения к задаче приближенной оптимизации в окрестности заданного элемента т1 е Б путем аппроксимации функции Кротова и условий Кротова - Беллмана [15] в указанной окрестности. При этом требуется, чтобы улучшенное решение находилось в той же окрестности. Для этого применяется принцип локализации [9, 16], который состоит в следующем.
Вводится вспомогательный функционал:
В этой конструкции содержатся «штрафы» за отклонение от т1 по состоянию и управлению с коэффициентами а и / соответственно. Выбор весовых коэффициентов позволяет регулировать близость соседних приближений. Показано, что минимизация этого функционала при определенном выборе весовых коэффициентов приводит к уменьшению исходного функционала по сравнению с его значением на элементе т1, т.е. к улучшению этого элемента. Если при этом положить /3 = 1, то получается сильное улучшение, а при /3 достаточно малом - слабое улучшение. Соотношения Кротова-Беллмана и их аппроксимации рассматриваются применительно к вспомогательному функционалу.
При применении тейлоровской аппроксимации с точностью до малых второго порядка включительно получаются методы улучшения второго порядка со следующими уравнениями:
уг = - Р - Н'р), ) = -аРх (х1 (ГР)) - с(1 - а)Е , (3) с = -< -С + + аН'рра , а(Гр) = -аРхх(х1 )), (4)
0 <а< 1, 0 </< 1, Ах = х - х1 (0, Ли = и-и1 (¿).
Расина И. В. Методы улучшения управляемых процессов
u(t, x) = u (t, x, (y(t) + s(x - x1 (t)))), u (t, x, p) = argmaxH(t, x, p,u), (5)
ueU (t ,x)
H(t, x, p) = max H(t, x, p, u),
ueU (t ,x)
H(t,x,p,u) = pf (t,x,u) -^(1 -a)(b| Ax |2 +(1 -b) | Au |2).
Здесь у и s соответственно градиент и матрица вторых производных функции Кротова по компонентам x на опорной траектории, H!x ,
, HP , HL , Hpx, K'p , Fx , Fxx - матрицы первых и вторых производных соответствующих функций по x и p, подсчитанные на траектории x1 (t) . Предполагается, что это кусочно-непрерывные функции времени.
Уравнения (3) - (5) пригодны как для сильного, так и для слабого улучшения. Однако при достаточно малом b, соответствующем слабому улучшению, операцию максимума в (5) можно выполнять приближенно, по аналитической формуле максимума вогнутой линейно-квадратической функции, аппроксимирующей зависимость H от u, учитывая малость Au .
Матричное уравнение Риккати (4) может иметь особую точку внутри отрезка T при a = 1, что соответствует неоптимальной экстремали Пон-трягина. В этом случае предложена специальная процедура улучшения такой экстремали путем сдвига особой точки в начало отрезка за счет изменения a [10, 16].
Если положить s = 0 в уравнениях (3), (4), то получаются методы первого порядка, отличные от градиентного.
В [10, 17, 18] по тем же принципам построены аналоги этих методов улучшения для дискретных и дискретно-непрерывных процессов и соответствующие итерационные алгоритмы. Предложены также их модификации, ориентированные на высокопроизводительные параллельные вычисления и основанные не на локальной, а на среднеквадрати-ческой аппроксимации соотношений Кротова-Беллмана на выбранной сетке узлов [19].
2. Метод нелокального улучшения Кротова
В рамках теории В.Ф. Кротова [11, 20] также был сформулирован подход к нелокальному улучшению на основе достаточных условий оптимальности и улучшения. В них используется обобщенный лагранжиан, который строится с помощью неопределенной функции j(t,x) следующим образом:
ВЕСТНИК БУРЯТСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 2012/1
-Р
Ь = G(х('Р)) - | Я(', х, и )Ж ,
'I
Я(', х,и) = р'х/(', х,и) + р1, G(х) = Р(х) + р('Р, х) - р(^, х1).
Функция р задается так, что функционал Ь на заданном элементе т1 имеет максимум без учета дифференциальной связи. Тем самым получается бесчисленное множество элементов, уменьшающих Ь, из которого затем выбирается нужный элемент т11 е Б. Из этого следует, что
I (х1 ('),и1 ('))> I (х11 ('),и11 (')). Равенство получается, когда т1 - экстремаль Понтрягина.
В работе [11] функция р выбирается в классе линейно-квадратических р(', х) = у'(')х +1 х'о"(')х так, чтобы соответствующие
линейно-квадратические аппроксимации функций Я и G имели достаточно острые экстремумы. Улучшающее управление находится из условия максимума заданной таким образом функции Я, т.е. по формулам метода сильного улучшения (5), но с получается из линейного матричного уравнения вместо уравнения Риккати в методе сильного улучшения, что несомненно упрощает реализацию, но не дает возможности улучшить неоптимальную экстремаль Понтрягина.
Достаточно простые и эффективные алгоритмы улучшения получаются для класса систем, линейных по состоянию, если выбирать функцию р также в классе линейных: р(',х) = у'(')х [20]. Такие алгоритмы успешно применяются в задачах управления квантовыми системами [20, 21].
Другой подход, развиваемый интенсивно в настоящее время [22], состоит в том, чтобы задавать функцию ( из условий
Я(', х('), и1 (')) = 0, ' е['1,'Р), G( х) = -р('1, х1).
т.е. как решение задачи Коши для линейного уравнения в частных
производных дР-((, х) / (', х,и1 (')) + д((', х) = 0 , Р (х) +р('Р, х) = 0. д х д'
Для специальных классов задач, таких, например, как линейные или линейно-квадратические по состоянию, эта задача сводится к задаче Коши для системы обыкновенных линейных дифференциальных уравнений относительно коэффициентов функции (.
Расина И.В. Методы улучшения управляемых процессов
3. Связь с другими методами нелокального улучшения
В работе [23] предлагается подход к задаче улучшения, основанный на формулах приращения минимизируемого функционала без остаточных членов. Он приводит к серии методов первого-второго порядка для систем линейных и квадратичных по состоянию. Эти методы обладают свойством нелокального улучшения без варьируемых параметров. Основные уравнения метода второго порядка
У = -Их (у, х ({,и),и ({), 0,
<7 = -/'х ({,и)<-</X({,и)-Ихх (у,х({,и),и({),О ,
У(*р) = -Рх (х({р,и)), 7(Гр) = -Рхх (X^р,и)) формально совпадают с уравнениями метода Кротова - Фельдмана [11], где линейное матричное уравнение представляет собой вторую сопряженную систему, предложенную в свое время в [24], а улучшающее управление определяется также в результате нелокальной операции (5).
Для нелинейных задач аналогичные процедуры улучшения организуются посредством линеаризации с введением параметров, определяющих наиболее эффективный отрезок нелокального варьирования управления либо шаг локального варьирования на всем временном отрезке.
Непосредственным продолжением работы [23] являются работы [25, 26]. Если в [23] для представления приращения функционала используется векторно-матричная сопряженная система, то в [25] строятся сопряженные системы произвольного, к -го порядка. Это приводит к нелокальному методу улучшения полиномиальных по состоянию функционалов без настроечных параметров. Для нелинейных систем общего вида такие параметры, как и в [23], необходимы.
Заключение
Во всех рассмотренных методах эффективное улучшение некоторого заданного процесса достигается за счет аппроксимации точного представления изменения функционала в окрестности этого процесса упрощенной моделью, допускающей достаточно простые, в частности аналитические, решения. Различные реализации этой идеи приводят естественно к различным методам улучшения и их модификациям со своими преимуществами и недостатками. Достоинством методов нелокального улучшения является отсутствие настроечных параметров для достаточно широкого класса задач (линейных, линейно-квадратических, линейно-полиномиальных по состоянию) ценой использования специальных сопряженных систем той или иной сложно-
ВЕСТНИК БУРЯТСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2012/1
сти. Линейное уравнение в частных производных в глобальном методе Кротова можно рассматривать как «предельный случай» такой сопряженной системы, обеспечивающей нелокальное улучшение без настроек управления произвольной нелинейной системой. В качестве недостатка можно отметить отсутствие в общем случае гарантии сходимости хотя бы к локальному минимуму. В этом отношении преимущество имеют как раз методы, основанные на аппроксимации уравнения Беллмана, гарантирующие при естественных предположениях сходимость к локальной минимали и обеспечивающие приближенно-оптимальный синтез управления в ее окрестности, а их недостатки -наличие настроечных параметров и большая сложность реализации на итерациях (например, необходимость решения нелинейного уравнения Риккати вместо линейного матричного уравнения).
При решении практических задач имеет смысл разумно комбинировать указанные методы и их модификации. На начальных итерациях целесообразно применять более простые и эффективные методы нелокального улучшения, прежде всего - методы первого порядка, а на завершающем этапе использовать методы сильного или слабого улучшения и их средне-квадратические аналоги.
Литература
1. Courant R. Variational Methods for Solutions of Problems of Equlibrium and Vibrations // Bull. Amer. Math. Soc. - 1943. 49. - № 1. - P.43-51.
2. Охоцимский Д.Е. К теории движения ракет // Прикладная математика и механика. - 1946. 10. - № 2. - С. 87-96.
3. Охоцимский Д.Е., Энеев Т.М. Некоторые вариационные задачи, связанные с запуском искусственного спутника Земли // Успехи физических наук. - 1957. 15. № 1а. - С.56-62.
4. Канторович Л.В. Функциональный анализ и прикладная математика // УМН. - 1948. 3. - № 6. - С. 89-185.
5. Шатровский Л.И. Об одном численном методе решения задач оптимального управления // Журн. вычисл. математики и мат. физики. - 1962. Т 2. - № 3. - С. 488-491.
6. Келли Г.Дж. Метод градиентов // Методы оптимизации с приложениями к механике космического полета / под ред. Дж. Лейтмана. - М. : Наука, 1965. - С. 101-116.
7. Васильев Ф.П. Методы решения экстремальных задач. - М.: Наука, 1981.
8. Jacobson D.H. New second-order and first-order algorithms for determinining optimal control. A differential programming approach // J. Optimiz. Theory and Applications. - 1968. - V. 2. - № 4. - P. 411-440.
9. Гурман В.И., Расина И.В. О практических приложениях достаточных условий сильного относительного минимума // Автоматика и телемеханика. - 1979. - № 10. - С. 12-18.
10. Гурман В.И., Батурин В.А., Расина И.В. Приближенные методы оптимального управления. - Иркутск: Изд-во Иркут. ун-та, 1983.
Расина И.В. Методы улучшения управляемых процессов
11. Кротов В.Ф., Фельдман И.Н. Итерационный метод решения задач оптимального управления // Изв. АНСССР. Техн. кибернетика. - 1983. - № 2. - С. 160-168.
12. Кротов В.Ф. Методы решения вариационных задач на основе достаточных условий абсолютного минимума // Автоматика и телемеханика. 1962. Т 23. №12. С. 1571-1583; 1963. Е 24.№15. - С. 581-598; 1963. е 24. №7. - С. 826-843; 1965. - Т 26. - №11. - С.24-41.
13. Понтрягин Л.С., Болтянский В.Г., Гамкрелидзе Р.В., Мищенко Е.Ф. Математическая теория оптимальных процессов. - М.: Наука, 1961.
14. Батурин В.А., Урбанович Д.Е. Приближенные методы оптимального управления, основанные на принципе расширения. - Новосибирск: Наука, 1997.
15. Кротов В.Ф., Гурман В. И. Методы и задачи оптимального управления. -М.: Наука, 1973.
16. Гурман В.И. Принцип расширения в задачах управления. - М.: Наука, 1985.
17. Расина И.В. Метод улучшения второго порядка для сложных процессов. Деп. ВИНИТИ 23.07.91. № 3137 - В 91.
18. Расина И.В. Две формы достаточных условий оптимальности и метод улучшения второго порядка для сложных процессов: юбил. сб. научн. тр. к 10-летию СИПЭУ. Иркутск: Изд-во Макаров, 2004. - С. 180-192.
19. Гурман В.И., Трушкова Е.А., Блинов А.О. Приближенная оптимизация управления в параллельных вычислениях // Вестник БГУ. Математика, информатика. - 2010. - № 9. - С. 18-28.
20. Krotov V.F. Global methods in optimal control theory. New York, Marcel Dekker, 1996.
21. Кротов В.Ф. Управление квантовыми системами и некоторые идеи теории оптимального управления // Автоматика и телемеханика. - 2009. - № 3. -С. 15-23.
22. Трушкова Е.А. Алгоритмы глобального улучшения управления // Автоматика и телемеханика. - 2011. - № 6.
23. Срочко В.А. Итерационные методы решения задач оптимального управления. - М.: Физматлит, 2000.
24. Габасов Р., Кириллова Ф.М. Особые оптимальные управления. - М.: Наука, 1973.
25. Булдаев А.С. Методы возмущений в задачах улучшения и оптимизации управляемых ситем. Улан-Удэ: Изд-во Бурят. гос. ун-та, 2008.
26. Булдаев А.С. Проекционные процедуры нелокального улучшения линейно управляемых процессов // Известия вузов. Математика. - 2004. - № 1. -С. 18-24.
Расина Ирина Викторовна, кандидат физико-математических наук, зав. кафедрой математических и естественнонаучных дисциплин Сибирской академии права, экономики и управления (САПЭУ); г. Иркутск, тел. (3952)422869, e-mail: irinarasina@gmail.com.
Rasina Irina Victorovna, candidate of physical and mathematical sciences, head of department of mathematical and natural sciences, Syberian Academy of Law, Economics and Management, e-mail: irinarasina@gmail.com
