CC BY
141
УДК 519.6
СОПРЯЖЕННЫЕ СИСТЕМЫ И ГРАДИЕНТ ПРИ ОПТИМИЗАЦИИ ДИНАМИЧЕСКИХ
СИСТЕМ
С.Л. Подвальный
Рассмотрены особенности и технология определения градиента при оптимизации динамических систем в классе обыкновенных дифференциальных уравнений
Ключевые слова: интегральный критерий, обыкновенные дифференциальные уравнения, градиент, сопряженные системы, оптимизация
Введение
В настоящей статье представлено краткое содержание пленарных докладов, которые были сделаны на IX Всероссийской школе-конференции молодых ученых «Управление большими системами» (г. Липецк, май 2012 г.) и на
Международной молодежной научной школе «Теория и численные методы решения обратных и некорректных задач» (г. Воронеж, июнь 2012 г.) .
Основные положения этих докладов могут быть сведены к следующему:
1. Оптимизация динамических объектов и систем - одна из наиболее сложных и до сих пор до конца не решенных проблем современной науки вообще и ТАУ в частности.
- Само определение «динамических» означает прежде всего: изменение во времени.
- Такие объекты - их особенности по [1] принято определять как 3 НЕ (неустойчивость, нелинейность, неопределённость (как действие помех)), они многомерны (много координат) и ограниченно управляемы (число управлений существенно меньше числа координат), ряд процедур управления в режиме on-line приходится неоднократно повторять и корректировать: характерный приём - отрицательная обратная связь и замкнутые САР.
Типичная постановка задачи оптимизации динамической системы представлена на рис. 1.
Здесь пространство состояний представлено системой дифференциальных уравнений в форме Коши с соответствующими начальными условиями, пространство наблюдений связано линейно с пространством состояний, критерий управления задан одной (или несколькими интегральными формами), которые зависят от всех переменных
(X,Y, U ). О таких системах, где часть функций (либо даже все функции) заданы неявно принято говорить, что они «заданы алгоритмически» // термин не столь математический, скорее инженерно-прикладной // и пытаться искать новизну предлагаемых методов и приёмов оптимизации именно в этом - некорректно.
=> min
u (t)
Размерности: [ x ] = 1... n
[u ] = 1...m
[ У] = 1...1
n Ф m Ф l
Подвальный Семен Леонидович - ВГТУ, д-р техн. наук, профессор, тел. (473) 243-77-18
1
3 = | ф( х, у, и, і )йі
0
— = / (х, у, и) йі при ■ х(0) = хо У(і) = ^(і) х(і)
Здесь:
х(і) - пространство состояний
у(і) - пространство наблюдений
и (і) - пространство управлений
Рис. 1. Типичная постановка
2. Как же решаются в настоящее время задачи типа представленных на рис.1? Некоторая классификация представлена в докладе. ТАУ располагает огромным арсеналом методов, но претендовать на универсальность, широкий диапазон применимости могут лишь некоторые.
Прикладная (реальная) сторона «фильтрует» многие теоретические рекомендации, некоторые из них исчезают, некоторые возрождаются и вновь используются.
Так и с теорией оптимизации динамических систем. Наиболее универсальными оказались теории Понтрягина, Беллмана, Красовского и они продолжают использоваться до сих пор, хотя созданы почти 50 лет назад. Критический обзор за последние 30 лет дан в работах Колесникова [2], где перечислены как ряд теорий, не оправдавших себя на практике (абсолютная устойчивость, направление Н* (синтез с учетом идеальной фильтрации низких частот), стохастическая аппроксимация и другие), так и наиболее перспективных для современного использования: инвариантность, синергетика, как метод моделирования, минимизация систем по функционалу обобщенной работы, управление объектами с распределенными параметрами. Это конечно субъективная точка зрения автора монографии [2], изданной в трёх томах - но сам факт такой критики подтверждает известное
изречение: «Трагедия науки состоит в том, что даже очень хорошая теория может дать отвратительный результат».
В докладе представлены некоторые поисковые методы, как альтернатива теоретическим.
3. Вернёмся снова к особенностям оптимизации управления динамическими системами (рис.1):
- функционал и ограничение (модель) заданы алгоритмически
- даже для скалярного управления на интервале времени ^ £ [0, Т] надо найти решение на бесконечном множестве точек (Гильбертово пространство) и наиболее реалистично отказаться от поиска истинного (оптимального) решения, например (по Федоренко [3]) использовать метод сеток - разбить интервал на 100 участков кусочнопостоянного управления - т.е. перейти к конечномерной задаче (Банахово пространство)
- наличие ограничений в фазовом пространстве (например, эллипс устойчивости вокруг точки равновесия типа «узел»), ограничений геометрического характера (слева-справа границы управления заданы) и другие ограничения типа функциональных равенств (неравенств) включаются в постановку задачи;
- перейти к приближенным (поисковым) методам, сконструированным определенным образом (быстро, близко к экстремуму, иметь оценки успешности поиска, учет необходимых условий оптимальности).
4. Наиболее популярные методы поисковой
оптимизации делятся на: детерминированные
(градиентные 1 и 2 порядка и безградиентные) - они широко описаны (от Химмельблау - 1972 г, до Черноруцкого - 2002 г.) и случайные
(эволюционные и стохастические) - от Растригина (1967 г.) до Батищева (2011 г.). Анализ этих методов не входит в нашу задачу.
Независимо от принятого метода общая процедура поиска представлена на рис. 2 и она включает:
1. Решение систему дифференциальных
уравнений: x(t)
2. Переход в y(t) (измерение)
3. Определение J(... Uk(t)...) - функционал
4. U к+1 = U к + - вариация управления
5. Цикл по DUк - внутр.
6. Сравнение по J (проверка opt)
7. J-min (как внешний цикл любым из методов минимизации) - чаще всего это:
- безградиентные (Г аусса-Зейделя,
деформируемого многогранника) - медленная
сходимость, нет оценок достижения extr.
- огромное количество модификаций
эволюционных методов (генетические, муравьиных колоний, иммунные, роя частиц.)
Рис. 2. Алгоритмическая схема решения
Современные пакеты MatLAB и MathCad это позволяют легко делать - но не всегда точно и эффективно.
5. Причины многих неудач (и ситуаций по п.4)
- неточность в численном определении градиента (утеряны «быстрые» методы)
- пренебрежение положениями NFL-теоремы и «многоальтернативная» оптимизация [8]
- необходимость учета качественных
результатов теории (например, сконструировать и искать max функцию Г амильтона в каждой конкретной постановке!) и использовать такие эффективные приемы, как проекции градиента, линейное программирование и др.
Процедура определения градиента при минимизации функционала J (...) становится ключевой:
dJ dJ dJ
VJ = (
Э^ ’ ЭU2 ^U,
-)T
УЗ = ф(і3)
При поиске УЗ вычисляют для каждого момента 1 времени для каждого И^)
При численной оценке (в цикле 5-1) по 2 точкам:
3 3(ОД)) - 3(ОД) + ДЦ) ТЛ
-----=------------------------------ Как
диг диг
показано в ряде работ, точность такой численной
оценки для нелинейных динамических систем зависит как от величины шага ^ = ДЦ так и от времени 1;ь тогда процесс поиска существенно замедляется из-за внутреннего цикла ор^, 1*). Именно эти проблемы численных оценок производных привели к общей тенденции последних лет: отказ от градиентных методов вообще, поиск универсальных модификаций безградиентной оптимизации, особенно в классе генетических и эволюционных (роя частиц, муравьиных, иммунных и т. д.).
В то же время, существует класс задач, в которых требуется точно вычислять градиент.
Перечислим их:
а) по Федоренко [3]:
- проекции градиента для нахождения шт I
- сопряженный градиент
- кусочно-постоянное управление
- последовательная линеаризация
- сведение проблемы ограничения к
«внутренним» задачам линейного
программирования.
б) по Островскому [4]:
- определение степени значимости параметра при проектировании СХТС;
- оценка точности и упрощение моделей при переходе к задачам АСУТП;
- выбор необходимой точности моделей при моделировании СХТС;
- исследование режимов работы реакторов;
- оптимизация СХТС с использованием квазиньютоновских методов.
Это частные примеры, но они говорят об актуальности проблемы точного определения градиента.
7. Подведем предварительный итог:
- при численном определении градиента необходим точный подбор шага Ь1 по каждому управлению, что замедляет процесс поиска по сравнению с истинным определением градиента;
а/
- определение оценок производных аи
делать приходится для каждого Ц поочередно, последовательно;
- при сравнении с истинными оценками производных на тестовых задачах получено ускорение в сотни и даже тысячи раз (так в [4] коэффициент ускорения при переходе к истинным производным Куск = 8*103)
Кроме необходимости ускорения поисковой оптимизации, укажем несколько более общих задач, в которых обязательно нужна точная оценка градиента V 1(1):
a) - определение степени овражности в методах нулевого порядка
b) - релаксационный подход Ракитского Ю.В.
< поиск ~ решение
жестких дифференциальных уравнений
с изменением размерности >
с) - ньютоновские и квазиньютоновские методы (вторые производные) |DFP - например |
8. В результате системного анализа и классификации выделены следующие подходы -варианты получения сопряженных систем Y(t) для вычисления градиента V J:
1. Вариационные методы [3,9];
2. Аналогии с теоретической механикой и использование уравнений Лежандра и функции Гамильтона[4];
3. Переход к банаховым пространствам (статика)
Идея использования для целей оптимизации сопряженного процесса зародилась очень давно и периодически к ней возвращаются.
Здесь не указаны работы Понтрягина, с соавторами, где сопряженная система используется в несколько иных целях - max H (Г амильтониана) и получения необходимых, а часто и достаточных условий существования extr.
Далее идет ознакомление с работами автора - в одном из ближайших номеров СУИТ (2012 г.) будет рассмотрен ряд типовых постановок оптимизации динамических систем (10-15 типовых задач). Рассмотрим пример.
d = f(X Р) dt
x(0) = x0
|-T---------- .
J(.) = J f(x, p)dt = min
- dY dt
Y(T) = 0
f Y+ f
Эx Эx
и окончательно искомый градиент критерия
ЭP, ЭP2'^^ ^ЭPm
здесь к = 1, 2, т - параметры управления
Уравнения для сопряженного процесса и градиента получены автором с использованием вариационных методов.
Здесь: р - вектор постоянных параметров
К такой постановке сводятся следующие случаи:
- динамическая стабилизация;
- идентификация моделей;
- адаптивное управление с моделью.
Особенности решения сопряженного процесса:
- обратное время (¥(Т)=0),
- более крупный шаг решения, даже если исходная х(1) является жесткой,
- возможность при повторном решении решать параллельно из нескольких ¥(0)= (¥1(0)/= ¥2(0).) - «пристрелка» так, чтобы в ¥(Т)=0.
Это же относится и к формулам для определения градиента ▼ОД, который становится известным в любой момент времени 1 (или
пространства 1).
Таким образом, в системе создаётся дополнительный блок (сопряженный процесс: дифференциальные уравнения или линейные алгебраические) и блок определения градиента, который используется как составляющая блока оптимизации, учитывая необходимость поиска в пространстве. Дик=ор1(ик-1-8^1к).
Процедура ор1;(...) относится к одному из выбранных методов оптимизации из списка наиболее успешных в данной задаче, например у нас:
- проекция градиента
- сопряженного градиента
- квазиньютоновского (вторые производные вычисляют через первые).
Из уже изложенного становится ясно, что системы оптимизации должны строиться по принципу 3М: модульность, многоуровневость, многоальтернативность.
На рисунке 3 представлены иерархические уровни и блоки (модули ) для СпМО систем моделирования, выбор каждого из модулей осуществляется пользователем в интерактивном режиме.
В качестве примера рассмотрена реальная задача оптимизации стационарного режима в АСУТП на одном из предприятий по производству синтетического каучука.
Оптимизации подлежит блок, состоящий из цепочки последовательно-параллельных реакторов с мешалкой [6 ] и моделей статики из [5].
Размерность пространства состояний [х]=60,
Размерность пространства управлений [и]=15.
Схемы основного и сопряженного процессов представлены на рис. 4.
Учитывая идеи многоальтернативности [8] в блоке оптимизации были выделены несколько модулей:
1) четыре модуля определения градиента:
аналитический, вариационный, конечно-
разностный, статистический;
2) три модуля останова: по функции и
аргументу; только по аргументу; по интегральному продвижению к экстремуму;
3) уровень одномерного поиска представлен модулями золотого сечения, ДСК-Пауэлла, квадратичной аппроксимации, адаптивного поиска;
4) уровень выбора направляющей матрицы
- семь модулей.
Общее возможное число алгоритмов оптимизации за счет многоуровневого подхода уже, чем ранее (252 из 432), остальные могут быть сгенерированы в систему [5 ] дополнительно.
КАР
ЬОР
О8Т
ая
. J
кя
Рис. 3. Иерархические уровни блока оптимизации специального математического обеспечения
а)
Рис. 4. Схема основного (а) и сопряженного (б) процессов при оптимизации стационарных режимов участка полимеризации
б)
Рис. 4. Продолжение
Хронометраж показал, что время вычисления градиента составляет 1,6 ^од, где ^од - время расчёта модели (критерия), тогда как при конечноразностном оно составит ^од (N+1), т.е. в десять раз быстрее при использовании сопряженного процесса.
Для проверки эффективности полученного значения градиента осуществлено сравнение его с методами поиска, использующими конечноразностную схему вычисления производной: методы Давидона-Флетчера-Пауэлла (DFP), наискорейшего спуска (OPTIM) и сопряженных градиентов (MINI). Для сравнения в таблице показаны также результаты оптимизации методом Гаусса-Зейделя (GZ).
Результаты оптимизации при различных методах определения производных
Метод KF ITT Ф KF ITT Ф
Конечно- разностный метод Сопряженный процесс
GZ. 181/7 589.9 - -
DFP 135/9 588.2 85/9 588.2
OPTIM 149/4 588.6 98/8 588.6
MINI 153/4 588/6 93/4 588/6
Здесь обозначено: КТ - число вычислений целевой функции , 1ТТ - число итераций метода оптимизации, включая определение градиента выбранным методом.
В [5,7] проведено сравнение для различных наборов коэффициентов моделей, которое позволило сделать вывод: использование
сопряженного процесса повышает эффективность поиска по сравнению с безградиентными в 2 раза, а по сравнению с градиентными методами при конечно-разностной схеме определения градиента приблизительно в 7,5 раза (в данной конкретной задаче).
При использовании той же системы моделей, но в технологической схеме с рециклом и смещением на выходе, в [4, изд. 2002 г.] получен похожий эффект с коэффициентами эффективности 3.7 и 8.4 соответственно.
Приводятся также ряд других примеров использования сопряженных систем для специальных объектов [7-12] из работ последних лет. Эти работы выполнены в 2004-2007 гг.
Их анализ показывает возродившийся интерес к проблеме определения градиента с использованием сопряженных систем.
Далее ещё два примера из практики автора: подсистема OCP для АСУТП и проектирование (гибкое) технологической цепочки.
В докладе подробно изложена методика ОСР (задача должна была решаться на тактическом уровне каждые 2-3 часа с установки заданий 15 контурам динамической стабилизации, размерность пространства состояний - 60).
Эффективность определения opt режима с использованием сопряженного процесса -ускорение поиска в 2 раза и по сравнению с градиентом конечно-разностным методом в 4.5 раза (градиент по 3 точкам!).
Другой пример относится к модели, заданной системой уравнений в частных производных [6]. В условиях стационарных состояний обоснована процедура представления уравнения для реактора вытеснения цепочкой от 5 до 7 реакторов перемешивания и соответственно системой обыкновенных дифференциальных уравнений[ 14 ].
Таким образом (вернемся к рис. 3) в системе должно быть несколько модулей и блоков оптимизации по принципу многоальтернативности
- [8].
В целом, интерес к идеям сопряженного процесса и градиента сейчас возрождается, о чем можно судить по некоторым диссертациям:
• Болдунов Н.А. - 2007 (дис.) С-ПГУ;
• Засухина Е.С. - 2007 (дис.) Вычислит.. Центр РАН;
• Русаков А. С. - 2007 (дис.) Ин-т вычислит. математики РАН.
Некоторые последние работы [10-12] выполнены для объектов специального вида. Общие проблемы определения градиента с использованием сопряженного процесса в работах Марчука Г.И. и Евтушенко Ю.Г. и более ранних работах Льюса Дж .[13] . . Их детальный сравнительный анализ
выходит за пределы данной работы.
Литература
1. Подвальный С.Л. Информационно-управляющие системы мониторинга сложных объектов - Воронеж, изд. Научная книга, 2010, - 164 с.
2. Современная прикладная теория управления/ под ред. Колесникова А. А. - Таганрог, изд. ТРТУ, 2000, -656 с.
3. Федоренко Р. П. Приближенное решение задач оптимального управления - М., Наука, 1978, -438 с.
4. Островский Г. М. и др. Алгоритмы оптимизации химико-технологических процессов -М., Химия, 1978, - 296 с.
5. Подвальный С.Л. Моделирование промышленных процессов полимеризации, - М., Химия, 1979, -256 с.
6. Barabanov A.V., Podvalny S.L. Structural
Modeling of Continuous Multi-center Polymerization Processes //Automation and Remote
Control,2012,Vol.73, №7, pp. 1265-1268
7. Подвальный С. Л Многоальтернативные системы с переменной структурой управления процессами непрерывной полимеризации \\ Системы управления и информационные технологии 2011,4.1 (46), с.175-178
8. Подвальный С. Л. Многоальтернативные
системы: обзор и классификация // Системы
управления и информационные технологии, 2012, №
2, с. 4-13.
9. Янг Л. Лекции по вариационному исчислению и теории оптимального управления-М.Мир,1974. -488с.
10. Алексеев А.К., Бондарев А.Е. Применение
сопряженных уравнений и визуальное
представление сопряженных параметров в задачах идентификации и управления течением \\препринт
- ИПМ им. Келдыша РАН, 2011, - 24 с.
11. Протасов А. В. Динамико-вероятностное моделирование выбросов в атмосфере с использованием полулагранжевой модели переноса субстанции // Вычислительные технологии, 2006, вып. 11/3, с. 143-150
12.McNamara A. at all Fluid control using the adjoint method // ACM Transactions on Graphics, 2004, 23(3), August 2004
13. Льюис Дж. Ценность. Сопряженная функция\ \ Атомиздат, 1972, -212 с.
14. Подвальный С.Л., Барабанов А.В.
Структурно-молекулярное моделирование
непрерывных технологических процессов многоцентровой полимеризации \\ Воронеж, изд. Научная книга , 2011, -104 с.
Воронежский государственный технический университет
ADJOINT SYSTEMS METHOD FOR GRADIENT FOR DYNAMIC SYSTEMS OPTIMIZATION
S.L. Podvalny
Features and technology of definition of a gradient are considered by optimization of dynamic systems in a class of the ordinary differential equations
Key words: integrated criterion, the ordinary differential equations, a gradient, the interfaced systems, optimization
