CC BY
36
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ
ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT
УДК 519.87 https://doi.org/10.23947/1992-5980-2019-19-1-81-85
К вопросу эффективности методов и алгоритмов решения оптимизационных задач с учетом специфики целевой функции*
Е. Н. Остроух1, Ю. О. Чернышев2, Л. Н. Евич3, П. А. Панасенко4"
1,2,3Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация 4 Краснодарское высшее военное училище имени генерала армии С. М. Штеменко, г. Краснодар, Российская Федерация
On efficiency of methods and algorithms for solving optimization problems considering objective function specifics***
E. N. Ostroukh1, Yu. O. Chernyshev2, L. N. Evich3, P. A. Panasenko4**
1,2,3Don State Technical University, Rostov-on-Don, Russian Federation
4Krasnodar Higher Military School named after General of the Army S. M. Shtemenko, Krasnodar, Russian Federation
Введение. Статья посвящена оценке эффективности методов и алгоритмов решения оптимизационных задач с векторным критерием и системой нелинейных ограничений. Описан подход, позволяющий после проведения эквивалентных преобразований перейти к оптимизационной задаче с одной целевой функцией (т. е. к задаче безусловной оптимизации). Однако полученная таким способом целевая функция обладает свойствами (нелинейность, мультимодальность, овражность, большая размерность), не позволяющими использовать для ее решения классические методы.
Цель представленного исследования — разработать для решения данной задачи гибридные методы, основанные на комбинациях алгоритмов, инспирированных живой природой, с другими подходами (гравитационным и градиентным).
Материалы и методы. Созданы новые методы для решения указанной задачи. Проведен компьютерный эксперимент на ряде тестовых функций, выполнен его анализ, показывающий эффективность различных комбинаций на различных функциях.
Результаты исследования. Оценена эффективность гибридных алгоритмов, которые комбинируют следующие подходы: генетический с иммунным; методы роевого интеллекта с генетическими и иммунными; иммунные и роевые с гравитационным и градиентным. Обсуждение и заключение. Изучены возможности гибридных алгоритмов в оптимизационных задачах. В частности, на их основе могут приниматься решения при управлении сложными объектами в военной и промышленной сферах, при создании инновационных проектов, связанных с цифровой экономикой. Установлено, что вид целевой функции влияет на результат гораздо более существенно, чем комбинация алгоритмов.
Introduction. The estimation of efficiency of methods and algorithms for solving optimization problems with a vector criterion and a set of nonlinear constraints is considered. The approach that allows proceeding to an optimization problem with a single objective function (i.e., an unconditional optimization problem) after equivalent transformations is described. However, the objective function obtained in this way has properties (nonlinearity, multimodality, ravine, high dimension) that do not allow classical methods to be used to solve it. The presented work objective is to develop hybrid methods, based on combinations of the algorithms inspired by wildlife with other approaches (gravitational and gradient) for the solution to this problem.
Materials and Methods. New methods to solve the specified problem are developed. A computer experiment was conducted on a number of test functions; its analysis was performed, showing the efficiency of various combinations on various functions.
Research Results. The efficiency of hybrid algorithms that combine the following approaches is evaluated: genetic and immune; methods of swarm intelligence and genetic and immune; immune and swarm with gravity and gradient. Discussion and Conclusions. The hybrid algorithms in optimization problems are studied. In particular, decisions can be made on their basis under the management of compound objects in the military and industrial sectors, in the creation of innovative projects related to the digital economy. It is established that the type of the objective function affects the result much more than the combination of algorithms.
fee
CD
Работа выполнена при поддержке грантов РФФИ: 16-01-00391, 16-01-00390, 18-01-00314.
**E-mail: [email protected], [email protected], [email protected], [email protected]
*** The research was supported by the RFFI grants nos. 16-01-00391, 16-01-00390, 18-01-00314.
<U
S X <u 4 CO eö Л
G
^
IS
eö «
IS X
X
<a
i«
й X Л
ч
(U
h —
4 О
IS
X
3 m
eö И
IS
eö
5 a о
X
5
Si
Ключевые слова: комбинация, гибрид, биоинспириро-ванный алгоритм, роевой интеллект, градиентный алгоритм, гравитационный алгоритм, эффективность, сходимость.
Keywords: combination, hybrid, bio-inspired algorithm, swarm intelligence, gradient-based algorithm, gravity search algorithm, efficiency, convergence.
Образец для цитирования: К вопросу эффективности методов и алгоритмов решения оптимизационных задач с учетом специфики целевой функции / Е. Н. Остроух [и др.] // Вестник Донского гос. техн. ун-та. — 2019. — Т. 19, № 1. — С. 81-85. https://doi.org/10.23947/1992-5980-2019-19-1-81-85
For citation: E.N. Ostroukh, et al. On efficiency of methods and algorithms for solving optimization problems considering objective function specifics. Vestnik of DSTU, 2019, vol. 19, no. 1, pp. a 81-85. https://doi.org/10.23947/1992-5980-2019-19-1-81-85
Введение. В общем виде оптимизационная задача является многокритериальной с рядом ограничений в виде равенств и неравенств. Для решения многокритериальной задачи используются следующие типы алгоритмов:
— апостериорные (алгоритмы последовательных уступок);
— априорные;
— зондирования;
— адаптивные;
— аппроксимационные на основе оценки точности границы Парето. Перечисленные подходы дают возможность сузить исходное множество допустимых решений до одной или нескольких точек [1, 2].
Выделим особенности названных выше методов. Использование апостериорных, априорных и адаптивных алгоритмов приводит исходную задачу с векторным критерием к задаче с одной целевой функцией, которую можно решать с помощью биоинспирированных алгоритмов или их комбинаций. Метод зондирования требует больших затрат вычислительных ресурсов. Высокой эффективностью характеризуется аппроксимаци-онный подход, что обусловлено возможностью распараллеливания вычислительного процесса [2].
Решение задачи безусловной оптимизации основывается на одном из двух алгоритмов: штрафных функций и (или) скользящего допуска. Оба эти подхода хорошо представлены в [2] и [3]. Задача сводится к нахождению глобального оптимума функции без ограничений.
Отметим особенности целевой функции, при помощи которой описывается большой класс технических и экономических задач. Целевая функция часто бывает нелинейной, в большинстве случаев она не дифференцируема, не является унимодальной, обладает сложной топологией области допустимых значений. Поэтому для нахождения глобального оптимума представленной задачи авторы данной работы создали гибридные алгоритмы. При этом в парах могут комбинироваться:
— два биоинспирированных алгоритма;
— биоинспирированный и классический;
— биоинспирированный и основанный на физических законах. Так, в работе [4] предложен гибрид на основе рядов Фурье и алгоритма светлячков. В работе [5] комбинируются градиентный и иммунный алгоритмы, а в работе [6] — роевой и гравитационный. Рассматривалась также комбинация генетического и роевого подходов [7, 8, 9] для решения различных оптимизационных задач с целевой функцией (в том числе задач обучения нейронных сетей различной топологии).
Критерием эффективности биоинспирированного алгоритма следует считать количество итераций (шагов), при котором:
— алгоритм находит достаточно близкий к оптимуму результат,
— количество шагов (время) является приемлемым, „§ — обеспечивается необходимая точность алгоритма.
Материалы и методы. Разработанные авторами комбинации биоинспирированных алгоритмов [4-10]
* д
протестированы на функциях Розенброка, Растригина, Гривонка и Швефеля [2]. При этом следует заметить, что > комбинации усиливали достоинства каждого алгоритма пары и нивелировали их недостатки. Для каждой функции гибрид демонстрировал лучшие быстродействие и точность по сравнению с отдельными алгоритмами. Однако гибриды, выдавшие самый эффективный результат на одной тестовой функции, существенно слабее работают с другими тестовыми функциями. Это наблюдение позволяет сделать следующий вывод: эффективность биоинспирированных алгоритмов и их комбинаций с другими алгоритмами значительно сильнее зависит от
й
о, £ -Й
целевой функции, чем от особенностей комбинации алгоритмов. Такой же вывод можно сделать из теоремы NFL (сокращение от «no free lunch» — «бесплатных завтраков не бывает») [11].
Рассмотрим задачу: необходимо найти глобальный оптимум некоторой функции, обладающей свойствами, описанными выше. Имеется банк биоинспирированных алгоритмов и (или) их комбинаций. Есть банк задач с целевой функцией, не обладающей свойством унимодальности, с большим количеством переменных и параметров. Какой алгоритм может максимально эффективно решить оптимизационную задачу для данной функции? Для каких типов функций этот алгоритм покажет наилучший результат, а для каких его применять нецелесообразно? Очевидно, что создать такой алгоритм невозможно. Алгоритмы могут показывать хорошие результаты на одной функции и быть совершенно неприемлемыми для других функций.
В отношении структуры биоинспирированных алгоритмов необходимо заметить: большое число используемых ими эмпирических параметров не позволяет заранее провести теоретическую оценку эффективности таких алгоритмов и их комбинаций. (Противоположный пример — детерминированные алгоритмы, которые с успехом решают задачи с линейными, квадратичными, строго выпуклыми, унимодальными функциями. )
Для альтернативных оценок биоинспирированных алгоритмов используют общедоступные библиотеки с тестовыми задачами, которые позволяют сравнивать известные и новые алгоритмы и их комбинации [11, 12]. Одно из крупнейших собраний тестовых задач — библиотека института математики им. С. Л. Соболева [12]. В ней представлены различные подходы к решению сложных NP-полных задач оптимизации с учетом оценок вычислительной сложности. Среди других библиотек можно отметить узко профилированные: библиотека с открытым кодом для генетических алгоритмов GAlib [13]; библиотеки для построения эволюционных алгоритмов EAlib [14], Perl [15] и фреймворков в Java [16].
Результаты исследования. Выполненное авторами изучение особенностей генетических и популяци-онных алгоритмов позволяет выделить следующие их достоинства и недостатки.
Генетические алгоритмы (ГА) построены на основе идентичности принципов поведения биологических и технических систем. ГА используют принцип выбора наилучших решений из популяции имеющихся, что позволяет находить оптимальное решение задачи. Данные алгоритмы дают хорошую диверсификацию, поскольку параллельно обрабатывается информация множества подходящих точек, в которых оптимум находится на основе использования целевой функции, а не ее различных приращений.
Муравьиные алгоритмы имитируют принципы жизнедеятельности муравьиной колонии. В них принцип автономного функционирования каждого агента сочетается с деятельностью колонии в целом, что позволяет решать достаточно сложные оптимизационные задачи. Комбинация муравьиных алгоритмов с алгоритмами локального поиска позволяет быстро находить начальные точки поиска оптимума. Такие алгоритмы дают наилучшие результаты для задач большой размерности. По эффективности они весьма близки к проблемно g ориентированным и метаэвристическим алгоритмам. Данный подход показал хорошие результаты в решении
ч
различных практических задач, например, коммивояжера, оптимального проектирования радиоэлектронной и
ей
аппаратуры и др. Благодаря возможности использования настраиваемых параметров, муравьиные алгоритмы л
с
применяются в решении распределительных и транспортных задач. ^
К
Следует отметить положительные особенности муравьиных алгоритмов: й
— для некоторых задач они дают более эффективное решение, чем генетические или алгоритмы, основанные на к
К
нейронных сетях; ^
— использование в муравьиных алгоритмах памяти обо всей колонии более эффективно, чем использование в ^ генетическом алгоритме информации только о предыдущем поколении; g
— случайный выбор пути в муравьином алгоритме позволяет исключить неоптимальные начальные решения; ¡2
— выбор параметров, отвечающих за изменение оптимизационного шага, позволяет успешно использовать н данный алгоритм в динамических приложениях. g
К недостаткам муравьиных алгоритмов можно отнести следующие: Я
— теоретический анализ затруднен в результате последовательности случайных решений, что обусловлено из- 2 менениями распределений вероятностей при итерациях; ^
— время сходимости алгоритма не может быть заранее определено, и для решения этой проблемы муравьиный алгоритм дополняется методами локального поиска; fe
— свободные параметры для настройки работы при решении конкретной задачи определяются только экспери- л
ментальным путем. ^
л
При нахождении экстремумов для сложных многомерных немонотонных функций алгоритмы пчелино- К го роя с равной вероятно на любой итерации определяют оптимальный элемент (элемент с заданными свойствами). Эти алгоритмы эффективно используются для оптимизации немонотонных функций в NP-полных за- g^
дачах, в том числе распределительных и транспортных. Они ищут единственный оптимальный элемент, определяющий экстремум (или множества таких элементов). Пчелиный алгоритм параллельно реализует поиск в окрестности лучших и выбранных участков. При этом ему не свойственны некоторые недостатки эволюционных методов — например, он не требует значительного объема памяти для хранения популяции решений.
Обсуждение и заключение. Анализ известных гибридных алгоритмов показал следующее. Одна комбинация может дать хороший результат на какой-либо тестовой функции (например, Розенброка), но на другой функции этот гибрид по эффективности будет значительно уступать другим комбинациям. Таким образом, можно утверждать, что вид целевой функции влияет на результат гораздо более существенно, чем комбинация алгоритмов. Следовательно, изучение вида и типа целевой функции позволяет подобрать оптимальный вариант комбинации.
Библиографический список
1. Подиновский, В. В. Парето-оптимальные решения задач / В. В. Подиновский, В. Д. Ногин. — Москва : Физматлит, 2007. — 255 с.
2. Карпенко, А. П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой / А. П. Карпенко. — Москва : Изд-во МГТУ им. Н. Э. Баумана, 2014. — 446 с.
3. Агибалов, О. И. Условная и безусловная оптимизация при решении биоинспирированными алгоритмами / О. И. Агибалов, А. А. Золотарев, Е. Н. Остроух // Интеллектуальные технологии и проблемы математического моделирования : мат-лы всерос. конф. — Ростов-на-Дону : Изд-во ДГТУ, 2018. — С. 21-22.
4. Остроух, Е. Н. Решение задач бизнес-прогнозирования на основе рядов Фурье и алгоритма светлячков / Е. Н. Остроух, Д. Н. Климова, С. Маркин // Системный анализ, управление и обработка информации : тр. VIII междунар. семинара. — Ростов-на-Дону : Изд-во ДГТУ, 2017. — С. 153-158.
5. Агибалов, О. И. Оптимизация многомерных задач на основе комбинирования детерминированных и стохастических алгоритмов / О. И. Агибалов // Современные наукоемкие технологии. — 2017. — № 9. — С. 7-11.
6. Остроух, Е. Н. Разработка гибридного алгоритма решения оптимизационных задач принятия решений и управления [Электронный ресурс] / Е. Н. Остроух, Л. Н. Евич, П. А. Панасенко // Искусственный интеллект: проблемы и пути их решения : мат-лы конф. — Москва, 2018. — С. 165-168. — Режим доступа: https://docplayer.ru/74455293-Programma-konferencii-iskusstvennyy-inteUekt-problemy-i-puti-resheniya-2018.html (дата обращения 08.02.19).
7. Евич, Л. Н. Разработка гибридного алгоритма решения оптимизационной задачи с нелинейной целевой функцией / Л. Н. Евич, Е. Н. Остроух, П. А. Панасенко // Международный научно-исследовательский журнал. — 2018. — № 1 (1). — С. 61-65.
8. Evich, L.N., Ostroukh, E.N., Panasenko, P.A. Metody resheniya zadach optimizatsii s mul'timodal'noy tsel-evoy funktsiey na osnove gibridnykh algoritmov.[Development of hybrid algorithm for solution of optimization problem with nonlinear target function.] Prom-Inzhiniring (ICIE-2018): tr. IV mezhdunar. nauch.-tekhn. ko [PromEngineering (ICIE-2018): Proc. IV Int. Sci.-Tech. Conf.] Moscow, 2018, no. 1-1 (67), pp. 61-65 (in Russian).
9. Исследование комбинированного алгоритма при обучении трехслойных нейронных сетей различной топологии / Е. Н. Остроух [и др.] // Программные продукты и системы. — 2018. — Т. 31, № 4. — С. 673-676.
10. Wolpert, D. H. The no free lunch Theorems for optimization / D. H. Wolpert, W. G. Macready // IEEE Transactions on Evolutionary Computation. — 1997. — Vol. 1, № 1. — P. 67-82.
11. Родзин, С. И. Алгоритмы биостохастической оптимизации: достижения, проблемы теории, трудоемкость / С. И. Родзин // IS&IT' 18 : тр. конгресса по интеллект. системам и информ. технологиям. — Таганрог :
g Изд-во Ступина С. А., 2018. — Т. 2. — С. 141-158.
ja 12. Discrete Location Prodlems. Benchmark library [Электронный ресурс] / Sobolev Institute of Mathemat-
д ics ; Russian Foundation for Basic Research. — Режим доступа: http://www.math.nsc.ru/AP/benchmarks/index.html тз (дата обращения: 11.05.18).
сл
к
>
13. Wall, M. GAlib: A C++ Library of Genetic Algorithm Components [Электронный ресурс] / M. Wall ; Massachusetts Institute of Technology. — Режим доступа: http://lancet.mit.edu/ga/ (дата обращения: 08.11.18).
14. EALib: An Evolutionary Algorithms Library [Электронный ресурс] / GitHub Inc. — Режим доступа: http://github.com/dknoester/ealib/ (дата обращения: 08.11.18).
15. Merelo, J. J. Library for doing evolutionary computation in Perl [Электронный ресурс] / J. J. Merelo. Режим доступа: http://cpeal.sourceforge.net/ (дата обращения: 08.11.18).
16. Dyer, D. W. Watchmaker Framework for Evolutionary Computation [Электронный ресурс] / D. W. Dyer. — Режим доступа: http://watchmaker.uncommons.org (дата обращения: 08.11.18).
Поступила в редакцию 02.11.2018 Сдана в редакцию 02.11.2018 Запланирована в номер 15.01.2019
Received 02.11 .2018 Submitted 02.11.2018 Scheduled in the issue 15.01.2019
Об авторах:
Authors:
Остроух Евгений Николаевич,
доцент кафедры «Информационные технологии» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), кандидат технических наук, доцент, ORCID: http://orcid.org/0000-0002-1384-0469, [email protected]
Евич Людмила Николаевна,
доцент кафедры «Массовые коммуникации и мультимедийные технологии» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), кандидат физико-математических наук, доцент, ORCID: http://orcid.org/0000-0002-7886-0954, evichlng@gmail .com
Чернышев Юрий Олегович,
профессор кафедры «Автоматизация производственных процессов» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), доктор технических наук, профессор,
ORCID: http://orcid.org/0000-0002-4901-1101 [email protected]
Панасенко Павел Александрович,
старший помощник начальника отдела организации научной работы и подготовки научно-педагогических кадров Краснодарского высшего военного училища им. генерала армии С. М. Штеменко (РФ, 350063, г. Краснодар, ул. Красина, 4), кандидат технических наук, ORCID: https://orcid.org/0000-0003-1264-1481 we panacenko [email protected]
Ostroukh, Evgeny N.,
associate professor of the Information Technologies Department, Don State Technical University, (1, Gagarin sq., Rostov-on-Don, 344000, RF), Cand.Sci. (Eng.), associate professor,
ORCID:http://orcid.org/0000-0002-1384-0469, [email protected]
Evich, Lyudmila N.,
associate professor of the Mass Communications and Multimedia Technologies Department, Don State Technical University, (1, Gagarin sq., Rostov-on-Don, 344000, RF), Cand.Sci. (Phys -Math.), associate professor,
ORCID:http://orcid.org/0000-0002-7886-0954, [email protected]
Chernyshev, Yury O.,
professor of the Production Automation Department, Don State Technical University, (1, Gagarin sq., Rostov-on-Don, 344000, RF), Dr.Sci. (Eng.), professor, ORCID:http://orcid.org/0000-0002-4901-1101 [email protected]
Panasenko, Pavel A.,
senior assistant of Head of the Department of Organizing Scientific Research and Training of Academic and Teaching Staff, Krasnodar Higher Military School named after General of the Army S. M. Shtemenko (4, ul. Krasina, Krasnodar, 350063, RF), Cand.Sci. (Eng.),
ORCID:https://orcid.org/0000-0003-1264-1481 we panacenko [email protected]
(U S X <u
CO eö Л
G
^
S eö И S X X <ü
i«
cö X Л
(U
h —
О
S
X
3 m
eö И S
eö
S a о
X
5
