Решение многоэкстремальных задач методом делящихся роев Текст научной статьи по специальности «Математика»

УДК 004.93

Р.А. НЕЙДОРФ, А.А. ДЕРЕВЯНКИНА

РЕШЕНИЕ МНОГОЭКСТРЕМАЛЬНЫХ ЗАДАЧ МЕТОДОМ ДЕЛЯЩИХСЯ РОЕВ

Описан подход к решению задач исследования многоэкстремальных зависимостей для поиска нескольких экстремумов одновременно, таких, как определение нескольких равнозначных глобальных экстремумов и выделение, наряду с глобальным, наиболее значимых локальных экстремумов. Показана эффективность применения для решения таких задач модифицированного метода роящихся частиц.

Ключевые слова: поисковая оптимизация, экстремум, многоэкстремальность, параметрическое пространство, эвристические алгоритмы, метод роящихся частиц, критерий оптимизации.

Введение. Множество функций, которые соответствуют пространствам поиска реальных практических задач, являются сложными, т.е. имеют определенные особенности, которые усложняют поиск экстремумов. К таким особенностям относят: множество равнозначных экстремумов; наличие большого медленно убывающего плато, что затрудняет нахождение глобального экстремума; множество локальных экстремумов и т.д. Для проверки эффективности поисковых методов были построены тестовые функции, которые включают одну из перечисленных особенностей, и при этом имеются подробные описания их графиков и известные значения экстремумов. К ним, например, относят: функцию Химмельблау, функцию Розенброка, функцию Растригина, функцию Нейдорфа и т.д.

Постановка задачи. Большинство современных методов поиска экстремумов ориентированы на одноэкстремальные функции. Поэтому при поиске минимумов и максимумов многоэкстремальных функций приходится создавать дополнительные алгоритмы, ориентированные на определенную функцию. Таким образом, для исследования многоэкстремальных функций необходим обобщенный метод, позволяющий находить либо все экстремумы, либо группы экстремумов, удовлетворяющих определенным условиям.

Среди эвристических алгоритмов был выбран метод, наиболее подходящий для решения координатных экстремальных задач, а именно, канонический метод роящихся частиц (КМРЧ). Исследователи, основываясь на законах механики движения, предложили его модификацию для приближения предлагаемой математической модели к описанию поведения роя в природе (учитывая биологические и социальные признаки) и алгоритм, позволяющий исследовать многоэкстремальные поверхности [1].

Метод делящихся роев (МДР). В КМРЧ частица в каждый момент времени, т.е. на всех итерациях расчета t, характеризуется вектором координат xit, определяющими ее положение, векторами скорости Vit и ускорения [2]. Далее в каждой точке xit вычисляется значение целевой функции (критерия оптимизации) Qi t(xit) (где i - номер частицы). Исходя из полученного значения

Q по заданным правилам, частица меняет направление и значение ускорения, что влечет изменение скорости и положения. Закон изменения скорости частицы выражается в виде уравнения:

Vu+i =aFi,t + U[0, ß] ® (xbt - xut), (1)

где xb - вектор координат частицы с наилучшими значениями целевой функции Q(o), заданной в виде функциональной зависимости f ({xi}); U [0,ß] - вектор псевдослучайных чисел, равномерно распределенных в интервале [0, ß]; а - свободный параметр, определяющий инерционное свойство частицы; Vit - скорость i-й частицы в t-й момент условного времени.

Закон изменения положения частицы выражается в виде уравнения:

xi,t+l = xi,t + Vi,t+l. (2) С целью применения КМРЧ к многоэкстремальным функциям выполняется его модификация в МДР. Первая модификация связана с введением понятия «антисоциальной» частицы. Такие частицы двигаются в противоположную сторону от центра притяжения, что позволяет обнаружить другие локальные и глобальные экстремумы, иными словами, это частица глобального поис-

ка, повышающая эффективность обнаружения экстремумов и снижающая риск зацикливания на локальном экстремуме.

Вторая модификация связана с организацией параллельного роения нескольких роев. При обнаружении «антисоциальной» частицей области предположительного экстремума она становится центром нового роя, т.е. запускается параллельный процесс роения. Обычно новый рой имеет такие же характеристики, как и предыдущий.

В МДР рой характеризуется двумя радиусами: исходный построенного роя Rb и мини-

мальный, т.е. создается не центр, а область притяжения роя на некотором расстоянии

Rí

от

точки с координатами частицы.

Введенные модификации нашли отображение в математической модели КМРЧ. Уравнение закона изменения положения частицы (2):

’ ’ ’ At

х

к = 1, К

(3),

j ,Т+1 ьУ >1 j ,Т+1

где К - количество роев, образовавшихся к t■у этапу; Дt - темп поиска, введенный в рассмотрение для облегчения настройки процесса поиска; k - номер роя.

Уравнение изменения скорости (1) принимает вид

Vі

= V * + Ак

і,

А і ; к = 1, К,

(4),

I, у ,Т+1 1, J ,1 I, у ,Т

где А - общее ускорение частицы, которое определяется действием различных сил (сила притяжения и торможения):

А = уАр; ,■ і + рАіг

І, І,і і,І ,і

(5)

где ц - коэффициент «социальности» поведения частицы, ^ = +1 - для «социальных» частиц, т.е. частиц локального поиска, и ц = -1 - для «антисоциальных» частиц, т.е. частиц глобального поиска; р - коэффициент силы притяжения; іг - коэффициент силы торможения.

В формуле (5) каждая составляющая ускорения рассчитывается с учетом флуктуирующего параметра на основе случайной функции с симметричным распределением относительно номинала его настройки

г (X, в) = Х[і + 2є( md(1) - 0,5)], (6)

где X - номинальное значение флуктуирующего параметра; в - отклонение от номинального значения.

Таким образом, результирующее уравнение закона изменения скорости для частицы локального поиска (ЧЛП) и частицы глобального поиска (ЧГП) имеет вид

Vй = Vй ±

і, І ,і+1 і, І ,і

(хкГ - ) Г (X, в с)-<„ ] Гр (Хр, в р )± І (X, Ві), (7)

где гс(Яс,ес) - обеспечивает неоднозначность положения центра притяжения; гр(кр,гр) - обеспечивает неоднозначность величины ускорения; п(кьг) - обеспечивает неоднозначность ве-

личины коэффициента трения; х

к ,ехії І,і

І -я координата наилучшего по критерию Q поло-

жения точек k -го роя за всю историю его движения от 0 до t; Rk’ft - проекция отрезка

к,ехії

вектора х ■ і

Rí

на і -ю ось параметрического пространства поиска.

В результате роения исходного роя по законам изменения (3) и (7) ЧЛП будет найден один из экстремумов. В процессе роения заданный процент ЧЛП-частиц на определенное время становятся ЧГП, что позволяет осуществить поиск областей предположительного нахождения других экстремумов и построить новые рои, которые начнут свое параллельное роение независимо от стартового. В результате параллельно с исходным может роиться любое количество роев, каждый из которых может либо найти новый экстремум, либо сместиться в зону роения другого. Это приводит к объединению обоих роев в один.

Таким образом, МДР позволяет выполнить эффективный поиск множества экстремумов сложных функций. Результативность МДР иллюстрируется примерами его применения для нахождения экстремумов тестовых функций.

Примеры применения МДР для поиска экстремумов сложных функций. Особенность всех эвристических алгоритмов заключается в невозможности использования математического исследования их свойств и выработки эффективных настроек. В связи с этим исследование таких алгоритмов осуществляется методами имитационного моделирования на статистически значимых выборках вариантов объектов оптимизации. Таким образом, исследование МДР происходит в процессе его применения для решения задачи поиска экстремумов усложненной одномерной функции Нейдорфа и двумерной функции Химмельблау на заданном диапазоне.

При исследовании функций для одного опыта строится 50 случайно сформированных роев с заданным начальным радиусом Rb и различными центрами. Процесс роения для каждого роя происходит за заданное число итераций На11, На11 = 200 .

Метод роящихся частиц с механизмом деления роя, как и большинство эвристических алгоритмов, основывается на множестве параметров настройки, т.е. результативность метода зависит от выбранных значений этих параметров. При этом значения некоторых из этих параметров зафиксированы с расчетом на правильность выбранных значений, с учетом оценок, полученных из предыдущих опытов МРЧ. К таким параметрам относятся: деморазмер роя (т), исходный радиус роя (Яь), флуктуирующие составляющие ускорения (Яр, вр), флуктуирующие составляющие

трения (Я1, в 1), флуктуирующие составляющие центра роя (Яс, вс). Кроме этого интуитивно понятно, что данные параметры не являются значимыми для МДР. В свою очередь, значения параметров - конечный радиус Re, процент ЧГП (Ысг) и число итераций, на которые частица из группы ЧЛП переходит в группу ЧГП (Н ), варьируются, так как они напрямую связаны с объектом исследования и являются ключевыми в МДР. Поэтому для оценки влияния Re, Ысг и Н на результирующее решение по трем критериям и совместного влияния всех параметров проводится полнофакторный эксперимент (ПФЭ). Исследование по критериям оценки проводится по результатам роения 50 роев (ЫП = 50), состоит из 5 независимых опытов для каждого из 8 различных условий. В итоге необходимо провести 2000 опытов, что позволит оценить устойчивость результатов и влияние случайных исходных данных на эффективность оптимизации.

При проведении ПФЭ оценка свойств МДР, по опыту проведенных исследований и сути решаемой проблемы, проводится по четырем важным и показателям:

- Е ({аг}), эффективность нахождения всех точек экстремума исследуемой области. Данный критерий характеризует метод применительно к многоэкстремальным задачам. Он формируется как относительное среднее количество экстремумов, найденных МДР, заранее известному количеству экстремумов исследуемой функции;

- 51 ({аг}), ресурс, который определяет минимальное количество итераций, необходимых для нахождения локального экстремума. Для данного исследования он вычисляется как среднее число итераций, за которое центр роя достигает области нахождения одного экстремума, относительно общего числа итераций локального поиска, Хац = 200;

- А ({аг}), точность оценки величины экстремума, т.е. средняя оценка близости найденного значения оптимума к заранее известному при тестировании значению экстремума;

- Sg ({аг}), глобальный ресурс, определяет количество итераций, за которое будут найдены все экстремумы. Он вычисляется как среднее количество итераций, за которое центры множества роев достигли области нахождения всех экстремумов к числу найденных экстремумов.

При этом эффективность метода является ключевым критерием, а три остальных - вспомогательными и могут накладывать дополнительные ограничения на значения параметров, если они не противоречат результатам оценки по критерию Е.

Пример 1. Исследование многоэкстремальной одномерной функции.

Для исследования выбрана следующая функция Нейдорфа, график которой изображен на

рис.1:

. . (1 -х)2 + 15зт(1Дх + 2) ...

У(х) = ---- I - . (8)

х2 + 0,5

Исследование функции проводится на интервале х е [-20,20], где функция имеет 6 минимумов: (-13,72; 15,22), (-8,38; 9,03), (-2,83; 0,42), (2,04; -5,7); (7,64; 4,12) и (13,01; 10,42).

Рис.1. График функции Нейдорфа

Ставится задача нахождения экстремумов рассматриваемой функцией МДР. Для решения данной задачи были выбраны следующие параметры эксперимента: т = 50частиц; Яь = 2

(5 % от размера пространства поиска); Xр = 0,06, вр = 1; = 1, в{ = 0,7; \Яе\ = 1,0,6,0,2;

Ысг = 10 %, 20 %, 30 %; Н = 5,15,20 .

Анализ результатов проведенного ПФЭ показывает, что для оптимальной эффективности МДР, т.е. нахождения всех экстремумов, необходимо установить максимальное значение параметров Яе и Н. В свою очередь, оптимальные значения по другим критериям оценки получаются при минимальном значении параметра . Таким образом, в качестве эффективных значений факторов, при которых достигаются лучшие значения по всем критериям, выбираются: Яе = 1, Ысг = 10 и Н = 20.

Для уточнения полученных значений параметров настройки проводится дополнительный ПФЭ с более узкими интервалами варьирования факторов. В качестве центра плана выбирается точка эффективных значений из предыдущего ПФЭ.

В результате происходит уточнение значений параметров настройки: Яе = 1, = 10

и Н = 25. При данном наборе факторов критерии оценки имеют следующие значения: Е=1 (найдены все 6 экстремумов), S = 0,043, А = 2,77Е-07, Sg = 0,0304.

Процесс выполнения МДР проиллюстрирован на рис.2. По оси Х откладываются итерации роения, а по оси У - значения функции в центре роя на каждой итерации. Сплошными линиями

обозначены траектории движения центров роев, которые в итоге нашли экстремумы, пунктирными линиями, в свою очередь, обозначены траектории роев, которые перешли в область локализации уже найденных экстремумов. Кроме этого представлена иерархия роев, т.е. показано, сумасшедшие частицы какого роя создали следующие рои.

Рис.2. Графическое отображение процесса МДР

Для более наглядного представления траекторий движения роев, нашедших экстремумы, они строятся в логарифмических координатах по значению функции (рис.3).

Рис. 3. Траектория движения роев в логарифмических координатах

Таким образом, показана эффективность применения МДР для нахождения экстремумов одномерной функции при определенных значениях параметров настройки.

Пример 2. Исследование двумерной функции Химмельблау (ФХ). Следующая по сложности тестовая многоэкстремальная функция Химмельблау. Она имеет четыре глобальных минимума, значения в которых равны нулю: (-2,8051; 3,1313), (-3,7793; -3,2832), (3,2), (3,5844; -1,8481). На рис.4 представлен график поверхности и линии уровня функции Химмельблау с отмеченными экстремумами.

Рис.4. График поверхности и линии уровня функции Химмельблау

Для решения данной задачи выбираются следующие параметры эксперимента:

- фиксированные параметры: т = 800 частиц, Яь = 6, Xр = 0,5, вр = 0,05, вг = 0,071,

X, = 0,71, X с = 1, в 1 = 0,08;

- варьируемые параметры: Ысг = 10 %, 20 %, 30 %, |Я е | = 1,5; 1; 0,5 , Н = 5,15, 20 .

В результате проведения серии ПФЭ получается вектор эффективных значений факторов: Яе = 1,5, Ысг = 30 и Н = 20. При этом получены следующие оценки критериев: Е = 1 (найдены все 4 экстремума), 5 = 0,025, А = 3,944, Е = 31, Бд = 0,0071.

Рис.5. Процесс МДР для ФХ

Отображение процесса МДР представлено на рис.5. В связи с тем, что все экстремумы имеют нулевое значение функционала, то все центры роев находят одно и то же значение функции, но

при различных значениях аргументов. В данном случае рой 1, 2, 4 и 5 нашли глобальные минимумы, а рой 3 переместился в область локализации экстремума, который был найден роем 2. Для большей наглядности процесс деления роев представляется в логарифмических координатах по оси «Значение функции» (рис.6).

10 1

V' -І? ^ <£? <=? - ^ ^

-10 -

s -20 -

OJ

*

1 -30 - X

-40 -

-50 -

-60 -

итерации

Рис.6. Процесс МДР для ФХ (в логарифмических координатах)

Заключение. Показано, что метод деления роя является эффективным инструментов для поиска множества экстремумов сложных функций, т.е. для решения многоэкстремальных задач. Эффективность МДР зависит от выбранных значений параметров настройки, которые могут отличаться при решении различных задач.

Библиографический список

1. Деревянкина А.А. Модификация и структурно-параметрическая оптимизация метода роящихся частиц для решения экстремальных задач / А.А. Деревянкина, Р.А. Нейдорф // Современные проблемы многоуровневого образования: междунар. симп. - Ростов н/Д. - 2009. - Т. 11.

2. Карпенко А.П. Обзор методов роя частиц для задачи глобальной оптимизации (Particle Swarm Optimization) [Электронный ресурс] / А.П. Карпенко, Е.Ю. Селиверстов; Моск. гос. техн. ун-т им. Н.Э. Баумана. - Электр. науч.-техн. изд. - М.: Наука и образование, 2009.

References

1. Derevyankina A.A. Modifikaciya i strukturno-parametricheskaya optimizaciya metoda royaschihsya chastic dlya resheniya ekstremal'nyh zadach / A.A. Derevyankina, R.A. Neidorf // Sovremennye problemy mnogourovnevogo obrazovaniya: mejdunar. simp. - Rostov n/D. - 2009.

- T. 11. - in Russian.

2. Karpenko A.P. Obzor metodov roya chastic dlya zadachi global'noi optimizacii (Particle Swarm Optimization) / A.P. Karpenko, E.Yu. Seliverstov; Mosk. gos. tehn. un-t im. N.E. Baumana. -Elektr. nauch.-tehn. izd. - M.: Nauka i obrazovanie, 2009. - in Russian.

Материал поступил в редакцию 24.05.10.

R.A. NEYDORF, A.A. DEREVYANKINA

THE SOLUTION OF MULTIEXTREME PROBLEMS BY THE SWARM SHARING METHOD

The method of attack the research problems of the multiextremal dependencies in order to find several extremes simultaneously is described. It concerns both the problems of determining several equisignifi-cant global extrema, and the problems of allocation, apart with the global, of the most significant local extrema. The efficiency of the modified particle swarm method for such tasks is shown.

Key words: search optimization, extremum, multiextremality, parametric space, heuristic algorithms, particle swarm method, optimization criterion.

НЕЙДОРФ Рудольф Анатольевич (р. 1944), заведующий кафедрой «Программное обеспечение вычислительной техники и автоматизированных систем» (2004) Донского государственного технического университета, доктор технических наук (1988), профессор (1994). Окончил факультет «Автоматизация процессов химической промышленности» Новочеркасского политехнического университета (1967).

Область научных интересов: теория автоматического управления, математические методы решения экстремальных задач, эвристические поисковые методы оптимизации.

Имеет 34 авторских свидетельства, 15 свидетельств о регистрации программ.

Автор около 300 публикаций.

[email protected]

ДЕРЕВЯНКИНА Анна Анатольевна, доцент (2009) кафедры «Программное обеспечение вычислительной техники и автоматизированных систем» Донского государственного технического университета. Окончила факультет «Информатика и вычислительная техника» Донского государственного технического университета (2004).

Область научных интересов: методы распознавания образов, нейронные сети, метод роящихся частиц, аппроксимация изображений.

Автор 19 публикаций.

[email protected]

Rudolf A. NEYDORF (1944), Head of the Computer Software and Automated Systems Department, Don State Technical University (2004). Ph. D. in Science (1988), Professor (1994). He graduated from the Chemical Industry Process Automation Faculty, Novocherkassk Polytechnic Institute (1967). Research interests: theory of automatic control, mathematical methods for solving extremal problems, heuristic search optimization methods.

Author of about 300 scientific publications, 34 certificates of authorship and 15 programme registration certificates.

[email protected]

Anna A. DEREVYANKINA, Associate Professor (2009) of the Computer Software and Automated Systems Department, Don State Technical University. She graduated from the Informatics and Computer Science Faculty, Don State Technical University (2004).

Research interests: methods of pattern recognition, neural networks, method of swarming particles, image approximation.

Author of 19 scientific publications.

[email protected]