CC BY
138
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н.Э. ЬАУМЛНЛ
НАУКА и ОБРАЗОВАНИЕ
Эл JVa ФС 77 - 48211. Государственная регистрация №(I4212Ü0025. ISSN 1994-0408
электронный научно-технический журнал
Глобальная оптимизация на основе гибридизации методов роя
частиц, эволюции разума и клональной селекции
# 08, август 2012
DOI: 10.7463/0812.0431723
Антух А. Э., Карпенко А. П.
УДК 519.6
Россия, МГТУ им. Н.Э.Баумана alexander.antukh@gmail apkarpenko@mail.ru
Введение
Относительно новым и быстро развивающимся классом методов глобальной оптимизации является класс эвристических методов. Среди методов этого класса выделяют эволюционные и поведенческие (имитационные) методы, последние из которых и рассматриваются в данной работе [1]. Поведенческие методы основаны на моделировании коллективного поведения самоорганизующихся живых или неживых систем, взаимодействующие элементы которых называют агентами. Ключевыми идеями поведенческих методов являются децентрализованность, взаимодействие агентов, простота их поведения [2].
Для повышения эффективности поведенческих методов глобальной оптимизации в настоящее время используют два основных подхода -гибридизация и метаоптимизация.
При гибридизации объединяют либо различные методы, либо одинаковые методы, но с различными значениями свободных параметров, так чтобы эффективность одного метода компенсировала слабость другого. Известно несколько классификаций алгоритмов гибридизации поведенческих методов глобальной оптимизации [3 - 5]. Наиболее известна одноуровневая классификация Ванга (X. Wang), в соответствии с которой выделяют
гибридизацию по схеме вложенных (embedded) методов, гибридизацию типа препроцессор /постпроцессор (preprocessor / postprocessor) и коалгоритмическую (co-algorithms) гибридизацию. В работе используем гибридизацию вложением, точнее говоря, высокоуровневую и низкоуровневую гибридизации вложением.
Высокоуровневая гибридизация вложением (high-level embedded hybridization) предполагает слабую связь объединяемых методов. Комбинируемые методы в этом случае сохраняют значительную автономию, так что в итоговом методе относительно легко выделить каждый из них (см., например, [6]). При низкоуровневой гибридизации вложением (low-level embedded hybridization) комбинируемые методы интегрированы настолько сильно, что выделить составляющие итогового метода обычно невозможно, т.е. низкоуровневая гибридизация порождает, по сути, новый метод.
Поведенческие методы глобальной оптимизации и, в особенности, гибридные методы имеют большое число свободных параметров. От значений этих параметров часто в значительной мере зависит эффективность методов. С другой стороны обычно отсутствуют правила выбора значений указанных параметров. Поэтому одним из основных путей повышения эффективности поведенческих методов является разработка алгоритмов адаптации значений их свободных параметров к особенностям конкретной задачи оптимизации либо к особенностям некоторого класса задач оптимизации - метаоптимизация поведенческих методов.
Наиболее известные классификации алгоритмов метаоптимизации представлены в работах [7, 8]. Ограничимся классификацией Ибена (A.E. Eiben), в соответствии с которой выделяют алгоритмы настройки параметров (parameter tuning) и алгоритмы управления параметрами (parameter control) [7]. Первые из указанных алгоритмов разделяют на алгоритмы однократной настройки и алгоритмы перманентной настройки. Идея алгоритмов однократной настройки параметров (one-time parameter tuning), используемых в нашей работе, состоит в том, что программу,
реализующую рассматриваемый метод оптимизации, выполняют при различных значениях его свободных параметров на большом числе задач оптимизации того или иного класса. На основе результатов исследования выбирают значения параметров с наилучшими показателями эффективности.
Целью работы является разработка, настройка параметров и исследование эффективности оригинального гибридного алгоритма глобальной оптимизации на основе метода роя частиц (Particle Swarm Optimization, PSO) [9]. Метод PSO в силу его эффективности и высокой степени разработанности широко используют в качестве базового метода при построении многих гибридизаций. Приведем несколько примеров.
Метод PSO-EO [10] представляет собой гибридизацию канонического метода PSO с методом экстремальной оптимизации (Extremely Optimization, ЕО) [11]. Гибридизация метода PSO и метода заряженных частиц (Charged System Search, CSS) представлена в работах [12, 13]. Комбинированный метод IBPSO, представляющий собой объединение бинарного метода PSO и метода искусственной иммунной системы (Artificial Immune System, AIS), предложен в работе [14]. Для диверсификации поиска и повышения тем самым вероятности локализации глобального экстремума сложных многоэкстремальных функций, в работе [15] предложена гибридизация метода PSO и широко известного метода дифференциальной эволюции (Differential Evolution, DE) - гибридный метод PSO-DE. Метод HPSI, основанный на гибридизации методов PSO и искусственной иммунной системы, представлен в работе [16]. Гибридный метод BSO [17] использует комбинацию метода PSO и метода светлячков (Glow-worm Swarm Optimization, GSO). Метод PSACO [18] есть не что иное, как гибридизация метода PSO и метода колонии муравьев (Ant Colony Optimization, ACQ), как метода локального поиска. Гибридизация метода PSO и метода сорняков (Invasive Weed Optimization, IWO) рассмотрена в работе [19].
В первом разделе работы дана постановка задачи глобальной оптимизации, а также приведены краткие описания базовых методов роя
частиц, эволюции разума и клональной селекции. Во втором разделе представлена гибридизация указанных методов и описание гибридного метода, названного нами MEPSI (Mind Evolution, Particle Swarm, Immune). Третий раздел посвящен задаче настройки свободных параметров метода HPSI, на основе которого построен метод MEPSI. В четвертом разделе представлены результаты исследования эволюция состояния роя, который порождает метод MEPSI. Целью исследования является метаоптимизация метода. В пятом разделе представлены результаты исследования эффективности метода MEPSI, выполненного на известных тестовых функциях Шекеля и Растригина. Шестой раздел представляет аналогичные результаты, полученные при решении методов MEPSI семи- и тридцати восьми атомной задачи кластеризации Леннарда-Джонсона. В заключении сформулированы основные результаты работы и перспективы ее развития.
1. Постановка задачи и схема методов роя частиц, эволюции разума и клональной селекции
Рассматриваем задача глобальной безусловной оптимизации целевой
функции f (X) в X -мерном арифметическом пространстве RX
min f (X) = f (X*).
X eRX
Поскольку в основу метода MEPSI положен метод роя частиц, агенты в котором называют частицами, говорим далее о рое частиц и обозначаем этот рой S = (s, i е [1: |S|]), где |S| - размер роя (число частиц в нем). В дискретный момент времени t = 0,1,2,...,T координаты частицы s¡ в пространстве поиска определяет вектор Xit = (xit1, xit2,...,xit^X|), а ее
«ск°р°стъ» - вектор ,t = (viAU vi,t^... vi,t,|x|).
1.1. Канонический метод роя частиц
Итерации в каноническом методе PSO выполняем по схеме [9]
Хц+1 = Xi,t + vht+1, (1)
= ь1У1, + ищ(0;Ьс)®(х1 -хц)+ и1х\(0;ь8)®(х** -хи). (2)
Здесь Ь1, Ьс, Ь8 - свободные параметры метода; (а; Ь) - |х| -мерный вектор случайных чисел, равномерно распределенных в интервале [а; Ь]; ® -символ прямого произведения векторов; х*и - вектор координат частицы si, соответствующий наилучшему значению целевой функции / (х), достигнутому ею за время поиска [0 : г]:
Ш1И /(хг>) = /(х*); (3)
ге[0: г ]
X* * - вектор координат соседней с данной частицы с наилучшим за то же время значением функции f (X):
mm f (X*Т = f (X*); (4)
jeN* ге[0:Г ]
N* - множество номеров частиц, являющихся соседями данной частицы s*.
Свободный параметр bj определяет вес «инерционных» свойств частицы (при bj < 1 ее движение, очевидно, замедляется). Рекомендуемое значение параметра равно bj =0,7298. Значения параметров bC, bS определяют, соответственно, относительные веса «когнитивной» и «социальной» компонент в формуле (2). Рекомендуемые значения параметров равны bC = bS = 1,49618. Соседство частиц понимаем в смысле используемой топологии соседства частиц (swarm topology) [9]. Схема канонического метода PSO имеет следующий вид.
1) Задаем значения свободных параметров метода и инициализируем рой. Полагаем счетчик числа итераций t = 1.
2) Для каждой из частиц роя s*, i е [1: |S|] по формуле (3) находим
лучшую локальную позицию X*t, а по формуле (4) - глобально лучшую позицию X**.
3) По формулам (1), (2) находим новые позиции всех частиц роя X, t+1, а также их новые «скорости» V, t+1 ; i е [1: |S|].
4) Проверяем выполнение условия окончания итераций. Если это условие выполнено, то завершаем итерации, в противном случае полагаем t = t +1 и переходим к шагу 2.
Инициализация роя заключается в задании начальных позиций X, 0 и
скоростей Vi 0 всех |S| частиц. Обычно позиции X, 0 принимают случайными, равномерно распределенными в некотором параллелепипеде
П={Х\Х- < Xj < x+, j е [1: |X|]}, (5)
где xj, x + - заданные константы. Начальные скорости частиц также
инициализируют случайными значениями.
В качестве условий окончания итераций используют типичные для поведенческих методов оптимизации условия: достижение максимально допустимого числа итераций T ; стагнация итерационного процесса (отсутствие улучшения значений целевой функции на протяжении некоторого числа итераций) и так далее.
Обзор большого числа модификаций канонического метода PSO представлен, например, в работе [9].
1.2. Метод эволюции разума Концепция метода эволюции разума (Mind Evolutionary Computation, MEC) предложена в работе [20]. Метод MEC моделирует скорее некоторые аспекты поведения человека в обществе, чем, как можно было бы предположить, работу человеческого мозга.
Мультипопуляция метода MEC состоит из наборов лидирующих групп
(superior groups) Sb = (S1b, S2b,...,S|S|) и отстающих групп (temporary groups) Sw = (SW, S2W,...,Ss\), содержащих для простоты записи по |S| групп (субпопуляций) Sb, S^ каждая. Числа индивидов в указанных группах
полагаем одинаковыми и равными |S|. Каждая из групп имеет свою коммуникационную среду, называемую локальной доской объявлений (local billboard). Обозначим эти доски Cb, Cw соответственно. Кроме того, вся
мультипопуляция (sb, Sw) имеет общую, глобальную доску объявлений
(global billboard) Cg. Если далее в обозначениях группы и соответствующих локальных досок объявлений индексы b, w опущены, то имеется в виду произвольная из этих групп и их досок объявлений.
Исходная версия метода MEC, названная авторами простым методом эволюции разума (Simple MEC, SMEC), построена на основе операций инициализации групп, локальных состязаний (similar-taxis) и диссимиляции (dissimilation).
Операция инициализации групп создает наборы групп Sb, Sw и размещает их в области поиска. Рассмотрим схему операции на примере
группы S* , i е [1: |S|].
1) Генерируем случайный вектор Xi1, компоненты которого равномерно распределены в параллелепипеде (5). Отождествляем этот вектор с индивидом si,1 группы Si .
2) Определяем начальные координаты остальных индивидов данной группы s* j по формуле
X*,j = Xu+ N|x (0, а), J е [2: |S|], (6)
т.е. размещаем случайным образом вокруг индивида si,1 в соответствии с нормальным законом распределения, имеющим по всем |X| координатам
нулевое математическое ожидание и среднее квадратичное отклонение а (свободный параметр метода).
Операция локальных состязаний реализует локальный поиск минимума
целевой функции f (X) каждой из групп Sb, SJ, i е [1: S0 ], j е [1: Sw ].
Рассмотрим в качестве примера схему этой операции для группы Si .
1) С доски объявлений Ci берем информацию о текущем индивиде-победителе группы Si . Пусть это будет индивид sik, k е [1: |S|].
2) Определяем новые координаты остальных индивидов sil, l е [1: |S |],
l ф к данной группы по правилу вида (6), т.е. размещаем случайным образом вокруг победителя в соответствии с нормальным законом распределения.
3) Вычисляем новые счета (scores) индивидов группы fn =- f (ХИ), l е [1: |S|], где инверсия значений целевой функции использована, поскольку далее речь идет о максимизации счета, а функция f (X) подлежит минимизации.
4) Определяем нового победителя группы sim, m е [1: |S|], т.е. индивида данной группы, который имеет максимальный текущий счет:
j = f (Xi ,m ) = f ,m . jе[1: \S|] J
5) Заносим информацию о новом победителе группы sim на доски объявлений Ci , Cg.
Операция диссимиляции управляет глобальным поиском. Схема операции имеет следующий вид.
1) С глобальной доски объявлений Cg считываем счета fi0, f jw,
i е [1: S0 ], j е [1: Sw ] всех групп (т.е. текущие счета победителей этих групп).
2) Выполняем сравнение указанных счетов между собой. Если счет некоторой лидирующей группы S0 меньше счета одной из отстающих групп S wj , то последняя группа занимает место группы Si0 во множестве
ib
лидирующих групп, а группа Sb - место группы SJ среди отстающих групп. Если счет группы SJ ниже счетов всех лидирующих групп, то удаляем
ciW
группу Sj из популяции.
3) С помощью операции инициализации взамен каждой из удаленных групп инициализируем новую группу.
В методе SMEC операции локальных состязаний и диссимиляции итерационно повторяются до тех пор, пока имеет место увеличение максимального счета лидирующих групп. При прекращении роста этого счета, решение задачи, соответствующее победителю лучшей из лидирующих групп, объявляем точкой глобального экстремума.
Известно значительное число модификаций метода SMEC, направленных на повышение его эффективности [21].
1.3. Метод клональной селекции
Клональная селекция является одним из механизмов искусственных иммунных систем, которые можно определить, как информационную технологию, использующую понятия, аппарат и некоторые результаты теоретической иммунологии для решения прикладных задач и, в частности, для решения задач оптимизации [22]. Биологическим прототипом AIS является иммунная система человека и обработка информации в ней молекулами белков (пептидов).
Основной задачей иммунной системы является распознавание и уничтожение любого чужеродного агента, которым может быть болезнетворный микроорганизм, инородное тело, ядовитое вещество или переродившаяся клетка самого организма. Агенты, воспринимаемые иммунной системой как чужеродные, называют антигенами (antigens). В ответ на появление в организме антигенов иммунная система образует специальные, реагирующие с ними антитела (antibodies).
Схема метода клональной селекции (clonal selection algorithm, CSA) имеет следующий вид.
1) Инициализируем популяцию антител S b (решений), включающую в себя субпопуляцию, так называемых, клеток памяти Sb.
2) Вычисляем значения целевой функции для всех агентов популяции Sb и выбираем из нее nb лучших агентов. Клонируем лучших агентов во временную популяцию С так, чтобы общее число клонов было равно nbne.
3) Всех клонов из популяции C подвергаем мутации, с вероятностью обратно пропорциональной соответствующим значениям целевой функции. Из мутированных агентов формируем популяцию C1. Вычисляем значения целевой функции для всех агентов популяции C1 и удаляем из этой популяции агентов, близких к агентам популяции С.
4) Выбираем nd = bsnbnc лучших агентов популяции C1 и помещаем в
популяцию клеток памяти Sb. Здесь bs - степень селекции (selection rate). Расширяем популяцию Sb агентами популяции Sb.
5) Выполняем, так называемое сетевое сжатие популяции Sb -исключаем из нее br часть худших агентов; br е (0;1).
6) Выполняем операцию клонального сжатия популяции - заменяем bn
часть худших агентов популяции Sb новыми, случайно сгенерированными агентами; bn е (0; 1).
7) Если условие окончания итераций не выполнено, то переходим к шагу 2.
Принципиальные идеи метода CSA заключаются в удалении агентов из популяции (шаг 3), позволяющем уменьшить вероятность сходимости к локальному минимуму целевой функции, клонировании лучших агентов, а также их мутации с вероятностью, зависящей от соответствующих значений целевой функции.
2. Метод MEPSI
В основу метода MEPSI положен упомянутый выше метод HPSI [16], представляющий собой гибридизацию методов PSO и иммунной системы. Основная идея метода HPSI состоит в использовании частицами механизма клонального сжатия (п.1.3), который повышает диверсификационные свойства метода, предотвращает его преждевременную сходимость и повышает вероятность локализации глобального экстремума. Схема метода HPSI имеет следующий вид.
1) Инициализируем роя частиц S = (s, i е [1: |S|]) по правилам метода PSO (п.1.1).
2) Вычисляем значения целевой функции f ( X ) для всех частиц роя.
3) Для каждой из частиц si е S находим векторы X*t, X**.
4) По формулам (1), (2) производим пересчет скоростей и позиций частиц.
5) Случайным образом выбираем из популяции bn |S| частиц и
выполняем для них операцию клонального сжатия.
6) Пока условие окончания итераций не выполнено, возвращаемся к шагу 2
Операция клонального сжатия «разбрасывает» частицы роя по пространству поиска. Называем поэтому далее эту операцию взрывом роя.
Схему метода MEPSI определяет следующая последовательность шагов.
1) По правилам улучшенного метода MEC инициализируем рой, содержащий |S| групп частиц по |S| агентов в каждой, таким образом, что
|S|
частицы группы S{ принадлежат параллелепипеду П ; |J П = П.
i=1
2) Выполняем v итераций метода HPSI, в течение которых каждые r итераций производим взрыв роя. В случае, если некоторая частица вылетает
за границы параллелепипеда П, возвращаем ее на эту границу, а скорость инвертируем.
3) Реализуем операцию локальных состязаний.
4) Определяем глобально лучшие частицы каждой из групп 8, I е [1: |в|].
5) Выполняем сравнение приспособленностей глобально лучших частиц групп и выделяем победителей и аутсайдеров среди групп.
6) Если некоторая группа в течение т итераций занимает среди аутсайдеров последнее место, то удаляем ее из популяции.
7) Если текущее число групп больше чем одна, то переходим к шагу 2.
Свободными параметрами метода МЕРБ1 являются число групп |8|,
размер каждой из групп |8|, частота применения операции локальных состязаний V, частота взрывов роя г, время жизни проигравших групп т. На основании рекомендаций работы [16] принимаем |8| = 30 .
3. Настройка параметров метода ИР81
Настройка параметров метода ИРБ1 в рамках задачи его метаоптимизации выполнена нами для функций Шекеля и Растригина. Использован мультистарт из 100 запусков. Задача решалась в параллелепипеде П = (X |0 < xi < 10, I е [1:5]), т.е. размерность вектора
варьируемых параметров была принята равной |х| = 5.
Рассматриваем следующие критерии эффективности метода, вычисление значений которых основано на результатах мультистарта:
М1 - оценка математического ожидания числа итераций до начала процесса стагнации вычислительного процесса;
81 - оценка среднеквадратического отклонения того же числа; МЕ - оценка математического ожидания числа испытаний до стагнации;
БЕ - оценка среднеквадратического отклонения последнего числа;
Лб = Л - оценка вероятности локализации глобального экстремума с заданной точностью б = 0,1 (точность алгоритма).
3.1. Функция Шекеля
Функция Шекеля характеризуется наличием нескольких минимумов, число т и глубину которых задает исследователь. В наших экспериментах использовано т=10. В таблице 1 и на иллюстрирующем ее рисунке 1 представлены результаты настройки числа итераций т.
Таблица 1.
Настройка метода ИРБ1: функция Шекеля, варьирование параметра т
Критерий Величина т
30 40 50
М 164 164 160
Б1 14 38 40
МЕ 12969 12831 12247
БЕ 1144 2432 2575
Л 0,54 0,59 0,46
300 250
М1 51 МЕ * 100 56 * 10 А
Рисунок 1 - Настройка метода ИРБ1: функция Шекеля; варьирование т
Аналогичные результаты, полученные при настройке частоты взрывов г, представлены в таблице 2 и на рисунке 2.
Таблица 2.
Настройка метода ИРБГГ. функция Шекеля, варьирование параметра г
Критерий Величина г
1 0,5 т т
МГ 111 184 165
БГ 51 42 47
МЕ 7132 13495 12689
БЕ 3156 2809 2990
А 0,14 0,60 0,58
Рисунок 2 - Настройка метода ИРБГ. функция Шекеля; варьирование г
Представленные результаты показывают, что с ростом времени жизни проигравших групп т, числа испытаний МЕ и итераций МГ возрастают, а среднеквадратические отклонения указанных величин БЕ, БГ убывают. При
этом точность локализации глобального экстремума Л для т = 40; 50 примерно одинакова, в то время как для т = 30 уменьшается по сравнению с указанными вариантами примерно на 25 %. Результаты исследования
М
показывают, что оптимальными по критерию являются значения
параметров г = т или г = 0,5т при т = 30.
3.2. Функция Растригина
Функция Растригина характерна наличием большого числа локальных
минимумов и плавным спуском к глобальному минимуму в точке X * = 0. Результаты, аналогичные результатам, представленным в п. 3.1, приведены в таблицах 3, 4 и на рисунках 3, 4.
Таблица 3
Настройка метода ИРБ1: функция Растригина; варьирование параметра т
Критерий Величина т
30 40 50
М 300 315 305
Б1 126 149 129
МЕ 19698 20739 20143
БЕ 7906 9456 8156
Л 0,31 0,27 0,33
Рисунок 3 - Настройка метода ИРБ1: функция Растригина; варьирование т
Таблица 4
Настройка метода ИРБ1: функция Растригина; варьирование параметра г
Критерий Величина г
1 0,5 т т
М 109 330 300
Б1 52 131 126
МЕ 7405 21880 19698
БЕ 3539 8587 7906
Л 0,2 0,43 0,31
Рисунок 4 - Настройка метода ИРБГ. функция Растригина; варьирование г
Таблица 3 и рисунок 3 показывают, что для функции Растригина все рассматриваемые критерии оптимальности слабо зависят от времени жизни проигравших роев т. Напротив, таблица 4 и рисунок 4 показывают сильную зависимость этих критериев от числа взрывов г. С точки зрения точности алгоритма А оптимальным значением является г = 0,5 т .
Подведем итоги. Проведенное исследование эффективности метода ИРБГ показывает, что критерии эффективности МГ, БГ, МЕ, БЕ, А в большей степени зависит от частота взрывов г и в меньшей - от частоты удаления проигравших групп т. Для функции Шекеля варьирование параметра т не приводит к существенным изменениям ни в числе испытаний МЕ, ни в точности А (таблица 1). Оптимальными оказываются настройки г = 0,5 т, т = 30 (таблица 2). С точки зрения тех же критериев эффективность метода ИРБГ для функции Растригина также слабо зависит от значений параметра т (таблица 3). В то время оптимальное значение параметра г позволяет увеличить точность А метода более чем в 20 раз (таблица 4).
В целом, на основе представленных результатов исследования в качестве оптимальных значений параметров т, г принимаем значения т = 30, г = 0,5т = 15.
4. Эволюция состояния роя
Для изучения качества роя, который порождает метод MEPSI, используем эволюционную оценку состояния (evolutionary state estimation) [23]. В соответствии с указанной работой введем в рассмотрение следующие величины:
- среднее евклидово расстояние частицы st рассматриваемого роя
S = (st, i е [1: |S|]) до всех остальных частиц этого роя
|S|
di = ^ S д
S - 1 j=1, j*i v
S (xi ,k - xj ,k ) k=1
- минимальное и максимальное расстояние между частицами роя
dmin = .min di, dmax = maX df,
ге[1: |S|] ie[1: |S|]
- среднее евклидово расстояние dg между глобально лучшей частицей роя sgbest и остальными частицами роя,
- эволюционный коэффициент (evolutionary factor)
d - d
ep= / :in е[0; 1]. (7)
d -d
max min
Из формулы (7) следует, что нулевое значение эволюционного коэффициента соответствует ситуации dg = , когда все частицы стянуты
в окрестность глобально лучшей частицы, то есть ситуации стагнации вычислительного процесса. Напротив, близкие к единице значения величины (р означают широкое распределение частиц в области поиска (этап диверсификации поиска).
Исследование эволюции состояния роя выполнено для пятимерной функции Растригина (п. 3). Рассматриваем три группы экспериментов:
- взрывы на каждой 15-ой итерации (г = 15); 10.7463/0812.0431723 396
- взрывы на каждой итерации (г = 1),
- взрывы на каждой 30-ой итерации (г = 30).
Целью вычислительных экспериментов является, во-первых, настройка значений указанного параметра и, во-вторых, объяснение причин того или иного поведения эффективности метода МЕРБ1 в функции значений этого параметра.
4.1. Взрывы на каждой 15-ой итерации (г = 15)
Характер изменения эволюционного коэффициента р в процессе итераций иллюстрируют рисунки 5а, 5б. Величина /** на рисунке 5б представляет собой значение целевой функции, соответствующее текущей глобально лучшей частице роя. Таким образом, указанный рисунок иллюстрирует характер сходимости итерационного процесса. Графики функций dmax(t), dmin(t), d(£), dg(£) представлены в приложении на
рисунках П1а - П1г.
а) р(0
б) /40
Рисунок 5 - К эволюции состояния роя: г = 15
Сопоставление рисунков 5а, 5б показывает механизм преодоления роем стагнации вычислительного процесса. Стагнация («полка» на рисунке 5б)
завершается процессом уменьшения величины / ** вследствие взрыва роя
(рисунок 5а).
4.2. Взрывы на каждой итерации (г = 1)
В п. 3 была показана неэффективность данной настройки метода ИРБ1. Рисунки 6а, 6б, а также соответствующие им рисунки П2а - П2г позволяют объяснить этот эффект.
а) )
б) / «)
Рисунок 6 - Эволюция состояния роя: г = 1
Рисунок 6б показывает, что при г = 1 метод вообще не может локализовать глобальный минимум. Рисунки 6а, П2а - П2г объясняют причину такого поведения метода - каждую итерацию взрывы разносят частицы далеко по пространству поиска (см., например, итерации 45, 140) и,
поскольку частота взрывов велика, частицы не успевают в промежутки между взрывами локализоваться в окрестности текущей лучшей частицы.
4.3. Взрывы на каждой 30 итерации (г = 30)
В п. 3 показано, что данная настройка метода является более эффективной по сравнению с предыдущей. Эволюцию роя иллюстрируют рисунки 7а, 7б, а также рисунки П3а - П3г.
а) р^)
б) / >)
Рисунок 7 - Эволюция состояния роя: г = 30
Рисунок 7б показывает, что данная настройка метода обеспечивает локализацию глобального минимума. Из рисунков 7а, П3а - П3г следует при г = 30 в промежутке между взрывами частицы успевают стянуться в окрестность текущей лучшей частицы.
5. Исследование эффективности метода МЕР81
Исследование эффективности метода МЕРБГ выполнено на тестовых функциях Шекеля и Растригина при следующих значениях свободных параметров метода: = 10, |Б| = 30, V = 5, т = 20, г = 0,5 т . Для тех же
тестовых функций выполнено исследование эффективности методов роя частиц РБО и гибридного метода НРБГ. Во всех случаях использован мультистарт из 100 запусков соответствующей программы. Рассматриваем критерии эффективности метода, приведенные в п. 3. Кроме того, в качестве критерия эффективности метода используем оценку относительного числа испытаний
ЯЕ = МЕ, (8)
БЕ
которая характеризует надежность алгоритма, поскольку более высоким значениям величины (8) соответствует меньший разброс результатов мультистарта.
5.1. Функция Шекеля
Как и в п. 3.1, использованы значения параметров функции |х| = 5,
^=10. Основные результаты исследования представлены в таблице 5, которую иллюстрируют рисунки 8а - 8г.
Таблица 5
Эффективность метода МЕРБГ. функция Шекеля
Критерий Метод
РБО НРБГ МЕРБГ
МГ 142 175 321
БГ 8 34 27
МЕ 11754 13308 132230
БЕ 685 2264 13172
А 0,38 0,48 0,82
H PSI M EPS!
а) критерии MI и SI
б) критерии ME и SE
H PSI
в) критерий A
RE 12 10
8 б 4 2 О
H PSI ME PSI
г) критерий RE
Рисунок 8 - Эффективность алгоритма MEPSI: функции Шекеля
Таблица 5 и рисунки 8а - 8в показывают, что по критерию A превосходство метода MEPSI над методами PSO и HPSI достигает почти 100%. Однако при этом имеет место также почти 100% увеличение числа итераций MI и числа испытаний ME. Примечательно, что среднеквадратическое отклонение указанных величин ниже, чем у базового алгоритма HPSI. Значительный интерес представляет рисунок 8г, показывающий значительное превосходство алгоритма MEPSI над алгоритмом HPSI по критерию надежности RE.
5.2. Функция Растригина
Результаты исследования эффективности метода MEPSI для функции Растригина представлены в таблице 6 и на иллюстрирующих ее рисунках 9а -9г. Аналогично п. 3.2, исследование выполнено для вектора варьируемых параметров размерности |х| = 5.
Таблица 6
Эффективность метода МЕРБГ. функция Растригина
Критерий Метод
РБО НРБГ МЕРБГ
МГ 196 294 306
БГ 57 134 23
МЕ 13522 19327 122678
БЕ 4086 8502 12990
А 0,2 0,7 0,53
НР51 МЕР51
а) критерии МГ и БГ
б) критерии МЕ и БЕ
А 60% 50% 40% 30% 20% 10% 0%
КЕ 10 9 8 7 6 5 4 3 2 1 0
г) критерий ЯЕ
Рисунок 9 - К эффективности алгоритма МЕРБГ: функции Растригина
Представленные результаты показывают, что по сравнению с методом НРБГ для функции Растригина метод МЕРБГ обеспечивает почти в восемь раз более высокую вероятность локализации глобального экстремума, чем для функции Шекеля (критерий А). При этом аналогично пункту 4.1 наблюдается рост числа итераций и рост числа испытаний (критерии МГ и МЕ). Следует заметить, что разница между величинами МГ и МЕ для алгоритмов МЕРБГ и НРБГ в данном случае не столь велика, как для функции Шекеля. Надежность метода МЕРБГ иллюстрирует рисунок 9г, показывающий значительно
РЮ НР51 МЕР51
в) критерий А
НРЭ1 МЕРЭ!
большее превосходство данного метода над базовым методом ИРБ1 по сравнению со случаем функции Шекеля.
6. Задача атомной кластеризации Леннарда-Джонса
Под задачей Леннарда-Джонса понимают задачу нахождени координат атомов в молекулярной системе, которые обеспечивают минимум потенциальной энергии этой сисетмы. Потенциальная энергия Леннарда-Джонса играет ключевую роль в определении стабильности высокомолекулярных соединений, таких как, например, белки. Главная сложность задачи Леннарда-Джонсона заключается в мультимодальности целевой функции и высокой размерности вектора варьируемых параметров [24, 25]. Вследствие практической важности и высокой сложности задача широко используется в качестве тестовой для алгоритмов глобальной оптимизации.
Пусть Х( = (х( 1, х( 2, х( 3) вектор координат атома а1 в трехмерном
Т1 Т"1 Т"1 Т"1
евклидовом пространстве Я , а X = (Х1 , X2 ,...,Хы) - (3Nх 1)-вектор координат всех атомов в ^-атомном кластере (а{, I е [1: N]).
¿/-потенциал для пары атомов а{, а^ определяет формула
^ 1) = ^ -
Ч1 Ч, ]
где r j =
X - xj
евклидово расстояние между атомами at, üj .
Задача LJ-кластеризации представляет собой задачу глобальной безусловной оптимизации вида
min V(X) = V(X*), (9)
X eR3 N
где целевую функцию V(X), имеющую смысл суммарной потенциальной энергии кластера, определяет выражение
N-1 N
У\г; 71
i < j i=1 j =i+1
N -1 N
V (X) = s v(r, j )=ZZ
л
1 2
r.12 r6 ■
V 1, j 1, j У
(10)
Задача атомной кластеризации (9), (10) решена нами для семи атомной молекулы (N=7) (мультистарт из 100 запусков) и для тридцати восьми атомной молекулы (N=38). Для оценки точности полученных решений использованы результаты, представленные в работе [6].
6.1. Семиатомный кластер
Результаты решения задачи для N = 7 иллюстрирует таблица 7 и
*
рисунок 10. Наилучшее по мультистартам решение X , найденное методом МЕРБГ, обеспечивает значение потенциальной энергии V(X ) = -16,41. Для решения, представленного в работе [25], та же величина равна V(X) = -16,505384. Таким образом, погрешность наилучшего решения, найденного методом МЕРБГ, по сравнению с указанным решением не превышает 0,5%.
Таблица 7
К эффективности метода МЕРБГ: семиатомная задача Леннарда-Джонса
Критерии оптимальности метода
МГ БГ МЕ БЕ ЯЕ А
332,0 25,3 133319,3 13163,5 10,1 0,76
Рисунок 10 показывает, что относительная погрешность большинства найденных в результате мультистарта решений сконцентрирована в окрестности 2%. Дисперсия погрешности невелика.
0,5% 1% 1,5% 2% 2,5% 3% 3,5% 4% 4,5% 5%
Рисунок 10 - Распределение найденных решений по относительной погрешности: семиатомный кластер
6.2. Тридцати восьми атомный кластер
Решение, представленное в работе [25] для рассматриваемой задачи,
равно V(X ) = -173,928427, в то время как один запуск алгоритма MEPSI
обеспечил V(X ) = -170,79 , то есть погрешность решения, не превышающую 1,7 %. Использовать мультистарт в данном случае оказалось невозможным, поскольку решение задачи на персональном компьютере с процессором 2,0 Ггц, потребовало около четырех суток его непрерывной работы.
Заключение
В работе представлен гибридный метод глобальной условной оптимизации MEPSI, представляющий собой модификацию известного метода HPSI, заключающуюся в использовании некоторых операций метода эволюции разума MEC. Таким образом, метод MEPSI представляет собой гибридизацию трех поведенческих методов - роя частиц PSO, эволюции разума MEC и клональной селекции CSA.
Выполнено широкое исследование эффективности предложенного метода на тестовых функциях Шекеля и Растригина. По сравнению с
методами РБО и НРБ1 для этих функций метод МЕРБ1 показал себя как более точный и надежный. Для обеих функций со 100 % вероятностью решение найдено с погрешностью, не превышающей 0,001 %. Для функции Растригина, имеющей более сложный ландшафт, чем функция Шекеля, наблюдается увеличение эффективности метода МЕРБ1 по критериям точности и надежности. Так с точки зрения точности вычислений А для функции Шекеля метод МЕРБ1 оказался в примерно 1,7 раз эффективнее метода НРБ1. В тоже время для функции Растригина это превосходство составило почти 7,6 раза. При этом возрастает надежность метода ЯЕ - в 1,7 раза для функции Шекеля и в 4,2 раза для функции Растригина.
Наряду с явными преимуществами метода МЕРБ1 над методом НРБ1 по точности и надежности, он является более затратным с точки зрения необходимых вычислительных ресурсов. При этом имеет место интересная особенность - для более сложной функции Растригина относительные затраты ниже, чем для функции Шекеля. Для функции Шекеля метод МЕРБ1 оказался по сравнению с методом НРБ1 более затратным в 9,9 раз, в то время как для функции Растригина - только в 6,4 раза.
Эффективность метода исследована также на задаче атомной кластеризации Леннарда-Джонса. Для семи атомного кластера метод обеспечил минимальную погрешность, равную 0,5 %. Для 38-атомного кластера в результате одного запуска программы, реализующей метод, решение получено с погрешностью, не превышающей 1,7 %.
В целом, результаты исследования позволяют определить МЕРБ1 как высокоэффективный метод для широкого класса задач глобальной условной оптимизации.
В развитие работы авторы планируют исследование эффективности метода на более широком классе тестовых функций, распараллеливание метода для различных классов параллельных вычислительных систем, а также его апробацию на практической задаче, сводящейся к задаче глобальной оптимизации.
Список литературы
1. Luke S. Essentials of Metaheuristics. A Set of Undergraduate Lecture Notes. Department of Computer Science George Mason University. (http://cs.gmu.edu/~sean/book/metaheuristics/Essentials.pdf).
2. Карпенко А.П. Популяционные алгоритмы глобальной поисковой оптимизации. Обзор новых и малоизвестных алгоритмов // Приложение к журналу «Информационные технологии», 2012 (в печати).
3. Wang X. Hybrid nature-inspired computation method for optimization / Doctoral Dissertation. Helsinki University of Technology, TKK Dissertations, Espoo 2009, 161 p.
4. Raidl G.R. A Unified View on Hybrid Metaheuristics // Lecture Notes in Computer Science.- Springer-Verlag, 2006, Vol. 4030,- pp. 1-12.
5. El-Abd, Kamel M. A taxonomy of cooperative search algorithms / Hybrid Metaheuristics: Second International Workshop.- Springer, 2005, Vol. 3636, pp. 32-41.
6. Krasnogor N. Studies on the Theory and Design Space of Memetic Algorithms, Ph.D. Thesis, Faculty of Computing, Mathematics and Engineering, University of the West of England, Bristol, U.K., 2002, 289 p.
7. Eiben A. E., Michalewicz Z., Schoenauer M., Smith J. E. Parameter Control in Evolutionary Algorithms / Parameter Setting in Evolutionary Algorithms.- Springer Verlag, 2007, pp. 19-46.
8. Smith J. E., Fogarty T. C. Operator and parameter adaptation in genetic algorithms // Soft Computing, 1997, No. 1, pp. 81-87.
9. Карпенко А.П., Селиверстов Е.Ю. (2008) Обзор методов роя частиц (PSO) для задачи глобальной оптимизации» // Наука и образование: электронное научно-техническое издание, www.technomag.edu.ru, март, 2009.
10. Chen M.-R., Lu Y.-Z., Luo Q. A novel hybrid algorithm with marriage of particle-swarm optimization and extremely optimization // Optimization Online, May 2007 (http://www.optimization-online.org/ARCHIVE_DIGEST/2007-05.html).
11. Boettcher S., Percus A.G. Nature's way of optimizing // Artificial Intelligence 2000; No. 119; pp. 275-286.
12. Kaveh A., Talatahari S. Optimal design of skeletal structures via the charged system search algorithm // Structural Multidisciplinary Optimization, 2010, Vol. 37, pp. 893-911.
13. Kaveh A., Talatahar, S. A novel heuristic optimization method: Charged system search // ActaMechanica, 2010, Vol. 213, pp. 267-286.
14. Kennedy J., Eberhart R. C. A discrete binary version of the particle swarm algorithm // Proceedings of 1997 IEEE International Conference on Systems, Man and Cybernetics, 1997, Vol. 5, pp. 4104-4108.
15. Khamsawang S., Boonseng C., Pothiya S. Solving the economic dispatch problem with tabu search algorithm // IEEE International Conference on Industrial Technology 2002, Bangkok, Thailand, pp. 274-278.
16. George AJT, Gray D. Receptor editing during affinity maturation // Immunol Today, 1999, No. 20(4), p. 196.
17. Rossato de Oliveira D., Parpinelli R.S., Lopes H.S. Bioluminescent Swarm Optimization Algorithm / Evolutionary Algorithms, Edited by Eisuke Kita, Publisher: InTech, April 26, 2011, pp. 69-84.
18. Kaveh A., Talatahari S. Engineering optimization with hybrid particle swarm and ant colony optimization // Asian journal of civil engineering, 2009, Vol. 10, №6, pp. 611-628.
19. Mehrabian A. R., Lucas C. A novel numerical optimization algorithm inspired from weed colonization // Ecological Informatics, 2006, Vol. 1, pp. 355-366.
20. Jianchao Zeng, Kai Zha. An Mind Evolution Method for Solving Numerical Optimization Problems // Proc. 3rd World Congress on Intelligent Control and Automation, Hefei, P.R. China. (2000), pp. 126-128.
21. Jie J., Han Ch., Zeng J. An Extended Mind Evolutionary Computation Model for Optimizations // Applied Mathematics and Computation, 2007, No. 185(2), pp. 1038 - 1049.
22. Дасгупта Д. Искусственные иммунные системы и их применение.-Физматлит.- 2006.-344 с.
23. Zhan Z-H., Zhang J. Adaptive Particle Swarm Optimization // SpringerVerlag Berlin, Heidelberg, 2008, ANTS 2008, LNCS 5217, 2008, pp. 227-234.
24. Fan E. Global optimization of Lennard-Jones atomic clusters // master of SCIENCE (2002), McMaster University, COMPUTING & SOFTWARE, Hamilton, Ontario (http://camo.ici.ro/books/thesis/ellen.pdf)/
25. W. Cai et al. Optimization of Lennard-Jones atomic clusters // Journal of Molecular Structure (Theochem), №579, 2002, pp. 229-234.
Приложение. К эволюции состояния роя в методе МЕРБ1
10 3
! I! 1111II1111II1111111111II1111II1111 N 1111II1111II111!' 111
I Г 1111II1111II11 И || 1111II1111II1111111111III И III1111.1
—* I""1 ГО 1Л —* С-4» СО С?1 1/7 —А ГО С" 1/7 ["-1 СО С7' Т-Г> —ч I"-- ГО С- 1Л —г _1 —! СI {П СО ЪГ) О "О Ь Ь «3 С' о о о —« М Г? ГО СО ^
а) )
б) dmm(t)
в) d (t)
г) dg ^)
Рисунок П1 - К эволюции состояния роя: г = 15
б) )
в) й (? )
г) йё (I)
Рисунок П2 - К эволюции состояния роя: г = 1
111Ш
14
12 Ю
—ь-^АиД_^—I_л_
I ГП II I' I' ПТ'П'НШИШИШШПНИЧИППГИТШРП I II' II Г1 ................................
ВЛФ £
№ о н п й 1й
—• —4 —I —■ —I —» —I —I —I —I П Г! Г) П Г| Г|
а) йтах^)
б) йшп^)
в) й (? )
г) йё «)
Рисунок П3 - К эволюции состояния роя: г = 30
SCIENTIFIC PERIODICAL OF THE BAUMAN MSTÜ
SCIENCE and EDUCATION
EL JV® FS 77 - 4821 1. №0421200025. ISSN 1994-0408 electronic scientific and technical journal
Global optimization based on methods of particle swarm, mind
evolution and clonal selection
# 08, August 2012
DOI: 10.7463/0812.0431723
Antukh A., E., Karpenko A.,P.
Russia, Bauman Moscow State Technical University
alexander.antukh@gmail apkarpenko@mail.ru
The paper gives short descriptions of the particle swarm, mind evolution and clonal selection methods. Hybridization of the specified methods and a description of the MEPSI hybrid method (Mind Evolution, Particle Swarm, Immune) are presented. We consider an adjustment of free parameters of the HPSI method on the basis of which the MEPSI method is constructed. The results of studying an evolution of the swarm generated by the MEPSI method, as well as the results of studying the efficiency of the method for known Shekel and Rastrigin benchmark problems are presented in this article. Besides, the paper presents similar results obtained during solving the seven- and thirty eight Lennard-Jones atomic clusters problem.
Publications with keywords: global optimization, Method of a plenty of particles, hybridization, mind evolution optimization, clonal selection algorithm, meta-optimization Publications with words: global optimization, Method of a plenty of particles, hybridization, mind evolution optimization, clonal selection algorithm, meta-optimization
References
1. Luke S. Essentials of Metaheuristics. A Set of Undergraduate Lecture Notes. Department of Computer Science George Mason University. Available at: http://cs.gmu.edu/~sean/book/metaheuristics/Essentials.pdf .
2. Karpenko A.P. Populiatsionnye algoritmy global'noi poiskovoi optimizatsii. Obzor novykh i maloizvestnykh algoritmov [Population algorithms of global search optimization. Overview of new and little-known algorithms]. Prilozhenie kzhurnalu «Informatsionnye tekhnologii» [Supplement to the journal "Information Technologies"], 2012. In press.
3. Wang X. Hybrid nature-inspired computation method for optimization. Dokt. diss. Helsinki University of Technology, TKK Dissertations, Espoo, 2009. 161 p.
4. Raidl G.R. A Unified View on Hybrid Metaheuristics. Hybrid Metaheuristics. Proc. of Third International Workshop, Gran Canaria, Spain, 13-14 October 2006. Springer-Verlag, 2006, pp. 1-12. (Lecture Notes in Computer Science (LNCS), vol. 4030). DOI: 10.1007/11890584
5. El-Abd, Kamel M. A taxonomy of cooperative search algorithms. Hybrid Metaheuristics. Proc. of Second International Workshop, Barcelona, Spain, 29-30 August 2005. SpringerVerlag, 2005, pp. 32-41. (Lecture Notes in Computer Science (LNCS), vol. 3636). DOI: 10.1007/11546245
6. Krasnogor N. Studies on the Theory and Design Space of Memetic Algorithms. Ph.D. Thesis. Faculty of Computing, Mathematics and Engineering, University of the West of England, Bristol, U.K., 2002. 289 p.
7. Eiben A.E., Michalewicz Z., Schoenauer M., Smith J.E. Parameter Control in Evolutionary Algorithms. Parameter Setting in Evolutionary Algorithms. Springer-Verlag, 2007, pp. 19-46. (Studies in Computational Intelligence, vol. 54). DOI: 10.1007/978-3-540-69432-8
8. Smith J.E., Fogarty T.C. Operator and parameter adaptation in genetic algorithms. Soft Computing, 1997, no. 1, pp. 81-87.
9. Karpenko A.P., Seliverstov E.Iu. Obzor metodov roia chastits (PSO) dlia zadachi global'noi optimizatsii [Review of the particle swarm optimization method (PSO) for a global optimization problem]. Nauka i obrazovanie MGTUim. N.E. Baumana [Science and Education of the Bauman MSTU], 2009, no. 3. Available at: http://technomag.edu.ru/doc/116072.html , accessed 14.07.2012.
10. Chen M.-R., Lu Y.-Z., Luo Q. A novel hybrid algorithm with marriage of particle-swarm optimization and extremely optimization. Optimization OnlineDigest - May 2007. Available at: http://www.optimization-online.org/ARCHIVE DIGEST/2007-05.html , accessed 14.07.2012.
11. Boettcher S., Percus A.G. Nature's way of optimizing. Artificial Intelligence, 2000, vol. 119, no. 1-2, pp. 275-286. Available at:
http://www.sciencedirect.com/science/journal/00043702/119/1-2 , accessed 14.07.2012.
12. Kaveh A., Talatahari S. Optimal design of skeletal structures via the charged system search algorithm. StructuralMultidisciplinary Optimization, 2010, vol. 37, pp. 893-911.
13. Kaveh A., Talatahari S. A novel heuristic optimization method: Charged system search. Acta Mechanica, 2010, vol. 213, pp. 267-286.
14. Kennedy J., Eberhart R. C. A discrete binary version of the particle swarm algorithm. Proc. of1997 IEEE International Conference on Systems, Man and Cybernetics, 1997, Vol. 5, pp. 4104-4108.
15. Khamsawang S., Boonseng C., Pothiya S. Solving the economic dispatch problem with tabu search algorithm. IEEE International Conference on Industrial Technology (ICIT '02), Bangkok, Thailand, 2002, vol. 1, pp. 274-278. DOI: 10.1109/ICIT.2002.1189906
16. George A.J.T., Gray D. Receptor editing during affinity maturation. Immunology Today, 1999, vol. 20, no. 4, p. 196.
17. Rossato de Oliveira D., Parpinelli R.S., Lopes H.S. Bioluminescent Swarm Optimization Algorithm. Evolutionary Algorithms. InTech Publ., 2011, ch. 5, pp. 69-84. DOI: 10.5772/627
18. Kaveh A., Talatahari S. Engineering optimization with hybrid particle swarm and ant colony optimization. Asian journal of civil engineering, 2009, vol. 10, no. 6, pp. 611-628.
19. Mehrabian A.R., Lucas C. A novel numerical optimization algorithm inspired from weed colonization. Ecological Informatics, 2006, vol. 1, pp. 355-366.
20. Jianchao Zeng, Kai Zha. An Mind Evolution Method for Solving Numerical Optimization Problems. Proc. 3rd World Congress on Intelligent Control and Automation, Hefei, P.R. China, 2000, pp. 126-128.
21. Jie J., Han Ch., Zeng J. An Extended Mind Evolutionary Computation Model for Optimizations. Applied Mathematics and Computation, 2007, no. 185(2), pp. 1038 - 1049.
22. Dasgupta D., Ed. Artificial Immune Systems and Their Applications, Springer-Verlag, Inc. Berlin, 1999. (Russ. ed.: Dasgupta D. Iskusstvennye immunnye sistemy i ikhprimenenie. Moscow, Fizmatlit, 2006. 344 p.).
23. Zhan Z-H., Zhang J. Adaptive Particle Swarm Optimization. Proc. of the 6th International Conference on Ant Colony Optimization and Swarm Intelligence (ANTS 2008), Brussels, Belgium, 22-24 September 2008.Springer-Verlag Berlin and Heidelberg, 2008, pp. 227-234. (Lecture Notes in Computer Science (LNCS), vol. 5217). DOI: 10.1007/978-3-540-87527-7
24. Fan E. Global optimization of Lennard-Jones atomic clusters. MASTER OF SCIENCE. McMaster University, COMPUTING & SOFTWARE, Hamilton, Ontario, 2002. Available at: http://camo.ici.ro/books/thesis/ellen.pdf .
25. Cai W., et al. Optimization of Lennard-Jones atomic clusters. Journal of Molecular Structure (Theochem), 2002, no. 579, pp. 229-234.
