CC BY
35
УДК 519.85
Вестник СибГАУ Том 17, № 4. С. 899-906
БИНАРНЫЙ ГЕНЕТИЧЕСКИЙ АЛГОРИТМ С ДЕКОМПОЗИЦИЕЙ НА ОСНОВЕ ОЦЕНКИ
РАСПРЕДЕЛЕНИЯ ДЛЯ ЗАДАЧ ГЛОБАЛЬНОЙ ОПТИМИЗАЦИИ ВЫСОКОЙ РАЗМЕРНОСТИ
Е. А. Сопов
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: evgenysopov@gmail.com
В последние годы существенно увеличилась размерность многих практических задач оптимизации. Подобные задачи глобальной оптимизации высокой размерности (Large-Scale Global Optimization, LSGO) имеют несколько сотен или тысяч переменных и являются несепарабельными. Более того, практические задачи оптимизации часто сложны для детального анализа и рассматриваются как модели типа «черный ящик», следовательно, при решении этих задач применимы только методы прямого («слепого») поиска. Наиболее эффективные подходы используют популяционные методы случайного поиска и основаны на идеях кооперативной коэволюции с декомпозицией задачи по переменным. Подобные алгоритмы в основном ориентированы на задачи с вещественными переменными и не могут быть применены к задачам с дискретными и смешанными переменными. Предложен новый подход, основанный на применении сочетания бинарного генетического алгоритма и алгоритма оценки распределения (Kstimat^on of Distribution Algorithm, EDA). Бинарный генетический алгоритм решает основную задачу оптимизации, алгоритм EDA используется для оценки статистики, накопленной по результатам прошлых этапов поиска генетическим алгоритмом, и дальнейшей декомпозиции задачи путем фиксации перспективных значений генов в хромосоме. Предложенная декомпозиция задачи на основе EDA-алгоритма обладает свойствами основных методов решения задач оптимизации высокой размерности: метода случайной группировки генов и метода анализа динамики генов. Обсуждаются обычная версия предложенного подхода и островная модель, позволяющая реализовать алгоритм на параллельных компьютерах. Представлены результаты численных экспериментов на множестве тестовых задач, используемых в соревнованиях по глобальной оптимизации высокой размерности в рамках конференций IEEE CEC. Результаты демонстрируют, что предложенный подход обладает эффективностью, сравнимой с другими известными эффективными подходами (победителями и участниками соревнований), и в то же время может применяться к задачам оптимизации с любыми переменными, так как используется бинарное представление решений.
Ключевые слова: бинарный генетический алгоритм, алгоритм оценки распределения, декомпозиция задачи оптимизации, глобальная оптимизация высокой размерности, LSGO, GA-EDA.
Sibirskii Gosudarstvennyi Aerokosmicheskii Universitet imeni Akademika M. F. Reshetneva. Vestnik Vol. 17, No. 4, P. 899-906
BINARY GENETIC ALGORITHM USING EDA-BASED PROBLEM DECOMPOSITION FOR LARGE-SCALE GLOBAL OPTIMIZATION
E. A. Sopov
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: evgenysopov@gmail.com
In recent years many real-world optimization problems have had to deal with growing dimensionality. Such optimization problems, that are called large-scale global optimization (LSGO) problems, contain many hundreds or thousands of variables and are not separable. Moreover, many real-world problems are usually complex for detailed analysis, thus they are viewed as the black-box optimization problems. Thus, we can use the "blind" search techniques only. The most advanced techniques for LSGO are population-based stochastic search algorithms and are based on cooperative coevolution schemes using the problem decomposition via variables. These algorithms are mainly proposed for the real-valued search space and cannot be applied for problems with discrete or mixed variables. In this paper a novel technique is proposed, that uses a combination of a binary genetic algorithm (GA) and an estimation of distribution algorithm (EDA). The GA is used for solving the main optimization problem, and the EDA is used for collecting statistical data based on the past search experience to provide the problem decomposition by fixing perspective genes
in chromosomes. The proposed EDA-based decomposition technique has the benefits of two general LSGO concepts: the random grouping methods and the dynamic learning methods. A standard implementation of the EDA-based decomposition GA and an implementation using the island model for parallel computing are discussed. The results of numerical experiments for benchmark problems from the IEEE CEC competition on the LSGO are presented. The experiments show that the approach demonstrates efficiency comparable to other advanced techniques. At the same time, the proposed approach can be applied for LSGO problems with arbitrary variables as it uses the binary representation of solutions.
Keywords: binary genetic algorithm, estimation of distribution algorithm, problem decomposition, large-scale global optimization, LSGO, GA-EDA.
Введение. Эволюционные алгоритмы (ЭА) доказали свою высокую эффективность при решении многих сложных прикладных задач оптимизации. Тем не менее, их эффективность обычно чувствительна к размерности задачи и падает с существенным ростом числа переменных. Сложные задачи глобальной оптимизации, в которых число переменных может достигать нескольких сотен или тысяч, часто относят к классу задач глобальной оптимизации высокой размерности (Large-Scale Global Optimization, LSGO). Несмотря на то, что такие задачи были известны всегда, в отдельный класс они были выделены сравнительно недавно и получили развитие лишь в последние годы. Сегодня LSGO-задачи возникают все чаще, так как растут вычислительные мощности компьютерной техники, пропускная способность каналов связи и, как следствие, объемы и размерность собираемых и обрабатываемых данных. В частности, в аэрокосмической отрасли модели с большим числом переменных используются для моделирования и анализа больших данных, например, по результатам огневых испытаний двигателей, спутниковой и аэрофотосъемки поверхности земли, при проектировании бортовых и наземных систем управления и т. д.
Известны классы задач оптимизации большой размерности, которые не представляют трудностей ни для традиционных методов математического программирования, ни для более продвинутых подходов (например, задачи линейного программирования). В то же время, многие практические задачи являются малоизученными и сложными для детального анализа. В этом случае их принято рассматривать как модели типа «черный ящик», в которых возможны только оценки целевой функции в конкретной точке, но информация о свойствах ландшафта целевой функции отсутствует. Часто к моделям типа «черный ящик» относят и задачи, в которых целевые функции заданы явно (аналитически), но сложность модели не позволяет выявить полезные для оптимизации свойства. Подобные задачи представляют сложность и для ЭА, так как не представляется возможным выбрать и настроить под задачу конкретный алгоритм. Более того, практические LSGO-задачи часто оказываются несе-парабельными, из-за чего не удается снизить размерность задачи путем ее декомпозиции по переменным.
Несмотря на вышеперечисленные трудности, существуют различные эвристики для эффективного решения LSGO-задач. В настоящее время предложено достаточно много различных подходов для задач с вещественными переменными [1]. Однако многие прикладные задачи связаны с анализом различных
сложных структур данных, которые выражены в разных шкалах и не могут быть представлены только вещественными переменными. В таких случаях все переменные задачи переводятся в одну из простейших шкал. На практике часто используется бинарное представление решений и бинарные генетические алгоритмы (ГА). Однако, как показывает обзор различных информационных источников, на сегодняшний день алгоритмы для бинарных LSGO-задач развиты недостаточно.
В данной работе предложен новый подход для решения задач глобальной оптимизации высокой размерности, который использует бинарный ГА с декомпозицией задачи на основе алгоритма оценки распределения (Еstimation of Distribution Algorithm, EDA). Бинарный генетический алгоритм решает основную задачу оптимизации, алгоритм EDA используется для оценки статистики, накопленной по результатам прошлых этапов поиска ГА, и дальнейшей декомпозиции задачи путем фиксации перспективных значений генов в хромосоме.
В настоящее время существует множество подходов к LSGO-оптимизации, которые можно объединить в две большие группы: не использующие декомпозицию методы и методы на основе кооперативной коэволюции. Первая группа методов в основном связана с модификацией стандартных эволюционных и генетических операторов. Наилучшие результаты, тем не менее, достигаются методами второй группы, которые осуществляют декомпозицию задачи на задачи меньшей размерности путем группировки переменных. Методы на основе кооперативной коэволюции включают три основных этапа: декомпозиция задачи, решение выделенных подзадач оптимизации и сборка полного решения из найденных компонент. Очевидно, что этап декомпозиции является наиболее важным. Наиболее популярными являются следующие подходы к группировке переменных при декомпозиции задачи: статическая группировка по некоторому правилу (static grouping) [2], динамическая случайная группировка (random dynamic grouping) [3] и адаптивная группировка (learning dynamic grouping) [4; 5]. Большой обзор методов для LSGO-оптими-зации предложен в [1]. Как видно из данного обзора и других работ, большая часть исследований посвящена задачам с вещественными переменными.
Алгоритмы оценки распределения EDA являются стохастическими популяционными алгоритмами, которые исследуют пространство поиска с помощью построения и использования модели распределения вероятностей в явном виде. Стоит отметить, что ЭА
и ГА тоже накапливают и обрабатывают некоторую статистическую информацию по результатам прошлых этапов поиска, но такая информация не представлена явно и содержится в хромосомах текущей популяции. Алгоритмы EDA могут быть использованы для усиления стандартных поисковых методов. В частности, есть примеры использования гибридных EDA-ЭА-алгоритмов для вещественных LSGO-задач [6; 7].
Для оценки эффективности и сравнения эффективности подходов к решению задач глобальной оптимизации высокой размерности были разработаны специальные тестовые задачи, которые приняты мировым научным сообществом как сложные. Эти функции, в частности, используются на соревновании методов LSGO-оптимизации, проводимом ежегодно с 2008 года в рамках Международного конгресса по эволюционным вычислениям (IEEE Congress on Evolutionary Computation, CEC). Анализ последних соревнований показал, что большинство методов, продемонстрировавших высокую эффективность, используют динамическую случайную группировку и вещественные поисковые алгоритмы.
Декомпозиция на основе EDA-алгоритма. Основная идея декомпозиции в LSGO-задачах состоит в разбиении задачи на подзадачи меньшей размерности, содержащие одну или несколько переменных. Выбранная часть переменных участвует в поиске оптимального решения, оставшиеся переменные фиксируются, их значения определяются в соответствии с некоторой стратегией (например, используются значения лучшего найденного решения). Очевидно, что лучшие результаты можно получить для полностью сепарабельных задач оптимизации. В случае несепа-рабельных и частично сепарабельных задач выбор стратегии декомпозиции определяет общую эффективность поискового алгоритма.
В данной работе сформулированы следующие требования к методу декомпозиции:
- группировка генов в ГА должна быть динамической для реализации стратегии «исследование и использование» (exploration and exploitation);
- группировка должна быть случайной, чтобы избежать «жадного» поиска и локальной сходимости;
- группировка должна основываться на результатах прошлых этапов поиска всей популяцией, чтобы обеспечить глобальный поиск;
- группировка должна быть адаптивно масштабируемой, чтобы обеспечить эффективную декомпозицию на любой стадии поиска.
Как известно, ГА не собирают статистическую информацию по прошлым этапам поиска в явном виде, но такая информация содержится в хромосомах индивидов в популяции. Один из способов представить эту статистику в явном виде заключается в оценке распределения вероятностей значений компонент бинарного вектора решений как в бинарных EDA-алгоритмах. Такое распределение имеет вид вектора вероятностей появления единичных значений в соответствующих позициях векторов решений:
P(t) =(pl(t), p2(t).....pn (t)), pt (t) =
1 N _
= P (x = l) =_y xj, i = 1, n, i Nj- i
(1)
где ^ - номер текущей популяции; р, - вероятность появления значения, равного единице, в ¡-й позиции хромосом индивидов (в анализируемой популяции); х] - значение ¡-го гена у ]-го индивида; п - длина хромосомы; N - размер популяции.
Распределение вероятностей в ¿-м поколении описывает накопленную ГА статистику по результатам прошлых этапов поиска. Мы также можем проанализировать динамику изменения распределения в течение прошлых поколений. В [8] предложен способ анализа и использования динамики компонент вектора вероятностей (1) в бинарных ЭА и ЕОД. В частности, по анализу динамики компонент можно построить прогноз значений компонент вектора решений, к которым должен сойтись алгоритм. Численные эксперименты показали, что для ГА, который с высокой надежностью находит точку глобального оптимума, компоненты вектора вероятностей сходятся к значению «один», если соответствующая компонента глобального оптимума содержит единицу, и к сходится нулю - в противном случае.
Мы может использовать это свойство для определения генов в хромосоме, которые стоит зафиксировать на этапе группировки (декомпозиции задачи). Будем фиксировать ген в ¡-й позиции на ¿-й итерации по следующему правилу (2) на основе значений компонент вектора вероятностей (1):
0, если р (¿) < (0,5 -5), х] (¿) = | гап(1от, если р1 (¿) е (0,5-5,0,5 + 5), (2) [ 1,рй > (0,5 +5),
где 5 - пороговое значение (уровень доверия), 5 е (0, 0,5).
Рассмотрим данное правило на примере (рис. 1). На рис. 1 представлен график изменения случайно выбранной компоненты вектора вероятностей во время одного из запусков ГА на функции Растригина. Для выбранного гена значение в точке глобального оптимума равно нулю. Как видно из рис. 1, ГА начинает со случайного равномерного распределения решений в пространстве поиска, поэтому значение вероятности появления единицы в данной позиции равно 0,5. На ранних этапах поиска ГА активно исследует ландшафт целевой функции, потому распределение единиц и нулей в популяции примерно одинаковое, и значение вероятности колеблется около 0,5. После этого ГА локализует перспективный регион пространства поиска и начинает чаще генерировать нули в текущей позиции, вероятность начинает меняться в сторону нуля. Пороговый уровень доверия определяет зону значений вероятностей около 0,5, когда мы не можем однозначно определить, какое значение гена чаще генерирует алгоритм.
Несмотря на то, что мы рассматриваем компоненты распределения по отдельности, ГА анализирует и генерирует решения, учитывая информацию о задаче в целом. Поэтому правило (2) может быть использовано для произвольных, а не только для сепарабельных проблем. Исключением могут быть только десептив-ные задачи (функции-«ловушки»), которые специально конструируются так, чтобы алгоритм на протяжении всего процесса поиска сходился в точку, далекую от глобального оптимума.
1 _
0,9 0,Я 0,7
0,6 0,5 0,4
s
5
0,3 0 7
0,1 D
0
10 15 20 2 Б 30 3 5 40 45 5
Рис. 1. График изменения компоненты распределения (горизонтальная ось - номер поколения, вертикальная ось - значение вероятности)
Далее мы должны определить количество переменных, которые будут зафиксированы. Существуют разные стратегии. Наиболее популярный подход -разделение пополам, когда для задачи с n переменными фиксируются ровно n/2 компонент. В общем случае мы определим число компонент, которые фиксируются как процент от длины хромосомы, и обозначим а. Параметр а может быть фиксированным или меняться в процессе работы алгоритма. Выбранные переменные и соответствующие значения вектора вероятностей остаются неизменными на протяжении заданного числа поколений - периода адаптации; обозначим его как tadapt. Список зафиксированных компонент определяется случайно. В данной работе мы будем использовать предварительно заданные постоянные значения параметров а и tadapt.
Одним из преимуществ такой декомпозиции является то, что мы не теряем ранее накопленную статистику о поиске при фиксации компонент, так как мы также фиксируем компоненты вектора вероятностей. ГА решает задачу оптимизации в уменьшенном пространстве поиска и обновляет только незафиксированные компоненты распределения. По завершении каждого периода адаптации мы случайным образом фиксируем новые компоненты. В случае, если ранее зафиксированная компонента не будет выбрана, обновление соответствующей ей компоненты распределения продолжится с сохранённого значения.
ГА с декомпозицией на основе EDA-алгоритма для LSGO-задач. Опишем предложенный подход для решения задач глобальной оптимизации большой размерности в деталях.
Вначале мы должны выбрать способ бинарного представления решений исходной задачи оптимизации. Можно использовать стандартный бинарный, Грей-код или любой другой. В результате кодирования мы определяем длину хромосомы (бинарного вектора) n.
Далее необходимо задать значения параметров алгоритмов декомпозиции и ГА, а также максимальное число вычислений целевой функции (MaxFE) или
максимальное число поколений (МахСЕЩ. Критерии МахРЕ и МахСЕЫ можно заменить на любой другой критерий останова.
Полное описание алгоритма можно представить в виде псевдокода (рис. 2).
Островная модель с самоконфигурацией. Многие алгоритмы для ЬБСО-задач используют группировку компонент на основе кооперативной коэволюции. В этом случае создаются несколько популяций, в которых осуществляются различные группировки компонент. Кооперация осуществляется в момент вычисления пригодности для определения значений фиксированных компонент, например, на основе лучших найденных решений из других популяций.
В данной работе мы также будем использовать несколько популяций, определенных следующим образом. При выполнении основного цикла предложенного алгоритма общая популяция размера N делится на К подпопуляций размера М, где N = К • М. Шаги декомпозиции и работы ГА выполняются для каждой подпопуляции независимо. Каждая подпопуляция может быть рассмотрена как остров (в терминах островной модели ГА) со своей стратегией декомпозиции. После завершения этапа адаптации все индивиды со всех подпопуляций собираются обратно в общую популяцию для обновления общей статистики поиска. Последнее можно рассматривать как кооперацию, так как в дальнейшем каждая подпопуляция будет использовать эту статистику на своем острове. Известно, что островная модель может превосходить по эффективности обычный ГА с одной популяцией [9]. Также мы можем сократить время работы алгоритма в случае использования параллельных вычислений на многоядерном или многопроцессорном компьютере.
Мы можем внести дополнительное взаимодействие подпопуляций в островной модели, используя концепцию, предложенную в [10]. Будем увеличивать размер острова, который демонстрирует большую эффективность решения задачи. С помощью операции миграции лучших индивидов позиции островов будут уравниваться.
Входные данные: п, Ы, а, 5, ЬаЛар1:, МахЕЕ, параметры операций ГА.
Инициализация:
Случайно сгенерировать популяцию Ы индивидов длины п. Рассчитать Р(0) по формуле (1).
Основной цикл алгоритма:
Пока не достигнуто МахЕЕ:
1. Этап декомпозиции: Начать новый период адаптации. Зафиксировать случайные а генов в хромосомах и в векторе вероятностей .
2. Этап оптимизации выбранных компонент: Выполнять ГА в течение Ьааар£, поколений:
а. Вычисление пригодности. Установить значения генов в зафиксированных позициях согласно значению Р(Ь), используя формулу (2).
б. Выполнить операции селекции, рекомбинации и мутации.
в. Создать новое поколение, обновить значения Р(Ь) вектора вероятностей для активных компонент.
Выходные данные: лучшее найденное решение.
Рис. 2. Схема предложенного алгоритма
Поскольку LSGO-задачи весьма затратны в вычислительном плане, выбор оптимальных параметров ГА путем многократного запуска ГА с различными комбинациями параметров невозможен. Мы будем использовать следующую известную схему самокон-фигрурации ГА. Вначале мы определяем список возможных генетических операторов ГА: типы селекции, типы рекомбинации и уровни интенсивности мутации. Для каждой операции определяется вероятность ее применения при формировании нового индивида. Все вероятности инициализируются равными значениями. В процессе работы ГА определяются те операторы, которые в среднем дают большее улучшение пригодности индивидов, значения их вероятностей увеличиваются за счет уменьшения вероятностей менее успешных операторов. Более детальная информация о данной самоконфигурации может быть найдена в [11].
Результаты численных экспериментов. Для
оценки эффективности предложенного подхода были использованы 15 тестовых задач большой размерности, представленные на специальной сессии и соревновании по LSGO-оптимизации в рамках Международного конгресса CEC 2013 [12]. Эти задачи обладают различными свойствами практических задач оптимизации большой размерности и являются сложными для многих алгоритмов, а потому могут быть использованы для сравнения специальных алгоритмов для LSGO-задач. Среди них:
- 3 полностью сепарабельных задачи (обозначены как Л-ß);
- 8 частично сепарабельных задач (/4-/7 с сепара-бельными подзадачами, /8-Л1 без сепарабельных подзадач);
- 3 задачи с взаимовлияющими подзадачами (Л2-Л4);
- 1 полностью несепарабельная задача (Л5).
Для проведения численных экспериментов использовались следующие настройки (согласно правилам соревнования CEC'13):
- размерность всех задач D = 1000;
- используется стандартное кодирование с точностью: е = 0,1 для f1, /4, f7, 8 и Л1-15, е = 0,05 для Д f6 и Л0, е = 0,01 для f2, 5 и /9;
- для каждой задачи вычисляется лучшее найденное решение (Best), математическое ожидание (Mean) и стандартное отклонение (StDev) по 25 независимым запускам алгоритма;
- максимальное число вычислений целевой функции MaxFE = 3,0-106;
- оценка эффективности осуществляется после достижения чисел вычислений целевой функции, равных 1,2 105, 6,0-105 и 3,0-106.
Параметры ГА и EDA-алгоритма следующие:
- размер популяции N = 1000 для версии с одной популяцией, N = 500 для островной модели с 3 островами и N = 400 для 5 островов;
- период адаптации tadapt = 100;
- пороговый уровень доверия 5 = 0,05, 0,15 и 0,25;
- число фиксированных компонент а = 25, 50 и 75 % длины хромосомы.
Предложенные алгоритмы реализованы в Visual Studio C++ с использованием OpenMP распараллеливания вычислений на многопроцессорных компьютерах. Исходные коды задач на языке C++ взяты из ре-позитория [13].
К сожалению, даже в случае распараллеливания вычислений каждый запуск алгоритма на одной из задач требует больших временных затрат, а потому многократное решение задач с целью получения статистически значимых выводов об эффективности алгоритма с разными настройками весьма затруднительно при разумных временных ограничениях. Тем не менее, был проведен «грубый» анализ влияния параметров а и 5 на эффективность работы алгоритма. Результаты для ГА с одной популяцией и островной модели с 5 островами представлены в табл. 1 и 2. Как видно, островная модель превосходит ГА с одной популяцией почти во всех случаях.
Мы также представили на графиках зависимость лучшего найденного значения от комбинации параметров а и 5. Лучшее найденное значение нормализовано в интервале [0, 1] и усреднено по всем задачам из набора. Графики для 3 значений ИахРЕ представлены на рис. 3 и 4. Из графиков видно, что лучшие результаты достигаются при больших значениях процента фиксированных компонент. В случае одной популяции, лучшая комбинация (а = 50 %, д = 0,15) для ИахРЕ = 1,2105, которая смещается к (а = 50 %, д = 0,25) для ИахРЕ = 6,0-105 и ИахРЕ = 3,0-106. В случае островной модели, лучшие комбинации (а = 75 %, д = 0,25) для ИахРЕ = 1,2-105и (а = 75 %, д = 0,15) для ИахРЕ = 6,0-105и ИахРЕ = 3,0-106. Можно предположить, что алгоритму требуются разные комбинации параметров на разных этапах поиска. В следующих работах будет предпринята попытка разработать адаптивную схему настройки данных параметров.
Результаты экспериментов для лучших найденных значений параметров представлены в табл. 3.
Результаты предложенного подхода сравнены с другими алгоритмами, которые участвовали в соревновании СЕС'13: ОЕСС-С (кооперативная коэволюция со случайной динамической группировкой на базе дифференциальной эволюции) [3], УЫО-ОЕ (оптимизация по изменяющейся решетке с помощью
дифференциальной эволюции) [14], CC-CMA-ES (эволюционная стратегия адаптации ковариационной матрицы с использованием кооперативной коэволюции) [4], MOS (гибридный алгоритм генерации множества потомков) [15] и SACC (кооперативная коэволюция на основе сглаживания и вспомогательных функций) [16].
В табл. 4 представлены результаты усреднения показателей эффективности алгоритмов по всем задачам, алгоритмы проранжированы по значениям лучшего найденного и математического ожидания. Из табл. 4 видно, что предложенный алгоритм (обозначен как EDA-GA) занял 4-е место по критерию Best и 5-е - по критерию Mean. Стоит отметить, что остальные алгоритмы специально разработаны для задач с вещественными переменными, а предложенный подход является универсальным, так как кодирует переменные в любых шкалах в бинарные. Декомпозиция на основе EDA не использует никакие предположения о свойствах непрерывного пространства поиска. Более того, после бинаризации размерность числа компонент увеличивается по сравнению с исходным непрерывным пространством, так как сложность задачи возрастает. Тем не менее, ГА на основе EDA-декомпозиции превосходит CC-CMA-ES по двум показателям и DECC-G по показателю Best.
Результаты на задаче f1 для ГА с одной популяцией
Таблица 1
а 25 25 25 50 50 50 75 75 75
5 0,05 0,15 0,25 0,05 0,15 0,25 0,05 0,15 0,25
1,2105 Best 2,08107 1,98107 1,72-107 1,89107 1,50107 1,59107 1,98107 1,53107 1,76107
Mean 6,13107 5,97107 6,81107 8,95107 4,98108 7,32407 8,30107 8,72107 7,23107
StDev 3,31107 2,90107 2,70107 3,74107 2,98107 3,51107 3,66107 3,93107 3,34107
6,0105 Best 1,99103 2,11103 1,71 • 103 2,55104 8,23103 1,50103 1,23104 9,20103 9,00103
Mean 2,71-104 2,53104 2,22104 3,47104 2,19104 1,99104 3,88104 2,51104 3,02104
StDev 9,47103 9,36103 7,90103 1,85104 1,68103 7,08103 1,85104 1,20104 1,69104
3,0106 Best 9,3210-5 8,0210-5 7,6310-5 4,5010-5 4,5910-5 7,11^10-5 6,7310-5 5,1910-5 6,3410-5
Mean 4,0010-4 4,2310-4 4,51 • 10-4 5,0110-4 5,6810-4 4,9810-4 4,0210-4 3,8010-4 3,5610-4
StDev 2,2410-4 2,0910-4 2,1910-4 2,0810-4 4,2910-4 2,11^10-4 1,95 10-4 1,6510-4 1,8210-4
Таблица 2
Результаты на задаче f1 для островного ГА c 5 островами
а 25 25 25 50 50 50 75 75 75
5 0,05 0,15 0,25 0,05 0,15 0,25 0,05 0,15 0,25
1,2105 Best 1,76107 1,79107 1,73107 1,62107 1,56107 1,63107 1,62107 1,42407 1,45107
Mean 4,90-107 4,95107 5,61107 5,72107 5,34107 5,39107 6,16107 5,50107 5,23107
StDev 3,04407 3,01107 2,23107 3,15107 2,98107 2,12107 2,41107 2,98107 2,44407
6,0105 Best 8,68103 8,61 103 8,41103 7,72103 7,58103 7,65403 8,50103 7,00103 6,89103
Mean 1,85104 1,79104 2,07104 2,17104 2,15104 1,77104 1,81 104 2,21104 1,99104
StDev 8,60103 9,33103 1,07104 1,28104 1,68103 8,12103 1,18104 9,19103 1,68103
3,0106 Best 5,7810-5 5,9210-5 5,4610-5 5,0910-5 5,0010-5 4,91 10-5 5,4710-5 4,5910-5 4,9510-5
Mean 6,1310-4 5,4510-4 5,1710-4 5,5110-4 5,0610-4 5,4040-4 5,9810-4 5,6810-4 5,4440-4
StDev 2,4740-4 2,3710-4 2,1910-4 2,2410-4 4,2910-4 2,2110-4 2,4010-4 4,2910-4 2,2210-4
Рис. 3. Зависимость эффективности ГА с одной популяцией от параметров а и 5 для МахРЕ = (1,2-105, 6,0 105, 3,0 106}
Рис. 4. Зависимость эффективности островного ГА с 5 островами от параметров а и 5 для МахРЕ = (1,2-105, 6,0-105, 3,0-106}
Таблица 3
Результаты решения тестовых задач островным ГА с 5 островами а = 75 % и 8 = 0,15
Л f2 f3 4 5 6 fl f8
1,2-105 Best 1,42-10' 9,63103 1,08-102 1,39-10" 6,11-1014 2,90105 7,05108 3,97-1015
Mean 5,50-10' 1,06-104 4,52-10' 9,15-10" 7,17-1014 7,78105 2,76109 2,71-1016
StDev 2,98-10' 1,53103 1,44-10' 5,63-10" 7,45-108 2,61-105 1,44-109 6,77-1015
6,0-105 Best 6,89103 9,11 • 103 3,04100 1,951010 3,07-1014 5,21-105 2,01-108 2,09-1014
Mean 1,99104 1,25104 1,30-Ю1 9,07-1010 5,03-1014 6,05-105 9,41-108 2,18-1015
StDev 1,68103 1,18103 6,3210-1 6,03-1010 2,50-10' 2,60105 7,56108 1,52-1015
3,0-106 Best 4,5910-5 1,82103 2,9410-5 6,60109 7,59-1014 6,25-104 7,65-10' 4,49-1013
Mean 5,6810-4 3,34103 4,8110-1 2,32-1010 9,75-1014 4,75-105 2,53108 3,64-1014
StDev 4,2910-4 2,54102 2,2810-1 1,14-1010 2,18106 3,35-105 8,35-10' 5,21-1014
f9 f10 f11 f12 f13 f14 f15 Average
1,2-105 Best 1,08109 8,87106 1,46-10" 3,87106 2,66-1010 1,88-1011 3,61-10' 3,05-1014
Mean 1,80109 7,14-10' 3,47-10" 4,36108 2,98-1010 5,78-1011 2,69108 1,85-1015
StDev 4,27-108 1,5710' 2,25-10" 7,89108 1,12-1010 3,67-1011 9,91-10' 4,52-1014
6,0-105 Best 6,42108 7,91 -106 1,34-1010 2,40103 6,28109 5,68-1010 1,80-10' 3,44-1013
Mean 1,25109 1,38-10' 9,84-1010 6,66103 1,47-1010 1,03-1011 2,43-10' 1,79-1014
StDev 5,21•108 1,65-10' 1,18-10" 5,53103 4,83109 6,70-1010 8,68106 1,02-1014
3,0-106 Best 4,15108 6,18-106 2,60-1010 7,72102 8,02109 1,42-1010 2,40-10' 5,36-1013
Mean 8,06108 1,61-10' 7,01 -1010 2,30103 1,27-1010 1,69-1011 3,05-10' 8,931013
StDev 1,72108 7,89-106 4,29-1010 2,41 -103 2,96109 4,81 1010 5,13106 3,47-1013
Таблица 4
Сравнение LSGO-подходов
Алгоритм SACC MOS VMO-DE DECC-G CC-CMA-ES EDA-GA
Best 9,801012 2,17-10" 4,90-1013 5,801013 6,251013 5,36-1013
Ранжирование по значению Best 2 1 3 5 6 4
Mean/ 8,01013/ 5,33-10"/ 5,32-1013/ 7,7-1013/ 8,58-1013/ 8,931013/
StDev 5,081013 2,04-10" 4,81-1012 1,021013 2,391013 3,47-1013
Ранжирование по значению Mean 4 1 2 3 6 5
Полученные результаты позволяют сделать предположение, что предложенный подход будет эффективен при решении практических задач глобальной оптимизации большой размерности, в которых представлены переменные в произвольных шкалах (включая смешанные). В дальнейших исследованиях мы сконцентрируемся на повышении эффективности подхода путем анализа его структуры и значений управляемых параметров. В частности, стоит ввести адаптацию параметров а и 5 на основе анализа сходимости компонент вектора вероятностей.
Заключение. В работе предложен новый подход для решения сложных задач глобальной оптимизации высокой размерности с помощью бинарного ГА с EDA-декомпозицией. Алгоритм EDA используется для сбора и анализа статистики о прошлых этапах поиска и прогноза сходимости компонент решения для снижения размерности задачи. В работе сравнивается стандартная модель ГА с одной популяцией и островная модель, которая продемонстрировала большую эффективность. Предложенный подход уступает в эффективности некоторым известным подходам, но в целом показатели эффективности имеют сравнимые значения. Преимуществом подхода является то, что он позволяет решать задачи с любым представлением решений и не требует какой-либо априорной информации о пространстве поиска.
Благодарности. Работа поддержана грантом Президента РФ (MK-3285.2015.9), Российским фондом фундаментальных исследований и Красноярским краевым фондом поддержки научной и научно-технической деятельности (проект 16-41-240822).
Acknowledgments. This research was supported by the President of the Russian Federation grant (MK-3285.2015.9) and by Russian Foundation for Basic Research and Krasnoyarsk Regional Fund for Support of Scientific and Technical Activities (project 16-41-240822).
References
1. Mahdavi S., Shiri M. E., Rahnamayan Sh. Metaheu-ristics in large-scale global continues optimization: A survey. Information Sciences. 2015, Vol. 295, P. 407-428.
2. Potter M., De Jong K. A. Cooperative coevolution: an architecture for evolving coadapted subcomponents. Evol. Comput. 2000, No. 8 (1), P. 1-29.
3. Yang Zh., Tang K., Yao X. Large scale evolutionary optimization using cooperative coevolution. Inform. Sci. 2008, No. 178 (15), P. 2985-2999.
4. Liu J., Tang K. Scaling up covariance matrix adaptation evolution strategy using cooperative coevolution. In Intelligent Data Engineering and Automated Learning -IDEAL. 2013, P. 350-357.
5. Omidvar M. N., Li X., Mei Y., Yao X. Cooperative co-evolution with differential grouping for large scale
optimization. IEEE Trans. Evol. Comput. 2014, No. 18 (3), P. 378-393.
6. Dong W., Chen T., Tino P., Yao X. Scaling up estimation of distribution algorithms for continuous optimization. IEEE Trans. Evol. Comput. 2013, No. 17 (6), P. 797-822.
7. Wang Y., Li B. A restart univariate estimation of distribution algorithm: sampling under mixed gaussian and levy probability distribution. In IEEE Congress on Evolutionary Computation, CEC 2008 (IEEE World Congress on Computational Intelligence). 2008, P. 39173924.
8. Sopov E., Sopov S. The convergence prediction method for genetic and PBIL-like algorithms with binary representation. In IEEE International Siberian Conference on Control and Communications (SIBCON 2011). 2011, P. 203-206.
9. Gonga Y.-J., Chena W.N., Zhana Zh.-H., Zhanga J., Li Y., Zhange Q., Lif J.-J. Distributed evolutionary algorithms and their models: A survey of the state-of-the-art. Applied Soft Computing. 2015, No. 34, P. 286-300.
10. Sopov E. A Self-configuring Metaheuristic for Control of Multi-Strategy Evolutionary Search. ICSI-CCI 2015, Part III, LNCS 9142, 2015, P. 29-37.
11. Semenkin E. S., Semenkina M. E. Self-configuring Genetic Algorithm with Modified Uniform Crossover Operator. Advances in Swarm Intelligence. Lecture Notes in Computer Science 7331. SpringerVerlag, Berlin Heidelberg, 2012, P. 414-421.
12. Li X., Tang K., Omidvar M.N., Yang Zh., Qin K. Benchmark functions for the CEC 2013 special session and competition on large-scale global optimization. Technical Report, Evolutionary Computation and Machine Learning Group, RMIT University, Australia, 2013.
13. Test suite for the IEEE CEC'13 competition on the LSGO. Available at: http://goanna.cs.rmit.edu.au/~xiaodong/ cec13-lsgo/competition/lsgo_2013_benchmarks.zip.
14. Li X., Tang K., Omidvar M. N., Yang Zh., Qin K. Technical report on 2013 IEEE Congress on Evolutionary Computation Competition on Large Scale Global Optimization. Available at: http://goanna.cs.rmit.edu.au/~xiaodong/ cec13-lsgo/competition/lsgo-competition-sumary-2013.pdf.
15. LaTorre A., Muelas S., Pena J.-M. Large scale global optimization: experimental results with MOS-based hybrid algorithms. In 2013 IEEE Congress on Evolutionary Computation (CEC). 2013, P. 2742-2749.
16. Wei F., Wang Y., Huo Y. Smoothing and auxiliary functions based cooperative coevolution for global optimization. In 2013 IEEE Congress on Evolutionary Computation (CEC). 2013, P. 2736-2741.
© Сопов Е. А., 2016
