CC BY
24Решетнеескцие чтения. 2015
7. Stirling D. and Buntine W., Process routings in a steel mill: A challenging induction problem, In Gero J. S. and Stanton R., editors, Artifical Intelligence Developments and Applications, Amsterdam : North-Holland, 1988. Pр. 301— 313.
8. Gorban A. N. Generalized approximation theorem and computational capabilities of neural networks // Siberian Journal of Computational Mathematics. 1998. Vol. 1, no. 1, pp. 12-24.
9. Kevin P. Murphy Naive Bayes classifiers, Last updated. October 24, 2006.
10. Breiman L. Random forests // Machine Learning, 2001. 45(1), рр. 5-32.
11. Friedman J., Hastie T., Tibshirani R. Additive logistic regression: a statistical view of boosting (With discussion and a rejoinder by the authors) // Ann. Statist. 2000. Vol. 28. №. 2, рр. 337-407.
12. Suykens J. A. K., Vandewalle J. Least Squares Support Vector Machine Classifiers // Neural Processing Letters. Vol. 9, iss. 3, pp. 293-300.
13. Bezhitskiy S. S., Semenkin E. S., Semenkina O. E. Hybrid evolutionary algorithms for the choice of effective variants of control systems // Avtomatizatsiya. Sovremennye technologii. 2005. № 11. P. 24.
14. Semenkin E. S., Semenkina M. E. Application of genetic programming algorithm with modified uniform crossover operator for automated design of intelligent information technologies // Vestnik SibGAU. 2007. № 3 (16), рp. 27-33.
© Скороход А. С., 2015
УДК 519.85
ГЕНЕТИЧЕСКИЙ АЛГОРИТМ ДЛЯ ИДЕНТИФИКАЦИИ МНОЖЕСТВА ЭКСТРЕМУМОВ*
Е. А. Сопов
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Предложен новый генетический алгоритм для решения задачи мультимодальной оптимизации, заключающейся в отыскании множества всех глобальных и локальных оптимумов задачи или построении хорошей аппроксимации этого множества. Используется самоконфигурируемая метаэвристика для кооперации многих мультимодальных стратегий поиска.
Ключевые слова: генетический алгоритм, мультимодальная оптимизация, самоконфигурация, метаэври-стика.
GENETIC ALGORITHM FOR MULTIPLE OPTIMA IDENTIFICATION
E. A. Sopov
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
In this paper a new genetic algorithm is proposed for solving multimodal optimization problems, which are to find the set of all global and local optima to the problem or a good approximation of the set. A self-configuring metaheuristic for the cooperation of many multimodal search strategies is used.
Keywords: genetic algorithm, multimodal optimization, self-configuration, metaheuristic.
Введение. Задача мультимодальной оптимизации (ММО) заключается в отыскании множества всех глобальных и локальных оптимумов задачи или построении хорошей аппроксимации этого множества. Генетические алгоритмы (ГА) довольно успешно справляются с многоэкстремальными задачами, однако имеют тенденцию сходиться к лучшему найденному решению. В последние годы ММО становится популярной, предложено множество различных подходов [1]. Большинство эффективных алгоритмов ори-
ентировано на решение задач с вещественными переменными, что связано с лучшим понимаем свойств ландшафта целевой функции в непрерывном пространстве поиска. В то же время многие практические задачи оптимизации являются моделью «черного ящика», их анализ затруднен или невозможен. Переменные задачи могут быть представлены в разных
* Работа поддержана грантом Президента Российской Федерации (МК-3285.2015.9).
Математические методы моделирования, управления и анализа данных
применение подхода при решении ряда практических задач можно найти, например, в [2].
Для решения задач ММО алгоритм формируется аналогично и обозначается SelfMMOGA (MMO -multimodal optimization). В данной работе в SelfMMOGA включены 6 популярных и хорошо изученных ГА для ММО. Алгоритмы и их параметры, существенные для решения задач ММО, представлены в табл. 1 (в связи с отсутствием общепринятой терминологии на русском языке, названия алгоритмов и их специфичных параметров приведены на английском языке как в первоисточниках).
Для оценки успешности работы алгоритмов на заданном периоде адаптации используются следующие критерии, предложенные в [3]: BR (Basin Ratio - число идентифицированных областей притяжения оптимума) и нормализованная SDNN (Sum of Distances to Nearest Neighbour - сумма расстояний до ближайших соседей). Области притяжения аппроксимируются с помощью упрощенной процедуры кластерного анализа по объединению всех решений всех алгоритмов. Метрика BR показывает, сколько их областей притяжения локализовано конкретным алгоритмом. Метрика SDNN показывает разброс решений в пространстве поиска. Итоговая оценка K для сравнения алгоритмов имеет вид (1):
К = а х BR + (1 - а) х SDNN, а е [0, 1]. (1)
Схема метаэвристики Self*GA/Self*EA
Таблица 1
Алгоритмы ММО в составе SelfMMOGA
Алгоритм Параметры Алгоритм Параметры
Algl Clearing Clearing radius, Capacity of a niche Alg4 Restricted Tournament Selection (RTS) Window size
Alg2 Sharing Niche radius Alg5 Deterministic Crowding -
Alg3 Clustering Number of clusters, min distance to centroid, max distance to centroid Alg6 Probabilistic Crowding -
шкалах, включая слабые. В таком случае удобно использовать ГА с бинарным представлением решений. К сожалению, бинарные ГА для ММО исследованы хуже. Более того, при решении конкретной задачи возникает проблема выбора конкретной эвристики и настройки параметров алгоритма.
В данной работе предложен новый подход, основанный на использовании самоконфигурируемой метаэвристики, управляющей взаимодействием нескольких различных ГА для ММО. Такой подход позволяет перераспределять вычислительные ресурсы в пользу более эффективных алгоритмов во время решения задачи, что избавляет пользователя от необходимости предварительно выбирать подходящий алгоритм.
Алгоритм 8еНММООА. В прошлых работах автора была предложена метаэвристика управления коллективом ГА с различными стратегиями решения поставленной задачи оптимизации. Метаэвристика является гибридом идей островного ГА, кооперативной и конкурирующей коэволюции. Основная идея подхода представлена на схеме на рисунке. Подход был назван 8еИ*ОА (или 8еИ*ЕА в общем случае), где символ звезды заменяется на ссылку на конкретный класс задач оптимизации при формировании коллектива ГА. Исследование эффективности подхода для решения задач многокритериальной (8еИМОвА), нестационарной оптимизации (8е1ШОРвА), а также
Решетнееские чтения. 2015
Инициализация алгоритма - случайно, равномерно в пространстве поиска. Начальное распределение ресурсов - поровну между всеми алгоритмами. Схема перераспределения ресурсов - «лучший заменяет худшего». При этом для миграции индивидов используются решения, ранее определенные как центры областей притяжения (оценки локальных оптимумов). Критерий остановки - как в обычном ГА.
Результаты численных экспериментов. Для оценки эффективности подхода использовано 2 тестовых набора: 6 бинарных задач из [4] и 8 вещественных (требующих бинаризации) задач с конкурса по ММО в рамках конференции СЕС'2013 [5].
Результаты работы ЗеНММООА сравнены с результатами применения других известных алгоритмов. Все алгоритмы в сравнениях имели одинаковое
References
1. Das, S., Maity, S., Qub, B.-Y., Suganthan, P. N. Real-parameter evolutionary multimodal optimization: a survey of the state-of-the art. Swarm and Evolutionary Computation 1. 2011. Pp. 71-88.
2. Sopov E. A Self-configuring Metaheuristic for Control of Multi-Strategy Evolutionary Search. ICSI-CCI 2015, Part III, LNCS 9142. 2015. Pp. 29-37.
3. Preuss M., Wessing S. Measuring multimodal optimization solution sets with a view to multiobjective techniques. EVOLVE - A Bridge between Probability, Set Oriented Numerics, and Evolutionary Computation
ограничение на число вычислений целевой функции. Задачи CEC'2013 решались строго по правилам конкурса. Усредненные результаты для задач CEC представлены в табл. 2 и сравнены с подходами - участниками и победителями конкурса. Критерии оценки эффективности: PR (Peak Ratio) - процент найденных оптимумов, SR (Success Rate) - процент успешных запусков (все оптимумы найдены).
Заключение. В работе предложена самоконфигурируемая метаэвристика для решения задач ММО, позволяющая автоматизированно управлять работой многих ГА с различными стратегиями поиска. Подход показывает результаты, сравнимые с другими известными алгоритмами, но не требует привлечения дополнительных знаний о решаемой задаче и об используемых алгоритмах.
IV. AISC. Vol. 227, Springer, Heidelberg. 2013. Pp. 123137.
4. Yu E. L., Suganthan P. N. Ensemble of niching algorithms. Information Sciences. 2010. Vol. 180, No. 15. Pp. 2815-2833.
5. Li X., Engelbrecht A., Epitropakis M. G. Benchmark functions for CEC'2013 special session and competition on niching methods for multimodal function optimization. Evol. Comput. Mach. Learn. Group. RMIT University, Melbourne, VIC, Australia. Tech. Rep. 2013b.
© Сопов Е. А., 2015
Таблица 2
Сравнение подходов на тестовом наборе CEC'2013
Алгоритм Self MMOGA DE/nrand/ 1/bin cDE/rand/ 1/bin N-VMO dADE/ nrand/1 PNA-NSGAII
Критерий PR SR PR SR PR SR PR SR PR SR PR SR
Среднее 0,916 0,780 0,837 0,750 0,822 0,706 0,956 0,854 0,956 0,784 0,893 0,759
Ранг по PR 2 4 5 1 1 3
Ранг по SR 3 5 6 1 2 4
УДК 519.87
МЕТОД СЕЛЕКЦИИ ОБУЧАЮЩИХ ПРИМЕРОВ В НЕЙРОСЕТЕВЫХ
КЛАССИФИКАТОРАХ*
В. В. Становов1, Д. И. Хритоненко2, А. Шкраба3
1,2Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
3Университет Марибора Словения, SI-4000, г. Крань, Кидричева цеста, 55а Е-таП: [email protected], [email protected], эаМге_|^кгаЬа(@от.ит-тЬ^
Рассматривается решение задач классификации искусственными нейронными сетями с использованием оригинального метода активной селекции обучающих примеров. Описывается основная идея метода. Работоспособность разработанного алгоритма демонстрируется на шести практических задачах классификации.
* Работа выполнена в рамках и при финансовой поддержке проекта RFMEFI57414X0037.
