Формы реализации и границы применения эволюционных алгоритмов Текст научной статьи по специальности «Математика»

темах коллективного принятия решений. Свойства этого алгоритма могут быть сформулированы следующим образом:

1. Алгоритм имеет слабую зависимость скорости сходимости эволюционного процесса от мутационной активности экспертов (см. рис. 3) и от качества их работы (см. рис. 4).

2. Если среднее качество работы экспертов ниже 50%, то процесс все равно сходится, хотя и медленнее (см. рис. 4). Это говорит о том, что знания экспертов не усредняются, как в обычных системах голосования, а достаточно

.

3.

,

( ). , -, .

4. , ,

медленнее. Если доля вредителей в коллективе экспертов не превышает 30%, то процесс коллективного принятия решения сходится достаточно быстро и .

, , -

терных системах принятия коллективных решений предлагаемый алгоритм более эффективен по сравнению с описанным в [1] эволюционно-генетическим алгоритмом классического типа. В частности, он более эффективен при использовании в , -

.

ЛИТЕРАТУРА

1. Чернухин ЮМ., Протасов В.К, Д.С. Панфипов. Метод восстановления субъективного портрета на основе генетического алгоритма. Известия ТРТУ. Тематический выпуск: Интеллектуальные САПР. Таганрог: Изд-во ТРТУ. 2000. №2 (16). С.89-92.

2. Курейчик В.М. Генетические алгоритмы. Таганрог, 1998.

УДК 658.512:519.7:007.52

СЛ. Родзин

ФОРМЫ РЕАЛИЗАЦИИ И ГРАНИЦЫ ПРИМЕНЕНИЯ ЭВОЛЮЦИОННЫХ

АЛГОРИТМОВ

В настоящее время значение теории эволюции и самоорганизации не ограничивается только биологией. Идеи эволюции и самоорганизации привлекают внимание философов и психологов, специалистов в области организационного управления и финансового менеджмента, математиков и инженеров[1,2].Принято различать четыре главных направления в моделировании эволюции: генеттеские алго-( ), ( ),

(ЭС) и эволюционное программирование (ЭП), - которые объединяют одним общим термином - эволюционные алгоритмы (Evolutionary computation) (ЭА).

Высокий потенциал, которым обладают различные формы ЭА для решения трудных оптимизационных задач, известен давно. Диверсификация ЭА привела к значительному разнообразию их форм. Актуальной становится проблема сравнительного анализа различных форм ЭА, систематизации их особенностей и выработки рекомендаций по применению ЭА для решения оптимизационных задач.

Различные формы ЭА имитируют эволюционный процесс на различном . -венности на уровне хромосом. ЭС, напротив, рассматривают ход эволюции на уровне фенотипа. Наконец, алгоритмы ЭП анализируют эволюцию на уровне популяции в целом. Далее, один стринг (хромосома) в ГА кодирует одно решение, т.е. пропорция между генотипом и фенотипом равна 1:1, что соответствует в биологическом смысле одному гаплоиду (особь с одинарным набором непарных хро-

). , , ( , ),

ограниченности подобного рода подхода к моделированию эволюции. В алгоритмах ЭС и ЭП оператор мутации применяется с частотой, соответствующей нормальному закону распределения, что является оправданным для выбранного уров-

, ,

как редкое событие и практически не влияет на фенотип. В ГА вероятность мутации отдельных генов и хромосом (инверсия) близка к природной. В алгоритмах ЭП мутация вообще является единственным оператором поиска. Оператор дискретной

рекомбинации в ЭС соответствует природному механизму доминирования роди, ,

которая аналогична природной передаче некоторых признаков по наследству, что соответствует некоторому компромиссу между родительскими хромосомами. Наконец, оператор кроссинговера, который не применяется в алгоритмах ЭП, является основным алгоритмом для ГА и ГП.

Эти и многие другие методологические различия между разными формами ЭА тем не менее позволяют говорить о базовых постулатах, таких как универсальность и фундаментальность, присущих эволюции независимо от формы и уровня .

схемы абстрактного ЭА [3]:

1. Установка параметров эволюции;

2. 3. Инициализация начальной популяции P(0); t:=0'

4. , ;

5. t:=t+1;

6. ( );

7. Репликация (повторение, копирование, аутосинтез);

8. ( );

9. Оценка решений-потомков;

10. Образование новой популяции P(t);

11. Выполнение алгоритма до тех пор, пока параметр t не достигнет заданного

значения tmax либо не будут выполнены другие условия останова.

12. Вывод результатов и останов.

Контроверзу Ч. Дарвина (1859 г.) о том, что в ходе естественного отбора побеждает сильнейший, необходимо дополнить: материал для эволюции дают побежденные. Между тем, в ЭА чаще всего при меняются статические f/tness-функции,

что не позволяет учесть механизм коэволюции в живой природе. Популяция в при, , , -

ных подпопуляций, допускающих миграцию отдельных индивидуумов. Большинством ЭА это обстоятельство игнорируется, алгоритмы работают с одной большой

.

Тем не менее решающим обстоятельством для оценки практической пригодности ЭА является прежде всего то, насколько успешно с помощью ЭА может быть решена та или иная оптимизационная задача с точки зрения качества решения и вычислительной сложности.

Результаты сравнительного анализа ГА, ГП, ЭС и ЭП представлены в табли-

.

В [4] была предпринята попытка сравнительного анализа конкурирующих алгоритмов оптимизации с точки зрения их результативности. Пусть А1 и А2 - конкурирующие алгоритмы, F - целевая функция оптимизации, H - гистограмма значений F, m - количество полученных решений. Обозначим через p(H|F,m,A) вероятность получения с помощью А алгоритма поиска m различных решений, имеющих H.

теорему NFL (No-Free-Lunch).

Таблица

N. Критерии с^чшнения Виды ЭА Представление решения Целевая функция Селекция Мутация - ция - ность

ГА Двоичное, вещественное Скаляр Стохастическая, недискриминационная - тельный оператор Основной оператор поиска - на

ГП Программное Скаляр Стохастическая, - минационная Применяется неоднозначно Основной оператор поиска - на

ЭС - ное Вектор - рованная, дис-- национная Основной оператор поиска Важна для самоадаптивности - квадратичное отклонение

ЭП Вещественное Вектор Детерминированная, днс-крн м н- нац но н нал - ный оператор поиска - ся Среднеквадратичное отклонение

Теорема NFL. Для любой пары эвристических алгоритмов поисковой оптимизации (A1 и A2) справедливо следующее соотношение:

X p( H\F, m, Ai) = X H\F, m, A2).

F F

Иными словами, все алгоритмы поиска оптимума целевой функции имеют

,

представлениям F. Таким образом, если алгоритм A1 при оптимизации некоторой целевой функции позволяет получить лучшие результаты, нежели алгоритм A2, то существуют оптимизационные задачи с другой целевой функцией, для которых лучшие результаты дает алгоритм A2. Несмотря на очевидную ограниченность

ЛРХ-теоремы (не учитывается время решения оптимизационной задачи конкури-

), -

ции с единых методологических позиций и имеет практически важные следствия: 1. ,

конкурирующие с ним алгоритмы, не имеет смысла без точного описания конкретных задач и целевых функций, при оптимизации которых разрабатываемый алгоритм имеет преимущество перед другими алгоритмами. Нельзя рассчитывать найти один алгоритм, который будет результативнее остальных для любых целевых функций оптимизации. 2. , -обходимо вначале идентифицировать характеристические особенности класса задач и лишь затем на их основе искать подходящий алгоритм (примером

- ).

На наш взгляд с этой точки зрения ЭА обладают следующими достоинствами .

Достоинства ЭА:

1. Широкая область применения [5,6].

2. - ,

, -

, , .

3. Пригодность для поиска в сложном пространстве решений большой размер-

.

4. Отсутствие ограничений на вид целевой функции.

5. .

6. -

ного интеллекта, такими как искусственные нейросети и нечеткая логика [3]. :

1. -

( , , , -

но или несколько субоптимальных альтернативных решений, тем более, что исходные данные в задаче могут динамически меняться, быть неточными или неполными).

2. ,

является то обстоятельство, что в ходе моделирования эволюции многие решения отбрасываются как неперспективные (тем не менее многочисленные

экспериментальные данные указывают на то, что временная сложность ЭА, в

, , , ,

).

3. -

( ); ,

поиска в ЭА не ориентированы на быстрое попадание в локальный оптимум.

4. .

Преодоление перечисленных выше трудностей тесно связано с понятием параллелизма ЭА [7], что позволяет реалистично моделировать эволюцию с помощью параллельных вычислительных систем и использовать для эволюции популяции большой размерности.

Параллелизм ЭА. Различают следующие типы параллелизма ЭА[8]: 1. . 2. . 3. .

В первом случае речь идет о параллельном вычислении целевой функции и параллельном выполнении операторов ЭА. Целевая функция отдельного индивидуума в популяции, как правило, не зависит от других индивидуумов, поэтому вычисление целевых функций допускает распараллеливание. При этом популяция хранится в общей памяти, а отдельный процессор считывает хромосому из памяти и возвращает результат после вычисления целевой функции в виде /г/леж^-значения. Процедура синхронизации здесь проводится лишь при формировании новой популяции. В случае, если вычислительная система имеет распределенную память, то популяция и ///лет^-значения отдельных индивидуумов хранятся в "мастер", . трудность для распараллеливания представляет процедура селекции. Здесь преимущество в смысле распараллеливания получают те формы селекции, которые не используют глобальную статистику о популяции, например, "соревновательные" .

кроссинговера, тж. они выполняются независимо друг от друга и, в основном, слу-.

Другой тип параллелизма - миграционная модель - наиболее эффективно реализуется в вычислительных системах с М1МБ-архитектурой путем разделения общей популяции на отдельные подпопуляции, эволюционное моделирование которых осуществляется на отдельных процессорах. Если между отдельными подпо-пуляциями установить правила миграции отдельных индивидуумов, то получится . -личество и размеры подпопуляций, топологию связей между ними, частоту и ин-, . подпопуляций определяются числом и быстродействием используемых процессоров или транспьютеров, а также сложностью решаемой оптимизационной проблемы. Что касается топологии связей в миграционной модели, то здесь различаются

два варианта: "островная" модель, предусматривающая миграцию между любыми

, , -

мами между соседними подпопуляциями. Применение того или иного варианта миграционной модели зависит от архитектуры параллельного вычислителя (сете). . высокой частоте подпопуляция может быстро потерять гетерогенность. Наоборот, при слабой интенсивности миграции и большом числе подпопуляций возрастает вероятность получения нескольких хороших решений, однако сходимость ЭА замедляется [8].

Наконец, третья разновидность параллелизма ЭА - диффузионная модель -наиболее эффективно реализуется в вычислительных системах с 81МБ.

, -

няются лишь в ограниченной области, определяемой отношением соседства. Это приводит к тому, что хорошие решения очень медленно распространяются в попу-

( ) " " -

.

. -

мизационных проблем, если: 1. . 2. .

3. , , -.

4. , . .

между переменными оптимизации такова, что одна переменная подавляет .

5. , , -

ются приблизительно одинаковыми.

Принципиально подходящими для решения с помощью ЭА являются следующие оптимизационные проблемы: 1. -ми, для которых, по-существу, нет подходящих неэволюционных методов .

2. .

3. .

4. .

5. Задачи прогнозирования и распознавания образов.

ЛИТЕРАТУРА

1. Курейчик В.М. Генетические алгоритмы. Обзор и состояние // Новости ИИ. 199S. №З. С.14-6З.

2. Nissen V. Einfurhrung in Evolutionare Algorithmen. - Braunschweig: Vieweg. - 1997.

3. . . -го программирования // Новости ИИ. 1999. №З.

4. Wolpert D.H., Macready W.G. No Free Lunch Theorems for Search // Operations Research. -Santa Fe Institute, 1995.

5. Куре йчик В.М. Генетические алгоритмы. Состояние. Проблемы. Перспективы // Известия РАН ТиСУ. 1999. №1.

6. Angeline P.J. Evolutionary Algorythms and Emergent Intelligence // Diss., Ohio St.Uni, Columbus. 199З.

7. Koza J.R., Andre D. Parallel Genetic Programming on a Network of Transputers // Technical Report, Stanford Uni. 1995.

S. Cantu-Paz E. A Summary of Research on Parallel Genetic Algorithms // IlliGAL Report 95007, Uni of Illinois, Urbana-Champaign. 1995.

УДК 658.512

Ю.В. Чернухин, М.А. Беляев

ОСОБЕННОСТИ ИСПОЛЬЗОВАНИЯ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ ПРИ ОБУЧЕНИИ ПЕРЦЕПТРОНОВ

.

решать трудноформализуемые задачи, относящиеся к области искусственного интеллекта [1]. Важной особенностью таких сетей является их способность к обуче-