CC BY
54
4. Dominic A. Antonelli, Danny Z. Chen, Timothy J. Dysart, Xiaobo S. Hundrew, B. Kahng Peter, M. Kogge Richard, C., Murphy Michael, T. Niemier, “Quantum-Dot Cellular Automata (QCA) Circuit Partitioning: Problem Modeling and Solutions”, DAC, 2004
5. Емепьянов В.В, Курейчик В.М., Курейчик В.В. Теория и практика эволюционного моделирования. - М.: Физматлит, 2003.
6. Методы генетического поиска: Научное издание / Под ред. В.М.Курейчика. - Таганрог: Изд-во ТРТУ, 2002. - 122 с.
С.И. Родзин
О ПРОБЛЕМНЫХ ВОПРОСАХ ТЕОРИИ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ Введение. Проблемными вопросами генетических алгоритмов (ГА) являются
, -которых оптимизационных задач. Несмотря на определенные успехи, теория ГА не выглядит вполне завершенной.
Фундаментальная теорема Холланда. Холланд исходил из биологического понимания адаптации как любого процесса в искусственных системах, посредством которого структура системы прогрессивно эволюционирует, приводя к более эффективному функционированию системы в природной среде [1]. Формализация
( ),
себя подмножество подобных между собой стрингов в популяции, совпадающих в определенных позициях хромосомы длиной L. Первоначально теоретические результаты, полученные Холландом, относилась к простейшим ГА с двоичными стрингами, фитнесс пропорциональной селекцией, мутацией и одноточечным , -щаться на другие формы и модификации ГА.
Рассмотрим пример. Пусть шаблон H1 = 101хх длины 5 описывает множество экземпляров стрингов {10100, 10101, 10110, 10111}, алфавит которых состоит из символов 1, 0 и неопределенного значения (х), которое может быть 0 или 1. Однако отдельные экземпляры одновременно могут принадлежать, например, шаблонам H2 = 10ххх или H3 = хх1хх. Шаблон H3 по сравнению с H2, а шаблон H2 по H1 -
чений. Это число называется порядком шаблона H и обозначается через о(Н), т.е. o(H1)=3, o(H2)=2, o(H3)=1. Расстояние между первой и последней фиксированными позициями называется определенной длиной шаблона и обозначается через 5(H). Например, S(H1)=3-1=2, 5(H2)=1, S(H3)=0.
L 2L , -
рых связаны с фитнесс значением шаблона. Если популяция содержит ц стрингов, то в зависимости от ее гетерогенности число экземпляров шаблонов колеблется от 2l до H'2l Таким образом, хотя в процессе работы ГА оперируют с ц стрингами популяция, однако неявно ГА обрабатывает существенно большее, чем ц число ( ). -лелизм ГА является наивысшим.
Селекционный отбор направлен на то, чтобы хромосомы с лучшим фитнесс значением получили преимущество в ходе репродукции перед «слабыми» хромо, -странство поиска решений. Задача состоит в том, чтобы найти некий оптимальный баланс между уже имеющимися и вновь получаемыми решениями, что оказывает существенное влияние на адаптивные возможности системы.
Обозначим через 1(Н) множество всех экземпляров шаблона Н, а через ^Н, 1)
- число экземпляров шаблона в популяции Р(г), полученной после реализации 1 генераций ГА. Тогда среднее фитнесс значение шаблона Н в популяции Р(1) будет равно Ф(НД)=1/М(НД)-£Ф(а(1)), причем суммирование ведется по всем хромосомам а(1), которые одновременно принадлежат множествам 1(Н) и Р(г).
Напротив, среднее фитнесс значение всей популяции Р(г) вычисляется как математическое ожидание К^Фф^/ц^-ЕФ^!)), причем суммирование ведется по всем индексам 1 от 1 до ц.
Если пренебречь влиянием операторов мутации и кроссинговера и рассматривать только фитнесс пропорциональную селекцию, то в следующей генерации популяции Р(1+1) предполагается получить число экземпляров шаблона Н, равное
^н, г+1) = ^н, г) Ф(н, 1)/м[Ф(1)].
, Н
пропорционально среднему фитнесс значению этого шаблона и обратно пропорционально среднему фитнесс значению предыдущей популяции.
Операторы рекомбинации создают новые хромосомы. Используя порядок ( ) (Н)
«выживания» шаблона Н при выполнении мутации и одноточечного кроссинговера. Действительно, при мутации каждый бит стринга инвертируется с вероятностью рт. Тогда шаблон Н выживет с вероятностью р8т, равной (1-рт)о(Н) = 1- рт-о(Н) для рт<<1. Напротив шаблон Н будет «уничтожен» одното-,
и последней фиксированными позициями, а второй родитель не является экземпляром шаблона Н. Вероятность «выживания» шаблона Н при выполнении одноточечного кроссинговера р8к оценивается величиной
1 - рк-5(Н)/(Ь-1)-(1-К(Н,1)/ц) » 1 - Рк-5(Н)/(Ь-1).
Из этих соотношений следует теорема Холланда.
Теорема (Холланд). Ожидаемое число экземпляров в следующем поколении в сравнении с предыдущим для произвольного шаблона Н после выполнения рекомбинации будет находиться в следующем соотношении:
N№+1) > ОД 1)'Ф(Н, 1)/М[Ф(1)]-[1 - рк-5(Н)/(Ь-1)-(1-К(Н,1)/ц)]-(1-рт)о(Н)
или приближенно
N№+1) >N(H, 1)Ф(Н, 1)/М[Ф(1)]-[1 - Рк^(Н)/(Ь-1) - Рт-о(Н)].
, , выше среднего, чем меньше порядок шаблона о(Н) и чем короче определенная (Н),
, .
, -
ности кроссинговера выглядит следующая гипотеза Д.Голдберга [2].
Гипотеза (Голдберг). В ходе генетического поиска, особенно в области близкой к оптимуму, желательно формировать хромосомы из шаблонов меньшего порядка с короткой определенной длиной, отбирая из них лучшие решения, вместо селекции только элитных хромосом.
Постепенное формирование с помощью кроссинговера квазиоптимальных решений, на наш взгляд, является все же сильным упрощением ГА. Представляется, что для практики применения ГА нетипичным выглядит подход, заключаю-
щийся в декомпозиции общей задачи на множество независимых подзадач. Такой подход используется скорее в традиционных методах оптимизации.
Нет общего мнения и о практическом значении теоремы Холланда после того, как в [3] была установлена вычислительная ошибка, которая приводит к неверным результатам для задачи об игровых автоматах. Более существенные возражения касаются того, что для популяции конечной величины возникает неизбежная ошибка при определении фитнесс значения шаблона. Эта ошибка в оценке ставит под сомнение значение теоремы в плане ее практического применения, за исключением очень простых приложений, для которых теорема становится почти тавто-, . определении фитнесс значения шаблона состоит в том, что в популяции реального ,
, .
Другие критические замечания касаются предположения о независимости экземпляров, выбираемых из различных шаблонов популяции. Нельзя считать независимыми экземпляры хромосом, если популяции на основе двух пересекающихся шаблонов имеют различную скорость сходимости. Этот эффект имеет место даже для бесконечно больших популяций. Он состоит в том, что фитнесс значение шаблона в популяции быстро начинает отклоняться от теоретического среднего значения, что никак нельзя объяснить на основании теоремы Холланда. К тому же теорема относится к фитнесс-функциям, а не к целевым функциям, что несколько ограничивает ее практическое значение.
Сходимость к глобальному оптимуму. Для любого метода оптимизации особый теоретический интерес представляет вопрос о сходимости целевой функции к глобальному оптимуму и об условиях сходимости. Критерием сходимости ГА является выражение вида
11т Рг{ F(Г(B(£))) = F } = 1,
где Б* обозначает глобальный оптимум целевой функции, а функция В(1) извлекает из популяции Р(1) лучший индивидуум, т.е.
В(1)=а^ тахЩПа^))), 1=1, 2,...,ц}.
Из теоремы Холланда не следует сходимость ГА к глобальному оптимуму. Исследования в области сходимости ГА сконцентрированы в основном на про, -ческих оптимизационных задач является малоисследованной проблемой. В [4] до, -мя. Доказательство основано на фундаментальной теории цепей Маркова и сводится к следующему.
, -
цессов, характеризуется тем, что процесс состоит из дискретных состояний, протекает дискретно во времени, а вероятность того, что он будет к моменту времени (1+1) находиться в некотором СОСТОЯНИИ V, если в момент 1 он находился в состоянии ■, зависит только от этих состояний и не зависит от течения процесса в предшествующем состоянии цепи. Эта вероятность называется вероятностью перехода из состояния V в состояние ■ и обозначается через р^0. Если вероятность рта не
1, . -
Р,
столбцов соответствует числу к возможных состояний цепи, причем сумма элементов любой строки равна 1. Пусть для данного начального вектора распре деле-
ния возможных состояний p(0) получается к моменту t вектор с распределением вероятностей p(t)= p(0)-Pt. Если для некоторой степени t справедливо Pt-P=Pt, то
t , Pt
, . максимум F(r(a)), где а^ {0, 1}L при условии 0< F(r(a))<oo и F(r(a)) Ф const.
Простейший ГА с вероятностями мутации и кроссинговера pm , pk ^ (0,1) и фитнесс пропорциональной селекцией описывается однородной марковской цепью. Состояниями цепи являются состояния популяции, пространство которых Y={0,1}l'm. Изменение состояния популяции описывается матрицей Р, которая, в свою очередь является результатом действия кроссинговера, мутации и селекции. В [4] доказана сходимость матрицы Pt к локальному оптимуму, которая возможна только в том случае, если матрица переходов Р является примитивной (существует t, Pt -
стей, т.е. pvw>0 для всех v, w) и стохастической (сумма элементов любой строки 1). , -ской матрицей переходов, т.е. не зависит от исходной популяции. Однако здесь же ,
выполняется, т.е. не существует гарантий того, что за неограниченное время алгоритм найдет абсолютно лучшее решение.
С другой стороны, Холланд, предлагая свой простейший ГА, не утверждал, что этот алгоритм предназначен в первую очередь для решения оптимизационных задач. На решение различных практических задач оптимизации с учетом разнообразных ограничений направлены многочисленные поздние публикации модификаций простейшего ГА, сделанные другими исследователями. Заметим также, что для практики вопрос о глобальной сходимости метода оптимизации все же являет. : находит или нет применяемый алгоритм близкое к оптимальному решение за возможно более короткое время? К сожалению, ответ на этот вопрос для ГА также не ,
объяснений успешных эмпирических результатов, связанных с практическим решением многих оптимизационных задач. Имеются подтверждения глобальной сходимости алгоритма эволюционного программирования [5] для отдельной частной оптимизационной задачи.
Трудные и легкие ГА-разрешимые задачи. Каковы критерии того, насколько подходящим является ГА для решения тех или иных задач? - В [2] исследовались так называемые обманчивые проблемы (deceptive problems), при решении которых интуитивно можно предположить, что ГА должен найти глобальный оптимум. В [6] было установлено влияние эпистазии (в генетике эпистаз означает, что при взаимодействии между генами из разных аллелей один ген подавляется ) . ,
(эта оценка сама по себе является довольно сложной задачей) в процентах, то при низкой степени эпистазии предпочтительнее использовать не ГА, а градиентные методы. При высокой степени эпистазии преимущество перед ГА получают методы слепого случайного поиска.
В [7] приводится классификация задач, для решения которых наиболее или наименее подходят те или иные парадигмы эволюционных алгоритмов.
С точки зрения того, трудной или легкой для ГА является прикладная про,
,
( - , ). Очевидно влияние генетических операторов на результаты работы ГА. Обозначим эту взаимосвязь применяемого генетического оператора через коэффициент корреляции гг0. Этот коэффициент устанавливает взаимосвязь между фитнесс функцией родительских хромосом и потомков, т.е. он отражает влияние на фитнесс-ландшафт применяемого генетического оператора.
Чтобы определить Го, вначале необходимо случайно сгенерировать выборку, например, из N=100 индивидуумов, которые образуют множество родительских хромосом. Затем к данному множеству применяются генетические операторы мутации или разновидности кроссинговера для репродукции N потомков. Если обозначить через ф(род) и ф(пот) фитнесс значения родительских хромосом и соответствующие им фитнесс значения потомков, то коэффициент корреляции определяется выражением следующего вида
гго=^(Ф(род), Ф(п0т))/(о(Ф(р0д))-о(Ф(п0т))), где ^(Ф(род), Ф(пот) ) - ковариация от ф(род) И Ф(пот).
Ковариация определяется следующим образом:
сот(Ф<*д),Ф(пот) )=Ш-2ХФ2(род)—М[Ф(род)])-(Ф2(пот)—М[Ф(П0Т)]), где суммирование ведется для 7=1,...,К Величины М[Ф(род)], М[Ф(пот)] являются математическим
, ( ( )), ( ( ))
- .
В [8] для задачи поиска оптимального маршрута при транспортировке грузов приводятся следующие данные относительно коэффициента корреляции гг0. Чем выше гг0, тем более плавным является фитнесс-ландшафт для исследуемого генетического оператора. Высокое значение гг0 говорит о том, что многие элементы родительских хромосом находят свое отражение в потомках.
Знание коэффициента корреляции гг0 само по себе не достаточно для решения вопроса о том, является или нет данная задача легко ГА-р^решимой. Известны функции, имеющие сложные мультимодальные ландшафты, которые ГА легко оп-, , , . универсальным представляется подход, когда для оценки ГА-р^решимости задачи применяются не коэффициент корреляции гг0, а корреляционный анализ, основанный на эвристических оценках расстояния между актуальными значениями фитнесс функции и глобальным оптимумом (в случае, если, конечно он является из).
обычно выбирается расстояние по Хеммингу. Если обозначить через гФ0 указанный коэффициент корреляции между актуальным значением фитнесс в заданном пространстве поиска и точкой глобального оптимума, то эту величину можно рассматривать как меру ГА-р^решимости задачи. В [9] случайно генерировалась выборка из N=4000 хромосом, для которых определялись значения их фитнесс функции (Ф) и расстояние до точки глобального оптимума (Б). Тогда коэффициент корреляции определяется согласно выражению
гФ0=^(Ф, Б)/(а(Ф)-а(Б), где ^(Ф, Б)=Ш-Е(Ф—М[Ф])-(Б—Мр]), причем суммирование ведется для 7=1,...,К Величины М[Ф], М[Б] являются математическим ожиданиями рассматриваемых фитнесс функции и функции расстояния, а величины о(Ф), о(Б) - их среднеквадратичными отклонениями в случайной выборке из М хромосом. Здесь идеальным значением в случае максимизации было бы значение Гфо=-1.0, а в случае минимизации - гФО=+1.0.
В [9] приводится несколько тестовых задач с известным значением глобального максимума, для которых определялись значения гф0, после чего исследуемые задачи классифицировались на следующие группы:
♦ ле гко ГА-р^решимые (гф0< -0.15);
♦ трудно ГА-р^решимые (-0.15<гфо< 0.15);
♦ обманчивые (гфо>0.15).
Очевидную слабость подобного рода подхода к оценке ГА-р^решимости (необходимо заранее знать значение глобального оптимума) на практике можно , .
В заключении отметим, что прикладные исследования требуют максимального приближения ГА к естественному эволюционному процессу. Изучение проблемных вопросов позволит сделать их еще более универсальным инструментом исследования. Это означает расширение области их применения, позволяет рассчитывать на преодоление известных недостатков, связанных с тем, что эвристический характер ГА не гарантирует оптимальности полученного решения; наблюдается относительно невысокая эффективность ГА на заключительных фазах моде; .
БИБЛИОГРДФИЧЕСКИЙ СПИСОК
1. Holland J.H. Adaptation in natural and artificial systems. - USA: Uni of Michigan press, 1975.
2. Goldberg D.E. Genetic algorithms in search, optimization, and machine learning. - USA: Ad-dison-Wesley publishing company, inc., 1989.
3. Macready W.G., Wolpert D.H. On 2-armed Gaussian Bandits and optimization. Technical report SFI-TR-96-03-009 Santa Fe Institute, 1996.
4. Rudolph G. Convergence analysis of canonical genetic algorithms. IEEE trans. on neural networks. 1994, T.1, N5, pp. 96-101.
5. . ., . . :
// . 2003, 5(59). - . 13-19.
6. Davidor Y. Epistasis variance: suitability of a representation to genetic algorithms. Complex systems. 1990, N4, pp. 369-383.
7. . . .
Электронный Интернет-журнал «Перспективные информационные технологии и интеллектуальные системы». 2002, №1. - С. 36-41.
8. Manderick B. et al. The genetic algorithm and the structure of the fitness landscape // Proc. 4th int. conf. on genetic algorithms, San Mateo, CA, 1991. - pp. 143-150.
9. Jones T., Forrest S. Fitness distance correlation as a measure of problem difficulty for genetic algorithms // Proc. 6th int. conf. on genetic algorithms, San Francisco, 1995. - pp. 184-192.
В.Б. Лебедев, О.Б. Лебедев ЭВОЛЮЦИОННОЕ РАЗМЕЩЕНИЕ РАЗНОГАБАРИТНЫХ ЭЛЕМЕНТОВ НА БАЗЕ ОПОРНОГО ПЛАНА*
Возрастание степени интеграции и сложности СБИС из-за непрерывного совершенствования технологий заставляет разрабатывать новые методики и средства .
Одним из путей достижения этих целей является полная автоматизация процесса проектирования с использованием перспективных информационных технологий и методов искусственного интеллекта (ИИ) [1].
* Работа выполнена при поддержке РФФИ (фант №05-08-18115)
