CC BY
14
ОЦЕНКА ДЕСТРУКТИВНЫХ СВОЙСТВ КРОССИНГОВЕРА В МАЖОРИТАРНОМ ГЕНЕТИЧЕСКОМ АЛГОРИТМЕ
А.Ф. Чипига, Р.А. Воронкин
THE EVALUATION OF DESTRUCTIVE FEATURES OF CROSSINGOVER IN THE MAJORITY AND GENETIC ALGORITHM
Chipiga A.F., Voronkin R.A.
The article is dedicated to the nnvestigation of the influence of crossingover operator destructive features upon the growth factor in the Holland Theorem concerning the pattern for the majority and genetic algorithm. It also presents the comparative analysis of the obtained data and correspondnng parameters of the simple genetic algorithm.
Материал статьи посвящен исследованию влияния деструктивных свойств оператора кроссинговера на фактор роста в теореме Холланда о шаблоне для мажоритарного генетического алгоритма. Произведено также сравнение полученных результатов с соответствующими для простого генетического алгоритма.
Анализ теоремы о шаблоне [1, 2, 3, 4] для простого генетического алгоритма
m
t+i
(H ) >
* mt (H ) ^
M
1 - ^ ÔÎH - ^m - (H )
(1)
где т{ (Н) - количество особей, принадлежащих шаблону Н на текущем шаге эволюции ^ + т{+1 (Н) - количество особей, принадлежащих шаблону Н на следующем
шаге эволюции I + 1+ р1 {Н} - величина средней выживаемости особей, принадлежащих шаблону н на текущем шаге эволюции I + р1 - величина средней выживаемости особей популяции на шаге ^, показывает, что шаблоны порождают увеличивающееся или уменьшающееся число представителей в соответствии с их оптимальностью [5]. Там же дано определение фактора роста у, значение которого может быть получено из выражения:
у =
^t
1 - ^ fHf - ^ - (H )
. (2)
Согласно теореме Холланда гарантируется рост числа шаблонов в последовательности поколений при соблюдении трех условий:
1) оптимальность шаблона ц1 {Н}
УДК 004.3
выше средней по популяции ^ ;
т_
2) длина шаблона 8(Н) относительно мала;
3) шаблон низкого порядка а(Н) .
Таким образом, значение фактора роста (большее или меньшее 1) определяет то, является ли данный шаблон строительным блоком. Когда у > 1, последующие поколения будут содержать увеличивающееся количество строк, принадлежащих шаблону. Новые строки будут создаваться посредством рекомбинации данного строительного блока и других строительных блоков.
Как было показано в [5], существуют ситуации, нарушающие сходимость алгоритма к оптимальным точкам. Пусть оптимальность каких-либо двух шаблонов достаточно коротких и имеющих низкий порядок выше средней, а оптимальность их объединения - ниже средней. Например, оптимальность 00***** и *****00 выше средней, в то время как оптимальность оптимальность их объединения - ниже средней, например, оптимальность 00***00 значительно меньше оптимальности дополнения, 11***11, являющегося строительным блоком точки оптимума 1111111. В этом случае генетический алгоритм сходится к точкам, имеющим меньшую оптимальность (например, 0011100), потому, что с высокой степенью вероятности кроссинговер будет разрушать необходимые комбинации (11***11). В данной ситуации наблюдается проявление проблемы так называемого ложного оптимума (deception). Способ кодирования и упорядочивания битов внутри строки может направить алгоритм по ложному пути, вызывая сходимость к ложным оптимумам. Для преодоления указанной проблемы в простом генетическом алгоритме были предложены следующие варианты решения:
1) использование предварительной информации для правильного упорядочивания битовых комбинаций внутри строки;
2) использование инверсии;
3) использование оператора равномерного кроссинговера.
Первый вариант предполагает наличие предварительной информации о свойствах оптимизируемой функции. В таком случае
кроссинговер с меньшей бы вероятностью разрушал необходимую комбинацию битов, вследствие чего возросло значение фактора роста, и мог бы быть сформирован необходимый строительный блок, хотя в общем случае требование такой информации является нежелательным и ограничивает спектр приложений алгоритма. Если упорядочивание битов внутри строки при решении определенной задачи является случайным, то выражение для плотности вероятности случайного кодирования группы битов порядка к с определяющей длиной 8 = й в строке длины I будет иметь вид
' й - Г
Р{8 = й} = (/ - й) к - 2
V k j
(3)
а соответствующее данной плотности вероятности распределение:
P[S < d} =
к (l - d +1) + d +1
7 + 1 к
l
(4)
Математическое тельного блока:
ожидание длины строи-
к -1
(5)
1 + 1 к + 1 Рассматривая левую часть выражения
(5) как нормализованную длину, можно определить, насколько быстро она растет с увеличением к. Например, для блока третьего порядка математическое ожидание нормализованной определяющей длины со-
2
ставляет (б) = — I = 0,5 I. Таким образом,
для битовых комбинаций низкого порядка в простом генетическом алгоритме шансы быть закодированными с необходимым упорядочиванием (быть сцепленными) являются низкими. По этой причине (а так же потому, что априорная информация не всегда доступна) была предложена инверсия и другие операторы, переупорядочивающие биты внутри строки во время работы алгоритма.
Инверсия направлена на создание строительного блока, основываясь на предположении, что необходимое сцепление битов может быть найдено одновременно с поиском оптимальных строк (стрингов). Однако вопрос о степени эффективности данного оператора является спорным. Как показали исследования, проведенные в [7] и подтвержденные в [5], инверсия имеет невысокую эффективность: для того, чтобы инверсия обеспечивала сходимость к глобальному экстремуму, вероятность применения этого оператора должна быть очень низкой. Но тогда встает вопрос о практической ценности инверсии при одновременном поиске стрингов, представляющих оптимальное решение, и необходимого сцепления битов, так как время эволюции при ее применении значительно возрастает.
Определенным образом проблема сходимости к локальному экстремуму в простом генетическом алгоритме может быть решена при помощи оператора равномерного кроссинговера.
Если на некотором шаге эволюции t предположить существование шаблона H, являющегося строительным блоком, то факт разрушения данного шаблона может быть определен как изменение его отдельной фиксированной позиции, соответствующей локусу под номером j, где 1 < j < I, значение которой можно допустить равным at . Пусть также определено событие @ #, состоящее в том, что заданная фиксированная позиция не будет изменена ОК. Далее, если допустить, что в операторе кроссинговера участвуют две особи А1 и А2 популяции, причем значения генов рассматриваемого локуса j хромосомы равны ati# и a^ соответственно, то возможно ввести четыре гипотезы, перекрывающие все пространство комбинаций значений данных генов по отношению к значению фиксированной позиции at шаблона H .
1. Гипотеза H1. Значения рассматриваемых генов at, и at ,, равны фиксиро-
ванной позиции шаблона аГ, иными слова-
г г г г т-> ми, $г# = а# и аг-2# = а# .8 результате рекомбинации, потомком с вероятностью 2 будет
унаследован либо ген первого родителя а^1 = аГг# = аГ, либо ген второго родителя
аг+1 = аГ . = а\, следовательно, в данном
случае фиксированная позиция шаблона будет сохранена. Таким образом, величина условной вероятности для первой гипотезы определяется как величина вероятности достоверного события:
Р(@„|#1) = 1. (6)
2. Гипотеза Н0. Значение гена а',-
2 'г]
первой особи равно фиксированной позиции
шаблона а\, тогда как значение гена аГ #
]' '2 ]
второй особи не равно фиксированной позиции шаблона аГ , иными словами, а'# = аГ и
аГ ■ Ф аГ (аГ ■ = аГ ). В результате рекомбинации, потомком с вероятностью будет
унаследован либо ген первого родителя аГ+1 = аГ# = аГ, либо ген второго родителя
а'+Г = а] ■ = аГ , следовательно, фиксированная позиция шаблона будет сохранена с вероятностью . Таким образом, величина условной вероятности для второй гипотезы:
)=2. (?)
3. Гипотеза Н@3. Значение гена аГ.
3
первой особи не равно фиксированной позиции шаблона аГ, тогда как значение гена
равно фиксированной позиции шаблона
Г Г , Г / Г Г \
а:, иными словами аг, Ф а, (а, , = а, ) и а'2г = аГ. В результате рекомбинации, потомком с вероятностью г будет унаследо-
m_
ген первого
родителя
ван либо а= а\1 = а'- , либо ген второго родителя
г1]
= а* ■ = $ , следовательно, фиксированная позиция шаблона будет сохранена с вероятностью "2. Таким образом, величина условной вероятности для третьей гипотезы: ^.у|Нз) = 2. (8)
4. Гипотеза Н@4 . Значения рассматриваемых генов аг|# и а'и # не равны фиксиро-
i21
ванной позиции шаблона а\, иными слова-
t , t $г21 *
ми, а, # ^ а # ( а, # = а # ) и
' 1 j v 1 j '
( а\г# = а'#- ). В результате рекомбинации, по-
1
томком с вероятностью 2 будет унаследо-
ван
либо
ген первого
родителя
а',#" = а, # = а'# , либо ген второго родителя
hJ
а? = а\# = а#
Ч l2 J J
следовательно, в данном
случае фиксированная позиция шаблона сохранена не будет. Таким образом, величина условной вероятности для четвертой гипотезы определяется как величина вероятности невозможного события:
p(@, j\HA ) = 0. (9)
Гипотезы Hk, к = 1, 4 образуют
полную группу, поскольку они несовместны, независимы и сумма их вероятностей равна 1. В рамках поставленной задачи, события Hк , к = 1, 4 можно считать равновероятными, из чего следует равенство
p(Hi)=p{H2)=p(h3)=p(h4)=4. (10)
Вероятность события @ #, описывающего факт сохранения фиксированной позиции шаблона H для локуса j в результате выполнения оператора кроссинговера (OK) может быть получена по формуле полной вероятности
р(@ J ) = t P(S,, j\Hk ) P(Hк ). (11)
к=1
Подставив найденные значения из (6), (7), (8), (9), (10), в выражение (11) можно получить окончательный результат
гК) = 2. (12)
Поскольку оператор равномерного кроссинговера предусматривает независимое формирование гена локусов потомка, причем данный генетический оператор выполняется с вероятностью Рс , то вероятность разрушения шаблона вследствие влияния кроссинговера может быть получена следующим образом
Р
disruption
(h \ Ос ) = Рс (1 - p(stJ )Г(H ) )=
/
Р
1
<h )
(13)
Соответственно, фактор роста у простого генетического алгоритма при использовании оператора равномерного кроссинговера
у =
Mt\H}
Mt
1Р
1
1
Ф)
- Рт * (H )
.(14)
Приведенное соотношение для фактора роста у истинно, если вероятность точечной
мутации Рт « 0 .
Таким образом, для равномерного OK в простом генетическом алгоритме (ПГА) устраняется зависимость вероятности разрушения строительного блока от длины шаблона, следовательно, значительно уменьшается возможность сходимости алгоритма к локальному минимуму. Однако, сравнивая выражения (2) и (14), необходимо отметить экспоненциальное уменьшение вероятности сохранения шаблона при увеличении его порядка, что служит препятствием для образования строительных блоков высоких порядков, в результате чего скорость сходимости алгоритма уменьшается.
Рассуждая так же, как и при оценке деструктивных свойств оператора равномерного кроссинговера в ПГА, можно получить выражение для вероятности разрушения шаблона, применительно к схеме OK
мажоритарного генетического алгоритма, описанного в [8].
Пусть на некотором шаге эволюции t выбран шаблон H, пусть также значение некоторой фиксированной позиции этого шаблона, соответствующей некоторому ло-
кусу под номером у (1 < j < I ), равно aj. В операторе кроссинговера участвуют «мужская» Ат и «женская» А^ индивидуальности популяции, причем, аллели локуса j
особи Аm экспрессируются в значение atm# ,
тогда как аллели того же локуса j особи А^ экспрессируются в значение a^ . Далее, как
и при выводе соотношения вероятности изменения заданной фиксированной позиции шаблона для равномерного OK, необходимо определить четыре гипотезы, перекрывающие все пространство комбинаций результатов экспрессии аллелей особей-родителей по отношению к значению фиксированной позиции aj шаблона H.
1. Гипотеза H1. Результаты экспрессии аллелей и признака доминантности двух родителей равны фиксированной позиции
aj, иными словами a= aj и a1^ = aj.
2. Гипотеза H 2. Результат экспрессии аллельных генов «мужской» особи равен фиксированной позиции шаблона aj, тогда
как результат экспрессии аллельных генов «женской» особи не равен фиксированной
позиции шаблона aj, иными словами,
< = a'j и a'j} * a) (ai = a'j ).
3. Гипотеза H3. Результат экспрессии аллельных генов «мужской» особи не равен фиксированной позиции шаблона aj , тогда
как результат экспрессии аллельных генов «женской» особи равен фиксированной позиции шаблона aj, иными словами, < * aj ( < = aj )и < = aj .
4. Гипотеза Н —. Результаты экспрессии аллелей и признака доминантности двух родителей не равны фиксированной позиции, иными словами, а^ ^ аГ и а1^ ^ аГ
(< = а) и аЯ = а) ). _
Гипотезы Н'к , к = 1, 4 образуют полную группу, поскольку они несовместны, независимы, причем сумма их вероятностей равна 1. В рамках поставленной задачи, события Н'к , к = 1, 4 можно считать равновероятными, из чего следует равенство
р(н')=р{Н'2)=р(#з)=р(н'4)= —. (15)
Таким образом, вероятность события 8г ■ , описывающего факт сохранения фиксированной позиции шаблона Н для локуса У в результате выполнения ОК может быть получена по формуле полной вероятности
^)=£ ') р{н к) .(16)
к=1
При вычислении значений условных вероятностей р(%г ■ | Нк ), к = 1,4 необходимо учитывать способ передачи потомку признака доминантности одного из родителей, который может быть как детерминированным, так и случайным. Однако, в общем случае, отвлекаясь от второстепенных фак-
т!+1
торов, можно утверждать, что значение а^ выбирается между й1^ и й1^ случайным
образом. Пусть М - событие, состоящее в том, что потомку будет передан признак доминантности отцовской особи (< = ), вероятность данного события равна РМ,
соответственно, вероятность события М, состоящего в том, что потомку будет передан признак доминантности материнской
особи (йгГ+1 = й^), равна 1 - РМ . Тогда, поскольку события М и М несовместны и независимы, согласно формуле полной вероятности, может быть записано равенство
т_
#\н к)=к )i0 ] р
+ р[(@,;\Н к )\М ] (1 - рм),
+
к = 1, 4 .
(17)
В свою очередь, условные вероятности 4@,;\#к)\м] и фг,;\Н)\м],
к = 1, 4, могут быть получены исходя из классического определения вероятности, как отношение числа комбинаций унаследованных аллельных генов ], которые после выполнения ОК экспрессируются в значение, равное фиксированной позиции шаблона
а1 #, к общему числу возможных комбинаций аллелей потомков, полученных в результате рекомбинации генов особей-родителей, для которых истинно утвержде-
ние, соответствующее гипотезе
Н'
к ,
к = 1, 4, при условии жесткого наследования признака доминантности только от одного из родителей.
Для дальнейших рассуждений необходимо сделать следующие обозначения: пусть
{н'к}, к = 1, 4 число комбинаций аллелей и признака доминантности локуса # потомков, полученных в результате выполнения ОК над особями-родителями для которых истинно утверждение, вводимое гипотезой Нк , к = 1, 4, при условии равенства результата экспрессии значению фиксированной позиции а1 и наследования потомками признака доминантности только от мужской особи; в свою очередь, число комбинаций аллелей и признака доминантности локуса # потомков, полученных в результате выполнения ОК, при тех же ограничениях,
что и для п^ {н 'к }, но в случае, когда результат экспрессии равен а1 , следует обозначить через пт {н 'к }, к = 1, 4. Соответст-
венно, п
{н'к }и п- }, где к = 1, 4, оп-
.{Н к
ределяются таким же образом, как п}
и пт {нк } с единственным отличием, смысл которого состоит в том, что потомками на-
следуется признак доминантности только женской особи.
Введенные величины, являющиеся числом возможных сочетаний аллелей и признака доминантности, определяют количественное распределение по отношению к признаку, закодированному в локусе у, для
заданного априори множества гипотез Нк,
к = 1, 4 и фиксированного способа наследования признака доминантности потомков от одного из родителей. Таким образом, значения п+т }, п-т }, П+ {@к } и П- {@к } могут быть получены путем подсчета набо-
ров генов потомков
d
t+i
t+i
2t+1
которые экспрессируются либо в а1, либо в
г
а# , согласно определению, причем дополнительно, признак доминантности наследуется либо от мужской, либо от женской особи; кроме того, данный подсчет должен вестись для особей-родителей, соответствующих утверждению гипотезы Нк . Результаты данного подсчета могут быть сведены в таблицу 1, содержащую полную информацию о количественном распределении признаков в фенотипе особи-потомка после выполнения кроссинговера.
Таблица 1
Распределение количества сочетаний аллелей потомков в результате выполнения оператора кроссинговера
Гипотезы df = < dt+1 - 4
1 2а 26 За З6
Н' Н2 Н@З Н@4 56 40 24 8 8 24 40 56 56 24 40 8 8 40 24 56
Условные вероятности в правой части равенства (17) могут быть получены как отношение числа сочетаний аллелей и признака доминантности, для которых результат
+
экспрессии равен а # к общему числу сочетаний при выполнении ОК над определенным множеством особей-родителей, следовательно,
1 = 1,4
1 )|М ]=тя&т ^
1 )|0 ]=
'/[н 1
п + [Н 1}+п- [Н 1}'
(18)
Исходя из данных, приведенных в таблице 1, можно показать, что для всех
Н'к , где 1 = 1, 4, выполнимо равенство
п+т {Н 1}+пт {Н'} = п + {Н 1}+п} {Н'} = п = 64,
1 = 1,4, (19)
что позволяет упростить и записать равенства (18)в виде:
Ф^н 1 )|0 ]=^^+
р[(@,;|и 1 )|М ]=
{И;}
1 = 1, 4 (20)
которые, после подстановки в (17), дают соотношение для условной вероятности
1)=
' ) _ п+т {Н@ 1 } Р + п+
РМ "г
{Н 1}
п
(1 - Рм ) _
п
[И;}
+
п
1 _ 174.
< {Н 1 }-п + {Н 1 }
Р
М
п
{н 1
Используя значения
(21)
,{н;} и
/Н1} для каждой из гипотез Н 1, где 1 = 1, 4 из таблицы 1, с учетом того, что п = 64, можно определить соотношения для всех условных вероятностей Р# | Н 1):
56-56) _ 7
и ЧО 8 ч
40-24 ) „ 5 1 Р + Р М +
. 64 )Р< = 8 + — 4
24 - 40) „ 3 1 Р + РМ +
64 ) Р< = 8 4
8-8) Р 1
64 ) М~ 8.
р(@г;|И@;) =56 +
V и 64
р(@,„|я)=40+
) = 64+
Р6,|Я) = 64+
(22)
Необходимо отметить, что полученные в правой части равенств (22), выражения являются линейными зависимостями от вероятности РМ того, что признак доминантности потомка в результате выполнения ОК станет равным признаку доминантности мужской особи.
Выполнив окончательную подстановку правых частей уравнений (22) и (19) в формулу (17), можно определить вероятность того, что в результате ОК гены локуса У, соответствующего некоторой фиксированной позиции шаблона Н , будут экспресси-
рованы в заданное значение а #:
Р&)=2.
(23)
Величина полученной вероятности не зависит от РМ , на основание чего можно утверждать о независимости фактора роста в мажоритарном генетическом алгоритме для предлагаемой схемы оператора кроссинго-вера от способа наследования потомком признака доминантности одного из родителей, кроме того, сравнение выражения (23) с аналогичным (12) в случае использования оператора равномерного кроссинговера позволяет сделать вывод о том, что по своим деструктивным свойствам предлагаемая схема ОК не хуже, чем уже известная схема равномерного кроссинговера.
В ОК для мажоритарного генетического алгоритма (МГА) формирование генов локусов идет независимо друг от друга, причем вероятность выполнения этого генетического оператора Рс, следовательно, вероятность разрушения шаблона из-за воздей-
+
+
m_
ствия кроссинговера в МГА может быть получена из выражения
Р
disruption (Н \0С ) Рс (1 Р(%@г>; ]'7 j
= Р И-
1
(24)
ч Г(я})
Соответственно, фактор роста у мажоритарного генетического алгоритма при использовании предлагаемой схемы ОК дается равенством
мt {H}
Y = — ' :
M
1-Р
f
1--
I 2e
(H )
-R
disruption
(H\0M )
. (25)
Формула (25) не совсем корректна, и истинна, если Рс11+гирПоп {Н\Ом ) ~ 0, поскольку шаблон Н может быть разрушен крос-синговером, а затем восстановлен мутацией, при условии, что ОК выполняется первым, а ОМ вторым. Следовательно, при оценке фактора роста в мажоритарном генетическом алгоритме необходимо учесть влияние совместного возникновения событий, состоящих в том, что шаблон Н будет разрушен как оператором кроссинговера, так и оператором мутации, что означает, вероятность разрушения гиперплоскости Н может быть получена по формуле вероятности для совместных событий
Рй+гирйоп (Н) = Рй+гирйоп [(Н \ ОС ) и (Н \ Ом )] =
= Р
disruption
- Р,,
(Н \ 0С ) + Рdisruption (Н \ 0M )
[(H\0c ) i (h\0m )].
disruption LV I С '' ' V I M )\
(26)
Указанный шаблон H может быть разрушен каждым из генетических операторов независимо от других генетических операторов, поэтому выражение (26) допустимо преобразовать к виду
Рdisruption (H ) Рdisruption (H I .С ) +
disruption
+ Р
disruption
(h\0m ) -
Рdisruption (н \ 0С ) ' Рdisruption (Н \ 0M ). (2?)
Из соотношений (24) и (27) следует, что величина фактора роста в мажоритарном генетическом алгоритме дается из равенства
Y =
_ »t {H}
+ Р
»
1-
1- Р
/
1--
I 2'
1
ФУ
Р
disruption
(h\0m )
t(H )
• Р
disruption
(h\0m )
_ »t {h }.
»
(l Рdisruption (Н \ 0M ))•
1Р
\\
1
т(Н )
//
(28)
Подобное равенство приведено в [1] и для простого генетического алгоритма.
Таким образом, по характеру влияния на фактор роста в популяции, описанная схема ОК в мажоритарном генетическом алгоритме оказывается не хуже, чем схема равномерного кроссинговера, преимущества применения которой для решения задачи поиска глобального экстремума функций достаточно большого числа переменных описаны в [4]. Помимо прочего, как было отмечено ранее, величина фактора роста не зависит от способа наследования признака доминантности потомком от одного из родителей, что позволяет руководствоваться в данном вопросе исключительно практическими соображениями, при решении поставленной задачи оптимизации.
ЛИТЕРАТУРА
1. Holland, John H. Adaptation in natural and artificial systems: an introductionary analysis with application to biology, control, and artificial intelligence - 1st MIT Fress ed., 1992.
2. Goldberg, D.E., Genetic algorithms in search, optimization and machine learning. Addison Wesley, 1989.
3. Курейчик B.M. Генетические алгоритмы и их применение. - 2 изд., дополненное. - Таганрог: Изд-во ТРТУ, 2002. - 242 с.
4. Гладков B.A., Зинченко Л.А., Курейчик B.B., Курейчик B.M., Лебедев Б.К., Нужное E.B., Сорокин С.Н. Методы генетического поиска: Научное издание / Под редакцией B.M. Курейчика. -Таганрог: Изд-во ТРТУ, 2002. - 122 c.
5. А.Н. Скурихин. Генетические алгоритмы // Новости искусственного интеллекта. - 1995. -№4.
х
х
6. Frantz, D.R., Non-linearities in genetic adaptive search, PhD thesis, University of Michigan, 1972.
7. Goldberg, D.E., Lingle, R., «Allele, loci, an traveling salesman problem»: Proc. of an International Conferention on Genetic Algorithms and Their Applications. 1985. -Pp.154-159,
8. Чипига А.Ф., Воронкин P.A. Введение в генетический алгоритм с расщеплением признаков // Ученые записки физико-математического факультета Ставропольского государственного университета. - Ставрополь: Изд-во СГУ, 2002 -123 с
Об авторах
Чипига Александр Федорович, кандидат технических наук, доцент, доцент кафедры прикладной математики информатики СГУ. Область научных интересов - сжатие данных, искусственный интеллект, нейронные сети, генетические алгоритмы, математическое моделирование. Воронкин Роман Александрович, кандидат технических наук. Область научных интересов -сжатие данных, искусственный интеллект, нейронные сети, генетические алгоритмы.
