CC BY
95
Cloud of Science. 2016. T. 3. № 2 http://cloudofscience.ru ISSN 2409-031X
Сравнительный анализ нейроэволюционных методов поддержки принятия решений в условиях неопределенности
О. А. Хлопкова
Российский экономический университет имени Г.В. Плеханова 117997, г. Москва, Стремянный пер., 36
e-mail: perikrone@gmail.com
Аннотация. В статье приведен сравнительный анализ основных нейроэволюционных методов, активно применяющихся для интеллектуализации систем поддержки принятия решений в условиях неопределенности. На основании анализа предложен новый нейроэволюционный метод, предназначенный для модификации как топологии, так и параметров нейросети, и не накладывающий дополнительных ограничений на особь. Представлены результаты экспериментальной оценки эффективности методов, проводившейся на серии эталонных нейроэволюцион-ных задач адаптивного управления, классификации и восстановления поврежденных данных. В качестве критериев оценки методов были использованы количество неудачных запусков и общее количество эпох эволюции.
Ключевые слова: нейроэволюция, эволюционное моделирование, нейронные сети, генетические алгоритмы, вычислительный интеллект.
1. Введение
Основная цель интеграции нейроэволюционных модулей в системы поддержки принятия решений состоит в том, чтобы помочь лицу, принимающему решения, спланировать действия в соответствии с изменяющимися условиями среды [1]. Необходимость в интеллектуальной поддержке принятия решений особо остро возникает при решении трудно формализуемых задач. Такие задачи характерны, прежде всего, для предметных областей, в которых не существует функционально полных математических теорий описания объектов и моделей принятия решений. В качестве средств автоматизации процессов принятия решений в таких предметных областях все чаще применяются различные нейроэволюционные методы. Наиболее распространенными из них являются методы CE, NEAT, EANT, ENS3 и DXNN (рис. 1).
В статье представлен сравнительный анализ основных нейроэволюционных методов, и на его основе предложен новый метод, позволяющий модифицировать топологию и параметры нейросети, не накладывая на нее дополнительных ограни-
чений. Также приведены результаты решения с помощью проанализированных нейроэволюционных методов и предложенного метода ряда классических эталонных задач (benchmark tasks). Данные задачи используются в области нейроэволю-ции для косвенного анализа эффективности, производительности, надежности и других параметров методов. Эталонные задачи являются критерием выбора того или иного метода для его применения в различных практических областях, а успешное прохождение серии эталонных тестов является свидетельством стабильности работы метода.
1994
2002
2005
2007
2011
о—о—о—о—о—*
CE
Эмбриогенети-ческое косвенное кодирование, использование грамматик и S-выражений.
NEAT
Исторические маркеры, видо вая специ ализация, использование синапсиса и гомоло гичных генов.
EANT
Гибридная схема кодирования и специ фичные генетические операторы.
ENS3
Коэволюция,
стохастические
генетические
операторы,
эволюция без
кроссинговера.
DXNN
Ограничения на изменяемые параметры, локальн ая оптимизация.
Рисунок 1. Временная шкала разработки основных нейроэволюционных методов
2. Сравнительный анализ нейроэволюционных методов
В настоящее время, несмотря на бурное развитие теории нейроэволюции, число эффективных методов, которые целесообразно применять на практике, невелико. Рассмотрим основные из них.
CE (Cellular Encoding, клеточное кодирование) — метод косвенного кодирования, ориентированный на эволюцию последовательности использования правил, управляющих делением составляющих нейросеть клеток [2]. Он предназначен для параллельной модификации топологии и настройки весовых коэффициентов. Структура нейросети при этом модифицируется путем последовательного усложнения. Каждая клетка содержит входной и выходной узлы, посредством которых она присоединяется к другим клеткам, и внутренние регистры, определяющие параметры нейросети и инициализируемые начальными значениями: 1 — вес; 0 — порог; тождественное отображение — функция активации; 1 — коэффициент, на который умножается полученное значение функции активации.
При делении клетки значения параметров дублируются. Генетический алгоритм последовательно усложняет структуру и оптимизирует параметры посред-
ством косвенного эмбриогенетического кодирования с построением грамматического дерева и S-выражений. Метод CE состоит из двух основных шагов: формирования набора правил и эволюционного поиска, направленного на генерацию последовательности применения правил, приводящей к оптимальному результату.
Метод CE в первую очередь направлен на составление модульных нейросетей из иерархически связанных подсетей. Он также пригоден для формирования паттернов и рекурсивных нейросетевых структур. Достоинством метода является возможность изменения функции активации нейронов. Кроме того, при помощи метода возможно построение нейросети любой конфигурации без ограничений на количество нейронов и топологию. Формируемые в результате применения генетических операторов особи являются гарантированно жизнеспособными. Недостатком метода является высокая ресурсоемкость, так как каждая клетка хранит копию грамматического дерева, маркеры и внутренние регистры. Так как CE основан на методе косвенного кодирования, ему присуща низкая производительность, связанная с необходимостью осуществления операций кодирования-декодирования грамматического дерева.
DXNN (Deus Ex Neural Network, оптимизация нейронной сети) — метод, направленный на раздельную модификацию топологии и весовых коэффициентов нейросети и базирующийся на меметическом подходе [3]. На данный момент существует несколько модификаций метода, поддерживающих как прямой, так и косвенный способы кодирования хромосом. На этапе глобального поиска в методе осуществляется эволюция топологии; на этапе локального поиска модифицируются только весовые коэффициенты. Метод DXNN состоит из девяти основных шагов:
1. Генерирование начальной популяции из генотипов нейросетей, состоящих из минимального количества нейронов.
2. Циклическое выполнение шагов 3-9 до достижения критерия остановки (максимального числа эпох или желаемого значения функции приспособленности, либо ограничения по времени).
3. Преобразование составляющих популяцию генотипов в фенотипы.
4. Для каждого фенотипа выполнение следующих действий до тех пор, пока значение приспособленности перестанет возрастать K раз подряд: оценка приспособленности, локальная оптимизация весовых коэффициентов.
5. Преобразование фенотипов в генотипы с модифицированными весами и соотнесенными им значениями приспособленности.
6. Ранжирование особей по значению приспособленности, при равных приспособленности приоритет отдается нейросети с меньшим количеством нейронов.
7. Удаление 50% особей, обладающих наименьшей приспособленностью.
8. Расчет для каждой из оставшихся особей количества потомков N, пропорционального приспособленности /-ой нейросети f, сопоставленной с общей приспособленностью популяции f, средним размером нейросети Cavg и размером дан-
fC
ной нейросети C по формуле N = -j^.
9. Составление популяции потомков путем копирования родителя и применения к копии T раз подряд операторов мутации; T — число, выбираемое случайным образом на отрезке [1,yfp], где Pt — количество нейронов в родительской нейросети. В методе DXNN реализованы четыре вида мутации: добавление нейрона, разбиение связи между двумя нейронами с последующим добавлением нового нейрона, добавление выходной связи к выбранному случайным образом нейрону, добавление входной связи к выбранному случайным образом нейрону.
Реализованный в методе DXNN меметический подход обладает рядом достоинств. Последовательная модификация топологии и весов позволяет определить, показывает ли особь низкую приспособленность из-за неудачно сформированной топологии или неправильно подобранных весов. Также в большинстве нейроэво-люционных методов операторы, изменяющие значения весов, применяются случайным образом ко всем нейронам нейросети, и вероятность оптимизации новых или требующих донастройки нейронов чрезвычайно низка. Меметические методы, в частности DXNN, напротив, оптимизируют весовые коэффициенты недавно измененных нейронов, не затрагивая оптимизированную на предыдущих итерациях структуру.
В то же время методу DXNN присущи недостатки: эволюция идет по пути усложнения топологии и наращивания количества нейронов, так как в методе не реализованы такие операторы мутации, как удаление связи или удаление нейрона; из всех параметров нейронов метод оптимизирует только весовые коэффициенты. В связи с этим время формирования оптимального решения растет экспоненциально при линейном увеличении сложности задачи.
EANT (Evolutionary Acquisition of Neural Topologies, эволюционное модифицирование топологий нейронных сетей) — метод, использующий гибридную схему кодирования CGE (common genetic encoding, обобщенная схема кодирования генов) [4], предназначенную для раздельного модифицирования структуры и параметров нейросети и обладающую двумя важными свойствами: полнотой и замкнутостью. Благодаря схеме CGE метод EANT не нуждается в этапе декодирования хромосом. Данная схема определяет генотип как линейную последовательность, строящуюся на основании трех аллельных генов: входа, узла и джампера. Вход — это ген, обозначающий входной нейрон. Узел — это ген, обозначающий нейрон, которому соотнесены четыре параметра: весовой коэффициент, текущее значение
функции активации, глобальный уникальный идентификатор GUID (Global Unique IDentifier) и количество входных связей. Джампер — ген синаптической связи, хранящий ссылки на два узла, соединенные данной связью, и GUID нейрона, с которым соединен джампер.
Данный способ представления генотипа может быть интерпретирован как линейное представление префиксного дерева программы в предположении, что все входы и джамперы — это терминальные символы, а нейроны — функции. Представление в виде дерева может храниться в массиве (линейном генотипе), при этом структура дерева (топология нейросети) косвенно представлена индексами элементов массива.
Процесс расчета выходных значений фенотипов не требует их декодирования в генотипы и начинается с инициализации — вычисления выходов нейронов справа налево. На начальном этапе определяется самый правый элемент линейного генома. Далее осуществляется проход справа налево по генотипу. Для каждого элемента генотипа выполняются правила: если текущий элемент — это вход, его текущее значение и вес заносятся в стек; если текущий элемент — это нейрон, из стека извлекаются l связанных с ним входных значений и их весовые коэффициенты. Результат вычисления функции активации нейрона и вес заносятся обратно в стек. Если текущий элемент — это джампер, то для него определяется последнее значение нейрона, чей GUID совпадает со значением GUID джампера.
Значение веса, хранящееся в джампере, заносится в стек. Если джампер представляет собой прямую, а не рекуррентную связь, сначала происходит копирование участка нейросети, начиная с нейрона, чей GUID совпадает с GUID джампера. Для определенной таким образом подсети вычисляется значение выхода. Данное значение и соответствующий ему вес заносятся в стек. Затем осуществляется формирование выходного вектора нейросети. После полного прохода справа налево по генотипу из стека последовательно извлекаются значения вычислений, количество которых совпадает с количеством выходов нейросети. Данный процесс эквивалентен расчету выходов для соответствующей декодированной особи, в которой функция активации нейрона имеет вид:
где г — функция активации; п — количество входов нейрона; п^- — количество прямых связей. Количество рекуррентных связей вычисляется как п — п. Процесс
модификации генотипов, закодированных по схеме CGE, состоит из двух этапов.
1. Исследование пространства топологий. На данном этапе применяются операторы структурной мутации для добавления и удаления джамперов, а также до-
(1)
бавления новой подсети. Эти три вида мутации равновероятны. Количество нейронов m, которые должны подвергнуться мутации, вычисляется по формуле
m = pmN, (2)
где pm е [0,1] — вероятность структурной мутации, определяемая случайным образом; N — общее количество нейронов.
2. Настройка параметров при фиксированной топологии: использование эволюционной стратегии для настройки весовых коэффициентов.
Для метода разработана модификация EANT2, отличающаяся использованием стратегии CMA-ES (Covariance Matrix Adaptation Evolution Strategy, эволюционная стратегия адаптации на базе матрицы ковариации) для оптимизации параметров и решения проблемы преждевременной сходимости.
К достоинствам метода EANT относятся компактность представления генотипа, отсутствие этапа декодирования и, как следствие, высокая скорость работы. Следует отметить, что данный метод целесообразно использовать в системах с ограничением по времени на решение задач. Недостатками метода EANT являются отсутствие операторов кроссинговера и структурной мутации для удаления нейронов и, как следствие, ограничение пространства генетического поиска.
ENS3 (Evolution of Neural Systems by Stochastic Synthesis, эволюция нейронных систем путем стохастического синтеза) — метод, в основу которого заложена биологическая теория коэволюции [5]. Метод применим исключительно для нейросе-тей, состоящих из нейронов с сигмоидной функцией активации, однако не накладывает ограничений на количество нейронов и топологию. Метод единовременно оптимизирует топологию нейросети и ее параметры — пороги активации и весовые коэффициенты, и состоит из шести основных шагов.
1. Создание начальной популяции P(t), t = 0, состоящей из n(0) нейросетей.
2. Переход к следующей популяции P '(0) путем репродукции начальной популяции.
3. Изменение структуры и параметров особей популяции P '(t) последовательным применением стохастических операторов S, E, V. Оператор V (Variation operator) — стохастический аналог мутации, реализующий добавление и удаление нейронов, связей и корректировку параметров. Оператор расчета E (Evaluation operator) определяется решаемой задачей и в общем случае задается в терминах функции приспособленности. Оператор селекции S (Selection operator) определяет количество особей, попадающих в новую популяцию.
4. Оценка каждой особи исходной и производной популяций P(t) и P '(t), расчет функций приспособленности их особей.
5. Генерация популяции P '(t +1) с использованием ранговой селекции особей популяций P(t) и P \t) в соответствии с их значениями приспособленности.
6. Проверка достижения критериев остановки (по достижении максимального количества эпох или заданной точности нейросетевого вывода). Если ни один из критериев не достигнут, осуществляется переход к шагу 2.
Метод основан на поведенческо-ориентированном подходе к проектированию нейронных систем. Изначально он был разработан для изучения сложной динамики в сенсорно-двигательных системах автономных роботов и программных агентов.
К достоинствам метода относятся простота реализации и хорошая производительность для нейросетей маленького и среднего размера. Однако в методе ENS3 не реализован оператор кроссинговера, что следует считать его недостатком, так как при должной реализации кроссинговер способен существенно сократить время эволюции и ускорить формирование оптимальной особи. Метод ENS3 также не допускает модификацию вида функций активации нейронов. Кроме того, фиксированные вероятности мутации для нейронов и связей сокращают пространство поиска: многие эффективные конфигурации нейросетей не могут быть сформированы в связи с низкой вероятностью изменений в соответствующих узлах нейросетей текущей популяции.
NEAT (Neuro-Evolution by Augmenting Topologies, нейроэволюционный метод расширения топологий) — метод, оптимизирующий веса и модифицирующий структуру нейросети путем последовательного усложнения [6]. Исходная популяция составляется из полносвязных нейросетей, состоящих из входного и выходного слоев, количество нейронов в которых определяется заранее. За основу структуры генотипа взят список синапсов. Каждый синапс хранит индексы двух нейронов (источника и получателя сигнала), вес связи, бит активности, указывающий, активен ли данный синапс, и инновационное число для определения аналогичных генов при кроссинговере.
Метод использует прямую схему кодирования и реализует два оператора мутации для раздельной модификации весов и структуры нейросети; для каждого весового коэффициента вероятность мутации фиксирована. Структурные мутации увеличивают размер генотипа за счет добавления новых генов и добавляют либо связь для двух ранее не соединенных нейронов, либо новый нейрон: при этом существующая связь разбивается на две — вход и выход нового нейрона. Замещаемая связь помечается как неактивная; вес входящей связи задается равным единице, а вес исходящей связи приравнивается к весу замещаемой. Оператор кроссинговера базируется на биологических понятиях гомологичных генов и процесса синапси-са — выравнивания аллелей перед кроссинговером.
Метод NEAT использует инновационные числа — исторические маркеры, связанные с каждым геном для отслеживания хронологии вносимых в него изменений. Перерасчет исторических маркеров осуществляется следующим образом: при добавлении нового гена значение глобального инновационного числа увеличивается на единицу и присваивается данному гену. Ген одной из особей, сформированной для кроссинговера пары с инновационным числом, отличающимся от всех инновационных чисел генов второй особи, называется обособленным.
Гены, сформированные в данной особи позднее, чем любой из генов второй особи, называются добавочными. Гены с равными инновационными числами подвергаются синапсису. Они составляют генотип для следующего поколения путем смешивания случайным образом подходящих генов либо усреднением весов связей. На этапе кроссинговера задается вероятность повторной активации для неактивированных генов. Метод NEAT работает с видами внутри популяции и раздельным вычислением приспособленности каждого вида, что позволяет сохранять генетическое разнообразие. Популяция делится на автономные виды с помощью введения метрики на пространстве генотипов. Для кластеризации на отдельные виды вводится расстояние 5 между хромосомами — линейная комбинация количества E добавочных генов, количества D обособленных генов и средней разности весов совпадающих генов W:
5=q £ + с2 D + - (3)
N
где N — количество генов в генотипе большей длины, необходимое для нормализации; с, С, С — заданные заранее коэффициенты. Разбиение на виды на основании метрики S позволяет решить проблему незащищенности инноваций. Алгоритм кластеризации популяции P на виды является трехэтапным:
1. Нулевая эпоха эволюции ¿0. Инициализация списка видов, нумерация которых осуществляется по мере добавления начального вида s0.
2. Выбор случайным образом генотипа-представителя s0 и определение порога принадлежности к виду 5t, который может корректироваться в ходе эволюции в большую или меньшую сторону в зависимости от оптимального количества видов, заданного заранее.
3. Вычисление в эпоху t для каждого генотипа g е P расстояния 5 до представителей классов S; и создание при необходимости новых видов. Внутривидовая
приспособленность особи рассчитывается исходя из ее приспособленности и расстояния до других особей:
л=-
f
X B (SO", J))
где B — функция принадлежности к виду:
B (S(i,J) ) = ■
\1, S(i, j) >St;
(5)
[0, 8(1,;) <81.
В зависимости от суммы значений приспособленности ' особей внутри вида к определяется потенциально возможное количество потомков пк, принадлежащих виду:
k s'
F
(6)
Где F — средняя приспособленность внутри вида к; FA =Xk F — сумма средних
приспособленности всех видов; P — размер популяции.
Внутривидовое разделение осуществляется по формуле (6), при этом виды с наименьшей приспособленностью не переходят на следующую эпоху; внутри оставшихся видов выбираются случайным образом особи для создания новой популяции. Особи с наилучшей внутривидовой приспособленностью переходят в следующее поколение, а при отсутствии таких особей предыдущее поколение полностью замещается.
Известно множество модификаций метода NEAT, к наиболее удачным из которых относятся: rtNEAT (real-time NEAT), Phased Pruning (поэтапное упрощение), cgNEAT (Content-Generating NEAT), HyperNEAT (Hypercube-based NEAT). Достоинствами метода NEAT являются защита инноваций историческими маркерами и поддержание разнообразия популяции за счет специализации. Они решают проблемы преждевременной сходимости и незащищенности инноваций. Тем не менее, эволюция путем последовательного усложнения, реализованная в методе, является причиной таких недостатков, как ограничение пространства поиска и высокая ре-сурсоемкость.
Результаты сравнительного анализа нейроэволюционных методов представлены в табл. 1.
Таблица 1. Сравнительные характеристики нейроэволюционных методов
Метод Последовательность модификации параметров и топологии Способ кодирования хромосом Метод эволюции
ENS3 Параллельно Прямой Эволюционный алгоритм
NEAT Раздельно Прямой Генетический алгоритм
EANT Раздельно Гибридный Эволюционные стратегии
DXNN Раздельно Прямой и косвенный Меметический алгоритм
CE Параллельно Косвенный Генетическое программирование
i=i
На основании проведенного анализа методов можно сделать следующие выводы: большинство нейроэволюционных методов не модифицирует вид функции активации и ее параметры и при этом накладывает ограничения на структуру нейросети; во многих методах эволюция направлена исключительно по пути усложнения (в некоторых случаях — последовательного упрощения) структуры особи; некоторые методы используют подход обучения с учителем, что требует наличия репрезентативной выборки прецедентов и дополнительных ограничений на структуру нейросети.
Таким образом, ни один из существующих методов не сочетает в себе такие свойства, как отсутствие ограничений на оптимизируемую особь, динамичность эволюции, модификация множества всех допустимых параметров нейросети.
В связи с этим представляется актуальной задача разработки нового нейроэво-люционного метода [7], свободного от перечисленных ограничений и предназначенного не только для настройки весовых коэффициентов нейронов и модифицирования топологии, но и корректирования пороговых коэффициентов, вида и параметров функций активации.
Предлагаемый в статье метод обладает оригинальной совокупностью свойств, основными из которых являются адаптивность структуры и низкая связность особей, динамичность эволюции, а также возможность гибридизации. В отличие от большинства классических реализаций нейроэволюции, метод лишен таких недостатков, как конкуренция представлений, незащищенность инноваций, проблемы начального размера и топологических инноваций.
3. Разработка нового нейроэволюционного метода поддержки принятия решений в условиях неопределенности
В качестве структуры данных для генетического кодирования в рамках предлагаемого нейроэволюционного метода был выбран список смежности. Размер занимаемой им памяти зависит от количества нейронов N и синаптических связей S как O(N + S). Компактность представления открывает возможность оперирования топологией нейросетей с экстра-большим количеством нейронов. При помощи списка смежности, являющегося универсальной структурой для хранения данных, кодируются нейросети любой топологии и размера. Список смежности ставит в соответствие каждому проиндексированному нейрону i список пар вида , w}, где
stj — индекс нейрона, связанного с i; w — вес связи, i е [1, N]. Для входных нейронов этот список пуст. Также для каждого нейрона хранится пороговое значение 0, вид ftype и K параметров г0, ..., гк функции активации f Каждый i-ый элемент списка смежности имеет вид:
{/.{йл}, ..., [SM ,wiM }}, 0, fype, {r0,..., rK}, INi, OUT,}, (7)
где IN — минимальное количество узлов нейросети, через которые должен пройти входной сигнал, чтобы достигнуть /-го нейрона; OUT — минимальное количество узлов, через которые должен пройти сигнал, сгенерированный /-ым нейроном, чтобы достигнуть выхода.
Хранение и пересчет параметров IN и OUT в совокупности с индексацией нейронов способствуют решению проблем конкуренции представлений и незащищенности инноваций, свойственных схеме прямого кодирования: новые узлы, формируемые операторами мутации и кроссинговера, обладают большими индексами, чем узлы, обработанные в предыдущие эпохи нейроэволюции. Наличие сведений о кратчайшем пути к входным и выходным узлам препятствует скрещиванию участков нейросети, несущих различную функциональную нагрузку. Мутация в измененных за предыдущие эпохи участках генотипа менее вероятна, чем в неэволюци-онировавших участках. В частности, индексация узлов снижает риск удаления из популяции новых элементов.
Предлагаемый метод использует две дополнительные структуры для хранения данных: пулы, содержащие соответственно входные параметры и множество возможных функций активации. На основе пула входных параметров, составляющих множество потенциальных входов нейросети, в процессе эволюции формируются входные векторы особей. Данный пул предназначен для оптимизации производительности нейросети при сохранении качества вывода. Пул функций активации содержит такие функции, как сигмоида, функция Гаусса, модифицированный гипертангенс и другие. Он необходим для настройки параметров каждого нейрона и, соответственно, повышения точности нейросетевого вывода. Помимо способа кодирования, на эффективность нейроэволюции непосредственно влияют подбор генетических операторов и вид функции приспособленности, что отражено в соответствующих этапах нейроэволюционного алгоритма.
1. Инициализация: формирование начальной популяции P0 с достаточным разнообразием особей. Проблема начального размера и топологических инноваций решается ограничением на количество нейронов нейросети нулевой эпохи.
2. Преобразование генотипа в фенотип, обеспечивающее декодирование хромосом особей в множество нейросетей.
3. Оценка приспособленности, состоящая в нахождении наибольшей приспособленности х* =arg max Fix) для функции F(x) в пространстве поискаХ При-
.геД'
способленность /'/ особи i в эпоху /. где t е[0,+оо], рассчитывается на основании оценки работы нейросети, штрафа на размер нейросети, штрафа для схожих гено-
типов и продолжительности существования особи в популяции. Если в рамках решаемой задачи присутствует возможность составления выборок данных, для которых известны требуемые выходы, функция оценки рассчитывается на основании среднеквадратических ошибок на обучающем и валидационном множествах. Сред-неквадратическая ошибка на обучающем множестве Е', необходимая для расчета точности вывода нейросети, вычисляется следующим образом:
..... (8)
Е =
9=
где у'д — выход нейросети 7 при подаче на вход д-го образа обучающего множества; йч — требуемое значение выходного сигнала, 9 £ 1, Q■
Аналогичным образом определяется ¥{ — среднеквадратическая ошибка на валидационном множестве, показывающая способность нейросети к обобщению. Штраф на размер Ф' вычисляется исходя из количества нейронов и связей:
ф=и / И ах +м;/м:ах, (9)
где И' — количество нейронов особи; И'тга, — максимальное количество нейронов особей эпохи М' — количество связей между нейронами данной особи; М'тзх — максимальное количество связей между нейронами особей.
Штраф для схожих генотипов р ; рассчитывается на основании ртт (;, у) — минимального расстояния между 7-й хромосомой и другими хромосомами популяции:
Р =(Ртп(и))/(1 +Ртп(и)) ■ (10)
На значение приспособленности также влияет величина к , обратная продолжительности периода существования особи в популяции:
к= 1(1+Т), (11)
где Т — количество эпох эволюции данной особи.
Добавление к к значению приспособленности способствует решению проблемы незащищенности инноваций за счет существенного снижения риска удаления особи на начальных эпохах существования. При этом на последующих эпохах К не оказывает существенного влияния на приспособленность. Функция приспособленности Р* вычисляется по формуле
/ "" '"»-к. (12)
где шЕ, ыг — весовые коэффициенты, отражающие относительную значимость среднеквадратических ошибок вывода на обучающем и валидационном множествах и необходимые для контролирования способности нейросети к запоминанию и обобщению:
1 - У'
=2-Vf-E? ' ^у =1 ■ (13)
При решении задач, для которых невозможно сформировать множество желаемых откликов нейросети на эталонные сигналы, вместо параметров E' и У' используется функция оценки работы f , отражающая качество полученного решения в целом. В данном случае функция приспособленности имеет вид:
Для предотвращения преждевременной сходимости и ситуаций, в которых средние и наилучшие особи формируют примерно равное количество потомков, на основании F! вычисляется масштабированное значение приспособленности F:
F = (F;+Fmg-cxS)U^, (15)
где F — средняя приспособленность популяции; c = const е [1, 5]; о — средне-
квадратическое отклонение приспособленностей по популяции.
4. Проверка условия завершения: по количеству эпох, исчерпанию времени или количества обращений к функции оптимизации либо по достижении наилучшей комбинации генов. Если условие выполнено, алгоритм завершает работу. Иначе выполняется следующий шаг.
5. Селекция. Оператор отбора хромосом SL для новой популяции реализован вероятностным методом в сочетании с методом «элит». Наиболее удачные особи заносятся в пул «хороших» решений, остальные выбираются для рекомбинирова-ния с вероятностью PSL:
/ N
Psl (i) =F, XFj, (16)
где i, j — индексы особей.
Пул «хороших» решений необходим для поддержания разнообразия популяции и предотвращения быстрой сходимости алгоритма. Хромосома для фенотипа
*
p запоминается в пуле при выполнении условий:
(Ур е Р)((р(р,р) = рт ) П (F(p) = Fmax )), (17)
где pmax — максимальное в данную эпоху расстояние между особями; Fmax — максимальная приспособленность.
6. Рекомбинирование. В предлагаемом методе реализован двухэтапный многоточечный кроссинговер CR. Первый этап кроссинговера заключается в определении количества и координат точек пересечения c последующим скрещиванием исходных генотипов по заданным точкам. В общем случае результатом скрещивания особей pj = {«j, а2, •••, «}, p'j = {b, b, •••, Ь}eP' эпохи t является пара генотипов эпохи t+1:
pj+1 ={«,, «di, b , • b , «d2+1, • • adD, • • •}, 1 11 22 D ' (18)
pj = b bv b2^ bD, •.}ePi+1
где d, k e [1, D] — точки пересечения генотипов; D — количество точек пересечения.
Количество точек пересечения определяется как случайное число на отрезке [1, min{N, N2}], где N и N — количество нейронов в первом и втором генотипе, отобранных для кроссинговера. Точки dk выбираются в соответствии с условием dk=f- {lNl(j) = IN2(j))\J{OUTl(j) = OUT2(j)), где j индекс, позиционирующий нейрон в первом и втором генотипах; IN (j), IN (j) и OUT (j), OUT (j) — значения параметров IN и OUT для j-го нейрона в данных генотипах. В случае если индексов c равными значениями параметров несколько, выбираются индексы с наиболее близкими значениями. Индексация нейронов в генотипе в совокупности с использованием параметров IN и OUT снижает риск конкуренции представлений.
Второй этап кроссинговера состоит в корректировке синаптических связей генотипов, а именно в удалении и перераспределении связей, соотнесенных с отсутствующими в новой конфигурации нейросети нейронами. Этап необходим для гарантии жизнеспособности новых особей.
В данном методе мутация MT представлена в восьми модификациях (табл. 2). Вероятность мутации отдельного гена Рш (g) эпохи t равна:
Г^ e~vl2
■P"<g'WpL~ (19)
где а, р, у = const; L — длина хромосомы; N — размер популяции.
Выбор формулы данного вида обусловлен тем, что для эффективной эволюции вероятность мутации должна быть обратно зависима размеру популяции и понижаться с течением времени. Хромосомы большой длины обеспечивают вариативность популяции, поэтому значение Рг тем выше, чем меньше параметров содер-
жит хромосома. Параметры а, Р, у выбираются до начала эволюции и необходимы для тонкой настройки процесса мутации.
Вероятности применения каждой из модификаций оператора представлены в табл. 2. Индексирование узлов в генотипе предотвращает риск удаления новых элементов: при выполнении условия \ = /тах, где i — индекс данного узла; ^ — индекс последнего добавленного в генотип узла, вероятность использования операторов удаления равна нулю, что решает проблему незащищенности инноваций.
Таблица 2. Модификации оператора мутации
Оператор Обозначение Вероятность применения
Последовательное добавление нейрона mts _ add ps_add =0.1PmT (g )
Параллельное добавление нейрона mtp add Pp_ADD =0.1PmT (g,)
Удаление нейрона mtdel p |0, i = ¿max DEL | 0.1Pmt (g, ), i * 'max
Добавление связи между нейронами mtl _ add pl_add =0.1PmT (gi )
Удаление связи между нейронами mtl del p |0, i = 'max L_DEL | 0.1Pmt (g, ), i * imax
Добавление входа, соотнесенного параметру из пула mt1 _ add pl add =0.05Pmt (gi)
Удаление входа, соотнесенного параметру из пула mtj del p |0, i = ¿max 1 _DE 1 0.05Pmt (gi ),i * imax
Модификация параметров нейрона (порога, вида и параметров функции активации) mtalt Palt =02Pmt (8i)
Разработанные операторы селекции и рекомбинирования в совокупности с функцией приспособленности и пулом «хороших» особей предназначены для самоадаптации алгоритма к уровню сложности задачи.
7. Локальная оптимизация. Этап состоит из следующих шагов: эволюционной настройки параметров нейросети, пересчета функций приспособленности, возвращения к предыдущим значениям параметров в случае снижения приспособленности. Преимуществами эволюционной настройки являются независимость от топологии нейросети и характеристик функций активации и выборочная оптимизация параметров недавно измененных или добавленных нейронов без затрагивания модифицированной на предыдущих итерациях структуры.
8. Генерирование новой популяции Рм и переход на новую эпоху эволюции t + 1.
Представленный нейроэволюционный метод способен полностью исследовать пространство поиска, избегать локальные экстремумы на этапе генетического поиска и эффективно использовать найденные «хорошие» решения, т. е. постепенно улучшать результаты на основе промежуточных решений.
4. Экспериментальное исследование нейроэволюционных методов на серии эталонных задач
В качестве задач адаптивного управления были выбраны три варианта задачи об обратном маятнике теории автоматического управления. Обратный маятник имеет центр масс выше своей точки опоры и закреплен на конце жесткого стержня, точка опоры которого находится на тележке. В начальный момент времени маятник отклоняется на заданный угол от положения равновесия. Задача заключается в установлении устойчивого состояния маятника путем перемещения тележки некоторым усилием. При этом концов отрезка следует избегать. Задача считается успешно решенной, если нейросети удается удерживать его на протяжении заданного времени, при этом не перемещая тележку за пределы отрезка.
Классическая постановка задачи об обратном маятнике. Дан обратный маятник, тележка с которым перемещается в интервале —4 <х < 4 м (рис. 2). Начальная координата тележки х0 задается случайным образом на интервале —2 < х0 < 2 м. Начальная скорость тележки у0 = 0 м/с.
mg
I
M
I
Рисунок 2. Задача об обратном маятнике
Начальный угол отклонения маятника ф0 рад задается случайным образом, а его начальная угловая скорость равна нулю: ю0 = 0 рад/с. Управляющий сигнал представляет собой силу F, прикладываемую к тележке: —10 < F < 10 Н. Уравнения, описывающие данную систему без учета силы трения, имеют вид:
. , . cos ф / , ч
g sin^) — ^— (F — mlю2 sin ф)
со =
M + m
J 4 m cos ф
1 3 M + m
(20)
У
X
v
F
^ ^ F + ml (со2 sin ф - со cos ср) М + т
где g = 9.81 — ускорение свободного падения, м/c2; M = 1.0 — масса тележки, кг; m = 0.1 — масса маятника, кг; / = 0.5 — половина длины маятника, м: 1< — сила, прикладываемая к тележке, Н; со — угловое ускорение; v — скорость тележки.
Вектор входных параметров нейросети включает следующие характеристики системы: текущую координату тележки x, угол наклона маятника ф, скорость тележки v, угловую скорость маятника ю. Каждая из них масштабируется таким об-
разом, что входной вектор трЩ имеет вид:
трЩ =|Х, -,,-[. (22)
(4 % 4 %)
Эффективность особей популяции определяется на основании значения функции оценки /с, рассчитываемой как:
/с = к Ц- + 1фх + к,1р, (23)
где к > 0, - е [1, 3] — коэффициенты, направляющие эволюционный поиск, которые могут корректироваться в ходе эволюции; ^ — отклонение маятника от положения равновесия; — отклонение тележки от начала координат; — суммарное значение силы, прикладывавшейся к тележке за последние А1 = 30 с.
Критерием остановки является ограничение по времени: I > ?тах. Для усложнения задачи количество параметров было сокращено: на вход системы управления подавалась информация о текущем угле балансируемого маятника ф, но не о его угловой скорости ш:
input2 = fe, ф}• (24)
(4 % 4)
Задача о двух обратных маятниках, стержни которых имеют общую точку опоры на тележке, перемещающейся вдоль прямой. Тележка с двумя обратными маятниками, закрепленными на стержнях длины ^ и /2, перемещается в интервале -4 < x < 4 м. Начальная координата тележки x0 м задается случайным образом в интервале —2 <x0 < 2. Начальная скорость тележки v0 = 0 м/с. Начальные углы отклонения обоих маятников ф0 и ф° рад задаются случайным образом, их начальные угловые скорости равны нулю: = = 0 рад/с. Управляющий сигнал — это сила F, прикладываемая к тележке: -10 < F < 10 Н.
Входной вектор нейросети состоит из шести параметров: текущей координаты тележки x, углов наклона маятников ф1 и ф2, скорости тележки v, угловых скоро-
стей маятников га1 и го2. После масштабирования входной вектор нейросети три^ имеет вид:
— (х, Ф1,Ф2 V, ^|. (25)
И % % 4 % л ) Эффективность особей определяется посредством функции оценки /с:
/с = ¿оФф1 + + к21р , (26)
где & > 0, / е [1, 3] — коэффициенты, направляющие эволюционный поиск, которые могут корректироваться в ходе эволюции; Дф1 — отклонение первого маятника от положения равновесия; Дф2 — отклонение второго маятника от положения равновесия; Д — отклонение тележки от начала координат; /^ — суммарное значение силы, прикладывавшейся к тележке за последние А1 = 30 с.
Критерием остановки эволюции является ограничение по времени: ? > ?тах.
Для усложнения задачи количество параметров было сокращено до четырех: на вход системы управления подавалась информация о текущих углах балансируемых маятников ф1 и ф2, но не об их угловых скоростях ю1 и ю2:
трш2 ={Х, }. (27)
(4 % % 4)
Задача об обратном маятнике на плоскости. Тележка с закрепленным на ней обратным маятником перемещается не по прямой, а в двумерном пространстве. Такая система имеет две степени свободы: сила F состоит из двух компонент ¥ и ¥
и может прикладываться как по оси абсцисс, так и по оси ординат. Состояние системы определяется посредством восьми параметров: углов отклонения маятника по осям ОХ и ОУ (фх, ф ), соответствующих угловых скоростей маятника
(шх, ш ), координат тележки на плоскости у) и ее скоростей по осям (ух , V ).
Начальные координаты (х0 ,у0) задаются случайным образом: х0 е [—4,4], у0 е [—4,4]. Поле, по которому перемещается тележка, имеет размеры 20 х 20 м: х е[—10,10], у е [—10,10]. Начальные угловые скорости маятника равны нулю: ш*о =<Шо = 0. Начальные углы отклонения фх0 и ф0 задаются случайным образом. Управляющий сигнал — это сила F, прикладываемая к тележке: —10 < ¥ < 10 Н, —10 < ¥ < 10 Н. Входной вектор нейросети состоит из следующих
параметров: текущих координат тележки у), углов наклона маятника (ф, ф ),
скоростей тележки (ух, V ), угловых скоростей маятника (шх, ш ). После масшта-
бирования входной вектор тры^ имеет вид:
трш, = \£ X -х % ^ VL -Шх Ш- I. (28)
14'4' % ' % ' 4 ' 4 ' % ' % ] Эффективность особей определяется в зависимости от функции оценки /с:
Л = ко^ + ^ )+к^(Вх + Бу ) + кз(1р +7р-), (29)
где ^ > 0, - е [1, 3] — коэффициенты, направляющие эволюционный поиск, которые могут корректироваться в ходе эволюции; ВфХ — отклонение маятника от положения равновесия по оси О^, В — отклонение маятника от положения равновесия по оси ОY; В — отклонение тележки от начала координат по оси OX; В — отклонение тележки от начала координат по оси OY; 7^ — суммарное значение силы, прикладывавшейся к тележке за последние А1 = 30 с по оси OX; 7^ — суммарное значение силы, прикладывавшейся к тележке за последние А1 = 30 с по оси OY.
Критерием остановки эволюции является ограничение по времени: ? > ?тах. Для усложнения задачи количество параметров было сокращено до шести:
шрыг2 =\ £, -,Фк>(30) 14 4 % % 4 4 ]
Задача классификации. Для проверки эффективности нейроэволюционных методов для построения классификаторов линейно-неразделимых образов была выбрана задача «исключающего ИЛИ» (XOR). Реализация логических функций при помощи нейросети считается довольно тривиальной задачей, однако она была выбрана по двум соображениям. Во-первых, успешное решение задачи означает точность настройки весовых коэффициентов и оптимальность выбора в качестве функции активации пороговой функции. Во-вторых, задача служит проверкой релевантности генерируемой структуры нейросети: для ее корректного решения нейросеть должна иметь два входа, скрытый слой из четырех нейронов и один выход. Также в структуре нейросети должен присутствовать единственный скрытый слой, состоящий из двух нейронов с пороговыми функциями активации.
Обучающее множество для нейросетей было сформировано на основании таблицы истинности логической функции XOR. Граф, иллюстрирующий структуру и процесс передачи сигнала нейросети, показавшей наилучшие результаты по завершении процесса эволюции, изображен на рис. 3.
V,,
о у
Рисунок 3. Граф нейросети для решения задачи XOR
Изображенная на рис. 3 нейросеть имеет два входа и один выход. Весовые коэффициенты и пороги двух скрытых нейронов и единственного выходного нейрона принимают значения:
Задачи восстановления поврежденных данных за счет слабой формализуемости показательны при испытании нейроэволюционных методов. В качестве такой задачи было выбрано восстановление поврежденного изображения размером не более ЯхС рх, Х% пикселей которого неизвестны. Процесс восстановления осуществляется следующим образом: на вход нейросети подается изображение, Х% пикселей которого повреждены. На выходе нейросети формируется восстановленный образ, в котором Х% пикселей замещено значениями весов соответствующих нейронов. В ходе эксперимента использовались изображения с глубиной цвета 16 бит и значениями параметров Я = 600, С = 400. Цифровой шум в виде наложенной на изображение маски из пикселей случайного цвета и яркости генерировался при X е [10; 80].
Результаты работы алгоритма целесообразно оценивать величиной восстановления изображения р, вычисляемой по трем параметрам: расстоянию от поврежденного изображения до исходного ёДМГСД расстоянию от восстановленного изображения до исходного ё(1^, Дмгсе) и расстоянию от поврежденного изображения до восстановленного ёДанные расстояния вычисляются по метрике Минковского:
^и = ^12 = 1,® =—1.5, w3l = -2,>Уз2 = 1,9 =—0.5.
(31)
K | ttJ _ vj d (U ,V )=max £Ukl Vl
j=i
K
где Uj, Vj — значения цветов j-х пикселей изображений U и V; K — количество пикселей. Изображения U и V представлены в виде трех матриц цветов, соответствующих модели RGB. Величина восстановления изображения принимает значения на отрезке [0, 1] и рассчитывается по формуле:
d (L ) _ d (I .,1 )
v damaged' source s v recovered source s
P=-
(33)
^ 'damaged ' 1ге соу вгв(1 ^
В табл. 3 приведены результаты решения представленных эталонных задач при помощи основных нейроэволюционных методов и предложенного в данной статье метода. Для корректного сравнения эффективности методов результаты решения задач были усреднены по 100 запускам. При помощи нейроэволюционных методов оценивались косвенные показатели эффективности поиска решения: количество эпох эволюции, потребовавшихся для решения поставленной задачи, и количество неудачных запусков нейроэволюции, по результатам которых не было сформировано ни одного оптимального или близкого к оптимальному решения [8].
Таблица 3. Результаты применения нейроэволюционных методов
Задача Метод Количество эпох/неудач
Обратный маятник Два обратных маятника Обратный маятник на плоскости XOR Восстановление изображения
CE 5/0 150/14 230/20 19/0 441/4
DXNN 3/0 614/28 802/12 9/0 235/0
EANT 7/0 975/14 1040/1 14/0 148/23
ENS3 8/0 741/16 1021/5 15/1 360/0
NEAT 6/0 24/1 79/1 8/0 210/0
Предложенный метод 2/0 25/1 37/2 11/0 146/2
Полученные результаты свидетельствуют о том, что при должном разнообразии особей популяции решение тривиальных задач (построения логической функции XOR и задачи об обратном маятнике) может быть сформировано в первых поколениях нейроэволюции, при этом количество неудачных запусков является нулевым. Количество эпох эволюции возрастает в соответствии с усложнением задачи. Тем не менее для всех задач из эталонной серии были сформированы результаты, удовлетворяющие заданным критериям. Предложенный метод демонстрирует наилучшие или близкие к лучшим результаты и выигрывает у большинства приведенных методов по количеству эпох и неудачных запусков. Таким образом, данные, полученные в ходе экспериментального исследования эффективности метода на эталонных нейроэволюционных задачах, свидетельствуют о его эффективности.
5. Заключение
Одним из главных достоинств нейроэволюционных методов является предоставляемый ими максимально унифицированный подход к решению задач в условиях неопределенности. В частности, для сложных переборных задач, большинство из которых NP-полные, нейроэволюционные методы показывают блестящие результаты. Это подтверждается экспериментальным исследованием эффективности нейроэволюционных методов на множестве эталонных задач, имеющих практическую направленность.
В ходе исследования были получены результаты решения эталонных задач при помощи представленного в статье нового метода и проанализированных методов CE, DXNN, EANT, ENS3 и NEAT. Предложенный метод демонстрирует наилучшие результаты при решении задач об обратном маятнике и задач восстановления изображений или близкие к наилучшим результаты в задачах о двух обратных маятниках, об обратном маятнике на плоскости и реализации логической функции XOR. Анализ результатов эксперимента позволяет сделать вывод о целесообразности применения метода на практике.
Нейроэволюционный подход, несмотря на его возрастающую популярность при реализации модулей систем поддержки принятия решений, принято рассматривать как альтернативное направление в теории принятия решений. В статье показано, что нейроэволюционные методы демонстрируют высокие показатели качества при решении задач в различных предметных областях, в том числе, при решении задач восстановления поврежденных данных, задач управления динамическими объектами и классификации линейно неразделимых образов.
Литература
[1] Хайкин С. Нейронные сети: полный курс, 2-е издание. — М. : Вильямс, 2006.
[2] Whitley D., Gruau F., Pyeatt L. Cellular encoding applied to neurocontrol // Sixth International Conference on Genetic Algorithms, 1995. P. 460-469.
[3] Sher G. I. Evolving Chart Pattern Sensitive Neural Network Based Forex Trading Agents // Neural and Evolutionary Computing, Computational Engineering, Finance, and Science. 2011. P. 47-68.
[4] Sommer G., Kassahun Y. Efficient reinforcement learning through evolutionary acquisition of neural topologies // 13th European Symposium on Artificial Neural Networks, 2005. P. 259266.
[5] Pasemann F., Dieckmann U. Balancing rotators with evolved neurocontroller. — Leipzig : Max Planck Institute for Mathematic in Sciences, 1997.
[6] Stanley K., Miikkulainen R. O. Evolving neural networks through augmenting topologies // Evolutionary Computation. 2002. Vol. 10. No. 2. P. 99-127.
[7] Комлева Н. В., Хлопкова О. А. Обработка контента в информационных средах на основе нейро-нечеткой модели принятия решений // Экономика, статистика, информатика. Вестник УМО. Научно-практический журнал. 2013. № 5. С. 188-192.
[8] Sher G. I. Handbook of neuroevolution through Erlang. — New York : Springer, 2013.
Автор:
Хлопкова Ольга Андреевна — аспирант кафедры автоматизированных систем обработки информации и управления РЭУ имени Г.В. Плеханова
Comparative Analysis of Neuroevolutional Methods for Decision Support Under Uncertainty
O. A. Khlopkova
Plekhanov Russian University of Economics Stremyanny per. 36, Moscow, 117997, Russia
e-mail: perikrone@gmail.com
Abstract. The article presents a comparative analysis of the fundamental neu-roevolutional methods, which are widely applied for the intellectualization of the decision making support systems under uncertainty. Based on this analysis the new neuroevolutionary method is introduced. It is intended to modify both the topology and the parameters of the neural network, and not to impose additional constraints on the individual. The results of the experimental evaluation of the performance of the methods based on the series of benchmark tasks of adaptive control, classification and restoration of damaged data are carried out. As criteria of the methods evaluation the number of failures and the total number of evolution epochs are used.
Key words: neuroevolution, evolutionary modeling, neural networks, genetic algorithms, computational intelligence.
References
[1] Haykin S. (2006) Neyronnyie seti: polnyiy kurs. Moscow, Vilyams. [In Rus]
[2] Whitley D., Gruau F., Pyeatt L. (1995) Cellular encoding applied to neurocontrol, In Sixth International Conference on Genetic Algorithms, pp. 460-469.
[3] Sher G. I. (2011) Evolving Chart Pattern Sensitive Neural Network Based Forex Trading Agents, In Neural and Evolutionary Computing, Computational Engineering, Finance, and Science, pp. 47-68.
[4] Sommer G., Kassahun Y. (2005) Efficient reinforcement learning through evolutionary acquisition of neural topologies, In 13th European Symposium on Artificial Neural Networks, pp. 259-266.
[5] Pasemann F., Dieckmann U. (1997) Balancing rotators with evolved neurocontroller. Leipzig, Max Planck Institute for Mathematic in Sciences.
[6] Stanley K., Miikkulainen R. O. (2002) Evolutionary Computation, 10(2):99-127.
[7] Komleva N. V., Khlopkova O. A. (2013) Ekonomika, statistika, informatika. Vestnik UMO. 5:88-192. [In Rus]
[8] Sher G. I. (2003) Handbook of neuroevolution through Erlang. New York, Springer.
