CC BY
77
УДК 519.816
СИНТЕЗ ОПТИМАЛЬНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ С ПОМОЩЬЮ МОДИФИЦИРОВАННОГО ГЕНЕТИЧЕСКОГО АЛГОРИТМА
И.Б. Бондаренко, Ю.А. Гатчин, В.Н. Гераничев
Рассмотрены принципы синтеза нейронных сетей, показаны недостатки подходов при выборе структуры и настройке весов. Оптимизация сетей возможна с применением эволюционных алгоритмов, обладающих преимуществами, которые проявляются при работе с многосвязными и многослойными сетями. Проведенные имитационные эксперименты на конкретной тестовой функции подтверждают эффективность разработанных алгоритмов. Ключевые слова: искусственная нейронная сеть, генетический алгоритм, кластерный анализ, нейрон, хромосома, обратное распространение ошибки, тестовая функция Бранинса.
Введение
Интеллектуальные системы на основе искусственных нейронных сетей (ИНС) позволяют с успехом решать проблемы распознавания образов, классификации, аппроксимации функций, выполнения прогнозов, оптимизации и управления. Создание ИНС сводится к выполнению следующих этапов:
- синтез структуры ИНС;
- настройка весов всех нейронов ИНС (обучение).
В настоящее время для реализации перечисленных задач не существует строгих методов решения, даются лишь рекомендации. Предлагаемые алгоритмы направлены на решение локальных задач, из-за чего структура ИНС оказывается неудовлетворительной, а время обучения - большим. В этом случае приходится создавать сеть и производить расчеты заново. Еще меньшее внимание уделяется исследователями построению многослойных несимметричных ИНС, характеризующихся сложностью и многовариантностью.
Для создания структуры и настройки весов сети (стратегия обучения «с учителем») авторами [1] предлагаются подходы, основанные на использовании эволюционных алгоритмов. Однако предлагаемые процедуры позволяют получить лишь один вариант структуры ИНС. В настоящей работе авторами предлагается разработанный модифицированный генетический алгоритм (МГА) совместно с кластерным анализом всех возможных вариантов, с целью получения полного множества оптимальных вариантов построения ИНС. Такой подход позволит расширить множество анализируемых альтернатив в системах принятия решений, основанных на применении ИНС: интеллектуальных автоматизированных систем проектирования, экспертных систем, систем управления и т.п.
Постановка задачи
Основу ИНС составляют нейроны, имеющие строение, сходное с биологическими аналогами. Каждый нейрон можно представить как микропроцессор с несколькими входами и одним выходом. Синаптические веса Wi оказывают влияние на выходной сигнал нейрона NET [2, 3]:
k
NET = Y, WtX, , i
где k - количество входов нейрона; Xi - i-й вход нейронной сети. С помощью блока нелинейного преобразователя окончательно формируется выходной сигнал OUT. В нелинейном преобразователе в качестве преобразующей (сжимающей) использована сигмоидальная функция. При объединении нейронов между собой образуется структура - нейронная сеть. Выстроенные вертикально нейроны образуют слои: входной, внутренний/внутренние и выходной. Количество слоев определяет сложность и, в то же время, функциональность сети, которая до конца не исследована.
Для исследователей выполнение первого этапа создания сети является наиболее сложной задачей. В литературе даются следующие рекомендации [4].
1. Число нейронов скрытого слоя определяется эмпирическим путем, но в большинстве случаев используется правило
N < N + N ,
скр — вх вых '
где ^кр, N^, ^ых - число нейронов соответственно в скрытом, входном и выходном слое.
2. Увеличение количества входов и выходов сети ведет к необходимости увеличения числа нейронов в скрытом слое.
3. Для ИНС, моделирующей многоэтапные процессы, необходим дополнительный скрытый слой, но, с другой стороны, добавление скрытых слоев может привести к перезапоминанию и к неверному решению на выходе сети.
С учетом приведенных рекомендаций количество слоев и число нейронов в скрытых слоях выбирается исследователем, исходя из его личного опыта.
Для выполнения этапа обучения ИНС разработано множество алгоритмов. Наибольшее распространение получил метод обратного распространения ошибки, который позволяет подстраивать веса в
СИНТЕЗ ОПТИМАЛЬНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ...
многослойных сложных ИНС с помощью обучающих наборов. По рекомендации Е. Баума и Д. Хасслера [2] объем обучающего множества прямо пропорционален количеству всех весов ИНС и обратно пропорционален доле ошибочных решений при работе обученной сети.
Недостатки алгоритма обратного распространения, с которыми сталкиваются исследователи, несмотря на все разработанные модификации, заключаются в следующем. Процесс обучения может длиться достаточно долго, а может никогда не закончиться. Чрезмерное увеличение весов ИНС может привести к «параличу» сети, когда синаптические веса перестанут изменяться, не достигнув конца обучения. Величину шага необходимо постоянно подстраивать, сеть необходимо постоянно «доучивать», так как она постепенно «забывает» предыдущие обучающие наборы, которым она была обучена. Все эти недостатки приводят к тому, что разработка ИНС под конкретную задачу сильно усложняется. Наше исследование в рамках данной работы посвящено выполнению только второго этапа.
Рис. 1. Принцип обучения ИНС методом обратного распространения ошибки
Математически задача подбора весов состоит в оптимизации функции ошибки Я или показателя качества обучения (рис. 1)
Яор, = ш1и(Я), Я -Е)2
2 •=1
(1)
где N - мощность множества обучающих пар; ОПТ/ - полученное с помощью сети значение выходного нейрона при /-м наборе обучения; Еi - требуемое значение выходного нейрона при /-м наборе обучения.
Каждая /-я ошибка А,- будет определяться как расхождение между значением на /-м выходе сети и /-м обучающим значением
д. = ОПТ -Е, / = 1, 2,..., п .
Разработанный метод решения
Функция ошибки (1) является негладкой и многоэкстремальной, а решением задачи обучения является нахождение ее экстремума. При этом решение будет означать реализацию весов ИНС. Классические методы решения такой задачи, такие как градиентный спуск, метод Ньютона, метод многошаговой редукции размерности, стохастические методы [5], позволяют получить только одно решение задачи оптимизации.
Исследователями делаются попытки использовать для решения задачи оптимизации функции ошибки генетические алгоритмы (ГА). ГА основаны на параллельной обработке конкурирующих вариантов, а их основными достоинствами являются достаточно быстрая сходимость и нечувствительность к локальным экстремумам.
Основными процедурами ГА являются генерация вариантов, отбор, скрещивание и мутация. Разработано большое число модификаций ГА, в том числе мультиколониальные и с управляемым поиском.
Авторами предложен МГА для поиска множества оптимальных решений, в котором особь представляет один из конкурирующих вариантов. В работе использовано вещественное кодирование, при котором гены в хромосоме - вещественные числа, а не биты. Процедура отбора состоит в определении приспособленности хромосомы, которая вычисляется по формуле [6]
/ (Н)
= N , (2)
Е г (н)
где /(Нг) - пригодность /-й хромосомы; Мкг- количество хромосом или размер популяции.
1=1
Более приспособленные особи скрещиваются, и из потомков образуются новые варианты, которые можно оценить с помощью (2). Каждая особь содержит информацию о связях в сети между нейронами и ее весах. Таким образом, можно подстраивать как веса, так и структуру ИНС. Структурная схема алгоритма решения поставленной задачи представлена на рис. 2. С ростом числа хромосом Ыкг, количество которых задает пользователь, прямо пропорционально возрастает и размер генофонда. В результате отбора, скрещивания и мутации постепенно формируется множество решений.
^ Начало^
Фильтрация повторяющихся хромосом
1
Нахождение множества экстремумов
Т
^ Конец
)
Рис. 2. Структурная схема разработанного алгоритма
Рис. 3. Структурная схема алгоритма кластеризации данных
Для реализации последней процедуры - нахождения множества решений - использован иерархический метод теории кластерного анализа К-средних [7]. Использована стратегия объединения исходных данных в кластеры. Изначально каждому наблюдению соответствует свой кластер (рис. 3). Далее выполняется процедура определения центра ц, , - =1, 2, ..., t каждого из t кластеров, компоненты которого вычисляются как среднее арифметическое наблюдений, входящих в этот кластер. В центре каждого кластера - вычисляется сумма квадратов расстояний от--го центра до /-го элемента Ь,
СИНТЕЗ ОПТИМАЛЬНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
Г = - ц v (й) )
j=1 b.eS-
где Sj - полученные кластеры; ц (b,) - центры масс векторов b, е S-. Затем минимизируется суммарное квадратичное уклонение точек кластеров от центров ц-.
Результат проверки расстояния от каждого элемента до центра его кластера показывает, следует ли повторить процедуру или закончить выполнение алгоритма.
Экспериментальное исследование алгоритма
Для проведения имитационного эксперимента в качестве функции ошибки (1) была использована тестовая функция Бранинса (Branins's rcos function) [6]:
Q(a1, a2) = (a2 -—^a2 +—a1 - 6)2 +10 • (1 ——) • cos(a1) +10 . 4п n 8n
Аргументы a1 и a2, изменялись на интервале [-10; 20] для достижения минимума функции
Q(a1, a2). Сложность поиска состоит в том, что функция Бранинса имеет четыре глобальных экстремума
- минимума, расположенных вблизи друг от друга.
О X О X О X о X о X О X
Y л Y : Y Y Y Y ;
ёк=20 Шг=50
О ■ -X О ■■'-•• X о X О ■■X О ...X О Г X
Y Y ■ Y Y Y Y
NM=6 0 Л^-70 Л^-80 Л^=100 7^=200
О .X О О - ••• X О X О О
Y и I" Y i Y •Si* Y •К L, J : f- Y Y ь. Ч ! .
Nkr = 300 Nk:= 400 Nfa, =500 Nhr =б0° Nfa, =700 Nhr =800
О . ^ .V О ■I" '-■•' X О ¡4- : ■■ X о X О х О
Y Y vJ" * 4 ■ а 7 Y .1: : ' Г ■л-;- Y J" К " ;; * -*» Y _ t*. •.i-V.
7^=1000 74, =1200 Nb= 1400 Nhr = 1600 Nfa =1800 Nfr =2000
Рис. 4. Рост числа приближений с ростом числа хромосом (проекция на плоскость ХОУ)
При малом числе хромосом Щг генофонд содержал одно оптимальное решение и несколько приближений к нему (рис. 4). С ростом параметра Ы^, возрастает и число попаданий в область всех четырех глобальных минимумов, а также приближений к ним. Исследования показали, что при превышении порога в 900 хромосом дальнейшее увеличение этого параметра приводит к росту числа приближений к истинному значению экстремумов функции Q(a\, а2). Результаты получены для значения точности поиска 0,01.
Исследована процедура кластеризации. Исходным являлось множество, полученное в результате работы МГА (генофонд). За достаточное число хромосом принята величина 900. Мощность множества вариантов после фильтрации одинаковых решений (рис. 2) для функции Бранинса равна 83. Результаты работы алгоритма, представленного на рис. 3, приведены в таблице.
Номер Координаты Значение Соответствующие Значение
найденного центра кластера функции координаты функции
кластера (ab a2) ß(ab a2) в экстремума ß(ab a2) в
центре функции точке
кластера экстремума
1 (8,9443;2,3523) 1,5515 (9,4248;2,475) 0,3979
2 (3,3686;1,6596) 0,8423 (3,141;2,275)
3 (-3,1132;12,2195) 0,4019 (-3,141;12,275)
4 (15,8464;13,3937) 0,5203 (15,714; 12,900)
Таблица. Результаты работы алгоритма кластеризации
Заключение
Предложена методика для синтеза оптимальной структуры искусственной нейронной сети, основанная на применении двух алгоритмов. Разработанный модифицированный генетический алгоритм, в отличие от классического, позволяет находить множество оптимальных вариантов. Предложенный метод кластеризации данных позволяет разделить области расположения оптимумов на области, в которых найденные центры кластеров максимально приближены к реальным экстремумам. По сравнению с методом обратного распространения ошибки разработанная процедура выгодно отличается тем, что подбор весов осуществляется вне зависимости от формы и количества локальных экстремумов. Это дает возможность при настройке весов нейронных сетей, а впоследствии и ее структуры, отыскать множество оптимальных вариантов, что предоставляет исследователю больше вариантов реализации сложных систем в процессе принятия технических решений. Для развития предложенного подхода планируется разработать алгоритмы настройки структуры искусственной нейронной сети.
Литература
1. Курейчик В.В. Эволюционные, синергетические и гомеостатические методы принятия решений: Монография. - Таганрог: Изд-во ТРТУ, 2001. - 99 с.
2. Уоссермен Ф. Нейрокомпьютерная техника. - М.: Мир, 1992. - 161 с.
3. Гладков Л.А., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. - 2-е изд. - М.: Физматлит, 2006. - 320 с.
4. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. -СПб: Наука и техника, 2003. - 380 с.
5. Бондаренко И.Б. Методы оптимизации проектных решений и технология искусственного интеллекта в интегрированных САПР // Научно-технический вестник СПбГУ ИТМО. - 2005. - № 20. - С. 167-171.
6. Бондаренко И.Б., Гатчин И.Ю., Коробейников А.Г. Разработка модификации генетического алгоритма для поиска множества оптимальных решений тестовой функции. Информационные технологии в профессиональной деятельности и научной работе // Сборник материалов Всероссийской научно-практической конференции с международным участием. Ч. 1. - Йошкар-Ола: Мар. ГТУ, 2011. - С. 111-115.
7. Барсегян А.А., Куприянов М.С., Холод И.И., Тесс М.Д. Анализ данных и процессов. - СПб: БХВ-Петербург, 2009. - 331 с.
Бондаренко Игорь Борисович - Санкт-Петербургский национальный исследовательский университет
информационных технологий, механики и оптики, кандидат технических наук, доцент, igorlitmo@rambler.ru Гатчин Юрий Арменакович - Санкт-Петербургский национальный исследовательский университет
информационных технологий, механики и оптики, доктор технических наук, профессор, зав. кафедрой, gatchin@mail.ifmo.ru Гераничев Владимир Николаевич - ФГУП Санкт-Петербургское ОКБ "Электроавтоматика", начальник отдела, geranichev@mail.ru
