Кооперативно-соревновательный алгоритм обучения сетей радиального базиса Текст научной статьи по специальности «Математика»

ЛИТЕРАТУРА

1. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир,1992

2. Курейчик В.М. Генетические алгоритмы: Монография. Таганрог: Изд-во ТРТУ, 1998. 242с.

УДК 681.518:339.13

О.В. Коновалов1

КООПЕРАТИВНО-СОРЕВНОВАТЕЛЬНЫЙ АЛГОРИТМ ОБУЧЕНИЯ СЕТЕЙ РАДИАЛЬНОГО БАЗИСА

1. . , -ных нейронных сетей, всегда имеют только один скрытый слой элементов, причем производимые вычислительные операции для скрытого и выходного слоев различаются. Первый (входной) и последний слои сети выполняют те же функции. Каждый элемент скрытого слоя характеризуется центром с - точкой во входном пространстве и отклонением ё. При подаче на вход сети образа каждый элемент определяет евклидово расстояние от собственного центра до входного образа, соотносит это расстояние с отклонением и берет от полученной величины нелинейную функцию /1, 2/. Общее преобразование Fj, выполняемое сетью радиального базиса по выходу у, имеет следующий вид:

где ty0 - значение порога по j-му выходу.

L радиально-симметричных базисных функций осуществляют нелинейное преобразование, предварительно соотнеся входы с собственными значениями центра и отклонения.

ф(х)=ф(\ \х - ci\ \ /d), где Ci е есть центр базисной функции ф„ a d является отклонением или масштабирующим множителем для радиуса \\х - ci\\, и || || -

обычно евклидова норма в ^п. Теоретически и практически исследованы множество различных функций ф, однако наиболее популярны среди них следующие /1/:

- ф(г)= Г2 log r - тонкопленочный сплайн (thin plate spline);

_ r 2/2

- ф(г)= e - гауссоида;

- ф(г)= V r2 + 1 - мультиквадратичная функция;

где во всех случаях г - масштабированный радиус | |х - е,\| /di .

Первоначально сети радиального базиса были предложены как интерполяционный метод и их свойства в решении соответствующих задач были достаточно

1 Работа выполнена при поддержке РФФИ, грант №00-01-00125

L

(1)

1

инверсная мультиквадратичная функция,

/1/. -де набора из К точек х1г х2, ..., хк в , то имея столько же элементов, сколько и точек, можно поместить центр каждого элемента в соответствующую точку, а отклонение приравнять расстоянию до другой ближайшей точки и, таким образом,

. , что количество элементов (нейронов) значительно меньше обучающей выборки, что значительно усложняет процесс обучения. Сама постановка задачи обучения практически не меняется, кроме того, что необходимо найти не веса и пороги, а центры и отклонения элементов. Функция ошибки, используемая для определения качества обученной сети, имеет тот же вид, что и функция прямого распространения ошибки.

Сети радиального базиса в настоящее время широко используются также и

/2/. , , качестве нелинейной функции только гауссоид, который позволяет использовать как обучающие правила алгоритмы кластеризации, наиболее популярным из которых является алгоритм векторного квантования /3/. Поскольку можно достаточно просто найти производные Е по отклонению и компонентам центра, то несложно определить для сетей радиального базиса и градиентный алгоритм обучения, который будет очень слабо отличаться от соответствующего правила для многослойного персептрона. Однако характерная особенность элементов с гауссоидами - их ( ) -диентную оптимизацию эффективно в начале обучения (производная близка к нулю) /2/. Тем не менее, когда центры и отклонения нейронов грубо определены, такое дообучение может значительно ускорить нахождение оптимального решения.

Сети радиального базиса имеют ряд преимуществ по сравнению с обычными ,

обучения. В последующих подразделах мы рассмотрим два кооперативных алгоритма. Первый из них использует ту же стратегию, что и в описанном выше, сочетая эволюционное программирование с дельта-правилом, а второй алгоритм в полной мере реализует кооперативный подход, эффективно используя технику генетических алгоритмов для решения интерполяционных задач /4/.

2. Алгоритм классификации на основе эволюционного программирова-

.

2.1. . -

кационной задачи сетью с обычной архитектурой основное назначение скрытых

- ( -) , образы по возможности только одного класса. В сетях радиального базиса необходимо использовать совершенно противоположную стратегию - объединять образы одного класса таким образом, чтобы не захватывать образы других классов. Радиальные элементы с гауссоидами имеют одно очень важное свойство - локальность действия (влиянием гауссоида на расстоянии более чем 2di от центра с можно пренебречь) (рис.1). Для обычных сетей это не так, поскольку при разделении в каждой точке входного пространства необходимо учитывать воздействие всех скры-.

независимо от других, а следовательно, и осуществлять независимый отбор элементов в следующее поколение, что значительно ускоряет сходимость алгоритма. В качестве функции эффективности отдельного элемента используется следующая функция:

е = Е с (х) - Е о а,), (2)

хк х, €8

где е - значение эффективности _|-го элемента;

О(х) - значение выхода _|-го элемента при подаче на вход образа х;

хк - образы обучающей выборки класса 8, сумма выходов по которым макси;

х, - .

При подсчете эффективности находятся значения, которые набирает данный нейрон на каждом из классов. Затем среди этих величин находится максимальная и из нее вычитаются все остальные. Другими словами, эта функция определяет, насколько данный элемент ] выделяет класс 8 среди образов всех других классов. Очевидно, цель обучающего правила заключается в максимизации значений для всех скрытых элементов сети.

Большим достоинством данной функции является то, что она не требует знания выходных весов. Таким образом, можно улучшать центры и отклонения элементов без обучения выходных параметров, что очень значительно сокращает среднее время одной итерации. Обучение выходного слоя требуется лишь для вычисления общей ошибки сети (2.4), которая определяет терминальное условие ал.

Рис.1.Архитектура кооперативно-соревновательной модели

2.2. Описание алгоритма.

1. Генерирование начальных значений центров и отклонений всех элементов.

2. Определение эффективности ej каждого гауссоида.

3. Если IN mod b = 0, то переход к следующему пункту, иначе переход к пункту

9.

4. Обучить выходной слой с помощью 15 итераций градиентного правила.

5. Определить глобальную ошибку сети E.

6. Если обучение закончено, то выход.

7. Определить дублирующие элементы.

8. Перераспределить худшие дублирующие гауссоиды на худшие образы.

9. Порождение нейронов-потомков.

10. Определение качества потомков ej.

11. .

12. Переход к пункту 3.

При генерации начальных значений использовалось равномерное распределение центров по входному пространству. Отклонения также генерировались равномерно распределенными на некотором интервале. Этот интервал задает допустимые значения отклонений и при порождении потомков. Распределение отклонений можно также задавать по нормальному закону или какому-либо другому, дающему максимум вероятности в центре интервала.

ЛИТЕРАТУРА

1. M.J. D. Powell, Radial basis functions for multivariable interpolation: A review, in IMA Conference on Algorithms for the Approximation of Functions and Data, Royal Military College of Science: Oxford University Press, 1987, pp. 143-167.

2. S. Renals, R. Rohwer, Phoneme classification experiments using radial basis functions, in IJCNN: International Joint Conference on Neural Networks, pp.I-46-I-467, Piscataway, N. J.

: IEEE, 1989.

3. Moody J., Darken C.J., Fast learning in networks of locally-tuned processing units,Neural Computation, vol.1, pp. 281-294, 1989.

4. Whitehead B.A., Choate T.D., Cooperative-Competitive Genetic Evolution of Radial Basis Function Centers and Widths for Time Series Prediction, IEEE Transactions on Neural Networks, 1995.

УДК 621.372

Л.А. Зинченко, АЛ. Гулевич1

ОСОБЕННОСТИ РЕАЛИЗАЦИИ СИСТЕМЫ ЭВОЛЮЦИОННОГО ПРОЕКТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ СИМВОЛЬНЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

Автоматизация проектирования сталкивается с проблемами формализации поиска решения в нестандартных ситуациях. В общем случае методы проектирования могут быть разделены на две группы: структурный и параметрический синтез. Чем меньше известно о правилах и процедурах синтеза, тем сложнее оказывается формализация процедуры поиска возможных решений. При параметрическом синтезе задача сводится к определению численных параметров элементов при заданной топологии схемы. Более сложной является задача структурного синтеза, которая в свою очередь может быть инновационным проектированием (перебор закон, ,

1 Работа выполнена при поддержке РФФИ, грант №01-01-00044