Модифицированные алгоритмы построения нейронной сети SOFM Текст научной статьи по специальности «Математика»

2. Системный анализ, обработка информации и информационные технологии

УДК 004.032.26(06)

С.В. Архипов

МОДИФИЦИРОВАННЫЕ АЛГОРИТМЫ ПОСТРОЕНИЯ НЕЙРОННОЙ СЕТИ SOFM

Представлен краткий обзор известных нейросетевых алгоритмов построения адаптивных сеток. Приводятся часто используемые варианты функций соседства нейронов. На примере использования Гауссовой функции расстояния между нейронами в модифицированном алгоритме сети SOFM исследована зависимость качества адаптации сетки от параметров функции. На основе вычислительных экспериментов предложены рекомендации по выбору параметров функции соседства при адаптации плоской сетки на сложной области модифицированным алгоритмом SOFM.

Ключевые слова: нейроные сети, самоорганизующиеся карты признаков, адаптивные сетки.

S. V. Arkhipov

THE MODIFIED ALGORITHMS OF CONSTRUCTION OF NEURAL NETWORK SOFM

The brief review of known neural network algorithms of construction of adaptive grids are presented here. Often used variants of functions of neurons adjacency are resulted. Dependence of quality of grid adaptation from function parameters has been researched on the basis of using Gaussian function about the distance between neurons in modified algorithm of network SOFM. According to computing experiments recommendations at the choice of function parameters of the adjacency at adaptation of flat grid on complex area by modified algorithm SOFM have been resulted here.

Keywords: neuron network, self-organizing feature maps, adaptive grid.

Введение

Неослабевающий интерес к проблеме построения адаптивных сеток обусловлен необходимостью получения достоверного численного решения прикладных задач при сохранении умеренных требований к вычислительной технике. Основная идея методов построения адаптивных сеток состоит в уменьшении размеров ячеек в зонах расчетной области, соответствующих значительным ошибкам решения.

Для построения адаптивных сеток с заданной плотностью применяются следующие традиционные методы эквираспределения [1], Томпсона [2], эллиптический метод [3], алгебраические методы [4], конформных отображений [5] и т.д. В основе применяемых методов лежат теории дифференциальных уравнений, вариационного исчисления и многомерной дифференциальной геометрии. Для получения качественных адаптивных сеток все эти методы требуют решения сложных систем нелинейных дифференциальных уравнений с частными производными, что накладывает ряд известных ограничений.

В настоящее время способность построения адаптивных сеток с заданной плотностью на сложной физической области демонстрируют нейросетевые алгоритмы [6], [7], [8], [9], [10] и т.д. Развитие современных нейросетевых моделей обязано классической теории самоорганизующихся карт Кохонена (сеть SOFM - Self-Organizing Feature Maps, T.Kohonen) (например [11], [12]). Соревновательная нейронная сеть SOFM с обучением без учителя выполняет задачу проецирования многомерного пространства в пространство с более низкой размерностью (чаще всего двумерное). Дискретно-стохастический подход, присущий обучению нейросетей, обеспечивает привлекательность в отношении простоты алгоритмов, возможностей их эффективного распараллеливания, отражения плотности распределения данных в области и отсутствия привязки к размерности отображаемого пространства.

Как известно [9], применение базовой модели SOFM приводит к появлению граничного эффекта, наличию мертвых нейронов и нарушению гладкости сетки. Для решения указанных проблем предложены модифицированные методы, в основе которых лежит идея чередования базового алгоритма для внутренних и внешних узлов [7], использования так называемых раскрашенных моделей и специальных алгоритмов сглаживания [9]. Кроме того, в алгоритмах усовершенствованы функции соседства нейронов. Эта функция представляет собой невозрастающую функцию от дискретного времени и расстояния между нейроном-победителем и соседними нейронами в сетке. Функция соседства нейронов разбивается на две части: собственно функцию расстояния и функцию скорости обучения. Изменение параметров

функций расстояния и скорости обучения относительно дискретного времени обеспечивает качество адаптации сетки на области. Как правило, приемлемая адаптация сетки наступает в результате многочисленных вычислительных экспериментов по выбору параметров функции соседства нейронов. В то же время рекомендации по характеру функций расстояния и скорости обучения носят достаточно общий характер и незначительно облегчают поиск оптимальных параметров.

В данной работе, помимо представления краткого обзора существующих нейросетевых алгоритмов адаптации регулярных сеток на плоскую область, предпринята попытка формулировки рекомендаций по выбору параметров функции соседства, включающей Гауссову функцию расстояния для модифицированного алгоритма SOFM.

Основные идеи

Самоорганизующаяся карта признаков имеет набор входных элементов, число которых соответствует размерности учебных векторов (пространства физической области), и набор выходных элементов, которые служат в качестве прототипов и называются кластерными элементами (узлы сетки). Входной слой элементов передает сигналы кластерным элементам при помощи взвешенных связей. Весовые значения связей интерпретируются как значения координат, описывающих позицию кластера в пространстве образцов. В начальный момент дискретного времени кластерные элементы могут определяться как случайными координатами пространства образцов, так и в заданных вершинах регулярной решетки, например, с треугольными, квадратными или шестиугольными краями. В процессе обучения веса нейронов настраиваются, в результате чего сетка, самоорганизуясь, постепенно растягивается по заданной физической области.

Работа сети SOFM характеризуется этапом инициализации карты и циклом:

1) выбор случайного образца x(n) с заданной плотностью распределения;

2) нахождение узла победителя (best matching unit, BMU) - кластера на карте признаков, вес которого имеет меньшее отличие в заданной метрике от случайного образца;

3) корректировка узлов из числа близлежащих к победителю - изменение веса победителя и его соседей с целью приближения к случайному образцу;

4) определение ошибки карты.

При определении узла победителя в шаге 2, как правило, в качестве метрики выбирается Евклидово расстояние d . В редких случаях используют угол между радиус-векторами узла претендента и случайного образца.

Корректировка положений узлов шага 3 происходит в зависимости от степени близости к победителю c помощью функции соседства 0(n,iBMU, jBMU,i, j) по формуле:

wij (n +1) = wij (n) + q(n iBMU , jBMU , и j)■( x(n) - wij (n)), (1)

где n - номер итерации, wtj - вес ij -го узла, x(n) - случайно выбранный образец, iBMU jBMU - индекс узла победителя для образца x(n) .

Функция соседства представляет собой невозрастающую функцию от дискретного времени n и расстояния между нейроном-победителем и соседними нейронами в сетке. Как описано выше, эта функция разбивается на две части: функцию расстояния h(d, n) и функцию скорости обучения S(n), т.е.

q(n, iBMU, jBMU, i, j) = S(n) • h(d,n).

Обычно применяется одна из двух функций расстояния:

[const, d <a(n)

h(d, n) = < - ступенчатая функция

[ 0, d >a(n)

или функция Гаусса

- d2

h(d,n) = e 2ff2(n). (2)

Лучший результат при адаптации сетки на сложной области показывает функция Гаусса. Функция cr(n) называется радиусом обучения, который выбирается достаточно большим на начальном этапе обучения и постепенно уменьшается так, что в конечном итоге обучается один нейрон-победитель. В качестве радиуса обучения используют линейно или экспоненциально убывающую функцию от времени, например, в работе [8]

c(n) = a • n-0-2, (3)

где величина а выбирается таким образом, чтобы на первой итерации получили ощутимое смещение все узлы карты. При этом в качестве расстояния d в формуле (2) предлагается использование сеточного расстояния d2 = (iBMU - i)2 + (jBMU - j)2.

Функция скорости обучения 0(n) также представляет собой функцию, убывающую от времени. Наиболее часто используют линейную, обратно пропорциональную n -f Ч const1

о (n) =---------------, или экспоненциальную

n + const2

0(n) = п02. (4)

В работе [9] функции скорости обучения 0(n) и расстояния (латеральная связь [9]) h(d, n) модифицированы к виду

( 5(”-”mai) ^

1 - g ^

S( n) = n 0'2

к(d,п) = ^ г2(п),

где птах - максимальное число итераций, ^ - константа близкая к нулю, d - евклидово расстояние между нейронами, г (п) - радиус обучения

( 5(п-Пт„) \(

Г ( П ) = Гшп +

1 - e

пшах

n

.Птах

— і

здесь гтт, гтах - начальный и конечный радиусы обучения.

Как видно из приведенных функций, все они в большем или меньшем числе содержат параметры, результат подбора которых существенно влияет на качество построения адаптивной сетки, что означает высокую эвристику алгоритма.

Применение вышеописанного алгоритма, который назовем базовым, в сочетании с различными вариантами функции соседства приводит к трем основным проблемам:

1. Адаптация сетки на невыпуклой области G не гарантирует, что все узлы сетки будут принадлежать области G.

2. Граничные узлы построенной сетки расположены на определенном расстоянии до границы области, отличном от нуля. Это расстояние сопоставимо со средним расстоянием между узлами сетки.

3. Нарушение гладкости адаптивной сетки вследствие уменьшения радиуса обучения на стадии уточнения.

Для решения двух первых проблем в работе [7], которая посвящена использованию БОБМ для построения конечно-элементных сеток, была предложена идея модификации алгоритма обучения БОБМ, состоящая в том, что чередуется применение этого алгоритма отдельно для граничных и внутренних узлов. Один цикл такого чередования называется макроитерацией [8]. В соответствии с этой идеей был разработан модифицированный алгоритм построения конечно-разностных адаптивных сеток [9].

Модифицированный алгоритм.

0. Инициализация положений узлов сетки.

1. На первой макроитерации (я = 1) применяется базовый алгоритм в течение п0 итераций ко всем узлам сетки.

2. На каждой макроитерации с номером я > 1 выполняются следующие действия:

а) применение базового алгоритма в течение п1(я) итераций к граничным узлам сетки с генерацией точки только на границе области;

б) применение базового алгоритма в течение п2^) итераций ко всем узлам с генерацией точки во всей области. При этом все граничные узлы зафиксированы и не меняют своего положения. Кроме того, если узлом-победителем является граничный узел сетки, то он заменяет случайную точку х(п).

3. Повторяются макроитерации до тех пор, пока изменения положений узлов не станут достаточно малыми.

Идея решения третьей проблемы заключается в том, чтобы использовать граничные нейроны в качестве представителей несуществующих нейронов за пределами карты, которых не хватает для балансировки асимметричности латеральных связей. Алгоритм, осуществляющий сглаживание сетки, применяется после применения модифицированного алгоритма и выходит за рамки данного обзора.

d

Из приведенного обзора видно, что известный к настоящему времени модифицированный алгоритм адаптации сеток унаследовал эвристику базового алгоритма. Практика применения модифицированного метода указывает на необходимость наличия рекомендаций по выбору параметров обучения.

Вычисления и наблюдения

Вычислительные эксперименты проводились на симметричной невыпуклой области G (рис. 1). Выбор данной области G объясняется очевидностью правильного расположения сетки в первом шаге модифицированного алгоритма. В качестве функции соседства нейронов 0(п,гвми, ]вми,г, _/) применялось произведение функции скорости обучения (4) и расстояния (2). Модифицированный алгоритм обучения программно реализован в виде следующих шагов.

0. Устанавливаются начальные веса всех нейронов в вершинах квадратной решетки (рис. 1).

1. На первой макроитерации (я = 1), соответствующей дискретному времени п е [1, п0]:

1.1. Генерируется случайная точка х(п) во всей области G ;

1.2. Определяется нейрон-победитель в евклидовой метрике. Фиксируются сеточные координаты нейрона-победителя гвми, ]вми ;

1.3. Настраиваются новые весовые значения нейронов сети по формуле (1)

_(гвми' г)2 +( }вми 3)2

(n,iвми,jвми,i,j) = п02 е 2(а(п)п_“)2 . (5)

2. На каждой макроитерации я > 1

2.1. В течение п (я) итераций

2.1.1. Генерируется случайная точка х(п) на границе области G .

2.1.2. Определяется нейрон-победитель БМИ из граничных узлов сетки.

2.1.3. Настраиваются новые весовые (5) значения граничных узлов сетки.

2.2. В течение п2(я) итераций

2.1.1. Генерируется случайная точка х(п) во всей области G .

2.1.2. Определяется нейрон-победитель БМИ среди всех узлов сетки.

2.1.3. Если в шаге 2.1.2 победил граничный нейрон сетки, то случайно сгенерированная точка х(п) заменяется на граничный нейрон.

2.1.4. Настраиваются новые весовые (5) значения внутренних узлов сетки.

3. Повторяются макроитерации до тех пор, пока изменения положений узлов не станут достаточно малыми.

Первая макроитерация в классической терминологии соответствует этапу упорядочивания. Здесь важным показателем является правильность предварительного расположения сетки в области. Последующие макроитерации уточняют расположение сетки относительно границы и внутренней области G .

При анализе качества построения сетки в модифицированном алгоритме целесообразно разделить этапы упорядочивания и уточнения. В нижеследующих вычислительных экспериментах исследовались параметры а и п0. За основу на первом этапе обучения принята линейная зависимость параметра а от дискретного времени п.

На рисунке 2 приведены итоги стадии упорядочивания в зависимости от числа итераций. Как видно, с увеличением числа итераций сеть, приспосабливаясь к особенностям области, на 20000 итерации приняла оптимальное положение. В части вогнутости области в некоторые нейроны вышли за края области.

Рис.1. Область G с первоначальным расположением сетки в области адаптации

Модифш дирОБЭННЫй ялгпритм МЛ,И^,11ГМННЫЙ я„г.р.™ , |["=|-||гО-|| -1 Мл/^ифицирлиянный ял гприты ["="|

' ъ

а) б) в)

Рис. 2. Предварительное расположение сетки в области при а(1) = 100, а(п0) = 27 по истечении п0 итераций: а) п0 = 10000 б) п0 = 15000 и в) п0 = 20000

-« >пт™™ ЧПРУ йкк^. I : 1 " Г 1 ^ М&диоицлроБанный алгоритм ^прм ¿Нь... 1 ■—1 I 1 I1 ) -«■ МппиЛ..., <[>»..»9 «пгприти СПРМ ^ 1 ' - 1 ^ 1- -1

ш

а) б) в)

Рис. 3. Предварительное расположение сетки в области по истечении 20000 итераций для разных вариантов нижнего предела параметра а: а) а(п0) = 30 б) а(п0) = 35 и в) а(п0) = 40

Увеличение нижнего предела параметра а при неизменных п0 и а (1) приводит к ухудшению качества предварительного построения сетки (рис. 3). Это объясняется тем, что с увеличением нижнего предела радиуса обучения <г(и) (3) узлы сетки подвергаются большим смещениям на завершающей стадии и адаптационные свойства сети ухудшаются. Зависимость качества построения от верхнего предела параметра а при неизменных параметрах п0 и а(п0) продемонстрирована на рисунке 4. Как видно, при уменьшении верхнего предела качество адаптации сетки также снижается (рис. 4 в).

а) б) в) г)

Рис. 4. Предварительное расположение сетки в области по истечении 20000 итераций для разных вариантов верхнего предела а : а) а (1) = 90 б) а (1) = 70, в) а (1) = 50, и г) а (1) = 40

Это обусловлено тем, что при большом радиусе начального обучения в первых итерациях сеть стягивается к случайно сгенерированным точкам, уменьшаясь в размерах. После чего медленно разворачивается, адаптируясь к особенностям области. При уменьшении начального радиуса сеть минует стадию «сжатия», и начальные размеры сети уменьшают возможности правильной адаптации.

Исследовался характер убывания параметра а от начального значения а (1) до а(п0) (рис. 5). Вычислительные эксперименты с использованием экспоненциально убывающих функций показали (рис. 6), что характер убывания функции а(п) не вносит существенных отклонений в качестве построения предварительной сетки.

Гряфи* фунп 1ЧЧ л(п) — ' 1 с=> | @ |в£3н|

л а(п)

27 :

п0=20000 п

Рис. 5. Графики убывающих функций а(п) от точки А до В

а) б)

Рис. 6. Предварительное построение сетки для а) экспоненциально убывающей функции а(п) б) линейно убывающей функции а(п)

Таким образом, на стадии упорядочивания качество предварительного построения сетки обеспечивается правильным заданием точек А(1, а(1)) и В(п0, а(п0)) в плоскости построения функции а(п). Функция а(п) может убывать линейно или экспоненциально.

На стадии уточнения эксперименты выявили целесообразность использования экспоненциально убывающей функции а(п) от В до некоторой точки С(птх, а(птах)), расположенной достаточно близко к оси дискретного времени п. Использование линейно убывающей функции от В до С сохраняет качество адаптации, но значительно увеличивает время расчетов.

Пример построения адаптивной сетки для функции а(п)

а (п) = і

(а (п0)- а(1)

(п0 - п) + а (1), при 1 < п < п0

а (по)'

птах +п0

•(0.005)п™.-п + атіп, при п0 < п < пт

представлен на рис. 7. График функции а(п) изображен на рис. 8.

(6)

Рис. 7. Результат построения адаптивной сетки с применением (6)

п

0

График Avhklihи afnl Iе3!®

a(nj

2i :

n0=20000 n

Рис. 8. График функции a(n) описанной соотношением (6)

Заключение

Существующие нейросетевые алгоритмы доказывают возможность построения адаптивных сеток на сложных физических областях. Результат адаптации сетки зависит от эвристики выбора параметров обучения нейросети. Для получения лучшего результата в модифицированном алгоритме SOFM целесообразно в качестве параметра а Гауссовой функции расстояния использовать линейно убывающую функцию на первой макроитерации и экспоненциально убывающую в последующих. Существенное влияние оказывает предварительное построение сетки, которое обеспечивается правильным заданием точек А(1, a(1)) и B(n0, a(n0)) в плоскости построения функции a(n).

Литература

1. Хакимзянов Г.С., Шокин Ю.И., Барахнин В.Б., Шокина Н.Ю. Численное моделирование течений жидкости с поверхностными волнами. Новосибирск: Изд-во СО РАН, 2001. 394 с.

2. Thompson J.F., Warsi Z.U.A., Mastin C.W. Numerical grid generation, foundations and applications. Amsterdam: North-Holland, 1985.

3. Лисейкин В.Д., Лебедев A.C., Китаева И.А. Универсальный эллиптический метод построения разностных сеток. Новосибирск: НГУ, 2004. 266 с.

4. Gordon W.J., Thiel L.C. Transfinite mappings and their applications to grid generation. // Numerical Grid Generation, Appl. Mathematics and Computation. Vol. 2/3, 1982. P. 171-192.

5. Годунов С.К., Проконов Г.П. О расчетах конформных отображений и построении разносных сеток // Журн. вычисл. математики и мат. физики. Т.7. 1967. С. 1031-1059.

6. Ritter H., Martinetz T., Schulten K. Neural Computation and Self-Organizing Maps: An Introduction. New York: Addison-Wesley, 1992.

7. Manevitz L., Yousef M. Finite-Element Mesh Generation Using Self-Organizing Neural Networks // Microcomputers in Civil Engineering 12, 1997. P. 233-250.

8. Нечаева О.И. Нейросетевой подход для построения адаптивных сеток // Нейроинформатика-2006. Ч. 2. 172-179 с.

9. Нечаева О.И. Композиционный алгоритм для построения адаптивных сеток произвольной структуры // Нейроинформатика-2007: Сб. науч. тр. Всерос. науч.-техн. конф. М.: МИФИ, 2007. 72-79 с.

10. Koutnik J., Mazl R., Kulich M. Building of 3d environment models for mobile robotics using self-organization // In Proc, of The 9th International Conference on Parallel Problem Solving From Nature - PPSN-IX, Springer, 2006. P. 721730.

11. Kohonen Т. Self-organizing Maps // Springer Series in Information Sciences, V.30, Springer, Berlin, Heidelberg. New York. 2001. 501 p.

12. Kohonen T. K. Self-organization and associative memory. New York: Springer Verlag, 1989. 312 p.

Архипов Сергей Валерьевич, кандидат технических наук, доцент, директор Центра информационных систем Бурятского государственного университета, тел. 297160 доб.260, e-mail: [email protected]

Arkhipov Sergey Valeryevich, candidate of technical science, docent, director of the Center of information systems of the Buryat State University.