CC BY
16
УДК 004.8
Александров А.К., Дударов С.П.
ОДНОМЕРНАЯ АЛЬТЕРНАТИВА МНОГОМЕРНОЙ НЕЙРОННОЙ СЕТИ РАДИАЛЬНО-БАЗИСНЫХ ФУНКЦИЙ
Александров Артём Константинович, студент 3 курса бакалавриата факультета информационных технологий и управления;
Дударов Сергей Павлович, к.т.н., доцент, декан факультета информационных технологий и управления, e-mail: dudarov@muctr.ru;
Российский химико-технологический университет имени Д.И. Менделеева, Москва, Россия 125047, Москва, Миусская пл., д. 9
Предложена альтернативная архитектура искусственной нейронной сети радиально-базисных функций. Для решения задачи многомерного интерполирования данных в скрытом слое сети используются одномерные функции Гаусса, Лапласа, Коши, Вигнера и кусочно-линейная функция. Проведен анализ влияния выбора радиально-базисной функции на ошибку интерполирования с помощью классической и альтернативной архитектур. Показано, что альтернативная сеть радиально-базисных функций не только требует меньших вычислительных затрат, но и позволяет получить меньшую ошибку интерполирования для любых радиально базисных функций.
Ключевые слова: искусственная нейронная сеть, радиально-базисная функция, радиальный элемент, РБФ-сеть, интерполирование, архитектура нейронной сети.
ONE-DIMENSIONAL ALTERNATIVE FOR MULTIDIMENSIONAL NEURAL NETWORK OF RADIAL BASIS FUNCTIONS
Alexandrov A.K., Dudarov S.P.
D. Mendeleev University of Chemical Technology of Russia, Moscow, Russia
An alternative architecture of artificial neural network of radial basis functions has been proposed. To solve the problem of multidimensional data interpolation in a hidden network layer, one-dimensional Gauss, Laplace, Cauchy, Wigner functions and piecewise linear function are used. The analysis of influence of radial basis function's choice on the interpolation error using classical and alternative architectures has been carried out. It is shown that the alternative neural network jf radial basis functions not only requires less computational resources, but also allows to obtain a smaller interpolation error for any of radial basis functions.
Keywords: artificial neural network, radial basis function, radial element, RBF neural network, interpolation, architecture of neural network.
Искусственные нейронные сети на основе радиально-базисных функций (РБФ-сети) применяются для решения обширного спектра задач, таких как задачи аппроксимации, классификации, кластеризации данных различной размерности. Использование данного класса нейронных сетей в различных областях практической деятельности подтвердило их высокую эффективность [1].
Ключевое свойство радиально-базисных функций заключается в монотонном и симметричном убывании их откликов относительно заданного центра - оси симметрии. В классической структуре РБФ-сети лишь два слоя нейронов. Первый, скрытый слой, содержит множество радиальных элементов, обрабатывающих входной вектор, а именно, оценивающих степень близости входных сигналов соответствующим координатам центра. Второй слой, выходной, рассчитывает линейные комбинации выходов первого слоя. Сети на основе радиально-базисных функций обладают простой структурой, имеют низкую ошибку расчетов при правильной настройке и характеризуются высокой скоростью обучения [2].
В данной работе рассматриваются две архитектуры РБФ-сетей: классическая и
альтернативная, призванная уменьшить объем вычислений. В первом случае использовалась сеть, содержащая скрытый слой из m многомерных радиально-базисных функций (Ъ\, Ъ2, ..., Ь„), и один выходной нейрон (у) (рис. 1).
Рис. 1. Структура классической РБФ-сети
Выходы скрытого слоя рассчитываются с использованием одной из радиально-базисных функций. В качестве таковых независимо друг от
друга рассматривались многомерные функции:
- Гаусса
- Лапласа
- Коши
к(х) = ехр(- а|| х - е\|2); к(х) = ехр(- а|| х - с| |);
Ь{Х ) =
1
1 + ах-с
- кусочно-линеиная
к(х) = тах{о, 1 - а|| х - с|};
- кусочно-нелинеИная Вигнера
и(х )=
1 /1 ( 2 IIГ Пр) ||г г
-,-{пг - х - с I, х - с
22 < ПГ ,
г V п 0,1|х - с-Ц2 > пг 2;
где
II г г..
х - с - евклидова норма разности входного
вектора х и центра радиального элемента с ; а - параметр насыщения; п = 2 - размерность решаемой задачи; г - радиус функции Вигнера.
Весовые коэффициенты линейного слоя (^1, ..., wm) рассчитываются как результат минимизации квадрата рассогласования
рассчитанных по РБФ-сети выходов и выходов обучающих примеров при соответствующих значениях входных переменных. Подробнее алгоритм обучения приведен в [3].
Структура классической РБФ-сети внешне простая, и это ее достоинство. Однако учитывая многомерность вектора входных переменных, следует констатировать, что вычисления в скрытом слое достаточно ресурсоемкие. С учетом сказанного в данной работе предложена альтернативная архитектура РБФ-сети, использующая одномерные радиально-базисные функции.
В новой архитектуре (рис. 2) сигнал каждой независимой переменной подается в скрытый слой в отдельную, соответствующую ему группу одномерных радиальных элементов. В общем случае количество радиально-базисных функций в каждой группе может быть разным (т ф д). Во втором слое, содержащем к нейронов, выходы радиальных элементов по одному из каждой группы суммируются во всех возможных комбинациях, а суммы возводятся в квадрат. Весовые коэффициенты нейронов выходного слоя рассчитываются аналогично классическим РБФ-сетям.
Рис. 2. Структура альтернативной РБФ-сети
Как видим из рисунка 2, структура получается более громоздкой в сравнении с классическим вариантом, но это компенсируется меньшими вычислительными затратами (более простыми вычислениями одномерных функций в меньшем объеме).
В качестве тестовой решалась задача интерполирования двумерных данных, полученных в 16 узловых точках (4 координаты по каждой переменной) по функции вида:
у = Эх!3 + 7х!2 + 5*1 - 3008т(х2).
Входные и выходные переменные подвергались нормализации в пределах [-1, 1]. Размер нормализованной обучающей выборки составил 36 примеров (таблица 1). Пары независимых переменных у 16 из них были выбраны совпадающими с узлами интерполирования. В классическом варианте эти пары образовали 16 двумерных радиально-базисных функций в скрытом слое сети. В альтернативном варианте в первом скрытом слое оказались 2 группы одномерных радиальных элементов. 4 из них соответствовали первой входной переменной и 4 - второй. В обоих вариантах координаты центров функций выбирались одинаковыми в целях обеспечения корректности выводов, основанных на результатах сравнения двух архитектур. Второй скрытый слой альтернативной сети содержал 16 элементов последовательного суммирования сигналов и их возведения в квадрат.
При рассмотрении обеих архитектур для каждого вида радиально-базисных функций подбирались собственные оптимальные параметры а и г, обеспечивавшие наименьшую
среднеквадратичную ошибку по всем примерам выборки.
В таблице 2 показаны среднеквадратичные ошибки (дер) и максимальные ошибки (дтах) обеих архитектур, выраженные в процентах, полученные при использовании различных радиально-базисных функций.
Таблица 1. Нормализованная выборка тестовой функции
Отклик функции X2
1,0 -0,6 -0,2 0,2 0,6 1,0
Х1 -1,0 —1,00 -0,52 -0,21 -0,95 -0,64 -0,16
-0,6 -0,72 -0,24 0,06 -0,67 -0,36 0,12
-0,2 -0,67 -0,19 0,11 -0,62 -0,32 0,16
0,2 -0,65 -0,17 0,13 -0,60 -0,29 0,19
0,6 -0,44 0,04 0,34 -0,39 -0,08 0,39
1,0 0,16 0,64 0,95 0,21 0,52 1,00
Архитектура Функция Гаусса Функция Лапласа Функция Коши Кусочно-линейная функция Функция Вигнера
¿с % ¿max, % ¿с % ¿max, % ¿с, % ¿max, % ¿с % ¿max, % ¿ср, % ¿max, %
Классическая 9,28 52,76 10,43 34,94 9,97 42,50 9,52 48,89 6,69 25,69
Альтернативная 4,94 12,22 6,86 26,92 5,05 12,41 6,11 19,07 5,83 14,06
Согласно полученным данным можно сделать следующие выводы:
- в классической архитектуре РБФ-сети кусочно-нелинейная функция Вигнера имеет преимущество перед остальными радиально-базисными функциями как по среднему, так и по максимальному уровню ошибки;
- при использовании альтернативной архитектуры РБФ-сети функция Гаусса и функция Коши наиболее предпочтительны по сравнению с другими функциями;
- альтернативная архитектура не только требует меньшего объема вычислений, но и во всех случаях дает меньший уровень ошибки, чем классическая архитектура РБФ-сети.
Таким образом, предложенная одномерная альтернатива классическим РБФ-сетям с уверенностью может быть рекомендована в качестве математического инструмента решения задач аппроксимации, классификации, кластеризации данных.
Список литературы
1. Дударов С.П., Васильев М.В., Калайчев Г.В. Классификация данных нейронными сетями на основе радиально-базисных функций // Информационные технологии в моделировании и управлении: подходы, методы, решения: Сборник научных статей I Всероссийской научной конференции: 12-14 декабря 2017 г. В двух частях, Часть 1: Материалы секций I, II. - Тольятти: Тольяттинский государственный университет, 2017. С. 86-92.
Пысин М.Д., Краснов Д.О., Программно-алгоритмическое аппроксимации нелинейных зависимостей нейронной сетью на основе радиально-базисных функций // Успехи в химии и химической технологии. 2017. Т. 31, № 8 (189). С. 57-59.
3. Дударов С.П., Папаев П.Л. Теоретические основы и практическое применение искусственных нейронных сетей: учеб. пособие. М.: РХТУ им. Д.И. Менделеева, 2014. 104 с.
2. Маркин И.С., Дударов С.П. обеспечение для
