CC BY
104
SCIENCE TIME
СРАВНИТЕЛЬНЫМ АНАЛИЗ ПРИМЕНЕНИЯ НЕЙРОННЫХ СЕТЕЙ ДЛЯ АППРОКСИМАЦИИ ФУНКЦИЙ
Павлова Анна Илларионовна, Новосибирский государственный университет экономики и управления
г. Новосибирск
E-mail: [email protected]
Лончакова Ольга Юрьевна, Новосибирский государственный университет экономики и управления
г. Новосибирск
E-mail: [email protected]
Аннотация. В работе проанализированы различные методы обучения искусственных нейронных сетей для аппроксимации функций. Для этого использованы наиболее популярные архитектуры нейронных сетей: радиальные базисные, обобщенно-регрессионные, линейные сети и многослойный персептрон. Сравнительный анализ результатов обучения нейронных сетей показал, что наименьшие ошибки обучения возникают при использовании радиальных базисных сетей.
Ключевые слова: аппроксимация функций, искусственные нейронные сети, радиальные базисные сети, обобщенно-регрессионные сети, многослойный персептрон.
Искусственные нейронные сети (ИНС) используются для решения различных задач: прогнозирования, классификации данных, распознавания образов [1, 2], агроэкологической оценке земель [3, 4], аппроксимации функций. Одной из широко распространенных задач является аппроксимация функций, возникающая в виду трудности практического использования сложной математической модели. При проведении научных исследований отсутствует точное математическое описание модели действительности, а имеются результаты наблюдений, заданных в табличном виде. Для решения задачи аппроксимации функций применяют различные методы: метод наименьших квадратов, последовательных приближений и другие.
SCIENCE TIME
Применение искусственных нейронных сетей для задачи аппроксимации обусловлено их широкими возможностями: самообучение, отказоустойчивость, масштабируемость, параллельная обработка данных.
Поэтому целью исследований являлся сравнительный анализ методов обучения нейронных сетей для аппроксимации функций.
ИНС моделирует процессы, имеющие сходство с человеческим мозгом. Искусственные нейроны принимают информацию из входов, обрабатывают и передают ее на выход. В целом, структура нейрона состоит из трех элементов: синапсов (умножителей), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на определенное число, характеризующее силу связи. Сумматор выполняет сложение сигналов, поступающих по связям от других нейронов и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию выхода сумматора, эта функция называется функцией активации, или передаточной функцией нейронов. Выходной сигнал нейрона получается благодаря преобразованию сигнала активации активационной функцией.
Нейроны, образуя связи между собой, создают нейронную сеть с различной архитектурой. Сети, все связи в которых направлены строго от входных нейронов к выходным, называются сетями прямого распространения (многослойный и простой персептрон). Если сигнал передается частично на входы нейронов, то эти сети являются рекуррентными. Разнообразные архитектуры ИНС, применяющиеся для решения различных научных и практических задач. Например, сети Хопфилда и Хэмминга используются для распознавания образов, сети Кохонена - для создания самоорганизующихся карт, многослойные сети - для классификации данных, прогнозирования, радиальные сети - для задач прогнозирования, аппроксимации. В общем случае задача обучения ИНС сводится к нахождению функциональной зависимости y=f(x), где x - входной, а y - выходной образы, описываемые набором векторов признаков. При ограниченном наборе входных данных, задача имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки методом наименьших квадратов.
Для сравнения работы алгоритмов рассмотрим задачу аппроксимации для двадцати математических функций (тригонометрических, линейных, степенных, обратных тригонометрических и т.д.) с числом переменных, равным 20.
Моделирование обучения нейронных сетей осуществлялось с помощью пакета прикладных программ Neural Toolbox (NNT) программного комплекса ПК Matlab 2014.
В проведенных исследованиях моделирование задачи аппроксимации математических функций было осуществлено на базе многослойного персептрона (MPL), линейной сети (Linear), радиальных базисных сетей (RBF), обобщенных регрессионных сетей (GRNN). При этом обучение многослойного персептрона производилось методом обратного распространения ошибки.
Обучение производилось с учителем и на основе выбранных двадцати математических функций были сформированы обучающие выборки. По результатам обучения была вычислена среднеквадратичная (квадратическая) ошибка МББ (табл.1).
Таблица 1
Результаты обучения нейронных сетей
Исследуемая функция МРЬ ИББ Ппеаг
у = 3^(0.29 х) 0.00000 0.00000 0.00105 0.00008
у = 0.73х + 0.12 0.00000 0.00000 0.02886 0.00000
х у = 1.438х , 1.057 - х2 0.00000 0.00000 0.00948 0.00527
у = 0.37х2 - 2.8х - 0.16 0.00000 0.00000 0.31373 0.00072
у = 7 х1/13 0.00005 0.00152 0.09258 0.39210
у = агсозЬ* - 0.53 0.00000 0.00000 0.07116 0.01413
у = 0.65arcsin(0.05x02) 0.00000 0.00000 0.00001 0.00001
0.763 - 4х4 у = 2 (х2 - 15х -1.5) 0.00000 0.00000 0.00621 0.00345
у = 1.4ат^ (0.32 х) 0.00000 0.00000 0.01018 0.00000
у = 0.54 ^(0.7 х) - 0.9 sin(0.33x2) 0.00000 0.00000 0.01180 0.00088
у = х2 -10х + 0.15 0.00005 0.00000 4.32421 0.00527
у = (2 х -1) • exp2(1-х) 0.00000 0.00000 2.58828 0.68394
у = х2 • exp(4_х) 0.00250 0.00000 28.44609 0.20589
у = log2 (1.5 + х) + 0.3 0.00000 0.00000 0.02797 0.00017
у = х3 + 0.23х 0.00000 0.00000 0.09421 0.01404
у = tg (0.25х^) +1 0.00000 0.00000 0.05353 0.00076
у = 0.7 х02 0.00000 0.00001 0.00366 0.00242
у = arcsin(0.2 х3) 0.00000 0.00000 0.00269 0.00057
у = х3 + 0.7х2 - 0.9х + 0.8 0.00000 0.00000 0.06527 0.02854
у = ат^ (0.05х + х02) 0.00000 0.00001 0.00319 0.00389
Средняя М8Б 0.00013 0.00008 1.80771 0.06811
SCIENCE TIME
Анализ результатов обучения ИНС показал, что наибольшие значения ошибок получены при применении обобщенной регрессионной сети, а наименьшие - для радиальной базисной сети. Сети данного типа имеют входной, выходной и скрытый слой, состоящий из радиальных элементов. Радиальные базисные сети в отличие от многослойного персептрона имеют один скрытый слой, на котором реализуются нелинейные функции, изменяющие значения вокруг центра или группы точек только в окрестности определенного центра.
В связи сети данной архитектуры обучаются на порядок быстрее, чем многослойный персептрон. Число нейронов на скрытом слое в сетях радиального типа значительно больше, чем на входном. Это позволяет лучше классифицировать исходные данные. В исследованиях с целью анализа обучения искусственных нейронных сетей использованы коэффициенты аппроксимации: относительная ошибка аппроксимации (А), коэффициенты соответствия (С) и детерминации (Я ). Относительная ошибка аппроксимации вычислена на основе формул [5]:
где у - среднее значение исходного ряда данных; Уь - фактическое
значение на наблюдении Г, Уь - расчётное значение на наблюдении V, п -число
наблюдений; 1 - наблюдение.
Значения средних значений относительных ошибок аппроксимации для выбранных математических функций А1 и А- приведены в табл.2.
Таблица 2
Средние значения относительных ошибок аппроксимации функций
Относительные ошибки аппроксимации Нейронная сеть
MPL RBF GRNN Linear
А1 0.13 0.12 12.97 5.92
А2 0.32 0.12 155.07 80.27
Вычисленные значения средней относительной ошибки подтверждают сделанный ранее вывод о более эффективном применении радиальных базисных сетей для решения задачи аппроксимации функций.
рз
В ходе исследования был рассчитан коэффициент детерминации :
где ух - фактическое значение на наблюдении X, у - среднее значение
исходного ряда данных; У - среднее значение ряда расчётных функций; Уь -расчётное значение на наблюдении 1
Значение коэффициента детерминации близкое к единице, указывает на точность аппроксимированной модели. Среднее значение коэффициента детерминации для выбранных функций приведено в табл.3.
Таблица 3
Значение коэффициента детерминации
Среднее значение коэффициента детерминации Нейронная сеть
MPL RBF GRNN Linear
Я2 0.998 0.999 0.058 1.351
Рассчитанные значения коэффициента детерминации для радиальных базисных сетей выше, чем у остальных типов архитектур ИНС.
В дальнейшем для более объективной оценки качества аппроксимации был рассчитан коэффициент соответствия расчетных данных фактическим С:
, (4)
, _ У t St — —
Vt
где > если ЬМ<Ы; , если ; ^ =-1 , если
Значение коэффициента С лежит в пределах от -100% до 100%, чем он ближе к 100%, тем лучше модель описывает исходных ряд наблюдений.
Таблица 4
Значение коэффициента соответствия
Среднее значение коэффициента соответствия Нейронная сеть
MPL RBF GRNN Linear
С 99.69 99.88 72.57 85.34
Отклонения средних ошибок обучения от ожидаемых значений по каждой выбранной математической функции представлены на рис.1, из которого видно, что радиальные базисные сети имеют наименьшие отклонения предсказанных значений функций от исходных данных в сравнении с другими архитектурами нейронных сетей.
Рис. 1 Отклонения изменений исходных данных от аппроксимированных при применении нейронных сетей различной архитектуры
Таким образом, сравнительный анализ результатов обучения ИНС по критериям средней квадратической ошибки обучения и коэффициентов аппроксимации свидетельствует, что для задач аппроксимации наиболее эффективно применение радиальной базисной сети. Наличие в сетях КВБ-сетях скрытых слоев с нелинейными функциями активации позволяет получать более достоверные результаты.
SCIENCE TIME
Литература:
1. Оссовский С. Нейронные сети для обработки информации/ Перевод с польского.- М.: Финансы и статистика, 2002. - 344 с.
2. Хайкин С. Нейронные сети: полный курс = Neural Networks: A Comprehensive Foundation. - М.: Вильямс, 2006. - 1104 с.
3. Каличкин В.К., Павлова А.И. Применение нейронной экспертной системы для классификации эрозионных земель // Сибирский вестн. с.-х. науки. - 2014. - № 6. - С. 5-11.
4. Павлова А.И. Применение нейронной экспертной системы и ГИС для классификации эрозионных земель // "Современные информационные технологии и ИТ-образование" / Сб. избранных трудов IX междунар. научно-практич. конф. под ред. проф. В. А. Сухомлина. - М.: ИНТУИТ.РУ, 2014. - С.312-319.
5. Светуньков А.В. Новые коэффициенты оценки качества эконометрических моделей/ А.В. Светуньков. Прикладная эконометрика, №4 (24), 2011. - С.85-99.
