CC BY
40
Особенности нейросетевого моделирования обратной коэффициентной задачи
Н.Ю. Батурина, А.А. Ляпин Ростовский государственный строительный университет
Аннотация: В работе исследуются возможности применения нейронных сетей к задачам обратного расчета многослойной дорожной конструкции. Рассматриваются сети с различной архитектурой. Для улучшения условий сходимости применяются процедура обратного распространения с автоматическим выбором шага, разные виды активационных функций с варьируемыми параметрами.
Ключевые слова: нейронные сети, обратные задачи, полутораслойный предиктор, двухслойный перцептрон, аппроксимация, активационные функции.
Использование нейронных сетей дает качественно новый подход к решению задач прогнозирования поведения дорожной конструкции при изменении исходных данных, в частности, свойств используемых материалов. Данная работа является продолжением начатого ранее исследования [1], посвященного нейросетевому моделированию обратной коэффициентной задачи. В дополнение работы [1] для улучшения условий сходимости в процедуре обратного распространения увеличено число варьируемых параметров, использована процедура автоматического выбора шага, также проведен сравнительный анализ сетей с различной архитектурой.
Решению обратной задачи предшествовало создание нейросетевой модели рассматриваемой многослойной конструкции. Решение прямой задачи сводилось к задаче многомерной аппроксимации. Как известно [2], нейронные сети способны аппроксимировать с любой точностью любую непрерывную функцию многих переменных.
Одна и та же многомерная функция может моделироваться сетями различной архитектуры [3-8], что существенно влияет на объем вычислений и получаемую точность результатов. В рассматриваемой задаче условия нагружения таковы, что зависимость характеристик деформирования от модулей упругости достаточно гладкая [9,10]. В связи с этим отсутствует
:
необходимость использовать сети с громоздкой архитектурой. Целью исследования было найти простую архитектуру сети, обеспечивающую решение задачи с приемлемой точностью и вместе с тем чувствительную к варьированию как входных, так и выходных параметров. Рассматривались сети двух видов: полутораслойный предиктор [1,3] с итерационным наращиванием объема и двухслойный перцептрон [4].
В нейросетевой модели на базе полутораслойного предиктора аппроксимируемая функция от входных переменных х1, х2,... хЫх представлялась в виде частичной суммы сходящегося ряда
Ып Ып (Ых \
Уо = Е ^ = Е сfk Е с°(й х+^ ,ак .
к=1 к = 1 V' = 1 У
Составляющая ряда 2к является выходом к -го потока сети. Особенность сети данного типа в том, что каждый последующий поток добавляется только после обучения предыдущего. В качестве входных параметров сети рассматривались модули упругости материалов основных слоев конструкции. В качестве выходов - характеристики динамического деформирования, полученные с помощью экспериментальных средств и методов [9,10].
Параметры сети определяются из условия минимума функции ошибок
Нк =1Е (у7 — 2> )\ к = 1Ж
к 2^У к—1 к > 2 7 =1
где Ып - число потоков в сети; Ых- число входов; Ыр - число точек (образцов), в которых задаются значения аппроксимируемой функции У0;
У], = У], т —-ошибка аппроксимации к -го потока для ] -го образца;
к к—1 к
/к (х,а) - активационные функции.
:
Параметры сети - коэффициенты синоптических связей ((Р (),((2^ () и параметры активационных функций а(г), ) рассчитывались из условия минимума функции ошибок Ик с помощью процедуры обратного распространения [5-7] по итерационным формулам :
41}(о = 4Р(< -1) - м«^ -1), 42) (г) = 42) (г -1) - иа42 (г -1),
ак (г) = ак (г -1) - ИАак (г -1), Sk (г) = ^ (г -1) - НА?к (г -1),
где г = 1,2,... - номер итерации.
Поправки АС ( -1), Л((2) (г -1), Аак (г -1), А?к (- 1), выражались через проекции grad Ик на соответствующие оси по формулам:
Ыр
(у= -£()) V-ка);
°(1к 7=1
к
А«к2)=(> (- - 7 ) к а);
д(к ) 7=1 к 1 к
Аак=^ = "1 (-1 - )) & V а );
к дак р1У к-1 'к'"к дак
А?к=дИ = -%[-1 - Н)) ^ к а).
™к 7=1 дкк
Как показали исследования, эффективность аппроксимации определяется не только архитектурой сети, но и корректным заданием начальных значений параметров сети, типом активационных элементов. Для упрощения анализа влияния входных данных на результаты расчетов входные параметры х1,х2,...хЫх и выходы сети нормировались. Значения
выходов для аппроксимируемой функций у 0, У .....переводились в
диапазон [0;1]: у0 к
ук - ук .
к_к тт
к у[ - Ук ■
к тех к тт
1
Входные параметры выбирались как случайные, равномерно распределенные точки Ых -мерного единичного куба. Значения входов и
начальные значения параметров сети Ас(-к1) (0), ЛсС2) (0), Лак (0), А^к (0), согласовывались так, чтобы обеспечить попадание на активный участок активационной функции.
Особенности архитектуры сети с итерационным наращиванием объема таковы, что для каждого следующего потока в качестве требуемого выхода берется ошибка аппроксимации предыдущего потока. Эта функция является менее гладкой, чем функция выходов предыдущего потока. На Рис.1 представлены графики аппроксимируемой и аппроксимирующей функций у0, 21, зависящих от четырех входных параметров, полученные на первом
шаге аппроксимации (для сети с одним потоком). Значения у01 образцов изначально ранжированы по возрастанию. На Рис. 2 представлен график ошибки аппроксимации первого шага У1 , которая является функцией
выходов следующего добавляемого потока.
Так как функция у1 не является гладкой, для ее аппроксимации
использовалась, кроме сигмоидной, синусоидальная активационная
функция, с диапазоном изменения (0;1): /(х, а) = ——, /(х, а) = (ах)+1.
1 + е ах 2
На скорости сходимости положительно сказалось варьирование
параметров активационных функций а, £; использование на каждой
итерации процедуры автоматического выбора шага кр по заданным к1, к2, к3. При выполнении условия выпуклости функции ошибок Н (к)
Н (к2 )< ^ Н (к)+^к- Н к) (к < к < к3)
к3 —к1 к3 —к1
выбирался оптимальный шаг, при котором значение Н(к) вычислялось в вершине параболы, соответствующей НтЬ (к):
1
к = 1 И - И22 ( (2 )-Н (к, ))-(к22 - к! )(Н (Из)-Н (к2 ))
ор 2 (3 - И2)((И2)-Н(())- (2 - к)((()-Н(()
40 60
20 40 60 80 100
Рис. 1. Рис. 2.
В нейросетевой модели на базе двухслойного перцептрона аппроксимируемая функция от переменных хх,х2,...представлялась в виде суммы
1 Ыт 1 Ыт А №
=—Е2к = тг- Е ^2)/к Е х + ,ак
У0 = Ы Е 2к Ы
Ыт к=1 Ыт к = 1
где
Ыт - число нейронов выходного слоя, 2к - выход к -го нейрона.
Параметры сети первоначально определялись из условия минимума функций ошибок
Ыр
Нк=1 е(у 0-*к Ь
^ /=1
к = 1, Ыт
Затем они уточнялись путем минимизации функции
Ыт Ыр
1 Ыт яр / V)
Н=2ЕЕ Е(
2 к=1 /=1
Сравнительный анализ результатов, полученных при использовании полутораслойного предиктора и двухслойного перцептрона показал
УЫ 0
-0
-1
20
80
100
возможность практического использования архитектур обоих типов для решения обратной коэффициентной задачи, однако двухслойный перцептрон при правильном подборе активационных элементов нейронов позволяет выполнять аппроксимацию при меньшем числе итераций.
Литература
1. Батурина Н. Ю. Нейросетевое моделирование в задачах исследования строительных конструкций // Инженерный вестник Дона. 2013. №4.
2. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики. 1998. Т. 1. №1. С. 12-24.
3. Доррер М.Г. Аппроксимация многомерных функций полутораслойным предиктором с произвольными преобразователями. Методы нейроинформатики // Методы нейроинформатики. Красноярск: КГТУ, 1998. С. 130-151.
4. Максимова О.М. Разработка и применение нейросетевой технологии прогнозирования к задачам строительной механики и конструкций // Труды Междунар. Конгресса «Наука и инновации в строительстве» SIB - 2008. Воронеж: 2008. С. 146-151.
5. Абовский Н. П., Белобородова Т. В. , Максимова О. М., Смолянинова Л. Г. Нейросетевые модели в задачах строительной механики // Изв. вузов. Строительство. 2000. №7. С. 6-14.
6. Strategies in Structural Analysis and Design / Z. Peter Szewczyk. 2004.
7. Tsaregorodtsev V.G. Parallel implementation of back-propagation neural network software on SMP computers / Lecture Notes In Computer Science 3606 (PaCT-2005 Proceedings), Springer-Verlag. 2005. pp.185-192.
8. Жигульская Ю.И., Ляпин А. А Решение обратных задач строительной механики на основе нейронных сетей // Научное обозрение. 2014. №10. Ч.2. С. 441-445.
9. Кадомцев М.И., Ляпин А.А., Шатилов Ю.Ю. Вибродиагностика строительных конструкций // Инженерный вестник Дона. 2012. №3.
10. Кадомцев М.И., Ляпин А.А., Тимофеев С.И. К вопросам построения эффективных алгоритмов расчета системы «сооружение-грунт» // Инженерный вестник Дона. 2012. №1.
References
1. Baturina N. Ju. Inzenernyj vestnik Dona (Rus), 2013, №4.
2. Gorban' A.N. Sibirskij zhurnal vychislitel'noj matematiki. 1998. T. 1. №1. pp. 12-24.
3. Dorrer M.G. Metody nejroinformatiki. Krasnojarsk: KGTU, 1998. pp. 130151.
4. Maksimova O.M. Trudy Mezhdunar. Kongressa «Nauka i innovacii v stroitel'stve» SIB. 2008. Voronezh: 2008. pp. 146-151.
5. Abovskij N. P., Beloborodova T. V. , Maksimova O. M., Smoljaninova L. Izv. vuzov. Stroitel'stvo. 2000. №7. pp. 6-14.
6. Strategies in Structural Analysis and Design. Z. Peter Szewczyk. 2004.
7. Tsaregorodtsev V.G. Lecture Notes In Computer Science 3606 (PaCT-2005 Proceedings), Springer-Verlag. 2005. pp.185-192.
8. Zhigul'skaja Ju.I., Ljapin A.A. Nauchnoe obozrenie. 2014. №10. Ch.2. pp. 441-445.
9. Kadomcev M.I., Ljapin A.A., Shatilov Ju.Ju. Inzenernyj vestnik Dona (Rus), 2012, №3.
10. Kadomcev M.I., Ljapin A.A., Timofeev S.I. Inzenernyj vestnik Dona (Rus), 2012, №1.
