CC BY
29
DOI: 10.5862ZJPM.218.14 УДК: 004.021
Т.В. Лазовская, Д.А. Тархов
Санкт-Петербургский политехнический университет Петра Великого
новые подходы к построению
ПАРАМЕТРИЗОВАННОГО НЕйРОСЕТЕВОГО РЕШЕНИЯ ЖЕСТКОГО ДИФФЕРЕНЦИАЛЬНОГО УРАВНЕНИЯ
На примере одной модельной задачи исследуются новые алгоритмы нейро-сетевого моделирования, такие как специальная перегенерация тестовых точек, использование дополнительной информации и гибридный метод. Приведенные в статье подходы можно естественно обобщить на системы обыкновенных дифференциальных уравнений, дифференциальные уравнения более высокого порядка и дифференциальные уравнения в частных производных.
НЕЙРОННАЯ СЕТЬ, ДИФФЕРЕНЦИАЛЬНОЕ УРАВНЕНИЕ, ПАРАМЕТРИЗОВАННАЯ МАТЕМАТИЧЕСКАЯ МОДЕЛЬ, ГИБРИДНЫЙ АЛГОРИТМ.
Введение
Методология построения нейросетевых моделей по дифференциальным уравнениям и иным данным (краевые условия, измерения и т. п.), разработанная профессорами Санкт-Петербургского политехнического университета Петра Великого А.Н. Васильевым и Д.А. Тарховым [3], обеспечивает решение сложных и некорректных задач математической физики [4 — 7]. Особенно перспективными представляются параметризованные нейросетевые модели, включающие один или несколько параметров задачи в качестве входных переменных [6 — 8] и позволяющие решать одновременно семейство задач, объединенных параметрами.
В данной работе на примере одной несложной модельной задачи поставлен и решен ряд новых принципиальных вопросов.
Во-первых, изучена возможность расширения интервала изменения параметра в рамках одной нейросетевой модели без потери точности, то есть увеличения множества одновременно решаемых задач.
Во-вторых, исследовано влияние на точность решения нового подхода к выбору тестовых точек, названного специальной перегенерацией тестовых точек.
В-третьих, продолжено исследование [3], направленное на уточнение решения
с помощью гетерогенных дополнительных данных. Это точечные данные об искомой функции, в том числе неточные, что часто встречается в реальных моделях.
В данной статье новизна, по сравнению с прежними работами [3], заключается в том, что упомянутые точечные данные получены заведомо неточным численным методом. Кроме того, помимо точечных данных, используются дополнительные условия в виде уравнений, полученных с помощью асимптотического разложения.
Для поиска ответов на перечисленные выше вопросы было целесообразно в первую очередь взять простейшую модельную задачу, которая бы имела аналитическое решение, чтобы с ним сравнивать построенные приближенные решения и затем объективно оценить полученные результаты.
В качестве такой модельной задачи выбрано жесткое дифференциальное уравнение первого порядка [1]. Исследования [2 — 8] позволяют предположить, что выводы из сравнительного анализа изучаемых методов и алгоритмов останутся справедливыми и для более сложных задач, включая задачи математической физики; таким образом, рассмотрение столь простой задачи представляется оправданным.
Введение параметра в дополнительные данные задачи (они выражены с помощью
некоторого уравнения) позволяет, в частности, провести сравнение классической и неклассической постановок. В последнем случае условия накладываются на искомую функцию вне выбранной при решении области. В качестве отправной точки для такого условия используется естественная асимптотика изучаемой задачи. Роль неточных дополнительных точечных данных играет приближенное решение задачи, полученное одним из классических методов.
Нейронная сеть позволяет объединить информацию как в виде данных, так и уравнений с помощью функционала минимизации, характеризующего качество модели. Кроме того, в данной статье исследуется новая схема выбора пробных точек на разных этапах минимизации (процедура перегенерация тестовых точек) при различных типах исходных условий.
Нейросетевые модели с дополнительными данными
Особый интерес представляют задачи, которые обычно плохо решаются классическими явными методами или требуют большого количества итераций. Среди обыкновенных дифференциальных уравнений (ДУ) такими являются жесткие ДУ [1] .
В книге [1] рассматривается классический пример жесткого уравнения
у' = -50(y- cos х) (1)
с начальным условием y(0) = 0.
При решении этой задачи явным мето-
а)
дом Эйлера возникает критическое значение для шага сетки, равное 2/50, при превышении которого приближенное решение становится неустойчивым с сильными колебаниями (рис. 1, а). При этом ошибка оказывается слишком большой для меньшего шага.
Мы будем рассматривать обобщенную параметризованную задачу
у' = -а(y- cos х), y(0) = 0, (2)
где а е [5,5(3] или ае [0,5; 50], х е[0,1].
Жесткость задачи проявляется для переменной х в окрестности нуля, чем и обусловлен выбор соответствующего интервала. Пробные запуски показали, что качество нейросетевого решения сохраняется и для больших промежутков. Задача решается сразу для всех рассматриваемых значений параметра а. Заметим, что такие интервалы изменения параметра существенно больше рассмотренных в работах [6, 8].
Приближенное решение ищется в виде выхода искусственной нейронной сети заданной архитектуры
n
У(х) = £ CV(х, а, a,.),
i=1
веса которой {c,, a, }'П=1 определяются в процессе минимизации функционала ошибки
m
£ (y '(¡i,) - F£,, ,), а ,))2 + Sy2(0),
j=1
причем в нашем случае F(x, y, а) = — a(y — — cosx).
У .
0,30 .
Рис. 1. Решения жесткого дифференциального уравнения (2) явным методом Эйлера при а = 50 (а) и 5 (Ь). Символы соответствуют поточечным решениям методом Эйлера,
линии — истинным решениям
Пробные точки (Е}, а}) выбираются случайными, распределенными равномерно в рассматриваемой области изменения переменной х и параметра а, их выбор повторяется после нескольких (трех-пяти) итераций алгоритма оптимизации. Новый случайный выбор тестовых точек на некотором шаге будем называть перегенерацией тестовых точек.
Оценка качества полученного решения производится по точному аналитическому решению уравнения (2) с начальным условием y(0) = 0, имеющему вид
, N a2(cos х - exp(-ax)) + а sin х ,„N У(х, а) = —-2 л -. (3)
а2 +1
В настоящей работе исследованы два типа моделей, соответствующих различным базисным функциям, при разном количестве нейронов в сети. В первом случае выбирались универсальные сигмоиды вида
th[a(x — ¿)]th[a1(a — d1)],
во втором — асимметричные гауссианы вида
х exp[-a(x - d)2] exp[-a1(a - d1)2],
которые заведомо удовлетворяют начальному условию.
Оптимизация функционала ошибки проводилась по алгоритму, сочетающему RProp и метод облака [2]; точки случайным образом перегенерировались каждые три шага, облако состояло из трех частиц.
Следует отметить, что сложность процесса оптимизации вызвана тем обстоятельством, что оптимизируемый функционал меняется после каждой перегенерации пробных точек; таким образом мы избегаем возможности получения хорошей аппроксимации в фиксированном наборе точек и плохой в других точках рассматриваемой области, что может произойти при применении метода коллокаций.
Необходимо подчеркнуть, что применяемая вычислительная процедура содержит двойную стохастичность: помимо указанной случайной перегенерации точек, случайными выбираются начальные веса нейронной сети.
Кроме того, были изучены алгоритмы
построения модели, использующие дополнительные данные об искомом решении, оценен эффект такого уточнения для разных типов базисных функций и числа нейронов в сети. В качестве таких данных рассматривалось соответствие искомых решений уже найденным с помощью явного метода Эйлера для значений параметра а, равных 5 и 50. Отметим, что при а = 5 уравнение перестает быть жестким и решается довольно точно (см. рис. 1, Ь). «Плохое» решение при а = 50 позволяет изучить реакцию модели на неточные данные.
Введение в модель новой информации происходит с помощью добавления в функционал минимизации дополнительного слагаемого вида
т
«1 £ (/() -( ^^^))2,
.=1
где Дх.) — поточечное решение Эйлера; вес 51 можно варьировать, при этом следует учитывать точность имеющихся данных или какие-либо специальные условия.
В первой модификации модели использовались описанные выше данные для а = 50, во второй учитывались также данные для а = 5. Некоторые результаты вычислительных экспериментов для функционала ошибки для двух типов нейронных сетей приведены в табл. 1. Рассматривались сети с разным числом нейронов и числом итераций, равным 200.
Очевидно, что при отсутствии дополнительных данных с лучшей стороны себя показал вариант с базисными функциями, удовлетворяющими начальному условию (гауссианы). Привлечение же дополнительной информации повышает точность только при использовании универсальных базисных функций (сигмоиды), тогда как в случае сети с подобранными под начальное условие функциями в основном происходит, наоборот, увеличение ошибки. Особенно заметен эффект от применения данных для сетей с высоким количеством нейронов (п = 50).
Что касается большой ошибки в графе 51 = 0 (означает отсутствие дополнительных данных) в случае сети персептрон, ее можно объяснить особенностями соответ-
Таблица 1
Значения функционала ошибки с различным набором данных для двух типов нейронных сетей
п Базовая модель (81 = 0) 1-я модификация (а = 50) 2-я модификация (а = 5; а = 50)
Сигмоиды Гауссианы Сигмоиды Гауссианы Сигмоиды Гауссианы
5 4,078 1,503 2,176 3,746 1,561 3,376
20 4,312 0,932 2,781 1,226 1,673 2,074
50 8,811 1,787 4,482 1,587 1,260 1,556
Обозначения: п — количество нейронов, а — параметр; 81 — вес дополнительных данных; при 51, отличном от нуля, использованы дополнительные данные при различных значениях а. Число итераций — 200.
ствующего функционала, чувствительного к резкому росту решения. Увеличение числа нейронов при этом не меняет ситуации. При отсутствии данных или их малом количестве большое число нейронов лишь замедляет обучение и ухудшает результат. Важно отметить, что результаты улучшаются при существенном увеличении числа итераций.
таким образом, уточнение нейросетево-го решения возможно при использовании в качестве дополнительной информации даже неточных данных, например приближенных численных решений, полученных классическими методами, в том числе такими слабыми, как явный метод Эйлера.
Модификации нейросетевой модели с помощью специальной перегенерации тестовых точек
Продолжим уточнение модели с дополнительными данными, используя новую процедуру перегенерации тестовых точек — выбор тестовых точек по определенному правилу на каждой итерации. Введем параметр ¿,, принимающий значения 0; 0,3; 0,5; 0,7; 1,0 (вообще говоря, любые в промежутке от 0 до 1), отражающий долю точек, фиксирующихся от одной итерации к другой. Например, ^ = 0 означает полную перегенерацию, т. е. все точки заново выбираются случайным образом (распределены равномерно по рассматриваемому интервалу) перед каждой итерацией, = 1 означает, что точки фиксируются с первой итерации и больше не изменяются. Для промежуточных значений параметра
используется следующее правило: фиксируется ' т точек из всех т тестовых точек с наибольшими значениями функционала ошибки, а остальные перегенерируются случайным образом. При первой итерации во всех случаях точки выбираются так, чтобы они были случайно и равномерно распределены на рассматриваемой области.
В экспериментах использовалась сеть типа персептрон, показавшая себя в предыдущем исследовании как наиболее восприимчивая к появлению дополнительной информации о модели. Число нейронов в сети выбиралось равным двадцати (п = 20), использовались данные о соответствии искомого решения приближенному, полученному явным методом Эйлера при а = 5 и 50, количество итераций составляло 300.
Для объективной оценки полученных результатов введем следующую меру. Поскольку для нашего уравнения существует решение в явном виде (3), мы имеем возможность сравнить решение, построенное с помощью нейронных сетей, с истинным. В качестве такой меры используется среднеквадратичное отклонение с, найденное в 100 тыс. точек (а, х), причем а и х равномерно распределены на соответствующих промежутках. Выбранное число точек позволяет говорить об устойчивости оценки относительно разных выборок.
Была проведена серия испытаний для различных значений параметра ё.. Качество построенных нейронной сетью решений определялось с помощью упомянутой выше среднеквадратичной оценки с. В табл. 2 представлены результаты экспериментов в
Таблица 2
Среднеквадратичная оценка качества построенной нейросетевой модели
Параметр перегенерации d t = 0 dt = 0,3 dt = 0,5 dt = 0,7 dt = 1,0
E, 10-2 6,39 6,45 6,80 6,62 6,85
s2 ,10-2 0,96 0,59 0,48 0,92 1,25
Обозначения: Е, 53 — среднее и среднеквадратичное отклонения, — введенный параметр, отражающий долю точек, фиксирующихся от одной итерации к другой. Число итераций — 300; число тестовых точек т = 20.
виде среднего (E) и среднеквадратичного (s2) отклонений полученной выборки для с. Из данных таблицы видно, что среднее значение ошибки отличается лишь во втором знаке. Полученные результаты позволяют сделать вывод, что в данном случае перегенерация по вышеописанному правилу при dt = 0,3 и dt = 0,5 обеспечивает более устойчивый результат нейросетевого моделирования.
Очевидно, что с увеличением размерности, т. е. при переходе к уравнениям в частных производных, данный эффект должен усилиться. Влияние перегенерации точек на результат мы продолжим рассматривать и в следующем разделе.
уточнение нейросетевой модели с помощью асимптотического условия
Следует отметить, что при достаточно малых значениях а справедливо соотношение y = a sin х. Полученное таким образом асимптотическое условие будем считать дополнительной информацией о модели. Кроме того, будем учитывать данные о соответствии искомого решения приближенному, полученному методом Эйлера при а = 50; другими словами, изучим использование в модели гетерогенных данных. Помимо этого, будем продолжать исследование эффекта перегенерации тестовых точек, описанной в предыдущем разделе.
Асимптотическое условие будем учитывать в модели добавлением в функционал минимизации слагаемого
m
S2 I
k=1
где M — достаточно большое фиксирован-
ное положительное число, а переменные хк и ак перегенерируются так же, как и ранее на рассматриваемых промежутках ае [0,5; 50], х е[0,1].
Описанный выше подход был исследован для сети с двадцатью базисными функциями (п = 20) и с двадцатью и пятьюдесятью тестовыми точками (т = 20 и 50). Нейронная сеть применялась с асимптотическим условием для М = 50, 100 и 200. Отметим, что значение 1/М в этих случаях будет выходить за рамки интервала, в котором предполагается выполнение задачи (2), и можно говорить о решении неклассической задачи.
Для каждого набора параметров проводилась серия испытаний. Качество построенных нейронной сетью решений определялось с помощью упомянутой выше среднеквадратичной оценки. Результаты экспериментов приведены в табл. 3. Для модели с пятьюдесятью тестовыми точками представлен только случай использования асимптотического условия при М = 50, так как при других М значимых различий в результатах не выявлено. Очевидно, что при больших значениях параметра М задача является в большей степени неклассической, что выражается в ухудшении результатов при полной перегенерации для значения т = 20. В этих случаях лучше работает метод с частичной перегенерацией тестовых точек, а метод коллокаций дает наибольшую ошибку. Важно, что именно для модели с фиксированными точками для т = 50 мы получаем такой же хороший результат, как и при полной перегенерации для т = 20. При этом сильно возрастает время обучения (оно линейно зависит от числа тестовых
УI X
a,
a.
M j M
- sin X,
Таблица 3
Среднеквадратичная оценка качества нейросетевых моделей, построенных с учетом асимптотического условия при различных значениях параметра М и параметра перегенерации й1
М Перегенерация 4 = 0 4 = 0,3 4 = 0,5 4 = 0,7 4 = 1,0
т = 20
50 Е, 102 с7 5,51 6,83 8,38 7,36 7,54
я2 , 10-2 0,41 0,99 0,32 0,83 1,24
100 Е, 102 с7 7,03 6,84 8,13 6,87 9,12
я2 , 10-2 0,68 1,25 1,70 1,10 1,35
200 Е, 10-2 с7 7,71 7,09 6,96 6,68 7,63
я2, 10-2 1,49 0,96 1,27 1,01 1,95
т = 50
50 Е, 10-2 с7 6,13 6,05 6,23 6,96 5,62
я2, 10-2 0,95 0,46 1,18 0,71 0,27
точек). Таким образом, при прочих равных условиях полная перегенерация позволяет сократить время работы алгоритма за счет уменьшения количества контрольных точек при сохранении точности результата.
Приведем явный вид полученного решения при т = 20 и М = 50:
и(х,а) = 0,095 + 0,103 1Н[4,294-10П х х (3,941-Ю11 + х)] 1Ь[0,086(—49,788 + а)] + + 0,147 1Ь[6,398(— 0,37 + х)] х х Ш[0,112(-45,994 + а)] + + 0,235 Ш[4,21(-0,76 + х) &[0,025 х х (-45,33 + а)] - 0,787 Ш[1,88 х х (-0,305 + х)] &[0,046(-34,378 + а)] + + 0,083 Ш[4,474(-0,643 + х) х х 1Ь[0,149(-31,034 + а)] + +0,579 Ш[1,523(-0,503 + х) 1^[0,166 х
х (-26,922 + а)] - 0,934 &[0,083 х х (-0,054 + х)] &[0,565(-26,823 + а)] -
- 0,163 Ш[1,818(-0,533 + х)] &[0,246 х х (-25,466 + а)] - 0,819 Ш[2,017 х
х (-0,88 + х)] &[0,14(-23,668 + а)] + + 0,577 &[0,938(-0,831 + х)] Ш[0,237 х
х (-23,39 + а)] - 0,012 Ш[27,835 х х (-0,284 + х) &[0,407(-22,059 + а)] -
- 0,276 Ш[1,099а062(2,145а065 + х)] х
х 1^[0,091(-11,042 + а)] -- 0,317 1Ь[1,464 (-0,569 + х)] х х Ш[0,244(-9,012 + а)] - 0,105 &[5,303 х х(-0,489 + х)] Ш[0,576(-3,596 + а)] +
+ 0,893 &[1,588(-0,798 + х)] 1Ь[0,105 х
х (-3,546 + а)] + 0,23 & [1,061 х х (-0,581 + х)] &[0,341(-2,658 + а)] + + 0,445 &[62,244(-0,025 + х)] х х Ш[(0,084(-1,548 + а)] -- 1,009 Ш[1,812(-0,976 + х)] &[(0,121 х
х (-1,166 + а)] - 0,026 &[1,222 х х (-0,375 + х)] Ш[(16,58(-0,559 + а)] + + 0,849 Ш[0,595(-0,056 + х)] х х Ш[2,416(-0,55 + а)].
Увеличение ошибки при полной перегенерации 50 тестовых точек свидетельствует о некотором переобучении сети, то есть метод и число точек необходимо выбирать корректно относительно условий задачи. Частичную же перегенерацию можно успешно применять для неклассической задачи, позволяя тем самым дорабатывать модель на «сложных» точках.
Особый интерес представляет сравнение нейросетевых решений, построенных с использованием дополнительных данных разных типов при конкретных значениях среднеквадратичной ошибки. На рис. 2 изображены нейросетевые приближения для моделей с параметрами т = 20, 4 = 0 без применения асимптотического условия и с его использованием при а = 0,5 и одной и той же среднеквадратичной ошибке. Представленные на рис. 2 результаты
Рис. 2. Нейросетевые приближения решения, полученные при использовании точечных данных (а) и асимптотического условия (Ь) при а = 0,5 и одной и той же среднеквадратичной ошибке 0,027. Параметры моделей т = 20, = 0. Символы — точечные решения методом Эйлера, линии 1, 2 — истинное и нейросетевое решения соответственно
демонстрируют, что нейросетевая модель, построенная с использованием асимптотического условия, решает нежесткую задачу с меньшей точностью. При этом среднее значение оценки ошибки по всему промежутку изменения параметра у нее меньше (см. табл. 2 и 3), что говорит о более равномерном приближении к истинному решению на всем рассматриваемом интервале.
Отметим, что данный эффект сохраняется и для асимптотической модели при M = 200 (неклассическая задача), где приближение при малых значениях а еще грубее для равных значений среднеквадратичной оценки.
Таким образом, нейронная сеть успешно решает неклассические задачи, тогда как асимптотическая модель дает более равномерное приближение на всем интервале изменения параметра.
Способ сочетания нейросетевого и классического методов
Возможен еще один гибридный подход, который состоит в том, что нейросетевое приближение u(x, а) для решения задачи (2) используется при модификации неявного метода Адамса второго порядка точности для решения дифференциального уравнения у ' = f (х, у) :
h
у,-+1 = у + 2( ¥ (х, У.- ) + ¥ (х+^ У/+1)).
При классическом подходе переменная у+1 задается неявно и требует на каждом шаге применения некоторого метода решения данного нелинейного уравнения. Чаще всего в этом случае используется метод «предиктор-корректор», состоящий в двухэтапных вычислениях на каждом шаге. В качестве первого этапа применяется метод Эйлера, вычисляется
У,+1 = У, + ¥ (Х, Уi),
а в качестве второго — формула метода Адамса:
h
у+1 = У + 2(¥ (х, У ) + ¥ (х+1 у <+1))ь
Используем нейросетевое приближение и(х, а) для замены двух формул одной:
h
У,-+1 = у,- + 2 (¥(х, У,-) + ¥(X+1, и(х,.+1, а))).
Данный подход применялся и анализировался для нейросетевых моделей с сетью персептрон и базисными функциями-гауссианами для разного числа нейронов, а также при наличии и отсутствии дополнительных данных. Опишем наиболее интересные результаты.
Как и ожидалось, в условиях отсутствия дополнительных данных лучший результат и для рассматриваемого гибридного метода показывает применение нейронной сети с гауссианами. Число нейронов п = 5 оказы-
вается недостаточным, а при п = 50 возникает эффект переобучения. При п = 20 наблюдается значительное уменьшение ошибки при а = 50, и таким образом, гибридный метод позволяет улучшить результат метода предиктор-корректор в жестком случае.
Что касается сети персептрон, эффект от применения гибридного метода проявляется в модели с использованием дополнительных данных для значений параметра а = 5 и 50 (см. раздел «Нейросетевые модели с дополнительными данными»). Уже для сети с малым количеством нейронов число п = 5 дает улучшение результата для жесткого уравнения при а = 50, по сравнению с нейросетевым и классическим методами, хотя для малых а этого не наблюдается. По-видимому, сказывается недостаток числа нейронов сети, так как при п = 20 и 50 сохраняется лучший результат для жесткого случая и достигается точность классических методов для уравнения при малых значениях параметра а.
Заключение
В результате проведенного исследования установлено, что нейросетевой подход при построении математической модели по разнородным данным, включающим дифференциальные уравнения, позволяет путем модификации функционала ошибки учитывать дополнительные условия различного типа без необходимости существенно-
го изменения алгоритма.
Применение нейронных сетей дает возможность решать неклассические задачи, а также задачи построения моделей по неточным данным, что часто встречается в реальных приложениях. В рассмотренной задаче оказалось, что дополнительную информацию лучше воспринимает персептрон с сигмоидными базисными функциями, известными как универсальные аппроксима-торы.
Предложенный в статье алгоритм перегенерации тестовых точек обеспечивает экономию времени работы сети в простых задачах и уточнение модели при наличии сложной дополнительной информации.
При использовании нейронных сетей, дающих достаточно точные приближения, эффективен гибридный алгоритм, использующий в классических неявных методах приближенные нейросетевые решения. В этом случае он дает возможность значительно повысить точность приближенного решения в дискретном наборе точек.
Методология, представленная в книге [3], позволяет рассмотреть естественные обобщения приведенного в настоящей статье подхода на системы обыкновенных дифференциальных уравнений, уравнения более высокого порядка и уравнения в частных производных.
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант №14-01-00660).
список литературы
[1] Хайрер Э., Ваннер Г. Решение обыкновенных дифференциальных уравнений. Жесткие и дифференциально-алгебраические задачи. М.: Мир, 1999. 685 с.
[2] тархов Д.А. Нейросетевые модели и алгоритмы. М.: Радиотехника, 2014. 348 с.
[3] Васильев А.Н., тархов Д.А. Нейросетевое моделирование. Принципы. Алгоритмы. Приложения. СПб.: Изд-во Политехнического университета, 2009. 528 с.
[4] Васильев А.Н., тархов Д.А. Построение приближенных нейросетевых моделей по разнородным данным // Математическое моделирование. 2007. Т. 19. № 12. С. 43-51.
[5] Васильев А.Н., Осипов В.П., тархов Д.А. Унифицированный процесс моделирования
физико-технических объектов с распределенными параметрами // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2010. № 3(104). С. 39-52.
[6] Васильев А.Н., тархов Д.А. Параметрические нейросетевые модели классических и неклассических задач для уравнения теплопроводности // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2012. Т. 3. № 153. С. 136-144.
[7] Tarkhov D.A., Vasilyev A.N. Mathematical models of complex systems on the basis of artificial neural networks // Nonlinear Phenomena in Complex Systems. 2014. Vol. 17. No. 3. Pp. 327-335.
[8] Васильев А.Н., тархов Д.А. Математические модели систем с интервально заданными
параметрами на основе гетерогенных нейрон- компьютеры: разработка, применение. 2014. ных сетей. Пористый катализатор // Нейро- № 5. С. 3-7.
СВЕДЕНИЯ ОБ АВТОРАХ
ЛАЗОВСКАЯ татьяна Валерьевна - старший преподаватель кафедры высшей математики Санкт-Петербургского политехнического университета Петра Великого.
195251, Российская Федерация, г. Санкт-Петербург, Политехническая ул., 29 tatianala@list.ru
тАРХОВ Дмитрий Альбертович - доктор технических наук, профессор кафедры высшей математики Санкт-Петербургского политехнического университета Петра Великого.
195251, Российская Федерация, г. Санкт-Петербург, Политехническая ул., 29 dtarkhov@gmail.com
Lazovskaya T.V., Tarkhov D.A. FRESH APPROACHES TO THE CONSTRUCTION OF PARAMETERIZED NEURAL NETWORK SOLUTIONS OF A STIFF DIFFERENTIAL EQUATION.
A number of new fundamental problems expanding Vasiliev's and Tarkhov's methodology worked out for neural network models constructed on the basis of differential equations and other data has been stated and solved in this paper. The possibility of extending the parameter range in the same neural network model without loss of accuracy was studied. The influence of the new approach to choosing test points and using the heterogeneous complementary data on the solution accuracy was analyzed.
The additional conditions in equation form derived from the asymptotic decomposition were used apart from the point data. The classical and non-classical definitions of the problem were compared by entering a parameter into the additional data. A new sampling scheme of test point choice at different stages of minimization (the procedure of test point regeneration) under various initial conditions was investigated. A way of combining two approaches (classical and neural-network) based on the Adams PECE method was considered.
NEURAL NETWORK, DIFFERENTIAL EQUATION, PARAMETRIZED MATHEMATICAL MODEL, HYBRID ALGORITHM.
REFERENCES
[1] E. Hairer, G. Wanner, Reshenie obyknovennykh differentsial'nykh uravnenij. Zhestkie i differentsial'no-algebraicheskie zadachi [The solution of ordinary differential equations. Stiff and differential algebraic problems], Mir, Moscow, 1999.
[2] D.A. Tarkhov, Nejrosetevye modeli i algoritmy [Neural network models and algorithms], Radiotekhnika, Moscow, 2014.
[3] A.N. Vasiliev, D.A. Tarkhov, Nejrosetevoe modelirovanie. Printsipy. Algoritmy. Prilozheniya [Neural network modeling. Principles. Algorithms. Applications], Polytechnical University Publishing House, St. Petersburg,, 2009.
[4] A.N. Vasiliev, D.A. Tarkhov, Postroenie priblizhennykh nejrosetevykh modelej po raznorodnym dannym [Construction of approximate neural network models according to heterogeneous data], Math. Models & Comp. Simulations. 19 (12) (2007) 43-51.
[5] A.N. Vasiliev, V.P. osipov, D.A. Tarkhov,
Unified process of modeling of physicotechnical objects with distributed parameters, St. Petersburg State Polytechnical University Journal: Physics and Mathematics. 3 (104) (2010) 39-52.
[6] A.N. Vasiliev, D.A. Tarkhov, Parametrical neural network models of classical and nonclassical problems for heat conduction equation, St. Petersburg State Polytechnical University Journal: Physics and Mathematics. 3 (153) (2012) 136-144.
[7] D.A. Tarkhov, A.N. Vasiliev, Mathematical models of complex systems on the basis of artificial neural networks, Nonlinear Phenomena in Complex Systems. 17 (3) (2014) 327-335.
[8] A.N. Vasiliev, D.A. Tarkhov, Mathematical models of systems with interval representation of parameters on the basis of heterogeneous neural networks. Porous catalyst, Neurocomputers: design and applications. 5 (2014) 3-7.
THE AuTHORS
LAZoVSKAYA Tatiana V.
Peter the Great St. Petersburg Polytechnic University
29 Politekhnicheskaya St., St. Petersburg, 195251, Russian Federation
tatianala@list.ru
TARKHoV Dmitry A.
Peter the Great St. Petersburg Polytechnic University
29 Politechnikheskaya St., St. Petersburg, 195251, Russian Federation
dtarkhov@gmail.com
© Санкт-Петербургский политехнический университет Петра Великого, 2015
