ИССЛЕДОВАНИЕ ПРОГНОСТИЧЕСКИХ ВОЗМОЖНОСТЕЙ МНОГОСЛОЙНОЙ НЕЙРОМОРФНОЙ МОДЕЛИ, УПРАВЛЯЕМОЙ ДАННЫМИ, НА ПРИМЕРЕ ОСЦИЛЛЯТОРА ДУФФИНГА Текст научной статьи по специальности «Компьютерные и информационные науки»

НАУЧНОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ В ОБРАЗОВАНИИ И НАУКЕ / SCIENTIFIC SOFTWARE IN EDUCATION AND SCIENCE

УДК 004.032.26+519.63

DOI: 10.25559/SITITO.17.202103.625-632

Научная статья

Исследование прогностических возможностей многослойной нейроморфной модели, управляемой данными, на примере осциллятора Дуффинга

А. Н. Васильев*, В. А. Гороховская, А. П. Корчагин, Т. В. Лазовская, Д. А. Тархов, Д. А. Чернуха

ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого», г. Санкт-Петербург, Российская Федерация

195251, Российская Федерация, г. Санкт-Петербург, ул. Политехническая, д. 29 * [email protected]

Аннотация

Переход к Индустрии 4.0 выдвигает на первый план области исследования, требующие качественного описания сложной системы, например, киберфизической, в виде адаптивной динамической модели, так как сами системы подвержены с течением времени изменениям под влиянием различных, иногда неизвестных, факторов. В данной работе тестируется новый метод уточнения математической модели и построение среднесрочного прогноза на основе обработки динамических измерений, полученных при взаимодействии объекта моделирования и программного обеспечения в реальном времени. В контексте необходимости сокращения времени обработки и сложности модели мы используем наши многослойные модели на основе сеточных методов, применяемых к интервалу времени переменной длины. Разработанные нами методы являются альтернативным способом построения приближённых функциональных решений дифференциальных уравнений. В данной работе этот подход используется для решения уравнения Дуффинга с переменным параметром. В качестве базовых методов используются универсальные итерационные формулы для дифференциальных уравнений первого порядка в виде различных модификаций метода Эйлера и метод Штёрмера для уравнений второго порядка. В статье приведены результаты вычислений времени выполнения итераций и их сравнительный анализ, а также предварительная оценка наличия значимых отличий применяемых схем при помощи критерия Фридмана для выборки с неизменными параметрами и попарное сравнение по критерию Уилкоксона для определения характера различия величин. Вычисления проводились с помощью пакета Wolfram Mathematica, а анализировались с помощью встроенных функций пакета Excel. Полученные данные помогают оптимизировать использование схем в практических целях, таким образом, проведенное нами сравнительное исследование свойств разных моделей позволяет выбрать наиболее подходящую модель в зависимости от конкретной решаемой задачи. На основе этих данных в будущем возможна разработка системы, автоматически выбирающей наиболее приемлемый (из представленных) метод решения задачи, определяемой входными данными.

Ключевые слова: уравнение Дуффинга, многослойная модель, динамические измерения, критерий Фридмана, критерий Уилкоксона, динамический параметр, дифференциальные уравнения, метод Эйлера, метод Штёрмера, усовершенствованный метод Эйлера

Авторы заявляют об отсутствии конфликта интересов.

Для цитирования: Исследование прогностических возможностей многослойной нейроморфной модели, управляемой данными, на примере осциллятора Дуффинга / А. Н. Васильев, В. А. Гороховская, А. П. Корчагин [и др.]. - DOI 10.25559/SITITO.17.202103.625-632 // Современные информационные технологии и ИТ-образование. - 2021. - Т. 17, № 3. - С. 625-632.

Васильев А. Н., Гороховская В. А., Корчагин А. П., Лазовская Т. В., Тархов Д. А., Чернуха Д. А., 2021

Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.

Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

SCIENTIFIC SOFTWARE IN EDUCATION AND SCIENCE

Investigation of the Predictive Capabilities of a Data-Driven Multilayer Neuromorphic Model by the Example of the Duffing Oscillator

A. N. Vasilyev*, V. A. Gorokhovskaya, A. P. Korchagin, T. V. Lazovskaya, D. A. Tarkhov, D. A. Chernukha

Peter the Great St. Petersburg Polytechnic University, Saint Petersburg, Russian Federation 29 Polytechnicheskaya St., St.Petersburg 195251, Russian Federation * [email protected]

The transition to Industry 4.0 highlights areas of research that require a qualitative description of a complex system, for example, a cyber-physical one, in the form of an adaptive dynamic model since the systems themselves are subject to change over time under various, sometimes unknown factors. In this paper, we test a new method for refining a mathematical model and building a medium-term forecast based on processing dynamic measurements. In the context of the need to reduce processing time and model complexity, we use our multilayer models based on mesh methods applied to a variable-length time interval. The methods we have developed are an alternative way of constructing approximate functional solutions of differential equations. In this paper, this approach is used to solve the Duffing equation with a variable parameter The basic methods are universal iterative formulas for first-order differential equations in the form of various modifications of the Euler method and Stormer's method for second-order equations. The article presents the results of calculating the execution time of iterations and their comparative analysis, as well as a preliminary assessment of the presence of significant differences in the applied schemes using the Friedman test for a sample with unchanged parameters and pair wise comparison using the Wilcoxon test to determine the nature of the difference in values. We performed the calculations using the Wolfram Mathematica package and analyzed them using the built-in functions of the Excel package. The data obtained help to optimize the use of schemes for practical purposes, thus, our comparative study of the properties of different models allows us to choose the most suitable model depending on the specific problem being solved. On the basis of these data, in the future, it is possible to develop a system that automatically selects the most acceptable method for solving the problem determined by the input data.

Keywords: Duffing equation, multilayer model, dynamic measurements, Friedman's test, Wilcoxon's test, dynamic parameter, differential equations, Euler's method, Stormer's method, improved Euler's method

The authors declare no conflict of interest.

For citation: Vasilyev A.N., Gorokhovskaya V.A., Korchagin A.P., Lazovskaya T.V., Tarkhov D.A., Chernukha D.A. Investigation of the Predictive Capabilities of a Data-Driven Multilayer Neuromorphic Model by the Example of the Duffing Oscillator. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2021; 17(3):625-632. DOI: https://doi. org/10.25559/SITITO.17.202103.625-632

Abstract

Современные информационные технологии и ИТ-образование

Том 17, № 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru

Введение

Для прогноза динамики и создания системы управления сложным механическим объектом (роботом, производственной линией, автомобилем и т.п.) обычно требуется построить математическую модель. С одной стороны, такая математическая модель должна быть достаточно точной для того, чтобы решать поставленную задачу, с другой - не слишком сложной, чтобы с ней удобно было работать. Особенно жёсткими эти требования становятся в ситуации, когда свойства объекта меняются в процессе его функционирования. В этой ситуации модель должна быть адаптивной, причём скорость адаптации должна быть достаточной, чтобы модель оставалась адекватной в рамках решаемой задачи. С появлением современных датчиков, способных считывать изменения практически любой точности, все более актуальной становится задача построения математических моделей такого рода для динамических систем.

Несмотря на наличие большого круга исследований, направленных на изучение свойств математических моделей (которые, стоит отметить, подтвердили эффективность, высокую скорость и производственную выгодность использования данных моделей), до сих пор существует нерешенная проблема оптимизации задаваемых параметров в условиях конкретных задач построения математических моделей по динамическим гетерогенным данным. В этой статье мы, во-первых, опираясь на более ранние исследования эффективности применения многослойных методов к задаче [5], содержащей уравнение Дуффинга [6], анализируем зависимость времени выполнения итераций от параметров системы. Во-вторых, мы рассматриваем возможность наличия нетипических отклонений в связной выборке с помощью критерия Фридмана1 и оценим характер этих изменений (при их наличии) по критерию Уилкоксона2 [7; 8], который используется для проверки различий между двумя выборками парных измерений по разным показателям. Полученные данные помогут нам приблизиться к выбору оптимальной модели при меняющихся входных данных и выявить, какие переменные показатели незначительно влияют на результат и потому могут быть заменены на упрощенные аналоги в целях упрощения самой модели, что сделает ее, естественно, более удобной в практическом применении. Также наши исследования дадут возможность в будущем рассмотреть эффективное ранжирование самих задач по более эффективному методу выполнения.

Таким образом, важно строить адаптивные математические модели. В этом случае кажется естественным использование различных методов нейросетевой аппроксимации для решения дифференциальных уравнений [7-17]. В последнее время новые классификации парадигм моделирования часто обсуждаются в научных журналах [1-4]. Гибридные модели [4], [1317], которые сочетают машинное обучение на основе данных с моделированием на основе физики, набирают популярность [1-4], [10-17]. Подход, представленный в этой статье, относится к сетевым архитектурам, основанным на физике, и может

рассматриваться как расширение многослойных методов [14], [12], [16-17].

Цель исследования

В ходе проведения ряда вычислений с помощью таких пакетов как Wolfram.Mathematica12.3 и Excel мы оценим целесообразность применения той или иной модели для конкретной задачи с точки зрения данных показателей:

• время выполнения итераций;

• точность решения задачи с помощью таких параметров как: среднеквадратическая ошибка (SquareMeanMis), процентная ошибка (MeanMisOtn%), максимальную, минимальную и среднюю длину прогноза(MaxLen, MinLen, MidLen соответственно), среднеквадратическое отклонение (StandardDeviationLen), максимальную и среднюю ошибки(MaxMis и MeanMis).

Полученные данные помогут достоверно (математически) определить оптимальную область применения каждой из построенных моделей.

Построение модели

На практике механическую систему обычно моделируют в виде начальной или краевой задачи для системы дифференциальных уравнений (обыкновенных или в частных производных). Решение дифференциальных уравнений в дальнейшем часто ищется в виде численного приближения. Для численного решения разработано достаточно много методов, но полученную таблицу чисел трудно модифицировать по данным наблюдений за объектом, если его свойства меняются. Есть ряд методов построения приближённого решения в виде функции. По большей части это разного рода асимптотические методы. Однако, такие модели обычно обладают приемлемой точностью только в малой области значений параметра или начальной точки, для которой они строятся. Суть предлагаемого нами метода состоит в том, что известные формулы численных методов решения дифференциальных уравнений применяются к интервалу переменной длины. Таким образом, вместо численного решения мы получаем функциональное. В данной статье рассматривается простейшая одномерная нелинейная система, описываемая уравнением Дуффинга [6]

y" + y + s(t) y3 = 0 (1)

при начальных условиях

У(0)=УО,У'(0)=У1. (2)

Здесь s(t) - это динамический параметр, позволяющий моделировать изменение свойств объекта. Уравнение (1) моделирует одномерную частицу, движущуюся в потенциальном поле вида

1 Седлер М. И., Седлер М. Х. Статистические методы в управлении качеством. СПб.: СПбГПУ, 2013. С. 134-136.

2 Аксенов Б.Е., Афонькин И.В., Евменов В.П., Нечипоренко М.И. Основы теории вероятности. Т. 2. Введение в математическую статистику. Ленинград: Изд-во

Ленинград. гос. ун-та, 1974. С. 98-100.

Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

+ (3]

Для симуляции динамических измерений считаем, что параметр задачи меняется в соответствии с зависимостью

е^ ) = 1 -аТапк (в -у) (4]

Система (1] - (2] с известной динамической функцией параметра допускает численное решение любой точности (при постоянном параметре решение выражается через эллиптические функции].

На вход алгоритма подаются «результаты измерений», в качестве которых выступают значения решение уравнения, поступающие через определённый интервал с добавлением небольшого шума, другими словами, с некоторой ошибкой. На основе этих данных мы строим модель, которая позволяет сделать прогноз. Модель перестраивается в момент, когда ошибка прогноза превышает заданную величину. В процессе решения также проводится идентификация неизвестного динамического параметра системы. Для решения дифференциальных уравнений применяется наши модификации трёх уже упомянутых ранее методов:

• метод Эйлера - простейший из всех;

• усовершенствованный метод Эйлера;

• метод Штёрмера - наиболее точный, так как предназначен именно для дифференциальных уравнений второго порядка.

Время выполнения итераций, средняя длина прогноза

Оценим целесообразность использования каждого из трех рассматриваемых методов в условиях конкретной прикладной задачи. Сравнивать будем по таким параметрам точности прогноза, как средняя длина прогноза (MidLen] и время проведения вычислений программой. Мы провели серию экспериментов, в которых сравнили результаты прогнозов для многослойных моделей, основанных на разных исходных методах и разном количестве слоев многослойной модели(2<п<8]. Также за изменяемые параметры мы принимаем Р-шум, который представляет собой последовательность равномерно распределённых случайных величин с нулевым математическим ожиданием (Р принимает значения {0; 0,005; 0,01; 0,03}] и d-дискретность ^ принимает значения {0,05; 0,01}].

Ниже перечислены результаты анализа времени расчетов: 1. В ходе экспериментов мы выявили зависимость вре-

мени расчетов от количества слоев модели: время экспоненциально возрастает с усложнением модели (на примере метода Эйлера при Р=0, d=0,05]

Т а б л и ц а 1. Зависимость времени от количества слоев модели T a b l e 1. Dependence of time on the number of model layers

Time d=0.05

n Method P=0 P=0.005 P=0.01 P=0.03

2 Starmer 0.015625 0.015625 0.015625 0.015625

Euler 0.015625 0.015625 0.015625 0.015625

RefinedEuler 0.03125 0.0625 0.03125 0.046875

3 Starmer 0.03125 0.03125 0.03125 0.03125

Euler 0.015625 0.015625 0.015625 0.015625

RefinedEuler 0.09375 0.078125 0.09375 0.09375

4 Starmer 0.09375 0.09375 0.171875 0.09375

Euler 0.03125 0.03125 0.03125 0.03125

RefinedEuler 0.328125 0.34375 0.4375 0.3125

5 Starmer 0.140625 0.140625 0.125 0.140625

Euler 0.0625 0.078125 0.078125 0.078125

RefinedEuler 1.15625 1.20313 1.1875 1.23438

6 Starmer 0.375 0.40625 0.390625 0.46875

Euler 0.15625 0.15625 0.15625 0.171875

RefinedEuler 4.07813 4.2500 4.1875 4.2500

7 Starmer 1.21875 1.21875 1.20313 1.15625

Euler 0.3125 0.34375 0.375 0.3125

RefinedEuler 15.1406 15.4219 15.8125 16.5156

8 Starmer 3.71875 4.0625 4.04688 4.0625

Euler 0.703125 0.703125 0.703125 0.6875

RefinedEuler 63.5625 61.7031 66.3281 66.9844

2. Время итераций не зависит как от уровня шума, так и

от дискретности d:

Т а б л и ц а 2. Зависимость времени вычислений от уровня шума и дискретности

T a b l e 2. Dependence of the computation time on the noise level and discreteness

Time d=0.05 d=0.1

n Method P=0 P=0.005 P=0.01 P=0.03 P=0 P=0.005 P=0.01 P=0.03

2 Starmer 0.015625 0.015625 0.015625 0.015625 0.015625 0.015625 0.015625 0.015625

Euler 0.015625 0.015625 0.015625 0.015625 0.015625 0.015625 0.015625 0.015625

RefinedEuler 0.03125 0.0625 0.03125 0.046875 0.03125 0.015625 0.0625 0.03125

3. Самым быстрым методом является метод Эйлера

(Euler), самым медленным - усовершенствованный метод Эйлера (RefinedEuler):

Т а б л и ц а 3. Сравнение скорости вычисления различных методов T a b l e 3. Comparison of calculation speed of different methods

n Method P=0

Starmer 0.015625

Euler 0.015625

2 RefinedEuler 0.03125

Starmer 0.03125

Euler 0.015625

3 RefinedEuler 0.09375

Starmer 0.09375

Euler 0.03125

4 RefinedEuler 0.328125

Starmer 0.140625

Euler 0.0625

5 RefinedEuler 1.15625

Starmer 0.375

Euler 0.15625

6 RefinedEuler 4.07813

Starmer 1.21875

Euler 0.3125

7 RefinedEuler 15.1406

Starmer 3.71875

Euler 0.703125

8 RefinedEuler 63.5625

Современные информационные технологии и ИТ-образование

Том 17, № 3. 2021

ISSN 2411-1473

sitito.cs.msu.ru

4. Из данных графиков, выражающих точное и прибли-

женное решение уравнения Дуффинга, видно, что метод Эйлера уступает другим по точности решения - приближенное функциональное решение имеет сильное отклонение от точного, однако при использовании усовершенствованного мето-

да Эйлера эти отклонения незначительны, а метод Штёрме-ра для дифференциальных уравнений второго порядка дает практически точное решение. В пример привели вычисления, соответствующие параметрам d=0.05, Р=0.01, п=5:

а) Ь) с)

Р и с. 1. Графики точных и приближенных функциональных решений для: a) метода Штёрмера, b) метода Эйлера, с) усовершенствованного метода Эйлера F i g. 1. Graphs of exact and approximate functional solutions for: a) Stoermer's method, b) Euler's method, c) improved Euler's method

Рассмотрим также такой важный показатель как средняя длина прогноза, который непосредственно оценивает точность проделанных вычислений:

1. Очевидно, что при увеличении подаваемого шума средняя длина прогноза уменьшается для любого n, d и метода: Т а б л и ц а 4. Зависимость средней длины прогноза от шума P T a b l e 4. Dependence of the average forecast length on the noise P

MidLen d=0.05 d= 0.1

n Method P=0 P=0.005 P=0.01 P=0.03 P=0 P=0.005 P=0.01 P=0.03

Starmer 28.5357 7.9900 4.99375 1.66112 14.25 7.67308 4.58621 1.86449

Euler 11.5797 7.91089 5.70714 1.78747 5.39189 5.05063 3.69444 1.96552

5 RefinedEuler 25.7742 7.33028 3.995 1.66112 11.0833 6.76271 4.15625 1.94634

Starmer 28.5357 9.18391 5.39865 1.80361 14.25 7.5283 4.33696 1.81364

Euler 12.6825 9.18391 5.18831 1.86247 6.04545 5.250 3.91176 1.900

6 RefinedEuler 24.9688 9.7439 4.36612 1.80769 13.30 8.3125 4.750 1.80543

2. Увеличения количества слоев модели n приводит к увеличению точности прогноза для любого P, d и метода: Т а б л и ц а 5. Зависимость точности прогноза от количества слоев n T a b l e 5. Dependence of forecast accuracy on the number of layers n

3. Данные вычислений также показали, что несмотря на точность как усовершенствованного метода Эйлера, так и метода Штёрмера, для большого числа слоёв средняя длина прогноза для него и для более быстрого метода Штёрмера отличается незначительно, что приводит нас к выводу о том, что ради скорости выполнения поставленной задачи целесообразнее выбирать быстрый и точный метод Штёрмера;

4. Дискретность имеет выраженное влияние на точность прогноза: уменьшение частоты дискретизации в два раза привело к значительному увеличению средней длины прогноза.

Оценка оптимальности моделей с помощью статистических критериев

Выясним какие модели являются оптимальными для каждого из параметров, одни из которых связаны с ошибкой вычисления, другие - с длиной. Мы провели сравнение по различным моделям, которые состояли из переменных величин, таких как количество слоёв (2<n<5), дискретность d = {0.01; 0.1; 0.5} и для вычисления которых применяли различные методы (Euler, Störmer, RefinedEuler). В ходе исследования мы воспользовались критерием Фридмана. Данный критерий представляет собой альтернативу параметрическому дисперсионному анализу с повторными наблюдениями. Дисперсионный анализ в свою очередь является методом в математической статистике, направленным на поиск зависимостей в экспериментальных данных путём исследования значимости различий в средних значениях. Критерий позволяет установить уровень статистической достоверности различий сразу в нескольких измерениях (от 3 до 100) с помощью одной процедуры, но не дает возможности выявить направление изменений. В данной работе за нулевую гипотезу мы принимаем утверждение о том, что различные модели дают практически одинаковый результат. Другими словами, с помощью критерия Фридмана мы сопоставили условия изменения для выборки из десяти запусков пакета Wolfram.Mathematica12.3 с ранжированием по индивидуальным значениям измерений. Сравнив его с критическими значениями, определили наличие значимых отличий применяемых схем. Результат показал, что единственный показатель, не имеющий значимых сдвигов значений, - это MinLen. Для расчетов пользовались встроенными функциями пакета Excel.

MidLen

d=0.05

d=0.1

P=0

P=0.005

P=0.01

P=0.03

P=0

P=0.005

P=0.01

P=0.03

Starmer

13.7759

8.97753

4.56571

1.75219

6.76271

5.46575

3.53097

1.69068

Euler

6.88793

7.83333

5.32667

2.10263

2.93382

3.27049

2.91241

1.87324

RefinedEuler

2

15.0755

8.68478

4.2957

1.80769

7.25455

5.250

4.07143

1.71983

Starmer

28.5357

9.18391

5.39865

1.80361

14.25

7.5283

4.33696

1.81364

Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

Т а б л и ц а 6. Выборка для проверки критерия Фридмана для среднеквадратического отклонения (d=0.5) T a b l e 6. Sample to test the Friedman criterion for standard deviation (d = 0.5)

method Euler Starmer RefinedEuler

number of layers/ number of try 2 3 4 5 2 3 4 5 2 3 4 5

1 0,3546 0,4092 0,4691 0,6648 0,934 1,06 1,45 1,58 0,07024 1,2503 1,0907 1,0692

2 0,3546 0,4092 0,504 0,6648 1,025 1,49 2,235 2,279 0,61 1,17 0,9331 1,292

3 0,3546 0,4237 0,6816 0,565 0,88 1,63 1,83 1,8 0,8624 0,8144 0,9803 1,2916

4 0,3546 0,4092 0,4691 0,5362 0,862 1,544 1,49 1,76 0,9114 1,1043 0,9107 1,3651

5 0,3546 0,4374 0,5902 0,6648 0,95 1,58 1,51 1,716 0,7018 1,0738 1,2497 1,0895

6 0,3546 0,4237 0,5122 0,6926 0,85 1,417 1,939 2,29 1,2897 1,36325 1,02479 1,0895

7 0,3546 0,4092 0,4691 0,6749 1,069 1,66 1,698 1,769 1,17 1,1206 1,1112 1,3104

8 0,3546 0,4237 0,7008 0,764 1,09 1,73 1,8 2,006 0,7024 0,85125 1,1325 1,09036

9 0,3546 0,4237 0,7477 0,6197 0,807 1,36 1,85 2,122 1,1926 1,3275 1,4409 1,32889

10 0,3546 0,4626 0,4691 0,7499 1,024 1,65 1,776 1,894 0,729 1,0814 0,933 0,93498

среднее значение 0,3546 0,42316 0,56129 0,65967 г 0,9491 1,5121 1,7578 1,9216 0,823954 г 1,11568 г 1,080689 1,186153

(*2)Фр.эмп.=i:=1(tg))2)

Для определения уровня значимости отклонений сравним эмпирическое значение критерия Фридмана (5) и критические значения (6), которые можно получить как с помощью встроенных функций «хи-квадрат» в программе, так и с помощью статистических таблиц3:

2 _ [19,67514, дляр < 0,05 (6)

UT )фр.кр - ( 24,7249, дляр < 0,01

Поскольку Сг2)фр.эмп ^ С^2)о.01> нулевая гипотеза отклоняется на уровне значимости 0,05 и 0,01. Из этого следует, что существуют неслучайные различия на уровне значимости 0,01. Далее было проведено сравнение значений показателей, для которых критерий Фридмана выявил значимые изменения. Проанализировав вид сдвигов у значений с одним переменным показателем (d, n) или у тех, которые получились в результате применения разных методов, выявили те, которые имеют нестандартные сдвиги. Чтобы определить, насколько эти нестандартные сдвиги значимы применили критерий Уи-лкоксона и определили общий вид сдвига.

Т а б л и ц а 7. Сравнительные таблицы для показателя относительной ошибки со сменой одного из параметров T a b l e 7. Comparative tables for the indicator of relative error with the change of one of the parameters

Number of try d=0.5 d=0.5 Euler

2 layers Euler 2 layers

Euler Starmer Refined Euler 2 5 d=0.01 d=0.1 d=0.5

1 135,982 66,15 82,477 135,982 55,0746 34,5276 8,2469 135,982

2 136,15 63,974 82,4923 136,15 54,2555 32,404 7,5934 136,15

3 136,318 63,64 82,5797 136,318 55,0547 31,3954 8,8295 136,318

4 136,262 62,75 82,9359 136,262 54,8269 30,35 7,8549 136,262

5 136,452 63,7 82,4461 136,452 54,8483 29,6698 12,5432 136,452

6 136,304 62,6351 84,1186 136,304 54,7967 36,3867 11,0167 136,304

7 135,852 62,75 82,4706 135,852 54,2479 25,8858 10,5781 135,852

8 136,332 63,84 83,454 136,332 53,4986 40,453 13,9086 136,332

9 136,165 63,67 82,7028 136,165 54,7206 32,8489 14,2580 136,165

10 136,105 63,18 83,8778 136,105 54,7971 36,9509 12,7550 136,105

- 3n(c+ 1) = 100,1231 (5)

Т а б л и ц а 8. Определение нетипичного сдвига по критерию Уилкоксона для средней длины прогноза T a b l e 8. Determination of an atypical shift by the Wilcoxon test for the average forecast length

Stormer Refined Euler Разность Модуль разности Ранг разности

1,717 1,58 -0,1370 0,137 6

1,755 1,5192 -0,2358 0,2358 9

1,717 1,6808 -0,0362 0,0362 3

1,68 1,6808 0,0008 0,0008 2

1,717 1,549 -0,1680 0,168 5

1,755 1,8372 0,0822 0,0822 3

1,755 1,7555 0,0005 0,0005 1

1,755 1,58 -0,1750 0,175 3

1,717 1,7954 0,0784 0,0784 1

1,795 1,6458 -0,1492 0,1492 1

Значение эмпирического критерию Уилкоксона равно сумме рангов нетипичного сдвига. Аналогично, сравнивая эмпирическое значение с критическими статистическими значениями, определяем статистическую значимость сдвига [18-25]. В ходе анализа получили разные результаты для параметров, связанных с ошибкой (SquaгeMeanMis, MeanMisOtn%, MeanMis, MaxMis) и связанных с длиной (MaxLen, М^еп, MidLen, StandaгdDeviatюnLen)

Из данных приведенных в Таблице 7, получили:

1. Увеличение количества слоев ведет к уменьшению значения ошибки;

2. Минимальная ошибка получается при использовании метода Штёрмера;

3. При значении d=0.1 ошибка наименьшая. Для параметров, связанных с длиной:

1. Увеличение количества слоёв ведет к увеличению значения параметра;

2. При уменьшении значения дискретности длина возрастает;

3 Малютина, О. П. Математические методы в психологи. Воронеж: ВЭПИ, 2010. 47 с.

Современные информационные технологии и ИТ-образование

Том 17, № 3. 2021

ISSN 2411-1473

sitito.cs.msu.ru

3. Применение метода Штёрмера помогает получить наибольшее значение. По данным Таблицы 8 различия с усовершенствованным методом Эйлера статистически значимы при значении вероятности меньше 0,05.

Выводы

Были получены следующие результаты:

1. Мы изучили различные нейроморфные модели на примере Осциллятора Дуффинга с точки зрения оптимальности использования в рамках прикладных задач. На данном этапе были выявлены закономерности, отвечающие за скорость выполнения итераций и за точность полученного решения;

2. Проведена предварительная оценка наличия значимых отличий применяемых схем по критерию Фридмана для посчитанных показателей, а также попарное сравнение по критерию Уилкоксона для показателей, которые по первому критерию показали наличие значимых отклонений.

Данные, полученные при этих статистических исследованиях, могут быть использованы для поиска ранжировки задач по более подходящим методам решения.

References

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru

ferential equations: A survey. Computers and Mathematics with Applications. 2011; 62(10):3796-3811. (In Eng.) DOI: https://doi.Org/10.1016/j.camwa.2011.09.028

[9] Mai-Duy N. Solving high order ordinary differential equations with radial basis function networks. International Journal for Numerical Methods in Engineering. 2005; 6(92):824-852. (In Eng.) DOI: https://doi.org/10.1002/nme.1220

[10] Lazovskaya T.V., Tarkhov D.A., Vasilyev A.N. Parametric Neural Network Modeling in Engineering. Recent Patents on Engineering. 2017; 11(1):10-15. (In Eng.) DOI: https://doi.org /10.2174/1872212111666161207155157

[11] Lazovskaya T.V., Tarkhov D.A. Fresh approaches to the construction of parameterized neural network solutions of a stiff differential equation. St. Petersburg Polytechnical University Journal: Physics and Mathematics. 2015; 1(2):192-198. (In Eng.) DOI: https://doi.org/10.1016/j. spjpm.2015.07.005

[12] Budkina E.M., Kuznetsov E.B., Lazovskaya T.V., Leonov S.S., Tarkhov D.A., Vasilyev A.N. Neural Network Technique in Boundary Value Problems for Ordinary Differential Equations. In: Ed. by L. Cheng, Q. Liu, A. Ronzhin. Advances in Neural Networks - ISNN 2016. ISNN 2016. Lecture Notes in Computer Science. 2016; 9719:277-283. Springer, Cham. (In Eng.) DOI: https://doi.org/10.1007/978-3-319-40663-3_32 Gorbachenko V.I., Lazovskaya T.V., Tarkhov D.A., Vasilyev A.N., Zhukov M.V. Neural Network Technique in Some Inverse Problems of Mathematical Physics. In: Ed. by L. Cheng, Q. Liu, A. Ronzhin. Advances in Neural Networks - ISNN 2016. ISNN 2016. Lecture Notes in Computer Science. 2016; 9719:310-316. Springer, Cham. (In Eng.) DOI: https://doi. org/10.1007/978-3-319-40663-3_36 Shemyakina T.A., Tarkhov D.A., Vasilyev A.N. Neural Network Technique for Processes Modeling in Porous Catalyst and Chemical Reactor. In: Ed. by L. Cheng, Q. Liu, A. Ronzhin. Advances in Neural Networks - ISNN 2016. ISNN 2016. Lecture Notes in Computer Science. 2016; 9719:547-554. Springer, Cham. (In Eng.) DOI: https://doi.org/10.1007/978-3-319-40663-3_63 Vasilyev A.N., Kolbin I.S., Reviznikov D.L. Meshfree Computational Algorithms Based on Normalized Radial Basis Functions. In: Ed. by L. Cheng, Q. Liu, A. Ronzhin. Advances in Neural Networks - ISNN 2016. ISNN 2016. Lecture Notes in Computer Science. 2016; 9719:583-591. Springer, Cham. (In Eng.) DOI: https://doi.org/10.1007/978-3-319-40663-3_67 Kuznetsov E.B., Leonov S.S., Tarkhov D.A., Vasilyev A.N. Multilayer Method for Solving a Problem of Metals Rupture under Creep Conditions. Thermal Science. 2019; 23(2):575-582. (In Eng.) DOI: https://doi.org/10.2298/ TSCI19S2575K

Tarkhov D.A., Vasilyev A.N. Semi-Empirical Neural Network Modeling and Digital Twins Development. Academic Press, Elsevier; 2019. 288 p. (In Eng.) DOI: https://doi. org/10.1016/C2017-0-02027-X

Zhang M., Drikakis D., Li L., Yan X. Machine-Learning Prediction of Underwater Shock Loading on Structures. Computation. 2019; 7(4):58. (In Eng.) DOI: https://doi.org/10.3390/ computation7040058

Egorchev M.V., Tiumentsev Y.V. Semi-Empirical Continuous Time Neural Network Based Models for Controlla-

Modern Information Technologies and IT-Education

Rasheed A., San O., Kvamsdal T. Digital Twin: Values, Chal- [13] lenges and Enablers From a Modeling Perspective. IEEE Access. 2020; 8:21980-22012. (In Eng.) DOI: https://doi. org/10.1109/ACCESS.2020.2970143 Rai R., Sahu C.K. Driven by Data or Derived through Physics? A Review of Hybrid Physics Guided Machine Learning Techniques with Cyber-Physical System (CPS) Focus. IEEE Access. 2020; 8:71050-71073. (In Eng.) DOI: https://doi. [14] org/10.1109/ACCESS.2020.2987324 Frank M., Drikakis D., Charissis V. Machine-Learning Methods for Computational Science and Engineering. Computation. 2020; 8(1):15. (In Eng.) DOI: https://doi.org/10.3390/ computation8010015

Lazovskaya T., Malykhina G., Tarkhov D. Physics-based [15] neural network methods for solving parameterized singular perturbation problem. Computation. 2021; 9(9):97. (In Eng.) DOI: https://doi.org/10.3390/computation9090097 Boyarsky S., Lazovskaya T., Tarkhov D. Investigation of the Predictive Capabilities of a Data-Driven Multilayer Model by the Example of the Duffing Oscillator. Proceedings of [16] the 2020 International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon). IEEE Press, Vladivostok, Russia; 2020. p. 1-5. (In Eng.) DOI: https://doi.org/10.1109/FarEastCon50210.2020.9271195 Kovacic I., Brennan M.J. The Duffing Equation: Non- [17] linear Oscillators and their Behaviour. John Wiley & Sons, Ltd.; 2011. 392 p. (In Eng.) DOI: https://doi. org/10.1002/9780470977859

Lagaris I.E., Likas A., Fotiadis D.I. Artificial neural networks [18] for solving ordinary and partial differential equations. IEEE Transactions on Neural Networks. 1998; 9(5):987-1000. (In Eng.) DOI: https://doi.org/10.1109/72.712178 Kumar M., Yadav N. Multilayer perceptrons and radial basis [19] function neural network methods for the solution of dif-

ble Dynamical Systems. Optical Memory and Neural Networks. 2019; 28(3);192-203. (In Eng.) DOI: https://doi. org/10.3103/S1060992X1903010X

[20] Raissi M., Perdikaris P., Karniadakis G. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics. 2019; 378:686-707. (In Eng.) DOI: https://doi.org/10.1016/j. jcp.2018.10.045

[21] Han J., Jentzen A., Weinan E. Solving high-dimensional partial differential equations using deep learning. Proceedings of the National Academy of Sciences. 2018; 115(34):8505-8510. (In Eng.) DOI: https://doi.org/10.1073/pnas.1718942115

[22] Sirignano J., Spiliopoulos K. DGM: A deep learning algorithm for solving partial differential equations. Journal of Computational Physics. 2018; 375:1339-1364. (In Eng.) DOI: https://doi.org/10.1016/j.jcp.2018.08.029

[23] Linde Y., Buzo A., Gray R. An Algorithm for Vector Quantizer Design. IEEE Transactions on Communications. 1980; 28(1):84-95. (In Eng.) DOI: https://doi.org/10.1109/ TCOM.1980.1094577

[24] Pang G., D'Elia M., Parks M., Karniadakis G.E. nPINNs: Nonlocal physics-informed neural networks for a parametrized nonlocal universal Laplacian operator. Algorithms and applications. Journal of Computational Physics. 2020; 422:109760. (In Eng.) DOI: https://doi.org/10.1016/j. jcp.2020.109760

[25] Yang X., Li Z., Dahhou B. Parameter and State Estimation for Uncertain Nonlinear Systems by Adaptive Observer Based on Differential Evolution Algorithm. Applied Science. 2020; 10(17):5857. (In Eng.) DOI: https://doi.org/10.3390/ app10175857

Поступила 23.07.2021; одобрена после рецензирования 27.08.2021; принята к публикации 04.09.2021.

Submitted 23.07.2021; approved after reviewing 27.08.2021; accepted for publication 04.09.2021.

|Об авторах:|

Васильев Александр Николаевич, профессор кафедры высшей математики, Физико-механический институт, ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого» (195251, Российская Федерация, г. Санкт-Петербург, ул. Политехническая, д. 29), доктор технических наук, профессор, ORCID: https://orcid.org/0000-0003-0227-0162, [email protected]

Гороховская Владислава Алексеевна, студент Высшей школы механики и процессов управления, Физико-механический институт, ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого» (195251, Российская Федерация, г. Санкт-Петербург, ул. Политехническая, д. 29), ORCID: https:// orcid.org/0000-0003-4050-5188, [email protected] Корчагин Александр Павлович, студент Высшей школы механики и процессов управления, Физико-механический институт, ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого» (195251, Российская Федерация, г. Санкт-Петербург, ул. Политехническая, д. 29), ОЯСШ: https://orcid.org/0000-0002-2201-306X, [email protected]

Лазовская Татьяна Валерьевна, старший преподаватель кафедры высшей математики, Физико-механический институт, ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого» (195251, Российская Федерация, г. Санкт-Петербург, ул. Политехническая, д. 29), ORCID: https:// orcid.org/0000-0002-3324-6213, [email protected] Тархов Дмитрий Альбертович, профессор кафедры высшей математики, Физико-механический институт, ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого» (195251, Российская Федерация, г. Санкт-Петербург, ул. Политехническая, д. 29), доктор технических наук, доцент, ORCID: https:// orcid.org/0000-0002-9431-8241, [email protected] Чернуха Дарья Антоновна, студент Высшей школы механики и процессов управления, Физико-механический институт, ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого» (195251, Российская Федерация, г. Санкт-Петербург, ул. Политехническая, д. 29), ORCID: https:// orcid.org/ 0000-0002-0374-8319, [email protected]

Все авторы прочитали и одобрили окончательный вариант рукописи.

AbouttheaE

Alexander N. Vasilyev, Professor of the Department of Higher Mathematics, Institute of Physics and Mechanics, Peter the Great St. Petersburg Polytechnic University (29 Polytechnicheskaya St., St.Petersburg 195251, Russian Federation), Dr.Sci. (Engineering), Professor, ORCID: https://orcid.org/0000-0003-0227-0162, [email protected] Vladislava A. Gorokhovskaya, Student of the Higher School of Mechanics and Control Processes, Institute of Physics and Mechanics, Peter the Great St. Petersburg Polytechnic University (29 Polytechnicheskaya St., St.Petersburg 195251, Russian Federation), ORCID: https://orcid.org/0000-0003-4050-5188, v_gorokhovskaya@ bk.ru

Alexander P. Korchagin, Student of the Higher School of Mechanics and Control Processes, Institute of Physics and Mechanics, Peter the Great St. Petersburg Polytechnic University (29 Polytechnicheskaya St., St.Petersburg 195251, Russian Federation), ORCID: https:// orcid.org/0000-0002-2201-306X, alexandr.korchagin16@gmail. com

Tatyana V. Lazovskaya, Senior Lecturer of the Department of Higher Mathematics, Institute of Physics and Mechanics, Peter the Great St. Petersburg Polytechnic University (29 Polytechnicheskaya St., St.Petersburg 195251, Russian Federation), ORCID: https://orcid. org/0000-0002-3324-6213, [email protected] Dmitry A. Tarkhov, Professor of the Department of Higher Mathematics, Institute of Physics and Mechanics, Peter the Great St. Petersburg Polytechnic University (29 Polytechnicheskaya St., St.Petersburg 195251, Russian Federation), Dr.Sci. (Engineering), Associate Professor, ORCID: https://orcid.org/0000-0002-9431-8241, [email protected]

Daria A. Chernukha, Student of the Higher School of Mechanics and Control Processes, Institute of Physics and Mechanics, Peter the Great St. Petersburg Polytechnic University (29 Polytechnicheskaya St., St.Petersburg 195251, Russian Federation), ORCID: https://or-cid.org/ 0000-0002-0374-8319, [email protected]

All authors have read and approved the final manuscript.

Современные информационные технологии и ИТ-образование

Том 17, № 3. 2021

ISSN 2411-1473

sitito.cs.msu.ru