CC BY
73УДК519.688 JELC45
NEURAL NETWORKS AND THEIR ANALYSIS НЕЙРОННЫЕ СЕТИ И ИХ АНАЛИЗ
VERA IVANYUK1 ORCID0000-0001-6402-3832
ВЕРА АЛЕКСЕЕВНА ИВАНЮК1
1Financial University under the Government of the Russian Federation 1 Финансовый университет при Правительстве РФ
Keywords: analysis, neural networks, modeling
1. The aim of the work is to build analytical neural networks. The task of studying the influence of three external factors on the profitability of the USD/RUB is being solved. The purpose of the analysis is to extract additional nontrivial data and dependencies. The result of such an analysis can be a mathematical model of the phenomenon under consideration. Classical approaches to analyzing time series in order to obtain a mathematical model describing their behavior are complex, multi-stage processes that require significant resources. From this point of view, neural networks can be viewed as a generalization of traditional approaches to time series analysis, which provide additional opportunities for modeling chaotic behavior and nonlinear phenomena. However, such opportunities lead to the fact that such systems need to be prepared in advance - to conduct training, to filter, to choose the desired architecture.
2. Neural networks are systems that represent a mathematical model and its software implementation. The construction of such systems is based on the same rules as their biological counterparts, which in general can be reduced to a complex system consisting of simple processes combined and interacting with each other. In both cases, the basic element of the systems is a neuron, for software models - its artificial analogue, made in the form of a simple mathematical function that determines the rules for generating an output signal based on input data. Despite the fact that the neurons themselves are extremely simple in their implementation, united into a common network with controlled interactions, artificial neurons can perform extremely complex tasks.
«Хроноэкономика» № 4(32). Август 2021
Ключевые слова: анализ, нейронные сети, моделирование
1.Целью работы является построение аналитических нейронных сетей. Решается задача по изучению влияния трёх внешних факторов на доходность российского рубля относительно доллара США.Целью анализа является задача извлечения дополнительных, неочевидных, данных и зависимостей. Результатом такого анализа может быть математическая модель рассматриваемого явления. Классические подходы анализа временных рядов с целью получения математической модели, описывающей их поведения являются сложными, многоступенчатыми процессами требующие значительных ресурсов. С этой точки зрения нейронные сети могут рассматриваться как обобщение традиционных подходов к анализу временных рядов, которые дают дополнительные возможности моделирования хаотического поведения и нелинейных явлений. Однако, такие возможности приводят к тому, что подобные системы необходимо предварительно подготавливать - проводить обучение, фильтровать, выбирать нужную архитектуру.
2.Нейронные сети — это системы, представляющие собой математическую модель и ее программную реализацию. Построение таких систем базируется на тех же правилах, что и их биологические аналоги, которые в общем виде можно привести к сложной системе, состоящей из простых процессов объединенных и взаимодействующих друг с другом. В обоих случаях, базовым элементом систем является нейрон, для программных моделей - его искусственный аналог, выполненный в виде простой математической функции, определяющей
www.hronoeconomics.ru
3. Any simple neural network (a complex one either), mathematically represents a superposition of regression functions describing the connectivity (correlation) between the values of the inputs and outputs of the network. Neural networks can be used to analyze correlations by decomposing dependencies into elementary regression equations. Such networks are called analytical networks. For example, a network with linear neurons can be reduced to the final form of a multiple linear regression equation, and a network with threshold activators can be reduced to a machine logic equation of the form IF-THEN. However, to analyze the influence of factors of a complex process on the final result, sigma-like functions are usually used (Verhulst function, hyperbolic tangent, arc tangent, SoftSign, ISRU, etc.). This is due to the fact that nonlinear functions help to describe real processes much better than linear or threshold functions. It should be noted that any interpretation of the analytical network weights is ambiguous. It primarily depends on the analyst's personal preferences. So, for example, a lower coefficient of influence located in the exponential region can be regarded as more significant in comparison with a high one located in the logarithmic region.Usually, to assess the importance of the coefficients of the receptive field, their proximity to the center of the sigma function, which is expressed by the magnitude of the first-order derivative, is used.Analytical networks are built in order to determine the significance of the main factors affecting the process. Analysis by neural networks is no different from finding the optimal coefficients of multiple nonlinear approximation. Let's consider analytical neural networks using an example. The influence of three external factors on the profitability of the USD/RUB has been studied.
правила формирования выходного сигнала на основе входных данных. Несмотря на то, что сами нейроны крайне простые в своей реализации, объединенные в общую сеть с управляемыми взаимодействиями, искусственные нейроны могут выполнять крайне сложные задачи.
3. Любая простая нейронная сеть (да и сложная тоже), математически представляет из себя суперпозицию регрессионных функций, описывающих связанность (корреляцию) между значениями входов и выходов сети. Нейронные сети можно использовать для анализа корреляций, раскладывая зависимости на элементарные регрессионные уравнения. Такие сети называют аналитическими. Так, например, сеть с линейными нейронами может быть приведена к конечному виду уравнения множественной линейной регрессии, а сеть с пороговыми активаторами к уравнению машинной логики вида ЕСЛИ-ТО.Однако, для анализа влияния факторов сложного процесса на конечный результат обычно используют сигма-подобные функции (функцию Ферхюльста, гиперболический тангенс, арктангенс, SoftSign, ISRU и т.д.). Это связано с тем, что нелинейные функции гораздо лучше помогают описать реальные процессы по сравнению с линейными или пороговыми. Следует заметить, что любая интерпретация весов аналитической сети неоднозначна. Она прежде всего зависит от личных предпочтений аналитика. Так, например, меньший коэффициент влияния, находящийся в экспоненциальной области, может быть расценен как более существенный по сравнению с высоким находящимся в логарифмическойобласти.Обычно для оценки важности коэффициентов рецептивного поля используют их близость к центру сигма-функции, которая выражается величиной производной первого порядка.Аналитические сети строятся с целью определения значимости основных факторов, влияющих на процесс.Анализ нейронными сетями ничем не отличается от нахождения оптимальных коэффициентов множественной нелинейной
аппроксимации.Рассмотрим аналитические
нейронные сети на примере. Изучено влияние трёх внешних факторов на доходность российского рубля относительно доллара США.
«Хроноэкономика» № 4(32). Август 2021
www.hronoeconomics.ru
Let's evaluate the influence of factors on the profitability of the USD/RUB: P1 - CNY, P2 - Oil, P3 - Gold. Оценим влияние факторов надоходность российского рубля относительно доллара США : Р1 - Юань, Р2 - Нефть, Р3 - Золото.
Pi 80,17905% Pi 80,17905%
P2 -8,82630% Р2 -8,82630%
Рз -10,99465% Рз -10,99465%
4. One of the areas where neural network technologies have gained recognition is the area of finding the tightness of connections between indicators along with regression equations. In this area, artificial neural networks can be used to create intelligent decision-making systems, simulation modeling, and expert systems.
4.Одной из областей, где нейросетевые технологии получили признание это сфера нахождения тесноты связей между показателями на ряду с регрессионными уравнениями. В этой сфере искусственные нейронные сети могут применяться для создания интеллектуальных систем принятия решений, имитационного моделирования, экспертных систем.
References / Библиография
1. Рассел С. Искусственный интеллект. Современный подход / Стюарт Рассел, Питер Норвиг - М.: Изд-во Вильямс, 2018. - 1408с.
2. Alber M. et al. Investigate neural networks! //J. Mach. Learn. Res. - 2019. - Т. 20. - №. 93. - С. 1-8.
3. Bishop C. M. Neural networks and their applications //Review of scientific instruments. - 1994. - Т. 65. - №. 6. - С. 1803-1832.
4. Carlini N., Wagner D. Towards evaluating the robustness of neural networks //2017 IEEE symposium on security and privacy (sp). - IEEE, 2017. - С. 39-57.
5. Dreyfus G. Neural networks: methodology and applications. - Springer Science & Business Media, 2005.
6. Guo C. et al. On calibration of modern neural networks //International Conference on Machine Learning. -PMLR, 2017. - С. 1321-1330.
7. Ivanyuk V., Soloviev V. Efficiency of neural networks in forecasting problems //2019 Twelfth International Conference" Management of large-scale system development"(MLSD). - IEEE, 2019. - С. 1-4.
8. Ivanyuk V., Tsapina E. Creating Emotion Recognition Algorithms Based on a Convolutional Neural Network for Sentiment Analysis //International Workshop on Reproducible Research in Pattern Recognition. - Springer, Cham, 2021. - С. 66-79.
9. Kim M., Smaragdis P. Bitwise neural networks //arXiv preprint arXiv: 1601.06071. - 2016.
10. Krose B. P. van der Smagt An introduction to neural networks //English Edition, November. 1996.
11. Liu M. et al. Towards better analysis of deep convolutional neural networks //IEEE transactions on visualization and computer graphics. - 2016. - Т. 23. - №. 1. - С. 91-100.
12.Nielsen M. A. Neural networks and deep learning. - San Francisco, CA : Determination press, 2015. - Т. 25.
13. Rumelhart D. E., Widrow B., Lehr M. A. The basic ideas in neural networks //Communications of the ACM. - 1994. -Т. 37. - №. 3. - С. 87-93.
«Хроноэкономика» № 4(32). Август 2021
www.hronoeconomics.ru
14. Sokolic J. et al. Robust large margin deep neural networks //IEEE Transactions on Signal Processing. -2017. - T. 65. - №. 16. - C. 4265-4280.
15. Swingler K. Applying neural networks: a practical guide. - Morgan Kaufmann, 1996.
16. Szegedy C. et al. Intriguing properties of neural networks //arXiv preprint arXiv: 1312.6199. - 2013.
17.Warner B., Misra M. Understanding neural networks as statistical tools //The American statistician. - 1996. - T. 50. - №. 4. - C. 284-293.
«Хроноэкономмка» № 4(32). ABrycr 2021
www.hronoeconomics.ru
