ИССЛЕДОВАНИЕ LSTM-НЕЙРОСЕТЕВОГО ПОДХОДА ПРИ МОДЕЛИРОВАНИИ ВРЕМЕННЫХ РЯДОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

Вестник Череповецкого государственного университета. 2023. № 3 (114). С. 47-54. Cherepovets State University Bulletin, 2023, no. 3 (114), pp. 47-54.

Научная статья УДК 303.732.4

https://doi.org/10.23859/1994-0637-2023-3-114-4

Исследование LSTM-нейросетевого подхода при моделировании временных рядов

Георгий Германович Рапаков1н , Вячеслав Алексеевич Горбунов2, Сергей Владимирович Дианов3, Людмила Владимировна Елизарова4

1,2,3,4Вологодский государственный университет,

Вологда, Россия

[email protected], https://orcid.org/0000-0001 -8996-0136

[email protected] [email protected], https://orcid.org/0000-0001-8297-8077

4ellv. [email protected]

Аннотация. В работе представлены результаты применения методов машинного обучения в задаче прогнозирования экономического временного ряда. На основе компьютерного моделирования разработана программная реализация LSTM-нейронной сети для товарной позиции из номенклатурного ряда за пятилетний период. Итоги исследования использованы при разработке корпоративной информационно-аналитической системы (ИАС). Ключевые слова: машинное обучение, временной ряд, LSTM-нейронная сеть Для цитирования: Рапаков Г. Г., Горбунов В. А., Дианов С. В., Елизарова Л. В. Исследование LSTM-нейросетевого подхода при моделировании временных рядов // Вестник Череповецкого государственного университета. 2023. № 3 (114). С. 47-54. https://doi.org/10.23859/1994-0637-2023-3-114-4.

Research of the LSTM neural network approach in time series modeling

Georgii G. Rapakov1H, Vyacheslav A. Gorbunov2, Sergey V. Dianov3, Liudmila V. Elizarova4

1,2,3,4Vologda State University, Vologda, Russia

[email protected], https://orcid.org/0000-0001-8996-0136.

[email protected] [email protected], https://orcid.org/0000-0001-8297-8077

4ellv. [email protected]

Abstract. In this research, the authors present the results of the machine learning methods and algorithm application for development of LSTM neural network in order to time series modeling. Based on the application of artificial intelligence methods and five-year monitoring data a neural

® Рапаков Г. Г., Горбунов В. А., Дианов С. В., Елизарова Л. В., 2023

network software model for forecasting the time series of an economic indicator has been developed. The results were used in the corporate business intelligence system. Keywords: machine learning, time series, LSTM-neural network

For citation: Rapakov G. G., Gorbunov V. A., Dianov S. V., Elizarova L. V. Research of the LSTM neural network approach in time series modeling. Cherepovets State University Bulletin, 2023, no. 3 (114), pp. 47-54. https://doi.org/10.23859/1994-0637-2023-3-114-4.

Введение

Задача применения технологий нейросетевого моделирования на основе алгоритмов машинного обучения (МО) и методов анализа временных рядов (ВР) в задачах прогнозирования экономических показателей является актуальной. Цель работы состоит в исследовании возможностей, которые предлагают искусственные нейронные сети (ИНС) на основе долгой краткосрочной памяти (Long Short-Term Memory) при компьютерном моделировании ВР с использованием данных о продажах по фиксированной товарной позиции в региональной торговой сети. Были решены следующие задачи: проанализирована предметная область исследования; проведен библиографический поиск по инструментальным методам прогнозирования временных рядов и архитектурам нейронных сетей; подготовлен набор данных (Data Set); сопоставлены возможности различных программных сред и разработано программное обеспечение (ПО) на языке Python в среде Jupyter Notebook; осуществлен анализ результатов прогнозирования при настройке ИНС; определены погрешности прогноза. Выполнен сравнительный анализ для двух архитектур ИНС: полносвязанной и LSTM. Практическая значимость работы определяется использованием ее результатов при моделировании ВР в задачах бизнес-анализа данных о продажах и роста корпоративной рентабельности. Новизна работы обусловлена итогами изучения нейросетевого подхода LSTM для эффективного прогнозирования социально-экономических временных показателей.

Основная часть

С проблемой прогнозирования временных рядов (Time Series Forecasting), как составной частью технологии обработки большого объема данных (Big Data), в настоящее время сталкиваются различные информационно-аналитические системы (Information and Analytical System), конкурирующие на рынке. Как правило, современные корпоративные ИАС предусматривают построение прогнозов на основе теории временных рядов1. К числу базовых статистических методов относят: регрессионные и авторегрессионные модели, экспоненциальное сглаживание. Прогнозирование на основе структурных моделей базируется на использовании цепей Маркова, метода опорных векторов, генетических алгоритмов и деревьев классификации (решений). Кроме ставших традиционными эконометрических моделей, в настоящее время все чаще используются методы машинного обучения2. Применение ИНС позволяет

1 Афанасьев В. Н. Анализ временных рядов и прогнозирование. Саратов: Ай Пи Ар Медиа, 2020. 286 с.

2 Прокофьев О. В., Савочкин А. Е. Методы и модели прогнозирования временных рядов // Современные информационные технологии. 2018. № 28. С. 40-43._

строить прогнозные модели на основе альтернативных архитектур, в том числе, рекуррентных и полносвязных нейронных сетей1. Ознакомление с научными публикациями и их анализ позволил сопоставить цели, задачи и методы настоящего исследования с данными аналогичных исследований. Классификация методов прогнозирования ВР в ходе изучения локально регулируемых линейных авторегрессионных прогнозов на основе нейросетевого подхода в среде MATLAB представлена в работах О. В. Прокофьева и А. Е. Савочкина14. Гибридная система краткосрочного прогнозирования макроэкономических показателей сочетает эконометрические (регрессионная модель) и нейросетевые подходы15. Последние базируются на архитектурах сетей прямого распространения (многослойный персептрон) и рекуррентных (сети с памятью - LSTM). Программная реализация выполнена с использованием функций библиотеки С# FANN (Fast Artificial Neural Network). В работе Ф. А. Казакова2 сопоставлены два варианта использования рекуррентных ИНС при анализе ВР. Исследованы сети долгой краткосрочной памяти LSTM и сети с рекуррентным блоком управляемой памяти (Gated Recurrent Unit) - GRU. Сравнивая преимущества и недостатки LSTM и ряда альтернативных ИНС в части моделирования финансовых данных, представленных в виде временных рядов, М. В. Лабусов3 определяет возможные варианты модификации LSTM, которые имеют цель повысить эффективность прогнозов. Проблемы обнаружения зависимостей для локальных трендов во ВР при помощи рекуррентных нейронных сетей LSTM исследованы в работах Е. В. Пучкова, Г. И. Белявского4. В случае получения нестационарных данных результативность анализа предложено повысить за счет их качественной предобработки на основе применения кусочно-линейной и кусочно-логарифмической аппроксимаций, метода локальных главных компонент и динамического преобразования Хафа. Улучшению результатов также способствует использование гибридного подхода, объединяющего сверточные нейронные сети (Convolutional Neural Network) - CNN и рекуррентные LSTM. Особенности разработки нейросетевого ПО для ИНС с архитектурой долгой краткосрочной памяти рассмотрены в работах А. В. Картузова, Т. В. Картузовой, С. В. Храмцова5. Авторы используют язык программирования Python и функции

1 Китова О. В. и др. Савинова Применение нейронных сетей для прогнозирования социально-экономических временных рядов // Russian Economic Bulletin. 2020. Т. 3. № 5. C. 188201; Казаков Ф. А., Шнайдер А. В. Использование нейронных сетей с временными рядами данных для анализа потоков данных // Современные наукоемкие технологии. 2021. № 6-2. C. 260-264.

Казаков Ф. А., Шнайдер А. В. Использование нейронных сетей с временными рядами данных для анализа потоков данных // Современные наукоемкие технологии. 2021. № 6-2. C. 260-264.

Лабусов М. В. Нейронные сети долгой краткосрочной памяти и их использование для моделирования финансовых временных рядов // Инновации и инвестиции. 2020. № 3. С. 167171.

4 Пучков Е. В., Белявский Г. И. Применение локальных трендов для прогнозирования временных рядов с помощью долго-краткосрочной памяти // Вестник Ростовского государственного университета путей сообщения. 2018. № 3 (71). C. 94-103.

5 Картузов А. В., Картузова Т. В., Храмцов С. В. Программная модель нейронной сети LSTM для прогнозирования временных рядов // Научно-технический вестник Поволжья. 2021. № 12. C. 159-162.

библиотеки Pandas. Для контроля переобучения в ходе подбора временного шага используется визуализация функции потерь.

Основными этапами прогнозирования ВР с помощью ИНС являются следующие:

- выбор архитектуры сети;

- сбор репрезентативных и непротиворечивых данных, используемых для обучения;

- подготовка и приведение данных к виду, пригодному для использования в ИНС;

- подбор параметров нейронной сети в ходе ее обучения на выборке с проверкой адекватности процесса и анализом погрешности прогнозирования.

При оценке точности прогнозирования ВР используются многочисленные метрики, в том числе:

RMSE (root mean squared error) - квадратный корень из среднеквадратичной ошибки

' N

RMSE = ' "

MAPE (mean absolute percentage error) - средняя абсолютная процентная ошибка

Z (t) - Z (t)

1 N

MAPE = — У N у

Z (t)

• 100%

WAPE (weighted absolute percent error) - взвешенная абсолютная процентная ошибка

N

Ц Z (t) - Z (t)|

WAPE = -

УIZ(t)|

где N - количество отсчетов; % ) - фактическое, а %) - прогнозное значение ВР.

Архитектура полносвязных ИНС предполагает распространение сигнала от входного слоя к выходному через скрытые слои. Каждый нейрон предыдущего слоя связан с каждым нейроном последующего слоя. Связь имеет вес, благодаря чему сигнал, который проходит по ней, изменяет свое значение. Суммарный сигнал, поступающий на вход нейрона, является аргументом функции активации (ФА). Значение ФА рассматривается для нейрона как выходное. Широко распространены следующие ФА: пороговая, линейная, ReLU, сигмоидальная и гиперболический тангенс (йпЬ). В рекуррентных ИНС (РНС) представлены обратные связи, и состояние нейронной сети определяется как входными сигналами, так и ее предыдущим состоянием. Для обучения РНС используется алгоритм обратного распространения ошибки. Подбор весов при этом выполняется на основе градиентных методов оптимизации с минимизацией суммарных потерь. При анализе ВР широко используются РНС с долгой

t=1

краткосрочной памятью - LSTM. Особенностью архитектуры LSTM-сети являются блоки памяти. Их элементы регулируют состояние и отклик: элемент забывания определяет информацию для удаления из блока; входной элемент задает исходные данные, используемые для обновления; выходной элемент определяет сведения на выходе блока памяти1.

Набор данных исследования образовал временные сведения о количестве продаж по фиксированной товарной позиции из номенклатурного ряда региональной торговой сети за период с 2016 по 2021 годы.

В ходе разработки ПО была обучена сеть LSTM и выполнено масштабирование данных, сопоставлены прогнозные и фактические значения. Для реализации ИНС использованы: методы программной библиотеки машинного обучения TensorFlow; надстройки над фреймворком TensorFlow, обеспечивающие взаимодействие с ИНС -Keras и фреймворком машинного обучения PyTorch.

Сопоставление фактических и прогнозных значений позволяет визуально оценить точность предсказания ВР (рис. 1). В ходе настройки был проведен анализ нейросе-тевой модели. Определены погрешности прогноза: квадратный корень из среднеквадратичной ошибки RMSE - 1,955; средняя абсолютная процентная ошибка MAPE - 0,345; значение взвешенной абсолютной процентной ошибки WAPE - 0,294. Наибольшей точности (0,7) удалось достичь для оптимизатора Adam и числа эпох -350 (рис. 2).

0 2 4 6 в 10 12 14 16

Рис. 1. Сопоставление фактических Z(t) и прогнозных Z (t) значений

1 Казаков Ф. А., Шнайдер А. В. Использование нейронных сетей с временными рядами данных для анализа потоков данных // Современные наукоемкие технологии. 2021. №. 6-2. С. 260-264; Пучков Е. В., Белявский Г. И. Применение локальных трендов для прогнозирования временных рядов с помощью долго-краткосрочной памяти // Вестник Ростовского государственного университета путей сообщения. 2018. № 3 (71). С. 94-103; Картузов А. В., Кар-тузова Т. В., Храмцов С. В. Программная модель нейронной сети LSTM для прогнозирования временных рядов // Научно-технический вестник Поволжья. 2021. № 12. С. 159-162.

mafe f

f —J

/

/

Sttp

100 200 300 400 SOO

Рис. 2. Погрешность прогноза LSTM-сети в зависимости от числа эпох

Альтернативная ИНС с полносвязанной архитектурой была реализована при помощи Dense-слоев библиотеки Keras. Подбор параметров полносвязной нейросети в ходе анализа результатов прогнозирования временного ряда позволил остановиться на использовании в модели пяти полносвязных слоев с функцией активации ReLU и одного полносвязного выходного слоя. Количество нейронов при этом составило: 256 на первом слое, 128 на втором, 64 на третьем, 32 на четвертом, 16 на пятом и также 1 нейрон предусмотрен для выходного слоя. Минимальное значение WAPE, равное 0,432, было получено для 150 эпох. При дальнейшем увеличении их числа точность прогнозирования снижалась вследствие переобучения. Показатели метрик для сравниваемых архитектур ИНС с целью удобства сопоставления собраны в таблице.

Таблица

Оценка точности прогнозирования ВР для ИНС с различными архитектурами

Метрика LSTM Полносвязная

RMSE 1,955 2,824

MAPE 0,345 0,627

WAPE 0,294 0,432

Результаты, представленные в табл. 1, показывают, что наибольшая точность была достигнута в случае применения LSTM-модели. Рост требуемого при этом количества эпох рассматривается как приемлемый.

Выводы

В результате работы изучены возможности искусственных нейронных сетей на основе долговременной памяти для моделирования временных рядов в ходе прогнозирования экономических показателей. При помощи средств платформы Anaconda и

графического интерфейса Anaconda Navigator в среде Jupyter Notebook на языке Python разработано нейросетевое программное обеспечение с использованием двух архитектур ИНС. Получены оценки, отражающие погрешности прогноза ИНС в зависимости от количества эпох при обучении моделей. По итогам прогнозирования реализован сравнительный анализ нейронных сетей с полносвязанной и LSTM архитектурами. Сеть с долгой краткосрочной памятью позволяет обеспечить требуемое на практике в бизнес-анализе качество прогнозирования экономических временных рядов. Перспективы дальнейших исследований связаны с настройкой параметров LSTM при помощи генетического алгоритма.

Список источников

Афанасьев В. Н. Анализ временных рядов и прогнозирование. Саратов: Ай Пи Ар Медиа, 2020. 286 с.

Казаков Ф. А., Шнайдер А. В. Использование нейронных сетей с временными рядами данных для анализа потоков данных // Современные наукоемкие технологии. 2021. № 6-2. C. 260-264.

Картузов А. В., Картузова Т. В., Храмцов С. В. Программная модель нейронной сети LSTM для прогнозирования временных рядов // Научно-технический вестник Поволжья. 2021. № 12. C. 159-162.

Китова О. В. и др. Савинова Применение нейронных сетей для прогнозирования социально-экономических временных рядов // Russian Economic Bulletin. 2020. Т. 3. № 5. C. 188-201.

Лабусов М. В. Нейронные сети долгой краткосрочной памяти и их использование для моделирования финансовых временных рядов // Инновации и инвестиции. 2020. № 3. С. 167-171.

Прокофьев О. В., Савочкин А. Е. Методы и модели прогнозирования временных рядов // Современные информационные технологии. 2018. № 28. С. 40-43.

Пучков Е. В., Белявский Г. И. Применение локальных трендов для прогнозирования временных рядов с помощью долго-краткосрочной памяти // Вестник Ростовского государственного университета путей сообщения. 2018. № 3 (71). C. 94-103.

References

Afanas'ev V. N. Analiz vremennykh riadov i prognozirovanie [Time series analysis and forecasting]. Saratov: Ai Pi Ar Media, 2020. 286 p.

Kazakov F. A., Shnaider A. V. Ispol'zovanie neironnykh setei s vremennymi riadami dannykh dlia analiza potokov dannykh [Using neural networks with time series of data to analyze data flows], Sovremennye naukoemkie tekhnologii [Modern High Technologies], 2021, no. 6П2, pp. 260П264.

Kartuzov A. V., Kartuzova T. V., Khramtsov S. V. Programmnaia model' neironnoi seti LSTM dlia prognozirovaniia vremennykh riadov [LSTM neural network programming model for time series prediction]. Nauchno-tekhnicheskii vestnikPovolzh'ia [Scientific and Technical Volga Region Bulletin], 2021, no. 12, pp. 159-162.

Kitova O. V., D'iakonova L. P., Kitov V. A., Savinova V. M. Primenenie neironnykh setei dlia prognozirovaniia sotsial'no-ekonomicheskikh vremennykh riadov [Application of neural networks for predicting socio-economic time series]. Russian Economic Bulletin [Russian economic bulletin], 2020, vol. 3, no. 5, pp. 188-201.

Labusov M. V. Neironnye seti dolgoi kratkosrochnoi pamiati i ikh ispol'zovanie dlia modeliro-vaniia finansovykh vremennykh riadov [Application of long short-term memory neural networks to

modelling financial time series], Innovatsii i investitsii [Innovations and investments], 2020, no. 3, pp. 167-171.

Prokofev O. V., Savochkin A. E. Metody i modeli prognozirovaniia vremennykh riadov [Methods and models forecasting time series]. Sovremennye informatsionnye tekhnologii [Contemporary information technologies], 2018, no. 28, pp. 40-43.

Puchkov E. V., Beliavskii G. I. Primenenie lokal'nykh trendov dlia prognozirovaniia vremennykh riadov s pomoshch'iu dolgo-kratkosrochnoi pamiati [Application of local trends for forecasting time series using long-short-term memory]. Vestnik Rostovskogo gosudarstvennogo universiteta putei soobshcheniia [Vestnik of Rostov State Transport University], 2018, no. 3 (71), pp. 94-103.

Сведения об авторах

Георгий Германович Рапаков - кандидат технических наук, доцент кафедры автоматики и вычислительной техники; https://orcid.org/0000-0001-8996-0136, [email protected], Вологодский государственный университет (д. 15, ул. Ленина, 160000 Вологда, Россия); Georgii G. Rapakov - Candidate of Technical Sciences, Associate Professor of the Automation and Computer Engineering Department; https://orcid.org/0000-0001-8996-0136, [email protected], Vologda State University (15, ul. Lenina, 160000 Vologda, Russia).

Вячеслав Алексеевич Горбунов - доктор физико-математических наук, профессор кафедры автоматики и вычислительной техники Вологодского государственного университета; [email protected], председатель Вологодского отделения Международной академии наук экологии и безопасности жизнедеятельности (МАНЭБ) (д. 15, ул. Ленина, 160000 Вологда, Россия); Vyacheslav A. Gorbunov - Doctor Physical and Mathematical Sciences, Professor of the Computer Science and Information Technology Department; [email protected], Vologda State University, Head of IAELPS Vologda Department (International Academy of Ecology and Life Protection Science), (15, ul. Lenina, 160000 Vologda, Russia).

Сергей Владимирович Дианов - кандидат технических наук; https://orcid.org/0000-0001-8297-8077, [email protected], Вологодский государственный университет (д. 15, ул. Ленина, 160000 Вологда, Россия); Sergey V. Dianov - Candidate of Technical Sciences; https://orcid.org/0000-0001-8297-8077, [email protected], Vologda State University (15, ul. Lenina, 160000 Vologda, Russia).

Людмила Владимировна Елизарова - бакалавр; [email protected], Вологодский государственный университет (д. 15, ул. Ленина, 160000 Вологда, Россия); Liudmila V. Elizarova - Bachelor Student; [email protected], Vologda State University (15, ul. Lenina, 160000 Vologda, Russia).

Заявленный вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.

Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.

Статья поступила в редакцию 10.02.2023; одобрена после рецензирования 01.03.2023; принята к публикации 06.03.2023.

The article was submitted 10.02.2023; Approved after reviewing 01.03.2023; Accepted for publication 06.03.2023.