CC BY
78
Методы краткосрочного прогнозирования финансовых временных рядов
с малыми объёмами выборки
А.И. Передриенко, Т.П. Лютая, И.М. Харитонов, И.В. Степанченко
Камышинский технологический институт (филиал) Волгоградского государственного
технического университета
Аннотация: В статье изложены результаты экспериментов по исследованию возможностей краткосрочного прогнозирования финансовых временных рядов с помощью алгоритмов прогнозирования разного типа. Приведены результаты тестирования метода ARIMA и алгоритма с использованием LSTM-сети на наборе данных, описывающем стоимость доллара США относительно российского рубля в течение одного дня, для прогнозирования будущего значения исследуемого показателя. Произведена оценка точности прогнозирования каждого из методов и их пригодность для решения подобных задач.
Ключевые слова: прогнозирование, временные ряды, нейросети, финансы, регрессионные алгоритмы, анализ данных, рекуррентные нейронные сети, python, numpy, pandas, keras.
Введение
Анализ финансового рынка неразрывно связан с исследованием статистических данных [1]. Повышенное внимание в этой сфере уделяется краткосрочному прогнозированию. Для задачи краткосрочного прогнозирования разработано большое количество методов, каждый из которых основан на анализе исторических данных [2]. На сегодняшний день финансовый рынок очень быстро реагирует на происходящие в мире события, информация о которых может влиять на цены финансовых активов. Таким образом, прогнозирование цен на рынке - сложный процесс, и важно выбрать подходящий метод прогнозирования [3].
Для краткосрочного прогнозирования финансовых временных рядов наиболее часто используют классические методы: регрессионные алгоритмы, экспоненциальное сглаживание, нейронные сети [4]. Классические модели прогнозирования данных подобного рода развиты достаточно хорошо, однако они всё менее эффективно работают в условиях современного мирового финансового пространства [5]. Количество факторов, которые
определяют изменение цен на финансовых рынках, измеряется сотнями тысяч.
Классические методы развиваются и подстраиваются под современные тенденции. Так самыми популярными и достаточно действенными на данный момент методами краткосрочного прогнозирования финансовых временных рядов являются «AutoRegressive Integrated Moving Average» (далее ARIMA) и «Long Short-Term Memory» (далее LSTM) сети [6]. Нельзя с уверенностью сказать какой из методов лучше в общем случае, но можно проверить, какой из них больше подходит для краткосрочного прогнозирования с малыми объёмами выборки.
Основной целью данной работы является повышение эффективности оперативного реагирования на движения на финансовом рынке в ситуации малой стабильности, когда сделать долгосрочный прогноз трудно или невозможно. Для достижения поставленной цели авторами работы производится выбор метода для краткосрочного прогнозирования финансовых временных рядов на малых объёмах данных, имеющего высокую эффективность. Выбор производится из двух самых популярных методов: LSTM-сети и ARIMA, которые сравниваются по трём основным параметрам: точность прогноза, скорость работы метода, затраты вычислительных ресурсов.
Теоретические положения методов LSTM-сети и ARIMA
Сети прямого распространения, или многослойные перцептроны, имеют фиксированное число входов, и каждый из них воспринимается остальными как независимый. Однако в рекуррентных сетях связи между нейронами не ограничиваются исключительно движением информации в одну сторону, а имеется возможность вернуть значение «самому себе». Таким образом, нейрон может запоминать информацию, которая была подана ранее на вход. Именно поэтому рекуррентные нейронные сети являются
хорошим выбором для прогнозирования временных рядов и последовательностей [7]. Задачи по характеру входов и выходов разделяют на пять вариантов:
- один вход, один выход (one-to-one);
- один вход, последовательность выходов (one-to-many);
- последовательность входов, один выход (many-to-one);
- последовательность на входе, последовательность на выходе (many-to-many);
- синхронизированные последовательности входов и выходов (synchronized many-to-many).
В данной работе решается регрессионная задача «many-to-one» при обучении с учителем при использовании рекуррентных слоев. Обычные рекуррентные сети плохо справляются с ситуациями, когда нужно что-то «запомнить» надолго: влияние скрытого состояния или входа с шага t на последующие состояния рекуррентной сети экспоненциально затухает. Именно поэтому используется модель LSTM, где добавляется дополнительная ячейка для моделирования «долгой памяти».
Модель ARIMA - представитель класса статистических моделей для анализа и прогнозирования данных временных рядов. Она явно обслуживает набор стандартных структур данных временных рядов и, как таковая, предоставляет простой, но мощный метод для создания прогнозов временных рядов. Модель является обобщением более простой авторегрессионной модели скользящей средней с добавлением понятия интеграции. Ключевые аспекты модели:
- AR: авторегрессионная. Модель, которая использует зависимую связь между наблюдением и некоторым количеством запаздывающих наблюдений.
- I: интегрированная. Использование разности необработанных наблюдений (например, вычитание наблюдения из наблюдения на предыдущем временном шаге) для того, чтобы сделать временной ряд стационарным.
- MA: скользящая средняя. Модель, которая использует зависимость между наблюдением и остаточной ошибкой от модели скользящего среднего, примененной к лаговым наблюдениям.
Каждый из этих компонентов явно указан в модели в качестве параметра. Используется стандартное обозначение ARIMA (p, d, q), где параметры заменяются целочисленными значениями для быстрого указания конкретной используемой модели ARIMA.
Параметры модели ARIMA определяются следующим образом:
- p: число наблюдений отставания, включенных в модель, также называемое порядком отставания.
- d: количество раз, когда исходные наблюдения различаются, также называется степенью различия.
- q: размер окна скользящей средней, также называемый порядком скользящей средней.
Модель линейной регрессии включает определенное количество типов терминов и данных, выбранных таким образом, чтобы сделать ее стационарной, то есть удаляются трендовые и сезонные структуры, которые негативно влияют на модель регрессии [8].
Значение 0 может быть использовано для параметра, который указывает, что этот элемент модели не используется. Таким образом, модель ARIMA может быть сконфигурирована для выполнения функции модели ARMA и даже простой модели AR, I или MA.
Подход ARIMA к временным рядам заключается в том, что в первую очередь оценивается стационарность ряда. Различными тестами выявляются
наличие единичных корней и порядок интегрированности временного ряда (обычно ограничиваются первым или вторым порядком). Далее при необходимости (если порядок интегрированности больше нуля) ряд преобразуется взятием разности соответствующего порядка и уже для преобразованной модели строится некоторая ARMA-модель, поскольку предполагается, что полученный процесс является стационарным, в отличие от исходного нестационарного процесса (разностно-стационарного или интегрированного процесса порядка d).
Модель ARIMA(p, d, q) для нестационарного временного ряда имеет
вид:
= с л-YU aX +HjJje<-j +£t, , (!)
где st - стационарный временной ряд; с,a},bj - параметры модели; Ad -
оператор разности временного ряда порядка d (последовательное взятие d раз разностей первого порядка - сначала от временного ряда, затем от полученных разностей первого порядка, затем от второго порядка и т. д.) [9].
Реализация описанных моделей
Для реализации описанных моделей был использован язык программирования Python, а также библиотеки для обработки и визуализации данных: pandas, numpy, matplotlib, keras (в качестве основы tensorflow), sklearn, statsmodel.
В качестве инструмента для прогнозирования был выбран набор данных CLOSE для пары USD/RUB на московской бирже за каждую минуту 2 марта 2020 года.
Для проверки работоспособности методов именно для краткосрочного прогнозирования [10] на малых объёмах выборки из набора данных был взят срез, представляющий собой набор цен за первые два часа работы биржи.
M Инженерный вестник Дона, №5 (2020) ivdon.ru/ru/magazine/arcliive/n5y2020/6482
В качестве показателя работы моделей было выбрано значение средней абсолютной ошибки.
Модель ARIMA с параметрами (p, d, q) = (2, 1, 1) показала себя следующим образом (рис. 1):
66.35 ■ 66.30 ■ 66.25 ■
га х
66.20 ■ 66.15 ■ 66.10 ■
—I-1-1-1-1-1-1—
0 10 20 30 40 50 60
Минута
Рис. 1. - Сравнение реальных данных (синий) и прогноза (красный) для
модели ARIMA
Значение средней абсолютной ошибки равно 0.026, что означает, что в среднем модель ошибается в прогнозе на три копейки.
Для использования LSTM-сети потребовалось преобразовать данные так, чтобы значения цены находились в диапазоне (0..1). Сеть состоит из рекуррентного слоя, который состоит из 4 нейронов рекуррентной нейронной сети, далее результаты агрегируются слоем прямого распространения с функцией активации Relu. Конечный результат поступает на выходной слой с одним нейроном и линейной функцией активации. Путём анализа задач прогнозирования с помощью LSTM-сетей была выбрана именно такая структура из-за своей простоты и эффективности.
В качестве функции потерь в процессе обучения используется абсолютная ошибка, оптимизация осуществляется с использованием алгоритма Adam. Для отслеживания возможного переобучения, обучение
М Инженерный вестник Дона, №5 (2020) ivdon.ru/ru/magazine/arcliive/n5y2020/6482
производилось в течение 50 эпох со сменой количества нейронов в рекуррентном слое.
ЬБТМ-сеть показала себя следующим образом (рис. 2):
86.35 ■
86.30 ■
66.2Б ■
ге
X
=5" 66.20 ■
66.1Б ■
66.10 —,-,-,-,-,-,-г-1
0 10 20 30 40 50 60
Минута
Рис. 2. - Сравнение реальных данных (синий) и прогноза (красный) для
модели ЬБТМ-сети
Значение средней абсолютной ошибки равно 0.01791, что означает, что в среднем модель ошибается в прогнозе на одну копейку.
Заключение
Как видно из представленных данных, прогнозы LSTM-cети оказались ближе к реальным значениям. Вследствие чего можно сказать, что в краткосрочном прогнозировании временных рядов использования данной модели предпочтительней, чем использование ARIMA, однако и эта модель показала себя неплохо, что говорит о возможности её использования для поставленной задачи, но с некоторыми корректировками. В дальнейшей работе возможно улучшение также и LSTM-сети с помощью обучения модели в процессе непосредственной работы на полученных данных, благодаря чему эффективность оперативного реагирования на движения на финансовом рынке в ситуации малой стабильности еще возрастет.
Литература
1. Бабич Т.Н., Козьева И.А., Вертакова Ю.В., Кузьбожев Э.Н. Прогнозирование и планирование в условиях рынка: Учебное пособие // НИЦ ИНФРА-М, 2013. 336 с.
2. Демин А.В., Витяев Е.Е. Реализация универсальной системы извлечения знаний «Discovery» и ее применение в задачах финансового прогнозирования // Информационные технологии работы со знаниями: обнаружение, поиск, управление. // Новосибирск, 2008. 88 с.
3. Садовникова Н.А., Шмойлова Р.А. Анализ временных рядов и прогнозирование // МФПУ Синергия, 2016. 152 с.
4. Kovalerchuk B., Vityaev E., Holtfreter R. Correlation of Complex Evidence in Forensic Accounting Using Data Mining // Journal of Forensic Accounting 1524-5586. - Vol.VIII. -Edwards R.T., Inc., 2007. 24 p.
5. Чураков, Е.П. Прогнозирование экономических временных рядов // Финансы и статистика, 2008. 208 c.
6. Власов М.А. Статистический анализ выборок курсов валют с помощью ранговых критериев // Инженерный вестник Дона, 2013, №2. URL:ivdon.ru/ru/magazine/archive/n2y2013/1658/.
7. Бодянский Е.В., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применения. // Харьков: ТЕЛЕТЕХ, 2004. 369 с.
8. Gibbons J. D., Chakraborti S. Nonparametric Statistical Inference, 4th Ed. // CRC, 2003. - 608 p.
9. Лукашин Ю. П. Адаптивные методы краткосрочного прогнозирования временных рядов. // М.: Финансы и статистика, 2003. 416с.
10. Клевцов С.И. Моделирование алгоритма краткосрочного прогнозирования изменения быстроизменяющейся физической величины в реальном времени // Инженерный вестник Дона, 2012, №3. URL: ivdon.ru/ru/magazine/archive/n3y2012/920
References
1. Babich T.N., Koz'eva I.A., Vertakova Yu.V., Kuz'bozhev E.N. Prognozirovanie i planirovanie v usloviyakh rynka: Uchebnoe posobie [Forecasting and planning in market conditions: Textbook]. NITs INFRA-M, 2013. 336 p.
2. Demin A.V., Vityaev E.E. Informatsionnye tekhnologii raboty so znaniyami: obnaruzhenie, poisk, upravlenie. Novosibirsk, 2008. 88 p.
3. Sadovnikova N.A., Shmoylova R.A. Analiz vremennykh ryadov i prognozirovanie [Time Series Analysis and Forecasting]. MFPU Sinergiya, 2016. 152 p.
4. Kovalerchuk B., Vityaev E., Holtfreter R. Correlation of Complex Evidence in Forensic Accounting Using Data Mining Journal of Forensic Accounting. 1524-5586. Vol.VIII. Edwards R.T., Inc., 2007. 24 p.
5. Churakov, E.P. Prognozirovanie ekonomicheskikh vremennykh ryadov [Prediction of economic time series]. Finansy i statistika, 2008. 208 p.
6. Vlasov M.A. Inzhenernyj vestnik Dona, 2013, №2. URL: ivdon.ru/ru/magazine/archive/n2y2013/1658.
7. Bodyanskiy E.V., Rudenko O.G. Iskusstvennye neyronnye seti: arkhitektury, obuchenie, primeneniya [Artificial neural networks: architectures, training, applications]. Khar'kov: TELETEKh, 2004. 369 p.
8. Gibbons J. D., Chakraborti S. Nonparametric Statistical Inference, 4th Ed. CRC, 2003. 608 p.
9. Lukashin Yu. P. Adaptivnye metody kratkosrochnogo prognozirovaniya vremennykh ryadov [Adaptive methods of short-term forecasting of time series]. M.: Finansy i statistika, 2003. 416 p.
10. Klevtsov S.I. Inzhenernyj vestnik Dona, 2012, №3. URL: ivdon.ru/ru/magazine/archive/n3y2012/920.
