CC BY
7
Использование временной сверточной сети для прогнозирования
товарных фьючерсов в условиях неопределенности
М.В. Бушуев, М.Ш. Беришев, Е.Д. Беришева, Е.И. Востриков Волгоградский государственный технический университет, Волгоград
Аннотация: Статья посвящена прогнозированию товарных фьючерсов с помощью временной сверточной сети. Прогнозирование фьючерсов на биржевые товары является важной задачей для инвесторов и трейдеров, так как позволяет предсказать будущие цены и направление движения рынка. Поскольку имеются недостатки прогнозирования цен с помощью классических моделей и рекуррентных нейронных сетей, было предложено использование временной сверточной сети. Описана архитектура временной сверточной сети. Выделены особенности и преимущества временной сверточной сети. Проведен эксперимент по оценке точности прогнозирования цены закрытия семи товарных фьючерсов с помощью временной сверточной сети и статистической модели ЛИМА с автоматическим подбором параметров. Описаны подробности проведения эксперимента. В результате проведенного эксперимента было выявлено, что временная сверточная сеть превосходит статистическую модель АШМА и является весьма эффективной моделью прогнозирования товарных фьючерсов.
Ключевые слова: машинное обучение, временная сверточная нейронная сеть, прогнозирование товарных фьючерсов, биржевые товары, финансовые временные ряды.
Фьючерсы на биржевые товары (или товарные фьючерсы) представляют собой стандартизированные контракты, которые обязывают покупателя купить определенное количество товара по заданной цене в будущем, а продавца - продать этот товар по заданной цене в будущем. Рынок товарных фьючерсов обладает рядом особенностей, которые отличают его от других рынков. Товарные фьючерсы несут более высокие риски в сравнении с другими финансовыми инструментами, такими, как акции [1]. Товарные фьючерсы, с одной стороны, могут иметь высокий потенциал для быстрой прибыли, но, с другой стороны, также могут привести и к большим потерям. Котировки фьючерсов представляют собой нестационарные временные ряды, обладающих высокой волатильностью и содержащих много шума [2]. Прогнозирование фьючерсов на биржевые товары является важной задачей для инвесторов и трейдеров, поскольку позволяет предсказать будущие цены и направление движения рынка.
Прогнозирование фьючерсов на биржевые товары может осуществляться с использованием различных методов и подходов [3]. Один из таких подходов - применение моделей глубокого обучения, которое заключается в прогнозировании котировок фьючерсов с помощью искусственных нейронных сетей. Данный подход обладает рядом преимуществ, которые заключаются в том, что нейронные сети обладают высокой адаптивностью и способны обрабатывать сложные и нелинейные зависимости с учетом множества факторов, влияющих на временной ряд [4].
Существует множество типов нейронных сетей, среди них наибольшую популярность для задачи обработки временных рядов получили рекуррентные нейронные сети, поскольку они способны улавливать временные зависимости в временных рядах. Однако, рекуррентные сети обладают определенными недостатками, главным из которых является проблема затухающих или взрывающихся градиентов [5]. Такой тип сети, как временная сверточная сеть, практически лишен данного недостатка.
Временная сверточная сеть (Temporal Convolutional Network, TCN) представляет собой модификацию классической сверточной нейронной сети, которая специально разработана для работы с одномерными временными данными. Данная архитектура обладает специфической структурой, позволяющей эффективно обрабатывать временные ряды. Временные сверточные сети обладают рядом достоинств, которые отличают их от других типов нейронных сетей. Данные сети могут обнаруживать локальные шаблоны и зависимости в данных. Они способны автоматически извлекать важные признаки на разных временных масштабах и улавливать краткосрочные и долгосрочные зависимости во временных рядах. Временные сверточные сети имеют параллельную структуру, что ускоряет процесс обучения и делает их вычислительно эффективными по сравнению с другими архитектурами сетей. Архитектура данных сетей также включает в
себя дополнительные соединения, называемые «Skip Connections», которые позволяют обмениваться информацией между разными уровнями абстракции, улучшают производительность сети и помогают избежать проблемы затухающего градиента.
Основные компоненты временной сверточной сети включают в себя сверточные слой, пулинговые слой и остаточные блоки. Сверточные слой являются самыми важными компонентами временной сверточной сети. Такие слои позволяют извлекать пространственные и временные признаки из данных. Они применяют фильтры к входным данным на разных временных масштабах для извлечения признаков. Количество фильтров определяет количество признаков, извлекаемых каждым сверточным слоем. Сверточные слои сети обладают инвариантностью к смещениям во времени. Таким образом, модель будет одинаково хорошо работать с данными, сдвинутыми на разные временные шаги.
Остаточные блоки (Residual Blocks) состоят из нескольких последовательно соединенных сверточных слоев, которые добавляются к исходному входу. Это позволяет передавать информацию оригинального входа через несколько слоев, способствуя глубине сети и ускоряя обучение.
Помимо сверточных слоев, временные сверточные сети включают и другие типы слоев, такие как слои пулинга и полносвязные слои. Слои пулинга уменьшают пространственное разрешение данных с помощью агрегации информации из разных участков временного ряда, что помогает снизить количество параметров, избежать переобучения и устранить некоторый шум.
Для оценки эффективности временной сверточной сети для задачи прогнозирования финансовых временных рядов был проведен эксперимент, который заключался в прогнозировании цены закрытия (Close) фьючерсов на 7 биржевых товаров, торгующихся в товарной секции срочного рынка
Московской Биржи. Были выбраны фьючерсы на следующие биржевые товары - золото (GOLD), серебро (SILV), палладий (PLD), платина (PLT), нефть марки Brent (BR), природный газ (NG), сахар-сырец (SUGR). Было проведено сравнение результатов сети с результатами модели AutoARIMA, являющейся одной из лучших среди статистических моделей для прогнозирования временных рядов.
Эффективность и производительность работы нейронной сети сильно зависит от выбранных гиперпараметров [6]. Гиперпараметры временной сверточной сети, использованной в эксперименте, были подобраны с помощью автоматизированного средства Ray Tune и алгоритма поиска гиперпараметров нейронной сети HyperOpt. Основное предпочтение отдавалось производительности, поэтому из поисковой сетки были убраны слишком высокие значения гиперпараметров.
Для обучения моделей были использованы исторические данные изменения цен фьючерсов на 7 биржевых товаров за три года - в период с 1 января 2020 года по 1 января 2023 года. Данные представлены в трех временных интервалах: часовой, дневной, недельный. Исторические данные были получены с Московской Биржи. Данные прошли предварительную обработку, которая заключалась в заполнении пропусков и устойчивой (robust) нормализации. Устойчивая нормализация позволяет существенно снизить шум в данных.
Горизонт прогнозирования варьируется в зависимости от временного интервала. Для дневного интервала горизонт прогнозирования составляет 15 торговых дней, для недельной интервала - 2 недели, для часового интервала - 45 торговых часов. Тестовая выборка представлена данными, попадающих под горизонт прогнозирования, в то время, как обучающая выборка представлена всеми остальными данными.
В качестве оптимизатора обучения нейронной сети был использован адаптивный момент оценки (Adam). Данный оптимизатор является наиболее популярным, поскольку обеспечивает хорошую скорость сходимости и отличные результаты на многих задачах [7]. В качестве функции активации нейронов была использована стандартная и наиболее часто используемая функция - ReLU. Финансовые временные ряды, как правило, не содержат нулевые и отрицательные значения, именно поэтому была выбрана данная функция активации.
В качестве функции потерь была выбрана средняя абсолютная ошибка (MAE), обладающая наибольшей эффективностью в задачах обработки временных рядов. Для улучшения обобщающей способности сети был применен такой метод регуляризации, как дропаут (Dropout). Дропаут заключается в случайном отключении некоторого количества нейронов во время обучения, что снижает риск переобучения [8]. В нейронной сети, использованной в эксперименте, дропаут применен для 10% нейронов.
В качестве скорости обучения была выбрана наиболее оптимальная и часто используемая скорость - 0.001. Скорость обучения влияет на то, как быстро модель адаптируется к обновлению весов [9]. Временной сверточной сети не требуется большое число эпох обучения. Количество эпох обучения варьируется в зависимости от временного интервала. Для часовых данных было использовано 10 эпох, для дневных - 30 эпох, для недельных - 50 эпох.
Для оценки точности рассматриваемых моделей использовалась расширенная временная перекрестная проверка (expanded time window cross-validation). Данный подход предполагает разделение данных на обучающие и тестовые наборы, используя временные окна. Модель обучается на обучающем наборе, выполняет прогнозы для тестового набора и оценивает их качество, в данном случае с помощью такой метрики, как среднее абсолютное процентное отклонение (MAPE). Процесс повторяется для
разных временных окон, чтобы получить среднюю оценку точности модели. Данный метод учитывает последовательную природу временных рядов и позволяет получить более надежную оценку эффективности модели, поскольку осуществляется проверка работы модели в недалеком прошлом, а не только на текущий момент [10].
Эксперимент проводился в среде Jupyter Notebook с использованием библиотеки Darts. Darts - библиотека машинного обучения на языке Python, специально предназначенная для анализа и прогнозирования временных рядов. Библиотека предоставляет обширный набор инструментов для обработки временных рядов, в том числе такие модели, как AutoARIMA и временная сверточная сеть. Результаты эксперимента представлены в таблице 1. Временная сверточная сеть обозначена как TCN, в ячейках приведены значения метрики MAPE в процентах.
Таблица №1
Результаты эксперимента по прогнозированию товарных фьючерсов
Название Часовой Дневной Недельный
товара интервал интервал интервал
ARIMA, MAPE, % TCN, MAPE, % ARIMA, MAPE, % TCN, MAPE, % ARIMA, MAPE, % TCN, MAPE, %
Золото 0,86 0,45 3,68 1,73 3,52 3,36
Серебро 1,12 1,08 4,91 3,96 8,00 7,95
Палладий 5,16 4,89 12,47 8,46 10,61 10,17
Платина 2,97 1,94 4,02 2,37 4,29 3,58
Нефть Brent 2,73 1,22 5,33 3,96 5,99 5,74
Прир. газ 3,93 2,97 5,11 3,93 6,86 6,14
Сахар-сырец 4,64 1,56 4,85 3,71 7,25 6,53
Исходя из полученных результатов, можно сделать вывод о том, что временная сверточная сеть превосходит модель ARIMA в плане прогнозирования цены закрытия фьючерсов на биржевые товары. Это связано с тем, что финансовые временные ряды содержат сложные зависимости и нелинейные шаблоны, которые даже лучшие статистические модели, такие как ARIMA, захватить не способны. Таким образом, временная сверточная сеть является весьма эффективным инструментом для прогнозирования фьючерсов на биржевые товары. Стоит отметить, что рынок фьючерсов на биржевые товары подвержен множеству различных факторов, включая политические, климатические и другие факторы, которые могут оказывать сильное влияние на цены и волатильность. Поэтому, несмотря на высокий потенциал предложенной модели прогнозирования, важно также учитывать другие различные аналитические методы, такие, как фундаментальный анализ и экспертное мнение.
Литература
1. Сунчалин А. М. Обзор методов и моделей прогнозирования финансовых временных рядов // Хроноэкономика. 2020. № 1. С. 25-29.
2. Нестерова К. И. Обзор современных методов прогнозирования динамики цен на фондовом рынке // Наукосфера. 2020. № 7. С. 91-95.
3. Передриенко А.И., Лютая Т.П., Харитонов И.М., Степанченко И.В. Методы краткосрочного прогнозирования финансовых временных рядов с малыми объёмами выборки // Инженерный вестник Дона, 2020, № 5. URL: ivdon.ru/ru/magazine/archive/N5y2020/6482/.
4. Губарева Е. А. Нейронные сети в анализе временных рядов // Инновации и инвестиции. 2020. № 10. С. 150-153.
5. Обрубов М. О. Применение LSTM-сети в решении задачи прогнозирования многомерных временных рядов // Национальная Ассоциация Ученых. 2021. № 68-2. С. 43-48.
6. Губарева Е. А., Хашин С. И. Вопросы эффективности обучения нейронных сетей при анализе временных рядов // Экономика: вчера, сегодня, завтра. 2021. Т. 11. № 9-1. С. 121-127.
7. Кабышев О.А., Маслаков М.П., Кабышев А.М. Программная реализация алгоритма обучения нейронной сети // Инженерный вестник Дона, 2021, №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6850/.
8. Коц И.Н., Лысенко И.Е., Полякова В.В., Ковалев А.В. Методы диагностики инженерных объектов на основе нейросетей // Инженерный вестник Дона, 2020, №8. URL: ivdon.ru/ru/magazine/archive/n8y2020/6578/.
9. Chen J. GC-LSTM: graph convolution embedded LSTM for dynamic network link prediction // Applied Intelligence, 2021. Vol. 11. pp. 109-123.
10. Luo C. PFST-LSTM: A SpatioTemporal LSTM Model with Pseudoflow Prediction for Precipitation Nowcasting // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2021. Vol. 14. pp. 843-857.
References
1. Sunchalin A. M. Hronojekonomika. 2020. № 1. pp. 25-29.
2. Nesterova K. I. Naukosfera. 2020. № 7. pp. 91-95.
3. Peredrienko A.I., Ljutaja T.P., Haritonov I.M., Stepanchenko I.V. Inzhenernyj vestnik Dona, 2020, №5. URL: ivdon.ru/ru/magazine/archive/N5y2020/6482/.
4. Gubareva E. A. Innovacii i investicii. 2020. № 10. p. 150-153.
5. Obrubov M. O. Nacional'naja Associacija Uchenyh. 2021. № 68-2. pp. 4348.
6. Gubareva E. A., Hashin S. I. Jekonomika: vchera, segodnja, zavtra. 2021. T. 11. № 9-1. pp. 121-127.
7. Kabyshev O.A., Maslakov M.P., Kabyshev A.M. Inzhenernyj vestnik Dona, 2021, №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6850/.
8. Koc I.N., Lysenko I.E., Poljakova V.V., Kovalev A.V. Inzhenernyj vestnik Dona, 2020, №8. URL: ivdon.ru/ru/magazine/archive/n8y2020/6578/.
9. Chen J. Applied Intelligence, 2021. Vol. 11. pp. 109-123.
10. Luo C. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2021. Vol. 14. pp. 843-857.
