CC BY
18
ПРОГНОЗИРОВАНИЕ БИРЖЕВЫХ КОТИРОВОК AMAZON INC. С ИСПОЛЬЗОВАНИЕМ BILSTM-ATTENTION НЕЙРОННОЙ СЕТИ
Р.С. Кузнецов, аспирант
Санкт-Петербургский государственный экономический университет (Россия, г. Санкт-Петербург)
DOI:10.24412/2411-0450-2023-10-2-19-23
Аннотация. На фондовом рынке ежедневно происходит перемещение капиталов между его участниками. Игроки на фондовом рынке могут как получить значительные прибыли, так и потерять все инвестированные средства. Успешность сделок на бирже во многом зависит от правильного анализа рыночной конъюнктуры и правильного прогноза движения котировок интересующих активов. В рамках исследования авторами обучена и протестирована BiLSTM-Attention нейронная сеть, которая может быть использована в качестве вспомогательного инструмента при прогнозировании рыночных котировок.
Ключевые слова: фондовый рынок, нейронные сети, LSTM, прогнозирование котировок, прогнозирование акций.
Фондовый рынок стремительно растет и развивается, многие крупные компании стремятся выйти на IPO с целью привлечения дополнительных финансовых средств, а инвестиционные компании и частные инвесторы стремятся вложить деньги в компанию с целью получения прибыли в долгосрочном периоде. Необходимо отметить, что биржевая торговля несет не только возможность получить высокую прибыль, но и заключает в себе ряд рисков, связанных с потерей части или всей инвестированной суммы. В такой ситуации высокое значение приобретает качественный анализ и прогнозирование биржевых котировок как по компаниям, уже включенным в инвестиционный портфель, так и по компаниям, которые рассматриваются в качестве актива. Многие крупные российские и зарубежные компании представляют аналитические отчеты по фондовому рынку, которые разрабатывают команды аналитиков и трейдеров с использованием различных методов анализа рынка: технический анализ, фундаментальный анализ, предиктивная аналитика с использованием машинного обучения и различных архитектур нейронных сетей.
Популяризация технологий машинного обучения и появление разновидностей архитектур, применимых для анализа изображений, звука и временных рядов привело к повсеместному использованию этой
технологии как в научной сфере, так и реальным бизнесом. Для прогнозирования биржевых котировок необходимо использовать нейронные сети, способные взаимодействовать с временными рядами, к таким базовым сетям относятся модели: линейная регрессия, дерево решений, случайный лес и XGBoost. Более продвинутыми и мощными решениями выступают искусственные нейронные сети (ANN), представляющие собой методы моделирования человеческого мышления. В свою очередь, с развитием нейронных сетей все большее внимание привлекает глубокое обучение. Разница между ANN и глубоким обучением заключается в том, что количество уровней сети различно. Глубокое обучение заключается в обучении большого количества слоев нейронных сетей. С развитием глубокого обучения появился ряд новых архитектур и методов, которые можно дорабатывать и совершенствовать в зависимости от задачи и формата входных данных. Новые архитектуры включают в себя нейронные сети: CNN, LSTM, ResNet и другие. Кроме того, существуют некоторые алгоритмы, такие как ограниченная машина Больцмана (RBM), многослойный персептрон (MLP) и автоэнкодер.
В рамках исследования используется двунаправленная LSTM нейронная сеть с дополнительным слоем внимания (BiLSTM-Attention). Long Short-Term
Memory - это тип рекуррентной нейронной сети, способной предсказывать последовательности значений с учетом исторических данных. LSTM используется не только для прогнозирования котировок, но и для машинного перевода, распознавания речи и других задач. К преимуществам использования LSTM следует отнести:
1) сетями LSTM учитываются долгосрочные зависимости. Данный механизм реализован за счет ячеек памяти, способных долго хранить информацию;
2) в традиционных рекуррентных нейронных сетях существует проблема исчезающего градиента. В LSTM данная проблема решается за счет механизма, который выборочно отбирает и вызывает необходимую информацию;
3) LSTM модели улавливают и запоминают важный контекст, даже если существует значительный временной разрыв между соответствующими событиями в последовательности. Поэтому там, где важно понимание контекста, и используются разновидности LSTM нейронных сетей.
К отрицательным чертам LSTM следует отнести:
1) в сравнении с более простыми архитектурами, LSTM сети являются более дорогостоящими в вычислительном отношении, что может ограничить их масштабируемость для больших наборов данных или сред с ограниченными вычислительными возможностями;
2) обучение LSTM сетей может занимать больше времени в сравнении с более простыми моделями из-за вычислительной сложности;
3) так как данные обрабатываются последовательно, трудно реализовать параллельную обработку отдельных участков данных с целью ускорения обучения модели.
К наиболее известным сферам применения LSTM относят:
1) языковое моделирование - Long Short-Term Memory используются для задач обработки естественного языка, таких
как языковое моделирование, машинный перевод и обобщение текста;
2) распознавание речи - LSTM используются для решения задач по распознаванию речи и ее преобразованию в текст. Сети можно обучить выявлять шаблоны в речи и сопоставлять их с соответствующим текстом;
3) прогнозирование временных рядов -прогнозирование цен акций, криптовалют и иных финансовых инструментов. Сети могут изучать закономерности в данных временных рядов и использовать их для составления прогнозов относительно будущих событий;
4) обнаружение аномалий - LSTM используются для обнаружения аномалий, таких как мошенничества и сетевые вторжения;
5) рекомендательные системы - сети долгой краткосрочной памяти используются для рекомендации фильмов и иных услуг или товаров на основе закономерностей в поведении пользователей;
6) видеоанализ - обнаружение объектов на видео, распознавание активностей и классификация действий.
Двунаправленная сеть долгой краткосрочной памяти (BiLSTM) является более сложной версией LSTM, которая учитывает как входные, так и выходные данные, что позволяет сети сохранять контекстную информацию в обоих направлениях. Слой внимания является дополнительным архитектурным слоем, который позволяет модели назначить разные веса факторам в зависимости от их важности.
В рамках исследования для сбора данных, построения и обучения нейронной сети используется высокоуровневый язык программирования python версии 3.9. Использование данного языка обусловлено его универсальностью и наличием большого количества открытых библиотек, необходимых как для сбора и обработки данных, так и для обучения нейронных сетей. Набор python библиотек, используемых в исследовании, отражен в таблице 1.
Таблица 1. Используемые в исследовании библиотеки языка python
№ Библиотека Версия Описание
1 requests 2.31.0 Библиотека с открытым исходным кодом, используемая для сбора данных веб-ресурсов.
2 pandas 1.5.2 Библиотека с открытым исходным кодом, используемая для обработки и структуризации данных разных форматов.
3 numpy 1.23.5 Библиотека с открытым исходным кодом, используемая для работы с многомерными массивами и матрицами.
4 matplotlib 3.7.0 Python-библиотека, используемая для визуализации данных.
5 keras 2.11.0 Высокоуровневое API библиотеки tensorflow, используемое для построения и обучения различных нейронных сетей.
6 scikit-learn 1.2.1 Python-библиотека с открытым исходным кодом, используемая для работы с числовыми данными и библиотекой numpy.
Amazon Inc. - основанная в 1994 году компания, оказывающая услуги в сферах электронной коммерции и предоставлении облачных вымислительнык мощностей. Компания начала торговаться на бирже в 1997 году и с тех пор значительно выросла и заняла ведущие мировые позиции в своей сфере. Данные о динамике котировок
Модель обучается предсказывать одно будущее значение на основе анализа пятнадцати предыдущих значений. Так как для исследования используются дневные котировки, то в качестве спрогнозированного значения получается цена открытия следующего торгового дня. Такой прогноз может быть полезен трейдерам и торговым
компании собирались на дневном таймф-рейме и содержат котировки за 6643 торговых дня. В качестве учебного датасета используется 95% исходного набора данных или 6311 торговых дней, а оставшаяся часть используется для тестирования модели. Пример собранных данных отражен в таблице 2.
роботам в качестве ориентира будущего движения цены и, соответственно, сигнала к открытию или закрытию торговой позиции. Количество эпох при обучении модели составляет 170, а размер батча составляет 32. Сравнение спрогнозированных обученной моделью значений и фактических отражено на рисунке 1.
Таблица 2. Пример датасета, используемого для обучения и тестирования ЫЬБТМ-Айепйоп модели_
Дата Цена открытия Цена закрытия
27.09.2023 125,76 125,98
28.09.2023 124,04 125,98
29.09.2023 128,2 127,12
02.10.2023 127,28 129,46
03.10.2023 128,06 124,72
04.10.2023 126,06 127
05.10.2023 126,71 125,96
06.10.2023 126,71 125,04
■ Цена открыли ......Прогноз
Рис. 1. Прогнозные и фактические значения котировок Amazon Inc.
Необходимо отметить, что уже при визуальном анализе графика с прогнозными и фактическими значениями видно, что модель показывает себя хорошо и прогнозные значения близки к фактическим. Данные значения можно использовать в торговой деятельности в качестве ориентира по будущему направлению движения котировки. Всего тестовый датасет содержит фактические и прогнозные значения за 332 торговых дня.
Для оценки модели используются показатели RMSE (Root Mean Squared Error) и MSE (Mean Squared Error). Среднеквадратичная ошибка (MSE) измеряет среднеквадратичную разницу между прогнозными значениями и фактическими. MSE всегда положителен и уменьшается по мере уменьшения количества ошибок при прогнозировании. Корень среднеквадратичной ошибки (RMSE) представляет собой оценку ошибки, которая вычисляется путем извлечения квадратного корня из MSE. Показатель отражает то, насколько прогнозные значения отдалены от фактических. Значение RMSE модели составляет 3,57, а MSE 12,76, что говорит о высокой точности модели, так как значения не сильно удалены
от нуля даже с учетом того, что сравниваются значения за большой промежуток времени - 332 торговых дня.
Таким образом, отметим эффективность построенной в рамках исследования нейронной сети. Сеть может быть использована в качестве торгового советника, сигнализирующего о направлении движения котировок и их примерных будущих значениях. Необходимо также отметить, что при использовании описанной нейронной сети в коммерческих целях необходимо провести эксперименты с количеством предыдущих котировок, используемых при прогнозе, таймфреймами, количеством эпох и размерами батчей для определения наиболее эффективной модели со значениями RMSE и MSE, максимально приближенными к нулю. При обучении нейронной сети также необходимо обращать внимание на размер исходного набора данных. В случаях, когда компания только начала котироваться на бирже, данных будет недостаточно для обучения модели и тогда придется использовать иные методы прогнозирования, либо попробовать обучить модель на основе изменения котировок компаний из одной и той же отрасли.
Библиографический список
1. Lu W., Li J., Wang J. A CNN-BiLSTM-AM method for stock price prediction // Neural computing and applications. - 2020. - № 33. - Pp. 4741-4753.
2. Zhang J., Ye L., Lai Y. Stock price prediction using CNN-BiLSTM-Attention model // Mathematics. - 2023. - № 11. - Pp. 1-18.
3. Lee M., Yeh S. Applying attention-based BiLSTM and technical indicators in the design and performance analysis of stock trading strategies // Neural computing and applications. -2022. - № 34. - Pp. 13267-13279.
4. Chen Y., Fang R. Stock price forecast based on CNN-BiLSTM-ECA model // Hindawi scientific programming. - 2021. - Pp. 1-20.
5. Ye Z., Qin Y., Xu W. Financial risk prediction with multi-round Q&A attention network // Proceedings of the twenty-ninth international joint conference on artificial intelligence. - 2020. -Pp. 4576-4582.
FORECASTING STOCK QUOTES OF AMAZON INC. USING A BILSTM-ATTENTION
NEURAL NETWORK
R.S. Kuznetsov, Posrgraduate Student
Saint Petersburg State University of Economics
(Russia, Saint Petersburg)
Abstract. On the stock market, there is a daily movement of capital between its participants. Stock market players can both make significant profits and lose all investedfunds. The success of transactions on the stock exchange largely depends on the correct analysis of market conditions and the correct forecast of the movement of quotations of the assets of interest. As part of the study, the authors trained and tested a BiLSTM-Attention neural network, which can be used as an auxiliary tool in predicting market quotations.
Keywords: stock market, neural networks, LSTM, stock price forecasting, stock forecasting.
