CC BY
42
УДК 004.8:330.46 DOI: 10.20998/2411-0558.2020.01.10
В. В. МОРОЗ, канд. техн. наук, проф., Одеський нацюнальний
ушверситет, Одеса,
Д. ХЕЛВ1Г, chief executive office, Black-Box. AI Inc.,
Д. В. МОРОЗ, студ., Одеський нацюнальний ушверситет, Одеса,
П. П. ЖУКОВ, студ., Одеський нацюнальний ушверситет, Одеса
АНАЛ1З НЕЙРОМЕРЕЖЕВИХ МОДЕЛЕЙ LSTM ТА GMDH
ДЛЯ ПРОГНОЗУВАННЯ КРИПТОВАЛЮТИ
Дослщжуеться застосування нейромережевих моделей для задач прогнозування цш на криптовалюти. На в1дм1ну вщ класичних статистичних метод1в анал1зу фшансових i економ1чних ряд1в, в основ1 яких е багатовим1рний лшшний регресшний анал1з, пропонуеться модель з пам'ятю та адаптивна полiномiальна модель. Апробащя моделей проводиться на даних криптовалютних ринк1в завдяки !х висок1й волатильностi та низьк1й кореляцп з традицiйними активами. Для прогнозування застосовуються GMDH та LSTM нейронш мереж1. Доведена перевага полiномiальноl регресшно! моделi GMDH за критерiем швидшсть-точшсть прогнозування. 1л.: 5. Табл.: 1. Бiблiогр.: 22 назв.
Ключовi слова: полiномiальна регресiйна модель; нейронна мережа; прогнозування; криптовалюта.
Постановка проблеми. Одшею з найбшьш актуальних i складних задач фшансово! математики е задача прогнозування цш на активи. Анал1з сфери економ1чного i фшансового прогнозування показуе, що з появою електронних грошей, штерес до задач1 тшьки зростае. Криптовалюти, як1 з'явилися завдяки науково-техшчному прогресу i комп'ютеризаци уах сфер д1яльносп людини, е шдвидом електронних грошей. Таю криптовалюти, як Bitcoin (BTC), Ethereum (ETH) та шш1, на вщмшу вщ традицшних валют, наприклад, USD та EUR, е децентрал1зованими цифровими валютами на основ1 1нтернет-протокол1в open-to-peer (P2P). BTC та ETH використовують технологш блокчейн (blockchain) [1].
Загальна ринкова каштал1защя криптовалют вим1рюеться сотнями мшьярд1в долар1в. Криптовалюти вщр1зняються великою волатильнютю, через що !х вартють значно змшюеться у час на вщмшу, наприклад, вщ акцюнерного кашталу, та низькою корелящею з традицшними активами. Також не юнуе явних базових принцитв для криптовалютних актив1в, на основ1 яких можна було б побудувати фундаментальш торгов1 стратеги (наприклад, стратеги на основ1 вартосп).
Для розробки нових стратегш або метод1в прогнозування торпвл1
© В.В. Мороз, Д. Хелвиг, Д.В. Мороз, П.П. Жуков, 2020
криптовалютами необхщно застосовувати бшьш ефективш модели ям грунтуються на глибокому навчанш, що дозволить зберiгати складнi закономiрностi i явища в даних.
Анал1з сучасних досл1джень. Задачi прогнозування економiчних i фiнансових часових рядiв придшяеться висока увага протягом кiлькох десятилггь. Але дослiдження в данiй сферi проводилися бiльшою мiрою з застосуванням шструменпв економетрики - класичних статистичних методiв. Найважливiшим серед цих шструмеш^в е багатовимiрна лiнiйна регресiя з оберненням коварiащйноi матрицi. Але сучасш фiнанси оперують даними, для яких застосування лшшно!' регресп/авторегресп не обгрунтовано спрощуе модель [2, 3]. До того ж, при прогнозуванш щн на фiнансовi активи, необхiдно враховувати причинно-наслiдковi зв'язки процесу цiноутворення. Якщо розглядати модель прогнозування як модель формування щн [4], грунтуючись на взаемодп суб 'ектiв ринку, ям приймають економiчнi рiшення на основi деяких показникiв або закономiрностей, то базуючись на економiчних законах або законах поведшкового фiнансування доцiльно застосовувати економетричш та балансовi моделi. Моделi часових рядiв та авторегресiйнi моделi враховують минулу динамiку, а стохастичш моделi враховують випадковi факти та поди (полггичш, пандемп, тощо), що ускладнюе формальний опис причинно-наслiдкових зв'язюв.
Бiльшiсть дослiджень при прогнозуваннi часових рядiв присвяченi регресiйним моделям (лшшна, множинна, нелiнiйна), якi зараз майже не застосовуються на вiдмiну вщ авторегресiйних моделей. Найбiльш популярними серед них е ARIMA [5] (Autoregressive Integrated Moving average) модель та ii рiзноманiтнi модифкацп [6, 7]. Для ARIMA моделей вхщш даш мають бути стацiонарним процесом, тобто мае юнувати порогове значення автокореляцп. Для нестацiонарних процесiв, якими i е процеси цiноутворення криптовалюти, застосовуеться дискретне диференщювання щоб зробити процес стащонарним. Ще одним пiдвидом авторегресшних моделей е ARCH (Autoregressive Conditional Heteroscedasticity) модел^ якi застосовують у випадку, коли в AR моделях враховуеться дисперая помилок, та GARH (Generalized Autoregressive Conditional Heteroskedasticity) модель [8-11], коли вона враховуеться в моделi ARMA. Моделi даного типу застосовуються при моделюванш фшансових часових рядiв з високою волатильнiстю та кластеризащею коливань. Але через високий характер коливань, вщсутнють внутрiшньоi щнносп та чiткого джерела походження ва вiдомi моделi дають прогнози з великим дiапазоном варiацiй або е помилковими або складними в обчисленнях.
Наступним етапом дослщжень в прогнозуванш криптовалютних ринюв стае розробка пiдxодiв на OOTOBi штучного iнтелекту та штучних нейронних мереж ANN (Artificial Neural Network). Першi роботи в даному напрямку поеднали AR моделi та ix модифшаци з ANN, що дало в результатi модель NNAR (Neural Network Autoregression). Аналiз результапв застосування NNAR показав, що дана модель з переоцшкою на кожному еташ може бути застосована у погодинних i похвилинних прогнозах [12].
Методика з використанням лопстично' регреси та методу опорних векторiв SVM (Support Vector Machine) для прогнозування щни бггкоша запропонована в [16]. Модель на основi BNN (Bayesian Neural Network) дослiджуеться в робот [13], а в [14] пропонуеться застосування ансамбля нейронних мереж. Також в [15] дослщили прогнозування бггкоша за допомогою методики на основi штучно!.' нейронноi мережi ANN (Artificial Neural Network) в поеднанш з використанням ринкових техшчних показникiв - техшчного аналiз. Проте отриманi результати виявилися неприйнятними через низьку продуктивнють та час навчання.
Ц1ль статть При застосуваннi ANN виникае питання ii структури та пiдготовки вхщних даних. В роботi дослiджуеться двi нейроннi мережi RNN-LSTM та GMDH-подiбна. Велика кiлькiсть дослiджень з застосування даних шструмеш^в не дають сталоi думки щодо ефективностi ix як моделей для розв'язання задачi прогнозування криптовалютних часових рядiв. Тому в даному дослщженш пропонуеться на вхщ мережi подавати не iсторичнi даш часового ряду, а його емшричну модову декомпозицiю - внутрiшнi модовi функцп.
Обгрунтування вибору ANN. Основою для вибору рекурентноi мережi RNN стала ii властивiсть зв'язувати попередню iнформацiю з поточною задачею, тобто попередш xарактернi коливання курсу криптовалюти з поточними (рис. 1). Але поточш коливання можуть вiдповiдати характерним попереднiм коливанням, якi вiдбувалися у минулому на деякш часовiй вщсташ.
3i збiльшенням цiеi вiдстанi RNN втрачае можливють зв'язувати iнформацiю. Теоретично це можливо, але практично призводить до постшно'' змши параметрiв мереж^ що ускладнюе ii використання. Наприклад, на рис. 2 поточш коливання для заданого двох часового штервалу могли мати мюце кшька годин або дшв, мiсяцiв тому
Рис. 1. Структура RNN
Рис. 2. Поточш коливання щни бггкоша на заданому iнтервалi
Навчання довгостроковим залежностям можливе завдяки застосуванню особливо!' арх1тектури RNN (рис. 3) - довго1 короткостроково'1 пам'ят1 LSTM (Long Short-Time Memory).
Q © (g)
Рис. 3. Модуль LSTM [17] 116
Дана архитектура на вщмшу вщ RNN, яка мае один шар нейронно! мережi (рис. 1), включае чотири шари, що взаемодiють мiж собою (рис. 3). Через xt i ht позначенi входи i виходи елемента мережi в момент часу t. Функци активаци позначенi через о - сигмоща та tanh - гiперболiчний тангенс.
Архiтектура RNN, як i будь-яко! ANN для глибокого навчання е вщкритим питанням i е лише один висновок стосовно кГлькосп шарiв i нейрошв в шарах - збiльшення структурних розмiрiв мережi не покращуе результат починаючи з деяко! стало! архГтектури. Це ж стосуеться i задачi прогнозування - ускладнення моделi не буде покращувати прогноз.
Будемо вважати, що ми не маемо уяви про структуру моделГ а фактори, яю впливають на роботу моделГ носять оцiночний характер i е нечеткими величинами та !х вплив явно е нелшшним. Це вимагае вибору моделГ яка буде тдлаштовуватися пiд данi. Такi моделi можуть породжуватися за допомогою емпiричних методiв моделювання -самооргашзаци. Моделi, отримаш за допомогою самооргашзаци е ефективними для прогнозування.
Тому поставлена задача може бути роз'язана за допомогою Методу Групового Врахування Аргуменпв - GMDH (Group Method of Data Handling). Його особливють полягае в тому, що вш дозволяе побудувати регресiйнi моделi i вибрати серед них модель з мшГмальним числом параметрiв [18 - 22].
Передбачаеться, що дослщжуваний за допомогою GMDH об'ект представляеться кшькома входами i одним виходом. Також вш може бути змодельований певним набором компоненпв базисно! функцп:
M _
Y = (*1, K , xn ) = a0 +Z aifi , i = 0 M '
i=1 _
де x = (xi, ..., Xn) - входи; Y - вихщ; at (i = 0, M ) - коефщенти; f -елементарнi базисш функци. Зв'язок мiж входами i виходом самооргашзуючо! мережi може бути представлений нескшченим полГномом Вольтера-Колмогорова-Габора в формГ
ы м ы м м м
Уп = ^ ^ CtiXi у* | ^ CLijXilCj ^ ^ ^ | ■■■
ВГдповГдна мережа була побудована з послщовносп простих полшомГв. Тобто GMDH е полГномГальною нейронною мережею, в якГй сигмощальна функщя обробки вузла замГняеться на полшомГальну. Входи визначаються як затриманГ (зсунутГ на одиницю часу) елементи прогнозованого часового ряду На вщмшу вщ Гтеративного методу в
нейронних мережах зворотного поширення, MirnMi3a^i помилок в GMDH виконусться шляхом послщовного наближення за допомогою найменших квадрапв. Також навчання в даному випадку зводиться до розв'язання системи рiвнянь. I ще одна перевага дано'1' мережi - вона не може перетренуватися.
Для прогнозування цши бггкоша з застосуванням RNN-LSTM та GMDH ANN були вибраш набори COLHV за мюяць з iнтервалом в одну хвилину. 1сторичш данi отриманi за допомогою API торгово'1' платформи Binance.com. Розмiр часового ряду - 44640 елементв. Прогнозування виконувалося на 15 хвилин. Для прогнозування в мережi LSTM використовувалися бiблiотеки Keras i TensorFlow без пiдтримки графiчного процесора, GMDH реалiзований з застосуванням псевдообернено'1' матрицi методом Мура-Пенроуза. Данi для навчання мережi побудованi з часового ряду шляхом зсувiв.
Рис. 4. Реальш i прогнозуванш цши за допомогою GMDH.
Рис. 5. Реальш i прогнозуванш цши за допомогою LSTM (100 епох)
Для оцшки точност прогнозу абсолютно! похибки в процентах:
застосуемо метрику середньо"
1 N Y - Y
1 X—I 1 i real 1 f
N
MAPE = ' V 'i real 'forecasted .100
Л T ¿—i '
Y
i real
Точнiсть прогнозу е доповненням MAPE до одиницi. Порiвняльний аналiз за критерiем швидкiсть-точнiсть прогнозування доводить перевагу шдуктивно" нейронно" мережг
Таблиця 1
Реальы GMDH MAPE LSTM-10 MAPE LSTM-20 MAPE LSTM-50 MAPE LSTM-100 MAPE
дан1 GMDH LSTM-10 LSTM-20 LSTM-50 LSTM-100
9154.34 9149.25 0.055602 9160.16 0.119245 9158.73 0.047955 9158.2 0.042166 9154.43 0.000983
9152.71 9151.03 0.018355 9158.55 0.082177 9157.12 0.048182 9156.58 0.042283 9152.79 0.000874
9154.85 9154.63 0.002403 9160.66 0.065868 9159.24 0.047953 9158.7 0.042054 9154.94 0.000983
9156.99 9153.21 0.04128 9162.77 0.104444 9161.36 0.047723 9160.82 0.041826 9157.08 0.000983
9158.98 9155.14 0.041926 9164.74 0.104859 9163.33 0.047494 9162.79 0.041599 9159.08 0.001092
9158.3 9157.26 0.011356 9164.07 0.074367 9162.65 0.047498 9162.12 0.041711 9158.39 0.000983
9161.16 9159.19 0.021504 9166.89 0.084069 9165.49 0.047265 9164.95 0.04137 9161.26 0.001092
9154.85 9158.48 0.039651 9160.66 0.023803 9159.24 0.047953 9158.7 0.042054 9154.94 0.000983
9146.64 9161.41 0.16148 9152.55 0.09671 9151.1 0.048761 9150.57 0.042967 9146.71 0.000765
9152.7 9155.07 0.025894 9158.54 0.037902 9157.11 0.048183 9156.57 0.042283 9152.78 0.000874
9154 9147.04 0.076032 9159.82 0.139717 9158.39 0.047957 9157.86 0.042167 9154.09 0.000983
9155 9152.95 0.022392 9160.81 0.085874 9159.38 0.047843 9158.85 0.042054 9155.09 0.000983
Точнкть 0.961003 0.897441 0.952101 0.95789 0.999017
Час (с) 37.766 112.165 235.187 610.948 1217.287
Висновки. Для прогнозування нелшшного нестацiонарного ряду на прикладi змiни цiн на криптовалютних ринках для пари BTCUSDT реалiзовано двi нейроннi мережi типу RNN-LSTM та GMDH. Порiвняльний аналiз результатiв прогнозу на 15 хвилин показав, що шдуктивна нейронна мережа типу GMDH мае суттеву перевагу в режимi реального часу i """ точнють поступаеться LSTM лише при навчанш останньо" в 30 раз довше.
В подальших дослiдженнях плануеться застосування шдуктивно" мережi з попередньою обробкою вхiдних даних методами нелiнiйного аналiзу i замiною псевдообернення Мура-Пенроуза бшьш ефективними методами.
References:
1. Nakamoto S. (2008), Bitcoin: A Peer-to-Peer Electronic Cash System, Available: https ://bitcoin. org/bitcoin.pdf.
2. López de Prado, Marcos (2018), Advances in Financial Machine Learning (Chapter 1) (January 18, 2018). Advances in Financial Machine Learning, Wiley, 1st Edition. Available at SSRN: https://ssrn.com/abstract=3104847
3. Calkin, N., and M. L'opez de Prado (2014), "The topology of macro financial flows: An application of stochastic flow diagrams", Algorithmic Finance, Vol. 3, No. 1, pp. 43-85.
BiCHUK Нацiонапbного технiнного yHiBepcumemy "Xni", 2020, № 1 (3)
ISSN 2079-0031 (Print) ISSN 2411-0558 (Online)
4. Derbentsev, V., Datsenko, N., Stepanenko, O., and Bezkorovainyi, V. (2019), "Forecasting cryptocurrency prices time series using machine learning approach". SHS Web Conf. 65 02001. DOI: 10.1051/shsconf/20196502001.
5. Simon Stevenson (2007), "A comparison of the forecasting ability of ARIMA models",
Journal of Property Investment & Finance, 25 (3), pp. 223-240.
6. Chen, An-Sing, Hung-Chou Chang, and Lee-Young Cheng (2019), "Time-varying Variance Scaling: Application of the Fractionally Integrated ARMA Model", The North American Journal of Economics and Finance, 47, pp. 1-12.
7. Hyndman, Rob J., and George Athanasopoulos (2018), Forecasting: Principles and Practice. Melbourne: OTexts, Available online: https://otexts.com/fpp2/ (accessed on 07 May 2020).
8. Bollerslev, Tim, Russell, Jeffrey, and Watson, Mark (2010), "Chapter 8: Glossary to ARCH (GARCH)". Volatility and Time Series Econometrics: Essays in Honor of Robert Engle (1st ed.). Oxford: Oxford University Press, pp. 137-163.
9. Kluppelberg, C., Lindner, A., and Maller, R. (2004), "A continuous-time GARCH process driven by a Levy process: stationarity and second-order behaviour", Journal of Applied Probability. 41 (3): pp. 601-622. doi:10.1239/jap/1091543413.
10. Li, D., Zhang, X., Zhu, K., and Ling, S. (2018), "The ZD-GARCH model: A new way to study heteroscedasticity" (PDF). Journal of Econometrics. 202 (1), pp. 1-17. doi: 10.1016/j.jeconom.2017.09.003.
11. Otto, P., Schmid, W., and Garthoff, R. (2018), "Generalised spatial and spatiotemporal autoregressive conditional heteroscedasticity". Spatial Statistics, 26 (1), pp. 125-145. doi: 10.1016/j.spasta.2018.07.005.
12. Khashei, M., and Bijari, M. (2011), "A novel hybridization of artificial neural networks and ARIMA models for time series forecasting", Applied Soft Computing, Vol. 11, No. 2, pp. 2664-2675. doi: 10.1016/j.asoc.2010.10.015.
13. Jang, H., and Lee, J. (2018), "An Empirical Study on Modeling and Prediction of Bitcoin Prices With Bayesian Neural Networks Based on Blockchain Information", IEEE ACCESS, Vol. 6, pp. 5427-5437.
14. Sin, E., and Wang, L. (2017), "Bitcoin Price Prediction Using Ensembles of Neural Networks", in 2017 13th International conference on natural computation, fuzzy systems and knowledge discovery (ICNC FSKD), pp. 666-671.
15. Radityo, A., Munajat, Q., and Budi, I. (2017), "Prediction of Bitcoin exchange rate to American dollar using artificial neural network methods", in Advanced Computer Science and Information Systems (ICACSIS), 2017 International Conference on, pp. 433-438.
16. Greaves A, and Au B (2015), "Using the Bitcoin transaction graph to predict the Price of Bitcoin". Available online (accessed 10 May 2020): https://pdfs.semanticscholar.org/a0ce/864663c100582805ffa88918910da89add47.pdf.
17. Olah, C. (2015), "Understanding LSTM Networks", Available online (accessed 20 May 2020): https://colah.github.io/posts/2015-08-Understanding-LSTMs.
18. Ivakhnenko, A.G. (1971), Polynomial theory of complex systems, IEEE Trans. Systems, Man Cybernet., 1, pp. 364-378.
19. Madala, H. R. and Ivakhnenko, A. G. (1994), Inductive Learning Algorithms for Complex Systems Modelling, CRC Press, Boca Raton.
20. Nikolaev, N.Y. and Iba, H. (2003), "Polynomial harmonic gmdh learning networks for time series modeling", Neural Netw., Vol. 16, pp. 1527-1540.
21. Onwubolu, G. (2009), Hybrid Self-Organizing Modeling Systems, Springer, Germany.
22. Zaichenko, Y.P., and Zaets, I.O. (2007), "Comparative analysis of the predictive models built using fuzzy algorithms and fuzzy GMDH using different algorithms for generating fuzzy prediction models", Proceedings of the Intern. Conference on inductive modeling, National Academy of SciencesUkraine, INNS inform.technology and systems, no. 4, pp. 158-165.
Статтю подав д-р техн. наук, проф. ОНУ iMeHi I.I. Мечникова Гунченко Ю.А.
Надшшла (received) 23.05.2020
Moroz Volodymyr, PhD in Applied Mathematics, Professor Odessa I.I. Mechnikov National University Str Dvoryans'ka, 2, Odesa, Ukraine, 65072 Phone (+380) 67-484-6975, e-mail v.moroz@onu.edu.ua
Helvig Jonas, CEO BlackBox Inc.
Street Nile, 64, N1 7SR, London
Phone (+44) 7-4807-24361, e-mail jonas@black-box.ai
Moroz Dmytro, stud.
Odessa I.I. Mechnikov National University Str Dvoryans'ka, 2, Odesa, Ukraine, 65072
Phone (+380) 93-234-7827, e-mail Dmytro-Moroz@stud.onu.edu.ua Zhukov Pavlo, stud.
Odessa I.I. Mechnikov National University Str Dvoryans'ka, 2, Odesa, Ukraine, 65072 Phone (+380) 50-708-7489, e-mail Pavel-Zhukov@stud.onu.edu.ua
УДК 004.8:330.46
Аналiз нейромережевих моделей LSTM та GMDH для прогнозування криптовалюти / Мороз В.В., Хелвиг Д., Мороз Д.В., Жуков П.П. // Вюник НТУ "ХШ". CepiH: 1нформатика та моделювання. - Харшв: НТУ "ХШ". - 2020. - № 1 (3). - С. 113 -122.
Дослщжуеться застосування нейромережевих моделей для задач прогнозування цш на криптовалюти. На вiдмiну вщ класичних статистичних методiв аналiзу фiнансових i економiчних рядiв, в основi яких е багатовимiрний лiнiйний регресiйний аналiз, пропонуеться модель з пам'ятю та адаптивна полiномiальна модель. Апробацiя моделей проводиться на даних криптовалютних риншв завдяки 1х висок1й волатильностi та низькш кореляцп з традицiйними активами. Для прогнозування застосовуються GMDH та LSTM нейронш мереж1. Доведена перевага полiномiальноl регресшно! моделi GMDH за критерiем швидкiсть-точнiсть прогнозування. 1л.: 5. Табл.: 1. Бiблiогр.: 22 назв.
Ключовi слова: полiномiальна регресiйна модель; нейронна мережа; прогнозування; криптовалюта.
УДК 004.8:330.46
Анализ нейросетевых моделей LSTM и GMDH для прогнозирования криптовалюты / Мороз В.В., Хелвиг Д., Мороз Д.В., Жуков П.П.// Вестник НТУ "ХПИ". Серия: Информатика и моделирование. - Харьков: НТУ "ХПИ". - 2020. - № 1 (3). - С. 113 - 122.
Исследовано применение моделей нейронных сетей для решения проблемы прогнозирования цен на криптовалюту. В отличие от классических статистических методов анализа финансово-экономических рядов, основанных на многомерном линейном регрессионном анализе, предложена модель с памятью и адаптивная полиномиальная модель. Модели тестируются на примере прогнозирования криптовалюты из-за ее высокой изменчивости и низкой корреляции с традиционными активами. Для прогнозирования используют нейронные сети GMDH и LSTM. Доказано преимущество полиномиальной регрессионной модели GMDH по критерию прогнозирования скорости и точности. Ил.: 5. Табл.: 1. Библиогр.: 22 назв.
Ключевые слова: полиномиальная регрессионная модель; нейронная сеть; прогнозирование; криптовалюта.
UDC 004.8:330.46
Analysis of LSTM and GMDH network models for cryptocurrency forecasting /
Moroz Volodymyr, Ceo Jonas Helvig, Moroz Dmytro, Zhukov Pavel // Herald of the National Technical University "KhPI". Series of "Informatics and Modeling". - Kharkov: NTU "KhPI". - 2020. - № 1 (3). - P. 113 - 122.
The application of neural network models for the problem of cryptocurrency price forecasting is investigated. Unlike classical statistical methods of financial and economic series analysis, which are based on multidimensional linear regression analysis, a memory model and an adaptive polynomial model are proposed. Models are being tested on cryptocurrency markets due to their high volatility and low correlation with traditional assets. GMDH and LSTM neural networks are used for forecasting. The advantage of the polynomial regression model GMDH is proved by the criterion of speed-accuracy forecasting. Figs.: 5. Tabl.: 1. Refs.: 22 titles.
Keywords: polynomial regression model; neural network; prognostication; cryptocurrency.
