ПРИМЕНЕНИЕ ДОЛГОЙ КРАТКОСРОЧНОЙ ПАМЯТИ И УПРАВЛЯЕМЫХ РЕКУРРЕНТНЫХ БЛОКОВ ДЛЯ ПРОГНОЗИРОВАНИЯ ЗНАЧЕНИЙ ГЕОМАГНИТНЫХ ИНДЕКСОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

Вестник КРАУНЦ. Физ.-мат. науки. 2020. Т. 33. № 4. C. 110-121. ISSN 2079-6641

ИНФОРМАЦИОННЫЕ И ВЫЧИСЛИТЕЛЬНЫЕ ТЕХНОЛОГИИ УДК 551.510.535 Научная статья

Применение долгой краткосрочной памяти и управляемых рекуррентных блоков для прогнозирования значений геомагнитных индексов

В. А. Мочалов, А. В. Мочалова

Институт космофизических исследований и распространения радиоволн ДВО РАН, 684034, Камчатский край, c. Паратунка, ул. Мирная, 7 E-mail: a.mochalova@ikir.ru

В работе с помощью глубокого обучения рассматривается прогнозирование значений следующих геомагнитных индексов (ГИ): Dst, Kp, AE и AP. Для прогнозирования используются архитектуры долгой краткосрочной памяти (LSTM) и управляемых рекуррентных блоков (GRU). Для различных ГИ индексов анализируется функция потерь в за-висимости от периодичности исходных данных. Установлено, что чем меньше периодичность исходных данных ГИ тем точнее осуществляется прогноз следующего значения ГИ. Для анализа использовались следую-щие периоды исходных данных ГИ: час, 3 часа, сутки.

Ключевые слова: геомагнитные индексы, прогнозирование, Dst индекс, Kp-индекс, AE индекс, AP индекс, долгая краткосрочная память, управляемые рекуррентные блоки.

DOI: 10.26117/2079-6641-2020-33-4-110-121

Поступила в редакцию: 15.10.2020 В окончательном варианте: 02.12.2020

Для цитирования. Мочалов В. А., Мочалова А. В. Применение долгой краткосрочной памяти и управляемых рекуррентных блоков для прогнозирования значений геомагнитных индексов // Вестник КРАУНЦ. Физ.-мат. науки. 2020. Т. 33. № 4. C. 110-121. DOI: 10.26117/2079-6641-2020-33-4-110-121

Контент публикуется на условиях лицензии Creative Commons Attribution 4.0 International (https://creativecommons.org/licenses/by/4.0/deed.ru)

© Мочалов В. А., Мочалова А. В., 2020

Анализируемые геомагнитные индексы

Величина, выражающая степень возмущенности геомагнитного поля за определенный промежуток времени при взаимодействии корпускулярного излучения Солнца с магнитосферой, называется геомагнитной активностью. Количественной мерой геомагнитной активности являются индексы геомагнитной активности. В настоящее время существует более двух десятков различных индексов геомагнитной

Финансирование. Работа выполнялась в рамках государственного задания по теме «Динамика физических процессов в активных зонах ближнего космоса и геосфер» (Рег.№ АААА-А17-117080110043-4).

активности и их число непрерывно растет по мере развития наших представлений о солнечно-земных связях [1].

Dst-индекс был введен М. Сугиурой в 1964 году в работе [2]. В настоящее время этот индекс стал одним из самых распространенных индексов, характеризующих геомагнитную активность. Индекс Dst характеризует развитие поля возмущений в период магнитных бурь и представляет среднюю величину возмущения в часовом интервале, высчитанную по данным сети низкоширотных станций, разнесенных по долготе. Dst-индекс можно определить как меру интенсивности кольцевого тока DR, усиливающегося в магнитосфере взрывным образом во время магнитных бурь [3].

Планетарный К-индекс, имеет предварительный статус и обновляется каждую минуту с помощью NOAA SWPC с оценкой измеренного Кр за последние 3 часа на основе показаний восьми наземных магнитометров по всему миру. Он выражается 10 значениями в пределах от 0 до 9. Важно понимать, что этот Кр-индекс не является прогнозом или индикатором текущего значения, он отражает значение Kp за определенный период времени [4]. Индекс ap вычисляется по данным Кр-индекса и представляет изменение наиболее возмущенного магнитного элемента D или H в 3-часовом интервале времени на среднеширотных станциях, выражаемое в единицах 2гамма. ар-индекс называют планетарной амплитудой в 3-часовом интервале. Индекс Ар получается усреднением восьми значений ар за день [1].

AU индекс (auroral upper) соответствует максимальному по всем обсерваториям авроральной зоны положительному отклонению H составляющей магнит-ного поля от среднего спокойного уровня. AL индекс (auroral low) соответствует максимальному отрицательному отклонению H составляющей магнитного поля от среднего спокойного уровня на станциях авроральной зоны.

А индекс определяется как сумма абсолютных значений AU и AL индексов, т.е. суммарный размах магнитных флуктуаций в H составляющей геомагнитного поля. Индекс A характеризует магнитную возмущенность в зоне в целом, безотносительно к месту появления возмущения.

В настоящее время различные ученые разработали модели для прогнозирования значений геомагнитных индексов на основе применения нейронных сетей [5-7] и др. Отличительной особенностью этой работы является применение архитектур долгой краткосрочной памяти (LSTM) и управляемых рекуррент-ных блоков (GRU).

Применение долгой краткосрочной памяти для прогнозирования значений геомагнитных индексов

Долгая краткосрочная память (LSTM) — это архитектура искусственной рекуррентной нейронной сети (RNN), используемая в области глубокого обучения [8]. Сети LSTM хорошо подходят для классификации, обработки и прогнозирования на основе данных временных рядов, поскольку между важными событиями временного ряда могут быть запаздывания неизвестной продолжительности. Относительная нечувствительность к длине разрыва является преимуществом LSTM перед RNN, скрытыми марковскими моделями и другими методами обучения последовательностям во многих приложениях [9]. На основе приложения библиотеки Keras [10] была написана программа для прогнозирования геомагнитных индексов. Мы использовали эту архитектуру LSTM [11]:

regressor = Sequential()

return_sequences=True)) return_sequences=True))

regressor.add(LSTM(units=50,return_sequences=True, input_shape=(X_train.shape[1],1))) regressor.add(Dropout(0.2)) regressor.add(LSTM(units=50, regressor.add(Dropout(0.2)) regressor.add(LSTM(units=50, regressor.add(Dropout(0.2)) regressor.add(LSTM(units=50)) regressor.add(Dropout(0.2)) regressor.add(Dense(units=1))

regressor.compile(optimizer='rmsprop',loss='mean_squared_error') regressor.fit(X_train,y_train,epochs=50,batch_size=32)

Для обучения сети LSTM мы использовали видеокарту Теэк К80. В качестве исходных данных для обучения сети LSTM для прогнозирования об! индекса были использованы часовые данные с сайта [12] за 2019 год (рисунок 1). Часовые данные начала 2020 года использовались для тестирования.

Рис. 1. Набор для обучения и тестирования сети LSTM для прогнозирования Об!-индекса.

Мы использовали функцию потерь среднеквадратичной ошибки ^Р) и после 50 обучающих итераций получили результат LF = 0.00082. Время обучения на видеокарте Теэ1а К80 сети LTSM составило 5150 секунд. На рисунке 2 показаны результаты прогнозирования следующего значения Об! индекс по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 2.5225.

Рис. 2. Результаты прогнозирования следующего значения Ду?-индекса по ряду известных предыдущих значений.

В качестве исходных данных для обучения сети LSTM для прогнозирования АЕ индекса были использованы часовые данные с сайта [12] за 2017 год (рис. 3). Часовые данные начала 2018 года использовались для тестирования.

Рис. 3. Набор для обучения и тестирования сети LSTM для прогнозирования индекса AE.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 итераций обучения мы получили результат LF = 0.0059. Время обучения на видеокарте Tesla ^0 сети LTSM составило 3650 секунд. На рисунке 4 пока-заны результаты прогнозирования следующего значения AE индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 77.9202.

Рис. 4. Результаты прогнозирования следующего значения AE индекса по ряду известных предыдущих значений.

В качестве исходных данных для обучения сети LSTM для прогнозирования Кр индекса были использованы 3-часовые данные с сайта [13] за 2017-2019 года (рис. 5). Трех часовые данные начала 2020 года использовались для тестирования.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 итераций обучения мы получили результат LF = 0.0086. Время обучения на видеокарте Tesla ^0 сети LTSM составило 3050 секунд. На рисунке 6 показаны результаты прогнозирования следующего значения Кр индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 0.702638.

В качестве исходных данных для обучения сети LSTM для прогнозирования средне суточного ^ индекса были использованы усредненные за сутки данные с сайта [13] за 2000-2019 года (рис. 7). Усредненные за сутки данные с начала 2020 года использовались для тестирования.

КР values

2017 2018 2019 2020

Date

Рис. 5. Обучающий и тестовый набор для LTSM-сети для прогнозирования индекса Kp.

КР index prediction

О 100 200 300 400 500 600 Бремя в часовыинтервалах с 1 января 2020 года

Рис. 6. Результаты прогнозирования следующего значения Кр индекса по ряду известных предыдущих значений.

Рис. 7. Набор для обучения и тестирования сети LSTM для прогнозирования среднесуточного индекса Кр.

Мы использовали функцию потерь среднеквадратичной ошибки ^Р), и после 50 итераций обучения мы получили результат LF = 0.0121. Время обучения на видеокарте Tes1a К80 сети LTSM составило 2509 секунд. На рисунке 8 показаны результаты прогнозирования следующего среднесуточного значения Кр индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 0.585761.

В качестве исходных данных для обучения сети LSTM для прогнозирования Ар индекса были использованы 3-часовые данные с сайта [13] за 2017-2019 года (рис. 9). Трех часовые данные начала 2020 года использовались для тестирования.

KP_AVG index prediction

О 20 40 60

Время Е 24-х mi'ne ы>: интерв алах с 1 января 211211 года

Рис. 8. Результаты прогнозирования следующего среднесуточного значения Kp индекса по ряду известных предыдущих значений.

АР values

2017 2018 2019 2020

Date

Рис. 9. Набор для обучения и тестирования сети LSTM для прогнозирования индекса Ap.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 итераций обучения мы получили результат LF = 0.0046. Время обучения на видеокарте Tesla ^0 сети LTSM составило 2905 секунд. На рисунке 10 показаны результаты прогнозирования следующего значения Ар индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 3.7579.

Рис. 10. Результаты прогнозирования следующего значения Ap индекса по ряду известных предыдущих значений.

В качестве исходных данных для обучения LSTM сети для прогнозирования средне суточного Ap индекса были использованы усредненные за сутки данные с сайта [13] за 2000-2019 года (рис. 11). Усредненные за сутки данные с начала 2020 года использовались для тестирования.

10 о 80 60 40 20 О

200CI 2005 2010 2015 2020

Date

Рис. 11. Набор для обучения и тестирования сети LSTM для прогнозирования среднесуточного индекса Ap.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 итераций обучения мы получили результат LF = 0.0076. Время обучения на видеокарте Tesla K80 сети LTSM составило 2751 секунду. На рисунке 12 показаны результаты прогнозирования следующего среднесуточного значения Ap индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 3.0491

AP_AVG index prediction

15.0

(Л

^ 12.5 "fe > 10.0 X

<и

I "

g 5.0

2,

<

0.0

О 20 40 60

Бремя е 24-х часовыX интервалах с 1 января 2020 года

Рис. 12. Результаты прогнозирования следующего среднесуточного значения Ap индекса по ряду известных предыдущих значений.

Применение управляемых рекуррентных блоков для прогнозирования значений геомагнитных индексов

Управляемые рекуррентные блоки (GRU) это механизм вентилей для RNN, предложенный в работе [14]. GRU похож на долгосрочную кратковременную память (LSTM) с блоком забывания, но имеет меньше параметров, чем LSTM, поскольку в нем отсутствует выходной вентиль [15].

На основе приложения библиотеки Keras [10] была написана программа для прогнозирования геомагнитных индексов. Мы использовали эту архитектуру GRU [11]:

numUnits = 50

regressorGRU = Sequential()

regressorGRU.add(GRU(units=numUnits,return_sequences=True, input_shape=(X_train.shape[1],1), activation='tanh')) regressorGRU.add(Dropout(0.2))

regressorGRU.add(GRU(units=numUnits,return_sequences=True,

input_shape=(X_train.shape[1],1), activation='tanh')) regressorGRU.add(Dropout(0.2))

regressorGRU.add(GRU(units=numUnits,return_sequences=True, input_shape=(X_train.shape[1],1), activation='tanh')) regressorGRU.add(Dropout(0.2))

regressorGRU.add(GRU(units=numUnits, activation='tanh'))

regressorGRU.add(Dropout(0.2))

regressorGRU.add(Dense(units=1))

regressorGRU.compile(optimizer=SGD(lr=0.01,decay=1e-7,momentum=0.9,

nesterov=False),loss='mean_squared_error') regressorGRU.fit(X_train,y_train,epochs=50,batch_size=150)

Для обучения сети GRU мы использовали видеокарту Tesla K80. В качестве исходных данных для обучения сети GRU для прогнозирования Dst-индекса были использованы часовые данные с сайта [12] за 2019 год (рис. 1). Часовые данные начала 2020 года использовались для тестирования.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 итераций обучения мы получили результат LF = 0.0031. Время обучения на видеокарте Tesla K80 сети GRU заняло 900 секунд.

DST index prediction

20 I real val jes

| — predicted values

\t i

э

ю

1Л □

-30 |

О 100 200 ЗОО 400 50С 60С 700 Время в часах с 1 января 2020 года

Рис. 13. Результаты прогнозирования следующего значения Dst индекса по ряду известных предыдущих значений.

На рис. 13 показаны результаты прогнозирования следующего значения Dst индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 5.5220.

В качестве исходных данных для обучения сети GRU для прогнозирования AE индекса были использованы часовые данные с сайта [12] за 2017 год (рис. 3). Часовые данные начала 2018 года использовались для тестирования.

Мы использовали функцию потерь среднеквадратичной ошибки (LF) и после 50 обучающих итераций получили результат LF=0.0102.

На рис. 14 показаны результаты прогнозирования следующего значения AE индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 105.8080.

В качестве исходных данных для обучения GRU сети для прогнозирования Kp индекса были использованы 3-часовые данные с сайта [13] за 2017-2019 года (рис. 5). Трех часовые данные начала 2020 года использовались для тестирования.

AE index prediction

0 200 400 600 800 1000 1200 1400

Время в часах с 1 января 2018 года

Рис. 14. Результаты прогнозирования следующего значения AE индекса по ряду известных предыдущих значений.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 итераций обучения мы получили результат LF = 0,0120. Время обучения на видеокарте Tesla ^0 сети GRU составило 760 секунд.

КР index prediction

О 100 200 300 400 500 600 Бремя Е- часовых интервалах с 1 января 2020 года

Рис. 15. Результаты прогнозирования следующего значения Kp индекса по ряду известных предыдущих значений.

На рис. 15 показаны результаты прогнозирования следующего значения Kp индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 0.79963.

В качестве исходных данных для обучения GRU сети для прогнозирования средне суточного Kp индекса были использованы усредненные за сутки данные с сайта [13] за 2000-2019 года (рис. 7). Усредненные за сутки данные с начала 2020 года использовались для тестирования.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 обучающих итераций мы получили результат LF = 0.0188. Время обучения на видеокарте Tesla K80 сети GRU заняло 695 секунд.

На рис. 16 показаны результаты прогнозирования следующего среднесуточного значения Kp индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 0.70045.

В качестве исходных данных для обучения GRU сети для прогнозирования Ap индекса были использованы 3-часовые данные с сайта [13] за 2017-2019 года (рис. 9). Трех часовые данные начала 2020 года использовались для тестирования.

Мы использовали функцию потерь среднеквадратичной ошибки (LF), и после 50 обучающих итераций мы получили результат LF = 0.0065. Время обучения на видеокарте Tesla K80 сети GRU заняло 735 секунд.

Рис. 16. Результаты прогнозирования следующего среднесуточного значения Кр индекса по ряду известных предыдущих значений.

Рис. 17. Результаты прогнозирования следующего значения Ap индекса по ряду известных предыдущих значений.

На рис. 17 показаны результаты прогнозирования следующего значения Ар индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 3.9224.

В качестве исходных данных для обучения GRU сети для прогнозирования средне суточного Ар индекса были использованы усредненные за сутки данные с сайта [13] за 2000-2019 года (рис. 11). Усредненные за сутки данные с начала 2020 года использовались для тестирования.

Мы использовали функцию потерь среднеквадратичной ошибки (LF) и после 50 обучающих итераций получили результат LF = 0.0101. Время обучения на видеокарте Tesla K80 сети GRU составило 644 секунды.

AP_AVG index prediction

15.0

VI

Ц 12.5

> 10.0

X

с

с 7.5

g 5.0

i' 2,

<

0.0

О 20 40 60

Бремя г. 24-х часовых интервалах < 1 января 202U года

Рис. 18. Результаты прогнозирования следующего среднесуточного значения Ap индекса по ряду известных предыдущих значений.

На рис. 18 показаны результаты прогнозирования следующего среднесуточного значения Ар индекса по ряду известных предыдущих значений. Среднеквадратичная ошибка прогноза составляет 3.6471.

Заключение

Для прогнозирования значений геомагнитных индексов было проведено сравнение двух различных архитектур глубоких нейронных сетей (ЦГБМ и GRU). Выбранная архитектура ЦГБМ обеспечивает более точные прогнозы значений.

Установлено, что точность прогнозов увеличивается с уменьшением периодичности исходных данных геомагнитных показателей.

Конкурирующие интересы. Авторы заявляют, что конфликтов интересов в отношении авторства и публикации нет.

Авторский вклад и ответсвенность. Все авторы участвовали в написании статьи и полностью несут ответственность за предоставление окончательной версии статьи в печать. Окончательная версия рукописи была одобрена всеми авторами.

Список литература/References

[1] Заболотная Н. А., Индексы геомагнитной активности, Изд-во ЛКИ, М, 2007, 88 с. [Zabolotnaya N. A., Indeksy geomagnitnoy aktivnosti, Izd-vo LKI, M, 2007 (in Russian), 88 pp.]

[2] Sugiura M., "Hourly values of equatorialDstfor the IGY", Annals of the International Geophysical Year, 35 (1964), 7-45.

[3] Амиантов А. С., Зайцев А. Н., Одинцов В. И., Петров В. Г., Вариации магнитного поля Земли, База цифровых данных магнитных обсерваторий России за период 1984-2000 гг на CD-ROM, Москва, 2001, 44 с. [Amiantov A. S., Zaytsev A. N., Odintsov V. I., Petrov V. G., Variatsii magnitnogo polya Zemli, Baza tsifrovykh dannykh magnitnykh observatoriy Rossii za period 1984-2000 gg na CD-ROM, Moskva, 2001 (in Russian), 44 pp.]

[4] (date of the application: 15.07.2020), The Kp-index https://www.spaceweatherlive.com/ru/avroralnaya-aktivnost/kr-indeks.

[5] Lethy A., El-Eraki M. A., Samy A., Deebes H. A., "Prediction of the Dst index and analysis of its dependence on solar wind parameters using neural network", Space Weather, 16 (9) (2018), 1277-1290.

[6] Sexton E. S., Nykyri K., Ma X., "Kp forecasting with a recurrent neural network", J. Space Weather Space Clim, 9 (2019), A19.

[7] Myagkova I., Shiroky V., Dolenko S., "Prediction of geomagnetic indexes with the helpof artificial neural networks", Solar-Terrestrial Relations and Physics of Earthquake Precursors conference, E3S Web of Conferences 20, 2017, 02011.

[8] Hochreiter S., Schmidhuber J., "Long short-term memory", Neural Computation, 9 (8) (1997), 1735-1780.

[9] (date of the application: 10.08.2020), Long short-term memory https://en.wikipedia.org/wiki/Long_short-term_memory.

[10] (date of the application: 14.08.2020), Keras — Python Deep Learning library https://keras.io.

[11] Intro to Recurrent Neural Networks LSTM | GRU https://www.kaggle.com/thebrownviking20/intro-to-recurrent-neural-networks-lstm-gru.

[12] (date of the application:27.06.2020), Dst and AE indices http://wdc.kugi.kyoto-u.ac.jp/dstae/index.html.

[13] (date of the application: 20.06.2020), Kp index (with ap, Ap indices) http://wdc.kugi.kyoto-u.ac.jp/kp/ index.html#LIST.

[14] Kyunghyun C., Merrienboer B., Caglar G., Bahdanau D., Bougares F., Schwenk H., Bengio Y., Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, ArXiv, 1406.1078, 2014.

[15] (date of the application: 22.08.2020), Gated recurrent unit https://en.wikipedia.org/wiki/Gated_recurrent_unit.

Vestnik KRAUNC. Fiz.-Mat. Nauki. 2020. vol. 33. no. 4. P. 110-121. TSSN 2079-6641

INFORMATION AND COMPUTING TECHNOLOGIES

MSC 86A25 Research Article

The use of long short-term memory and gated recurrent unit for predicting the values of geomagnetic indices

V. A. Mochalov, A. V. Mochalova

Institute of Cosmophysical Researches and Radio Wave Propagation Far-Eastern Branch Russian Academy of Sciences, 684034, Kamchatskiy Kray, Paratunka, Mirnaya st., 7 E-mail: a.mochalova@ikir.ru

In this work, with the help of deep learning, predicting the values of the following geomagnetic indices (GT) is considered: Dst, Kp, AE and Ap. For forecasting we use the architectures are long short-term memory (LSTM) and gated recurrent unit (GRU). For various GT indices, the loss function is analyzed depending on the periodicity of the source data. It has been established that forecasting accuracy increases with decreasing periodicity of the initial data of geomagnetic indices. For the analysis, the following periods of the initial GI data were used: hour, 3 hours, day. For the analysis we used hour, 3 hours and day periods of the initial GI source data.

Key words: geomagnetic indices, forecasting, Dst index, Kp-index, AE index, AP index, long short-term memory, managed recurrent blocks.

DOI: 10.26117/2079-6641-2020-33-4-110-121

Original article submitted: 15.10.2020 Revision submitted: 02.12.2020

For citation. Mochalov V. A., Mochalova A. V. The use of long short-term memory and gated recurrent unit for predicting the values of geomagnetic indices. Vestnik KRAUNC. Fiz.-mat. nauki. 2020,33: 4,110-121. DOI: 10.26117/2079-6641-2020-33-4-110-121

Competing interests. The authors declare that there are no conflicts of interest regarding authorship and publication.

Contribution and Responsibility. All authors contributed to this article. Authors are solely responsible for providing the final version of the article in print. The final version of the manuscript was approved by all authors.

The content is published under the terms of the Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0/deed.ru)

© Mochalov V. A., Mochalova A. V., 2020

Funding. The work was carried out within the framework of the state assignment on the topic "Dynamics of physical processes in active zones of near space and geospheres" (Reg. No. AAAA-A17-117080110043-4).