CC BY
0Всероссийская открытая научная конференция «Современные проблемы дистанционного зондирования, радиолокации, распространения и дифракции волн» - Муром 2024
УДК 621.396 DOI: 10.24412/2304-0297-2024-1-445-457
Синтез и анализ структур нейронных сетей для прогнозирования полного электронного содержания ионосферы Земли
Н.В. Рябова, Н.А. Конкин, М.В. Вершинин
Поволжский государственный технологический университет
424000, г. Йошкар-Ола, пл. Ленина, 3.
konkinna@volgatech. net
В работе представлена и описана технология синтеза и анализа структур нейронных сетей для прогнозирования вертикального полного электронного содержания ионосферы. Изменение параметров ионосферы является одним из наиболее значимых факторов, влияющих на работу систем спутниковой и наземной радиосвязи. На данный момент для решения задач прогнозирования используются модели ионосферы различных типов, применение которых имеет ряд ограничений. Создание новой эффективной методики синтеза нейросетей для прогнозирования ПЭС ионосферы, отвечающей современным требованиям к точности, является важной и актуальной задачей. Глубокое машинное обучение и нейросети на данный момент являются довольно популярным методом решения задач классификации, распознавания и прогнозирования. Такие технологии уже нашли свое применение в цифровой медицине, робототехнике, промышленности, финансах и других отраслях современной науки и цифровой экономики. Для достижения поставленной цели в работе решены ряд задач, таких как: сбор, подготовка и анализ первичных экспериментальных данных для обучения модели, выбор нейросети и гиперпараметров; непосредственно прогнозирование ПЭС на основе обученной рекуррентной нейронной сети, включающей в себя слои с долгой краткосрочной памятью (LSTM) и полносвязные (Dense) слои и оценка точности полученных результатов. Показано, что созданная нейросеть хорошо справляется с задачей прогнозирования полного электронного содержания. Для конструирования архитектуры использованы заранее определенные параметры: количество рекуррентных слоев, количество полносвязных слоев, количество нейронов для каждого слоя, наличие слоя регуляризации переобучения модели (Dropout).
Ключевые слова: спутниковая связь, машинное обучение, нейросеть, ПЭС, KerasTuner, R2, MAPE, MAE, LSTM
Synthesis and analysis of neural network structures for predicting the total electron content of the Earth's ionosphere
N.V. Ryabova, N.A. Konkin, M.V. Vershinin
Volga State University of Technology.
The paper presents and describes the technology for synthesizing and analyzing neural network structures for predicting the vertical total electron content of the ionosphere. Changes in ionospheric parameters are one of the most significant factors affecting the operation of satellite and terrestrial radio communication systems. At the moment, ionospheric models of various types are used to solve forecasting problems, the use of which has a number of limitations. The creation of a new effective method for synthesizing neural networks for predicting ionospheric TEC that meets modern accuracy requirements is an important and urgent task. Deep machine learning and neural networks are currently a fairly popular method for solving problems of classification, recognition and prediction. Such technologies have already found their application in digital medicine, robotics, industry, finance and other sectors of modern science and the digital economy. To achieve this goal, a number of tasks were solved in the work, such as: collection, preparation and analysis of primary experimental data for training the model, selection of a neural network and hyperparameters; directly predicting PES
based on a trained recurrent neural network, including layers with long short-term memory (LSTM) and fully connected (Dense) layers and assessing the accuracy of the results obtained. It is shown that the created neural network copes well with the task of predicting the total electronic content. To construct the architecture, predetermined parameters were used: the number of recurrent layers, the number offully connected layers, the number of neurons for each layer, the presence of a regularization layer for retraining the model (Dropout).
Keywords: satellite communications, machine learning, neural network, TEC, KerasTuner, R2, MAPE, MAE, LSTM
Введение
Изменение параметров ионосферы является одним из наиболее значимых факторов, влияющих на работу систем спутниковой и наземной радиосвязи. Они могут быть вызваны естественными и антропогенными воздействиями, могут быть следствием, например, геомагнитных бурь, солнечных вспышек, технологического радиочастотного излучения или высотных летательных аппаратов [1, 2, 3]. На данный момент для решения задач прогнозирования используются модели ионосферы различных типов, применение которых имеет ряд ограничений. Создание новой эффективной методики синтеза нейросетей для прогнозирования ПЭС ионосферы [4, 5], отвечающей современным требованиям к точности, является важной и актуальной задачей. Глубокое машинное обучение и нейросети на данный момент являются довольно популярным методом решения задач классификации, распознавания и прогнозирования. Такие технологии уже нашли свое применение в цифровой медицине, робототехнике, промышленности, финансах и других отраслях современной науки и цифровой экономики. Так как у нейронных сетей нет универсальных структур, для их использования в прогнозировании временных рядов необходимо выполнить синтез, то есть подобрать структуры, которые подойдут для решения этой задачи [6].
Цель — разработка методики синтеза нейронных сетей для прогнозирования полного электронного содержания ионосферы Земли.
Для достижения поставленной цели необходимо решить следующие задачи:
1) Выполнить предварительную обработку данных ПЭС, полученных за 2 года на сети референцных станций глобальных навигационных спутниковых систем (ГНСС).
2) Разработать методику синтеза структур нейронных сетей для решения задачи прогнозирования ПЭС.
3) Выполнить сравнительный анализ результатов прогнозирования ПЭС на тренировочных выборках различного объема, используя абсолютные и относительные метрики оценки точности.
4) На основе метрик сделать выводы о структурах нейронных сетей, улучшающих точность прогноза ПЭС.
1.Подготовка данных ПЭС референцных ГНСС станций
Для получения данных полного электронного содержания (ПЭС), необходимых для разработки алгоритма, в работе используются результаты измерений, полученных с референцных станций глобальных навигационных спутниковых систем (ГНСС) компании ООО «Смартнет Геосистемс» (SmartNet). Все станции, данные которых использованы в работе, находятся в Самарской области в следующих населенных пунктах: Самара, Кошки, Тольятти, Чапаевск, Кинель, Отрадный, Красноармейск, Нефтегорск и Ельховка, при этом плотность расположения станций достаточно большая. Данные станции позволяют получить значение полного электронного содержания, проводя измерения каждые 30 секунд и собирая полученные данные в RINEX файлы. В дальнейшем наборы RINEX [7] файлов конвертируются в значения полного электронного содержания для конкретной станции с шагом 30 минут.
При идеальных условиях, подразумевающих полное отсутствие пропусков, можно получить 17520 значений ПЭС за год для каждой референцной станции, что является достаточной выборкой для дальнейшего использования в синтезе архитектуры нейронной сети с лучшими показателями ключевых метрик. Однако, как показывает практика, регулярно и по различным причинам происходят ошибки, которые сокращают исходную выборку в среднем до ~14000 пригодных для использования значений, что является ~80% от идеальной выборки. Данное обстоятельство негативно влияет на исход работы алгоритма, но не является критическим и позволяет получить на выходе оптимальные результаты алгоритма для дальнейшего использования.
В работе используется датасет — набор данных, применяемый в различных видах анализа и машинного обучения, который содержит ~27000 значений ПЭС для каждой из 9 исследуемых станций за 3 года (2021-2023 гг.). Для сравнения влияния объема обучающей выборки на точность прогнозирования, полученный исходный датасет был преобразован в две обучающие выборки, первая (№1) содержит ~11700 усредненных значений ПЭС для 3 станций за первый год (2021), а вторая (№2) ~23000 значений ПЭС для 9 станций за 2 года (2021-2022 гг.). Стоит также отметить, что 20% значений обоих датасетов используются для валидации в ходе обучения: ~4600 для первого датасета, ~2300 — для второго. 2023 год используется для оценивания лучших моделей, полученных в ходе обучения каждой из выборок.
В целях создания дополнительных признаков и улучшения точности прогнозирования использован сдвиг [7], при котором все значения ПЭС, содержащиеся в каждой выборке, копировались и сдвигались на один отчет (30 минут) вперед и добавлялись обратно в датасет, из которого были получены. Данное обстоятельство позволило увеличить количество признаков, участвующих в обучении, что оказало благоприятное воздействие на ключевые метрики. Улучшение гибкости работы алгоритма также достигается путем разбиения временных меток на предикторы, содержащие в себе день, месяц, год, день недели, день месяца, день года, квартал и др. Таким образом, процесс сбора информации с референцных станций и формирования финальных датасетов, хранящихся в датафреймах — проиндексированных многомерных массивах значений, в большинстве случаев представленных в виде двумерной таблицы — для обучения нейронных сетей представлен на блок-схеме рис.1:
1) Получение бинарных данных в виде RINEX файлов от сети ГНСС.
2) Обработка RINEX файлов и получение на выходе CSV файлов, содержащих в себе временные метки с привязанными к ним данными полного электронного содержания исследуемых станций.
3) Обработка полученных CSV файлов с удалением из них пропущенных и нулевых значений, а также неполных дней.
4) Формирование средствами библиотеки pandas датафрейма с индексами формата дата - время для временных рядов ПЭС.
5) Формирование временных (минуты, часы, дни года) и сдвиговых (дифференцирование на 1 отсчет) предикторов.
6) Формирование тренировочных и тестовых выборок.
Рис. 1. Процесс сбора и обработки данных полного электронного содержания
2.Разработка методики синтеза структур нейронных сетей для решения задач прогнозирования ПЭС
При анализе значений полного электронного содержания можно наблюдать суточные и сезонные вариации (рис. 2). Для работы с такого рода данными применяются различные варианты нейронных сетей [8]. Сверточные нейронные сети (CNN), изначально разработанные для обработки изображений, показывают хорошие результаты в прогнозировании временных рядов. Они особенно полезны для выявления локальных зависимостей в данных и выделения шаблонного поведения данных. Transformer нейронные сети стали популярными, благодаря способности эффективно обрабатывать последовательные данные и работать с длинными зависимостями. Они показывают хорошие результаты также в прогнозировании временных рядов. Рекуррентные нейронные сети (RNN), примененные в текущем исследовании, являются широко используемым классом нейронных сетей для прогнозирования временных рядов. Они позволяют учитывать зависимости во времени и обрабатывать последовательности данных. Особенно эффективными вариантами RNN являются Long Short-Term Memory (LSTM) и Gated Recurrent Unit (GRU) сети. Примененная в текущем исследовании LSTM нейронная сеть позволяет избежать проблемы долговременной зависимости временного хода ПЭС за несколько лет, запоминая значения как на короткие, так и на длинные промежутки времени.
40
£ О
м н 20 и п с
0
10.01.2023 10.01.2023 11.01.2023 11.01.2023 12.01.2023 12.01.2023 13.01.2023 13.01.2023 14.01.2023
Время, дни
Рис. 2. Визуализация временного хода ПЭС за 2023 год для наблюдения сезонности
показаний
—•—Реальных ход ПЭС l-4-Д V____
и л VJ 7 и/ и
Для получения более точных и достоверных результатов алгоритма дополнительно к LSTM-слоям были использованы полносвязный (Dense) и исключающий (Dropout) слои:
• Применение полносвязных слоев важно для заключительной части нейронных сетей. Они являются универсальными и по этой причине подходят для решения задач не только сегментации изображений, классификации данных и выделения признаков, но и регрессии. Кроме того, они могут адаптироваться к любым входным данным, обучаясь выделять значимые признаки и не брать во внимание незначительные.
• Использование исключающего слоя позволяет избежать переобучения. В обычной нейронной сети проблема переобучения возникает по причине совместной адаптации. При проведении обучения методом обратного распространения ошибки происходит обновление весов нейрона с учетом деятельности остальных нейронов для минимизации функции потерь. По этой причине веса нейронов могут быть изменены, задевая при этом ошибки других нейронов. Использование «исключения» позволяет избежать этой адаптации.
Разработанный в ходе исследования алгоритм формирования структуры и гиперпараметров нейронной сети представлен на рисунке 3 и включает следующие этапы:
1) Ввод в процесс прогнозирования подготовленных тренировочных и тестовых выборок ПЭС, установка начальных параметров алгоритма.
2) Цикл, в котором происходит подбор количества LSTM- и Dense-слоев.
3) Цикл, в котором происходит подбор количества нейронов в каждом слое.
4) Цикл, в котором происходит подбор функции активации Dense-слоя.
5) Случайное включение Dropout-слоя.
6) Формирование выходного слоя.
Для более гибкой настройки работы нейронной сети изменению подверглась как сама структура, так и ее гиперпараметры. На первом этапе в зависимости от размерности матрицы признаков формировалось количество входных нейронов. Для датасета №1 количество входов составило 13, а для №2 — 25. На втором этапе проходил выбор количества LSTM- и Dense-слоев. Количество варьировалось от 1 до 10 для каждого типа слоя. Между ними случайным образом может быть включен Dropout-слой. Третьим и четвертым этапом происходил выбор гиперпараметров, в пространство которых входили: количество нейронов для каждого LSTM- и Dense-слоя, диапазон которых находился в промежутке от 32 до 512 с шагом 32, и функция активация для Dense-слоя, которая случайным образом выбиралась между SELU и ReLU. На последнем этапе добавлялся сформированный выходной слой с одним нейроном, так как прогнозирование выполнялось одной целевой переменной (ПЭС). Неизменными в
подборе структуры и гиперпараметров сети оставались входной (Input) и выходной (Dense-слой с одним нейроном) слои. Алгоритм синтеза структур реализован с использованием библиотеки Keras tuner [9] языка программирования python.
Рис. 3. Алгоритм синтеза структуры и подбора гиперпараметров нейронной сети
В качестве абсолютных метрик использована средняя абсолютная (Mean Absolute Error (MAE) и среднеквадратическая (Root Mean Squared Error (RMSE) ошибка. MAE представляет собой среднее абсолютное значение разности между прогнозами модели и наблюдаемыми значениями. MAE измеряет насколько сильно модель ошибается в среднем. Чем меньше значение MAE, тем лучше качество модели. Она подходит для задач, где важна интерпретация величины ошибки.
RMSE представляет собой квадратный корень из среднеквадратичной ошибки и также используется для оценки точности прогнозов модели. Формула расчета RMSE:
RMSE =
где y — наблюдаемое значение,
(1)
y — прогнозное значение, n — количество наблюдений.
RMSE штрафует за большие ошибки пропорционально их величине. RMSE чувствительнее к выбросам по сравнению с MAE. Чем меньше значение RMSE, тем точнее и предсказуемее модель.
В качестве относительных метрик оценки точности использованы средняя процентная ошибка (Mean Absolute Percentage Error (MAPE) и коэффициент детерминации (R2). Для получения объективных результатов оценки необходимо использовать метрики, показывающие отношение абсолютных величин с целью
n
получения безразмерного значения. Коэффициент детерминации определяет степень схожести исходного временного хода с модельным путем оценки дисперсии случайной
величины и дисперсии ошибки модели согласно выражению:
2
Я2 = 1--^, (2)
tot
где = = У - У1 )2 — сумма квадратов остатков регрессии,
у - у - значения временного хода и спрогнозированной модели. 551о1 = Х^Ду - У)2 — общая сумма квадратов (реального временного ход),
— 1 п
у = — у — среднее значение реального временного ряда. п
Формула вычисления средней абсолютной процентной ошибки выглядит следующим образом:
1 n
MAPE = 100-X
П i=i
У - У,
У,
где у - у — значения временного хода и спрогнозированной модели, а п -количество отсчетов выборки тестовой части исследуемой выборки.
(3)
З.Разработка методики проведения эксперимента по выбору «лучшей» нейросети из разработанного набора моделей по метрикам RMSE, MAE, MAPE, R2 и анализ полученных результатов
Для получения объективных результатов оценивания работы разработанного алгоритма использовались сформированные обучающие выборки: датасет №1 и датасет №2. Обе выборки делились в пропорции 80 и 20%, где 80% процентов данных — обучающая выборка, а 20% — валидационная. Предварительно каждый датасет был обработан на предмет пропущенных отсчетов. Добавлена разница в объеме обучающих выборок. В первый датасет, содержащий данные за год, временных и сдвиговых предикатов, включены данные с 3 исследуемых станций. Во второй датасет, включающий данные за два года, включены данные со всех 9 исследуемых станций, а также ранее упомянутые временные и сдвиговые предикторы. Количество признаков при обучающей выборке, содержащей данные за год, равно 13; при обучающей выборке, содержащей данные за два года — 25. Для контрольной оценки точности прогноза использовалась выборка, не входящая ни в обучающую, ни в валидационную, содержащая данные за 2023 год.
После подготовки датасетов №1 и №2 для каждого из них выполнен поиск оптимальной структуры нейронной сети в соответствии с алгоритмом рис. N3. В эксперименте выполнено 50 итераций алгоритма по 250 эпох каждая. Для того чтобы предотвратить переобучение синтезируемой модели нейронной сети добавлена функция ограничения числа эпох в случае выхода целевой метрики оптимизации на плато. В качестве целевой метрики использована средняя абсолютная процентная ошибка.
По окончанию всех итераций для каждого датасета сохранены 10 лучших моделей для каждой обучающей выборки, затем на основе абсолютных и относительных метрик на контрольной выборке за 2023 год выделена лучшая модель отдельно для датасета №1 и №2. Ниже построены графики, показывающие сравнение реального хода ПЭС и прогнозируемого (рис. 6), а также результаты метрик (рис. 4, 5, 7, 8).
Было проведено сравнение влияния периода прогнозирования на точность полученных моделей. Проанализированы семь диапазонов от одного до семи дней,
каждый из которых по объему увеличивался на один день. В качестве исследуемого были взяты данные за январь месяц.
В результате анализа полученных зависимостей (рис. 4 и 5) по итогам прогноза на датасете №1 определено, что активная деградация на 1,8% по сравнению с 0,1% за предыдущие периоды метрики коэффициента детерминации начинается с четвертого прогнозного диапазона, т. е. прогноза на четыре дня. Данный признак сигнализирует о постепенном снижении сходимости реального временного хода ПЭС и прогнозного, что четко наблюдается на графике временного хода (рис. 8). Метрика средней абсолютной процентной ошибки показывает деградацию в среднем на 0,57%. Подобный характер по сравнению с R2 объясняется тем, что данная метрика не учитывает направление отклонений или сходимость рядов, а представляет только относительное отклонение. По результатам абсолютных метрик RMSE и MAE (рис. 5) наблюдается аналогичное монотонное увеличение ошибки прогноза, при этом все прогнозные периоды, кроме седьмого находятся в пределах доверительного интервала, который для текущего датасета составил 3,74 TECU.
10,00%
5,00%
0,00%
MAPE
1 2 3 4 5 6 7 Диапазон прогнозирования, дни
R2
100,00% 90,00% 80,00% 70,00%
н
н е и а
и -в- £
г>
£
— • -Полиномиальная (МАРЕ)--Полиномиальная (Я2)
Рис. 4. Относительные метрики, зависимость абсолютной процентной ошибки и коэффициента детерминации от диапазонов прогнозирования ПЭС для датасета №1(Пунктирные линии представляют аппроксимацию метрик)
К К
В
сР
О)
н
О)
Данное поведение метрик говорит об отсутствии выбросов в прогнозе и допустимой точности, однако, если проанализировать поведение модели на датасете №2 (рис. 8), ясно, что данные показатели связаны с высокой сходимостью рядов в ночные периоды.
В результате оценки графиков (рис. 6 и 7) по итогам прогноза на датасете №2 определено, что отсутствует активная деградация метрики коэффициента детерминации, среднее значение составляет 99,83% для всех прогнозных диапазонов при средней вариации 0,06%. Данный признак сигнализирует об относительно стабильной сходимости реального временного хода ПЭС и прогнозного, что четко наблюдается на графике временного хода (рис. 8).
Метрика средней абсолютной процентной ошибки в среднем составляет 1,84% при средней вариации в 0,22%. Данные значения относительных метрик говорят о высокой сходимости тестового и тренировочного временных рядов, при которой объясняется порядка 99% дисперсии. По результатам абсолютных метрик RMSE и MAE (рис. 7) наблюдается аналогичное пропорциональное изменение при увеличении прогнозного диапазона.
£ ^
й О о w <u н
л «
и
О)
И
м
on
сЗ
и
^ ю <ц s
л
и
4
2
0
шш
2
3
4
5
6
7
4 3 2 1 0
к ^
§ 3
о 2
^ S3
S ^ S s
t^ я 0) о л О
Диапазон прогнозирования, дни
sx\\>RMSE
вMAE
Рис. 5. Абсолютные метрики, зависимость среднеквадратической ошибки и средней абсолютной ошибки от диапазонов прогнозирования ПЭС для датасета №1(Пунктирные линии представляют аппроксимацию метрик)
3
1
1
М
к ^
2 S
к ^
о ю
о К ю
сЗ t4 t4
к п 0) сР
и
в
о
к н к 0) а
о р
с
2,50% 2,00% 1,50% 1,00% 0,50% 0,00%
х 1 : ;
Frftf
1 2 3 4 5 6 7 Диапазонпрогнозирования, дней
R2
100,00%
99,90%
99,80%
99,70%
99,60%
99,50%
99,40%
и и
н и
5 р
е
н
е
д
Н I
н е и а
и
-©ф
-©ф
еп
S
Рис. 6. Относительные метрики, зависимость абсолютной процентной ошибки и коэффициента детерминации от диапазонов прогнозирования ПЭС для датасета №2 (Пунктирные линии представляют аппроксимацию метрик)
В диапазонах от одного до пяти прогнозных интервалов значения обеих метрик имеют минимальные вариации, при среднем значении по RMSE — 0,22 TECU, по MAE — 0,15 TECU. Максимальная ошибка по метрике RMSE составила 0,54 TECU при прогнозе на семь дней, по метрике MAE — 0,26 TECU для аналогичного диапазона.
Сравнение прогнозов с реальным ходом ПЭС при использовании «лучших» моделей нейросетей для двух обучающих выборок (№1 и №2) можно наблюдать на рис. 8. Как видно из графика, большая обучающая выборка №2 позволила значительно уменьшить ошибку почти в четыре раза и увеличить сходимость рядов в среднем на 9%.
3 ^ § о
о W
й н
к ^
рад M
« &
еа
й ю
еи р
о §
0,55 0,45 0,35 0,25 0,15 0,05
-0,05 1 2 3 4 5 6 RMSE Диапазон прогнозипомАЕ1, дней
* »
* ж. -
7
0,55 0,45 0,35 0,25 0,15 0,05 -0,05
н
л о
О
ю S ^
яи
5 9 д
ео р
С
а
— • -Полиномиальная (RMSE)--Полиномиальная (МАЕ)
Рис. 7. Абсолютные метрики, зависимость среднеквадратической ошибки и средней абсолютной ошибки от диапазонов прогнозирования ПЭС для датасета №2(Пунктирные линии представляют аппроксимацию метрик)
40
^30
и
E
н 20 С,
Э
П10
0
Время, дни Реальных ход ПЭС--Модель НС датасет №1
Модель НС датасет №2
Рис. 8. Сравнение результатов прогнозирования с реальным ходом ПЭС при использовании «лучших» моделей нейросетей для двух обучающих выборок
Для датасета №1 получена модель нейронной сети (рис. 9 (а)), состоящая из 11 слоев 3 разных типов. Первый слой является входным и имеет тип Input, 6 следующих слоев имеют тип LSTM, оставшиеся 4 слоя, идущие за LSTM, имеют тип Dense, один из которых является выходным и содержит только один нейрон, поскольку прогноз выполняется только для одной ключевой станции.
Для датасета №2 модель нейронной сети (рис. 9 (б)) содержит аналогичные 3 типа слоев, но имеет уже 7 слоев. Первый слой также является входным, имеющим тип Input, 2 следующих слоя имеют тип LSTM, оставшиеся 4 слоя, идущие за LSTM, имеют тип Dense, один из которых также является выходным и содержит только один нейрон, поскольку прогноз выполняется только для одной ключевой станции.
Модель №1
Layer (type) lstm (LSTM) lstm_l (LSTM) dense (Dense) dense_l (Dense) dense 2 (Dense) dense 3 (Dense) Модель И2
Layer (type) lstm (LSTM) lstm_l (LSTM) lstm_2 (LSTM) lstm_3 (LSTM) lstm_4 (LSTM) lstm_5 (LSTM) dense (Dense) dense_l (Dense) dense 2 (Dense) dense 3 (Dense)
Output Shape
(None, 25, 384)
(None, 352)
(None, 480)
(None, 288)
(None, 416)
(None, 1)
Output Shape
(None, 13, 480)
(None, 13, 128)
(None, 13, 320)
(None, 13, 416)
(None, 13, 416)
(None, 448)
(None, 384)
(None, 96)
(None, 448)
Param # 592896 1037696 169440 138528 120224 417
Param # 925440 3118 08 574720 1226368 1386112 1550080 172416 36960 43456 449
(None, 1)
Рис. 9. Синтезированные в ходе исследования «лучшие» модели нейронных сетей: а) на датасете №1 (модель № 1), б) на датасете №2 (модель № 2)
Выводы
Создана методика синтеза нейронных сетей для прогнозирования полного электронного содержания ионосферы Земли на разные периоды времени. На первом этапе выполнена подготовка данных ПЭС референцных станций от сети глобальных навигационных спутников систем SmartNet.
Разработана методика синтеза структур нейронных сетей для решения задач прогнозирования, работающая с 4 типами слоев: входной (Input), долгой краткосрочной памяти (LSTM), исключающий (Dropout) и полносвязный (Dense). Количество нейронов для каждого слоя варьировалось от 32 до 512 с шагом 32. В качестве функций активации полносвязного слоя использовались две наиболее подходящие под задачи функции SELU и ReLU, поскольку первая функция поддерживает самонормализацию, давая возможность слоям поддерживать нормализацию своих входов, что приводит к менее хрупкому обучению, а вторая — имеет вычислительную простоту, поскольку заменяет отрицательные значения на ноль, что делает ее более быстрой и менее вычислительно
затратной по сравнению с другими функциями активации, такими как сигмоиды или гиперболические тангенсы.
На основе сравнительного анализа и оценки полученных значений ключевых метрик определено, что объем обучающей выборки оказывает существенное влияние на относительную ошибку прогнозирования. Увеличение объема выборки в 2 раза, позволяет уменьшить ошибку определения ПЭС практически в 4 раза и увеличить сходимость рядов на 4-19%.
Важно отметить, что модель, обученная на ограниченном наборе данных, перестает иметь схожесть с реальным ходом полного электронного содержания во время возмущений ионосферы, что приводит к увеличению ошибки прогнозирования.
Разработанная методика выбора «лучшей» модели нейросети по критериям RMSE, MAE, MAPE, R2 направлена на повышение эффективности работы алгоритма прогнозирования ПЭС. Получен комплекс модифицированных алгоритмов глубокого машинного обучения для работы с временными рядами ПЭС, установлены целевые признаки повышения точности прогнозирования.
Работа выполнена при поддержке гранта Российского научного фонда, проект № 23-19-00145.
Литература
1. Рябова, Н. В., & Кислицын, А. А. Комплекс адаптивной компенсации дисперсионных искажений в трансионосферных широкополосных радиоканалах для повышения эффективности спутниковой связи. // Электроника, фотоника и киберфизические системы. - 2021. - Т. 1, № 1. - С. 67-74. - EDN MMOUYW.
2. Иванов, Д. В., Иванов, В. А., Рябова, Н. В., & Кислицын, А. А. Региональные и временные изменения основных параметров частотной дисперсии в широкополосных трансионосферных каналах радиосвязи. // Всероссийские открытые Армандовские чтения. Современные проблемы дистанционного зондирования, радиолокации, распространения и дифракции волн: материалы Всероссийской открытой научной конференции, Муром, 25-27 мая 2021 года. -Муром: Муромский институт (филиал) Государственного образовательного учреждения высшего профессионального образования "Владимирский государственный университет им. Александра Григорьевича и Николая Григорьевича Столетовых", 2021. - С. 120-126. - EDN HDUFXO.
3. Рябова, Н. В., Зуев, А. В., Чернов, А. А., & Катков, Е. В. Исследование поширотного влияния геомагнитных условий на вариации ПЭС над территорией Приволжского федерального округа. // СВЧ-техника и телекоммуникационные технологии. - 2020. - № 1-1. - С. 546-547. - EDN SRDWVT.
4. Замогильный, Д. Прогнозирование полного электронного содержания ионосферы на основе алгоритмов машинного обучения. // Наукоемкие технологии в космических исследованиях Земли. 2022. №4.
5. Быков, А. Е., & Ясюкевич, Ю. В. Свидетельство о государственной регистрации программы для ЭВМ № 2021668835 Российская Федерация. Создание модели ионосферного полного электронного содержания на основе полносвязной искусственной нейронной сети : № 2021668314 : заявл. 15.11.2021 : опубл. 22.11.2021. // EDN GOGFHJ.
6. Иванов, Д. В., Кислицын, А. А., Конкин, Н. А., и др. Специализированная нейронная сеть для прогнозирования параметров широкополосных трансионосферных радиоканалов в составе интеллектуального сенсора. // Вестник Поволжского государственного технологического университета. Серия:
Радиотехнические и инфокоммуникационные системы. - 2023. - № 4(60). - С. 5063. - DOI 10.25686/2306-2819.2023.4.50. - EDN NLCNFK.
7. Gurtner, W., & Estey, L. H. "RINEX - The Receiver Independent Exchange Format -Version 3.00." (2007).
8. Surakhi, O., Zaidan, M. A., Fung, P. L., Hossein Motlagh, N., Serhan, S., Alkhanafseh, M., Ghoniem, R., & Hussein, T. (2021). Time-Lag Selection for Time-Series Forecasting Using Neural Network and Heuristic Algorithm. Electronics. 10. 10.3390/electronics10202518.
9. Chollet, F., et al. (2015). Keras.
