CC BY
0
Интеллектуальные методы анализа природных данных: приложение к космической погоде
О. В. Мандрикова1
1 Институт космофизических исследований и распространения радиоволн ДВО РАН, 684034, Россия, Камчатский край, с. Паратунка, ул. Мирная, д. 7
Аннотация
В работе описаны методы обнаружения аномалий в данных геофизического мониторинга. Рассмотрен актуальный класс задач этой области, направленный на создание методов прогноза космической погоды. Негативное воздействие аномалий космической погоды на здоровье людей и практически на все объекты современной инфраструктуры требует развития методов и создания эффективных средств обнаружения аномалий. Широко применяемые для задач анализа данных и обнаружения аномалий методы пороговой вейвлет-фильтрации позволяют с использованием стратегии «жадности» получить достаточно точные оценки даже при неполных данных относительно шума. Сигнал в этом случае оценивается путем изоляции когерентных структур. Но эти методы имеют большую вычислительную сложность и в случае, когда энергия сигнала мала относительно энергии шума, не обеспечивают получение точных оценок. Для таких сигналов в работе предлагается использовать адаптивные вероятностные пороги. Вводятся параметры пороговой функции, позволяющие оценить изменчивость процесса, подавить шум и детектировать нестационарные особенности разной частотно-временной структуры. Также в работе рассматриваются способы совмещения пороговой вейвлет-фильтрации с нейронными сетями архитектур NARX и Автокодировщик. Предложены схемы реализации таких подходов в задачах обнаружения аномалий космической погоды. На примере задачи обнаружения ионосферных аномалий показана эффективность совмещения пороговой вейвлет-фильтрации с сетью NARX. Эффективность совместного применения сети Автокодировщик с адаптивной пороговой вейвлет-фильтрацией показана в задаче обнаружения аномалий в данных интенсивности потока космических лучей.
Ключевые слова: методы анализа данных, обнаружение аномалий, космическая погода, вейвлет-преобразование, нейронные сети.
Цитирование: Мандрикова, О.В. Интеллектуальные методы анализа природных данных: приложение к космической погоде / О.В. Мандрикова // Компьютерная оптика. -2024. - Т. 48, № 1. - С. 139-148. - DOI: 10.18287/2412-6179-CO-1367.
Citation: Mandrikova OV. Intelligent methods for natural data analysis: application to space weather. Computer Optics 2024; 48(1): 139-148. DOI: 10.18287/2412-6179-CO-1367.
Введение
Методы анализа природных данных являются важной основой изучения процессов и явлений разной природы и используются в различных сферах деятельности (физика, биология, экология, медицина и др.) [1 - 3]. Сложная структура природных данных, неполные априорные знания и наличие шума не позволяют применять классические методы и подходы. В последние годы в этой области интенсивно развиваются статистические методы с использованием эвристических подходов и применением элементов искусственного интеллекта. Особый класс составляют методы, направленные на обнаружение аномальных природных явлений. Основными требованиями таких методов являются точность, оперативность, способность к адаптации, а также эффективность при неполной априорной информации и высоком уровне шума. Обеспечение данных требований приводит к необходимости использования гибридных подходов, основанных на комбинации разных методов, сочета-
ющих как классические, так и современные средства обработки и анализа данных [4, 5].
В данной работе рассматриваются задачи обнаружения аномалий в данных геофизического мониторинга. Актуальный класс задач в этой области направлен на создание методов прогноза космической погоды. Аномальные проявления космической погоды связаны с событиями на Солнце, в солнечном ветре, магнитосфере и ионосфере Земли. Негативное воздействие аномалий космической погоды на здоровье людей и практически на все объекты современной инфраструктуры (навигация, энергетика, спутниковые наблюдения и др.) требует развития методов в этой области и создания средств своевременного обнаружения аномалий [6, 7]. Впервые Национальная программа «Космическая погода» (National Space Weather Program - NSWP) принята в 1995 г. [8]. На международном уровне вопросами прогноза космической погоды занимается Всемирная метеорологическая организация [9]. Во многих странах существуют Центры прогноза космической погоды (в Рос-
сии, США, Японии, Китае и др.). Но, несмотря на усилия ученых многих стран, задача эффективного и своевременного обнаружения аномальных проявлений космической погоды в настоящее время не решена [6]. Наиболее сильные проявления космической погоды характерны для полярных и авроральных широт, но возмущения могут распространяться вплоть до средних широт, т.е. в большей части затронута российская территория.
Регистрация геофизических данных выполняется мировой сетью наземных и космических станций. В настоящее время накоплены представительные базы данных, созданы автоматизированные средства пополнения, хранения и для отдельных видов данных методы и средства их первичной обработки. Это позволяет развивать методы анализа данных и получать информацию более высокого уровня.
В данной работе рассматриваются гибридные подходы к задаче обнаружения аномалий в геофизических данных. Основу разработанных подходов составляют нелинейные аппроксимирующие схемы (НАС) в базисе ортогональных вейвлетов [10]. Вейвлеты имеют гибкие конструкции преобразования данных и включают обширные библиотеки базисных функций. Это обеспечивает возможность их комбинации с разными методами и позволяет эффективно выполнять обработку сложных структур данных [10 -14]. Численная реализация конструкций вейвлет-преобразования обеспечивает возможность создания на их основе автоматизированных средств. Например, широко применяемые алгоритмы пороговой вейвлет-фильтрации позволяют с использованием стратегии «жадности» [13] получить достаточно точные аппроксимации даже при неполных данных относительно шума. Сигнал в этом случае оценивается путем изоляции когерентных структур [10]. Но данные алгоритмы имеют большую вычислительную сложность [10]. Кроме того, если энергия сигнала мала относительно энергии шума, то такие оценки дают сильно маленький порог [10] и его применение не обеспечивает получение точных оценок [15]. Также важно учитывать, что если сигнал содержит разные типы структур, локализованные в разные моменты времени, то нельзя построить базис, адаптированный ко всем структурам [16]. Для таких сигналов в данной работе предлагается использовать адаптивные вероятностные пороги. В этом случае сигнал рассматривается как реализация случайного процесса и пороговая вейвлет-обработка позволяет получить близкие к оптимальным оценки, в определенном статистическом смысле. Предлагаемые стохастические параметры пороговой функции позволяют оценить изменчивость процесса и детектировать нестационарные особенности разной частотно-временной структуры.
Совместно с НАС в работе предлагаются схемы оценки нейросетевых моделей. Рассматриваются архитектуры сетей ЯМЫ со встроенной памятью -
«Процесс нелинейной авторегрессионной модели с экзогенным вводом» (ЫЛЯХ) [17 - 20] и Автокодировщик. К преимуществам регрессионных моделей ЫЛЯХ относится их математическая обоснованность, формализованная методика идентификации модели и её проверки на адекватность. Они позволяют получить адекватные модели даже при ограниченных выборках [19, 20]. Но стоит отметить, что одной из проблем ЯЫЫ является проблема долгосрочных зависимостей [21]. Одним из эффективных решений этой проблемы явилась архитектура Ь8ТМ [22], которая получила впоследствии развитие и применяется в различных областях [23]. Ь8ТМ также применяется в гибридном формате с другими парадигмами нейронных сетей [24]. Но необходимо учитывать, что при использовании сетей Ь8ТМ требуются большие вычислительные затраты как при обучении, так и при их использовании [25]. Также Ь8ТМ не обеспечивают полного решения проблемы долгосрочных зависимостей [26, 27]. В статье предлагается совмещение НАС в вейвлет-базисе с сетями ЫЛЯХ. На примере ионосферных данных показаны преимущества такого гибридного подхода для задачи обнаружения ионосферных неоднородностей (аномалий). Совмещение НАС с сетями архитектуры ЫЛЯХ позволяет при меньших вычислительных затратах решить проблему долгосрочных зависимостей и идентифицировать модель сигнала сложной структуры. В работе описаны операции реализации такого подхода и на его основе предложена схема обнаружения аномалий.
Совмещение нейронных сетей с современными методами нелинейной аппроксимации данных в ряде случаев позволяет построить параметрическую модель для сложных нестационарных данных при высоком уровне шума [28 - 31]. Разнообразие архитектур и гибкость аппарата нейронных сетей обеспечивает хорошие адаптивные способности такого подхода. Численная реализация при предварительно оцененных параметрах модели обеспечивает возможность автоматизации и применения метода в оперативном анализе данных. В работе эффективность такого подхода показана в задаче анализа данных космических лучей и обнаружения Форбуш-эффектов (аномалий потока космических лучей). В результате сложных взаимодействий в околоземной среде регистрируемые данные космических лучей содержат высокий уровень шума и включают особенности разной структуры. Существенно затрудняет задачу их обработки также отсутствие априорных знаний о полезном сигнале (Форбуш-эффекте). В работе используется сеть архитектуры Автокодировщик, которая имеет детерминированную основу (развитие метода главных компонент) и эффективна для задачи подавления шума и выделения сложных структур сигнала. Также Автокодировщик совместим с другими конструктами анализа данных, и при необходимости его архитектура легко может быть расширена [31]. В статье предлага-
ется совмещение сети Автокодировщик с НАС в вейвлет-базисе.
1. Описание метода
1.1. Нелинейные аппроксимирующие схемы в пространстве Гильберта
Предполагая, что сигнал £еН (Н - пространство Гильберта), нелинейная аппроксимация в базисе В = {gm}meN (meN - натуральные числа, включая 0) пространства Н есть [10]
SM = X (S gm)gm
(1)
me/м
где 1м - множество индексов мощности М, §т - дуальный базис [32].
Обеспечение устойчивости разложений (1) в пространстве Н дает Теорема Рисса [33]. В соответствии с Теоремой Рисса существуют константы А > 0 и В > 0 такие, что
B и i2 <а<и,
2 < > i2
и всех feH имеем
ASI2 , *-) Г< ВИI2;
m
S = S, gm)gm = £(S, gm)gm .
m=0 m=0
При этом двойственное семейство {gm}meN линейно независимо и также является базисом Рисса [32].
Погрешность аппроксимации функции S на основе отображения (1) есть
s[M ]=| |S - SM\ f = S, gm) |2.
(2)
Очевидно, минимизация погрешности е[М] достигается выбором множества 1м таким, что М векторов Ят с индексами из 1М имеют наибольшие модули скалярного произведения (£,Ят), т.е. наилучшим образом коррелируют с сигналом. Поэтому погрешность (2) зависит от базиса В.
В работе [10] показано, что для сигналов конечной длины N выбор базиса В может быть основан на применении критерия вогнутой функции Шура [10]: базис Ва лучше, чем Ву при аппроксимации функции / тогда и только тогда, когда при всех вогнутых функциях Ф(и)
Л/ \ |2 Л Л, ,,2 Л
KS, gm) |
<£Ф
KS, gm) |
Тогда, рассматривая словарь Б базисов, являющийся объединением ортонормированных базисов в пространстве сигналов длины N
Б = и леЛВл ,
стоимость
аппроксимации
S
базисе
ВЛ = {gm }< <N может быть оценена вогнутой суммой Шура [10]:
C (S, вЛ) = Х®
1<s,«íh2'
(3)
Таким образом, на основе (3) мы можем контролировать погрешность аппроксимации в базисе В*. Наилучший базис Ва, минимизирующий погрешность (2), определяется как
C (, Ва) = min C (5, ВЛ).
(4)
Но следует отметить: если сигнал существенно нестационарный и в разные моменты времени содержит особенности разной структуры, то априори определить базис Ва, минимизирующий стоимость С (£ В*-), нельзя.
1.2. Построение нелинейной аппроксимирующей схемы случайного сигнала
Пусть сигнал £ [п] определен при 1 < п < N, neN, и загрязнен шумом:
X [п] = £[п] + е [п], (5)
где Х[п] - регистрируемый сигнал, £[п] - полезный сигнал, е[п] - шум.
Согласно (5) регистрируемый сигнал X = {Х[п]} < п < N рассматривается как случайный вектор, генерируемый случайным процессом с априори неизвестным распределением. Сигнал £ оценивается путем действия оператора Б
S = DX.
Риск такой оценки есть
г (ЯS) = E{||s
(6)
где Е - математическое ожидание.
Задача состоит в нахождении такого оператора Б0, который минимизирует риск
г {, £ ) = |л0 Е|| - £
(7)
где О - множество операторов Б, действующих из Я1^ в Я11 (Я - действительные числа).
Поскольку мы не знаем распределение процесса, то не можем получить нижнюю границу риска (7). Следуя работе [10], в качестве оператора Б будем рассматривать нелинейный диагональный оператор
£ = БХ = £ dm {{X, §т) ) ,
т=1
N N
£ = Х dm {{X, Ят) )т = £ ° [т ](Х, Ят) Ят , (8)
в
m=1
где йт((Х, gm)) = а[т](Х, gm) и а[т] зависит от (X, gm), 1 < m < N.
Тогда риск г(В, 5) оценки (8) есть
г (А 5) = £ е\ [т] -Xв [m]a [m|2), (9)
m=1 ' '
где 5в[т] = (5, gm), Xв[m] = (X, gm).
Отметим, что здесь не рассматривается «простая вероятностная модель», в которой коэффициенты разложения по базису независимые. Шум е предполагается не белый и есть зависимость дисперсии коэффициентов шума
а m =Е
{|eB[m]|2 j, eB[m] = (e, gj)
от gm. Тогда, поскольку Xв[m] = 5в[т] + eв[m], для оценки (9) получаем
Е\[т]- X в[m]a [m|2j =
= |5в [m| (1 - а [/и]) + ст/а [m]2.
В этом случае, как показано в [10], риск г(В, 5) минимален при
г[т] = -
N
m
|Sb [m| +а2т Тогда из (9) минимальный риск
S [m|2
rnf (S) = E{{S-Sl j
(10)
mll + am
Но, поскольку мы не знаем |5в[т]|, нижнюю границу риска гм достичь не можем.
Если сузить множество а[т] : а[т]е{0, 1}, то, как показано в [10], оператор Во, минимизирующий риск (9), можно определить как оракул-проектор
*[m] =
|1,если|SB [m|
>CTm
<CTm
(11)
|0, если |SB [m| и риск такой оценки
rm (S) = E {{s - s||2 j = m=0 mmin (|sb [m|2, am ). (12)
С другой стороны, действие диагонального оператора D (см. (8)) при a[m]e{0, 1} можно записать как
где
S = DX = £PTm (Xb [m])gm ,
XB [m], если XB [m] > Tm
(13)
PTm (Xв [m]) = •
0, если |XB [m] < Tm
Тогда получаем, что оператор Во, определенный как оракул-проектор (11) и минимизирующий риск, есть
S = DoX =£ Pam (Xв [m]) gm
(14)
где
Pam (Xb [m]) =
IXB [m], если |XB [m] > < 0, если |XB [m] < am
Заметим, что порог Тт = стт есть случайная переменная, и дисперсия коэффициентов шума ст/ зависит от gm.
1.3. Обнаружение аномалий на основе нелинейной аппроксимирующей схемы в вейвлет-базисе
В случае ортонормированного вейвлет-базиса пространства Лебега Ь2(К) [10, 34]:
B,={*jn^ **,я[] = 222"t-n], отображение (14) можно представить как
S, = Do,,,X = £^Pat„ (xв¥ [k,n]),(15)
IXв, [k, n], если Xв, [k, n] >a*,
где
([к,п])=, , _ ,
10,если\Xвт [к,п] <стк
Xв¥ [к, п]=(X, Тк,„), ст2 п = е\ [к,п]2 j,
бв¥ [к,п] =(е,Тк,п).
Замечание 1. В принятом соотношении (15), учитывая двухпараметрическое представление функции в вейвлет-пространстве, введена зависимость порога Тк,п = стк,п от пространственной переменной п (времени) и от масштаба к. Отметим, что введенная зависимость позволяет адаптировать порог к нестационарным изменениям регистрируемого сигнала X и учитывать уровень коррелированного шума в окрестности (учитывая финитность вейвлета Т) точки с координатами (к, п).
Поскольку, как доказано в Теореме Жаффара [35], амплитуда вейвлет-коэффициентов |¥вт[к, п]|, характеризует амплитуду локальной особенности функции X в окрестности точки t = п, то возрастание амплитуды ^вт[к, п]| свидетельствует о возникновении локальной особенности оцениваемой функции 5 в окрестности этой точки [10, 34]. Вне окрестностей, содержащих локальные особенности, значения |5вт[к, п]| по аргументу п должны быть близки к нулю. В этом случае отклонение от нуля дает влияние шума. Отсюда следует, что применяя порог Т^п = стк,п в
m=1
m=1
(15), мы подавляем шум и сохраняем вейвлет-коэффициенты в окрестностях локальных особенностей функции.
Предположим, что возникновение локальной особенности характеризует возникновение аномалии. Тогда, в силу Теоремы Жаффара, применение операции (15) эквивалентно подавлению шума и детектированию аномалий. Учитывая, что аномалия является редким событием, можем заключить: высока вероятность (а ~ 0,99) того, что значения |ХВт[^, п]| по аргументу п находятся в интервале (цк>п -3стк,п; цк>п + стк,п), где цк>п ~ 0 - математическое ожидание величины ХВ,[к, п]|, стк,п - стандартное отклонение величины |ХВт[к, п]| (правило трех сигм [36]). Тогда, в силу правила трех сигм, грубая оценка порога может быть получена:
%,п = 3а*,п = 3 £ {{ [к,п]-Хв¥ [к,п])) (16)
V Ь т=п-Ь
где Хв, [к, п] - среднее значение ХВ,[к, п]|, Ь - длина временного окна, в рамках которого отсутствуют аномалии.
Замечание 2. В случае наличия данных о вероятностной структуре Б, оценка порога Ткп в (16) может быть улучшена и использован другой коэффициент
при ст к ,п .
1.4. Обнаружение аномалий на основе совмещения нелинейной аппроксимирующей схемы с нейронной сетью ЫАЯХ
В основе конструкции вейвлет-пакетов исходный сигнал Х(п) может быть представлен как [10]
Х [п]= Хт [п] + хХр [п], (17)
где Хт [п] = £сртЛк,к [п] -к
сглаженная компонента сигнала, коэффициенты
сР, к = ( Х, Фт ,к ) ,
т _
Фт,к [п] = 2-Тфт [п - 2тк], Хр [п] = X dPk,Рк [п] -
к
детализирующие компоненты сигнала, коэффициенты
dpk =(Х, , ,т,к [п] = 2-2 , [п - 2>к ], т -
максимальный уровень разложения.
Используя представление (17), оценка сигнала может быть получена применением операции (15) к детализирующим компонентам Хр [п]:
[n] = Xp [n] + X PrJf {db ) ,j,k [n] =
j ,k
—xm [n]+X Xp [n],
(18)
XP [n ] —t PTjt {j ) pj k [n],
PTjk {j ) =
dpk, если \dpA > TJ,k
0, если djPJ < TJ k
Tj k — j k —
= KJT—:7 t {{в, [J,m] —XBv[j,m])2.
V L * m—k — L
Компонента Xm [n] - тренд сигнала, а составляющая
Xi — t Xp
содержит в соответствии с описанным выше (п. 2.3) аномальные особенности. Для получения параметрической модели оцененного сигнала Б,Р может быть применена нейронная сеть МАЯХ [18 - 20]. МАЯХ позволяет аппроксимировать нелинейные зависимости и легко реализуема в автоматическом режиме. Архитектура рекуррентной сети МАЯХ РА [18] представлена на рис. 1.
Скрытый слой
Выходной слой 1]
Рис. 1. Архитектура рекуррентной сети NARXРА
Согласно представленной архитектуре МАЯХ РА, входной вектор сети при t = п есть: текущее значение сигнала Б,р [п], предыдущие значения сигнала Б,р п-1], ..., Б,р [п-1]; выходные значения сети Б,р п], ., Б?,р [п - р].
Например, если сеть выполняет упреждение данных на один шаг вперед, то выходное значение сети в момент времени t = п есть Б,р [п +1]. В этом случае аналитическое представление модели сигнала Б,р на основе МАЯХ РА есть
Б,p [n +1] — Fo {wbo +1 who x
h—1
( ' . P „ ^ (19)
x Fh I Wbh + Wbh&,p [n — i] + WzhS,p [n — Z j
V i— 0 z — 0
где Б,р [n] и S,p [n] - входной сигнал и его аппроксимация сетью соответственно; l,p - количество линий задержки входных значений сигнала и выходных значений сети соответственно; wzh - весовые коэффициенты выходных значений сети, по-
ступающих на нейроны скрытого слоя; wm - весовые коэффициенты входных значений сигнала, поступающих на нейроны скрытого слоя; wbo и wbh -свободные члены для скрытого и выходного слоев соответственно; Fo и Fh - функции активации скрытого и выходного слоев соответственно; who -весовые коэффициенты значений, поступающих на нейроны выходного слоя; D - количество нейронов скрытого слоя.
Определение количества линий задержки входных значений сигнала l (встроенная память ввода) и выходных значений сети p (встроенная память вывода) может быть выполнено путем минимизации ошибки сети [18] либо, как показано в данной работе, с использованием автокорреляционной функции (АКФ) и частной автокорреляционной функции (ЧАКФ). Способ использования АКФ и ЧАКФ основан на применении теории моделей авторегрессии проинтегрированного - скользящего среднего (АРПСС), которая составляет основу сетей NARX. За счет использования нелинейных функций активации, сети NARX, в отличие от классических моделей АРПСС, реализуют нелинейные преобразования данных, и являются развитием этой теории.
При обучении сетей NARX используется алгоритм Bayesian Regularization [18]. Алгоритм Bayesian Regularization применяет оптимизацию Levenberg -Marquardt [37]. Это позволяет определить комбинацию числа нейронов и весовых коэффициентов скрытого слоя сети так, чтобы сеть имела наибольшую степень обобщения [37].
Если при обучении сети использовались данные, не содержащие аномалий, обученная сеть воспроизводит регулярный ход сигнала. Поэтому при возникновении аномалий, как следствие, возрастут ошибки сети. Тогда обнаружение аномалий может быть реализовано на основе анализа ошибок сети, рассчитанных в скользящем временном окне:
(20)
А«■ = £ Spp [i] - S,p [i
Аномалия в окрестности точки ? = i есть, когда
А/ > Кстs + цs = А, (21)
где ст,, - стандартное отклонение суммарных ошибок сети, оценивается по данным в периоды отсутствия аномалий, ц - среднее значение суммарных ошибок сети, оценивается в периоды отсутствия аномалий.
Размеры временного окна V = 2у + 1(см. (20)) и коэффициент К при ст * (см. (21)) могут быть определены эмпирическим путем, например, используя апостериорный риск [36].
Общая схема обнаружения аномалий на основе совмещения нелинейной аппроксимирующей схемы с сетью ЫЛЯХ показана на рис. 2.
1.5. Обнаружение аномалий на основе совмещения нелинейной аппроксимирующей схемы с нейронной сетью Автокодировщик
В качестве оператора решения ВNN (см. (6)) рассмотрим нейронную сеть Автокодировщик. Автокодировщик эффективен в задаче подавления шума и выделения структур сложного сигнала. Используя отображение, выполняемое типовой двухслойной сетью Автокодировщик, получим [31]:
5м, = ВNNX = /¥2) (V(2) ((1) (V(1)X + Ь(1))) + Ь(2)), (22)
где верхний индекс (/) - номер слоя сети, ЬР-^еЛ^1 -функция активации 1-го слоя сети, у^еЛ^- весовая матрица 1-го слоя, XеRNx1 - входной вектор, N - размерность входного вектора, d - размерность 1-го слоя, Ь(1)еЛаГ1 - вектор смещения 1-го слоя, еЛ^ - функция активации 2-го слоя сети, р^еЛ^ - весовая матрица 2-го слоя, а Ь(2)еЛДГх1 -вектор смещения 2-го слоя.
Данные
Применение вейвлет-преобразования и пороговых функций
Нейронная сеть
Рис. 2. Схема обнаружения аномалий на основе совмещения нелинейной аппроксимирующей схемы с сетью NARX
Типовая архитектура сети Автокодировщик представлена на рис. 3.
Слой кодирования
Слой декодирования
Рис. 3. Архитектура сети Автокодировщик При обучении сети минимизируется риск
м 2
rNN = DnnX - Xk II ^ min@,
k=1
где 0 = {V(1), V(2), b(1), b(2)} - вектор параметров сети, Xk - k-й пример, используемый для обучения сети, м - количество используемых примеров.
Когда число нейронов внутреннего слоя сети меньше размерности входных данных (d< N), сеть решает задачу подавления шума и сжатия сигнала [31]. При необходимости типовая архитектура сети
Автокодировщик (рис. 3) может быть расширена путем введения дополнительных слоев. Также сеть Автокодировщик легко комбинируется с другими архитектурами нейронных сетей и в этом случае может эффективно выполнять задачу подавления шума на этапе предобработки данных. Но в соответствии с описанным выше для задачи обнаружения аномалий наилучшим (в т. ч. с вычислительной точки зрения) решением является совмещение сети Автокодировщик с нелинейной аппроксимирующей схемой в вейвлет-базисе. Тогда, используя для оцененного сигнала §ш отображение (15), с учетом оценки (16), получаем следующую операцию обнаружения аномалий:
_ - N
= -Со.Т= X X Рг.к (мУ,В¥ [к, Пк,п , (23)
к п=1
Рт]Л ((,В¥ [к, п]) =
[^да,ВТ [к,п], если ^,В„ [к, п] > Т^ |0, если ^,в¥ [к, п]| < ТкКл
&т,в,г [к, п] = , ^к,
ТкКп = К^-^1! X (£му,вт[к,п]-ВТ [к,п]) .
Тогда наличие аномалий в данных определяется на основе правила: аномалия в момент времени t=п есть, если
Е» = X\\ ((А [к, п]) > П. (24)
к
Общая схема обнаружения аномалий на основе совмещения сети Автокодировщик с нелинейной аппроксимирующей схемой показана на рис. 4.
2. Применение методов к данным геофизического
мониторинга 2.1. Обнаружение ионосферных аномалий по данным критической частоты ионосферы_ТвЕ2
Использовались данные критической частоты ионосферного слоя Б2 (ЮР2), регистрацию данных выполняет с 1968 г. по настоящее время ИКИР ДВО РАН (станция Паратунка, Камчатский край, Россия). Данные ЮР2 содержат регулярный суточный ход, сезонные изменения, аномалии (ионосферные неоднородности) и шум природного и техногенного характера [38]. Ионосферные неоднородности имеют разную структуру и возникают в периоды магнитных бурь.
Обнаружение аномалий в данных выполнялось на основе применения операций (17) - (21), схема метода показана на рис. 2. При выполнении операций (17) использовались ортонормированные вейвлеты Добе-ши порядка 3 [10], которые определены путем минимизации ошибки аппроксимации данных [10]. При выполнении операции (18) использовался коэффициент Ко = 2, который определен путем минимизации апостериорного риска [36].
Нелинейная аппроксимирующая схема
Рг„.Л^ч ялДМ]) =
О, если < т£„
К„ = ЯЯг[к,т] - ¡„„^[к.т])2
Аномалия
Рис. 4. Схема обнаружения аномалий на основе совмещения нелинейной аппроксимирующей схемы
с сетью Автокодировщик
Обучение нейронных сетей (операция (19)), с учетом структуры данных, выполнялось отдельно для разных сезонов и разных уровней солнечной активности. В обучении использовались данные, не содержащие аномалий. Количество линий задержки и выходных значений сети (параметры ^ p) определялось на основе АКФ и ЧАКФ. Пример расчета АКФ и ЧАКФ показан на рис. 5. Результаты на рис. 5 показывают, что АКФ и ЧАКФ исходных данных ЮР2 (рис. 5а, г) не затухают и свидетельствуют о нестационарности процесса. Полученные после применения операции (17) компоненты Xm,X? (рис. 5б, в, д, е)
имеют затухающие АКФ и ЧАКФ, что свидетельствует об их стационарности и подтверждает эффективность предлагаемого подхода.
На рис. 6 показаны результаты метода в периоды магнитных бурь. Цифрами на графиках показаны суточные значения среднеквадратических отклонений (СКО) ошибок сетей. Результаты показывают, что применение операций (17), (18) позволяет существенно понизить ошибки сетей в периоды отсутствия аномалий в данных (рис. 6в, е). В периоды возникновения аномалий (периоды магнитных бурь -20.04.2018 г. и 05.08.2019 г.) наблюдается существен-
ное возрастание ошибок сетей, что позволяет их детектировать. Также следует отметить существенную корреляцию ошибок сетей, полученных без применения вейвлет-фильтрации (рис. 6б, д). Проблема связана с влиянием долгосрочных зависимостей, обусловленных суточным ходом ионосферных данных. Результаты подтверждают эффективность метода.
2.2. Обнаружение аномалий в вариациях космических лучей по данным нейтронных мониторов
Использовались минутные данные нейтронного монитора (НМ) высокоширотной станции Оиьи [39] (использовался ресурс www.nmdb.eu). Данные НМ отражают интенсивность космических лучей (счет частиц в минуту (срт)). Они содержат регулярный суточный ход, аномальные особенности (Форбуш-эффекты) и шум природного и техногенного характера [40]. Форбуш-эффекты имеют разную структуру и
возникают в периоды возмущений в околоземном пространстве. Структура данных на разных станциях вследствие влияния анизотропии [41] различается.
Mi
ni ■■■■■■
lllli
ПРРГТТ
1 5 10 15 20 25
(а)
1 5 10 15 20 25
1 5 10 15 20 25
1 5 10 15 20 25
1 5 10 15 20 25
1 5 10 15 20 25
(г) (д) (е)
Рис. 5. (а) АКФ исходного сигнала; (б) АКФ компоненты Хт при р = 1, т = 3; (в) АКФ компоненты Хр при р = 2, р = 3; (г) ЧАКФ 1-й разности исходного сигнала; (д) ЧАКФ 1-й разности компоненты Хт , р = 1, т = 3; (е) ЧАКФ 1-й
разности компоненты Хр , р = 2, р = 3
08.08 09.08 Дата
20.04 е) 21.04
22.04 23.04 Дата
Рис. 6. а), г) Данные критической частоты ионосферы; б), д) ошибки сетей, полученных без применения операций (17), (18); в), е) ошибки сетей, полученных с применением операций (17), (18)
Обнаружение аномалий в данных НМ выполнялось на основе применения операций (22) - (24), схема метода показана на рис. 4. Использовалась типовая сеть Автокодировщик [31] (см. рис. 3). Размерность входных векторов сети составляла N = 1440 отсчетов (соответствует суткам). Размерность скрытого слоя сети определялась эмпирически и была принята Б = N / 2. При выполнении операции (23) использовались ортонормированные вейвлеты Койфлеты порядка 2 [10], которые определены путем минимизации ошибки аппроксимации данных. Применялся коэффициент К = 2,5, который определен путем минимизации апостериорного риска [36].
На рис. 7 показаны результаты метода в период магнитных бурь. Для анализа состояния околоземного пространства на рис. 7а, д приведены данные индекса геомагнитной активности [42]. Моменты начала магнитных бурь отмечены на рис. 7 вертикальными линиями. Об аномальном повышении геомагнитной активности свидетельствуют существенные понижения Э81;-индекса (до 30 пТ и ниже). Результаты сети Автокодировщик (рис. 7б, е) показывают эффективность её применения для подавления шума. Результаты операций (23) (рис. 7в, ж) и (24) (рис. 7г, з) показывают возникновение аномалий в данных НМ накануне и в периоды магнитных бурь, что подтверждает эффективность предлагаемого метода.
9 октября 11 октября 13 октября
2021 10 марта 13 марта 16 марта
2023
Рис. 7. (а), (д) Данные индекса геомагнитной активности
Бst; (б), (е) данные НМ станции Оиьи изображены черным цветом, их аппроксимация сетью - серым цветом; (в), (ж) результат применения операции (23); (г), (з) результат применения операции (24)
Отметим, что выделенные аномалии имеют сложную спектральную структуру (рис. 7в, ж) и на основе визуального анализа исходных данных, а также результатов их оценки нейронной сетью детектировать аномалии весьма затруднительно. Результат подтверждает высокую чувствительность вейвлетов и способность детектировать особенности сложной структуры при наличии шума.
Выводы
Результаты работы подтвердили эффективность предлагаемых методов в задачах обнаружения анома-
лий в геофизических данных. Вследствие сложных процессов в околоземном пространстве и наличия мешающих факторов разной физической природы регистрируемые данные имеют сложную существенно нестационарную структуру и высокий уровень шума. Эффективное решение задачи обнаружения аномалий требует применения комплекса методов с использованием средств искусственного интеллекта.
Комбинация НАС с нейронной сетью NARX показала эффективность в задаче обнаружения ионосферных аномалий. Применение НАС в вейвлет-базисе позволяет подавить шум и выделить стационарные компоненты. Детектирующая способность вейвлетов обеспечивает эффективное обнаружение аномалий.
Комбинация НАС с нейронной сетью Автокодировщик показала эффективность в задаче обнаружения аномалий в данных космических лучей. Сеть Автокодировщик позволяет понизить уровень шума и выявить зависимости в данных. НАС в вейвлет-базисе с использованием стохастических порогов позволяет детектировать аномалии разной частотно-временной структуры при наличии шума.
Методы могут быть применены при выполнении мониторинга состояния околоземного пространства и прогноза космической погоды.
Благодарности
Автор выражает благодарность институтам, выполняющим поддержку станций нейтронных мониторов (www.nmdb.eu, http://spaceweather.izmiran.ru), которые использовались в работе.
Работа выполнена в рамках Государственного задания по теме «Физические процессы в системе ближнего космоса и геосфер при солнечных и лито-сферных воздействиях» (2021-2023 гг.), регистрационный номер АААА-А21-121011290003-0.
References
[1] Vorobev AV, Vorobeva GR. Geoinformation system for amplitude-frequency analysis of geomagnetic variations and space weather observation data. Computer Optics 2017; 41(6): 963-972. DOI: 10.18287/2412-6179-2017-416-963-972.
[2] Mandrikova OV, Zhizhikina EA. An automatic method for estimating the geomagnetic field. Computer Optics 2015; 39(3): 420-428. DOI: 10.18287/0134-2452-2015-39-3420-428.
[3] Mandrikova BS. A method for analyzing complex structured data with elements of machine learning. Computer Optics 2022; 46(3): 506-512. DOI: 10.18287/2412-6179-CO-1088.
[4] Mandrikova OV, Fetisova NV, Polozov YA. Hybrid model for time series of complex structure with ARIMA components. Mathematics 2021; 9; 1122.
[5] Geppener VV, Mandrikova BS. An automated method for analyzing cosmic ray data and isolating sporadic effects [In Russian]. Journal of Computational Mathematics and Mathematical Physics 2021; 61(7): 1137-1148. DOI: 10.31857/S0044466921070061.
[6] Kuznetsov VD. Space weather and risks of space activity [In Russian]. Space technology and technology. 2014; 3(6): 3-13.
[7] Murzin BC. Astrophysics of cosmic rays: Textbook for universities [In Russian]. Moscow: "Logos" Publisher; 2007. ISBN: 978-5-98704-171-6.
[8] National Space Weather Program. Strategic Plan. Office of Federal Coordinator for Meteorological Services and Supporting Research FCM-P30-1995. Washington DC; 1995, August.
[9] World Meteorological Organization. Source: <https://public.wmo.int/ru>.
[10] Mallat SG. A wavelet tour of signal processing. San Diego, CA: Academic Press; 1999.
[11] Herley C, Kovacevic J, Ramchandran K, Vetterli M. Tilings of the time-frequency plane: Construction of arbitrary orthogonal bases and feist tiling algorithms. IEEE Trans Signal Proc 1993; 41: 3341-3359.
[12] Chen S, Donoho D. Atomic decomposition by basis pursuit. Technical Report. Stanford, CA: Stanford University; 1995.
[13] Mallat SG, Zhang ZF. Matching pursuits with time-frequency dictionaries. IEEE Trans Signal Process 1993; 41: 3397-3415.
[14] Coifman, RR, Wickerhauser MV. Entropy-based algorithms for best basis selection. IEEE Trans Inf Theory 1992; 38: 713-718.
[15] Mandrikova O, Mandrikova B, Rodomanskay A. Method of constructing a nonlinear approximating scheme of a complex signal: Application pattern recognition. Mathematics 2021; 9: 737.
[16] Danilov DL, Zhiglyavsky AA. Principal components of time series: The Caterpillar method. Saint-Petersburg: "Presskom" Publisher; 1997.
[17] Singh J, Barabanov N. Stability of discrete time recurrent neural networks and nonlinear optimization problems. Neural Netw 2016; 74: 58-72.
[18] Diaconescu E. The use of NARX neural networks to predict chaotic time series. WSEAS Trans Comp Res 2008; 3: 182-191.
[19] Lin T, Horne BG, Tino P, Giles L. Learning long-term dependencies in NARX recurrent neural networks. IEEE Trans Neural Netw 1996; 7: 1329-1338.
[20] Tsungnan L, Giles CL, Horne BG, Kung SY. A delay damage model selection algorithm for NARX neural networks. IEEE Trans Signal Process 1997; 45: 2719-2730.
[21] Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult. IEEE Trans Neural Netw 1994; 5: 157-166.
[22] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Comput 1997; 9: 1735-1780.
[23] Kuhnert C, Gonuguntla NM, Krieg H, Nowak D, Thomas JA. Application of LSTM networks for water demand prediction in optimal pump control. Water 2021; 13: 644.
[24] Li P, Zhang J, Krebs P. Prediction of flow based on a CNN-LSTM combined deep learning approach. Water 2022; 14: 993.
[25] Greff K, Srivastava RK, Koutnik J, Steunebrink BR, Schmidhuber J. LSTM: A search space odyssey. IEEE Trans Neural Netw Learn Syst 2017; 28: 2222-2232.
[26] Pascanu R, Mikolov T, Bengio Y. On the difficulty of training Recurrent Neural Networks. Proc 30th Int Conf on Machine Learning 2013: 1-9.
[27] Gers F. Long short-term memory in recurrent neural networks. Lausanne, Switzerland: EPFL; 2001.
[28] Vizilter YuV, Gorbatsevich VS, Zheltov SY. Structure-functional analysis and synthesis of deep convolutional neural networks. Computer Optics 2019; 43(5): 886-900. DOI: 10.18287/2412-6179-2019-43-5-886-900.
[29] Soldatova OP, Lyozin IA, Lyozina IV, Kupriyanov AV, Kirsh DV. Application of fuzzy neural networks for defining crystal lattice types in nanoscale images. Computer Optics 2015; 39(5): 787-794. DOI: 10.18287/0134-24522015-39-5-787-794.
[30] Rodin IA, Khonina SN, Serafimovich PG, Popov SB. Recognition of wavefront aberrations types corresponding to single Zernike functions from the pattern of the point spread function in the focal plane using neural networks. Computer Optics 2020; 44(6): 923-930. DOI: 10.18287/2412-6179-CO-810.
[31] Goodfellow Y, Benjio I, Courville A. Deep learning [In Russian]. Moscow: "DMK Press" Publisher; 2018.
[32] Rudin W. Functional analysis. New York: McGraw-Hill, 1973.
[33] Riesz F. Sur uneespèce de géométrieanalytique des systèmes de fonctionssommables. Comptesrendus de l'Académie des Sciences 1907; 144: 1409-1411.
[34] Chui CK. Introduction to wavelets [In Russian]. Moscow: "Mir" Publisher; 2001. ISBN: 5-03-003397-1.
[35] Jaffard S. Pointwise smoothness, two-microlocalization and wavelet coefficients. Publ Mat 1991; 35: 155-168.
[36] Witte RS, Witte JS. Statistics. 11th ed. New York, NY: Wiley; 2017.
[37] Haykin SS. Neural networks: A comprehensive foundation. 2nd ed. Upper Saddle River, NJ, USA: Prentice Hall; 1999.
[38] Danilov AD. Ionospheric F-region response to geomagnetic disturbances. Adv Space Res 2013; 52(3): 343-366.
[39] Real-time database of high-resolution neutron monitors. Source: <www.nmdb.eu>.
[40] Schlickeiser R. Cosmic ray astrophysics. Berlin, Heidelberg: Springer GmbH & Co KG; 2002.
[41] Abunina MA, Belov AV, Eroshenko EA, Abunin AA, Oleneva VA, Yanke VG, Melkumyan AA. Ring of station method in research of cosmic ray variations: 1. General description. Geomagn Aeron 2020; 60: 38-45.
[42] Geomagnetic Equatorial Dst Index Home Page. Source: <https://wdc.kugi.kyoto-u.ac.jp/dstdir/>.
Сведения об авторе
Мандрикова Оксана Викторовна родилась в 1972 году. В 1995 году окончила Киевский национальный университет имени Т. Шевченко, в 2009 году присвоено звание доктора технических наук. Заведующая лабораторией системного анализа Института космофизических исследований и распространения радиоволн Дальневосточного отделения Российской академии наук. Научные интересы включают интеллектуальные методы анализа геофизических данных, вейвлеты, нейронные сети, ионосферу, магнитосферу и аномалии сигналов. Автор более 100 публикаций (книг, статей). E-mail: oksanam 1 @mail.ru
ГРНТИ: 27.41.17
Поступила в редакцию 04 июня 2023 г. Окончательный вариант - 29 июня 2023 г.
Intelligent methods for natural data analysis: application to space weather
O.V. Mandrikova1 1 Institute of Cosmophysical Research and Radio Wave Propagation, Far Eastern Branch of the Russian Academy of Sciences, 684034, Kamchatskiy Kray, Paratunka, Russia, Mirnaya st. 7
Abstract
The paper describes methods for detecting anomalies in geophysical monitoring data. This work studies a highly relevant class of problems in this area, aimed at creating methods for space weather forecasting. The negative impact of space weather anomalies on human health and practically all modern infrastructure objects requires the development of methods and the creation of effective means of detecting anomalies. Threshold wavelet filtering methods widely used for data analysis and anomaly detection allow one to obtain fairly accurate estimates using a "greed" strategy, even in the case of incomplete noise data. With this approach, the signal is estimated by isolating coherent structures. But these methods have high computational complexity, failing to provide accurate estimates when the signal-to-noise ratio is low. For such signals, we propose using adaptive probabilistic thresholds. Threshold function parameters are introduced that make it possible to estimate the variability of the process, suppress noise, and detect nonstationary features of different time-frequency structures. The paper also considers ways to combine threshold wavelet filtering with neural networks of the NARX and Autoencoder architectures. Schemes for the implementation of such approaches in the problems of detecting space weather anomalies are proposed. Using the problem of detecting ionospheric anomalies as an example, the efficiency of combining threshold wavelet filtering with the NARX network is shown. The efficiency of network sharing an Autoencoder with adaptive wavelet threshold filtering is shown in the problem of anomaly detection in cosmic ray flux intensity data.
Keywords: data analysis methods, anomaly detection, space weather, wavelet transform, neural networks.
Citation: Mandrikova OV. Intelligent methods for natural data analysis: application to space weather. Computer Optics 2024; 48(1): 139-148. DOI: 10.18287/2412-6179-C0-1367.
Acknowledgements: The work was funded within the government project AAAA-A21-121011290003-0, "Physical processes in the system of near space and geospheres under solar and lithospheric influences" IKIR FEB RAS.
Author's information
Oksana Viktorovna Mandrikova was born in 1972. Graduated from Shevchenko Kyiv National University in 1995 and was awarded the title of Doctor of Technical Science in 2009. Head of the Laboratory of System Analysis at the Institute of Cosmophysical Research and Radio Wave Propagation, Far East Branch, Russian Academy of Sciences. Her scientific interests are intelligent techniques for geophysical data analysis, wavelets, neural networks, the ionosphere, the magnetosphere, and signal anomalies. Author of more than 100 publications (books, papers). E-mail: oksanaml a mail.ru
Received June 04, 2023. The final version - June 29, 2023.
