1Российский сейсмологический журнал 2023. Т. 5, № 3. С. 67-82. DOI: https://doi.Org/10.35540/2686-7907.2023.3.05. EDN: XXYCLA
УДК 550.(34.(012:062):344.2)
Нейросетевая экспертная система оценки алгоритма для оптимальной фильтрации низкочастотного шума с помощью двоичных отпечатков
© 2023 г. К.Ю. Силкин
ФИЦ ЕГС РАН, г. Обнинск, Россия Поступила в редакцию 22.07.2023 г
Аннотация. Обобщены результаты исследований по теме применения метода двоичных отпечатков в сейсмологии. Этот метод может быть использован в решении разных практических задач. В настоящем исследовании он применён в качестве производительного инструмента для анализа зашумлённых записей региональных взрывов и землетрясений с целью выбора оптимальной частоты фильтрации. Граничная частота, выбранная с помощью двоичных отпечатков, позволит сконструировать оптимальный фильтр, который не только надёжно подавит низкочастотный шум, но и бережно сохранит скрываемый им сигнал. Причём метод хорошо работает при многократном превышении интенсивности шума по отношении к сигналу и в условиях частичного перекрытия их частотных диапазонов. Принципиальной является изначальная ориентация метода на автоматическую работу при минимальном использовании сторонней информации. Данная статья в завершение предлагает использовать нейросетевую экспертную систему, позволяющую дать оценку качества алгоритма двоичных отпечатков. Чтобы создать такую систему, были исследованы современные тенденции в сейсмологии относительно применения искусственных нейросетей. На основе обширного мирового опыта было показано, что наблюдается заметное возрождение интереса к использованию небольших мало затратных сетей. Принцип, на котором они основаны, заключается в восприятии ими в качестве обучающих и входных данных компактных сложно структурированных параметров высокой степени передела первичных сейсмограмм. Именно к таким параметрам относятся характеристики, снимаемые с двоичных отпечатков с помощью предлагаемых алгоритмов. Так что наш опыт создания нейросетевой экспертной системы закономерно вышел удачным. Достоверность получаемых оценок оказалась очень близка к практическому потолку метода двоичных отпечатков.
Ключевые слова: вейвлет-преобразование, двоичные отпечатки, низкочастотный шум, фильтрация, землетрясение, взрыв, глубокие искусственные нейронные сети.
Для цитирования: Силкин К.Ю. Нейросетевая экспертная система оценки алгоритма для оптимальной фильтрации низкочастотного шума с помощью двоичных отпечатков // Российский сейсмологический журнал. - 2023. - Т. 5, № 3. - С. 67-82. - DOI: https://doi.org/l0.35540/2686-7907.2023.3.05. - EDN: ХХ¥^А
Введение
Предлагаемая читателю работа подводит итог в цикле статей [Силкин, 2022; Silkin, 2023; Силкин, 2023], посвящённом определению, алгоритмизации и исследованию свойств двоичных отпечатков (ДО), представленных в качестве инструмента для анализа сейсмограмм. Этот метод, как предполагается, может быть с успехом использован для решения нескольких задач. Однако данный цикл касается лишь проблемы автоматической оптимальной фильтрации записей, содержащих интенсивную низкочастотную помеху,
чей спектр в существенной мере взаимно перекрывается со спектром полезного сигнала.
В первых статьях цикла подробно рассматривались вопросы, которые ниже описаны конспективно.
1. Создание и первоначальное назначение двоичных отпечатков. Статья [Силкин, 2022] обобщает тот факт, что двоичные отпечатки (fingerprinting) с самого начала были задуманы для индексирования цифровых сигналов, только первоначально это были аудиозаписи [Fragoulis et al., 2001]. С целью поиска нужных музыкальных клипов по малым фрагментам чрезвычайно компактное
представление их — отпечатки — подошли прекрасно [Haitsma, Kalker, 2002].
Через некоторое время данный метод был применён и к сейсмологическим данным [Yoon et al., 2015], чтобы обеспечить средство надёжной идентификации сейсмического события. В силу своего сжатого представления ДО предназначались для удобного накопления в больших базах данных. Затем, если будет подозрение наличия на сейсмограмме кандидата в землетрясение или взрыв, производился бы процесс сравнения нового отпечатка с имеющимися [Bergen, Beroza, 2019]. Вопрос меры подобия сопоставляемых ДО — отдельная тема, которая детально пока не рассматривалась.
Некоторые усовершенствования технологии получения отпечатков были предложены на основании введённой ранее в [Силкин, 2020] практики получения эффективного частотно-временного портрета записи — энергограммы, к сути которой подойдём далее.
2. Практические приёмы получения двоичных отпечатков. ДО могут быть получены на основании любого частотно-временного преобразования сигнала, но первоначально для этого применялась только спектрограмма [Wang, 2003]. Довольно высокая скорость и относительная простота её вычисления обеспечили большую популярность данного приёма, который не менялся в течение двух десятилетий. Кроме того, поскольку спектрограмма получается с помощью расчёта модуля комплексного спектра Фурье, то на ней нет отрицательных значений, что не создаёт проблемы при децимации, т.е. сглаживании и прореживании.
В статье [Силкин, 2022] было предложено отойти от использования оконного преобразования Фурье при создании частотно-временно го портрета записи и задействовать для этого непрерывное вейвлет-преобразование (НВП) с подходящим материнским вейвлетом. У такого приёма есть явное преимущество, заключающееся в получении значительно более чёткого (локализованного в координатах время-частота) и достоверного (по величине амплитудных коэффициентов) изображения. Отмеченное свойство вейвлетограммы, а также проблема правильного выбора базиса для НВП специально разбирались в статье [Silkin, 2023].
Вейвлетограмма представляет собою двумерный набор разнознаковых значений, отражающий все мгновенные аспекты (как амплитуду, так и фазу) колебательных феноменов разной частоты, присутствующие в анализируемом сигнале. Это неудобно для дальнейшего анали-
за, поэтому используется расчёт энергограммы, которая исключает из рассмотрения фазовую характеристику, бережно сохраняя амплитудную. Достигается такой переход не за счёт формального взятия абсолютной величины коэффициентов НВП, а с помощью проведения набора огибающих линий к ним для каждого данного значения частоты.
Энергограмма обладает двумя полезными для нашей задачи (получение ДО) свойствами. Во-первых, энергограмма более чётко разделяет все колебательные процессы, присутствующие в записи, в пространстве времени и частоты. Во-вторых, вследствие своей избыточности, она легко поддаётся децимации, что очень важно при получении в дальнейшем сжатого частотно-временно» го портрета сигнала.
Следующим шагом становится производимый тем или иным способом (у разных авторов свой подход) выбор максимальных коэффициентов частотно-временно го образа записи. Имеются в виду те из них, которые задают частотные феномены, составляющие в разные моменты развития события суть этого образа. Число отбираемых коэффициентов невелико, например, 100.
В работе \Baluja, Covell, 2008] на основании достижений из области компьютерного зрения и обработки больших потоков данных было предложено для сжатия и анализа частотно-временного портрета записи использовать двумерное дискретное вейвлет-преобразование Хаара (ДДВПХ). Данный метод (waveprinting), применённый изначально к спектрограмме, позволил выбирать ключевые коэффициенты не только быстро и надёжно, но и с одновременным разделением их по преобладающей ориентации линеаментов на изображении. Благодаря свойству двумерного вейвлет-преобра-зования, отдельно выделяются и анализируются те особенности картинки, которые имеют горизонтальную, диагональную или вертикальную направленность. В данном исследовании, соответственно, метод waveprinting применён не к спектрограмме, а к энергограмме (полученной на основе вейвлето-граммы).
Как бы то ни было, затем осуществляется переход от ограниченного набора отцентрированных максимальных коэффициентов к их «созвездию». Последнее имеет такое название благодаря тому, что после устранения собственных значений коэффициентов и сохранения лишь сведений об их знаке получаемое изображение имеет вид разбросанных по белому пространству синих и красных точек (цвет указывает на знак), напоминая карту звёздного неба.
И, наконец, с помощью бинаризации «созвездия» получаются собственно отпечатки в виде весьма компактного и сильно разреженного образа размером, например, 64x64 пикселя с сотней чёрных точек на белом фоне.
3. Характерные особенности двоичных отпечатков. В работе [Силкин, 2022] для исследования особенностей и информативности ДО был предложен приём, получивший название избыточных двоичных отпечатков (ИДО). Иного назначения, кроме наглядного представления того, как работают ДО, и насколько хорошо в своём сжатом виде сохраняют ключевые особенности исходного сигнала, этот метод вначале не имел.
Суть ИДО заключается в том, что от интегрального представления всего частотно-временного портрета записи с помощью ДО производится переход к дифференциальному сканированию энергограммы посредством набора отпечатков, вычисленных в скользящем частотном окне. Результат имеет вид пары двумерных функций — скользящего вейвлет-спектра (СВ-С) и скользящей вейвлет-огибающей (СВ-О). Причём первая рассчитывается по горизонтальной составляющей ДДВПХ, а вторая — по вертикальной.
Если усреднить все значения СВ-С при фиксированной спектральной частоте, то получится восстановленный вейвлет-спектр, если усреднить все значения СВ-О при фиксированном времени, — восстановленная вейвлет-огибаю-щая. Было показано на примерах [Силкин, 2022] хорошее совпадение этих графиков со спектром Фурье исходной записи и её огибающей соответственно. Таким образом, подтвердилось, что ДО, являясь сжатой на четыре порядка сейсмограммой, потенциально сохраняют все существенные для идентификации сигнала характеристики.
4. Применение двоичных отпечатков для выбора оптимальных параметров фильтрации низкочастотного шума. В процессе разработки и анализа метода ИДО было обнаружено, что этот приём может быть с успехом применён ещё и для определения параметров оптимального фильтра по очистке сейсмограммы, осложнённой низкочастотным шумом. Имеются три момента, как это было подробно разобрано в [Silkin, 2023], которые могут сделать технологию ДО востребованной в данном случае. Во-первых, она прекрасно работает в условиях многократного превышения энергии помехи над энергией сигнала. Во-вторых, двоичные отпечатки позволяют найти наилучшее положение частотной границы фильтра, при которой и шум эффективно подавляется, и сигнал бережно сохраняется, т.е.
в условиях частичного перекрытия спектров этих компонент записи. В-третьих, метод ДО изначально ориентирован на автоматическое применение и может быть задействован в потоковой обработке данных.
Методика была проиллюстрирована на примерах, в том числе и трудных, когда исходная запись содержит сигнал, который в 15 раз слабее присутствующего низкочастотного шума. Метод ИДО продемонстрировал хороший результат фильтрации.
5. Исследование свойств двоичных отпечатков. В процессе применения метода ДО [Силкин, 2023] в отношении более 700 записей землетрясений и разного вида взрывов, произошедших в Карельско-Шпицбергенском секторе Арктики и зарегистрированных сейсмостанциями Мурманской области и Норвегии, были чётко обозначены те детали изображений ДО, которые несут принципиально важные сведения об искомой частотной границе.
Эти результаты проверены с помощью экспертной оценки допустимого частотного интервала /Н, /В], в пределах которого с точки зрения человека-обработчика может быть задана граница фильтра высоких частот. Как метрика качества была использована колоколообразная функция ошибки:
g (f) = exp
4ln0.7 f f + fH
(fB - /и)'
- f
построенная таким образом, чтобы выдавать значение не менее 0.7 при/ е /Н,/В]. При этом £/С)=1, где /С - среднее между /Н и /В. Ожидается получение преимущественно высокого (около единицы) значения g(/), если алгоритм ДО работает верно. Выражаться это должно в выдаче такого значение искомой частоты, которое близко к /С.
При сравнении экспериментальных и экспертных данных было получено, что около 3/4 результатов метода ДО, как в варианте простых двоичных отпечатков, так и избыточных, дают достоверный результат. А при совместном использовании ДО и ИДО этот уровень может быть доведён до 90%, что и было сразу выбрано в качестве цели.
Анализ особых случаев применения ДО для оценки верхней границы шума позволил отметить, что этот метод одинаково хорошо работает не только для одиночных, но и для коротко-замедленных взрывов, а также для региональных землетрясений.
Что касается отношения амплитуд сигнала и шума (КСШ), то наилучшие результаты получаются в случае, когда е [—1, +1]. Немного хуже алгоритмы сработали при е [—2, —1]. Поскольку случаи, когда ^^СШ<—2, трудны для любых методов анализа, то таких примеров было мало в использованном наборе записей. Однако и для подавляющего большинства из них алгоритмы ДО сработали достоверно.
Практический предел достоверности метода, оценённый на доступных данных, — 90.1% при условии адекватного выбора лучшего результата из всех вариантов алгоритмов.
Методы ДО и ИДО работают вполне автономно, ожидая только, что хоть в слабом виде, но сигнал в записи всё же присутствует. Однако, как и любая информационная система, основанная на приёмах машинного обучения, они требуют оценки качества своей работы. Эта система нужна не только для измерения уровня доверия к получаемым результатам. Без неё сложно обойтись, чтобы получить обобщающий итог, т.к. методы ДО и ИДО вместе дают четыре варианта ответа, любой среди которых может быть чуть точнее остальных. Для выбора самого лучшего ответа и нужна система оценки качества каждого алгоритма.
В работе [Силкин, 2023] эта задача была возложена на экспертную систему решающих правил, созданную по итогам эмпирических обобщений. Система показала свою хорошую работоспособность, однако это не принесло полного удовлетворения ею в силу нескольких причин. Во-первых, имеется намерение ещё больше увеличить качество работы методов ДО, т.к. достигаемые ею сейчас уровни достоверности (74.1% для ДО и 76.4% для обобщённых ИДО) устраивают не вполне. Во-вторых, экспертная система из решающих правил, возможно, содержит в себе региональные особенности, от которых край-
не важно избавиться. В-третьих, громоздкость системы затрудняет её масштабирование и развитие, а всем нужна большая гибкость решения.
6. Формализация метода двоичных отпечатков для оценки свойств шума. Заявленная эмпирическая экспертная система основана на построении коллекции специфических параметров, измеряемых по результатам расчёта ДО и ИДО. Эти параметры выявлены вследствие многочисленных наблюдений за тем, какие образы ДО, СВ-С и СВ-О возникают при тех или иных уровнях шума и сигнала, а также степени перекрытия их спектров.
Формализация ключевых параметров простых ДО строится с помощью выявления присутствия и оценки протяжённости линеаментов сигнала и шума на разных уровнях разных составляющих двоичных отпечатков (рис. 1).
I...>.15 .... ...<■ ...и.и..........
■ _ л . Л . ш
Рис. 1. Пример двоичных отпечатков энергограммы для регионального землетрясения, запись которого осложнена низкочастотным шумом.
Использована запись длиной 230 с, диапазон частот 0.2—20 Гц, разложение от дискретности 64x32 (времяхчастота) до 6-го уровня. Правый нижний квадрат каждого уровня — горизонтальная составляющая, левый верхний — вертикальная
Представим эти параметры в виде табл. 1.
Таблица 1. Ключевые параметры экспертной системы оценки качества ДО (простых)
Параметр Определение
sA Число уровней вертикальной составляющей ДО, на которых вертикальные линеаменты
занимают не менее половины анализируемого диапазона частот
sB Нижняя граница распространения энергетических проявлений высокочастотных регулярных
волн на вертикальной составляющей ДО
sC Число уровней горизонтальной составляющей ДО, на которых горизонтальные линеаменты
занимают не менее % диапазона времён в нижней половине диапазона частот
sD То же самое, что sC, но после ограничения анализируемого диапазона времён фрагментом
явного отсутствия регулярных волн
sE Оценка верхней частоты линеаментов разных уровней, связываемых с проявлением
стационарного низкочастотного шума
sF То же самое, что sE, но после ограничения анализируемого диапазона времён фрагментом явного отсутствия регулярных волн
Формализация ключевых параметров ИДО организована за счёт построения графиков профилей сечений, снимаемых с СВ-С и СВ-О. По двумерной функции скользящего вейвлет-спектра сечения берутся с его левой стороны (СВ-С Л) и с правой (СВ-С П) как среднее при данном значении сканирующей частоты Г из узких полос (шириной 2—3% от числа дискретов частоты энергограммы), проложенных на соответствующем краю СВ-С. Аналогичный график строится и по СВ-О как квантиль с 95-процентной вероятностью всех его значений при фиксированном значении частоты Г. Последний график анализируется в обратной последователь-
ности Г, чтобы делать это в той же манере, как и для первых двух (рис. 2).
Таким образом, получается три аналогичных по структуре, но разных по смыслу набора ключевых параметров. Представим эти параметры в виде табл. 2.
Итого в наличии шесть независимых параметров для анализа ДО и 3x5 параметров — для ИДО. Кроме того, в помощь дополнительно привлекаются сведения о спектральных характеристиках фоновой записи и соотношениях амплитуд сигнала и шума. Эти параметры собраны в табл. 3.
Г. Гц Г, с
Рис. 2. Пример избыточных двоичных отпечатков энергограммы для того же события:
а — скользящий вейвлет-спектр:
горизонтальная ось / — частота вейвлет-разложения, вертикальная ось Г — положение сканирующего частотного окна, цветовая шкала значений — условная плотность отпечатков, стрелки «ЛП» и «ПП» отмечают левую и правую полосы для расчёта сечений скользящего вейвлет-спектра (зелёный пунктир);
б — скользящая вейвлет-огибающая:
вертикальная ось и шкала амплитуд соответствуют скользящему вейвлет-спектру, горизонтальная ось t — относительное время, стрелка «В» отмечает область проявления регулярных волн (зелёный пунктир)
Таблица 2. Ключевые параметры экспертной системы оценки качества ИДО
Параметры Определение
СВ-С Л СВ-С П СВ-О
Число экстремумов на графике профиля после устранения несущественных
еЫА е^А еуА среди них (разделённых с соседними по частоте менее чем тремя дискретами и выступающих на уровне амплитуд соседей на величину менее 25-процентного квартиля полного размаха значений графика)
еЫВ е^В еуВ Отношение размаха наиболее крупной осцилляции графика к среднему
их размаху
еЫС ehrC е\С Абсцисса середины (среднее геометрическое) между абсциссами минимума и максимума графика
ehlD ehrD evD Абсцисса минимума разделённой разности 1-го порядка для графика профиля
еМЕ е^Е еуЕ Абсцисса следующего минимума графика после параметра D или точки выхода графика на нижнее плато
Таблица 3. Ключевые параметры характеристик шума, вспомогательные для всех экспертных систем
Параметр
Определение
bA
bB bC
Частота начала затухания преобладающей спектральной компоненты фона как больший из корней квадратного уравнения, задающего полином второй степени, аппроксимирующий в смысле наименьших квадратов главный максимум спектра фона, выявленный по записи до первого вступления
Частота 1-процентного уровня спектра фона, на которой график спектра фона впервые станет в 100 раз меньше своего максимума Абсцисса главного максимума спектра фона
Десятичный логарифм отношения максимумов абсолютных величин амплитуд шумовой ЬБ части записи и записи с преобладанием регулярных волн разделённых в двумерном
пространстве вейвлетограммы
Таким образом, ещё четыре переменные могут быть добавлены в качестве входов каждой экспертной системы. Все перечисленные параметры были введены, представлены графически и подробно определены в [Силкин, 2023].
Цели и задачи дальнейшего исследования. Итак, кратко были описаны предпосылки к написанию данной завершающей статьи. Цель её — обосновать возможность создания и применения нейросетевой системы оценки качества работы метода. Оцениваемый метод — определение оптимальной частоты фильтрации низкочастотного шума с помощью алгоритмов двоичных отпечатков записи.
Задачи исследования заключаются в следующем: 1 — обозначить коллекцию переменных, которые могут быть полезны для обучения создаваемых нейросетей; 2 — представить выбор архитектуры, метода обучения и контроля качества нейро-сетей; 3 — описать результаты их применения.
Обзор изученности проблемы
Существует большое число применений разных методов машинного обучения в сейсмологии. Только обзорных статей (или статей с большим обзорным разделом), анализирующих как решаемые при этом задачи, так и используемые подходы, можно привести несколько [Kislov, Gravirov, 2017; Rojas et al., 2019; Canario et al., 2020; Zhu, 2021; Mousavi, Beroza, 2022a; Mousavi, Beroza, 2023]. Очевидно, последние пять лет наблюдается стойкий и, возможно, даже возрастающий интерес к методам машинного обучения в сейсмологической практике. Причина этого, по-видимому, в том, что, благодаря развитию и относительному удешевлению аппаратной базы (многоядерных центральных процессоров и векторных графических процессоров), ранее малодоступные теоретические наработки становятся приемлемыми к использованию в более широких научных кругах.
В значительной мере сказанное можно отнести к нейросетевым методам, чей пригодный на практике арсенал пополнился такими видами искусственных нейронных сетей (ИНС) как свёрточные [Ульянов, 2021], реккурентные [Sadhukhan et al., 2023], самоассоциирующие [Юлкова, Шиловский, 2019], генеративно-состязательные [Liu et al., 2022] и др., получившими обобщённое название глубоких (ГИНС). Формально глубокой считается любая сеть, содержащая в своей структуре несколько скрытых сло-ёв нейронов. Т.е. это может быть и классический многослойный персептрон (МСП), который благодаря двум-трём скрытым слоям приобретает способность строить более сложные метапо-верхности для аппроксимации и классификации. Однако МСП с большим числом скрытых слоёв обучаются труднее, поэтому к ГИНС чаще относят сети с другими видами архитектур.
Тем не менее, МСП не сдаётся, и новые публикации, докладывающие об успешных результатах его применения, продолжают выходить [Lin, Chiou, 2019; Miao, 2020; Yoo, 2021; Ramasamy et al., 2022; Yuan, 2023], а более старые — продолжают цитироваться [Del Pezzo et al., 2003; Kislov, Gravirov, 2011].
Объяснение этому наглядно показано в обзорной статье [Mousavi, Beroza, 2022a]. Её авторы проанализировали доступные им (но далеко не все) статьи по нейросетевым методам в связи с различными сейсмологическими проблемами. При этом они обращали внимание на то, сколько нужно подготовить обучающих данных, чтобы натренировать на них ИНС, которая бы с успехом могла решать такие задачи как:
— атрибутирование фаз сейсмических волн;
— обнаружение сейсмического события;
— определение характеристик очага землетрясения;
— отметка первого движения на записи;
— отметка фаз сейсмических волн;
— предсказание землетрясения;
— распознавание природы сейсмического события;
— устранение шума на сейсмограммах.
По мнению процитированных исследователей, средний размер обучающих наборов данных такой, как представлен на рис. 3, на котором помимо этого показано число публикаций в связи с каждой из обозначенных задач.
На рис. 3 можно видеть, что в зависимости от того, какая задача решается, есть две группы направлений, характеризующихся кардинально различными объёмами первичных данных (от нескольких сотен до нескольких сотен тысяч). Это тот объём, который необходимо собрать, прежде чем ИНС удастся надёжно обучить. Собственный опыт исследования публикаций по данной теме совпадает с представленным на рис. 3 лишь отчасти, т.к. неоднократно встречались статьи, в которых авторы обходились более чем скромными объёмами (пара сотен) обучающих данных и вполне успешно решали задачи [Perol, 2018], которые здесь обозначены как ресурсоёмкие. Однако на рис. 3 приведены только средние значения (без дисперсии), поэтому никакого противоречия наверняка нет, поскольку известны и сообщения об использовании 4.5 млн. обучающих примеров [Ross et al., 2018].
Второй важный момент (его можно найти на рис. 3), прямо вытекающий из первого, — это число публикаций, посвящённых решению с помощью ИНС конкретных сейсмологических задач. Наблюдается заметная отрицательная корреляция между средним размером обучающих наборов и числом публикаций по данной
теме. Требуется сделать очевидный вывод, что далеко не все, а лишь 58%, образно выражаясь, «нейросейсмологов» готовы и решаются работать с большими данными.
В качестве приложения к работе [Mousavi, Beroza, 2022a] её авторы представили использованную при написании своей обзорной статьи базу данных [Mousavi, Beroza, 2022b]. В ней присутствуют сведения, собранные из 637 посвящённых применению ИНС в сейсмологии статей, опубликованных в рецензируемых научных изданиях (лишь англоязычных, в основном американских). Если проанализировать эти данные, то можно выявить интересные особенности развития нейросетевого направления. На рис. 4 показано распределение объёма обучающих наборов в зависимости от того, какие данные подаются на вход сети.
На рис. 4 виды данных условно обозначены как «параметры» и «массивы». Исследователи очень изобретательны при разработке нейросе-тей, однако для сравнения под общим названием «параметры» был объединён весь ассортимент довольно лаконичных данных, полученных с помощью разнообразных, порой изощрённых, способов анализа сейсмограмм и (или) их трансформант. Это могут быть характерные точки огибающих записи, их спектров, графиков STA/LTA; специфически отобранные коэффициенты спектрограмм, вейвлетограмм; разные виды сжимающих преобразований с потерями [Kislov et al, 2020], а также трансформанты трансформант, как например, синхронное сжимающее преобразование [Shi et al., 2019] или двоичные отпечатки.
Распознавание Устранение Отметка Харакгерис- Предсказа- Обнаружение Атрибутиро- Отметка природы шума первого тики ние события вание фаз фаз сейсми-
события сейсмограмм движения очага землетрясения ческих волн
Рис. 3. Сопоставление среднего размера обучающих наборов данных нейросетей для некоторых видов решаемых ими сейсмологических задач с числом научных публикаций по соответствующим темам.
По данным из [Мошау1, Вего1а, 2022а]
25 1
Интервалы. Число обучакшда примеров
Рис. 4. Распределение доли научных публикаций о сейсмологических нейросетях по объёму обучающих
данных в зависимости от их вида.
По данным из \Mousavi, Вего1а, 2022Ь]
К «массивам» отнесены все значительно более простые, но в то же время и более избыточные данные, которые часто представлены в виде объёмных Ш-, 2D- и даже 3D-наборов. К ним принадлежат длинные (до нескольких десятков секунд) сейсмограммы в исходной дискретности, может, слегка отфильтрованные, часто трёхком-понентные; Фурье-спектры высокого разрешения; спектрограммы и вейвлетограммы в полном составе и т.п., а также их сочетания, например, сейсмограмма + спектр.
По рис. 4 можно заметить, что эти два вида исходных данных явно тяготеют к разным диапазонам объёмов обучающих данных. В случае «параметров» первая мода распределения (явно довлеющая над всеми остальными) относится к весьма скромному числу — менее полутысячи обучающих примеров, в то время как нейросе-ти с «массивами» в близких интервалах почти не встречаются.
Вторая мода распределения ИНС с «параметрами» и первая мода распределения ИНС с «массивами» практически совпадают, занимая диапазон от нескольких тысяч до нескольких десятков тысяч примеров. По-видимому, эта ситуация относится к слабо структурированным «параметрам» и, наоборот, к довольно обработанным «массивам».
Наконец, вторая мода распределения для «массивов» отмечена в наиболее часто встречающемся количестве от нескольких сотен до миллиона штук. Нечего и говорить, что данных вида «параметр» столь много просто не может быть в природе.
Если проанализировать выявленные особенности рис. 4, то становится понятным, что, чем примитивнее устроены данные, тем объёмнее должен быть каждый пример в отдельности. Следовательно, тем труднее для нейросети будет изу-
чить эти данные, и тем больше потребуется обучающих примеров. Поскольку сложность ИНС при прочих равных пропорциональна экспоненте осваиваемого ею набора данных \Brandusoiu, Toderean, 2020], то любые самые смелые оценки требований к мощности аппаратного обеспечения и временным ресурсам на обучение не будут чересчур завышены. Возникает острая проблема целесообразности столь масштабных затрат.
Может возникнуть предположение, что «маленькие» сети, обучаемые скромными наборами данных, имели употребление только раньше, когда компьютеры не были ещё так технически продвинуты, как сейчас. Чтобы проверить это, был построен график исторического развития применения в сейсмологии наборов данных, что подавались для обучаемых в те или иные годы нейросетей (рис. 5).
По рис. 5 можно увидеть несколько интересных тенденций. С одной стороны, с годами действительно наблюдается экспоненциальный (точнее по закону _у=10х) общий рост объёма данных, типично подаваемых для обучения ИНС. Приблизительная динамика — в десять раз за десятилетие. И это однозначно надо связать с постоянным развитием вычислительной техники. С другой стороны, после 2013 г. происходит явное расщепление данной закономерности. Появляется интерес исследователей к работе со сверхбольшими данными, но также виден возврат и к весьма скромным обучающим наборам вплоть до уровня, который был достигнут ещё в конце XX века. Отмеченное явление указывает на возрождение актуальности для сейсмологии тех нейросетей, которые в качестве входных данных используют «параметры», а их, как известно, много не бывает. Очевидно, это объясняется развитием и самих методов извлечения сложно структурированной компактной информации из
1990 1995 2000 2005 2010 2015 2020 2025
Рис. 5. Временной ход среднего (геометрического) размера обучающего набора данных для нейросетей,
используемых в сейсмологии.
Вертикальные линии показывают размах встречающихся в течение года значений. По данным из \Mousam, Вего1а, 2022Ь]
« ю7
1 10е
2
I ю5
I ю4
я 103 т
I 102
о
5 ю1
5
т 10°
... «среднее --- тренд
4 4 » > .1 1' » _, -
Г*" '"Г
...........................................................„..... т
-'Г.ГЛ1.........'........................................................................
первичных сейсмологических источников, для которых большие нейросети не требуются.
Можно спрогнозировать продолжение отмеченных тенденций и даже позволить себе бросить взгляд на недалёкую перспективу, продлив линию среднего тренда на три года вперёд.
Данные и методы
Для обучения нейросетей использовались параметры двоичных отпечатков, рассчитанных по 716 записям региональных землетрясений и взрывов. Предварительно 5% из них были случайным образом отобраны и отложены для независимой проверки качества работы ИНС (вали-дации). Все входные переменные спроецированы на интервал значений [—1, 1].
Поскольку ИНС действуют по принципу «чёрного ящика», наперёд трудно с уверенностью сказать, какие переменные входного набора данных (и их сочетания) дадут наилучший результат. Формирование этого набора, наряду с решением проблемы оптимальной архитектуры и мощности нейросети, представляет собою большую неоднозначную исследовательскую работу. Данная статья не имеет целью вдаваться в подобные детали, предполагалось только продемонстрировать принципиальную пригодность двоичных отпечатков для нейросетевой классификации.
Чтобы приблизится к этой цели, было принято решение изначально использовать простую архитектуру ИНС — сеть прямого распространения с сигмоидальной передаточной функцией в скрытых слоях и с многопеременной логистической передаточной функцией (так называемая функция softmax ^и, Wu, 2022]) в выходном слое.
Возможные входные данные для нейросе-ти такой архитектуры представлены в табл. 1—3, хотя все ли они хорошо сработают на результат, надо ещё выяснить. Выходные данные — это признаки выдачи (или отсутствия таковой) двух классов: недостоверного (при значении функции ошибки £<0.7) и достоверного (при £>0.7). Требуется, чтобы, опираясь на данные о спектре фона, параметрах соответствующего алгоритма двоичных отпечатков и уровне шума, нейросети с высокой надёжностью предсказывали, достоверным ли является ответ данного алгоритма по поводу оптимальной частоты фильтрации низкочастотного шума для конкретной сейсмограммы.
Оценка качества работы классификации производилась с помощью стандартного инструмента — матрицы ошибок [Kislov, Gravirov, 2017; Gortler at е1., 2022]. Структура её для бинарной классификации [Прилепов, 2018] применительно к нашей задаче имеет следующий вид (рис. 6).
с ч Т
ПК Д лн ИД ДТ
н ИН ЛД НТ
н д
эк
Рис. 6. Структура матрицы ошибок классификации.
ЭК — экспертные классы; ПК — предсказанные классы; Н — недостоверный класс; Д — достоверный класс; число результатов классификации: ИН — истинно недостоверных, ЛН — ложно недостоверных, ЛД — ложно достоверных, ИД — истинно достоверных; характеристики классификатора (определения в табл. 4): С — специфика, Ч — чувствительность, НТ — недостоверная точность, ДТ — достоверная точность, Т — точность прогнозирования
На рис. 6 характеристики классификатора определяются следующим образом (табл. 4).
Для всех характеристик лучшим будет стремиться к 1 (100%).
Результаты и обсуждение
Были проведены многочисленные эксперименты по выбору оптимального состава входных переменных, числа скрытых слоёв и количества нейронов в них, величины целевой ошибки классификатора, методов обучения и прочих параметров ИНС. Не вдаваясь в рутинные детали этого длительного процесса, сразу перейдём к достигнутым результатам.
Для всех вариантов алгоритма двоичных отпечатков, кроме ИДО СВ-О, наиболее стабильное обучение с достижением приемлемой ошибки показал метод наискорейшего спуска обратного распространения ошибки, но в случае СВ-О этот метод неприемлемо замедлялся и его при-
шлось заменить на метод Левенберга-Марквард-та, который для остальных алгоритмов проходил валидацию на проверочном наборе данных с более скромным успехом \Brandusoiu, Toderean, 2020].
Также всегда выбор архитектуры сети был остановлен на не менее чем двух скрытых слоях, поэтому, пусть и условно, создаваемые ИНС можно отнести к разряду «глубоких».
Обобщение ключевых параметров нейросетей, которые могли иметь индивидуальные отличия, выполнено в табл. 5.
Все нейронные сети характеризуются скромными размерами, число нейронов в скрытых слоях каждой из них не превышает 10, а часто значительно меньше. Это говорит о высокой и однозначной информативности двоичных отпечатков, для извлечения закономерностей которых очень мощные ИНС не требуются.
Результаты работы всех классификаторов по проверочным данным приведены на рис. 7.
Таблица 4. Определение формальных характеристик классификатора
Параметр Название Формула Определение
С Специфика с _ ИН ИН + ЛД Отношение числа истинно недостоверных прогнозов к общему числу предсказаний, правильно предсказанных недостоверными
Ч Чувствительность ДТ _ ИД ИД + ЛН Отношение числа истинно достоверных прогнозов к общему числу предсказаний, правильно предсказанных достоверными
ДТ Достоверная точность ДТ _ ИД " ИД + ЛД Отношение числа истинно достоверных прогнозов к общему числу достоверных
НТ Недостоверная точность НТ _ ЛН ИН + ЛН Отношение числа истинно недостоверных прогнозов к общему числу недостоверных
Точность т _ ИН + ИД Отношение числа истинных прогнозов
прогнозирования ИД + ЛД + ИН + ЛН к общему числу данных
Таблица 5. Ключевые параметры финальных вариантов ИНС
Нейросеть Входные переменные Нейронная модель Метод обучения Достигнутое СКО
ДО эА, эБ, эС, sD, эБ, эБ, ЬБ, ЬС, bD 3x3 НС 9.4%
ИДО СВ-С Л вМА, вМБ, вМС, ehlD, вЫБ, ЬБ, ЬС, ЬD 5x4x2 НС 14.9%
ИДО СВ-С П в^А, в^Б, ehrС, ehrD, в^Б, ЬБ, ЬС, ЬD 6x5x4 НС 8.1%
ИДО СВ-О вуА, вуБ, вуС, evD, вуБ, ЬА, ЬБ, ЬС, ЬD 4x2 ЛМ 7.8%
Примечания: Методы обучения: НС — наискорейшего спуска, ЛМ — Левенберга-Марквардта. СКО — среднеквадратичное отклонение на проверочном наборе данных.
73.7 94.3 88.9
6.94 69.4 90.9
19.4 4.17 82.4
60.0 83.3 72.7
18.2 45.5 71.4
27.3 9.09 75.0
70.8 91.7 84.7
9.72 61.1 86.3
23.6 5.56 81.0
78.6 75.0 77.1
12.5 31.3 71.4
45.8 10.4 81.5
И
Н
Ш
Рис. 7. Матрицы ошибок для полученных классификаторов: а - ДО; б - ИДО СВ-С Л; в - ИДО СВ-С П; г - ИДО СВ-О.
Структура таблиц показана на рис. 6. Значения - проценты
Разберём в общих чертах представленные на рис. 7 матрицы ошибок. Можно видеть, что по порядку убывания итоговой точности прогноза Т классификаторы следует перечислить в следующем порядке: ДО (88.9%), ИДО СВ-С П (84.7%), ИДО СВ-О (77.1%), ИДО СВ-С Л (72.7%). У лидеров этого рейтинга достоверная точность прогнозирования ДТ ещё выше: ДО -90.9% и ИДО СВ-С П - 86.3%. Остальные варианты, наоборот, немного лучше умеют классифицировать недостоверный класс. Для всех случаев, кроме ИДО СВ-О, специфика С очень сильно (на 20%) превышает чувствительность Ч. Это говорит о том, что предсказание достоверного класса (если учитывать как истинно достоверные, так и ложно недостоверные результаты) удаётся лучше, чем предсказание недостоверного класса. Классификатор ИДО СВ-О выдаёт С«Ч, т.е. в этом смысле он универсален.
Надо учесть, что практический потолок совместного дополняющего использования алгоритмов ДО и ИДО таков, что достоверные результаты выходят у 90.1% определений граничной частоты. Работая независимо, созданные нейросети подошли совсем близко - по простым ДО - 88.9%, а по правой стороне скользящего вейвлет-спектра - 84.7%. Именно на эти алгоритмы двоичных отпечатков и стоит опираться в первую очередь, используя остальные в качестве вспомогательного средства.
Каждый раз, когда алгоритмы ДО выдают ответ, его следует оценить посредством соответствующей ИНС, затем выбрать результат с наибольшей оценкой. Очевидно, чаще всего это будут варианты простых ДО и ИДО СВ-С П. Но вследствие случайных помех время от времени они дадут сбой, и им на помощь могут прийти алгоритмы ИДО СВ-С Л и ИДО СВ-О.
Выводы
Статья подвела итог большой исследовательской работе, посвящённой применению метода двоичных отпечатков для анализа сейсмических записей. Хотя двоичные отпечатки могут найти широкое применение в сейсмологической практике, пока собственные усилия были сосредоточены только на проблеме поиска с их помощью оптимальных параметров фильтра, который позволил бы аккуратно устранить из сейсмограммы низкочастотный шум. Метод хорошо показал себя в условиях, когда сигнал существенно слабее шума, а их спектры имеют в какой-то мере пересекающиеся диапазоны преобладающих частот.
Проведён анализ современного состояния проблемы использования нейросетевых приёмов решения сейсмологических задач, а также выполнен ретроспективный и перспективный анализ существующих в связи с этим тенденций. При этом выяснилось, что мировой сейсмологии сейчас присущи два разнонаправленных подхода к применению ИНС. Одним из них можно подавать на вход большие объёмы слабоструктурированных избыточных данных, а другим - малые количества тщательно выбранных параметров первичных данных.
Очевидно, первый подход требует слишком серьёзного аппаратного обеспечения, и нет уверенности, что у обычного отечественного сейсмолога имеется лёгкий доступ к таким возможностям. Поэтому выбор был сделан в пользу второго варианта нейросетей. Метод двоичных отпечатков, являясь по сути переделом четвёртого уровня исходных записей, подходит для него очень хорошо.
Имеющаяся сразу над алгоритмом (по определению граничной частоты фильтра) система
эмпирических решающих правил оценки качества его работы не обеспечивала желаемой точности (лишь около 75%), а также обладала и другими недостатками, которые отмечены выше. В связи с этим была предпринята попытка создания нейросетевой экспертной системы. Надежды оправдались, т.к. ИНС тесно приблизились к практическому максимуму метода двоичных отпечатков.
Важно, что нейросети, основанные на двоичных отпечатках, невелики по размеру, не требуют больших объёмов данных и временных затрат для своего обучения, а значит, их применение может быть доступно широкому кругу исследователей.
Нейросетевой подход к формированию экспертной системы оценки качества способен освободить пользователя от привязки к конкретному региону. Для этого потребуется только переобучить ИНС на достаточном наборе новых данных. Притом не потребуется никак обрабатывать первичные данные, только отметить первое вступление и указать оптимальную частотную границу шума/сигнала на обучающих примерах.
Автор выражает благодарность канд. физ.-мат. наук, вед. науч. сотр. Кольского филиала ФИЦ ЕГС РАН В.Э. Асмингу за любезную помощь в подборе данных.
Работа выполнена при поддержке Минобрна-уки России (в рамках государственного задания № 075-01271-23) и с использованием данных, полученных на уникальной научной установке «Сейсмо-инфразвуковой комплекс мониторинга арктической криолитозоны и комплекс непрерывного сейсмического мониторинга Российской Федерации, сопредельных территорий и мира» (https://ckp-rf.ru/ usu/507436/, http://www.gsras.ru/unu/).
Литература
Прилепов Е.В. Оценка качества алгоритмов на основе матрицы неточностей SHAPE \* MERGEFORMAT // Евразийский союз ученых. — 2018. — № 8—1. — С. 55— 58. - EDN: YZJIJN
Силкин К.Ю. Автоматическое удаление низкочастотного шума из сейсмограмм с помощью двоичных отпечатков: Алгоритмы, свойства, ограничения // Вулканология и сейсмология. — 2023. — Т. 17 (в печати). Силкин К.Ю. Двоичные отпечатки результатов вейв-лет-анализа записи сейсмического события как инструмент формирования его компактного образа для целей нейросетевого распознавания // Российский сейсмологический журнал. — 2022. — Т. 4, № 4. — C. 42—55. — DOI: 10.35540/2686-7907.2022.4.03. — EDN: EMMMDC
Силкин К.Ю. Использование вейвлет-анализа как дополнительного критерия при идентификации при-
роды сейсмического события // Структура, вещественный состав, свойства, современная геодинамика и сейсмичность платформенных территорий и сопредельных регионов: материалы XXII Всероссийской с международным участием научно-практической Щукинской конференции (г. Воронеж, 22—25 сентября 2020 г.) / Под ред. Л.И. Надёжка, Т.Б. Силки-ной. — Воронеж: ВГУ, 2020. — С. 328—334. — EDN: VHXKWM
Ульянов Н.А., Яскевич С.В., Дергач П.А., Яблоков А.В. Детекция записей слабых локальных землетрясений с использованием нейронных сетей // Геофизические технологии. — 2021. — № 2. — С. 13—23. — DOI: 10.18303/2619-1563-2021-2-13. — EDN: YDFWLR Юлкова В.М., Шиловский Г.В. Искусственные нейронные сети. Глубокое обучение // Мониторинг. Наука и технологии. — 2019. — № 4 (42). — С. 68—72. — DOI: 10.25714/MNT. 2019.42.010. — EDN: XSPOLJ Baluja Sh., Covell M. Waveprint: Efficient wavelet-based audio fingerprinting // Pattern Recognition. — 2008.
— V 41, N 11. — P. 3467—3480. — DOI: 10.1016/j.pat-cog.2008.05.006
Bergen K.J., Beroza G.C. Earthquake fingerprints: Extracting waveform features for similarity-based earthquake detection // Pure and Applied Geophysics. — 2019. —
V 176. — P. 1037—1059. — DOI: 10.1007/s00024-018-1995-6
Brandusoiu I.B., Toderean G.I. How to fine-tune neural networks for classification. — Bucharest: GAER Publishing House, 2020. — 78 p.
Canario J.P., Mello R., Curilem M., Huenupan F., Rios R. In-depth comparison of deep artificial neural network architectures on seismic events classification // Journal of Volcanology and Geothermal Research. — 2020.
— V. 401, N 5. — P. 106881. — DOI: 10.1016/j.jvolgeo-res.2020.106881
Del Pezzo E., Esposito A., Giudicepietro F., Marinaro M., Martini M., Scarpetta S. Discrimination of earthquakes and underwater explosions using neural networks // Bulletin of the Seismological Society of America. — 2003. —
V 93. — P. 215—223. — DOI: 10.1785/0120020005
Fragoulis D., Rousopoulos G., Panagopoulos T., Alexiou C., Papaodysseus C. On the automated recognition of seriously distorted musical recordings // IEEE Transactions on Signal Processing. — 2001. — V 49, N 4. — P. 898—908.
Gortler J., Hohman F., Moritz D., Wongsuphasawat K., Ren D., Nair R., Kirchner M., Patel K. Neo: Generalizing confusion matrix visualization to hierarchical and multi-output labels // Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. — New York: Association for Computing Machinery, 2022. — Id. 408. — 13 p.
Haitsma J., Kalker T. A Highly robust audio fingerprinting system // Proceedings of ISMIR 2002, 3rd International Conference on Music Information Retrieval. — Paris, France, 2002. — P. 107—115.
Kislov K.V., Gravirov V.V. Earthquake arrival identification in a record with technogenic noise // Seismic
Instruments. - 2011. - V 47. - P. 66-79. - DOI: 10.3103/ S0747923911010129
Kislov K. V., Gravirov V. V. Use of artificial neural networks for classification of noisy seismic signals // Seismic Instruments. - 2017. - V. 53, N 1. - P. 87-101. - DOI: 10.3103/S0747923917010054
Kislov K.V., Gravirov V.V., Vinberg F.E. Possibilities of seismic data preprocessing for deep neural network analysis // Izvestiya, Physics of the Solid Earth. - 2020. - V 56, N 1. - P. 133-144. - DOI: 10.1134/S106935132001005X.
- EDN OZIJRL
Lin J.-W., Chiou J.-S. Active probability backpropagation neural network model for monthly prediction of probabilistic seismic hazard analysis in Taiwan // IEEE Access.
- 2019. - N 7. - P. 08990-109014. - DOI: 10.1109/ ACCESS.2019.2932991
Liu H., Song J., Li Sh. Seismic event identification based on a generative adversarial network and support vector machine // Frontiers in Earth Science. - 2022. - V 10, N 2. - DOI: 10.3389/feart.2022.814655 Lu J., Wu B. A Loss function base on softmax for expression recognition // Mobile Information Systems. - 2022. - N 6. - P. 1-6. - ID 8230154. - DOI: 10.1155/2022/8230154
Miao F., Carpenter N., Wang Zh., Holcomb A., Woolery E. High-Accuracy discrimination of blasts and earthquakes using neural networks with multiwindow spectral data // Seismological Research Letters. - 2020. - V. 91, N 3. -P. 1646-1659. - DOI: 10.1785/0220190084
Mousavi S.M., Beroza G. A Dataset of published journal papers using neural networks for seismological tasks // Zenodo. - 2022b. - DOI: 10.5281/zenodo.6386952 Mousavi S.M., Beroza G.C. Deep-learning seismology // Science. - 2022a. - V. 377. - P. eabm4470. - DOI: 10.1126/science.abm4470
Mousavi S. M., Beroza G. C. Machine learning in earthquake seismology // Annual Review of Earth and Planetary Sciences. - 2023. - V 51, N 1. - P. 105-129. - DOI: 10.1146/annurev-earth-071822-100323 Perol Th., Gharbi M., Denolle M. Convolutional neural network for earthquake detection and location // Science Advances. - 2018. - V 4, N 2. - P. e1700578. - DOI: 10.1126/sciadv. 1700578
Ramasamy S., Natarajan Yu., Rathinakumar A., Lee D.-E., Choi Yo., Park Y.-J., Yi Ch.-Yo. A Stacked generalization
model to enhance prediction of earthquake-induced soil liquefaction // Sensors. - 2022. - V. 22, N 7. - P. 7292. -DOI: 10.3390/s22197292
Rojas O., Otero B., Alvarado L., Mus S., Tous R. Artificial neural networks as emerging tools for earthquake detection // Computacion y Sistemas. - 2019. - V. 23, N 2. -P. 335-350. - DOI: 10.13053/CyS-23-2-3197
Ross Z.E., Meier M.-A., Hauksson E. P wave arrival picking and first-motion polarity determination with deep learning // Journal of Geophysical Research: Solid Earth. - 2018. - V 123, N 6. - P. 5120-5129. - DOI: 10.1029/2017JB015251
Sadhukhan B., Chakraborty S., Mukherjee S. Predicting the magnitude of an impending earthquake using deep learning techniques // Earth Science Informatics. - 2023. -V. 16. - P. 803-823. - DOI: 10.1007/s12145-022-00916-2 Shi Y., Zhang D., Ji H., Dai R. Application of syn-chrosqueezed wavelet transform in microseismic monitoring of mines // IOP Conference Series: Earth and Environmental Science. - 2019. - N 384. - Id. 012075. -DOI: 10.1088/1755-1315/384/1/012075
Silkin K.Yu. Seismogram fingerprints as a tool for automatic filtering of low-frequency noise // Seismic Instruments. - 2023. - V. 5. (In press).
Wang A.L.-Ch. An industrial strength audio search algorithm // Proceedings of ISMIR 2003, 4th International Conference on Music Information Retrieval. - Baltimore, Maryland, USA, 2003. - P. 7-13.
Yoo J., Hong S., Ahn J. Seismic ground response prediction based on multilayer perceptron // Applied Sciences. - 2021. - V 11, N 2. - P. 2088. - DOI: 10.3390/ app11052088
Yoon C.E., O'Reilly O., Bergen K.J., Beroza G.C. Earthquake detection through computationally efficient similarity search // Science Advances. - 2015. - V 1, N 11. -P. 1-13. - DOI: 10.1126/sciadv. 1501057 Yuan X., Li L., Zhang H., Zhu Ya., Chen G., Dagli C.H. Machine learning-based seismic damage assessment of residential buildings considering multiple earthquake and structure uncertainties // Natural Hazards Review. - 2023. - V. 24, N 3. - P. 04023024. - DOI: 10.1061/NHREFO. NHENG-1681
Zhu W. Applications of deep learning in seismology. PhD diss. - Stanford: Stanford University, 2021. - 201 p. -DOI: 10.13140/RG.2.2.11835.18720
Сведения об авторе
Силкин Константин Юрьевич, канд. геол.-мин. наук, доц., науч. сотр. Федерального государственного учреждения науки Федерального исследовательского центра «Единая геофизическая служба Российской академии наук» (ФИЦ ЕГС РАН), г. Обнинск, Россия. E-mail: [email protected]
A neural network expert system that allows assessing the quality of the algorithm for choosing the parameters of optimal removal of low-frequency noise from seismograms using the fingerprint method
© 2023 K.Yu. Silkin
GS RAS, Obninsk, Russia Received July 22, 2023
Abstract The article summarizes the results of research on the application of the fingerprint method in seismology. This method can be successfully used in solving various practical problems. We have used it as an effective tool for a thorough analysis of noisy seismograms of regional explosions and earthquakes in order to select the optimal filtering frequency. The cut-off frequency selected with the help of fingerprints will allow you to design an optimal filter that not only reliably suppresses low-frequency noise, but also carefully preserves the signal it hides. Moreover, the method works well when the noise intensity exceeds the signal intensity many times over and under conditions of partial overlap of their frequency ranges. Fundamental is the initial orientation of the method towards automatic implementation with minimal use of additional information. In conclusion, this article proposes to use a neural network expert system that allows you to evaluate the quality of the fingerprint algorithm. To create such a system, we needed to explore current trends in seismology regarding the use of artificial neural networks. Based on extensive worldwide experience, it has been shown that there is a clear renewed interest in the use of small, low-cost networks. The principle on which they are based lies in their perception as training and input data of compact, complexly structured parameters of a high degree of transformation of primary seismograms. It is these parameters that include the characteristics taken from fingerprints using the algorithms we propose. So our experience in creating a neural network expert system naturally turned out to be successful. The reliability of the estimates obtained turned out to be very close to the practical limit of the fingerprint method.
Keywords Wavelet transform, fingerprints, low-frequency noise, filtering, earthquake, explosion, deep artificial neural networks.
For citation Silkin, K.Yu. (2023). [A neural network expert system that allows assessing the quality of the algorithm for choosing the parameters of optimal removal of low-frequency noise from seismograms using the fingerprint method]. Rossiiskii seismologicheskii zhurnal [Russian Journal of Seismology], 5(3), 67-82. (In Russ.). DOI: https://doi.org/10.35540/2686-7907.2023.3.05. EDN: XXYCLA
Reference
Baluja, Sh., & Covell, M. (2008). Waveprint: Efficient wavelet-based audio fingerprinting. Pattern Recognition, 41(11), 3467-3480. DOI: 10.1016/j.patcog.2008.05.006 Bergen, K.J., & Beroza, G.C. (2019). Earthquake fingerprints: Extracting waveform features for similarity-based earthquake detection. Pure and Applied Geophysics, 176, 1037-1059. DOI: 10.1007/s00024-018-1995-6
Brandusoiu, I.B., & Toderean, G.I. (2020). How to fine-tune neural networks for classification. Bucharest: GAER Publishing House, 78 p.
Canario, J.P., Mello, R., Curilem, M., Hue-nupan, F., & Rios, R. (2020). In-depth comparison of deep artificial neural network architectures on seismic events classification. Journal of Volcanology and
Geothermal Research, 401(5), 106881. DOI: 10.1016/j. jvolgeores. 2020.106881
Del Pezzo, E., Esposito, A., Giudicepietro, F., Marinaro, M., Martini, M., & Scarpetta, S. (2003). Discrimination of earthquakes and underwater explosions using neural networks. Bulletin of the Seismological Society of America, 93, 215-223. DOI: 10.1785/0120020005
Fragoulis, D., Rousopoulos, G., Panagopoulos, T., Alex-iou, C., & Papaodysseus, C. (2001). On the automated recognition of seriously distorted musical recordings.
IEEE Transactions on Signal Processing, 49(4), 898-908.
Gortler, J., Hohman, F., Moritz, D., Wongsupha-sawat, K., Ren, D., Nair, R., Kirchner, M., & Patel, K. (2022). Neo: Generalizing confusion matrix visualization to hierarchical and multi-output labels. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, 408, 13 p.
Haitsma, J., & Kalker, T. (2002). A Highly robust audio fingerprinting system. Proceedings of ISMIR 2002, 3rd International Conference on Music Information Retrieval (pp. 107-115).
Iulkova, V.M., & Shilovskii, G.V. (2019). [Artificial neural networks. Deep learning]. Monitoring. Nauka i tekhnologii [Monitoring. Science and Technology], 4(42), 68-72. DOI: 10.25714/MNT.2019.42.010. EDN: XSPOLJ
Kislov, K.V., & Gravirov, V.V. (2011). Earthquake arrival identification in a record with technogenic noise. Seismic Instruments, 47(1), 66-79. DOI: 10.3103/ S0747923911010129
Kislov, K.V., & Gravirov, V.V. (2017). Use of artificial neural networks for classification of noisy seismic signals. Seismic Instruments, 53(1), 87-101. DOI: 10.3103/ S0747923917010054
Kislov, K.V., Gravirov, V.V., & Vinberg, F.E. (2020). Possibilities of seismic data preprocessing for deep neural network analysis. Izvestiya, Physics of the Solid Earth, 56(1), 133-144. DOI: 10.1134/S106935132001005X. EDN: OZIJRL
Lin, J.-W., & Chiou, J.-S. (2019). Active probability backpropagation neural network model for monthly prediction of probabilistic seismic hazard analysis in Taiwan. IEEE Access, 7, 08990-109014. DOI: 10.1109/ ACCESS. 2019.2932991
Liu, H., Song, J., & Li, Sh. (2022). Seismic event identification based on a generative adversarial network and support vector machine. Frontiers in Earth Science, 10, ID 814655. DOI: 10.3389/feart.2022.814655 Lu, J., & Wu, B. (2022). A Loss function base on softmax for expression recognition. Mobile Information Systems, 6, 1-6. ID 8230154. DOI: 10.1155/2022/8230154 Miao, F., Carpenter, N., Wang, Zh., Holcomb, A., & Woolery, E. (2020). High-Accuracy discrimination of blasts and earthquakes using neural networks with multiwindow spectral data. Seismological Research Letters, 91(3), 1646-1659. DOI: 10.1785/0220190084 Mousavi, S.M., & Beroza, G.C. (2022b). A dataset of published journal papers using neural networks for seismological tasks. Zenodo. DOI: 10.5281/zenodo.6386952 Mousavi, S.M., & Beroza, G.C. (2022a). Deep-learning seismology. Science, 377, eabm4470. DOI: 10.1126/ science.abm4470
Mousavi, S.M., & Beroza, G.C. (2023). Machine learning in earthquake seismology. Annual Review of Earth and Planetary Sciences, 51(1), 105-129. DOI: 10.1146/annurev-earth-071822-100323 Perol, Th., Gharbi, M., & Denolle, M. (2018). Con-volutional neural network for earthquake detection and location. Science Advances, 4(2), e1700578. DOI: 10.1126/sciadv. 1700578
Prilepov, E.V. (2018). [Assessment of the quality of algorithms based on the inaccuracies matrix]. Evraziiskii
soiuz uchenykh [Eurasian Union of Scientists], 8-1, 55-58. (In Russ.). EDN: YZJIJN
Ramasamy, S., Natarajan, Yu., Rathinakumar, A., Lee, D.-E., Choi, Yo., Park, Y.-J., & Yi, Ch.-Yo. (2022). A Stacked generalization model to enhance prediction of earthquake-induced soil liquefaction. Sensors, 22(7), 7292. DOI: 10.3390/s22197292
Rojas, O., Otero, B., Alvarado, L., Mus, S., & Tous, R. (2019). Artificial neural networks as emerging tools for earthquake detection. Computation y Sistemas, 23(2), 335-350. DOI: 10.13053/CyS-23-2-3197
Ross, Z., Meier, M.-A., & Hauksson, E. (2018). P wave arrival picking and first-motion polarity determination with deep learning. Journal of Geophysical Research: Solid Eiarth, 123(6), 5120-5129. DOI: 10.1029/2017JB015251
Sadhukhan, B., Chakraborty, S., & Mukherjee, S. (2023). Predicting the magnitude of an impending earthquake using deep learning techniques. Earth Science Informatics, 16, 803-823. DOI: 10.1007/s12145-022-00916-2
Shi, Y., Zhang, D., Ji, H., & Dai, R. (2019). Application of synchrosqueezed wavelet transform in microseis-mic monitoring of mines. IOP Conference Series: Earth and Environmental Science, 384. DOI: 10.1088/17551315/384/1/012075
Silkin, K.Yu. (2020). [Using wavelet analysis as an additional criterion for identifying the nature of a seismic event]. In Struktura, veshchestvennyi sostav, svoistva, sovremennaia geodinamika i seismichnost platformennykh territorii i sopredel'nykh regionov: materialyXXII Vserossiiskoi s mezhdunarodnym uchastiem nauchnoprakticheskoi Shchukinskoi konferentsii. Pod red. L.I. Nadezhka, T.B. Silkinoi [Structure, material composition, properties, modern geodynamics and seis-micity of platform territories and adjacent regions. Proceedings of the XXII All-Russian scientific and practical Shchukin conference with international participation. Eds. L.I. Nadezhka, T.B. Silkina] (pp. 328334). Voronezh, Russia: VSU Publ. (In Russ.). EDN: VHXKWM
Silkin, K.Yu. (2022). [Fingerprints of seismogram wavelet analysis results as a tool for creating a compact signal image for the purposes of neural network recognition]. Rossiiskii seismologicheskii zhurnal [Russian Journal of Seismology], 4(4), 42-55. (In Russ.). DOI: 10.35540/2686-7907.2022.4.03. EDN: EMMMDC
Silkin, K.Yu. (2023). [Automatic denoising of seismo-grams using fingerprints: Algorithms, properties, limitations]. Vulkanologiia i seismologiia [Volcanology and Seismology], 17. (In Russ.). (In press).
Silkin, K.Yu. (2023). [Seismogram fingerprints as a tool for automatic filtering of low-frequency noise]. Seismicheskie pribory [Seismic Instruments], 5. (In Russ.). (In press).
Ul'ianov, N.A., Iaskevich, S.V., Dergach, P.A., & Iab-lo-kov, A.V. (2021). [Detection of records of weak local earthquakes using neural networks]. Geofizicheskie tekhnologii [Geophysical technologies], 2, 13-23. DOI: 10.18303/2619-1563-2021-2-13. EDN: YDFWLR Wang, A.L.-Ch. (2003). An industrial strength audio search algorithm. Proceedings of ISMIR 2003, 4th International Conference on Music Information Retrieval (pp. 7-13).
Yoo, J., Hong, S., & Ahn, J. (2021). Seismic ground response prediction based on multilayer perceptron.
Applied Sciences, 11(2). DOI: 10.3390/app11052088
Yoon, C.E., O'Reilly, O., Bergen, K.J., & Beroza, G.C. (2015). Earthquake detection through computationally efficient similarity search. Science Advances, 1(11), 1-13. DOI: 10.1126/sciadv.1501057 Yuan, X., Li, L., Zhang, H., Zhu, Ya., Chen, G., & Dagli, C.H. (2023). Machine learning-based seismic damage assessment of residential buildings considering multiple earthquake and structure uncertainties. Natural Hazards Review, 24(3). DOI: 10.1061/ NHREFO.NHENG-1681
Zhu, W. (2021). Applications of Deep Learning in Seismology. PhD diss. Stanford: Stanford University, 201 p. DOI: 10.13140/RG.2.2.11835.18720
Information about author
Silkin Konstantin Yurievich, PhD, Associate Professor, Researcher of the Geophysical Survey of the Russian Academy of Sciences (GS RAS), Obninsk, Russia. E-mail: [email protected]
