CC BY
11RECONSTRUCTION OF GEOPHYSICAL MODELS OF ELASTIC
MEDIA USING NEURAL NETS
M.S. Khairetdinov*'**, D. A. Karavaev*, A. A. Yakimenko*'**, A. E. Morozov**
*Institute of Computational Mathematics and Mathematical Geophysics SB RAS,
630090, Novosibirsk, Russia **Novosibirsk State Technical University, 630073, Novosibirsk, Russia
DOI: 10.24411/2073-0667-2020-10012
The work is related to questions of the methodology of using neural networks for the restoration of inhomogeneities in elastic media, which are primarily considered underground cavities. Such problems arise when detecting underground caverns in places of underground explosions, searching for various underground natural voids (grottoes, caves, etc.), man-made underground structures. This also includes on-site inspection tasks related to locating hidden underground explosions at test sites in the interests of the Treaty on the General Prohibition of Nuclear Tests (CTBT).
Such studies are relevant from an environmental point of view. In particular, this is due to the need to monitor the migration paths of environmentally harmful products of radioactive decay in places of underground nuclear tests.
The proposed work is a comprehensive study on the development of neural network architectures for solving the problems of reconstructing heterogeneities in a host geophysical environment based on the results of theoretical and field experiments. Variants of two different architectures of neural networks and their training on the series of results of numerical modeling were developed and investigated. Thus, the work shows the applicability of neural networks to solving the inverse problem of geophysics associated with restoring the geometry of cavernous objects in an elastic medium. In this paper, the cavity is considered as an oval-shaped object with its elastic parameters different from the surrounding medium. The architecture of the neural network was faced with the task of analyzing the sequence of two-dimensional images and their segmentation to restore the position and size of the cavity. Corresponding images of wave fields were obtained as a result of numerical calculations using the developed program for modeling seismic field on computing clusters of the Siberian Supercomputer Center SB RAS. In the result of simulation performed we obtain set of models and set of snapshots for different time intervals showing evolution of seismic waves generated from point source in presence of cavity inclusion. Such material serves as input data for neural network train process. We developed neural networks based on LSTM layer and U-Net architecture. To realize the model based on the LSTM layer, it was necessary develop a unit to encode information from each snapshot into a numerical vector. Such a vector can be transferred to the input of the recurrent layer. The learning process of such a model consists of two stages. First is to train image encoder. Second is to train model restorer from a sequence of numerical vectors obtained by encoder. To obtain encoder with high quality it was trained on the principle of auto-encoder. The structure of the simplest auto-encoder is presented in the paper. After autocoder is trained, its part can be used to encode the input data into a vector of smaller
The reported study was funded by RFBR according to the research project N 19-07-00170, 20-07-00861, project 0315-2019-0003 of ICM&MG SB RAS.
(c) M. S. Khairetdinov, D. A. Karavaev, A. A. Yakimenko, A. E. Morozov, 2020
dimension. Such part of the autocoder is called the encoder. The auto-encoder was assembled from convolution and pulling operations (encoder, first part), sweep and anpuling (decoder, second part). When working with U-Net architecture based neural net there is a problem of storing data in time from all input images. This was solved applying one encoder for all images. In the paper we perform a study to compare results and performance (working time) of neural networks work on models. We perform tests for a single model and ensemble of models on CPU and GPU computing devices. Experimental results shows that neural network based on LSMT-laver works faster than U-net based. However, neural network based on U-net showed results that are more accurate in reconstruction of shape of cavity inclusion.
Key words: parallel algorithm, neural net, elastic media, LSTM layer, U-Net architecture, geophysical model, model reconstruction.
References
1. Khairetdinov, M., Karavaev, D., Yakimenko, A., Morozov, A. Practical aspects the restoring of velocity models of elastic media in the problems of the monitoring of the zones the underground nuclear explosions // International Multidisciplinarv Scientific GeoConference Surveying Geology and Mining Ecology Management, SGEM 19(2.1), P. 1019-1026.
2. Levander A. Fourth-order finite difference P-SV seismograms // Geophysics 53, 1988. P. 14251436.
3. Yakimenko A. A., Morozov A. E., Karavaev D. A. Practical aspects of using a neural network to solve inverse geophysical problems // Journal of Physics: Conference Series. 2018. Vol. 1015: International conference information technologies in business and industry, Tomsk, 2018. Art. 032148 (6 p.). DOI: 10.1088/1742-6596/1015/3/032148.
4. Gavrilov A. V., Maliavko A. A., Yakimenko A. A. Key-Threshold based spiking neural network // 2017 Second Russian-Pacific Conference on Computer Technology and Applications (RPC). IEEE 2017. P. 64-67. DOI: 10.1109/RPC.2017.8168069.
5. LeCun Y. and Bengio Y. The Handbook of Brain Theory and Neural Networks (MIT Press) Convolutional Networks for Images, Speech and Time-Series. 1995.
6. Yue-Hei Ng, Joe and Hausknecht, Matthew and Vijavanarasimhan, Sudheendra and Vinvals, Oriol and Monga, Rajat and Toderici, George. Beyond short snippets: Deep networks for video classification // Proceedings of the IEEE conference on computer vision and pattern recognition, 2015. P. 4694-4702.
7. Hveonwoo Noh, Seunghoon Hong, Bohvung Han. Learning Deconvolution Network for Semantic Segmentation // Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV), December 07-13, 2015. P. 1520-1528, [doi>10.1109/ICCV.2015.178].
8. Ronneberger, O., Fischer, P., Brox, T.: U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention. 2015. P. 234-241.
9. Y. Le Cun. A theoretical framework for back-propagation // Proceedings of the 1988 Connectionist Models Summer School, CMU, Pittsburgh, Pa, 1988, P. 21-28.
ВОССТАНОВЛЕНИЕ ГЕОФИЗИЧЕСКИХ МОДЕЛЕЙ УПРУГИХ СРЕД С ПРИМЕНЕНИЕМ НЕЙРОННЫХ СЕТЕЙ
М.С. Хайретдинов*'**, Д. А. Караваев*, А. А. Якименко*'**, А. Е. Морозов**
* Институт вычислительной математики и математической геофизики СО РАН,
630090, Новосибирск, Россия
**
630073, Новосибирск, Россия
УДК 550.34: 004.41
DOI: 10.24411/2073-0667-2020-10012
В работе представлены результаты исследования по восстановлению модели упругих сред с использованием нейронной сети. Разработаны две нейронные сети для идентификации объекта типа каверна в структуре модели геофизической среды: на основе LSTM-слоя, на основе U-net архитектуры. В качестве каверны рассмотрен объект овальной формы, расположенный в прямоугольной модельной области. Обучение нейронной сети проведено на результатах решения прямой задачи геофизики по расчету волнового поля от точечного источника в изотропной неоднородной среде. Представлено описание реализации нейронных сетей. На тестовых примерах показаны результаты работы обученных сетей по определению формы и положения кавернозного включения, а также сравнение времени обработки на тестовых примерах. Выявлено, что на кавернах произвольной формы нейронная сеть верно определяет местоположение объекта. Форма объекта при этом ошибочно определяется овальной.
Ключевые слова: параллельный алгоритм, нейронная сеть, LSTM слой, U-Net архитектура, геофизическая среда, восстановление модели.
Введение. Работа связана с вопросами методологии применения нейронных сетей для задач восстановления неоднородностей в упругих средах, в качестве которых, в первую очередь, рассматриваются подземные полости. Такие задачи возникают при обнаружении подземных каверн в местах проведения подземных взрывов, поиске различных подземных природных пустот (гротов, пещер и др.), рукотворных подземных сооружений. Сюда же относятся задачи инспекции на месте, связанные с обнаружением мест проведения скрытых подземных взрывов на испытательных полигонах в интересах Договора о всеобщем запрещении ядерных испытаний (ДВЗЯИ) [1].
Такие исследования являются актуальными и с точки зрения экологии. В частности, это связано с необходимостью слежения за путями миграции экологически вредных продуктов радиоактивного распада в местах проведения подземных ядерных испытаний.
Предлагаемая работа представляет комплексное исследование по разработке архитектур нейронных сетей для решения задач восстановления неоднородностей в вмещающей геофизической среде по результатам теоретических и натурных экспериментов [2, 3]. Разработаны и исследованы варианты двух различных архитектур нейронных сетей и их
Работа выполнена при поддержке грантов РФФИ № 19-07-00170, 20-07-00861, проекта 0315-2019-0003 ИВМпМГ СО РАН.
(с) М, С. Хайретдинов, Д. А. Караваев, А. А. Якименко, А. Е. Морозов, 2020
обучение [4-6] на серии результатов численного моделирования. Таким образом, в работе показана применимость нейронных сетей к решению обратной задачи геофизики, связанной с восстановлением геометрии кавернозных объектов в упругой среде, В данной работе каверна рассматривается как объект овальной формы со своими значениями упругих параметров, отличных от вмещающей среды. Перед архитектурой нейронной сети стояла задача анализа последовательности двухмерных изображений и их сегментации для восстановления положения и размеров каверны. Соответствующие снимки волновых полей получены в результате численных расчетов с использованием разработанной программы моделирования сейсмического поля на вычислительных кластерах Сибирского Суперкомпьютерного Центра СО РАН [4].
1. Подготовка данных для обучения. Для обучения нейронной сети необходим набор тестовых данных, которые содержат исходную модель геофизической среды и картины волнового поля, получаемых в результате численных экспериментов. Обучающий материал представляется как результат решения прямой задачи моделирования распространения упругих волн от точечного источника [2]. Такая задача решалась в терминах задания скоростей смещений и напряжений. Для моделирования применялся конечно-разностный метод четвертого порядка точности по пространству на равномерной сетке [1]. Модель изотропной упругой среды была представлена прямоугольной областью в 2D системе координат. Кавернозное включение располагается внутри области моделирования и представлено объектом овальной формы с заданными значениями упругих параметров. Для численных расчетов разработана параллельная программа с использованием средств MPI и ОрепМР, В результате проведенного численного моделирования получаем картину исследуемой модели среды и набор мгновенных снимков волнового поля, отражающих эволюцию сейсмических волн по заданной геометрии модели, рис, 1, На таких снимках можно выделить характерные волны, обусловленные присутствием кавернозного включения.
Следует отметить, что результаты моделирования, представленные на снимках, взаимосвязаны, Наблюдаемая картина распространения волн на текущем снимке зависит от картины на предыдущем снимке (определяется шагом итераций по времени расчета). Отсюда нейронная сеть должна хранить определенную информацию о предыдущих снимках для формирования качественного мнения о структуре модели упругой среды. Таким образом, перед целевой моделью нейронной сети стоит задача анализа последовательности изображений для работы с волновым полем, а также задача сегментации для восстановления положения и размеров каверны,
2. Нейронная сеть на базе LSTM-слоя. Для реализации модели на основе LSTM-слоя в первую очередь необходимо было создать блок нейронной сети для кодирования информации с каждого снимка волнового поля в числовой вектор. Потом вектор можно передавать на вход рекуррентному слою. Одновременное обучение такой модели занимает слишком много памяти. Имеющиеся для выполнения работы вычислительные устройства не обладают необходимыми ресурсами. Поэтому процесс обучения такой модели состоит из двух этапов. Первый — обучение кодировщика снимков волнового поля. Второй — обучение восстановителя модели среды из последовательности числовых векторов, полученных с помощью кодировщика.
Обучение нейронной сети производится на основе алгоритма обратного распространения ошибки, в котором рассчитывается антиградиент матрицы весов для каждого слоя нейронной сети с использованием цепного правила [9]. Обучение выполняется до тех пор,
Рис. 1. Набор моделей и снимков волнового поля
пока значение функции потерь и целевой метрики но сойдется к некоторому установившемуся значению.
Дня получения качественного кодировщика проведено его обучение по принципу автокодировщика, представляющего собой нейронную сеть, которая имеет сужение в своей архитектуре и обучена воспроизводить собственный вход. Автокодировщики довольно широко используются, к примеру, при решении задачи генерации семантических числовых векторов дня снов (\vord2vec). Структура простейшего автокодировщика представлена на рис. 2, В месте сужения автокодировщика (в узлах Ъ\, 22) в ходе обучения формируется числовой вектор. Из такого вектора модель сможет затем восстановить исходные данные. Первую часть перед сужением иос.не обучения автокодировщика можно использовать дня кодирования входных данных в вектор меньшей размерности. Она называется кодировщиком.
В данной работе автокодировщик был собран из операций свертки и нунипга (кодировщик, первая часть), развертки и аннунинга (декодировщик, вторая часть). Здесь нунинг — операция выбора максимального значения из предложенных. В случае архитектуры нейронной сети в нунипг-с.ное из квадрата четырех пикселей выбирается одно максимальное значение, таким образом, что па выходе нунипг-с.ноя получается уменьшенное вдвое изображение. Апнунипг — операция, обратная нунипгу. После аннунинга изображение увеличивается в два раза. Новые пиксели при этом могут заполняться пунями либо же соответствующим значением из входного пикселя.
Архитектура автокодировщика была практически полностью аналогична архитектуре сегментирующей модели нейронной сети из |7|, однако данная технология была неприменима в данной задаче из-за отсутствия передачи данных во времени внутри самой модели.
Восстановитель модели среды принимает па вход последовательность числовых векторов, которая создана кодировщиком и синтезирует геофизическую модель среды, в ко-
Рис. 2. Автокодировщик с сужением в центре на примере нейронной сети из полносвязных слоев
ьйм I
Рис. 3. Архитектура нейронной сети на основе ЬБТМ слоя
торой происходит предполагаемое распространение волнового ноля. Очевидна необходимость использования операций ахшуллинга и развертки дня реализации возможности генерации изображений па основе числовых данных, приходящих с ЬБТМ-слоя |7|. На рис. 3 представлена финальная архитектура разработанной нейронной сети.
3. Нейронная сеть на базе U-Net архитектуры. Для построения модели нейронной сети па основе и-Хс^ архитектуры |8| необходимо было решить вопрос сохранения информации во времени со всех пришедших па вход снимков волнового ноля. Для решения данной проблемы было решено осуществлять буферизацию выходной информации с каждого уровня модели поело прогона каждого снимка волнового ноля. Каждый снимок при этом кодировался с неизменными весовыми коэффициентами. Иначе говоря, дня
Рис. 4. Нейронная сеть на основе U-Not архитектуры
всех снимков волнового ноля использовался один кодировщик вместо отдельных кодировщиков дня каждого снимка. В последующем сумма закодированных свойств с каждого уровня обрабатывалась последующими слоями модели на том же уровне. Таким образом, из каждого снимка, пришедшего на вход модели, извлекались особенности разного уровня, которые затем использовались декодирующей частью. На рис. 4 приведена архитектура модели.
В данной модели имеются „короткие" пути между соответствующими уровнями сети для предотвращения возникновения проблемы затухания градиента. „Короткий" путь прокладывается за счет простой передачи выходных сигналов из начального уровня в конечный. Это увеличивает количество параметров в сети, однако, сохраняет входные данные нетронутыми.
4. Исследование работы нейронных сетей. Важным моментом в решении обратной задачи восстановления является сравнение качества картин восстановленных моделей геофизических сред но сравнению с исходными. Дня этого с использованием разработанных нейронных сетей проведена прямая обработка снимков волновых полой. Полученные результаты представлены на рис. 5 на основе LSTM-слоя и U-Xet архитектуры. Качественное сравнение результатов показывает преимущество использования U-Xet архитектуры перед LSTM-елоем,
По представленным картинам моделей видно, что при использовании U-Xet овальная форма каверны восстановлена в более полной степени. В качестве меры похожести использовалась метрика нересечепия-пад-объедипепием (Intersection-over-Union, IoU), которая показывает, сколько процентов от площади объединения предсказаний сети и правильного ответа занимает их пересечение.
Важным моментом наравне с качеством получаемых результатов является и быстродействие. Дня сравнения времени работы нейронных сетей были проведены эксперименты на вычислительных устройствах: CPU и GPU, рис. 6. Для работы использовались GPU Xvidia GTX 850М (память DDR3 размером 4 Гб, частота ядра равна 876-936 MHz) и Xvidia Titan X (намять GDDR5 12 Гб, частота ядра равна 1000-1089 MHz). Дня оценки времени
Original model , , . . . . Original model
на основе LSTM-слоя на основе U-Not архитектуры
Рис. 5. Результат восстановления модели (сверху исходная модель, снизу восстановленная)
на основе LSTM-слоя на основе U-Not архитектуры
Рис. 6. Обработка моделей на различных устройствах
работы сотой использованы одиночная модель и ансамбль моделей. Ансамбль представляет набор моделей, которые выполняют обработку одних и тех же данных, чьи показания затем усредняются дня улучшения качества их работы. Сравнение времени обработки дня разработанных нейронных сетей на различных устройствах представлено на рис. 6.
Обработка одиночной модели на основе LSTM-слоя работает приблизительно в два раза быстрее па Titan X, чем па CPU Intel Core i5, примерно в полтора раза быстрее, чем на CPU СТХ 850М. При обработке ансамбля также выигрывает Titan X. Время обработки ансамбля моделей па основе LSTM-слоя па нем примерно в 2 раза меньше, чем па CPU Intel Core i5, и в полтора раза меньше, чем на СТХ 850М.
Обработка одиночной модели па основе U-Xet архитектуры занимает примерно в 15 раз больше времени на CPU Intel Core i5 и в 6 раз больше времени на СТХ 850М, чем на Titan X. Обработка ансамбля таких моделей занимает примерно в 22 раза больше времени па CPU Intel Core i5 и в 5 раз больше времени па СТХ 850М, чем на Titan X.
Представленные результаты показывают, что при использовании U-Xet архитектуры модели обрабатываются дольше, по при этом получается более качественный результат. Тем не менее, время обработки одиночной модели не превышает 800 миллисекунд, а время
обработки ансамбля из 5 моделей не превышает 3300 миллисекунд на обычном двухъядер-ном CPU,
Заключение. В работе представлено описание архитектуры и показаны результаты практического применения разработанных нейронных сетей на основе LSTM слоя и U-Net, Полученные результаты показали, что обработка данных на основе LSTM слоя происходит быстрее, чем на основе U-Net архитектуры. Это связано с тем, что кодирующей части такой архитектуры необходимо лишь один раз обработать пришедшие на вход снимки волнового поля. После этого следует анализ получившихся последовательностей векторов разными моделями восстановителя, чтобы получить результат работы ансамбля. Модели на основе U-Net архитектуры не имеют разделений с общими частями, поэтому для анализа картины волнового поля требуется полная обработка каждой U-Net-based моделью. Хотя нейронная сеть на основе LSTM слоя показала лучшее время обработки, U-Net показала лучший результат по качеству. Несмотря на различие, в работе показана применимость обеих архитектур нейронных сетей для восстановления модели геофизической среды (определения положения и формы объекта) в контексте решения обратной задачи.
Список литературы
1. Khairetdinov, М., Karavaev, D., Yakimenko, A., Morozov, A. Practical aspects the restoring of velocity models of elastic media in the problems of the monitoring of the zones the underground nuclear explosions // International Multidisciplinarv Scientific GeoConference Surveying Geology and Mining Ecology Management, SGEM 19(2.1), P. 1019-1026.
2. Levander A. Fourth-order finite difference P-SV seismograms // Geophysics 53, 1988. P. 14251436.
3. Yakimenko A. A., Morozov A. E., Karavaev D. A. Practical aspects of using a neural network to solve inverse geophysical problems // Journal of Physics: Conference Series. 2018. V. 1015: International conference information technologies in business and industry, Tomsk, 2018. Art. 032148 (6 p.). DOI: 10.1088/1742-6596/1015/3/032148.
4. Gavrilov A. V., Maliavko A. A., Yakimenko A. A. Key-Threshold based spiking neural network // 2017 Second Russian-Pacific Conference on Computer Technology and Applications (RPC). IEEE 2017. P. 64-67. DOI: 10.1109/RPC.2017.8168069.
5. LeCun Y. and Bengio Y. The Handbook of Brain Theory and Neural Networks (MIT Press) Convolutional Networks for Images, Speech and Time-Series. 1995.
6. Yue-Hei Ng, Joe and Hausknecht, Matthew and Vijavanarasimhan, Sudheendra and Vinvals, Oriol and Monga, Rajat and Toderici, George. Beyond short snippets: Deep networks for video classification // Proceedings of the IEEE conference on computer vision and pattern recognition, 2015. P. 4694-4702.
7. Hveonwoo Noh, Seunghoon Hong, Bohvung Han. Learning Deconvolution Network for Semantic Segmentation // Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV), December 07-13, 2015. P. 1520-1528, [doi>10.1109/ICCV.2015.178].
8. Ronneberger, O., Fischer, P., Brox, Т.: U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention. 2015. P. 234-241.
9. Y. Le Cun. A theoretical framework for back-propagation // Proceedings of the 1988 Connectionist Models Summer School, CMU, Pittsburgh, Pa, 1988, P. 21-28.
Хайретдинов Марат Са-матович, e-mail: marat@opg. sscc.ru.
Выпускник КАИ — Казанского авиационного института им. А. Н. Туполева (ныне КНИТУ — Казанский национальный исследовательский технический университет), доктор технических наук, профессор кафедры вычислительной техники НГТУ, главный научный сотрудник ИВМиМГ СО РАН. Научные интересы: волновые процессы, проблемы взаимодействия геофизических полей, нелинейные процессы, статистическая обработка сигналов, математическое моделирование, методы оптимизации сложных систем, информационные технологии, мониторинговые сети. Автор и соавтор более 250 научных работ, из них 7 монографий.
Khairetdinov Marat. Graduate of the Kazan Aviation Institute named after A. N. Tupolev (now Kazan National Technical University), Doctor of Technical Sciences, Professor of the Department of Computing Engineering, NSTU, Chief Researcher, ICM & MG SB RAS. Research interests: seismic-acoustic-optical wave processes, problems of the interaction of geophysical fields, nonlinear processes, statistical signal processing, computing. Author and co-author of more than 250 scientific papers, including 7 monographs.
Караваев Дмитрий
Алексеевич, e-mail: kda@opg. sscc.ru.
Окончил Новосибирский государственный универ-
ситет, кандидат физико-математических наук, научный сотрудник. Научные интересы: параллельные вычисления, алгоритмы, разработка программ, моделирование. Автор и соавтор более 50 научных работ.
Karavaev Dmitry. Graduated Novosibirsk State University, PhD in Physical and Mathematical Sciences, Researcher. Research interests: parallel computing, algorithms, program codes development, simulation. Author and coauthor of more than 50 scientific papers.
Якименко Александр Александрович, e-mail:
yakimenko@corp.nstu.ru.
Окончил Новосибирский государственный технический университет, доцент, кандидат технических наук, заведующий кафедрой вычислительной техники НГТУ, научный сотрудник ИВМиМГ СО РАН. Научные интересы: информационные технологии, компьютерные системы, компьютерное моделирование, параллельные вычисления. Автор и соавтор более 50 научных работ.
Yakimenko Alexander. Graduated Novosibirsk State Technical University, Ph.D. of Technical Sciences, Professor, Department of Computer Science of NSTU, Researcher at the Institute of Computational Mathematics and Mathematical Geophysics SB RAS. Research interests: information technology, computer systems, computer simulation, parallel computing, algorithms and programs.
Антон Морозов, e-mail: tony-morozov@mail.ru.
Окончил Новосибирский государственный технический университет, степень магистра. Научные интересы: обработка данных, машинное обучение, нейронные сети, параллельные вычисления, программы и алгоритмы.
Morozov Anton. Graduated Novosibirsk State Technical University, Magister Degree. Research interests: data science, machine learning, neural nets, parallel computing, algorithms and programs.
Дата поступления — 26.02.2020
