CC BY
89
Применение сверточных нейронных сетей для определения местоположения каналов на сейсмических изображениях
Ф.В.Краснов, А.В.Буторин, А.Н.Ситников
Аннотация—Задача поиска полезной информации в сейсмических данных является одним из этапов построения геологических моделей. Автоматизация этого процесса затруднена в связи с отсутствием достаточного количества размеченных данных и вычислительных ресурсов. Компьютерное зрение применено авторами данного исследования для поиска подходов к классификации сейсмических данных. В предыдущих исследованиях авторы разработали метод спектральной декомпозиции сейсмических сигналов с целью получения ложно-цветовых изображений. Спектральная
декомпозиция сейсмических сигналов использована в данном исследовании для создания набора данных. Для решения задач классификации изображений авторами применена глубокая нейронная сеть. Полученные результаты позволяют определять геологические объекты с точностью 90% (метрика На основании полученных результатов могут быть произведены усовершенствования организационных процессов организаций, занимающихся обработкой сейсмических данных. Автоматизированные процессы выделения геологических объектов позволят ускорить получение и одновременно повысить точность информации о геологической обстановке месторождения для построения структурных моделей месторождения.
Ключевые слова— Машинное обучение с учителем, малые наборы данных, спектральная декомпозиция, сейсмика, геологические объекты, компьютерное зрение.
I. Введение
В настоящее время нейронные сети получили широкое распространение в качестве инструмента для решения различных задач нефтегазовой индустрии. Эксперты отмечают, что этому способствует рост производительности вычислительных систем и новые типы нейронных сетей с большим количеством слоев, так называемые глубокие нейронные сети (Р№Ы). Количество слоев в таких сетях может быть несколько десятков, но есть образцы DNN сетей, содержащих более ста слоев.
Статья получена 26 января 2018.
Ф.В.Краснов, к.т.н., эксперт, ООО «Газпромнефть НТЦ», г. Санкт-Петербург, набережная реки Мойки д.75-79, 190000. krasnov.fv@gazprom-neft.ru, orcid.org/0000-0002-9881-7371, РИНЦ 8650-1127
А.В.Буторин, эксперт, ООО «Газпромнефть НТЦ», г. Санкт-Петербург, набережная реки Мойки д.75-79, 190000. (email:Butorin.AV@gazpromneft-ntc.ru),
А.Н.Ситников, ЗГД по ГИРМ, ООО «Газпромнефть НТЦ», г. Санкт-Петербург, набережная реки Мойки д.75-79, 190000. (email:Sitnikov.AN@gazpromneft-ntc.ru)
Одним из примеров DNN сети является Xception, описанная в работе [1]. Точность предсказаний на основе Xception по сравнению с другими DNN представлена в таблице (Таблица 1).
Таблица 1 Максимальная точность предсказаний различных БММ.
Название DNN Точность (Top-5 accuracy)
VGG-16 90%
ResNet-152 93%
Inception V3 94%
Xception 95%
Такие результаты достигнуты за счет применения в Xception архитектуры с 126 слоями.
Обучение DNN представляет сложную инженерную задачу. Обычно для этого используют размеченные наборы, например, ImageNet. Набор ImageNet содержит двадцать одну тысячу классов объектов, однако нейронные сети обучают распознавать только 1000 из них. В ImageNet классы образуют иерархию. Например, указывается, что на изображении не просто кот, а конкретный вид кота (сиамский, египетский и т.п.). Для Xception количество параметров, которые нужно оптимизировать в процессе обучения составляет немного более 22 миллионов. На обучение Xception по набору ImageNet был использован уникальный по производительности вычислительный кластер [2].
Одной из задач геологических исследований месторождений является анализ сейсмических исследований. Одним из результатов исследований являются трехмерные сейсмические кубы с амплитудами сигналов. Для каждой точки сетки на поверхности измеряется акустический отклик на возбужденный сигнал. Пример распределения амплитуды сигналов в пространстве приведен на рисунке (Рисунок 1).
Рисунок 1 Пример среза сейсмического куба в плоскости Y-Z.
Современным подходом к выявлению геологических объектов из сейсмических кубов является спектральная декомпозиция [3]. В результате применения спектральной декомпозиции к сейсмическим кубам получаются отдельные кубы с амплитудами по каждой частоте из выбранного для разложения диапазона. Диапазон частот определяется на основе частотного спектра сейсмического куба. На рисунке (Рисунок 2) приведен пример спектра сейсмического куба, полученный с помощью быстрого преобразования Фурье (FFT).
24.23 HZ 37.44 Hz 44 05 Hz
100 150
Frequency. Hz
Рисунок 2 Частотный спектр сейсмического куба. Выделены аномальные амплитуды частот.
Полученные частотные кубы смешиваются для получения ложно цветовых (RGB) изображений по определенным сейсмическим отражающим горизонтам
(Рисунок 3).
Ч' 11 ^ Jk. '
\
' 1юГ " w
л
Рисунок 3 Ложно-цветовое (RGB) изображение, полученное в результате смешивания амплитуд разложения CWT по частотам 20, 30 и 40 Гц.
Традиционно в компетенции геолога входит интуитивный подбор отражающего горизонта, частот и принципа смешивания для дальнейшего анализа RGB изображений. Поиск геологических объектов при таком подходе становится трудоемкой аналитической задачей, требующей от специалистов глубокой экспертизы. В большинстве специального программного обеспечения для решения этих задач применяются эвристики, искусственно сужающие объем анализируемой информации.
Основная проблема, решаемая с данной статье, состоит в том, чтобы найти способ перенесения экспертизы геолога по выявлению геологических объектов в цифровой алгоритм. Авторы выдвинули следующую исследовательскую гипотезу:
Исследовательская гипотеза: Алгоритмы машинного обучения на основе глубоких нейронных сетей позволяют с высокой точностью производить выявление геологических объектов из данных полевых сейсмических исследований обработанных с помощью методов спектральной декомпозиции с использованием «дообучения с учителем » на малых наборах данных.
Данное исследование состоит из введения, описания сложившихся методов и методов, разработанных авторами для подтверждения выдвинутой гипотезы, результатов цифровых экспериментов и заключения.
II. Методика исследования
Стержнем данного исследования является решение задачи классификации изображений с помощью обучения с учителем (supervised learning) на малых наборах данных. Схематически подход, предложенный авторами изображен в виде каркаса исследования на рисунке (Рисунок 4).
Канала нет Канал есть
f \
Обучение глубокой нейронной сети
V. J
Сейсмические кубы Дизайн признаков Создание набора данных
Рисунок 4 Каркас исследования.
Далее каждый из элементов исследовательского каркаса рассмотрен подробнее с точки зрения методики обработки данных и построения алгоритмов.
1. Сейсмические кубы
С точки зрения данных сейсмические кубы представляют файлы в формате SEG-Y. SEG-Y- это открытый формат данных, содержащий акустические трассы. Размер SEG-Y файлов может колебаться от 1 Гб до 100 Гб. В одном таком файле содержится информация об определенной площади месторождения - это может быть площадь размером в десятки квадратных километров. Количество трасс в одном кубе может быть в среднем несколько миллионов штук. Каждая трасса обладает шагом дискретизации по времени в 1-4 мс. Таким образом, общая трехмерная сетка куба может быть представлена в среднем размерностью (3000, 3000, 2000). После конвертации каждый сейсмический куб представляется в формате Python Numpy.
2. Дизайн признаков
Поиск геологических объектов ведется в определенном диапазоне сейсмического времени (ось Z). Для задания верхней и нижней границ этого диапазона используются секущие поверхности, называемые отражающими горизонтами (ОГ). Определение оптимального ОГ это отдельная оптимизационная задача, поэтому для ее выполнения выбранный диапазон делится на несколько конформных ОГ. В каком из выделенных ОГ проявит себя геологический объект на данном этапе точно не известно.
Для того чтобы перейти из пространства координат и глубин в пространство координат и частот для выбранного диапазона, ограниченного ОГ выполняется непрерывное вейвлет-преобразование (CWT).
После этого каждое сечение частотного куба отражающим горизонтом представляет двумерную карту амплитуд частот. Для визуализации таких карт используется механизм RGB смешивания (RGB blending), рассмотренный в работе [4]. Количество получаемых RGB карт можно оценить по формуле (Формула 1):
NumOfRGBmaps = ReflHorDim * C™eBqdj™cyDim
Формула 1 Количество получаемых RGB карт.
Где NumOfRGBmaps - это количество RGB карт, ReflHorDim - это количество конформных горизонтов в выбранном диапазоне. C¡j¡!!;°l£!ü¡£yDim - это количество сочетаний из количества выбранных частот (FrequencyDim) по количеству цветов (ColorDim) для рассматриваемого случая ColorDim = 3 (RGB).
Полученные двумерные RGB карты являются исходными данными для поиска геологических объектов.
3. Создание набора данных
Основная задача создания набора данных состоит в том, чтобы подготовить полученные RGB карты для процесса машинного обучения. RGB карта может содержать или не содержать геологические объекты. Для разметки набора данных необходимо вручную отнести данную RGB карту к определенному классу.
На основании размеченного набора данных будет возможно решить задачу бинарной классификации. Отметим, что размерность RGB карты равна рассматриваемой площади месторождения. Как упоминалось ранее это в среднем (3000, 3000). Для эффективного использования алгоритмов
компьютерного зрения RGB карты было принято решение разбить ее на изображения размером (224,224). Таким образом, для каждой карты получилось в среднем 169 изображений (мини RGB карт).
Полная разметка полученного набора данных - это около 16 миллионов мини RGB карт. Поэтому было принято решение разметить небольшое подмножество мини RGB карт состоящее из 50 мини RGB карт с каналами и 50 мини RGB карт без каналов.
4. Обучение глубокой нейронной сети
Мы рассмотрели следующие архитектуры глубоких нейронных сетей:
• VGG16 - сеть Visual Geometry Group из университета Оксфорда для распознавания объектов на изображениях, состоит из 16 слоев [5].
• Inception v3 - нейронная сеть компании Google для распознавания объектов на изображениях. Состоит из 159 слоев [6].
• ResNet50 - нейронная сеть компании Microsoft, использующая остаточное обучение (residual learning). Применяется для распознавания объектов на изображениях. Состоит из 168 слоев [7].
• Xception - модификация сети Inception содержащая 126 слоев [1].
Руководствуясь сравнениями точности
вышеперечисленных архитектур нами была выбрана наиболее современная архитектура Xception.
Задача обучения DNN не может быть решена на имеющемся у нас наборе данных в виду того, что набор размеченных данных слишком мал. С другой стороны, если разметить больше данных, то мы не обладаем достаточными вычислительными ресурсами для обучения DNN, выбранной архитектуры. Поэтому нами было принято решение использовать параметры
полученные в результате обучения Xception на наборе данных ImageNet.
Обученная на наборе данных ImageNet DNN Xception предназначена для классификации 1000 классов бытовых объектов из ImageNet. Геологических объектов в наборе данных ImageNet нет. Поэтому авторы данного исследования воспользовались методикой переноса знаний. Суть методики переноса знаний состоит в том, чтобы использовать только часть обученных слоев DNN, разработать собственные слои и дообучить DNN на данных из необходимого проблемного домена. В рассматриваемом исследование на изображениях мини RGB карт.
Авторами были добавлены один pooling и 5 full connected слоев (Рисунок 5) с размерностями (1024, 512, 256, 64, 1).
Рисунок 5 Альтернативные слои для DNN.
Таким образом, была создана возможность дообучения слоев, отображенных на рисунке (Рисунок
5).
Для искусственного увеличения набора данных авторами применена методика аугментирования изображений, усовершенствованная на основе исследования [8]. К каждому размеченному изображению был применен определенный набор трансформаций. В результате количество различных изображений в наборе данных было увеличено в 12 раз. На рисунке (Рисунок 6) приведен пример аугментирования одной мини RGB карты.
Рисунок 6 Пример аугментирования одной мини RGB карты.
III. Результаты эксперимента
Для обучения модели были использованы следующие оптимизационные алгоритмы:
• Stochastic gradient descent optimizer
• RMSProp optimizer
• Adam optimizer
В качестве функции потерь Llog(y,р) в процессе оптимизации использована функция перекрёстной энтропии (Формула 2).
код(.У' Р) = -(ylog (р) + (1 - у) log (1 - р))
Формула 2 Перекрестная энтропия, используемая в качестве функции потерь (loss function).
Где истинный класс у Е {0,1}, а р - это вероятность того, что у = 1.
Обучение модели производилось в двух режимах:
Режим обучения I. Обучение производится только по добавленным авторами слоям. Параметры полученных при обучении модели на данных ImageNet не изменяются. Кривые обучения для различных оптимизаторов с уже подобранными параметрами (learning rate, и другие специфичные для каждого оптимизатора параметры) представлены на рисунке (Рисунок 7).
Рисунок 7 Кривые обучения для различных оптимизаторов в Режиме I.
Режим обучения II. Производится обучение всех параметров. Параметры полученные при обучении модели на данных ImageNet используются как начальные. Кривые обучения для различных оптимизаторов с уже подобранными параметрами (learning rate, и другие специфичные для каждого оптимизатора параметры) представлены на рисунке (Рисунок 8).
Рисунок 8 Кривые обучения для различных оптимизаторов в Режиме II.
В итоговом варианте авторы остановились на оптимизационном алгоритме Adam [9] в Режиме II с параметрами оптимизатора learning rate = 3.16е — 4 , beta1 = 0.9 , beta2 = 0.999 . Процесс обучения занимал в среднем около 18 часов. Отметим, что в Режиме I процесс обучения занимал около часа. Такое различие в скорости обучения объясняется различием в количестве параметров. Оптимизатор Adam [9] показал более быструю сходимость и производительность. Для проверки качества обучения модели использовалась метрика Accuracy. На рисунке (Рисунок 9)
представлены значения метрики Accuracy в зависимости от шага обучения для различных параметров learning rate выбранного оптимизатора Adam [9] в Режиме II.
Рисунок 9 Значения метрики Accuracy в зависимости от шага обучения для различных параметров learning rate выбранного оптимизатора Adam [9] в Режиме II.
Для выбора порога вероятности принятия положительного решения по отнесению к классу был сделан анализ метрик Precision vs. Recall. По условиям поставленной задачи нас в большей степени интересовало обнаружение каналов на RGB картах. Наличие небольшого количества случаев определения False Positive не является критичным. Итоговые значения метрик точности представлены в таблице (Таблица 2).
Таблица 2 Отчет о классификации.
labels precision recall fl-score support
no channel 0.89 0.92 0.91 26
channel 0.91 0.88 0.89 24
avg/total 0.90 0.90 0.90 50
На основе обученной модели была произведена классификация изображений RGB карт для одного месторождения. На рисунке (Рисунок 10) приведены две карты RGB отнесенные к разным классам на основании решения модели.
Рисунок 10 Две RGB карты. Левая классифицирована как имеющая каналы, правая каналов не имеет. Квадрат 224,224 обозначает область на основании которой принималось решение о классификации.
IV. Заключение
Современный уровень открытости сообщества по развитию глубоких нейронных сетей позволяет небольшим исследовательским организациям решать свои производственные задачи с помощью наиболее передовых алгоритмов. Публикация в открытом доступе не только программного кода, но и параметров, обученных глубоких нейронных сетей, выводит на новый уровень возможности по классификации геологических изображений.
В данном исследовании авторами получены результаты метрике Accuracy сравнимые с заявленными для данной архитектуры глубокой нейронной сети. Среднее значение метрики F1-score составило точность 90%.
Авторами успешно использованы разработанные ими в предыдущих работах методы спектральной декомпозиции. В настоящем исследовании эти методы получили применение в создании набора данных.
Методика аугментации изображений показала себя гибким и универсальным инструментом расширения набора данных. Данный подход может быть использован во многих областях, где возможности по ручному разбиению набора данных на классы для обучения ограничены.
Решенная авторами задача классификации геологических объектов обладает новизной и имеет практическое применение в научно-исследовательских организациях нефтегазовой отрасли.
Полученные авторами автоматизированные процедуры позволяют увеличить точность определения
геологических объектов, что особенно важно в условиях трудно извлекаемых запасов.
Методы по выявлению геологических объектов с помощью глубоких нейронных сетей являются примером подхода «обучения с учителем» который позволяет продвинуться в сложном процессе перехода к концепции «Цифрового месторождения» путем аккумуляции знаний экспертов для многократного применения.
Библиография
[1] Chollet F. Xception: Deep Learning with Depthwise Separable Convolutions //arXiv preprint arXiv:1610.02357. - 2016.
[2] Abadi M. et al. Tensorflow: Large-scale machine learning on heterogeneous distributed systems //arXiv preprint arXiv:1603.04467. - 2016.
[3] Butorin A. V. et al. Approaches to the Analysis of Spectral Decomposition for the Purpose of Detailed Geological Interpretation //SPE Russian Petroleum Technology Conference and Exhibition. -Society of Petroleum Engineers, 2016.
[4] LI Y. et al. Seismic multi-attribute analysis based on RGB color blending technology [J] //Journal of China Coal Society. - 2009. - Т. 11. - С. 018.
[5] Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition //arXiv preprint arXiv:1409.1556. -2014.
[6] Szegedy C. et al. Rethinking the inception architecture for computer vision //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2016. - С. 2818-2826.
[7] He K. et al. Deep residual learning for image recognition //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - С. 770-778.
[8] Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks //Advances in neural information processing systems. - 2012. - С. 1097-1105.
[9] Kingma D., Ba J. Adam: A method for stochastic optimization //arXiv preprint arXiv: 1412.6980. - 2014.
Automatic Detection of Channels in Seismic Images via Deep Convolutional Neural Networks Learning
Fedor Krasnov, Alexander Butorin, Alexander Sitnikov
Abstract — Collecting relevant evidence from seismic data is one of the standard milestones in the timeline of geological modeling.
Automation of this process is difficult due to the lack of labeled dataset and computing resources.
The authors of this paper used computer vision to identify how the seismic data can be classified. In previous studies, the authors developed a method of spectral decomposition of seismic signals in order to obtain false-color images.
Spectral decomposition of seismic signals was used in this study to generate a dataset. The deep neural network was applied to solve problems of image classification. The obtained results allow to determine geological units with a test's accuracy of 90% rendering to F1 score measure.
Based on the results obtained, improvements can be made in the organizational processes of parties engaged in the processing of seismic data.
Automated processes for identifying geological units will speed up the acquisition and at the same time increase the accuracy of information on the geological environments of the deposit for constructing structural oilfield models.
Keywords— Supervised machine learning, small datasets, deep neural networks, spectral decomposition, seismic, geological features, computer vision.
