CC BY
4
Решение задачи распознавания и сегментации изображений залежей природных ископаемых на основе ансамбля
нейронных сетей
А.И. Комаров, В.В. Холмогоров, Е.М. Заботкина, А.И. Вакуленко, Д.И. Чугунова
Аннотация — Разведка месторождений полезных ископаемых — сложная комплексная задача, для эффективного решения которой необходимо получение максимально возможного количества актуальной информации об исследуемом объекте.
В статье рассматривается возможное решение задачи разведки месторождений полезных ископаемых путем использования инструментария искусственных нейронных сетей. Исходными данными для анализа выступают
гиперспектральные снимки (данные
дистанционного зондирования Земли).
Основной идеей при построении архитектуры в данной работе была возможность комбинировать сегментацию залежей полезных ископаемых на геологической карте региона и их классификацию по типу и объему.
Для решения задачи сегментации был разработан ансамбль алгоритмов кластеризации. Этот ансамбль обеспечивает получение единого вектора меток-кластеров, описывающего принадлежность точек гео-системы к определенным кластерам.
Для решения задачи классификации было принято решение использовать ансамбль DeiT моделей, обеспечивающих высокое качество классификации гиперспектральных изображений в задаче поиска залежей руды. Использование ансамбля DeiT моделей обладает преимуществами перед использованием отдельных моделей DeiT, в частности, такой подход позволяет снизить эффект переобучения и улучшить качество классификации.
Предложенная в работе архитектура продемонстрировала эффективность использования нейронных сетей для решения задач разведки месторождений полезных ископаемых.
Ключевые слова- алгоритм нечетких с-средних; гиперспектральная съемка; дистанционное зондирование Земли; искусственная нейронная сеть; кластеризация; сегментация
1. Введение
В современном мире остро стоит вопрос не только добычи полезных ископаемых в необходимом объеме, но и максимальной автоматизации и ускорения процесса их обнаружения. Соответствующую задачу выполняют немногочисленные ГИС системы,
позволяющие геологам систематизировать литографические изображения, полученные со спутников дистанционного зондирования Земли (далее - ДЗЗ). [7]
Однако это кропотливый труд, требующий от работников многочасовой концентрации внимания и способности замечать мельчайшие детали.
Далее будет описана интеллектуальная классификационная система, созданная для упрощения этой задачи, способная классифицировать рудные и нефтегазовые шлейфы по спутниковым снимкам и предсказывать их примерные границы.
2. Прикладное значение гиперспектральных снимков
Гиперспектральное изображение (ГСИ) — это трехмерный массив данных, содержащих пространственную информацию об объекте (2D) и спектральную информацию (1D), то есть каждому пикселю изображения соответствует спектр, который содержит информацию о химическом составе объекта.
Собранная гиперспектральными датчиками информация в виде набора изображений объединяется в куб гиперспектральных данных, которые можно обрабатывать и анализировать. При этом в гиперспектральном кубе первые два измерения являются пространственными (оси X, Y), то есть отображают конкретное положение объекта по широте и долготе, третье (ось Z) -длина волны X.
Современные технологии ДЗЗ позволяют получать высококачественные изображения, которые дают возможность в реальном времени следить за целевыми регионами или отдельными объектами. Каждому космическому аппарату дистанционного зондирования присущ свой собственный набор сканирующих устройств, наиболее распространены сканеры "ASTER",
"TM" и "ETM+", не все спектральные каналы того или иного сканера задействованы в конкретных конфигурациях оборудования. Например, снимки на спутнике "Terra" получаются с помощью радиометра "ASTER". В данной статье будет рассматриваться набор снимков, полученных именно с помощью "Aster".
В работе [1] авторы отмечают, что в последние десятилетия была успешно внедрена технология гиперспектральной съемки с использованием спектрометров типа push-broom и snapshot в диапазоне VNIR-SWIR, которая позволяет получать детальное изображение минералов жильных пород. Это влияет на качество и характеристики рудного материала на обогатительной фабрике. Система
гиперспектральной съемки, такая как Corescan Hyperspectral Core Imager-3, обеспечивает детальную минералогическую характеристику с разрешением пикселей 500 мкм. Использование подобной системы позволяет лучше идентифицировать железные образования, состоящие из полос от сантиметрового до микрометрового масштаба с сложной и изменчивой минералогией пород.
Существуют два типа отложений, содержащих железную руду — это полосчатые и гранулированные железные образования. Они являются главным источником железа в мире. Хотя оба типа состоят из химических отложений и слоев кремня (кремни, наиболее широко распространенные кремнистые породы химического происхождения), они имеют различия в минералогии и текстуре, которые могут влиять на качество руды и ее технологические характеристики.
Технология гиперспектральной съемки способна отображать ключевые минералы железной руды, а также текстурные взаимосвязи между этими минералами.
Пример гиперспектрального изображения представлен на рисунке 1.
Рис. 1 — Пример гиперспектрального изображения
Для работы с гиперспектральными изображениями необходимо упорядочить данные в трехмерный массив размера М-на-М-на-С. Такой массив состоит из размеров М и N относящихся к пространственным измерениям, а также С, обозначающего количество спектральных длин волн, используемых при сборе данных.
Каждый элемент массива представляет монохроматическое изображение, полученное для определенной длины волны. Таким образом, трехмерный массив можно интерпретировать как совокупность двумерных изображений.
Этот набор изображений, представленный на рисунке 2, называется гиперспектральным кубом данных или кубом данных и необходим для дальнейшей обработки гиперспектральных изображений. После упорядочивания данных в трехмерный массив можно приступать к процессу обработки изображений.
По данным авторов [2] последнее время одно из ведущих мест занимают публикации, касающиеся исследования медно-порфировых систем, особенно по территории Ирана. Это объясняется открытием большого количества месторождений, располагающихся в пределах пустынных, хорошо обнажённых, лишённых растительности ландшафтах.
Рис. 2 — Пример гиперкуба
Авторами статьи приводится пример использования данных ASTER (SWIR, VNIR, TIR) для исследования зон изменённых пород в южной части кайнозойского магматического пояса Урумия-Дохтар, медный пояс Керман (англ. Urumye-Dohtar, Kerman) район Даралу (англ. Daraloo) в Иране, где широко развиты месторождения меди (Cu), молибдена (Mo) и золота (Аи).
56°52'е 5й°56'е 57'0'f.
Î6°52'E 56°S6'E $7°0Ъ
Рис. 3 — Область Даралу (англ. Daraloo, медный пояс Керман, Иран)
На Рис. 3 красная зона указывает на наличие мусковита и глинистых минералов; зелёная зона — на присутствие хлорита-эпидота и кальцита; синяя зона показывает неизменённые породы
фундамента. Белыми эллипсами обозначены медно-порфировые месторождения.
3. Архитектура интеллектуальной системы
Основной идеей при построении архитектуры в данной работе была возможность комбинировать сегментацию залежей полезных ископаемых на геологической карте региона и их классификацию по типу и объему. Для задачи сегментации был разработан ансамбль алгоритмов кластеризации. Этот ансамбль обеспечивает получение единого вектора меток-кластеров, описывающего принадлежность точек гео-системы к определенным кластерам. Для решения задачи классификации было принято решение использовать ансамбль DeiT моделей.
В исследовании, проведенном учеными из Шахид-Бехешти Университета и Национального университета Ирландии, была применена аналогичная методика классификации ансамбля из DeiT для классификации мультиспектральных изображений в задаче поиска залежей руды.
Были использованы два набора данных: Indian Pines и Pavia University. Для каждого набора данных был создан ансамбль из 5 обученных моделей DeiT, обученных на различных случайных инициализациях и соответствующих параметрах обучения.
Результаты показали, что ансамбль из DeiT обеспечивает высокое качество классификации гиперспектральных изображений в задаче поиска залежей руды на обоих наборах данных. Кроме того, использование ансамбля из DeiT позволяет снизить эффект переобучения и улучшить качество классификации по сравнению с использованием отдельных моделей DeiT.
DeiT представляет собой развитие архитектуры EfficientNet, которая сочетает в себе свойства эффективности и точности. Главной особенностью DeiT является использование механизма трансформера в качестве основы сети. Для применения ансамбля из DeiT в задаче классификации мультиспектральных
изображений, используется следующий подход:
1) Некоторое количество обученных DeiT моделей создаются, используя разные случайные инициализации и разные параметры обучения.
2) Для каждой модели создается предсказание для каждого изображения из тестового набора.
3) Полученные предсказания объединяются и используются для предсказания окончательной метки класса изображения.
В этом подходе каждая модель ансамбля из DeiT обучается на различных вариантах данных, что позволяет снизить эффект переобучения и улучшить качество классификации.
4. Сегментация гиперспектральных снимков
Задача распознавания неопределенных зон местности на ГСИ требует проведение анализа данных в условиях неопределенности, следовательно для ее решения обоснованным является использование алгоритмов
кластеризации в условиях неопределенности, что позволит отличить ключевые минералы, разделив спектры поверхностей исследуемой местности.
Для решения подобной задачи целесообразно рассмотреть семейство алгоритмов с-средних:
1) алгоритм нечетких с-средних (FCM-алгоритм, fuzzy c-means);
2) алгоритм возможностных с-средних (PCM-алгоритм, possibilistic c-means);
3) алгоритм возможностно-нечетких с-средних (PFCM-алгоритм, possibilistic fuzzy c-means).
Авторы [3] предложили осуществить совместное использование алгоритмов кластеризации в условиях неопределенности и генетических алгоритмов (ГА), с последующим уточнением с использованием искусственных нейронных сетей (ИНС).
Апробация предлагаемой интеллектуальной технологии сегментации ГСИ была выполнена на реальных данных, в качестве которых использовались ГСИ от гиперспектральной аппаратуры Hyperion (220 спектральных каналов), AVIRIS (224 спектральных канала) и Сокол-ГЦП (75 спектральных каналов).
При проведении экспериментальных исследований по оценке ошибок ложных идентификаций точек ГСИ в качестве эталонных изображений использовались изображения, сегментация которых была выполнена экспертом вручную. [3]
По результатам экспериментальной работы, проведенной коллективом авторов СПбГПУ [3] были получены данные, представленные в Таблице 1:
Таблица 1 — Результаты классификации точек ГСИ
Вариант Точки ГСИ Точки ГСИ,
сегмснтац Всего, Классифицирован классифицирован
ни тыс. ные, тыс. пгг. ные, %
шт. верно ошибо чно верно ошнбо чно
PFCM- 253,0 217,1 35,9 85,8 14,2
алгоритм
PFCM- 253,0 225,0 28,0 88,9 11,1
алгоритм и ГА
PFCM- 253,0 230,7 22,3 91,2 8,8
алгоритм, ГА и ИНС
Кластеризация ГСИ с использованием РБСМ-алгоритма дала незначительное преимущество (порядка 2-4%) перед другими алгоритмами, что позволяет сделать вывод об индивидуальном подходе к решению каждой задачи.
Стоит рассмотреть два алгоритма с-средний -PCM, основанный на учете свойства кластерной типичности и PFCM, основанный одновременно на учете свойств кластерной типичности и типичности объектов.
Кластеризация ГСИ в условиях неопределенности заключается в нахождении разбиения исходного множества точек ГСИ, образующих некоторую структуру кластеров, т.е. в нахождении степеней принадлежности или/и типичности точек ГСИ искомым кластерам.
Гиперспектральное изображение можно представить в виде множества точек 1, q} , i = 1, п, где n - количество точек изображения, а q - количество спектральных каналов [4].
Каждой такой точке соответствует вектор числовых значений спектральных характеристик: Г = (rf.rf,. . ,,r/) , где г/ — числовое значение j-ой спектральной характеристики для i-ой точки
( i = Ш; j = 111) .
В качестве функции расстояния в l-
мерном пространстве спектральных
характеристик может использоваться функция, основанная на вычислении евклидовой метрики (формула 1):
M
7 = 1
(1)
минимизацию
РСМ-алгоритм выполняет целевой функции (формула 2):
с п
/ <ЖЮ = ^^(иъ (п)) т * а2 (у
к=1¿=1
с п
+Е ^ ( ) т <2 )
к=1 ¿=1
где Ш = [и?с (п) ] - возможностное с-разбиение множества точек ГСИ R на основе функций типичности определяющих степень
типичности ьй точки ГСИ к-му кластеру; V = ( у . . ., ус) - центры кластеров;
- расстояние между центром кластера у/си точкой ГСИ г в соответствии с формулой (1); т - фаззификатор (т 6 Я, т > 1 ); ^ (/с = 1 , с) - «ширина зоны», определяющая расстояние, на котором значение функции типичности точки ГСИ к-му кластеру равно 0,5; с - количество кластеров; п - количество точек ГСИ; i = 1 , п; к = 1 , с. Функции типичности могут быть вычислены как (формула 3):
1
™к(п) =-2 С3)
1 +
(d(vk,ri)\ ( Лк )
2
т—1
при этом для каждого к-го кластера (к = 1 , с) должно выполняться условие (формула 4):
= 1
¿=1
(4)
В PCM-алгоритме координаты центров кластеров находятся как (формула 5): I?= lWk*(ri) m*rl
V]k =■
Iï= i™k * (n)-
(5)
Алгоритм PCM отлично справляется в задаче обработки ГСИ, содержащих точки-шумы. Однако, если центры кластеров слишком близки, использование PCM-алгоритма может привести к совпадению кластеров. Это происходит потому, что функции типичности точек ГСИ никак не зависят от расстояния до других кластеров. В этой ситуации, лучше использовать PFCM-алгоритм, который учитывает свойства кластерной относительности и типичности точек ГСИ одновременно.
Алгоритм PFCM осуществляет нечеткую интерпретацию неопределенности, используя значения функций принадлежности и типичности для точек в кластерах. Этот алгоритм реализуется через вычисление координат центров кластеров. PFCM представляет собой возможность нечеткой интерпретации неопределенности, что является его отличительной особенностью.
PFCM-алгоритм выполняет минимизацию целевой функции (формула 6):
с п
J (и, W,V) = ^ ( U (r)т + (™к(п) ) т' ) к=1 ¿=1
* d2(vk,ri) -» min (6)
Где U = [и k(r) ] - нечеткое c-разбиение множества точек ГСИ R на основе функций принадлежности определяющих степень
принадлежности i-й точки ГСИ k-му кластеру;
W = [wk (t)] - возможностное c-разбиение множества точек ГСИ R на основе функций типичности , определяющий степень
типичности i-й точки ГСИ k-му кластеру;
- центры кластеров; - расстояние между центром кластера и точкой ГСИ в соответствии с формулой
(1);
m и m' - фазификаторы (т,т' ER;т,т' > 1 );
c - количество кластеров;
n - количество точек ГСИ; i = 1 ,п; к = 1 ,с.
При реализации PFCM-алгоритма координаты центров кластеров находятся как (формула 7):
Zt 1 ((ик (гд)т + (™к(П))т')T
V]k =
и для каждой точки ГСИ пдолжно выполняться ограничение (8),
I
к = 1
uk (ji) = 1 (ceN и с > 1; i
= 1,п)
(8)
Где и = [и к(г1) ] — нечеткое ^разбиение множества точек ГСИ R на основе функций принадлежности , определяющих степень
принадлежности ьой точки ГСИ ^му кластеру, а для каждого к-го ( I = 1, с) кластера должно выполняться ограничение (9):
I
wk(Xi) = 1 (9) [3]
4 Классификация гиперспектральных снимков
ViT (Vision transformers) - это адаптация к задачам компьютерного зрения архитектуры Трансформеров, изначально создававшихся для задача обработки естественного языка (Рисунок 4). Их отличительной чертой является отказ от применения техники трансляционная симметрии, которая применяется в CNN. Вместо этого ViT использует механизм внимания, который способен определить важнейшую часть изображения. ViT показал свое превосходство над сверточными нейронными сетям, однако для его тренировки требуется больший объем данных и существенные вычислительные мощности.
Рисунок 4 — Vision Transformer [5]
Чтобы устранить эту проблему, была предложена архитектура DeiT (Data-efcient Image Transformers) (Рисунок 5). Эта архитектура позволяет применять механизм дистилляции знаний [8], где CNN - сеть-учитель, ViT - сеть-ученик.
Zi 1 ( (и к(п) ) ™ + (wk (n) ) ™ ' )
(7)
Рисунок 5 — Архитектура Бе1Т [5]
Ансамбль подобных моделей берет доверительный вектор каждой модели и выводит среднее значение. Таким образом, каждая модель прикладывает усилия для решения поставленной задачи.
Таблица 2 — Сравнение производительности вышеуказанных моделей [6]
Model type Dataset Arithmetic ensemble Geometric ensemble Change from AA to GA
Accuracy Fl-score Accuracy Fl-score Accuracy Fl-score
DeiT (3 models) ZooLake 0,994 0,973. 0,996 0,984 0,201 1,131
VÎT (3 models) 0,972 0,922 0,974 0,931 0,206 0,976
CNN (6 models) 0,978 0,924 0,977 0,923 -0,102 -0,108
5 Заключение
В данной статье была предложена архитектура, которая сочетает сегментацию месторождений полезных ископаемых на геологической карте региона с их классификацией по типу и объему. Для того чтобы добиться сегментации, был разработан набор алгоритмов, позволяющий сегментировать залежи полезных ископаемых.
Для классификации гиперспектральных изображений, связанных с полученными данными из ансамбля алгоритмов кластеризации, был использован ансамбль моделей DeIT. Архитектура обеспечивает высококачественные результаты классификации. Это подчеркивает эффективность архитектуры DeIT при изучении геологических структур и классификации гиперспектральных изображений.
Н.И.Нестеров, ведомости
Библиография
[1] Современные методы интеллектуальной обработки данных ДЗЗ/ Н. С. Абрамов, Д. А. Макаров, А. А. Талалаев, В. П. Фраленко// Программные системы: теория и приложения/—2018.— 4(39).—c.417-442
[2] Обзор зарубежных достижений за последние пять лет в обрасти использования мульти и гиперспектральных спутниковых данных и современных методов их обработки в геологических исследованиях/ Смирнова И.О., Кирсанов А.А.1, Камышникова Н.В.//Современные проблемы дистанционного зондирования Земли из космоса/—2020.—1.—c.9-27
[3] Возможностно-нечеткая сегментация изображений земной поверхности с применением генетических алгоритмов и искусственных нейронных сетей/Л.А.Демидова, Р.В.Тишкин//Научно-технические СПбГПУ/—2014 .—3(198) — с. 37—48
[4] Сегментация объектов по данным гиперспектральной съемки Земли с использованием методов искусственного интеллекта/ Демидова Л.А., Еремеев В.В., Мятов Г.Н., Тишкин Р.В., Юдаков А.А.// Цифровая Обработка Сигналов/—2 013 .—4.—c.32-36
ViT-DeiT: An Ensemble Model for Breast Cancer Histopathological Images Classification/ Amira Alotaibi, Tank Alafif, Faris Alkhilaiwi, Yasser Alatawi, Hassan Althobaiti, Abdulmajeed Alrefaei, Yousef M Hawsawi, Tin Nguyen: // [Электронный ресурс]. URL: https://arxiv.org/abs/2211.00749//Submitted on 1 Nov 2022 (Дата обращения 18.04.2023)
Ensembles of data-efcient vision transformers as a new paradigm for automated classifcation in ecology/ S. P. Kyathanahally1, T. Hardeman, M. Reyes, E. Merz, T. Bulas, P. Bran, F. Pomati, M. Baity-Jesi // [Электронный ресурс]. URL: https://www.nature.com/articles/s41598-022-21910-0?error=cookies not supported&code=42b17819-1c32-4458-88ce-24228e0cef93// Published: 03 November 2022 (Дата обращения 18.04.2023)
Соколов С. McKinsey: как сэкономить $370 млрд в год в горнодобыче за счет цифровых технологий: // [Электронный ресурс]. URL:
https://www.forbes.ru/biznes/340559-mckinsey-kak-cifrovye-tehnologii-snizyat-na-17-rashody-v-gornodobyche (Дата обращения 15.04.2023]
Geoffrey E. Hinton, Oriol Vinyals, J. Dean Distilling the Knowledge in a Neural Network: // [Электронный ресурс]. URL: https://arxiv.org/abs/1503.02531 Published 9 March 2015 (Дата обращения 18.04.2023)
[5]
[6]
[7]
[8]
Статья получена 27.10.2023 г.
A.И. Комаров, МИРЭА (e-mail: komarovandrey396@gmail.com
B.В. Холмогоров, МИРЭА (e-mail: Hvv13@mail.ru).
Е. М. Заботкина, МИРЭА (email: zabotkina@mirea.ru )
А. И. Вакуленко, МИРЭА (email: alexavakulenko@yandex.ru) Д. И. Чугунова, МИРЭА (email: dariachugunova2003@gmail. com)
Solving the problem of recognition and segmentation of images of natural resources deposits based on an ensemble of neural
networks
A.I. Komarov, V.V. Kholmogorov, E.M. Zabotkina, A.I. Vakulenko, D.I. Chugunova
Abstract — Exploration of mineral deposits is a complex task, for the effective solution of which it is necessary to obtain the maximum possible amount of relevant information about the object under study.
The article considers a possible solution to the problem of exploration of mineral deposits by using the tools of artificial neural networks.
The main idea in building the architecture in this work was the ability to combine the segmentation of mineral deposits on the geological map of the region and their classification by type and volume.
An ensemble of clustering algorithms has been developed to solve the segmentation problem. This ensemble provides a single vector of cluster labels describing the affiliation of geo-system points to certain clusters.
To solve the classification problem, it was decided to use an ensemble of DeiT models that provide high-quality classification of hyperspectral images in the task of searching for ore deposits. The use of an ensemble of DeiT models has advantages over the use of individual DeiT models, in particular, this approach reduces the effect of retraining and improves the quality of classification.
Keywords — fuzzy c-means algorithm; hyperspectral survey; remote sensing of the Earth; artificial neural network; clustering; segmentation.
Bibliograhy
[1] Modern methods of analytical data processing / N. S. Abramov, D. A. Makarov, A. A. Talalaev, V. P. Ralenko//
Software systems: theory and application/—2018.— 4(39).— pp.417-442
[2] A review of the past 5 years of international advances in multi- and hyperspectral satellite data application and processing techniques in geological research/ Smirnova I.O., A. Kirsanov.A.1, Kamyshnikova N.V.//Modern problems of remote sensing of the Earth from space/-2020.-1.-gr.9-27
[3] Possibilistic-fuzzy segmentation of earth surface images by means of genetic algorithms and artificial neural networks /L.A.Demidova, N.I.Nesterov, R.V.Tishkin//Scientific and technical bulletin of SPbSPU/—2014.—3(198) — pp. 37-48
[4] Segmentation of objects according to hyperspectral survey of the Earth using artificial intelligence methods / Demidova L.A., V. Eremeev.V., Myatov G.N., Tishkin R.V., Yudakov A.A.// Digital Signal Processing/-2013.-4.-gr.32-36
[5] ViT-DeiT: An ensemble model for the classification of histopathological images of breast cancer / Amira Alotaibi, Tariq Alafif, Faris Alkhilaivi, Yasir Alatavi, Hassan Altobaiti, Abdulmajid Alrefai, Youssef M Hawsawi, Tin Nguyen: // [Electronic resource]. URL: https://arxiv.org/abs/2211.00749//Submitted November 1, 2022 (Accessed 04/18/2023)
[6] Ensembles of information-efficient vision converters as a new paradigm of automated classification in ecology / S. P. Kyatanahalli1, T. Hardeman, M. Reyes, E. Merz, T. Bulas, P. Brun, F. Pomati, M. Bayti-Jesy // [Electronic resource]. URL: https://www.nature.com/articles/s41598-022-21910-0?error=cookies_not_supported&code=42b 17819-1c32-4458-88ce-24228e0cef93 / / Published: November 03, 2022 (Accessed 04/18/2023)
[7] Sokolov S. At McKinsey: how to save $ 370 billion a year in mining due to digital technologies: // [Electronic resource]. URL: https://www.forbes.ru/biznes/340559-mckinsey-kak-cifrovye-tehnologii-snizyat-na-17-rashody-v-gornodobyche (Date of announcement 15.04.2023]
[8] Jeffrey E. Hinton, Oriol Vinyals, J. Dean Distilling the Knowledge in a Neural Network: // [Electronic resource]. URL: https://arxiv.org/abs/1503.02531 Published on March 9, 2015 (Accessed 04/18/2023)
