CC BY
1УДК 004.921 DOI 10.52928/2070-1624-2024-42-1-8-17
ПОЛУАВТОМАТИЧЕСКИЙ АЛГОРИТМ ПОСТРОЕНИЯ КОНТУРА ПЛОЩАДНЫХ ОБЪЕКТОВ НА МУЛЬТИСПЕКТРАЛЬНОМ СПУТНИКОВОМ СНИМКЕ
А. А. НЕДЗЬВЕДЬ (Белорусский государственный университет, Минск);
Bu QING
(Nanjing Research Institute of Electronics Engineering, China);
канд. техн. наук А. М. БЕЛОЦЕРКОВСКИЙ (Объединенный институт проблем информатики Национальной академии наук Беларуси, Минск)
Формализована задача полуавтоматического построения контура площадных объектов по спутниковым мультиспектральным изображениям и представлен алгоритм решения с использованием метода главных компонент (Principal Component Analysis - PCA) и алгоритма Дейкстры. Акцент сделан на оптимизации PCA при помощи годовых матриц для изображений одной классовой принадлежности, а также на оптимизации алгоритма Дейкстры при помощи методов динамического программирования. Контур рассматривается как граница объекта, которую можно использовать для его сегментации и классификации. Полуавтоматический контур принимает заданные оператором опорные точки. Формализация алгоритма завершена.
Ключевые слова: мультиспектр, алгоритм Дейкстры, метод главных компонент, дисперсия, ковариация.
Введение. Спектральная визуализация - это визуализация с использованием нескольких полос в электромагнитном спектре. В то время как обычная камера улавливает свет в трех диапазонах длин волн в видимом спектре (RGB), формирование спектрального изображения включает в себя широкий спектр методов, выходящих за рамки RGB. Спектральная визуализация может использовать инфракрасный и видимый спектры, ультрафиолет, рентгеновские лучи или любую комбинацию из вышеперечисленного. Она дает возможность получать данные изображения одновременно в видимом и невидимом диапазонах, использовать освещение за пределами видимого диапазона или оптические фильтры для захвата определенного спектрального диапазона, а также захватывать сотни диапазонов длин волн для каждого пикселя изображения.
Мультиспектральное дистанционное зондирование включает в себя получение видимых, ближних инфракрасных и коротковолновых инфракрасных изображений. Эти изображения получают в нескольких широких диапазонах длин волн. Таким образом, мультиспектральное изображение захватывает данные изображения в определенном диапазоне длин волн по всему электромагнитному спектру. Различные попавшие в кадр материалы по-разному отражают и поглощают лучи на разных длинах волн. В дистанционном методе съемки можно различать материалы по их спектральным сигнатурам отражения, наблюдаемым на изображениях дистанционного зондирования Земли. В данном случае очень сложно провести прямую идентификацию.
Один из примеров мультиспектрального датчика - Landsat-8. Например, Landsat-8 создает 11 изображений с использованием следующих диапазонов:
1. Прибрежный аэрозоль (COASTAL AEROSOL) в диапазоне 1 (0,43-0,45 мкм).
2. Синий (BLUE) в диапазоне 2 (0,45-0,51 мкм).
3. Зеленый (GREEN) в диапазоне 3 (0,53-0,59 мкм).
4. Красный (RED) в диапазоне 4 (0,64-0,67 мкм).
5. Ближний инфракрасный (NIR) в диапазоне 5 (0,85-0,88 мкм).
6. Коротковолновый инфракрасный 1 (SWIR 1) в диапазоне 6 (1,57-1,65 мкм).
7. Коротковолновый инфракрасный 2 (SWIR 2) в диапазоне 7 (2,11-2,29 мкм).
8. Панхроматический (PANCHROMATIC) в диапазоне 8 (0,50-0,68 мкм).
9. Циррус (CIRRUS) в диапазоне 9 (1,36-1,38 мкм).
10. Термальный инфракрасный 1 (TIRS 1) в диапазоне 10 (10,60-11,19 мкм).
11. Термальный инфракрасный 2 (TIRS 2) в диапазоне 11 (11,50-12,51 мкм).
Каждый диапазон имеет пространственное разрешение 30 м, за исключением диапазонов 8, 10 и 11. Диапазон 8 имеет пространственное разрешение 15 м, а диапазоны 10 и 11 - размер пикселя 100 м. В данном случае отсутствует диапазон между 0,88 и 1,36 мкм, поскольку атмосфера поглощает свет в этих длинах волн, как на рисунке 1.
Band GSDIml
Реп 15
CA 30
Blue 30 m
Green 30 m
Red 30 I
№Я SO i
Cirrus 30
swm 1 эо
SWIR 2 30 ■
03 0.4 05 0.7 1.0 1.5 20 3.0 40 5.0 7.0 10.0
Micnoni (ym|
Рисунок 1. - Диапазоны спектральных каналов спутников Ландсат1
Проблема алгоритмов сегментации на мультиспектральных изображениях. В настоящее время детектирование объектов на мультиспектральных изображениях ограничено каналами и вариациями их арифметических комбинаций. Тем не менее алгоритмы сегментации и выделения объектов на изображении ориентируются на границы.
Для упрощения проблемы выделения объектов в данной работе будем использовать выделение в полуавтоматическом режиме на основе методов выделения контуров на растровом изображении. Алгоритмы сегментации можно разбить на группы, использующие похожие ключевые идеи: методы, использующие кластеризацию данных [1] (^-средних, метод пороговой сегментации); эвристические методы (разрастания регионов, водораздел, эффективный метод на графах, метод Эйквила) [2; 3]; энергетические методы (TurboPixels [4], метод активных контуров) [5-8]; методы, основанные на оттенках серого и гистограммах (метод Розенферма, метод Рамеша и т. д.); метод выделения краев (Canny, Pb-детектор). Все эти методы основаны на выделении границ изображений с помощью градиентного перепада яркости между пикселями. А затем, используя функции, предлагаемые в каждом из перечисленных выше методов, осуществляется итеративное приближение точек контура к границам объекта.
Выделение границ контура является нетривиальной задачей, т. к. изменения яркости между соседними пикселями могут быть невелики. В статьях [4-6] установлено, что наиболее подходящими методами сегментации являются энергетические методы активных контуров.
В методе активных контуров используется явное представление контура, а в методе TurboPixels -неявное представление контура. Алгоритм метода TurboPixels специально нацелен на сегментацию изображения на суперпиксели [4] примерно одного размера. На выходе работы алгоритма имеем матрицу, элементами которой являются метки, показывающие к какому суперпикселю принадлежит пиксель. Метод TurboPixels достаточно часто используется для предварительной сегментации. В методе активных контуров [5-8] задача поиска границы объекта формулируется как нахождение контура, на котором некоторый функционал достигает минимума.
Метод имеет динамический характер. При решении задачи используется локальная характеристика изображения - оттенки серого. Данный метод не нуждается в привязке к пикселям изображения, что позволяет отказаться от использования целочисленных решений, следовательно, от краев и границ в виде ступеней. Для непрерывности активного контура не требуется решать задачу объединения отдельных фрагментов границы в непрерывную кривую или объединять области.
Подход на основе активных контуров заключается в объединении морфологической обработки, построении дистанционных карт и алгоритма коррекции активных контуров, а также нового алгоритма, предлагаемого в данной работе впервые. Уточнение полученного контура основано на сумме действия внутренних сил F, как и в морфологическом методе активных контуров. Однако для предлагаемого в рамках данной работы алгоритма формулы для вычисления Fint, Fext и Fimg являются более простыми и легкими в реализации и интерпретации, чем в алгоритме, который представлен в работах [6; 7].
Функция, описывающая сумму действия внутренних сил для выделения сегмента растрового изображения, имеет следующий вид:
F = F + F + F
mt ext mg'
где первое слагаемое Fint интерпретирует силу внутреннего давления; второе слагаемое Fext - силу упругости; третье слагаемое Fmg - силу притяжения к границам искомого контура.
1 URL: https://gisgeography.com/landsat-8-bands-combinations/ (дата обращения 27.03.2024).
Из описания выше видно, что контур строится на основе градиента яркости полутонового изображения, а при построении контура на мультиспектральном изображении возникает много проблем, которые вызваны многоразмерностью пространства. Адекватное решение этой проблемы основано на понижении размерности пространства признаков мультиспектрального изображения.
Описание рабочего датасета. В [9] предлагается набор мультиспектральных изображений, снятых спутником спутниковых изображений Sentinel-2. Спутниковые снимки Sentinel-2 находятся в свободном доступе в рамках программы наблюдения Земли Copernicus. В [10] представлен новый набор данных, основанный на спутниковых изображениях Sentinel-2, охватывающий 13 спектральных диапазонов и состоящий из 10 классов, в общей сложности содержащий 27 000 помеченных и географически привязанных изображений. Набор данных имеет следующие классы:
- класс AnnualCrop представляет спутниковые снимки сельскохозяйственной территории, представленной полями однолетних культур. Особенностью класса является наличие как больших площадей молодой растительности, так и больших площадей зрелой растительности, ярко освещенных инфракрасным излучением;
- класс Forest представляет спутниковые снимки лесных массивов. Особенностью этого класса является подавляющее наличие растительности, ярко освещенной инфракрасным излучением;
- класс HerbaceousVegetation представляет спутниковые снимки холмистой или крутой местности. Особенностью класса является редкое присутствие растительности на изображении;
- класс Highway представляет спутниковые снимки территории, по которой проходит крупная автомагистраль. Они характеризуются тем, что после обработки изображения должно быть хорошо видно шоссе;
- класс Industrial представляет спутниковые снимки промышленных территорий. Особенностью класса является большое количество построек и небольшая площадь местности с растительностью. Также после обработки часто теряются очертания зданий, но их можно восстановить, чтобы построить контур по разнице изображений;
- класс Pasture представляет спутниковые снимки равнинной местности. Особенностью класса является обилие растительности, ярко освещенной инфракрасным излучением;
- класс PermanentCrop представляет спутниковые снимки сельскохозяйственной территории, представленной полями многолетних культур. Особенностью класса является наличие больших площадей взрослой растительности, ярко освещенных инфракрасным излучением;
- класс Residential представляет спутниковые снимки населенных пунктов. Особенностью класса является большое количество зданий по всему изображению;
- класс River представляет спутниковые снимки местности с наличием реки. Они характеризуются тем, что после обработки изображения река должна четко выделяться;
- класс SeaLake представляет спутниковые снимки морской местности или местности со значимой площадью озер. Для них характерно подавляющее присутствие воды.
Пример изображения класса Industrial с отображаемыми спектральными полосами RGB (490 нм, 560 нм, 665 нм) показан на рисунке 2.
Построение оптимального плана мультиспектрального изображения. Каждый изучаемый объект, помимо данных в видимом диапазоне, обладает также и спектральными данными, которые были бы полезны при построении контурных границ. Соответственно, для более глубокого анализа изображения, представленного 13 спектральными каналами, предлагается использовать алгоритмы, уменьшающие пространство данных и притом сохраняющие наибольшую информативность на оптимальном плане. Одним из таких алгоритмов является принцип главных компонент.
Метод главных компонент заключается в вычислении собственных векторов и собственных значений ковариационной матрицы пространства данных после построения проекций таким образом, чтобы направление максимальной дисперсии у проекции всегда совпадало с собственным вектором, имеющим максимальное собственное значение, равное величине этой дисперсии. Следующий шаг алгоритма - понижение размерности пространства данных, однако в случае мультиспектральных изображений этот шаг не является обязательным: каждая проекция представляет собой новый слой изображения, хранящий в себе необходимые данные. Вместо этого предлагается работать лишь с самым информативным изображением из полученных проекций2.
Одним из недостатков метода главных компонент является значительное время вычислений, отчего при решении различных задач с датасетами больших объемов или же при решении задач в реальном времени он не применим. Однако при помощи разделения изображений на классы по информативности спектральных полос мы можем вычислить матрицы для каждого класса с целью их использования в дальнейшем. На данном этапе важно выполнить четкий пространственный поворот компонент изображения, для этого необходимо иметь матрицу ковариаций с наибольшим отношением дисперсий спектральных линий. Соответственно, в этом методе используются не все спектральные линии: некоторые из них, по сути дублирующие информацию со смежных линий или же вообще неинформативные, было решено убрать. В частности, были убраны линии Aero-solis, Red edge 1 (705 нм), Red edge 2 (740 нм), Red edge 4 (865 нм), Water vapor (945 нм).
Таким образом строится оптимальный план мультиспектрального изображения, который учитывает разную информацию со всех спектральных каналов. Полученный план может быть использован для решения многих задач анализа и обработки изображений, таких как полуавтоматическое построение контура площадных объектов, анализ изменения растительности на изображениях разной давности и др. Например, 8 компонент с наибольшей дисперсией можно увидеть на рисунке 3.
Intensities of Principal Com ponents
Рисунок 3. - Применение метода главных компонент к Industrial_1011
Вычислив матрицу ковариаций данных спектральных линий изображения 1Ми$йа1_1011, получаем следующую матрицу:
- матрица для изображения МшШа1_1011:
[[1. 0.982 0.957 0.841 0.136 0.195 0.564 0.774] [0.982 1. 0.975 0.873 0.214 0.275 0.604 0.778] [0.957 0.975 1. 0.899 0.18 0.216 0.63 0.818] [0.841 0.873 0.899 1. 0.383 0.321 0.816 0.929] [0.136 0.214 0.18 0.383 1. 0.925 0.69 0.36 ] [0.195 0.275 0.216 0.321 0.925 1. 0.608 0.302] [0.564 0.604 0.63 0.816 0.69 0.608 1. 0.894] [0.774 0.778 0.818 0.929 0.36 0.302 0.894 1. ]]
- собственные значения:
[5.47 1.862 0.487 0.089 0.042 0.032 0.006 0.014]
2 Santosh Kumar R. Principal Component Analysis: Drilling Insight through Image Visualization [Electronic resource]. -https://towardsdatascience.com/principal-component-analysis-in-depth-understanding-through-image-visualization-
892922f77d9f (дата обращения 27.03.2024).
Путем вычисления среднего значения ковариационной матрицы для классов, выборка которых включала 1000 изображений, а также вектора собственных значений этих матриц, были получены общие матрицы для классов. Например, такая матрица ковариации и собственные векторы класса получились для вышеупомянутого класса Industrial:
- матрица для класса Industrial:
[[1. 0.981 0.971 0.839 0.328 0.33 0.583 0.676] [0.981 1. 0.976 0.876 0.414 0.426 0.64 0.696] [0.971 0.976 1. 0.877 0.347 0.348 0.653 0.738] [0.839 0.876 0.877 1. 0.549 0.45 0.823 0.823] [0.328 0.414 0.347 0.549 1. 0.886 0.59 0.323] [0.33 0.426 0.348 0.45 0.886 1. 0.504 0.255] [0.583 0.64 0.653 0.823 0.59 0.504 1. 0.903] [0.676 0.696 0.738 0.823 0.323 0.255 0.903 1. ]]
- значения:
[5.566 1.449 0.706 0.145 0.059 0.012 0.024 0.041]
Для сравнения матриц можно использовать стандартную норму в пространстве матриц Lpq при значениях p = 2, q = 1. Таким образом, пусть (й1, й2, ..., a„) - вектор из столбцов матрицы A. Норма L2,1 по определению равна сумме евклидовых норм столбцов матрицы:
4,2=a a\\,=еШ
а/2
j=1
j=1 V i=1
2
Следовательно, норма матрицы изображения класса ЦдЛ = 6.062142605820663, а норма матрицы класса ||А2|| = 6.237456651308779. Необходимо отметить, что данный переход не является абсолютно точным
и действительно несет в себе некоторые погрешности. Однако на этапе преобразования мультиспектраль-ного изображения он позволяет полностью пропустить шаг вычисления матрицы ковариации, учитывая при этом все спектральные данные изображения. На рисунке 4 представлены компоненты, полученные у изображения 1^шШа1_1011 с применением метода главных компонент с уже готовой матрицей.
Inteiibitieb of Principal Components
Рисунок 4. - Применение метода главных компонент к 1пйш(г1а1_1011 с готовой матрицей
Полуавтоматическое построение контура на изображении. В работах [11; 12] были предложены интерактивные методы сегментации intelligent scissors и live-wire, основанные на глобальном поиске оптимального пути на ориентированном графе. Под оптимальным путем понимается путь с наименьшей стоимостью. Изображение или часть изображения рассматривается как ориентированный граф, в котором пиксели соответствуют узлам графа, а связи с соседями соответствуют дугам графа. Каждой дуге графа назначается цена, или весовой коэффициент, который вычисляется с помощью ряда свойств, характеризующих принадлежность пикселя к границе объекта.
В работах [12; 13] авторы используют следующие характеристики для вычисления локальной цены связи: модуль и направление градиента, интенсивность пикселя, значение второй производной и другие характеристики, в том числе вычисляемые в процессе тренировки и обучения алгоритма.
На рисунке 5, а изображена локальная матрица весов взвешенного графа, характеризующая локальные свойства пикселей изображения. После указания оператором затравочной точки (на рисунке 5, а выделена кружком) вычисляется карта направлений (рисунок 5, б), с помощью которой строится оптимальный путь от любой точки изображения до затравочной. Каждое число на рисунке 5, б соответствует стоимости пути от данной точки до затравочной. Для вычисления карты направлений, задающей оптимальный путь, использовался поиск в четырехсвязной области. Оптимальный путь вычисляется и отображается в реальном времени на дисплее от текущего положения курсора до затравочной точки. Если изображение сильно зашумлено или содержит объекты сложной формы, то может понадобиться несколько граничных сегментов для задания сегментирующего контура. Если полученный сегмент адекватно описывает часть границы объекта, то указывается новая затравочная точка для последующего выделяемого граничного сегмента. Для определения оптимального пути используется алгоритм Дейкстры.
79->68 64 60*51*46*38*35*34*32<-42
I 1 1* I I
69-» 55 52 54 53 51 -Мб 38*34*28 32
4 Т I 4 4
55-»44 45<-50<-57 60 58 46-»35*25 24
4 4
4 4
45*38 42<-53 56 62 56*39*25 18 20
4 4
4 4
4 4 4
!0<-16 4 4 А 4
40*34 36 44 43 44 47 36*17 13<"18
40*32*29 34 28 29 26 22 9
4 4 4 4
41*30*25 27*19* 16*12*7-ЙЙ-5<-14 39*27*23*21*20*15*9* 6* 4 12<-24
46*36 30 26 29 22*14 9 11<-19<-34
б
а
Рисунок 5. - Матрица локальных весов (а), матрица накопленных весов и карта направлений (б)
В результате работы алгоритма между любыми двумя заданными точками на изображении можно построить контур, который будет учитывать типологические особенности, как на рисунке 6.
Рисунок 6. - Определение точек на изображении градиента и построение фрагмента контура посредством алгоритма Дейкстры
Основная идея алгоритма Дейкстры сводится к извлечению из активного списка АЬ вершины графа с минимальной суммарной стоимостью. Эффективная реализация структуры хранения и доступа к элементам активного списка является первоочередной задачей, так как даже эффективный алгоритм может не дать ожидаемого эффекта производительности из-за неправильно выбранного контейнера активного списка.
Рассмотрим простейший случай, когда в качестве структуры данных АЬ используется динамический массив. Если узлы в этом массиве не будут упорядочены, то операция добавления узла может выполняться с постоянной сложностью 0(1). Однако операции удаления и извлечения узла с минимальной стоимостью не могут обеспечить постоянное время выполнения. Так, в худшем случае необходимо просматривать весь массив для поиска необходимого элемента и сложность этих операций будет как минимум линейной 0(Л).
Если поддерживать массив в сортированном состоянии, то операция извлечения минимального узла будет постоянной 0(1), а вставка и удаление могут быть выполнены за 0(^(Л)+1) операций, где N - число записей в массиве. Данный вариант мог бы быть неплохим решением, однако возникают накладные расходы при вставке и удалении элемента в произвольное место массива. Накладные расходы связаны с перераспределением памяти для поддержания произвольного доступа в динамическом массиве, и время выполнения данной операции прямо пропорционально количеству элементов в массиве, поэтому сложность операций вставки и удаления будет также линейной 0(Л).
Перераспределений памяти можно избежать, если использовать в качестве контейнера двухсвязный или односвязный список. Операции вставки, удаления и извлечения минимального узла могут быть выполнены с постоянной скоростью 0(1), однако при такой структуре поиск позиции для вставки/удаления элемента будет выполняться с линейной сложностью 0(Л), так как данный тип контейнера не поддерживает произвольный доступ и для поиска необходимо перебрать все элементы от конца/начала списка до искомого.
Первым приемлемым решением является использование в качестве контейнера активного списка бинарного дерева, которое позволит обеспечить логарифмическую сложность выполняемых операций 0(1о§Л). Бинарное дерево не всегда может гарантировать устойчивое время выполнения операций с элементами, так как при операциях вставки/удаления может получаться вырожденное дерево. Логично было бы использовать алгоритм поддержания бинарного дерева в некотором оптимальном состоянии. Эффективное решение было предложено советскими математиками Г. М. Андельсон-Вельским и Е. М. Ландисом. Данный метод, предоставляющий преимущества устойчивого выполнения операций с элементами дерева со сложностью 0(1о§Л), называется методом сбалансированных деревьев, или АУЬ-деревьев [14]. Таким образом, постоянная сложность 0(1) для операции извлечения минимального узла графа и логарифмическая сложность 0(1о§Л) для вставки/удаления элемента достигаются с использованием АУЬ-деревьев.
Для дальнейшего улучшения быстродействия операций с элементами активного списка необходимо рассмотреть основные свойства ориентированного графа и алгоритма Дейкстры и доказать утверждение о диапазоне значений суммарной стоимости узлов, находящихся в активном списке в произвольный момент времени.
Взвешенный граф Э может быть представлен в виде пары (А, н), где А - ограниченная двухмерная матрица весов графа; н(р):А^-[Ь, Н] - функция, задающая вес узла р в А, значение которого лежит в интервале [Ь, Н]. Ориентированный граф может быть получен из матрицы весов графа присвоением всем дугам, исходящим из узла р, веса н(р) (рисунок 7). Отметим, что вес дуги графа н(р, ф) не равняется весу н>(ф, р).
УУр,д,__
( С|1 У Рисунок 7. - Модель ориентированного графа
Утверждение 1. Значение любого суммарного веса в активном списке лежит между минимальным значением суммарного веса активных списков и суммой этого значения с максимальным весом узла, может быть использовано для эффективного решения коллизий в предлагаемой схеме хеширования активного списка, которая обеспечивает среднее время 0(1) и наихудшее время 0(с) для операций вставки, удаления и извлечения минимального значения. В технологии хеширования используется хеш-таблица, состоящая из набора списков, которые хранят элементы массива (рисунок 8), знак # означает отсутствие дальнейших элементов.
Рисунок 8. - Пример хеш-таблицы
Адресация в хеш-таблице задается специальной хеш-функцией h(K), определяющей индекс списка, в котором хранится элемент. Хеш-функция h(K) должна удовлетворять двум требованиям: быть быстрой и порождать хорошие ключи для распределения элементов по таблице в диапазоне 0 < h(K) < M. Последнее требование минимизирует коллизии (случаи, когда два разных элемента имеют одинаковое значение хеш-функции) и предотвращает случай, когда элементы данных с близкими значениями попадают только в одну часть таблицы.
Многочисленные тесты показали хорошую работу двух основных типов хеш-функций, один из которых основан на делении, другой - на умножении [14]. Метод деления весьма прост: используется остаток от деления на M, а именно h(K) = K mod M.
Если H является дискретной величиной, то можно организовать хеш-таблицу с H списками. Причем, принимая во внимание утверждение 1, можно констатировать, что коллизий не возникнет в любой момент времени выполнения алгоритма. Если веса графа и суммарная стоимость представлены вещественными числами и происходит существенная потеря точности при их переводе в целочисленную систему, предлагаемая схема хеширования не может обеспечить отсутствие коллизий и, соответственно, правильную работу алгоритма. В таком случае необходимо использовать методы решения коллизий в хеш-таблицах [14]. Использование данных методов приводит к потере производительности метода хеширования, поэтому применение AVL-деревьев с логарифмическим временем выполнения операций с элементами окажется более эффективным.
Следующие изменения коснутся структурных изменений алгоритма Дейкстры, которые прореживают дерево решений и фокусируют фронт исследования узлов в наиболее вероятном направлении. Основываясь на доказанном выше утверждении 1, можно вывести следующее утверждение 2, которое используется в работе [15].
Утверждение 2. Алгоритм формирует оптимальный путь на всем изображении от затравочного узла до конечного, когда значение стоимости конечного узла на некотором этапе будет меньше, чем минимальное значение стоимости узла, принадлежащего активному списку на этом же этапе.
Это утверждение следует из утверждения 1, так как при выполнении условия утверждения в активном списке будут находиться узлы с большей стоимостью и стоимость последующих узлов будет только увеличиваться с каждой итерацией. Поэтому утверждение 2 может быть использовано для ограничения числа итераций в процессе поиска пути, что позволяет находить оптимальный путь до конечного узла быстрее.
Схема работы алгоритма. Таким образом, алгоритм начинает работу на основе анализа гиперспектрального изображения, как на рисунке 9.
Рисунок 9. - Схема работы алгоритма построения контура на мультиспектральном изображении
Метод главных компонент позволяет получить полутоновые изображения с самыми выраженными свойствами в гиперспектральном пространстве. Данное изображение используется алгоритмом Дейкстры с целью определения фрагмента контура, заключенного между двумя точками, для гиперспектрального изображения.
Предложенный метод отличается от других подходов в нескольких ключевых аспектах. Во-первых, он использует уникальный способ задания графа, что позволяет более точно представить структуру объекта. Во-вторых, он применяет особый метод вычисления весовых коэффициентов, что улучшает точность и надежность алгоритма. В-третьих, он использует инновационный алгоритм поиска оптимального пути на графе, что обеспечивает более эффективное и точное выделение объекта.
Результатом поиска может быть как скелет объекта, так и его контур, что делает этот подход гибким и применимым в различных ситуациях. Этот алгоритм особенно полезен в тех случаях, когда автоматическая сегментация не дает удовлетворительных результатов, поскольку он обеспечивает более высокое качество оцифровки и более короткое время обработки.
Также данный метод позволяет обрабатывать мультиспектральные спутниковые снимки с использованием полных спектральных данных, учитывая всю информацию с каждой спектральной полосы, при этом не затрачивая лишнего времени, что позволяет решать задачи в реальном времени.
Одним из ключевых преимуществ этого подхода является его высокая интерактивность. Пользователь может в реальном времени изменять результаты выделения объекта с помощью простого движения курсора мыши. Это позволяет пользователю быстро и легко получать необходимые результаты сегментации и выделения, что значительно упрощает процесс работы с объектами.
Заключение. Предложенный алгоритм основан на преобразования спектрального пространства спутникового снимка в наиболее информативную плоскость, в которой усилена детализация мультиспектраль-ного снимка, что позволило использовать данную плоскость для работы алгоритмов полуинтерактивной сегментации, в частности, основанных на коррекции контура объекта на основе алгоритма Дейкстры.
Этот подход представляет собой мощный и гибкий инструмент для работы с объектами, который может значительно улучшить качество и эффективность процесса оцифровки. Он предлагает ряд уникальных функций и преимуществ, отличающих его от других подходов и делающих его особенно полезным в сложных и требующих точности ситуациях.
Данный инструмент эффективно используется для автоматизации аннотации мультиспектральных спутниковых изображений, для формирования наборов данных в машинном и глубоком обучении.
Исследование выполнено при финансовой поддержке проекта "Technology Development Agreement of developing of algorithms of remote sensing image processing", Agreement number: 22CETC19-ICN1785.
ЛИТЕРАТУРА
1. Сойфер В. А. Методы компьютерной обработки изображений. - М.: ФИЗМАТЛИТ, 2003. - 192 с.
2. Фурман Я. А., Юрьев А. Н., Яншин В. В. Цифровые методы обработки и распознавания бинарных изображений. -Красноярск: Изд-во Краснояр. ун-та. - 1992. - 248 с.
3. Вершинина В. В., Паламарь И. Н. Организация базы знаний семантической сети на основе XML-формата // IV ВНТК «Информационные технологии в науке, проектировании и производстве»: тез. докл. - Н. Новгород: МВВО АТН РФ. - 2002. - C. 23.
4. Огнев И. В., Сидорова Н. А. Обработка изображений методами математической морфологии в ассоциативной осцилляторной среде // Технические науки. Информатика и вычислительная техника. - 2007. - № 4. - С. 87-98.
5. Фисенко В. Т., Фисенко Т. Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. - СПб.: СПбГУ ИТМО, 2008. - 192 с.
6. Papari G., Petkov N. Edge and line oriented contour detection: State of the art // Image Vis. Comput. - 2011. - Vol. 29, iss. 2-3. - P. 79-103. - DOI: 10.1016/j.imavis.2010.08.009.
7. Gong Xin-Yi, Su Hu, Xu De et al. An Overview of Contour Detection Approaches // Intern. J. of Automation and Computing, 2018. - Vol. 15, iss. 6. - P. 656-672. - DOI: 10.1007/s11633-018-1117-z.
8. Senthilkumaran N., Rajesh R. A Study on Edge Detection Methods for Image Segmentation // Proc. of the Intern. Conf. on Mathematics and Computer Science, 2009. - Vol. I. - P. 255-259.
9. Helber P., Bischke B., Dengel A. et al. EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover Classification / IEEE J. of Selected Topics in Applied Earth Observations and Remote Sensing. - 2019. -Vol. 12, iss. 7. - P. 2217-2226. - DOI: 10.1109/JSTARS.2019.2918242.
10. Helber P., Bischke B., Dengel A. et al. Introducing EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover Classification // 2018 IEEE Intern. Geoscience and Remote Sensing Symposium / Valencia, Spain (22-27 July 2018). - P. 204-207. - DOI: 10.1109/IGARSS.2018.8519248.
11. Cheng H. D., Jiang X. H., Sun Y. et al. Color image segmentation: advances and prospects // Pattern Recognition. - 2001. -Vol. 34, iss. 12. - P. 2259-2281. DOI: 10.1016/S0031 -3203(00)00149-7.
12. Mortensen E. N., Barrett W. A. Interactive segmentation with intelligent scissors // Graphical Models and Image Processing. - 1998. - № 60. - P. 349-384. - DOI: 10.1006/gmip.1998.0480.
13. Kang H. W., Sung Y. S. Enhanced lane: interactive image segmentation by incremental path map construction // Graphical Models. - 2002. - Vol. 64, iss. 5. - P. 282-303. - DOI: 10.1016/S1077-3169(02)00007-2.
14. Кнут Д. Э. Искусство программирования: в 4 т. - СПб.: Вильямс, 2000. - Т. 3: Сортировка и поиск. - 832 с.
15. Falcao A. X., Udupa J. K., Miyazawa F. K. An ultra fast user-steered linage segmentation paradigm: live wire on the fly // IEEE Trans. Med. Imaging. - 2000. - Vol. 19, iss. 1. - P. 55-62. - DOI: 10.1109/42.832960.
REFERENCES
1. Sojfer, V. A. (2003). Metody kompjuternoj obrabotki izobrazhenij. Moscow: FIZMATLIT. (In Russ.).
2. Furman, Ja. A., Jur'ev, A. N., & Janshin, V. V. (1992). Cifrovye metody obrabotki i raspoznavanija binarnyh izobrazhenij. Krasnojarsk: Izd-vo Krasnojar. un-ta. (In Russ.).
3. Vershinina, V. V., Palamar', I. N. (2002). Organizacija bazy znanij semanticheskoj seti na osnove XML-formata. In IV VNTK «Informacionnye tehnologii v nauke, proektirovanii iproizvodstve» (23). N. Novgorod: MVVO ATN RF. (In Russ.).
4. Ognev, I. V., Sidorova, N. A. (2007). Obrabotka izobrazhenij metodami matematicheskoj morfologii v associativnoj oscilljatornoj srede. Tehnicheskie nauki. Informatika i vychislitel'naja tehnika, (4), 87-98. (In Russ.).
5. Fisenko, V. T., Fisenko, T. Ju. (2008). Komp'juternaja obrabotka i raspoznavanie izobrazhenij. St. Petersburg: SPbGU ITMO. (In Russ.).
6. Papari, G., & Petkov, N. (2011). Edge and line oriented contour detection: State of the art. Image Vis. Comput., 29, 79-103.
7. Gong Xin-Yi, Su Hu, Xu De, Zhang Zheng-Tao, Shen Fei, & Yang Hua-Bin. (2018). An Overview of Contour Detection Approaches. Intern. J. of Automation and Computing, 15(6), 656-672. DOI: 10.1007/s11633-018-1117-z.
8. Senthilkumaran, N., & Rajesh R. (2009). A Study on Edge Detection Methods for Image Segmentation. Proc. of the Intern. Conf. on Mathematics and Computer Science, (I), 255-259.
9. Helber, P., Bischke, B., Dengel, A., & Borth D. (2019). EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover Classification. IEEE J. of Selected Topics in Applied Earth Observations and Remote Sensing, 12(7), 2217-2226. DOI: 10.1109/JSTARS.2019.2918242.
10. Helber, P., Bischke, B., Dengel, A., & Borth D. (2018). Introducing Eurosat: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover Classification. In 2018 IEEE Intern. Geoscience and Remote Sensing Symposium (204-207). IEEE. DOI: 10.1109/IGARSS.2018.8519248.
11. Cheng, H. D., Jiang, X. H., Sun, Y., & Wang, J. (2001). Color image segmentation: advances and prospects. Pattern Recognition, 34(12), 2259-2281. DOI: 10.1016/S0031-3203(00)00149-7.
12. Mortensen, E. N., & Barrett, W. A. (1998). Interactive segmentation with intelligent scissors. Graphical Models and Image Processing, (60), 349-384. DOI: 10.1006/gmip.1998.0480.
13. Kang, H. W., & Sung, Y. S. (2002). Enhanced lane: interactive image segmentation by incremental path map construction. Graphical Models, 64(5), 282-303. DOI: 10.1016/S1077-3169(02)00007-2.
14. Knuth, D. E. (2000). Iskusstvo programmirovanija: v 4 t. Т. 3: Sortirovka i poisk. [The Art of Computer Programming (in 4 vol., Vol. 3: Sorting and Searching)]. St. Petersburg: Vil'jams. (In Russ.).
15. Falcao, A. X., Udupa, J. K., & Miyazawa, F. K. (2000). An ultra fast user-steered linage segmentation paradigm: live wire on the fly. IEEE Trans. Med. Imaging, 19(1), 55-62. DOI: 10.1109/42.832960.
Поступила 01.04.2024
SEMI-AUTOMATIC ALGORITHM FOR CONSTRUCTING THE CONTOUR OF AREA OBJECTS ON MULTISPECTRAL SATELLITE IMAGE
A. NEDZVEDZ (Belarusian State University, Minsk);
Bu QING
(Nanjing Research Institute of Electronics Engineering, China);
A. BELOTSERKOVSKY (United Institute of Informatics Problems of the National Academy of Sciences of Belarus, Minsk)
This article formalizes the problem of semi-automatic construction of the contour of area objects from satellite multispectral images and presents a solution algorithm using PCA and Dijkstra's algorithm. The emphasis of the article is on optimizing PCA using annual matrices for images of the same class, as well as optimizing the Dijkstra algorithm using dynamic programming methods. The contour is considered as the boundary of an object, which can be used for its segmentation and classification. The semi-automatic contour accepts reference points specified by the operator. The formalization of the algorithm is completed.
Keywords: multispectrum, Dijkstra's algorithm, principal component method, dispersion, covariance.
