CC BY-NC
32Сегментация спутниковых изображений на основе суперпикселей и разрезов на графах
Захаров Алексей Александрович
кандидат технических наук Муромский институт ВлГУ
602264, Россия, Владимирская область, г. Муром, ул. Орловская, 23, ауд. 402
Тужилкин Алексей Юрьевич
кандидат технических наук Муромский институт ВлГУ
602264, Россия, Владимирская область, г. Муром, ул. Орловская, 23, каб. 403
Статья из рубрики "Компьютерная графика, обработка изображений и распознавание образов"
Аннотация.
Предметом исследования являются алгоритмы сегментации спутниковых изображений для различных систем технического зрения. Для сегментации изображений используются разрезы на графах. Для повышения производительности выполняется предварительная сегментация на основе минимального покрывающего дерева. При описании свойств суперпикселей учитывается информация о высоте и цвете областей. Высота областей вычисляется на основе стереоизображений. Цвет сегментов вычисляется на основе цветовых инвариантов. Все суперпиксели в соответствии со своими характеристиками принадлежат к областям зданий, травяного покрова, деревьев и кустарников, затененным областям и т.д. Изображение представляет собой неориентированный взвешенный граф, узлами которого являются сегменты изображения. Весами вершин графа являются числа, определяющие принадлежность к некоторому классу. Для разделения регионов на кластеры используется метод разрезов на графах. Новизной исследования является алгоритм сегментации спутниковых снимков на основе суперпикселей и разрезов на графах. Время сегментации на основе разработанного алгоритма уменьшается в несколько раз по сравнению с методом разрезов на графах. Разработанный алгоритм используется для выделения зданий на изображениях. Проведено сравнение разработанного алгоритма с существующими подходами выделения зданий, показаны его преимущества. Приводятся примеры работы алгоритма, описываются результаты исследований.
Ключевые слова: сегментация изображений, суперпиксели, спектральная теория графов, разрезы на графах, спутниковые снимки, обработка изображений, компьютерное зрение, распознавание образов, анализ сцен, цветовые инварианты
DOI:
10.7256/2454-0714.2018.1.25629
Дата направления в редакцию:
16-03-2018
Дата рецензирования:
09-03-2018
Дата публикации:
20-03-2018
Введение
Сегментация изображений - это процесс разбиения снимков на группы пикселей на основе определенных критериев. Сегментация является необходимым предварительным этапов для решения многих задач компьютерного зрения высокого уровня: поиск и
распознавание объектов, интерпретация сцен, трехмерная реконструкция 2' 3]. Часто при сегментации из-за большого количества возможных разбиений изображения получаются неоднозначные результаты. Несмотря на широкое использование, задача сегментации часто сопряжена со сложностями. Разработка надежных алгоритмов сегментации, позволяющих формировать значимые области, представляет актуальную задачу. Часто существующие алгоритмы требуют интенсивного ручного ввода и последующего редактирования результатов. Многие исследования в области обработки изображений направлены на то, чтобы улучшить результаты сегментации на основе использования априорной информации. Эти информационные приоритеты включаются в структуру алгоритмов сегментации, чтобы получить более осмысленные результаты.
Сегментация на основе теории графов предоставляет широкие возможности для решения практических задач. Подходы на основе графов представляют элементы изображений в виде структур и позволяют более гибко осуществлять вычисления. Подобные методы сегментации изображений основаны на разбиении графа на подграфы, которые описывают некоторый объект.
Наиболее известными методами сегментации на основе графов являются: метод на основе минимального покрывающего дерева методы, использующие разрезы графов с функциями стоимости 6]; методы, использующие разрезы графов с использованием случайных полей Маркова (MRF - Markov Random Field)-7!; методы, основанные на поиске кратчайшего пути методы случайного поиска
Преимуществом методов разрезов на графах является то, что для разных приложений могут быть использованы различные функции стоимости. Это позволяет задавать условия для выделения на изображениях объектов определенного типа. Существенным недостатком алгоритмов сегментации с использованием разрезов на графах является высокая трудоемкость. Для повышения производительности предлагается использовать
суперпиксели 1АШ. Суперпиксели представляют собой сегменты изображения, которые значительно уменьшают сложность последующих задач обработки. Целью работы является разработка алгоритма сегментации спутниковых изображений местности для задач выделения зданий на изображениях.
Разработка алгоритма сегментации спутниковых изображений на основе суперпикселей и разрезов на графах
Для сегментации и последующего выделения объектов необходимо сгруппировать суперпиксели, имеющие определенные цветовые характеристики и значения высоты. Для формирования суперпикселей изображение сегментируется на основе алгоритма
минимального покрывающего дерева (рис. 1, б). Каждому сегменту были присвоены следующие атрибуты: значение высоты, принадлежность к области растительности, к затененной области или остальным объектам сцены. Значение каждого атрибута в суперпикселе усредняется. Значение высоты осуществляется на основе алгоритма минимизации энергии в пределах региона ^^^ (рис. 1, в).
в)
Рисунок 1. Формирование суперпикселей изображения: а) исходное изображение, б) сегментация на основе минимального покрывающего дерева, в) вычисление карты высот
Следует отметить, что области растительности могут быть представлены деревьями, кустарниками и травяным покровом. При этом области травяного покрова имеют нулевую высоту. Здания имеют ненулевую высоту. Цветовые характеристики крыш зданий в большинстве случаев отличаются от цветовых характеристик растительности и теней. Разработанный алгоритм использует сегментацию н а основе спектральной теории графов. Каждый регион имеет свой вес, определяемый цветовыми и трехмерными характеристиками. Изображение представляет собой неориентированный взвешенный
граф, узлами которого являются сегменты (рис. 2.). Весами вершин графа являются числа, определяющие принадлежность к некоторому классу (табл. 1). Для разделения регионов на кластеры используется метод разрезов на графах. Преимуществом предлагаемого подхода по сравнению с известным методом нормализованных разрезов является высокая скорость обработки, так как в процессе сегментации участвуют не отдельные пиксели, а сегменты изображения.
а)
б)
Рисунок 2. Представление изображения в виде графа: а) исходное
сегментированное изображение, б) граф сегментированного изображения
Таблица 1. Характеристики сегментов изображения, используемые при группировке регионов
Объекты Высота Цвет Условия принадлежности региона Мера различия, X
Здания 1"|>0 Фд 0, ])£Тд, Фэ 0, (-|>0)Л (Фд( ' , ])^Тд)Л (Ф50, ])<т5) 10
Деревья, кустарники 1"|>0 Фд 0, Л>Тд (->0) Л (Фд 0, ]>Тд) 20
Травяной покров 1- — 0 Фд 0, Л>Тд (- — 0) Л (Фд (i, ])>Тд) 30
Затененные области 1->0 Фэ 0, ])>Тэ (->0) Л (Фэ 0, ])>Тэ) 40
Л ругие 1-1 — 0 (- — 0) Л 50
МГ 7 1 ' ■ w фg (i, j)<Tg, v ■ ■ ^ J • *
объекты (ФФg (i, j)<Tg) Л
Фs (i, j)<Ts
(дороги, (Фs (i, j)<Ts)
тротуары и т.д.)
Для выделения растительности по цвету используется величина Фд (i, j), называемая цветовым инвариантом. Цветовой инвариант использует значения пикселей в цветовых каналах системы RGB J12!:
Фд (i, j)=4/n*arctan((I(i, j)g - I(i, j)b)/ (I(i, j)g + I(i, j)b)),
где I(i, j)g значения пикселей с координатами i, j в зеленом канале цветовой системы RGB; I(i, j), - значения пикселей с координатами i, j в синем канале цветовой системы RGB.
Все пиксели, имеющие значение выше порога Tg, относятся к области растительности
V(i, j). Порог вычисляется на основе метода Оцу-13-. С использованием метода Оцу пиксели разделяются на два класса: растительность и остальные объекты. Метод использует гистограмму для разделения изображения на 2 класса.
Гистограмма изображения строится следующим образом:
Pj=n/N, i= 1, 2, 3,..., L ,
где ni - количество пикселей, принадлежащих уровню i на всей области цветового
инварианта; N - количество пикселей изображения; L - количество уровней цветового инварианта.
При этом находится такое значение порога t, чтобы дисперсия между классами была максимальной. Порог находится итеративно. Начальное значение порога устанавливается t=1. На каждом шаге дисперсия пересчитывается и запоминается ее максимальное значение и величина порога.
Таким образом, изображение можно представить в виде двух непересекающихся множеств пикселей (растительности и других объектов):
[V(i, j)=1 | ФдО, j)>Tg] V [V(i, j) = 0 | Фg(i, j)<Tg],
где Tg - порог для выделения области растительности по методу Оцу; [V(I, j) = 1 | ФдО, j)>Tg] - множество пикселей, относящихся к области растительности; [V(i, j)=0 | Фg(i, j)<Tg] - множество пикселей, не относящихся к области растительности.
Для обнаружения областей тени на изображении используется цветовой инвариант Фs(i, j)
Фs(i, j)= 4/n*((I(i, j)r -(I(i, j)r2 + I(i, j)g2 + I(i, j)b2)1/2)/(I(i, j)r +(I(i, j)r2 + I(i, j)g2 + I(i,
j)b2)1/2)),
где I(i, j)r, I(i, j)g, I(i, j)b - значения пикселей с координатами i, j в красном, зеленом и синем каналах цветовой системы RGB соответственно.
При обнаружении затененных областей порог рассчитывается также на основе метода Оцу. В этом случае изображение можно представить в виде двух непересекающихся множеств пикселей (затененных и незатененных областей):
[V(i, j)=1 | ФзА, j)>Ts] v [V(i, j) = 0 | Vs(i, j)-Ts],
где Ts- порог для выделения области растительности по методу Оцу; [V(i, j)=1 | Фs(i, j)>Ts] - множество пикселей, относящихся к области теней; [V(i, j) = 0 | Фs(i, j)-Ts] -множество пикселей, не относящихся к области теней.
Предлагается каждый регион, выделенный на основе алгоритма минимального покрывающего дерева, отнести к области растительности или теней.
Для отнесения региона к области растительности требуется выполнение условия:
SV/Sreg>0,6 ,
где Sv - количество пикселей региона, относящихся к растительности; Sv - общее количество пикселей региона.
Для отнесения региона к затененной области требуется выполнение условия:
Ss/Sreg>0,6 ,
где Ss - количество пикселей региона, относящихся к затененной области. Результаты использования цветовых инвариантов приведены на рисунке 3.
а)
б)
в)
Рисунок 3. Выделение областей растительности и теней с помощью цветовых инвариантов: а) исходные изображения, б) выделенные сегменты растительности, в)
в ыде ле нные с е г ме нты те не й
Графы можно представить с помощью матрицы смежности, степенной матрицы и матрицы Лапласа. Матрица смежности взвешенного графа - это квадратная матрица W, в которой каждый элемент равен весу ребра, соединяющей ее вершины.
Также для задания графа используется матрица Лапласа, которая определяется следующим образом. Вначале строится степенная матрица D, диагональные элементы которой равны степеням вершин. Степень вершины dv равна сумме весов ребер w(u, V),
инцидентных этой вершине. Ненормализованная матрица Лапласа L вычисляется по
формуле: L=D-W ^
Для сегментации изображений предлагается использовать разрезы на графах ^^ Алгоритм сегментации на основе спектрального разбиения графов имеет вид.
Шаг 1. Строится взвешенный граф на основе выделенных сегментов исходного изображения. Каждый регион на основе его отнесения к некоторому классу имеет меру различия х^
Шаг 2. Рассчитывается матрица W:
W(u, v) = exp(-(||x¡-xj||2)/2a2), если и, V - смежные вершины, иначе М(и^)=0,
где о - коэффициент, который регулирует степень взаимодействия между регионами. Рассчитывается матрица D:
D¡гInj=l W¡íj.
Шаг 3. Из выражения (D-W)y=ЛDy находятся собственные векторы с наименьшими собственными значениями.
Шаг 4. На основе вектора со вторым наименьшим собственным значением вычисляется разрез графа.
Шаг 5. Выполняется рекурсивное разбиение сегментированных областей.
В разработанном алгоритме значение коэффициента о было установлено равным 50, так как мера различия между регионами находится в пределах от 10 до 50.
Результаты исследований
Было проведено сравнение разработанного алгоритма с алгоритмом нормализованных
разрезов на графах, в котором в качестве вершин использовались пиксели изображения (табл. 2). Алгоритмы сравнивались по времени работы. Вычисления проводились в среде MATLAB на компьютере c процессором Pentium T2390 и оперативной памятью 2 Гбайта.
Таблица 2. Исследование разработанного алгоритма на время работы
Номер сцены Количество сегментов в сцене Время предварительной обработки, с Время группировки на основе разработанного алгоритма, с Время сегментации с использованием алгоритма NCut, с
1 1116 10,7 4,3 126
2 983 9,3 3,2 105
3 1059 9,8 3,9 114
Выявлено, что время работы предложенного алгоритма в несколько раз меньше алгоритма сегментации, в котором узлами графа являются пиксели изображения. При этом также учитывалось время предварительной обработки регионов.
Для исследования алгоритма на точность выделения зданий были использованы 50 спутниковых стереоснимков (рис. 4). Количественная оценка результатов осуществлялась с использованием следующих показателей: процент правильно обнаруженных зданий и процент зданий, которые ошибочно идентифицированы.
Процент правильно обнаруженных зданий (DP - Detection Percentage):
DP=(100- TP)/(TP+TN),
где TP (True Positives) - количество зданий, обнаруженных оператором и программой; T N (True Negatives) - количество зданий, которые обнаружены оператором и не обнаружены автоматически.
Процент зданий, которые ошибочно идентифицированы (BF - BranchingFactor):
BF=(100- FP)/(TP + FP),
где FP (False Positives) - количество зданий, которые обнаружены автоматически и не обнаружены оператором.
б)
в)
Рисунок 4. Выделение областей зданий на основе разработанного алгоритма:
а) Сцена №1, б) Сцена № 2, в) Сцена № 3
Было проведено сравнение с известными алгоритмами обнаружения зданий (табл. 3). Вычислялись процент правильно обнаруженных зданий DP и процент зданий, которые ошибочно идентифицированы BF. Выявлено, что процент правильно обнаруженных зданий выше по сравнению с рассматриваемыми алгоритмами за счет использования комплексной информации о высоте, цвете, форме и площади проекций объектов. Показатели были рассчитаны с учетом данных, полученных с помощью интерактивного выделения зданий на изображениях.
Таблица 3. Исследование разработанного алгоритма на точность выделения зданий
Ал горитмы DP , % BF , %
Lin C., 1998 1151 71,9 6,7
Lee D. , 2003 i161 72,1 2
Muller S., 2005 -1171 79,5 22,5
Song Z., 2008 i181 88,8 3,4
Ok A., 2009 i191 66,5 8,8
Abraham L., 2012 i201 84,5 0,2
Kunte A., 2013 -1211 83,8 5,8
Разработанный алгоритм 89,7 3,1
Заключение
Предложен алгоритм сегментации спутниковых алгоритмов с использованием разрезов на графах и суперпикселей. Выявлено, что по скорости вычислений алгоритм превосходит в несколько раз алгоритм, в котором в качестве вершин графа используются точки изображений. Алгоритм позволяет на спутниковых снимках выделять до 89,7 % заданий, что превосходит известные подходы.
Работа выполнена при финансовой поддержке РФФИ (проект № 16-37-00236). Библиография
1. Szeliski R. Computer Vision: Algorithms and Applications. - Springer, 2010. - 957 p.
2. Захаров А. А., Тужилкин А. Ю. Синтез трехмерных сцен по видеоизображениям с использованием априорной информации// Научно-технический вестник Поволжья, 2013. - № 5. - С. 163-165.
3. Захаров А. А. Автоматический синтез протяженных трехмерных сцен с использованием системы компьютерного зрения// Известия ВУЗОВ. Приборостроение, 2012. - Т.55, № 2. - С. 24-27.
4. Felzenszwalb P. F., Huttenlocher D. P. Efficient graph based image segmentation // International Journal of Computer Vision, 2004. - № 59(2). - P. 167-181.
5. Wu Z., Leahy R. Tissue classification in MR images using hierarchical segmentation // In Proc. IEEE Int. Conf: Medical Imaging, 1990. - № 12(1). - P. 81-85.
6. Shi J., Malik J. Normalized Cuts and Image Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. - № 22(8). - P. 888-905.
7. Boykov Y., Funka-Lea G. Graph Cuts and Efficient N-D Image Segmentation // International Journal of Computer Vision, 2006. - № 70(2). - P. 109-131.
8. Falcao A. X., Udupa J. K., Samarasekara S., Sharma S. User-steered image segmentation paradigms: Live wire and live lane// Graphical Models and Image Processing, 1998. - № 60. - P. 233-260.
9. Grady L. Multilabel random walker segmentation using prior models// IEEE Conference of Computer Vision and Pattern Recognition, 2005. - vol. 1. - P. 763-770.
10. Achanta R., Shaji A., Smith K., Lucchi A., Fua P., Susstrunk S. SLIC Superpixels. - EPFL Technical Report, 2010.
11. Тужилкин А. Ю., Захаров А. А., Яшков В. С. Алгоритм нахождения соответствий на изображениях на основе подхода минимизации энергии [Электронный ресурс]// Современные проблемы науки и образования. - 2015. - № 1. - Режим доступа: http://www.science-education.ru/121-17497.
12. Unsalan C., Boyer K. A system to detect houses and residential street networks in multispectral satellite images // Computer Vision and Image Understanding. - 2005. -Vol. 98. - P. 423-461.
13. Otsu N. A threshold selection method from gray-level histograms // Transactions on Systems, Man, and Cybernetics. - 1979. - Vol. 9, P. 62-66.
14. Sirmacek B., Unsalan C. Building detection from aerial images using invariant color features and shadow information // 23rd International Symposium on Computer and Information Sciences. - 2008. - P. 105.
15. Lin C., Nevatia R. Building detection and description from a single intensity image // Computer Vision and Image Understanding. - 1998, № 72(2). - P. 101-121.
16. Lee D. S., Shan J., Bethel J. S. Class-guided building extraction from Ikonos imagery // Photogrammetric engineering & remote sensing. - 2003. - № 69(2). - P. 143-150.
17. Muller S., Zaum D. W. Robust building detection in aerial images // CMRT05. IAPRS. -2005. - Vol. XXXVI, Part 3/W24. - P.143-148.
18. Song Z., Pan C., Yang Q., Li F., Li W. Building roof detection from a single highresolution satellite image in dense urban areas // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2008. - Vol. XXXVII, Part B3a. - P. 271-277.
19. Ok A. Automated description of 2-D building boundaries from a single color aerial orthoi mage / /Proc. of International Society for Photogrammetry and Remote Sensing, High-Resolution Earth Imaging for Geospatial Information. - 2009. - P. 1417-1420.
20- Abraham L., Sasikumar D. M. Unsupervised building extraction from high resolution satellite images irrespective of rooftop structures // International Journal of Image Processing. - 2012. - Vol. 6(4). - P. 219-232. 21. Kunte A., Shirodker S., Menaria R., Pate B. A Novel Approach for Object Detection in VHR Images // International Journal of Signal Processing, Image Processing and Pattern Recognition. - 2013. - Vol. 6, №. 4. - P. 355-365.
