CC BY
354
Модифицированный метод нормальных разрезов для сегментации цветных изображений
Косюра О.В., Филиппов М.В. МГТУ им.Н.Э.Баумана filippov.mike@mail.ru
Аннотация
Задача сегментации изображений решается в различных областях науки и техники, например, медицине, программировании, и др. В статье представлен подробный обзор различных алгоритмов сегментации, с указанием их достоинств и недостатков. На основе сформулированных в работе критериев выбран метод нормальных разрезов, положенный в основу разработанного алгоритма. Представлен модифицированный метод сегментации, существенно расширяющий возможности метода нормальных разрезов. Проведено экспериментальное исследование исходного метода и модифицированного метода нормальных разрезов. Показано, что описанный в статье модифицированный метод в большей степени учитывает границы объектов.
1 Введение
С развитием информационных технологий появился новый вид документа - электронные карты. Они получили широкое применении при определении местоположения объектов, в процессе проектирования транспортной сети, различных объектов, находящихся вблизи дорог и для других целей. Однако, по мере развития дорожно-транспортной сети появляются новые элементы, которые не учитываются на существующих электронных картах. Поэтому возникает необходимость в проведении их корректировки с учетом вновь появившихся деталей [2].
Для получения информации о современном состоянии дорожно-транспортной сети существует ряд способов. Наиболее распространенным является проведение аэрофотосъемки с использованием различных летательных аппаратов, в том числе беспилотных средств.
Следующим этапом является получение информации о наличии тех или иных элементов по аэрофотоснимкам. Поскольку количество снимков может быть достаточно большим, то необходима разработка методов автоматического выделения деталей, с последующим их перенесением на электронные
карты [1]. В научно-технической литературе данная задача упоминается как сегментация [2-5]. Существует много алгоритмов сегмен-тации[2] изображений и все они сильно отличаются друг от друга.
В данной статье проведен анализ алгоритмов сегментации изображения, для повышения точности распознавания заданных участков дорожно-транспортной инфраструктуры, а именно: обочины, дорожного полотна и ответвление дороги. Показано преимущество метода нормальных разрезов [6] по с равнению с остальными. На его основе разработан и представлен модифицированный метод нормальных разрезов, который позволяет сегментировать изображения с большей точностью по сравнению с описанным в работе [6].
2 Обзор существующих методов сегментации изображений
2.1 Методы, основанные на операторах выделения краев
Методы, основанные на операторах выделения краев, хорошо разработаны для полутоновых изображений. Границы и края областей сильно связаны, так как часто существует сильный перепад яркости на границах областей. Поэтому методы выделения краёв используются как основа для другого метода сегментации. Полутоновое изображение рассматривается как функция двух переменных (x и у), и предполагается, что границы регионов соответствуют максимумам градиента этой функции.
Для повышения устойчивости к шуму, перед применением фильтрации изображение обычно размывают. Благодаря коммутативности оператора Лапласа и Гауссова фильтра, можно одновременно осуществлять размытие и поиск границ. В методе Canny комбинируются результаты поиска границ при разной степени размытия.
Другой подход основан на применении steerablefilters, который осуществляют дифференцирование по направлению. Для таких
фильтров можно выбрать базис, через который выражается дифференцирование по любому направлению. Для поиска границ комбинируются результаты применения базисных фильтров [2].
2.2 Метод водораздела
Метод водораздела- это метод математической морфологии, основанный на областях. Основной идеей данного метода является то, что изображение можно рассматривать как рельефную карту [3]. Области с большей интенсивностью, в таком случае, будут являться высокими точками над уровнем моря, а локальные минимумы - водоемами. Спустя время вода из разных впадин может слиться, в таком случае на месте слияния строится дамба. В результате получим сегменты - области, ограниченные дамбами.
В каждом пикселе вычисляется градиент для последующего нахождения локальных минимумов. Затем делается обход пикселей, с учетом приоритета (приоритет тем выше -чем меньше ключ, ключ - интенсивность).
2.3 Метод нормальных разрезов
В этих методах изображение представляется как взвешенный неориентированный граф. Обычно пиксель или группа пикселей ассоциируется вершиной, а веса рёбер определяют непохожесть соседних пикселей. Затем граф (изображение) разрезается согласно критерию, созданному для получения «хороших» кластеров. Каждая часть вершин (пикселей), получаемая этими алгоритмами, считается объектом на изображении.
При сегментации с использованием методов теории графов каждый элемент набора, который предполагается разбить на кластеры, соотносится с вершиной графа. Далее между всеми парами вершин строятся ребра, с каждым ребром соотносится весовой коэффициент, который представляет степень сходства элементов. Затем ребра графа разрезаются так, чтобы в результате получился хороший набор связанных компонентов, в идеальном случае весовые коэффициенты рёбер внутри компонентов должны быть велики по сравнению с коэффициентами связующих рёбер. Каждый компонент - это кластер.
Весовые коэффициенты обычно называют мерами сходства. Существуют различные подходы к измерению сходства (измерение сходства через расстояние, через интенсивность, по цвету, по текстуре) [3].
Одним из методов разделения графа является метод нормализованных разрезов [6]. Суть метода заключается в том, чтобы разрезать два связанных компонента так, чтобы в каждой группе стоимость разрезания была мала по сравнению с общим сходством. Далее находятся вектора с наименьшими собственными значениями, после чего по вектору со вторым из наименьших собственным значением вычисляется разрез графа на две части. Завершающим этапом будет объединение областей.
2.4 Метод выращивания регионов
Первым был метод разрастания областей из семян. В качестве входных данных этот метод принимает изображения и набор семян. Семена отмечают объекты, которые нужно выделить. Области постепенно разрастаются, сравнивая все незанятые соседние пиксели с областью. Разность между яркостью пикселя и средней яркостью области используется как мера схожести. Пиксель с наименьшей такой разностью добавляется в соответствующую область. Процесс продолжается, пока все пиксели не будут добавлены в один из регионов.
Методы этой группы учитывают пространственное расположение точек напрямую. Методы выращивания регионов основаны на следующей идее. Сначала по некоторому правилу выбираются центры регионов, к которым поэтапно присоединяются соседние точки, удовлетворяющих некоторому критерию [4]. Процесс выращивания регионов останавливается, когда ни одна точка изображения не может быть присоединена ни к одному региону.
Применяются разные критерии, на основании которых точка присоединяется или не присоединяется к региону. В основном процедура выращивания региона используется для получения отдельных регионов, однако, применяя эту процедуру последовательно или одновременно для нескольких регионов, можно получить разбиение всего изображения. Существуют различные стратегии выбора зерен и выращивания регионов [5, 7-9].
Методы дробления-слияния состоят из двух основных этапов: дробления и слияния [10, 11]. Дробление начинается с некоторого разбиения изображения, не обязательно на однородные области. Процесс дробления областей происходит до тех пор, пока не будет получено разбиение изображения (пересег-
ментация), удовлетворяющее свойству однородности сегментов. Затем происходит объединение схожих соседних сегментов до тех пор, пока не будет получено разбиение изображения на однородные области максимального размера.
2.5 Метод оценки изменения формы спектра
В основе метода оценки изменения формы спектра лежит использование спектральной функции изображения. Спектр известной текстуры сравнивается со спектром исследуемого изображения. В качестве параметра сравнения используется коэффициент изменения формы спектра.
Сначала вычисляется средний спектр эталонного текстурного изображения, после чего исследуемое изображение разбивается на равные области и для каждой области вычисляется спектральная функция и К&ф. Затем К&ф сравнивается с пороговым уровнем. Если Кдф превышает пороговый уровень, то область содержит дефект. Вычисление спектра области изображения осуществляется с помощью быстрого преобразования Фурье [12].
2.6 Сравнение алгоритмов сегментации
Все вышеперечисленные методы сегментирования изображения имеют свои достоинства и недостатки. В Табл. 1 приведены сведения о рассмотренных выше алгоритмах. Методы выращивания регионов и дробления-слияния имеют много недостатков и в голом виде не могут претендовать на законченность, так как обнаруженные края часто бывают разорванными, но чтобы выделить объект на изображении, нужны замкнутые границы области. Методы, основанные на выделении краёв, также имеют слишком много недостатков, чтобы использовать их в качестве основы для нового алгоритма. Например, методы данной группы очень чувствительны к шуму и плохо работают на контрастных изображениях.
Результаты анализа показали, что все существующие методы сегментации изображений имеют свои весомые недостатки, которые можно устранить путем комбинации алгоритмов. Наиболее перспективными, на сегодняшний день, являются методы, основанные на теории графов. На алгоритмах этой группы методов возможно построение наиболее рационального алгоритма сегментации изображений. Метод нормальных разрезов
лучше и точнее сегментирует изображение,
3 Модифицированный метод нормальных разрезов
За основу разрабатываемого алгоритма, по причинам указанным выше, был взят метод нормальных разрезов [6]. Однако, вместо известной процедуры, в модифицированном методе, рассмотренном ниже, в данном разделе, учитываются особенности, связанные с обработкой цветных изображений.
Изображение представляется в виде взвешенного графа (Рис.1), с вершинами в точках изображения. Вес ребра графа отражает сходство точек в некотором смысле (расстояние между точками по некоторой метрике). Разбиение изображения моделируется разрезами графа [2]._
Рис. 1. Пример моделирования изображения взвешенным графом.
чем другие методы, рассмотренные выше.
Табл. 1. Сравнение алгоритмов сегментации
Название метода Достоинства Недостатки
Метод водораздела Удовлетворительно локализует наличие текстуры отличной от фона Чрезмерная сегментация
Метод нормальных разрезов[11] Хорошо локализует наличие текстуры отличной от фона Хорошая модель представления изображения Не обеспечивают локализацию объектов Не выделяет изменение яркости и поворот текстуры Большое время выполнения
Метод оценки изменения формы спектра Удовлетворительно обеспечивает локализацию объектов Локализует дефекты текстуры, резко отличающиеся от фона Не локализует дефекты образованные поворотом и изменением яркости текстуры Большое время выполнения
При сегментации с использованием методов теории графов каждый элемент набора, который предполагается разбить на кластеры, соотносится с вершиной графа. Далее между всеми парами вершин строятся ребра, с каждым ребром соотносится весовой коэффициент, который представляет степень сходства элементов. Затем ребра графа разрезаются так, чтобы в результате получился хороший набор связанных компонентов, в идеальном случае весовые коэффициенты рёбер внутри компонентов должны быть велики по сравнению с коэффициентами связующих рёбер.
Каждый компонент - это кластер. Весовые коэффициенты обычно называют мерами сходства. Существуют различные подходы к измерению сходства (измерение сходства через расстояние, через интенсивность, по цвету, по текстуре).
Суть метода заключается в том, чтобы разрезать два связанных компонента так, чтобы в каждой группе стоимость разрезания была мала по сравнению с общим сходством. Этот подход можно формализовать, разделив взвешенный граф V на два компонента А и В, минимизируя величину
Кш (А, В) = Ш (АВ) + В) =
assoc( А, V ) assoа(B, V)
^ а$яос(А, А) + assoc(B, В) ^ (1) а,^ос(А^ ) assoc(B,V ) ) В формуле (1) см/(А, В) - сумма весовых коэффициентов всех рёбер графа V, один конец которых лежит в А, а другой - в В,
assoc(А, V) - сумма весовых коэффициентов всех рёбер, один конец которых находится в А,
цеАГЕ^
Данный параметр мал, если при разрезании получаются два компонента, имеющих между собой мало рёбер с малыми весовыми коэффициентами и много внутренних рёбер с большими весовыми коэффициентами.
Минимизация величины (1) сводится к следующей задаче:
при условиях У\ е £1' 0 < Ь < 1 и ' " = , где х - индикаторный вектор, ■'■. = если вершина в А и -1 в противном случае^ - матрица весов,
wo.fi = Mi.fi
Б - диагональная матрица,
Если разрешить У Ч задача (2) сводится к задаче на собственные значения:
На основе (1)-(3) формулируется следующий алгоритм сегментации:
1. На изображении задается граф и формируется матрица весов
W - матрица весов:
2. Находятся вектора с наименьшими собственными значениями ( решается задачи (2),
(3)).
3. По вектору со вторым наименьшим собственным значением вычисляется разрез графа на две части.
4. Получившиеся области при необходимости рекурсивно разбиваются на подобласти.
Для каждой пары пикселов проверяется наличие границы на соединяющей их линии. При наличии границы, ее интенсивность равная градиенту изображения, используется для
расчета весового коэффициента границы = ~Г
i- з т1- , где о - 10% диапазона интенсивности границ.
5. Весовой коэффициент цвета wcolour рассчитывается аналогично весовому коэффициенту границы.
Итоговый весовой коэффициент рассчитывается как ^ — ^edge ' ^colour
Критерий близости оттенков используется, так как существенная разность оттенков как правило означает разные объекты. Стоит отметить, что оттенок сохраняется даже в затененных частях изображения. Оттенки пикселов вычисляются с помощью преобразования исходного изображения в цветовое пространство HSV. В случае существенной разности оттенков (более 30 градусов) весовой коэффициент умножается на 0,01.
minjVcuf(x) —
У
(2)
Рис. 2 Сегментированное изображение методом нормальных разрезов[6]
4 Сравнительный эксперимент
Проведем сравнительный эксперимент двух методов нормальных разрезов. Для сравнения использован аэрофотоснимок автомобильной развязки.
На Рис. 2 показан результат сегментации изображения методом нормальных разрезов
Как можно заметить, изображение разбилось на небольшое количество сегментов, некоторые из которых, занимают крайне малую площадь на изображении. Также изображение потеряло цвет, в связи с тем, что изначально метод нормальных разрезов предложенный в [6] подразумевает работу только с черно-белым изображением. Это неизбежно ведет к потери точности. Модифицированный метод нормального разреза графа дает возможность работать с цветными изображениям (Рис. 3).
Рис. 3 Сегментированное изображение улучшенным методом нормальных разрезов
5 Заключение
В статье представлен модифицированный алгоритм нормальных разрезов, позволившей улучшить характеристики исходного метода. Проведены сравнительные численные эксперименты, которые показали, что модифицированный метод нормальных разрезов дает на выходе намного больше сегментов по сравнению со стандартным методом, что существенным образом повышает точность сегментации. Это происходит, в том числе, по той причине, что стандартный метод нормальных разрезов работает исключительно с черно-белыми изображениями. В дальнейшем предполагается дополнить представленный метод алгоритмом объединения областей согласно выбранным критериям.
Список литературы
1. Косюра О.В. Алгоритм распознавания заданных участков дорожно-транспортной инфраструктуры по аэрофотографии // Молодежный научно-технический вестник. Электронный журнал. 2014.№10. Режим доступа: http://sntbul.bmstu.ru/doc/734926.html (дата обращения: 23.02.16)
2. Вежневец А., Баринова О. Методы сегментации изображений: автоматическая сегментация // Компьютерная графика и мультимедиа. Сетевой журнал. 2006. №4. Т.4. Режим доступа:
http: //cgm.computergraphics. ru/content/view /147 (дата обращения 19.02.2016)
3.Цапаев А., Кретинин О. Методы сегментации изображений в задачах обнаружения дефектов поверхности// Компьютерная оптика.2012. №3. Т.36. С. 448-452.
4.Гонсалес Р., Вудс Р. Цифровая обработка изображений, М.: Техносфера, 2005, 1072 с.
5. Borel, A. TremeauandN.A.Region growing and Merging Algorithm to color segmentation. [Pettern Recognition]. 1997, no.30(7), pp. 1191-1203.
6. Shi J., Malik J. Normalized Cuts and Image Segmentation [IEEE Transactions on Pattern Analysis and Machine Intelligence], 2000, vol. 22, №8, pp. 888-905
7. Y.Kanai. Image Segmentation Using Intensity and Color Information. [SPIE -Visual Communications and Image Processing], San Jose, CA, 1998, vol. 3309, pp. 709-720
8. Cramariuc, B., Gabbouj, M. и Astola, J.Clustering Based Region Growing Algorithm for Color Image Segmentation.[13th Int. Conf. on Digital signal Processing], 1997, vol. 2, pp.857860.
9. Deng, Y., Manjunath, B. S. и Shin, H. Color Image Segmentation. [IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR],1999, vol.2, pp.446-451.
10. Jain, R., Kasturi, R. и Schunck, B.G. Machine Vision.[McGraw-Hill], 1995.
11. Bow, S.-T.Pattern Recognition and Image Processing ,Marcel Dekker, Inc., New York, NY, 1992.
12. R.M., Haralick h L.G., Shapiro .Image Segmentation Techniques, [Computer Vision, Graphics, and Image Processing], 1985,T.1, Vol. 29, pp. 100-132.
