Сравнительный анализ методов сегментации изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 007.001.362; 681.327.12.001.362

СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ

ПАНЧЕНКО Д. С, ПУТЯТИН Е. П.______________

Проводится анализ существующих методов сегментации, исследуется практическое применение в системах компьютерного зрения.

1. Классификация

Процесс кластеризации изображений, т. е. поиска в них однородных областей, называется сегментацией. Она считается первым этапом анализа изображений, это — базовая процедура практически во всех задачах обработки изображений с помощью систем компьютерного зрения. Такие системы применяются в промышленных роботах новых поколений, телевизионных следящих системах, транспортных роботах, графических системах и т. д. Как и другие задачи этой области, сегментация не может быть полностью формализована, она включает в себя элементы фильтрации помех и выделения изображений.

Классификация методов сегментации описывается в разных работах, посвященных этому вопросу. Часто их подразделяют на те, которые выделяют области однородных яркости или цвета, и те, которые определяют однородности иных свойств, чаще всего текстуры [ 1]. Методы первого типа и их возможности известны достаточно хорошо. В публикациях последних лет рассматриваются, в основном, методы второго типа.

Другой важный критерий, по которому можно классифицировать методы сегментации, — это характеристики областей. Они, в одном случае, могут быть заданы заранее (например, библиотека эталонов, текстур), а в другом — их необходимо получить в процессе сегментации.

Если область может быть охарактеризована только как "фон" или "объект", то сегментация называется грубой, она часто используется при неизвестных заранее характеристиках. Если характеристик больше, например, "фон", "объект класса 1", "объект класса 2" и т. д., то сегментацию называют раскраской. Её часто применяют при известных характеристиках. Эти методы можно комбинировать: проводить сначала грубую сегментацию, а затем - многозначную и окончательную [3].

Основные методы сегментации, сравнение которых рассматривается в данной работе, приводятся на рис. 1. Корреляционные методы применяются в случае, если известны эталоны объектов. Они эффективны в системах прикладного телевидения и относятся больше к области распознавания изображений. Пороговые методы применяются при существовании стабильных различий в яркостях отдельных областей. Методы наращивания областей эффективны при наличии устойчивой связности внутри отдельных

Рис. 1. Классификация методов сегментации изображений

сегментов. Метод выделения границ хорошо применять, если границы достаточно четкие и стабильные.

Для описания и сегментации свойств изображений (однородности, шероховатости, регулярности) применяют текстурные методы, которые условно делятся на две категории: статистические и структурные. Примером статистического подхода является использование матриц совпадений, формируемых из исходных изображений; структурного — мозаика Вороного. Методы, основанные на анализе цвета, по своей сути являются комбинированными.

2. Общая математическая модель сегментации

Пусть D(mxn) — растр или область поля зрения, на котором задано изображение B(i, j); DkcD — область k-го объекта k=1, 2, ... , s; DфcD — область фона. Полагаем

D1uD2U...uDsuDф=D, DinDj=0, Щ.

Рассматриваем дискретное изображение B(i, j), i=0, ..., m, j=0, ..., n. Изображение есть совокупность изображений отдельных объектов и фона. Его можно представить в виде

B(i,j) = ИДУ) + ... + Hs(i,j) + Нф(і,j), (1) где s — число объектов; Hk(i, j) — изображение k-го объекта или видимой его части, k=1, 2, ... , s; Нф(і, j) — изображение фона. Если (i, j) не попадает в область k-го объекта, то Hk(i, j)=0, Hk(i, j)=B(i, j) для (i,j)eDk, k=1, 2, ... s; Нф(і, j)=B(i, j) для (У^ф.

РИ, 1999, № 4

109

Задача сегментации изображений типа (1) заключается в построении предиката вида:

[к, если (г,7) є ,

л(йj)= jo, есж (г, j) є Бф . (2)

На содержательном уровне это означает, что каждая точка (i, j)OD изображения B(i, j) получает смысловую метку с номером p(i, j). Строго говоря, в идеале точки с одной меткой образуют область одного отдельного объекта, меткой 0 размечается область фона.

Математическая модель (1), (2) предполагает разметку непересекающихся объектов или видимых их частей при заслонении одного объекта другим. В итоге производится декомпозиция общей задачи на подзадачи: сегментация, распознавание, улучшение (фильтрация, подавление помех, подчёркивание границ и т. д.). При такой постановке интерпретация и понимание частично заслонённых объектов относится уже к области распознавания, а не к сегментации.

Прежде чем перейти к анализу экспериментов по реализации различных алгоритмов, напомним суть основных методов, которые условно можно разбить на три группы: глобального анализа разности яркостей, методы наращивания областей и текстурные методы.

3. Методы анализа разности яркостей

3.1. Пороговый метод. Пусть задано изображение B(i, j), s=1 (один объект), яркость точек находится в пределах [T1,T2], а яркости точек фона в этот отрезок не входят. Если B(i, j) є [T1, T2], то точку (i, j) считаем принадлежащей области объекта, в противном случае — области фона. В случае s>1 должны быть известны отрезки [Tk1, Tk2], в пределах которых находятся яркости k-х объектов. Эти отрезки не должны пересекаться. Разметка точек осуществляется с помощью отображения (2).

Как отмечено в [2] и [3], проблемой является определение пороговых величин. Для этого производится анализ гистограммы яркостей. В случае с одним объектом (s=1) на гистограмме должно быть два максимума. Порог выбирается между этими двумя максимумами. На практике применяются более сложные методы построения и анализа гистограммы.

3.2 Выделение границ. При таком способе сегментации объекты представляются их границами. Граничными принято считать точки резкого перепада функции яркости. Для нахождения граничных точек используется численное дифференцирование. Наиболее распространенным является градиентный метод, известный также как метод контрастирования или пространственного дифференцирования [3]. Применяя маску (фильтр) к изображению, получают так называемое изображение градиентов. Оно отличается от исходного подчеркнутыми перепадами яркости. Точка (i,j) принадлежит контуру, если яркость изображения градиентов превышает некий порог, который может определяться по гистограммам.

3.3 Анализ цвета. Сегментация путём анализа цвета основана по сути на его узнавании. Признаками служат, например, три компоненты (координаты) от функции излучения B(l) в каждой точке (i, j):

Сі = jB(k)Ki(A.)dA., l=1, 2, 3. Спектральные кривые

к

чувствительности Ki(X), K2(X), K3(X) могут соответствовать функциям трёх видов колбочек глаза чело -века, однако на практике используется много других систем кодирования цветовых компонент, включая двух- и четырёхкомпонентные системы [4]. Сегментация может производиться методами, изложенными в настоящей статье покомпонентно, а узнавание — путём дешифрации значений координат цвета.

4. Методы наращивания областей

4.1 Центроидное связывание. Для применения этого метода необходима априорная информация об объекте, а именно, одна или несколько стартовых точек. Задаются стартовые точки a1, ..., ak, которым соответственно присваиваются метки Х1, ..., Xk. Точки, имеющие метку Xi, образуют множество Si. После выбора стартовых точек проводится процесс разметки, в ходе которого рассматриваются все точки A множеств Si. Если соседняя с А точка N такова, что |B(A)—B(N)|<T и не имеет метки, то точке N присваивается метка Xi. После разбиения на области возможно проведение слияния областей, т. е. присвоения точкам с метками Хх и Ху единой метки min(Xx, Xy). При произвольном порядке разметки метод наиболее пригоден для простых изображений (с одним объектом) . Для более сложных изображений применяется так называемый волновой способ просмотра точек.

4.2 Волновой метод. После выбора стартовых точек проводится процесс, состоящий из итераций. На каждой из итераций рассматриваются точки множеств Si, кроме тех, что были включены в Si на данной итерации. Для точки (i,j) рассматриваются её соседние точки. Одной из них может быть присвоена метка Xi, если выполняется условие, описанное в предыдущем пункте. После того как анализ выполнен для всех точек множества Si, кроме тех, что были добавлены на данной итерации, производится анализ точек из Si+1. Точки множества Si, добавленные на k-й итерации, называются фронтом Fk(Xi), объединение UFk(^i) называется волной.

і

4.3. Метод водоразделов. Метод водоразделов является модификацией волнового метода [6]. Вводится множество точек S = {i, j, B(i, j)}, называемое поверхностью. На поверхности вводится понятие пути от точки sm до точки sn. Путем называется последовательность {sm,sm+1,...,sn-1,sn}, где si является соседней к si+1. Невозрастающим путем называется такая последовательность {si}, что

^sm (іщ j Jm > ®(іщ > Jm ))> sn (in > Jn > ®(in > Jn)):

: m > n о B(im, jm)< B(in, jn).

Точка s є S называется локальным минимумом, если не существует невозрастающего пути с началом в точке s. После определения локальных минимумов

110

РИ, 1999, № 4

переходят к так называемому процессу заполнения бассейнов. Находят яркость B= пш (B(i, j)). Произ-

i.j

водят итерации, на каждой из которых увеличивают яркость B на единицу, пока не достигнут максимального уровня яркости. На каждой итерации производят разметку точек с яркостью B методом волн. В результате получается разбиение изображения на бассейны. Иногда выделяют так называемые точки водораздела, т. е. точки, имеющие соседей, принадлежащих двум или более бассейнам. В зависимости от задач яркость B можно увеличивать не до максимального значения Bmax, а до какого-либо порогового значения.

4.4. Слияние — расщепление. Метод состоит в разбиении изображения на квадраты некоторым образом. Затем проводится анализ однородности этих квадратов, чаще всего анализируется однородность яркостей. Если квадрат не удовлетворяет условию однородности, то он заменяется четырьмя подквадратами. Если же участок из четырёх соседних квадратов оказывается таким, что для него выполняется условие однородности, то эти четыре квадрата объединяются в один. Результатом слияния — расщепления может служить некоторая структура с информацией о квадратах, чаще всего — граф, а может быть и изображение, в котором все пиксели внутри однородной области имеют одинаковую яркость.

5. Текстурные методы

5.1. Матрицы совпадений. Этот метод входит в группу статистических методов. Путем вычисления для каждого участка так называемой матрицы совпадений он позволяет определить, содержат ли участки изображения текстуры одного класса.

Рассматривается участок NxN. Имеем множество яркостей {B(i, j), i =1, ..., N; j=1, ..., N} c G градациями серого. Определяется вектор смещения d=(dx, dy). Вводится матрица совпадений GxG, обозначаемая Pd. Элемент (a, b) матрицы Pd равен числу случаев, когда от точки с яркостью а на расстоянии, определяемом вектором d, находится точка с яркостью b. Формально это записывается так:

Pd(o, b)= Zp(a,b,(r,sKt,v)),

(3)

r,s

где

p(a,b,(r,s),(t, v))

1, если в(г, s) = a, B(t, v) = b,

О, в противном случае

(t, v)=(r+dx, s+dy).

На основе матрицы Pd могут быть вычислены различные характеристики:

элементов мозаики. Чаще всего для получения примитивов к изображению применяют фильтры, как при выделении границ. Затем выбирают точки локальных максимумов, к которым применяют метод наращивания, в результате чего получают компоненты из 8-ми связных элементов. Полученные таким образом компоненты или точки локальных максимумов определяют как примитивы. Затем строют мозаичное разбиение Вороного для примитивов. Рассмотрим построение для случая, когда примитивы являются точками.

Пусть дано множество S из трех и более примитивов. Пусть не все точки лежат на одной прямой. Рассмотрим пару точек P и Q. Построим прямую — геометрическое место точек, равноудаленных от P и Q.

Р О

Получим две полуплоскости Hq и HjJ .Для любой

точки P можно провести такое разбиение со всеми QeS. Пересечение определяет многоугольник, все точки которого ближе к P, чем к какой-либо другой точке. Такой многоугольник называют многоугольником Вороного для данной точки. Рассматривают множество многоугольников, называемое диаграммой Вороного. Многоугольники с общими свойствами объединяют в области. Для вычисления свойств часто используют центр тяжести и момент площади многоугольника. Момент площади (p+q)-ra порядка для многоугольника относительно примитива с координатами (x, у) определяют так:

mpq = Я (х - *¥ (у - У J1 dxdy,

R

где (p+q)=0, 1, 2, ... ; х, у — координаты центра тяжести многоугольника

Часто используются признаки:

-2-2 fl =m00; f2 =VX +У ,f3=arctg

Ґ~Л

У

6. Результаты машинных экспериментов

6.1. Критерии оценки результатов. Оценивать методы с точки зрения их применения в системах компьютерного зрения можно по качеству подавления фона и выделения объектов в виде связных областей.

Поскольку понятие "объект" в общем случае формализовано не до конца и априорная информация минимальна, то нельзя требовать точного выделения объекта, состоящего из нескольких частей разной яркости как одной связной области. Второе требование можно упростить: должны быть выделены по крайней мере ключевые части объекта, необходимые для его распознавания.

ЦР^(а,Ь) (энергия), а b

- ZZPd (a,b) log Pd(a,b) (энтропия). а b

5.2. Метод мозаики Вороного. Сегментация с использованием этого метода состоит из трёх шагов: построения примитивов, составления мозаики, анализа

6.2. Обрабатываемые изображения. Задача сегментации часто возникает при анализе реальных сцен в системах компьютерного зрения и прикладного телевидения. Для анализа методов взяты изображения, типичные для данных задач (рис. 2). Изображения различаются количеством объектов, яркостью фона и объектов, гладкостью/грубостью, наличием повторяющихся текстур.

РИ, 1999, № 4

111

Особенности программирования. Программы, реализующие алгоритмы сегментации, были написаны на языке Microsoft Visual C++ 5.0 для ОС Windows-9x, NT. Устройства, используемые в системах компьютерного зрения, практически всегда обеспечиваются драйверами для этих операционных систем. Язык Microsoft Visual C++ 5.0 предоставляет средства для эффективного управления вычислительными ресурсами компьютера, работы с изображениями в реальном времени.

При реализации порогового метода для выбора порога была использована гистограмма яркостей. Для анализируемых изображений не удалось получить гистограмму, где чётко были бы видны только два максимума. Для сегментации порог T задавался вручную, он выбирался равным среднему значению или значению между двумя соседними максимумами.

При практическом применении данного метода было замечено, что для сегментации достаточно один раз проанализировать пиксели изображения, поэтому метод отличается высоким быстродействием. К тому же нет необходимости хранить в памяти большие массивы данных, что тоже является достоинством данного метода. Однако даже визуальный анализ результатов экспериментов (рис. 2) показывает, что перечисленные достоинства метода не делают его эффективным для СТЗ изображений даже при эвристическом подборе порогов.

При выполнении программ, реализующих алгоритмы центроидного связывания, от пользователя (оператора) требуется указать объект или группу объектов. В системах технического зрения и в компьютерных графических системах можно использовать два способа целеуказания. В первом случае оператор выбирает точку на объекте, которая считается стартовой, во втором — объект или группу объектов с помощью прямоугольной так называемой контурной рамки. Здесь стартовыми можно считать все точки, которые попадают на границу рамки, чаще всего это точки фона.

На рис. 2 приведена реализация первого метода целеуказания. Анализ показывает, что часть изображения вокруг стартовой точки хотя и выделяется, однако говорить о четком выделении силуэта невозможно в рамках одного значения порога. Это объясняется тем, что для анализа были взяты достаточно сложные изображения; для обработки изображений с объектами, имеющими достаточно однородную яркость, метод показал себя как простой и надёжный [3, 4].

При реализации алгоритмов возникают сложности, связанные с выбором значения порога T. Очевидно, в общем случае это значение должно вычисляться на основе анализа яркостей пикселей изображения. Для каждого элемента B(i, j), i=1, ..., m-1, j=1, ..., n-1 вычисляется сумма

Dij=|B(i, j) - B(i+1, j)| + |B(i, j) - B(i-1, j)| +

+ |B(i, j) - B(i, j+1)| + | B(i, j) - B(i, j-1)|.

Значение порога вычисляем так:

T = aD/m • n • Bmax , (4)

где m, n — размеры изображения; Bmax — максимальное значение яркости; D = £Djj .

„ ‘’j

При реализации алгоритма слияния-расщепления для каждого квадрата определялись минимальная и максимальная яркости Bmin и Bmax. Квадрат расщеплялся, если |Bmax-Bmin|>T, где Т — некоторый порог, иначе квадрат считался однородным, и его пикселям присваивалось значение B^, равное среднему в данном квадрате. Квадраты сливались, если их B^ различались не более чем на Toa=T/4. При увеличении значения T^ во многих случаях фон сливался с объектами. Программа, реализующая алгоритм слияния-расщепления, осуществляет 9-10 проходов по изображению и требует памяти, достаточной для хранения двух копий изображения. Из анализа результатов (рис. 2) видно, что хорошо выделяются однородные области сложной формы, однако отдельные из них, которые определяются другими методами, при использовании метода слияния-расщепления разбиваются надве или больше областей. При наличии текстурных элементов или изображений с мелкими деталями в результате сегментации возникает множество мелких объектов. В целом, как видно, эффективность метода низкая.

Возможно использование слияния-расщепления в комбинации с другими методами, например, в качестве подготовительного этапа перед применением таких как текстурные.

В литературе приводятся примеры сегментации выделением контура для однородных нетекстурных изображений. Для анализа метод выделения контура был применен к достаточно сложным изображениям. В приведенных примерах использован оператор Лапласа [7], при применении других операторов были получены похожие результаты. Очевидно, что как замкнутые контуры оказались выделенными элементы текстуры и некоторые детали объектов, но не сами объекты (рис. 2). Из анализа результатов можно сделать вывод, что сегментация методом выделения границ не дает хороших результатов для сложных реальных сцен.

Программа, реализующая алгоритм выделения границ, производит два прохода по изображению и не требует буферов для хранения его копий.

В [7] отмечается, что для применения метода матрицы совпадений требуются эталоны текстур. Для анализа реальных изображений, которые рассматриваются в настоящей работе, вначале применен алгоритм в следующем виде. По изображению проходят рамкой размером NxN, вычисляют матрицу совпадений и значение одной из характеристик (энергию, энтропию и т. п.) для той части изображения, которая попадает в рамку. Каждому пикселю (i, j) присваивают значение выбранной характеристики, вычисленное для рамки, центр которой имеет координаты (i, j). В результате получают матрицу значений характери -стик, в которой производят поиск однородностей.

112

РИ, 1999, № 4

Очевидно, такое применение матрицы совпадений требует больших вычислительных ресурсов: для изображения 256x256 пикселей и рамки 11x11 требуется произвести 65535 х 121 х 65535 = 47243198475 вычислений (сложение, сравнение). Поэтому применён более простой вариант этого алгоритма, который по быстродействию в 29 раза быстрее.

В качестве характеристикой пикселя, находящегося в центре рамки, берется разница между максимальным и минимальным значениями яркостей пикселей, попавших в рамку. Эксперимент, результаты которого приводятся (рис. 2), показывает, что с помощью этого метода хорошо выделяются участки с одинаковым разбросом яркостей. Очевидно также, что найденные однородности зависят от размера и формы рамки. Для выбранных изображений была взята квадратная рамка 11x11. В результате выделения найденные объекты по размеру сравнимы с размерами рамки. Можно сделать вывод, что рамку необходимо задавать в зависимости от объектов, которые предполагается найти.

С точки зрения программирования алгоритм матрицы совпадений достаточно медленный. Однако он не требует больших объемов памяти.

В публикациях приводятся примеры применения метода мозаики Вороного только для текстур. Так как в реальных изображениях текстуры обычно встречаются в искажённом виде и в комбинации с нетексту-риро-ванными участками, то для получения хороших результатов метод мозаики Вороного целесообразно модифицировать. В качестве примитивов будем брать точки локальных минимумов и максимумов, как в методе

Матрица совпадений л У 'll Ц 41 1 f , Ц- ад

Мозаика Вороного 4 * - . ^ і .:У* ! 1 *

Выделение границ ч... . ;> • ■ *•* і Мі {ї:пї ... \ Ч,1 . ' „ ■" • • •.. 'к ' V.:- - . ■ Л 'ч ч Л #, ' V- Ж." ...

Слияние- расшепление 1. - •. 4 -L- 'Гй- = ВН ШВЕ?? №?ИЫ П

Центроиднос связывание

Пороговый метод \ ** цШ г л Л т .гЗ-г tn $ША ч W ^

Входное изображение и

РИ, 1999, № 4

113

Рис. 2. Результаты машинных экспериментов

водоразделов [5]. Эксперименты (рис. 2) показывают, что такие точки встречаются на всех реальных изображениях в большом количестве. Если скользить рамкой по изображению, то с помощью примитивов можно вычислять различные полезные характеристики, например, число примитивов, попадающих в рамку (это равносильно вычислению размера многоугольников Вороного, можно таким же образом анализировать и форму многоугольников, изменяя высоту и ширину рамки), расстояние от рамки до ближайшего примитива и т. д.

Как и в других методах, проблемой является выбор размера и формы рамки. Для исследования использовалась рамка 13x13. В зависимости от количества примитивов, попавших в рамку, пикселю присваивалась одна из четырех меток. Путем изменения размера, формы рамки, видов анализируемых примитивов не удалось получить значений, дающих одинаково хорошие результаты для всех изображений.

7. Каскадное применение методов сегментации

Предлагаемая модификация предназначена для сегментации нетекстурированных или слаботекстури-рованных изображений. Цель ее — выделение объектов (в том числе нескольких) на изображении и удаление фона. Это необходимо для систем телевизионного слежения и систем редактирования изображений (программы сканирования, графические редакторы). Выделяются объекты, целиком попадающие в область изображения.

Сегментация состоит из трех этапов, каждый из которых описан выше как ее самостоятельный метод. На первом этапе к изображению применяется метод слияния—расщепления, что рекомендовано в [5] как предварительный этап. В результате удаляются незначительные неоднородности.

Следующий этап — выделение границ. При исследовании используется оператор Лапласа как наиболее универсальный и равномерно отражающий перепады яркостей по всем направлениям. Получается новое изображение, состоящее из контуров. В программе

применяется нормализация яркостей, чтобы диапазон их изменения был фиксированным.

Третий этап — применение к новому изображению метода контурной рамки. В результате выделяется фон и некоторое число областей, не размеченных как фон, которые считаем выделенными объектами.

Экспериментальная проверка (рис. 3) показала, что комбинация методов дает хорошие результаты как для одного, так и для нескольких объектов, имеющих даже незначительные отличия от фона по яркости. У больших объектов, состоящих из нескольких частей разной яркости, удалось выделить ключевые части. Таким образом, достигнута определённая универсальность каскадного алгоритма относительно разных типов изображений.

8. Заключение

Анализ известных методов сегментации с точки зрения практического применения позволил выявить их основные характеристики и на основе рассмотренных методов предложить комбинированный алгоритм, наиболее эффективно производящий сегментацию с точки зрения систем компьютерного зрения. Алгоритм автоматически выделяет объекты или, для сложных объектов, их ключевые части. Не теряются значения внутренних пикселей объектов, что важно для последующей обработки. Требования к вычислительным ресурсам хотя и высокие, однако пригодные для работы в реальном времени.

Литература: 1. Зарубежная радиоэлектроника. 1987. №10. 95 с. 2. Павлидис Т. Алгоритмы машинной графики и обработки изображений / Пер. с англ. М.: Радио и связь, 1986. 400 с. 3. Путятин Е. П, Аверин С. И. Обработка изображений в робототехнике. М.: Машиностроение, 1990. 320 с. 4. Роджерс Д. Ф. Алгоритмические основы машинной графики. М. Мир. 1989. 5. Beucher S. Segmentattion tools in mathematical morphology//Handbook of pattern recognition and computer vision. 1993. Р. 443-456.

6. Chellapa R., Kashyap R. L, Manjunath B.S. Model based texture segmentation and classification.//Handbook of pattern recognition and computer vision. 1993. Р. 277-307. 7. Tuceryan M, Jain A. K. Texture analysis //Handbook of pattern recognition and computer vision. 1993. Р. 235-276.

Поступила в редколлегию 11.10.99

Рецензент: д-р техн. наук Гинзбург М. Д.

Панченко Дмитрий Сергеевич, инженер-программист СФ “ИНЭК”. Научные интересы: обработка и распознавание изображений. Адрес: Украина, 61098, Харьков, а/я 1220; тел. 7217-63.

Путятин Евгений Петрович, д-р техн. наук, профессор, заведующий кафедрой информатики ХТУРЭ. Научные интересы: обработка и распознавание изображений. Адрес: Украина, 61166, Харьков, ул. ак. Ляпунова, 7, кв. 125. тел. р. 40-94-19, дом. 32-78-08.

114

РИ, 1999, № 4