Применение метода мажоризации-минимизации к алгоритму Чана --- Везе в задаче сегментации изображений

Дружицкий И.С.; Бекасов Д.Е.

УДК 004.932.2

DOI: 10.18698/0236-3933-2019-6-19-29

ПРИМЕНЕНИЕ МЕТОДА МАЖОРИЗАЦИИ-МИНИМИЗАЦИИ К АЛГОРИТМУ ЧАНА — ВЕЗЕ В ЗАДАЧЕ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ

И.С. Дружицкий Д.Е. Бекасов

idruzhitskiy@mail.ru bekasov@bmstu.ru

МГТУ им. Н.Э. Баумана, Москва, Российская Федерация

Аннотация

Предложена модификация алгоритма Чана — Везе, проведенная в целях преодоления недостатков оригинала, таких как высокая вычислительная сложность и использование приближенных аппроксимаций. В рассматриваемой модификации оптимизация проводится методом мажори-зации-минимизации, основная идея которого состоит в снижении сложности задачи с помощью мажоритарной функции. Показана возможность применения функций Хевисайда и Дирака вследствие использования предлагаемого метода оптимизации. Это позволило достичь тех же или лучших уровней насыщения при оптимизации методом разреза графов за меньшее число итераций, что снизило время работы. Предложенный алгоритм протестирован на наборе данных СакесЬ101. Алгоритм является общим, не зависит от предметной области и не требует предварительного обучения. Это позволяет использовать его в качестве основы для широкого спектра алгоритмов сегментации изображений

Ключевые слова

Сегментация изображений, алгоритм Чана — Везе, метод мажоризации-минимизации, оптимизация

Поступила 18.03.2019 © Автор(ы), 2019

Введение. Целью сегментации изображений является разделение изображения на части, содержащие объект или область интереса [1]. В настоящей работе рассматривается извлечение однородных областей изображения. Дальнейшее распознавание объектов и установление связей между областями является задачей последующих стадий обработки. Это позволяет выделить общую сегментацию изображений, используемую для разбиения пространства, и некоторую специфическую для предметной области стадию обработки частей полученного разбиения. Приведенный в [1] краткий обзор современных методов освещает только проблему извлечения интересующих областей, безотносительно их дальнейшего анализа. Методы, требующие предварительно размеченной выборки, не рассматриваются.

Цель предложенного в настоящей работе метода — получение областей, однородных по яркости, при этом критерий гомогенности основывается на ребрах, регионах и общей информации об изображении, а простейший метод сегментации такого рода — на граничном значении [2]. Также предполагается работа с изображениями, выполненными в тонах серого цвета. Принадлежность каждого пикселя региону определяется путем сопоставления его яркости с заданной границей. Это позволяет простым образом проводить сегментацию на изображениях, имеющих однородную текстуру. В противном случае, граничное значение должно задаваться функцией от координат текущего пикселя.

Более сложная группа методов сегментации — методы, основанные на границах [3]. В таких методах подразумевается наличие четких границ объектов в разделяемом пространстве. Они предназначены для определения групп границ, описывающих объекты на изображении. Проблема таких методов заключается в том, что границы могут находиться внутри объекта, быть нечеткими или неочевидными [4]. Более того, качество работы резко снижается при наличии шума, вследствие которого появляются фантомные границы.

Альтернативный подход — это использование информации о регионах, а не о границах при условии их однородности [5]. Такие методы избавлены от проблем, связанных с шумом или нечеткими границами, но их результаты зависят от выбранного критерия однородности (разности ин-тенсивностей, текстур и цвета). В настоящее время широко распространен метод совмещения регионов. В его основе лежит предположение, что каждый пиксель представляет собой отдельный регион, далее пиксели объединяются в новые регионы, пока это допустимо в соответствии с выбранным критерием. Противоположным по смыслу методом является метод разделения регионов. Данные подходы могут быть объединены в общий метод разделения-объединения, начинающийся с разделения и переходящий в объединение однородных областей [6]. Другим методом, основанным на регионах, является метод водораздела. В этом случае полутоновое изображение представляется как карта высот, где высота над уровнем моря определяется яркостью пикселя. Далее происходит «заполнение водой» этой карты высот с дальнейшим поиском «озер», являющихся искомыми областями.

Следующая группа — это методы, основанные на кластеризации [7]. Их объединяет применение общих алгоритмов кластеризации к характеристическим векторам, построенным с учетом пространственных и яр-костных характеристик.

Последней рассматриваемой в настоящей работе группой методов решения задачи сегментации изображений является группа методов, основанная на марковских сетях [8]. В этих методах изображение представляется в виде графа, узлы которого — это пиксели, а дуги обозначают близкое расположение. Каждому узлу назначается значение интенсивности соответствующего пикселя, а дугам — разность между интенсивно-стями узлов на концах данной дуги. Далее каждому узлу назначается метка из конечного набора меток и выполняется разрез графа по меткам и заданной энергетической функции. Полученные подграфы соответствуют искомым областям.

Алгоритм Чана — Везе. В работе [9] предложен алгоритм, основанный на оптимизации функционала, обеспечивающего высокую разделяющую способность для полутонового изображения. Функционал Чана — Везе запишем следующим образом:

Р (а) = а |5(а(х, у ))|Уа(х, у )\йхйу + Р| Н (о)йхйу +

а а

+ У11Н(о)|g(х,у)-|Д1 (а)|2 йхйу +

а

+ у2 |(1 - Н (а))^ (х, у )-Ц2 (°)|2 йхйу, (1)

а

где а( х, у) — искомая функция уровневой поверхности, положительные значения которой указывают на принадлежность пикселя с координатами х, у региону, окруженному кривой 1(5) : [0,1] нулевые и отрицательные — на то, что пиксель находится на и вне кривой; Н (а) — сглаженный оператор Хевисайда; 8 — сглаженная дельта-функция Дирака; йс^2 — пространство пикселей; g ( х, у) : 0,1] — функция, отображающая каждый пиксель в полутоновую интенсивность; а > 0, у1у2 > 0, Р > 0 — параметры функционала, настраиваемые относительно предметной области; (а) и ^2 — математические ожидания значений интенсивности пикселей внутри и вне искомой области.

Несмотря на то что данный функционал позволяет с высокой точностью сегментировать изображения различных предметных областей, он не очень широко распространен. Это связано с тем, что использование метода в задачах, требующих сегментации изображения в реальном времени, невозможно, поскольку метод вычислительно сложен и число итераций может превышать несколько сотен. К тому же аппроксимация функции Хевисайда позволяет найти оптимальное решение только для

аппроксимации, а не для исходного функционала, что снижает качество работы.

Обзор современных работ по модификации алгоритма Чана — Везе.

В работе [10] приведена адаптация алгоритма Чана — Везе для сегментации данных, полученных от сонара. Особенность таких изображений в том, что искомым объектом может быть как область теней, так и светов. В целях повышения вероятности получения верного результата применяется одновременный анализ обеих областей. Для оптимизации используются уравнения Эйлера — Лагранжа.

В работе [11] используется механизм нейронных сетей, позволяющий применять обучение без учителя для получения параметров функционала. Приведенные в [11] исследования показывают, что используя подобную технику, можно получить более точную сегментацию по сравнению с оригинальным алгоритмом, при этом обучение занимает меньше времени, чем оригинальная техника оптимизации.

В работе [12] функционал Чана — Везе ограничен В-сплайнами [13]. Необходимость такой модификации вызвана применением алгоритма сегментации к изображениям зрачков. В таком случае сегментируемая область всегда ограничена эллипсом и использование В-сплайнов позволяет повысить точность определения искомых областей, при этом время выполнения увеличивается.

Модифицированный алгоритм Чана — Везе. Для преодоления недостатков, описанных ранее, для оптимизации предлагается использовать метод мажоризации-минимизации [14], а также точную функцию Хевисайда и Дирака. Это одновременно позволит сохранить свойство сходимости и сократить время выполнения в десятки раз.

Основной идеей предлагаемого метода является применение многоступенчатой оптимизационной процедуры, на каждом шаге которой корректируется оценка оптимизируемого функционала. Вначале проводится стадия мажоризации, в которой строится мажорантный функционал, отвечающий требованиям из формулы

Ф0 (а)>F(а), Ф0(<Г0) = F(<Г0), (2)

где 00 — начальное значение а. В рамках предлагаемого алгоритма мажорантный функционал относится к области квадратичного бинарного программирования.

Далее проводится минимизация полученного функционала, результатом которой является новое оптимальное решение аь Строится новый

мажорантный функционал Ф1(а), аналогичный Фс>(а) из формулы (2), но совпадающий с оригинальным в точке аь Минимизация проходит по алгоритму Бойкова — Колмогорова [15].

Исследования. Для сравнительного исследования качества работы предлагаемого метода использовались следующие алгоритмы: алгоритм ^-средних Мак-Куина [7], оригинальный алгоритм Чана — Везе [9], алгоритм разреза графов, основанный на алгоритме Бойкова, Заби и Колмогорова [15], и алгоритм бинаризации Оцу [16].

Сравнение алгоритмов проводилось на наборе СаЬесЬ101 [17]. Он содержит 85 изображений Будды, 55 изображений аккордеона и 800 изображений самолета. Примеры изображений приведены на рисунке. Задача сегментации в этом случае формулируется как отделение объекта от окружающего фона. В качестве основной метрики использовалась чистота, вычисляемая по формуле (аналогично [18])

с Nd

Ри =У—, (3)

* = 1 CNi

где ^ — число элементов в *-м кластере с доминирующим объектом; N1 — число элементов в *-м классе.

Примеры изображений набора СакесЫ01

Для идеального случая данная метрика дает единицу, т. е. все элементы кластера содержат только объект и не содержат пикселей фона. Другой основной метрикой являлась точность

Рг = , (4)

где N1 — число пикселей изображения, которые принадлежат основному классу; N1} — общее число пикселей основного класса, задано заранее.

С помощью основных метрик выражаются расширенные алгоритмы, характеризующие работу на всем наборе из М изображений и используемые для сравнения. Они представлены в следующих формулах:

М РП

А = I РПг; (5)

t = 1 M

M

PuN (Ii)

B = I м ч; (6)

i -1 ZM= N &)

M

PrtN (Ij)

С = I М У ч , (7)

' ^ 1 ХМ= lN (1})

где N (I) — число пикселей на изображении I.

Результаты исследований приведены в табл. 1, из которой следует, что разработанная модификация во многих случаях превосходит аналоги или не уступает им. Отметим, что время выполнения модифицированного алгоритма Чана — Везе на машине с одинаковой конфигурацией в среднем на порядок меньше времени выполнения обычного алгоритма. На тестовом стенде обработка немодифицированным методом одного изображения в среднем занимала 2 с, модифицированным методом — 0,15 с.

Таблица 1

Результаты сравнения алгоритмов сегментации изображений

Изображение Алгоритм Оцу Алгоритм fc-средних Алгоритм Чана — Везе Алгоритм разреза графов Модифицированный алгоритм Чана — Везе

Л 0,7387 0,7543 0,7508 0,7546 0,7663

Самолет В 0,7339 0,7523 0,7401 0,7520 0,7661

С 0,4104 0,6010 0,5613 0,6670 0,6535

Аккордеон А 0,7122 0,7771 0,7473 0,7928 0,8279

В 0,7115 0,7725 0,7466 0,7920 0,8326

С 0,7994 0,8631 0,8945 0,9455 0,9455

А 0,7463 0,7186 0,7514 0,6969 0,7959

Будда В 0,7466 0,7185 0,7466 0,6991 0,7934

С 0,7327 0,7459 0,8115 0,8451 0,8451

В табл. 2 приведено визуальное сравнение результатов работы оригинального и модифицированного алгоритмов Чана — Везе на трех произвольных изображениях. Полученные в ходе работы предложенного алгоритма изображения имеют более точную границу благодаря использованию функции Хевисайда.

Таблица 2

Результаты обработки изображения с помощью алгоритма Чана — Везе

Оригинальное Алгоритм Чана — Везе

изображение оригинальный модифицированный

■ щ И

Щв КЯк м о 4°с > " ^ О <

iWi HBv : * -/j .. ■ЕЛ.-.' Г»-Л- '' i Ei. SÄ" vifi МЗШ щ

Заключение. Предложена модификация существующего метода сегментации изображений. Данная модификация позволила повысить точность определения областей изображения вследствие замены аппроксимаций определенных функций на их точные значения. Также уменьшено время выполнения благодаря использованию метода мажоризации-минимизации, требующего меньше вычислительных ресурсов при схождении к оптимуму. Все это позволяет использовать данный алгоритм для большего спектра задач. В целом полученные результаты могут быть применены не только для задач обработки изображений, но и к любой задаче, использующей функционал Чана — Везе.

ЛИТЕРАТУРА

[1] Chan T.F., Vese L.A. Active contours without edges. IEEE Trans. Image Process., 2001, vol. 2, no. 10, pp. 266-277. DOI: 10.1109/83.902291

[2] Hunter D., Lange K. Quantile regression via an MM algorithm. J. Comput. Sc., 2000, vol. 9, no. 1, pp. 60-77. DOI: 10.2307/1390613

[3] Sonka M., Hlavac R.B.V. Image processing, analysis and machine vision. Thomson Learning, 2007.

[4] Engel K. Real-time volume graphics. AK Peters, 2006.

[5] Canny J. A computational approach to edge detection. IEEE Trans. Pattern Anal. Mach. Intell., 1986, vol. 8, no. 6, pp. 679-698. DOI: 10.1109/TPAMI.1986.4767851

[6] Chen L. The lambda-connected segmentation and the optimal algorithm for split-and-merge segmentation. Chinese J. Computers, 1991, vol. 14, no. 5, pp. 321-331.

[7] MacQueen J. Some methods for classification and analysis of multivariate observations. Proc. 5th Berkeley Symp. Mathematical Statistics and Probability, 1967, pp.281-297.

[8] Zhang Y., Brady M., Smith S. Segmentation of brain MR images through a hidden Markov random field model and the expectation-maximization algorithm. IEEE Trans. Med. Imag., 2001, vol. 20, no. 1, pp. 45-57. DOI: 10.1109/42.906424

[9] Boykov Y., Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision. IEEE Trans. Pattern Anal. Mach. Intell., 2004, vol. 26, no. 9, pp. 1124-1137. DOI: 10.1109/TPAMI.2004.60

[10] Wang X., Guo L., Yin J., et al. Narrowband Chan — Vese model of sonar image segmentation: an adaptive ladder initialization approach. Appl. Acoust., 2016, vol. 113, pp. 238-254. DOI: 10.1016/j.apacoust.2016.06.028

[11] Abdelsamea M.M., Gnecco G., Gaber M.M. A SOM-based Chan — Vese model for unsupervised image segmentation. Soft Comput., 2017, vol. 21, no. 8, pp. 20472067. DOI: 10.1007/s00500-015-1906-z

[12] Chai T.Y., Goi B.M., Tay Y.H., et al. Local Chan — Vese segmentation for nonideal visible wavelength iris images. TAAI, 2015. DOI: 10.1109/TAAI.2015.7407059

[13] Barbosa D., Dietenbeck T., Schaerer J., et al. B-spline explicit active surfaces: an efficient framework for real-time 3-D region-based segmentation. IEEE Trans. Image Process., 2012, vol. 21, no. 1, pp. 241-251. DOI: 10.1109/TIP.2011.2161484

[14] Zhao Y., Karypis G. Criterion functions for document clustering: experiments and analysis. Minneapolis, 2001.

[15] Otsu N. A threshold selection method from gray-level histograms. IEEE Trans. Sys, Man., Cyber., 1979, vol. 9, no. 1, pp. 62-66. DOI: 10.1109/TSMC.1979.4310076

[16] Dutta R. Image segmentation using thresholding. Kolkata, 2018.

[17] Yuheng S., Hao Y. Image segmentation algorithms overview. arxiv.org: веб-сайт. URL: https://arxiv.org/abs/1707.02051 (дата обращения: 15.03.2019).

[18] Fauza B., Kiweewa A., Bai L. A review of vessel segmentation technique. ICCAIS, 2017. DOI: 10.1109/CAIS.2018.8441989

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Дружицкий Иван Сергеевич — магистр кафедры «Программное обеспечение ЭВМ и информационные технологии» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).

Бекасов Денис Евгеньевич — старший преподаватель кафедры «Программное обеспечение ЭВМ и информационные технологии» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).

Просьба ссылаться на эту статью следующим образом:

Дружицкий И.С., Бекасов Д.Е. Применение метода мажоризации-минимизации к алгоритму Чана — Везе в задаче сегментации изображений. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2019, № 6, с. 19-29. БОТ: 10.18698/0236-3933-2019-6-19-29

APPLICATION OF MAJORIZATION-MINIMIZATION METHOD TO CHAN — VESE ALGORITHM IN THE IMAGE SEGMENTATION PROBLEM

I.S. Druzhitskiy idruzhitskiy@mail.ru

D.E. Bekasov bekasov@bmstu.ru

Bauman Moscow State Technical University, Moscow, Russian Federation

Abstract

The purpose of the study was to modify Chan — Vese algorithm in order to overcome its shortcomings, such as high computational complexity and the use of approximations. In the considered modification, optimization is carried out by the majoriza-tion-minimization method, the main idea of which is to reduce the complexity of the problem using the majority function. Due to the proposed optimization method, it is possible to use the Heaviside step function and Dirac delta function. This enabled the same or better saturation levels when optimization is done by the graph cut method in a smaller number of iterations, which reduced the operation time. The proposed algorithm was tested on a Caltech101 dataset. The algorithm is general, does not depend on the subject area and does not require prior training. This allows it to be used as the basis for a wide range of image segmentation algorithms

Keywords

Image segmentation, Chan — Vese algorithm, majorization-minimization, optimization

REFERENCES

[1] Chan T.F., Vese L.A. Active contours without edges. IEEE Trans. Image Process., 2001, vol. 2, no. 10, pp. 266-277. DOI: 10.1109/83.902291

[2] Hunter D., Lange K. Quantile regression via an MM algorithm. J. Comput. Sc., 2000, vol. 9, no. 1, pp. 60-77. DOI: 10.2307/1390613

[3] Sonka M., Hlavac R.B.V. Image processing, analysis and machine vision. Thomson Learning, 2007.

[4] Engel K. Real-time volume graphics. AK Peters, 2006.

[5] Canny J. A computational approach to edge detection. IEEE Trans. Pattern Anal. Mach. Intell., 1986, vol. 8, no. 6, pp. 679-698.

DOI: 10.1109/TPAMI.1986.4767851