CC BY
55
УДК 621.391
© М.В. Харинов
УЛУЧШЕНИЕ КАЧЕСТВА ПРИБЛИЖЕНИЯ ЦИФРОВОГО ИЗОБРАЖЕНИЯ НА ОСНОВЕ ИЕРАРХИЧЕСКОЙ СЕГМЕНТАЦИИ
В работе предлагается метод оптимизации качества кусочно-постоянного приближения цифрового изображения данным числом связных сегментов посредством итеративного применения комбинированной операции слияния/разделения.
Ключевые слова: цветовое изображение, сегмент, слияние, разделение, бинарная иерархия, среднеквадратичное отклонение, минимизация.
©M.V. Kharinov
IMPROVING THE QUALITY OF DIGITAL IMAGE APPROXIMATION BASED ON
HIERARCHICAL SEGMENTATION
The paper proposes a method for optimizing quality of the piecewise constant approximation of a digital image with a given number of connected segments by an iterative applying of a combination of merge and split operations.
Keywords: color image, segment, merging, splitting, binary hierarchy, standard deviation, minimization.
Введение
Работа относится к области автоматического выделения объектов на цветовых изображениях или сегментации изображений, которая понимается в классическом смысле разделения исходного изображения на сегменты, которые состоят из связных пикселей [1-3]. Качество приближений изображения с усредненными по сегментам или кластерам из нескольких сегментов значениями пикселей, принято оценивать [4-5] по среднеквадратичному отклонению сг приближения от изображения или суммарной квадратичной ошибке E = 3No2, где N — число пикселей в изображении, а коэффициент 3 учитывает число цветовых R, G, B компонент.
Если при данном числе кластеров достигается минимально возможное значение а или E, то приближение изображения считается оптимальным. Вычисление оптимальных приближений цифрового изображения связными сегментами является, на сегодняшний день, нерешенной проблемой. При этом минимально достижимое значение ошибки аппроксимации E в расчетах оказывается неизвестным, а формальное сравнение результатов сегментации по значениям E или а с неопределенной «точкой отсчета» недостаточно достоверным и компенсируется субъективной оценкой адекватности выделения зрительно наблюдаемых объектов. Для обеих оценок представляет интерес разработка методов оптимизации качества аппроксимации изображения по стандартному среднеквадратичному отклонению а или E.
В статье предлагается вариант метода улучшения качества приближения за счет минимизации ошибки E аппроксимации изображения посредством слияния/разделения сегментов изображения, которые составляют бинарную иерархию.
1. Постановка задачи
Рассмотрим заданное разбиение цветового изображения на к сегментов. Заполнение сегментов средними значениями пикселей порождает кусочно-постоянное приближение изображения, качество которого характеризуется некоторым значением среднеквадратичного отклонения сг приближения от изображения и соответствующей суммарной квадратичной ошибкой E .
Полагается, что для каждого сегмента заданного разбиения определено множество вложенных сегментов, которые составляют бинарную иерархию. Иными словами, любой сегмент из n > 1 пикселей разделяется на пару вложенных, и иерархия состоит из 2n — 1 сегментов. Разделение сегмента данного разбиения надвое преобразует разбиение в разбиение из к +1 сегментов, а слияние пары смежных сегментов порождает новый сегмент и новое разбиение из к — 1 сегментов. Комбинированная операция слияния/разделения сегментов преобразует разбиение изображения в
новое разбиение с исходным числом к сегментов. Требуется снизить при этом ошибку аппроксимации E изображения кусочно-постоянным приближением, индуцируемым преобразованным разбиением.
2. Кластеризация и сегментация
Классическим методом, обеспечивающим эффективную минимизацию суммарной квадратичной ошибки E при иерархической кластеризации многомерных данных, является метод Уорда [6], в котором выполняется итеративное попарное слияние кластеров, отвечающих минимальному приращению AEmerge = min суммарной квадратичной ошибки E. Выражение для приращения
АEmerge (1, 2) = E(1 и 2) - E(1) - E(2) суммарной квадратичной ошибки E при слиянии кластеров 1
и 2 из n и, соответственно, n2 пикселей дается формулой:
AEmerge М)= ^^ > 0, (1)
-+-
n1 n 2
где I1, 12 — трехмерные значения средних яркостей по цветовым компонентам изображения, а знак || ||2 обозначает евклидову норму их разности.
В результате применения метода Уорда [6] вычисляется последовательность разбиений множества пикселей на N0, N0 - 1, ..., 3, 2,1 кластеров, где N0 — количество кластеров в некотором начальном разбиении множества пикселей изображения. Метод Уорда обеспечивает безусловную минимизацию суммарной квадратичной ошибки E посредством перебора всех пар кластеров. Вычислительная сложность метода с ростом N0 возрастает квадратично. Поэтому, в случае изображений, для применения метода Уорда необходимо предварительно существенно уменьшить начальное число кластеров N0 по сравнению с числом пикселей N, например, как в [7].
Если рассматриваемые пары кластеров в методе Уорда ограничить множеством смежных кластеров, имеющих пиксели с минимальным расстоянием друг от друга, то вычисления будут выполняться по модели сегментации Мамфорда-Шаха [8-12], конкретно, версии [11] (без учета границ между сегментами). При этом если в начальном разбиении кластеры пикселей совпадают с сегментами изображения, в частности, отождествляются с отдельными пикселями, то они совпадают с сегментами и в остальных разбиениях изображения, так как операция слияния смежных сегментов не выводит из множества сегментов.
По сравнению с методом Уорда безусловной кластеризации пикселей изображения модель Мамфорда-Шаха сегментации изображения обеспечивает условную минимизацию суммарной квадратичной ошибки посредством перебора ограниченного множества пар смежных сегментов, что влечет увеличение ошибки E аппроксимации изображения. Однако, модель Мамфорда-Шаха обеспечивает аппроксимацию изображения любым числом сегментов от 1 до N и снижает вычислительную сложность до линейной зависимости от числа N пикселей в изображении.
Для сохранения отмеченных преимуществ, но компенсации ошибки E аппроксимации изображения кусочно-постоянными приближениями, получаемыми в модели Мамфорда-Шаха или других моделях, и разработан метод улучшения качества сегментации цветового изображения.
3. Улучшение качества сегментации цветового изображения
Обсуждаемый метод улучшения качества приближения цветового изображения из к сегментов относится к итеративным методам. Логика вычислений подобна расчетам по классическому методу кластеризации ^-средних [5, 6, 13, 14] или его современному обобщению «^-средних без сред -них» [15, 16]. При этом наш метод на каждой итерации уменьшает ошибку E аппроксимации изображения и завершается, когда уменьшение ошибки оказывается не выполнимо в силу нарушения установленного критерия продолжения обработки, иначе — при выполнении альтернативного «правила останова».
В отличие от других методов, в нашем методе полагается, что для каждого из к сегментов рассматриваемого разбиения изображения задается бинарная иерархия вложенных сегментов, которая для каждого сегмента как самостоятельного изображения рассчитывается «от пикселей» в алгоритме слияния пар смежных сегментов, например, в модели Мамфорда-Шаха. При этом любому
исходному или вложенному сегменту i, содержащему более одного пикселя, сопоставляется приращение AEdivide (г) суммарной квадратичной ошибки E, которое описывает приращение суммарной квадратичной ошибки при разделении сегмента i надвое и равно взятому с обратным знаком приращению AEmerge (i1, i") ошибки E при формировании сегмента i посредством слияния пары вложенных сегментов i и i'':
AEdivide 0 ) ^ ~AEmerge {*', ') , (2)
где i = i'u i''. Сегментам, совпадающим с отдельными пикселями, сопоставляются нулевые приращения AEmerge (i) .
В остальном метод тривиален. На данной итерации анализируются отрицательные приращения суммарной квадратичной ошибки, отвечающие разделению надвое сегментов текущего разбиения изображения, которые сравниваются с ее положительными приращениями при слиянии пар смежных сегментов этого разбиения. Если находится хотя бы один сегмент 1, разделение которого на пару вложенных сопровождается приращением суммарной квадратичной ошибки по абсолютной величине превышающему приращение суммарной квадратичной ошибки при слиянии смежных сегментов 2 и 3 , отличных от 1, то операция разделения надвое сегмента 1 коммутирует со слиянием сегментов 2 и 3, и комбинация операций приводит к отрицательному приращению AEcombine (1, 2, 3) суммарной квадратичной ошибки E:
AECOmb,ne (1, 2, 3) = AEdlvlde (1)+ AEmerge fe 3) < 0. (3)
При нахождении троек сегментов, удовлетворяющих (3), условие обработки считается выпол-ненным, и производится разделение одного из сегментов в комбинации со слиянием пары других. Тройки преобразуемых сегментов выбираются из числа возможных так, чтобы максимально уменьшить суммарную квадратичную ошибку E.
Затем, для укрупненного сегмента и новых пар сегментов вычисляются приращения суммарной квадратичной ошибки, и процесс преобразования разбиения итеративно повторяется, пока значения AEcombine (1, 2, 3) не окажутся неотрицательными для всех троек анализируемых сегментов.
4. Результаты эксперимента
Рис.1 иллюстрирует улучшение качества сегментации изображения на примере стандартного цветового изображения «Лена». Слева показано исходное изображение, в центре — его начальное приближение из 100 сегментов, справа — улучшенное приближение с тем же самым количеством сегментов. Под приближениями указаны значения среднеквадратичного отклонения а приближения от изображения.
Начальное приближение изображения (в центре) получено в скоростной авторской версии [12] модели Мамфорда-Шаха. В начальном приближении встречаются пиксели 100 цветов, т.к., в данном случае, каждый сегмент отличается от других по средней яркости.
а -16,76 а = 13,21
Рис. 1. Улучшение качества приближения цветового изображения
Обработанное приближение (справа) по количеству сегментов и цветов совпадает с начальным, но отличается меньшим значением ошибки аппроксимации Е и среднеквадратичного отклонения а пикселей приближения от пикселей исходного изображения. Характерно, что формальная оценка улучшения качества приближения согласуется с визуальной оценкой — на обработанном приближении проявляется большее количество объектов, наблюдаются на исходном изображении
Заключение
Таким образом, в статье представлен метод улучшения качества приближения изображения при фиксированном числе сегментов, который применим для улучшения результатов сегментации, выполненной по различным алгоритмам.
Очевидным развитием метода является его применение для улучшения качества иерархической сегментации, которое по завершению уточнения деталей аналитической и программной реализации планируется обсудить в дальнейших работах.
Литература
1. Дуда Р., Харт П. Распознавание образов и анализ сцен. - М.: Мир, 1976. - 512 с.
2. Прэтт У. Цифровая обработка изображений. - М.: Мир, 1982. - 790 с.
3. Гонсалес Р., Вудс Р. Цифровая обработка изображений.- М.: Техносфера, 2005. - 1073 с.
4. Мандель И.Д. Кластерный анализ. - М.: Финансы и статистика, 1988. - 176 с.
5. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. - М.: Финансы и статистика, 1989. - 607 с.
6. Ward J.H., Jr. Hierarchical grouping to optimize an objective function. // J. Am. Stat. Assoc. 1963.
- Vol. 58, - Issue 301, - P. 236-244.
7. Харинов М.В. Альтернатива иерархическому методу Оцу для цветового изображения // Вестн. Бурят. гос. ун-та. - 2014. - №9. - С. 64-72.
8. Mumford D., Shah J. Optimal Approximations by Piecewise Smooth Functions and Associated Variational Problems // Communications on Pure and Applied Mathematics. 1989. - Vol. XLII, - № 4.
- P. 577-685.
9. Koepfler G., Lopez C., Morel J. A Multiscale Algorithm for Image Segmentation by Variational Method // SIAM Journal on Numerical Analysis. 1994. - Vol. 31, - № 1, - P. 282-299.
10.Redding N.J., Crisp D.J., Tang D.H., Newsam G.N. An efficient algorithm for Mumford-Shah segmentation and its application to SAR imagery // Proc. Conf. Digital Image Computing Techniques and Applications (DICTA '99). 1999. - P. 35-41.
11.Бугаев A.C., Хельвас A.B. Поисковые исследования и разработка методов и средств анализа и автоматического распознавания потоковой информации в глобальных информационных системах. Шифр «Лацкан» // Отчет по НИР. - М.: Изд-во МФТИ, 2001. - Т. 1. - 140 с.
12.Kharinov M.V. Adaptive Dichotomous Image Segmentation Toolkit // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. - 2012. - Vol. 22. - № 1. - P. 228235.
13.Steinhaus H. Sur la division des corps materiels en parties // Bull. Acad. Polon. Sci., 1956. C1. III -Vol. IV. - P. 801-804.
14.Jain A.K. Data Clustering: 50 Years Beyond K-Means // Pattern Recognition Letters, 2010. - Vol. 31. - № 8. - P. 651-666.
15.Харинов М.В. Обобщение трех подходов к оптимальной сегментации цифрового изображения // Труды СПИИРАН. 2013. - Вып. 2 (25). - С. 294-316.
16.Dvoenko S.D. Meanless k-means as k-meanless clustering with the bi-partial approach // Pattern Recognition and Information Processing (PRIP'2014) / Proc. of the 12th Int. Conf., Minsk, 2014. - P. 5054.
Харинов Михаил Вячеславович, кандидат технических наук, старший научный сотрудник лаборатории Прикладной информатики Санкт-Петербургского института информатики и автоматизации, тел. (812) 328-1919, E-mail: [email protected]
Kharinov Mikhail Vyacheslvovich, candidate of technical sciences, senior researcher of Laboratory of Applied Informatics of St. Petersburg Institute for Informatics and Automation of RAS, ph. (812) 3281919, E-mail: [email protected]
