CC BY
86
УДК 004.932
doi: 10.18097/1994-0866-2015-0-9-118-124
КОМБИНИРОВАННЫЙ МЕТОД УЛУЧШЕНИЯ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЯ
© Харинов Михаил Вячеславович
кандидат технических наук, старший научный сотрудник лаборатории прикладной информатики Санкт-Петербургского института информатики и автоматизации
Россия, 199178, г. Санкт-Петербург, 14-я линия Васильевского острова, 39, e-mail: [email protected]
© Ханыков Игорь Георгиевич
аспирант лаборатории прикладной информатики Санкт-Петербургского института информатики и автоматизации
Россия, 199178, г. Санкт-Петербург, 14-я линия Васильевского острова, 39, e-mail: [email protected].
В статье рассматривается задача автоматической сегментации цифровых изображений посредством кусочно-постоянных приближений с ограниченным числом связных сегментов из усредненных пикселей. Решение достигается за счет комбинации глобального улучшения приближения по всему полю изображения и локального улучшения приближения по его участкам. Эффективность комбинированного метода демонстрируется на актуальном примере сегментации снимков сцены, которые сняты в различном ракурсе и объединены в одно изображение.
Ключевые слова: изображение, приближение, сегментация, среднеквадратичное отклонение, минимизация.
THE COMBINED METHOD OF IMPROVING IMAGE SEGMENTATION
Mikhail V. Kharinov
PhD, Senior Researcher, Laboratory of Applied Informatics of St. Petersburg Institute for Informatics and Automation, RAS
39 Vasilyevsky Island 14th Line, St. Petersburg 199178, Russia
Igor G. Khanykov
Research assistant of Laboratory of Applied Informatics of St. Petersburg Institute for Informatics and Automation, RAS
39 Vasilyevsky Island 14th Line, St. Petersburg 199178, Russia
The article deals with the problem of automatic segmentation of digital images via piecewise constant approximations with a limited number of connected segments, constituted of averaged pixels. The solution is achieved by combining of global improvement of approximation across entire image field and local improvement of approximation fragments. The effectiveness of the combined method is demonstrated on the actual example of scene snapshots segmentation. Shots were taken from different angles and then merged into a single image.
Keywords: image, approximation, segmentation, standard deviation, minimization.
Введение
В статье развивается метод улучшения сегментации цветового изображения, который предложен в [1] и относится к методам автоматической сегментации изображения посредством его аппроксимации упрощенными приближениями, которые содержат меньшее число цветов, и сегментов из одинаковых по цвету смежных пикселей. В результате сегментации изображение разбивается на вложенные изображения «объектов», которые выделяет компьютер для последующего анализа признаков и распознавания. Качество разбиения и соответствующего приближения изображения численно оценивается [2] по среднеквадратичному отклонению а приближения от изображения или суммарной квадратичной ошибке E = 3No2, где N — число пикселей в изображении, а коэффициент 3 учитывает число цветовых R, G, B компонент.
При сегментации логично требовать, чтобы, по крайней мере, образы одинаковых реальных объектов сцены одинаково же отображались в приближениях изображения и, в зависимости от числа сегментов, либо все сохранялись, либо синхронно стирались по мере огрубления приближения. Однако на практике сформулированное требование адекватности сегментации оказывается не просто выполнить в отношении заранее не ограниченного множества изображений, объектов сцены и без предварительного обучения. В статье описывается модель сегментации, обеспечивающая решение проблемы посредством квазиоптимальных приближений изображения, которые близки к оптимальным приближениям с минимальными значениями суммарной квадратичной ошибки Е или среднеквадратичного отклонения а и составляют иерархическую последовательность.
1. Постановка задачи
В нашей модели сегментации [1, 3] ставится и решается задача аппроксимации последовательности оптимальных приближений изображения иерархической последовательностью квазиоптимальных приближений при каждом значении числа кластеров пикселей от 1 до N, где под кластерами, в общем случае, имеются в виду объединения нескольких несмежных сегментов изображения. Поскольку последовательность оптимальных приближений не является иерархической, решение не однозначно.
В [3] на примере серых изображений мы экспериментально показали, что задача аппроксимации оптимальных приближений квазиоптимальными, с приблизительно равной эффективностью решается дивизимным иерархическим методом Оцу и агломеративным методом Уорда
[4], но последний, в отличие от метода Оцу, применим для цветовых изображений. Поскольку задачи сегментации ориентированы на получение разбиений с числом сегментов, которое существенно меньше числа пикселей N, то построение квазиоптимальных приближений имеет смысл разделить на два этапа [5]:
- формирование разбиения изображения из ограниченного числа суперпикселей в виде связных сегментов;
- агломеративную кластеризацию суперпикселей.
В современной обработке изображений под суперпикселями обычно понимают связные сегменты изображения, не содержащие границ зрительно воспринимаемых объектов [5, 6]. Адекватность сегментации достигается для определенных классов изображений и объектов в результате эвристического моделирования критериев подобия сегментов или кластеров пикселей, настройки параметров и обучения программы на примерах сегментации изображения человеком. Использование эвристических соображений по поводу зрительного восприятия оправдывается тем, что точное вычисление оптимальных приближений является N/,-тpyднoй задачей
[5].
В нашей модели квазиоптимальной сегментации чрезмерная вычислительная сложность обходится за счет построения иерархической последовательности разбиений на кластеры пикселей или сегменты изображения, что ограничивает вычислительную сложность линейной или квадратичной зависимостью от числа пикселей в изображении. В модели полагается, что для суперпикселей задана иерархическая структура, которая позволяет минимизировать суммарную квадратичную ошибку Е или среднеквадратичное отклонения а в различных алгоритмах и их комбинациях. При этом улучшение качества разделения изображения на суперпиксели выделяется в самостоятельную стадию вычислений, которые выполняются не в два, как в [5], а в три этапа:
- разбиение изображения на связные сегменты в модели Мамфорда-Шаха [3, 7-9];
- формирование суперпикселей в алгоритмах улучшения качества сегментации [1];
- кластеризацию суперпикселей методом Уорда [4].
Новым является этап улучшения качества сегментации, развитие которого является целью данной статьи.
2. Оптимальные и квазиоптимальные приближения
В задачах сегментации иерархическая структура квазиптимальных приближений существенно упрощает их вычисление, запоминание и преобразования, по сравнению с оптимальными
приближениями. Вместе с тем, квазиоптимальные приближения сохраняют ряд свойств оптимальных приближений.
Квазиоптимальные и оптимальные приближения не меняются при линейном преобразовании изображения по яркости, коммутируют с преобразованием из позитива в негатив и с масштабированием изображения посредством дублирования пикселей. При возрастании числа кластеров g от 1 до N последовательность приближений описывается монотонной последовательностью значений Eg, которые нестрого уменьшаются от максимального значения E1 при
единственном кластере до минимального нулевого значения при всех пикселях, отнесенных к различным кластерам.
Нетривиальным свойством оптимальных приближений является выпуклость последовательности значений Eg:
E + E
Eg = Eg 1 + Eg 1 , g = 2, 3,...,N-1, (1)
* 2
при которой уменьшению ошибки Eg с ростом числа кластеров g сопутствует нестрогое возрастание производной от Eg по g . Применение метода Уорда обеспечивает сохранение свойства (1) для квазиоптимальных приближений в диапазоне, ограниченном числом суперпикселей в изображении.
3. Критерии улучшения качества сегментации
На первом и третьем этапе получения иерархии вычисления сводятся к итеративному слиянию множеств пикселей 1 и 2 из условия минимизации приращения &Emerge суммарной квадратичной ошибки:
AEmerge (1,2 ) = min. (2)
Разница состоит в том, что на первом этапе, при разбиении изображения на связные сегменты, в качестве пар множеств 1 и 2 рассматриваются только смежные сегменты, а на третьем этапе, при кластеризации, — все пары суперпикселей.
В явном виде выражение для kEmerge (1, 2) при слиянии множеств 1 и 2 из й1 и n2 пикселей
дается формулой:
AE-g (1,2) = Ц -12||2 , (3)
n1 + n 2
где I1, 12 — трехмерные значения средних яркостей по цветовым компонентам изображения, а знак || || обозначает евклидово расстояние.
Улучшение качества разбиения изображения на связные сегменты для формирования суперпикселей на центральном этапе вычислений выполняется посредством комбинаций операций с сегментами.
При заданной бинарной иерархии сегментов в [1] в качестве обратной к операции слияния «merge» введена операция «divide», которая сводится к разделению сегмента 1 из более, чем одного пикселя на два вложенных сегмента 1', 1" и сопровождается неположительным приращением AEdivide (1) суммарной квадратичной ошибки:
*EdMe (1)- Emerge М . (4)
где 1 = 1' и 1".
Метод [1] относится к глобальным методам улучшения сегментации и состоит в циклическом разделении надвое сегмента 1 в одном месте изображения и слияния пары смежных сегментов 2, 3 в другом месте по критерию уменьшения суммарной квадратичной ошибки:
AEdlv,de (1)+AEmerge М < 0, (5)
где предполагается, что все три сегмента различны.
Глобальное улучшение сегментации по методу [1] дополняется методом ее локального улучшения, в котором смежные сегменты передают пиксели один другому из условия уменьшения суммарной квадратичной ошибки. Критерием выполнения исключения пикселей сегмента 1' из состава пикселей сегмента 1 и включения их в состав сегмента 2, смежного с сег-
ментом 1', служит условие отрицательного суммарного приращения квадратичной ошибки:
ЬЕйпШ (О + ЛЕ^ (1',2)< 0, (6)
где 1' с 1 .
Преобразования сегментов разбиения изображения по критериям (5) и (6) поясняются рис. 1, на котором слева показан пример исходного разбиения изображения, центральное разбиение иллюстрирует результат глобального преобразования, а картина справа иллюстрирует результат локального преобразования исходного разбиения.
Рис. 1. Схемы глобального и локального методов улучшения сегментации изображения
Схема рис. 1 иллюстрирует глобальные и локальные операции с «половинами» сегментов, определяемыми разделением сегмента надвое. Построения очевидным образом обобщаются, если вместо «половин» выполняются операции с меньшими частями, на которые разбивается сегмент, что, вероятно, более актуально для методов локального улучшения сегментации изображения. При этом если сегмент 2 с числом пикселей п2 захватывает к пикселей у смежного сегмента 1 с числом пикселей п1 > к, то критерием снижения суммарной квадратичной ошибки служит выражение:
1
II7 "12
n1 - k
17 " 71||> (7)
f k |Г 211 "У
где 71 и 12 — значения средней яркости пикселей сегментов 1 и 2 .
В предельном случае, при k = 1 и реклассификации отдельных пикселей из сегмента в сегмент метод локального улучшения сегментации по критерию (7), по существу, уточняет традиционный метод ^-средних и совпадает с методом «^-meanless» [10], дополненным блокированием вариантов реклассификации пикселей, нарушающих связность донорского сегмента.
Варианты преобразований сегментов изображения по критериям (5)-(7) обеспечивают развитие приложений за счет оптимизации сочетаний и порядка выполнения операций с сегментами. Однако, на начальной стадии исследований, прежде всего, необходимо проверить принцип улучшения качества сегментации за счет комбинации глобального и локального методов, а также экспериментально подтвердить эффект на подходящем примере.
4. Экспериментальные результаты
Метод глобального улучшения качества сегментации [1] тестировался на примерах разбиения изображения посредством регулярной решетки и на примерах исправления сегментации, полученной при обработке некоторого дополнительного изображения тех же размеров. При этом достигался стабильный эффект улучшения приближений изображения как по зрительному восприятию, так и по суммарной квадратичной ошибке E или среднеквадратичному отклонению а. Однако в обоих случаях на результирующем приближении проявлялись отдельные артефакты, связанные с начальным разбиением (следы решетки, или характерных локальных деталей дополнительного изображения). Оказалось, что дефекты сегментации удаляются при совместном применении глобального и локального методов улучшения сегментации. При этом в качестве локального метода улучшения сегментации применялась версия метода ^-meanless. При анализе наилучших возможностей конкретного применения возникла идея протестировать комбинированный метод улучшения сегментации на примере нескольких стереоизображений одной и той же сцены, совмещенных в единое изображение (рис. 2).
В левом верхнем углу на рис. 2 показано тестовое цветовое изображение, скомпонованное из девяти снимков «Teddy» из базы изображений [11]. Снимки сняты в различном ракурсе. Объекты, хотя выглядят одинаково, но задаются различными множествами пикселей, что влия-
n2
П1
ет на результаты сегментации, особенно, в условиях рассматриваемого эксперимента, в котором изображение сегментируется как целое.
В правом верхнем углу на рис. 2 показано приближение изображения из тысячи сегментов, полученное итеративным укрупнением пикселей в версии [3, 8] модели Мамфорда-Шаха. В левом нижнем углу демонстрируется приближение изображения тысячей суперпикселей, полученное комбинированным методом улучшения качества сегментации. В правом нижнем углу разбиение на суперпиксели представлено в 16 цветах методом кластеризации цветовых значений суперпикселей по Уорду. Под приближениями выписаны значения среднеквадратичного отклонения а.
Сравнивая первоначальную сегментацию (справа в верхнем ряду) с результатами ее улучшения (в нижнем ряду) можно заметить, что обсуждаемый комбинированный метод обеспечивает единообразие выделения объектов и позволяет детектировать больше объектов.
о=15,81 а=20,21
Рис. 2. Комбинированное улучшение качества сегментации
Вследствие недостаточно адекватной сегментации в задачах стереозрения при оценке расстояний посредством анализа стереопар вместо сопоставления объектов прибегают к поиску и сопоставлению на изображении отдельных ключевых точек [12], что ограничивает решение на постановочном уровне. По всей видимости, эффективное улучшение сегментации может оказаться принципиальным для преодоления этой проблемы, а также полезным в практике решения других задач автоматической и автоматизированной обработки изображений.
Заключение
Если 10-15 лет назад проблема полностью автоматической низкоуровневой обработки видеоданных обсуждалась в России активнее, чем за рубежом, то в настоящее время, за границей она активнее решается как актуальная инженерная задача, например, в рамках проекта PPAML (Probabilistic Programming for Advancing Machine Learning)1 американского агентства DARPA (Defense Advanced Research Projects Agency). Проект начат в 2013 г. и завершится в 2017 г. созданием программных средств для приложений искусственного интеллекта. В области искусственного зрения для решения практических задач силами инженеров-программистов требуется
1 http://www.darpa.mil/our_work/i2o/programs/
probabilistic_programming_for_advanced_machine_learning_(ppaml).aspx
создать унифицированный программный инструментарий первичного выделения объектов. В данной статье представлена модель сегментации изображения, в которой реализуется унифицированное улучшение сегментации и предусматривается способ тестирования результатов выделения объектов. При достаточной скорости предложенные методы применимы для улучшения результатов сегментации, вычисляемой по другим алгоритмам. Для скоростных вычислений в модели разработана иерархическая структура данных, которую планируется детально описать в последующих статьях.
Литература
1. Харинов М. В. Улучшение качества приближения цифрового изображения на основе иерархической сегментации // Вестник Бурятского государственного университета. - 2014. -№ 9(3). - С. 54-57.
2. Прикладная статистика: Классификация и снижение размерности / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков , Л. Д. Мешалкин. - М.: Финансы и статистика, 1989. - 607 с.
3. Харинов М. В. Альтернатива иерархическому методу Оцу для цветового изображения // Вестник Бурятского государственного университета. - 2014. - Вып. 9. - С. 64-72.
4. Ward J.H., Jr. Hierarchical grouping to optimize an objective function. // J. Am. Stat. Assoc. 1963. Vol. 58, Issue 301, pp. 236-244.
5. Jain V., Turaga S. C., Briggman K., Helmstaedter M. N., Denk W., Seung H. S. Learning to agglomerate superpixel hierarchies // Advances in Neural Information Processing Systems. 2011. pp. 648-656.
6. Achanta R., Shaji A., Smith K., Lucchi A., Fua P., Susstrunk S. SLIC superpixels compared to state-of-the-art superpixel methods // Pattern Analysis and Machine Intelligence. IEEE Transactions. 2012. Vol. 34(11). pp. 2274-2282.
7. Mumford D., Shah J. Optimal Approximations by Piecewise Smooth Functions and Associated Variational Problems // Communications on Pure and Applied Mathematics. 1989. Vol. XLII, № 4. pp. 577-685.
8. Бугаев A. C., Хельвас А. В. Поисковые исследования и разработка методов и средств анализа и автоматического распознавания потоковой информации в глобальных информационных системах. Шифр «Лацкан» // Отчет по НИР. - М. : Изд-во МФТИ, 2001. - Т. 1. - 140 с.
9. Crisp D.J., Tao T.C. Fast Region Merging Algorithms for Image Segmentation // The 5th Asian Conference on Computer Vision (ACCV2002). 23-25 January 2002. Melbourne, Australia. pp. 1-6.
10. Dvoenko S.D. Meanless k-means as k-meanless clustering with the bi-partial approach // Pattern Recognition and Information Processing (PRIP'2014) / Proc. of the 12th Int. Conf., Minsk, 2014. pp 50-54.
11. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms // Int. Jour. Computer Vision (IJCV). - 2002. - No.47 (1/2/3). - Pp.7-42. - URL: http://vision.middlebury.edu/stereo/
12. Малашин P. О. Методы структурного анализа изображений трехмерных сцен: автореф. дис. канд. техн. наук. - СПб., 2014. - 22 с.
References
1. Kharinov M. V. Uluchshenie kachestva priblizheniya tsifrovogo izobrazheniya na osnove ier-arkhicheskoi segmentatsii [Improving of approximation quality of a digital image based on hierarchical segmentation]. Vestnik Buryatskogo gosudarstvennogo universiteta - Bulletin of Buryat State University. 2014. No. 9 (3). Pp. 54-57.
2. Aivazyan S. A., Bukhshtaber V. M., Enyukov I. S., Meshalkin L. D. Prikladnaya statistika: Klassifikatsiya i snizhenie razmernosti [Applied statistics: classification and dimension reduction]. Moscow: Finansy i statistika, 1989. 607 p.
3. Kharinov M. V. Al'ternativa ierarkhicheskomu metodu Otsu dlya tsvetovogo izobrazheniya [Alternative to the hierarchical Otsu's method for color image]. Vestnik Buryatskogo gosudarstvennogo universiteta - Bulletin of Buryat State University. 2014. No. 9. Pp. 64-72.
4. Ward J. H., Jr. Hierarchical grouping to optimize an objective function. J. Am. Stat. Assoc. 1963. V. 58, Issue 301. Pp. 236-244.
5. Jain V., Turaga S. C., Briggman K., Helmstaedter M. N., Denk W., Seung H. S. Learning to ag-
glomerate superpixel hierarchies. Advances in Neural Information Processing Systems. 2011. Pp. 648656.
6. Achanta R., Shaji A., Smith K., Lucchi A., Fua P., Susstrunk S. SLIC superpixels compared to state-of-the-art superpixel methods. Pattern Analysis and Machine Intelligence. IEEE Transactions. 2012. V. 34(11). Pp. 2274-2282.
7. Mumford D., Shah J. Optimal Approximations by Piecewise Smooth Functions and Associated Variational Problems. Communications on Pure and Applied Mathematics. 1989. V. 42. No 4. Pp. 577-685.
8. Bugaev A. S., Khel'vas A. V. Poiskovye issledovaniya i razrabotka metodov i sredstv analiza i avtomaticheskogo raspoznavaniya potokovoi informatsii v global'nykh informatsionnykh sistemakh. Shifr «Latskan» [Pilot studies and development of methods and tools for analyzing and automatic recognition of streaming information in global information systems. Cipher "Lapel"]. Moscow: Moscow Institute of Physics and Technology publ., 2001. V. 1. 140 p.
9. Crisp D. J., Tao T. C. Fast Region Merging Algorithms for Image Segmentation. The 5th Asian Conference on Computer Vision (ACCV2002). 23-25 January 2002. Melbourne, Australia. Pp. 1-6.
10. Dvoenko S. D. Meanless k-means as k-meanless clustering with the bi-partial approach. Pattern Recognition and Information Processing (PRJP'2014). Proc. of 12th Int. Conf. Minsk, 2014. Pp. 50-54.
11. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. Int. Jour. Computer Vision (IJCV). 2002. No. 47 (1/2/3). Pp.7-42. Available at: http://vision.middlebury.edu/stereo/
12. Malashin R. O. Metody strukturnogo analiza izobrazhenii trekhmernykh stsen. Avtoref. dis. kand. tekhn. nauk [Method of structural analysis of three-dimensional scenes images. Author's abstract of Cand. techn. sci. Diss. St Petersburg. 2014. 22 p.
