CC BY
75
Kushnir Olesya Alexandrovna, master, [email protected], Russia, Tula, Tula State University,
Seredin Oleg Sergeevich, candidate of physico-mathematical sciences, docent, oseredin@yandex. ru, Russia, Tula, Tula State University.
УДК 004.93
МОДЕЛИ ПРЕДСТАВЛЕНИЯ ОБЪЕКТОВ В ПРОСТРАНСТВЕ ЦВЕТОВЫХ КОМПОНЕНТ ПРИ АНАЛИЗЕ ИЗОБРАЖЕНИЙ
А.О. Ларин, О.С. Середин
В ходе решения задач обработки изображений возникает необходимость использования пиксельных классификаторов в пространстве цветовых компонент. Анализируются и сравниваются три одноклассовых классификаторов применительно к задаче параметризации точек в трехмерном пространстве. Исследованы классификаторы, построенные на модели Тэкса, модели смеси нормальных распределений и аппроксимации исходных данных эллиптическими цилиндрами, упорядоченными относительно главных компонент выборки. Сравнение алгоритмов проводилось по трем основным критериям: качество классификации, время параметризации исходного набора данных и время классификации новых объектов.
Ключевые слова: одноклассовая классификация, пиксельные классификаторы, метод описания данных опорными векторами, детектирование огня, поиск пламени.
В системах технического зрения при решении задач сегментации и детектирования объектов одним из этапов работы алгоритмов является описание набора точек, представляющих объекты интереса на изображении в параметрической форме. Так, например, при цветовом анализе изображений любой пиксель можно представить в виде трехмерного вектора, каждая координата которого совпадает со значением соответствующей компоненты RGB этого пикселя. Задачей параметризации, или Color data modeling [4], принято называть построение на основании выделенного экспертом набора точек в цветовом пространстве такого математического правила (модели), которое позволяет с заданной точностью параметрически описывать области интереса в пространстве признаков. Примером подобной задачи является параметризация пикселей огня, необходимая для выделения областей изображения, потенциально содержащих пламя.
Специфика проблемы заключается в том, что обучающая выборка содержит только объекты одного класса. Поэтому для ее решения предлагается использовать специфическую постановку задачи обучения распознаванию образов: построение одноклассового классификатора.
В этой работе было проведено экспериментальное исследование и сравнение трех одноклассовых классификаторов применительно к задаче параметризации точек в трехмерном пространстве. В частности, рассмотрены классификаторы, построенные на модели Тэкса [6], модели смеси нормальных распределений [2] и аппроксимации исходных данных эллиптическими цилиндрами, упорядоченными вдоль оси главных компонент выборки [10]. Сравнение алгоритмов проводилось по трем основным критериям: качество классификации, время обучения модели и время классификации новых объектов.
Модели представления объектов в цветовом пространстве RGB
Широко используемым подходом к решению задачи параметризации является метод аппроксимации исходных данных смесью нормальных распределений (англ. General mixture model, GMM) [5]. В [7] показано применение этого метода для решения упомянутой ранее прикладной задачи поиска пламени на изображениях. В литературе описаны различные методики подбора параметров для смеси нормальных распределений, наилучшим образом описывающей исходный набор данных, но наиболее часто используется метод, основанный на EM-алгоритме (англ. Expectation-maximization, EM) [2]. Регулируемыми параметрами алгоритма являются число нормальных распределений в смеси и пороговое значение дисперсии для принятия решения.
Альтернативой ему служит один из методов одноклассовой классификации, метод описания данных опорными векторами (Support Vector Data Description, SVDD), предложенный Д. Тэксом в 2001 году [6]. Модель описания данных в такой постановке - гиперсфера с минимальным радиусом, представляющая ближайшую внешнюю оболочку вокруг данных. Особенность метода заключается в том, что для описания данных более «гибкой формой», чем сфера, можно использовать идею перехода в спрямляющее пространство. Экспериментальное исследование показало эффективность использования для этого радиальной базисной функции Гаусса [11]. Настраиваемым параметром для этого алгоритма является коэффициент РБФ Гаусса.
Авторами был также разработан алгоритм, основанный на аппроксимации обучающей совокупности в пространстве цветовых компонент набором эллиптических цилиндров [10]. Суть метода заключается в нахождении главных компонент (англ. Principal component analysis, PCA) обучающей выборки с целью уменьшения корреляции цветовых компонент [1, 8]. Цвет при компьютерной обработке обычно представлен конечным множеством значений, поэтому становится возможным разделить пространство на двумерные слои, ортогональные направлению главной компоненты. В каждом таком слое строится эллипс рассеяния на основе PCA. Таким образом, упорядоченная вдоль главной компоненты совокупность таких эллипсов описывает обучающую выборку. Параметрами этого алгоритма являются количество двумерных слоев и пороговое значение дисперсии двумерного эллипса. В экспериментах будет варьироваться только второй параметр, первый же будет иметь максимальное допустимое значение.
Методика проведения экспериментальных исследований
Для проведения экспериментальных исследований была использована модель генеральной совокупности объектов, сформированная точками, располагающимися внутри сфер, радиусы которых меняются по синусоидальному закону, а центры расположены вдоль спиральной кривой в трехмерном пространстве (рис. 1). Несмотря на то, что полученное «облако» точек не описывает какую-то область реального изображения, в прикладных задачах похожую конфигурацию образует в пространстве RGB множество точек, принадлежащих пламени.
Параметры генератора данных были подобраны таким образом, что в генеральную совокупность вошло порядка 100 тыс. объектов (весь куб RGB содержит
256 ~ 16.8 млн объектов). При этом часть генеральной совокупности, выбранная случайным образом, выступала в экспериментах в качестве обучающего множества (рис. 2), а оставшаяся часть куба RGB -как объекты контроля качества распознавания.
Рис. 1. Визуализация совокупности точек, формирующих генеральную совокупность для проведения экспериментов, в пространстве RGB
а б
Рис. 2. Визуализация совокупности точек, которые формируют обучающую выборку для проведения экспериментов, в пространстве RGB: а -1 % генеральной совокупности (1000 объектов), б - 0,1 % генеральной совокупности (100 объектов)
Для того, чтобы избежать неточностей при измерении характеристик методов, в качестве реализаций всех трех алгоритмов использовался только исходный код на языке C++, собранный в один тестовый проект. Для исследования модели GMM был взят исходный код с сайта [9]. Эксперименты с методом SVDD проводились с использованием библиотеки, специально оптимизированной для работы с пространством объектов RGB [11]. Метод аппроксимации данных эллиптическими цилиндрами (PCA) был самостоятельно реализован специально для данного исследования.
Сравнение алгоритмов проводилось по трем основным критериям: качество классификации, время обучения модели и время классификации новых объектов.
Для оценки качества работы алгоритмов при различных параметрах использовались измерения доли ошибок первого и второго рода, представленные в виде ROC-кривых [3]. При этом для объектов контроля использовались все объекты генеральной совокупности, а также все оставшееся множество объектов пространства RGB.
Суть измерения скорости параметризации классификатором заключалась в его многократном обучении на одном и том же наборе данных, чтобы уменьшить погрешность измерений, после чего вычислялось среднее время параметризации. Параметры обучения при этом варьировались, так как время обучения классификатора может зависеть от его параметров.
Время классификация нового объекта RGB рассчитывалось как среднее время классификации всех объектов куба RGB: принадлежащих и не принадлежащих целевому классу.
Результаты экспериментов
На рис. 3, 4, 5 представлены результаты аппроксимации рассматриваемыми методами исходного набора данных, представленного на рис. 2, а.
а б
Рис. 3. Результаты построения разделяющей границы с использованием модели GMM для количества распределений
3 (а) и 5 (б)
а б
Рис. 4. Результаты построения разделяющей границы с использованием классификатора SVDD для параметров потенциальной функции Гаусса 50 (а) и 100 (б)
а б
Рис. 5. Результаты построения разделяющей границы с использованием классификатора, основанной на PCA, для значений
пороговых дисперсий 0,5 (а), 1,5 (б)
На рис. 6, 7 приводятся численные оценки скорости работы алгоритмов, представленные в виде графиков, которые показывают зависимость времени выполнения соответствующей операции от размера обучающей совокупности. Параметры методов в этих оценках были подобраны таким образом, чтобы ошибка классификации была минимальной (рис. 8).
Рис. 6. График, показывающий зависимость времени обучения модели (мс) от размера обучающего множества (доли генеральной
совокупности)
Рис. 7. График, показывающий зависимость времени классификации нового объекта (мс) от размера обучающего множества (доли генеральной совокупности)
Оценка качества работы алгоритмов для обучающей выборки, содержащей 1 % генеральной совокупности (см. рис. 2, а), представлена в виде эмпирических ROC-кривых (рис. 8).
Для обучающего набора данных, содержащего 0.1 % (см. рис. 2, б) генеральной совокупности, ROC-кривая представлена на рис. 9.
Рис. 8. ЯОС-кривая, характеризующая качество классификации алгоритмов в случае обучающей выборки, составляющей 1 %
генеральной совокупности
Рис. 9. ЯОС-кривая, характеризующая качество классификации алгоритмов в случае обучающей выборки, составляющей 0.1 % генеральной совокупности
Можно заметить, что ошибка классификации на малом количестве кластеров модели GMM незначительно превосходит ошибку метода SVDD. Качество классификации для модели GMM можно было бы повысить посредством увеличения количества используемых в смеси нормальных распределений. Однако при малом размере обучающей выборки, как во втором случае (около 100 объектов), модель будет подвержена переобучению. Подобный этому эффект можно наблюдать и для метода PCA, ошибка классификации которого резко возросла при уменьшении обучающей выборки в 10 раз. Поэтому можно сделать вывод о том, что метод SVDD является наиболее устойчивым к проблеме недостаточного объема обучающего материала.
Выводы
Методы GMM и PCA являются очень чувствительными к размеру обучающей выборки в отличие от метода SVDD, использующего РБФ Гаусса. Вследствие этого данный метод оказался наиболее сбалансированным с точки зрения скорости и качества для решения задачи пиксельной классификации. Также среди преимуществ метода SVDD можно отметить наличие всего одного настроечного параметра. Это, несомненно, существенно упрощает предварительную настройку классификатора с наилучшими показателями качества. Дальнейшее направление исследований связано с применением описанных классификаторов для практических задач сегментации изображений.
Работа выполнена при поддержке грантов РФФИ 10-07-00489-а, 12-07-92000-ННС_а.
Список литературы
1. Abdel-Mottaleb M., Jain A. Face detection in color images // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002. Vol. 24, No. 5. P. 696 - 706.
2. Bilmes J. A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models // Technical Report TR-97-021. International Computer Science Institute and Computer Science Division, University of California at Berkeley, April, 1998.
3. Fawcett T. ROC Graphs: Notes and Practical Considerations for Researchers // Proc. of the 19th international joint conference on Artificial intelligence. 2005. P. 702 - 707.
4. Rother C., Kolmogorov V., Blake A. GrabCut - Interactive foreground extraction using iterated graph cuts // ACM Transactions on Graphics (TOG). ACM. 2004. Vol. 23, No. 3. P. 309 - 314.
5. Ruzon M., Tomasi C. Alpha estimation in natural images // In proc. CVPR. 2000. Vol. 1, No. June. P. 18 - 25.
6. Tax D. One-class classification; Concept-learning in the absence of counterexamples // Ph.D thesis. Delft University of Technology, ASCI Dissertation Series. 2001. 146 p.
7. Toreyin B. Fire detection algorithms using multimodal signal and image analysis // Ph.D thesis. 2009. 138 p.
8. Tsaig Y. Automatic Segmentation of Moving Objects in Video Sequences // Trans. on Circuits and Systems for Video Technology. 2002. Vol. 12. P. 597 - 612.
9. http://sourceforge.net/projects/gmm-gmr/ - Gaussian Mixture Model and Regression, 2008.
10. Ерохин М. А., Копылов А. В., Ларин А. О. Параметрическое представление объектов в цветовом пространстве на основе метода главных компонент // Интеллектуализация обработки информации И0И-2012. М., 2012. С. 460 - 463.
11. Ларин А. О., Середин О. С. Параметризации цветового представления изображения пламени с использованием одноклассового классификатора // Математические методы распознавания образов ММРО-15. М., 2011. С. 362 - 366.
Ларин Александр Олегович, аспирант, [email protected], Россия, Москва, Московский физико-технический институт,
Середин Олег Сергеевич, канд.физ.-мат. наук, доц., [email protected], Россия, Тула, Тульский государственный университет
RESEARCH OF COLOR DA TA MODELS FOR OBJECTS REPRESENTATION IN RGB-SPACE IMAGE ANALYSIS
A.O. Larin, O.S Seredin
The solution of many image processing tasks requires the use of pixels classifiers in a color space. This work covers analysis and comparison of three one-class classifiers in a problem of points parameterization in 3D space. The classifiers are based on Tax's model, Guassian mixture model and model of elliptic cylinders approximation (the cylinders are ordered by primary components of learning samples). Algorithms have been compared by three criteria, namely: quality of classification, time of parameterization of the given data set and time of classification of new objects.
Key words: one-class classification, pixel classifiers, fire detection, flame detection, Support Vector Data Description.
Larin Alexander Olegovich, postgraduate, ekzebox@,gmail.com, Russia, Moscow, Moscow Institute of Physics and Technology,
Seredin Oleg Sergeevich, candidate of physical and mathematical sciences, docent, oseredin@yandex. ru, Russia, Tula, Tula State University
216
