Разложение цветных изображений на сингулярные компоненты Текст научной статьи по специальности «Компьютерные и информационные науки»

-----------------------□ □--------------------------

У цій статті запропоновано сингулярне розкладання кольорових зображень на адитивні компоненти. Дослідження отриманих адитивних компонент на множині різних зображень показали, що кількість крупно-масштабних сегментів на зображенні можна встановити, проаналізувавши компоненти власних векторів, які отримані у результаті сингулярного розкладання

Ключові слова: сегментація зображень, контекстний пошук по зображенням, сингулярне розкладання зображень, контекстний пошук по регіонам

□---------------------------------□

В данной статье предложено сингулярное разложение цветных изображений на аддитивные компоненты. Исследования полученных аддитивных компонент на множестве различных изображений показали, что количество крупномасштабных сегментов на изображении можно определить, анализируя компоненты собственных векторов, которые получены в результате сингулярного разложения

Ключевые слова: сегментация изображений, контекстный поиск по изображениям, сингулярное разложение изображений, контекстный поиск по регионам -----------------------□ □--------------------------

УДК 004.932.2:519.68

РАЗЛОЖЕНИЕ ЦВЕТНЫХ ИЗОБРАЖЕНИЙ НА СИНГУЛЯРНЫЕ КОМПОНЕНТЫ

В. И. Загребн юк

Кандидат технических наук, доцент* E-mail: vampiter@rambler.ru Ф. В. Насиров

Аспирант* E-mail: f.nasirov@mail.ru *Кафедра сетей и систем почтовой связи Одесская национальная академия связи им. А.С. Попова ул. Кузнечная, 1, г. Одесса, Украина, 65029

1. Введение

Сегментация изображений - одно из наиболее интенсивно развивающихся направлений в области машинного и компьютерного зрения, и относится к классу задач разработки систем искусственного интеллекта. Сегментация изображений является одной из фаз содержательного анализа изображений и используется в тех задачах, где требуется построение моделей когнитивного анализа зрительной информации человеком. Среди них: распознавание образов

- для выделения на изображении областей интереса, например, текста [1] или автомобильного номера [2]; стереовидение - для выделения отдельных объектов и последующего формирования их стереоизображений [3]; автоматизация медицинских исследований, например для анализа ангиограмм [4]; неразрушающий контроль качества, в частности фармацевтической продукции [5] и т.д.

Важную роль процедура сегментации играет в задачах контекстного поиска в коллекциях и базах цифровых изображений. Применение сегментации в данной сфере позволяет осуществить поиск изображений, используя в качестве поисковых запросов непосредственно отдельные объекты или области интереса на изображениях [6 - 8]. Данная идеология получила название контекстный поиск по регионам (RBIR - Region-based image retrieval).

Несмотря на относительно длительную историю развития сегментации, как научного направления, в сфере контекстного поиска по регионам пока нет окончательного решения всех проблем. Причиной этому служит тот факт, что все существующие методы в основном ориентированы на решение задач сегментации в достаточно узкой предметной области, например распознавание лиц [9] и т.д., и потому не

позволяют с высоким качеством выделять произвольный объекты на изображениях из различных предметных областей. Поэтому исследования, направленные на разработку методов сегментации и содержательного анализа изображений, которые применимы в разных предметных областях, являются актуальными.

Одна из важных проблем в области сегментации изображений заключается в предварительном определении количества семантически обособленных сегментов, которые либо заключены в различных замкнутых контурах, либо представляют собой семантически обособленные цветовые кластеры. Неправильное определение количества сегментов на изображении отрицательно сказывается на качестве сегментации и проявляется в таких эффектах, как: недостаточная сегментация (недосегментация) и избыточная сегментация (пересегментация). От качества сегментации в существенной степени зависит последующий анализ изображения: в случае контекстного поиска ошибки, допущенные на этапе сегментации, могут привести, как к неверно сформированным запросам, так и ошибочным дескрипторам изображений. Исходя из этого цель данной работы

- разработка метода определения количества крупномасштабных цветовых кластеров на изображении, не зависящего от предметной области.

2. Сингулярное разложение изображений

Идеологически метод сингулярного спектрального анализа (ССА) разрабатывался для исследования аддитивных компонент одномерных случайных последовательностей, затем он был обобщен на случай многомерных случайных величин. Если следовать

идеологии метода, то изображение, которое представлено в виде матрицы, необходимо было бы представить в виде трехмерной случайной последовательности компонент цвета, например, в цветовом пространстве RGB. В этом случае возникает проблема выбора размера окна для получения матрицы вложения, что существенно усложняет содержательный анализ изображения, так как для каждого изображения, в зависимости от контента, размер окна необходимо подбирать в интерактивном режиме.

Для того, чтобы выделить сингулярные компоненты, изображения размера п х т, представленного в цветовом пространстве RGB, каждой из компонент цветности поставим в соответствие матрицы ^ ^ и Св . Для каждой С!, 1 = R,G,B компоненты цветности вычислим симметрическую матрицу размерности пхп :

М, = С1СТ. (1)

В общем случае, собственные значения этих симметрических матриц определяются из решения характеристического уравнения:

^ = C(R),1 + C(R),2 + • •' + C(R),DR ,

^ = C(G),1 + C(G),2 + • + C(G),DG , (6)

СВ = C(B)Д + ^В),2 + • + C(B),DB ,

где

^ ^х/^^У1киТк. (7)

На рис. 1 приведены исходные изображения и их сингулярные компоненты, соответствующие максимальному собственному значению

a б

det (М,-Х1) = 0, (2)

а собственные векторы, соответствующие собственным значениям, из решения системы:

(М1 -^Е)У, = 0, (3)

где Е - единичная матрица; У^ - собственный вектор 1 -й цветовой компоненты, соответствующий ^. Учитывая большую размерность матриц М, для нахождения собственных значений и собственных векторов необходимо воспользоваться итерационной процедурой, которую называют методом вращений Якоби. Этот метод основывается на преобразовании подобия и заключается в следующем: необходимо найти такую ортогональную матрицу У , что:

в г

Рис. 1. Сингулярные компоненты соответствующие максимальному собственному значению: а, в - исходные изображения; б, г - первые сингулярные компоненты

Как видно из приведенных рисунков, первые сингулярные компоненты ^, ^1, ^ приведенных изображений содержат только крупномасштабные составляющие изображения, и примерную их локализацию на изображении.

Лі = у^цу,

(4)

где Л, - диагональная матрица собственных значений, а столбцы матрицы У, - это собственные векторы, соответствующие собственным значениям.

Рассмотрим теперь процедуру сингулярного разложения изображений. Для каждой компоненты цветности, или, что то же самое, матрицы М, вычислим собственные X« значения и собственные векторы У, . Упорядочим не нулевые собственные значения в порядке убывания: ...>Х^ , где

О, = а^тах(к,Хк >0) . Аналогичным образом упорядочим собственные векторы У,к ( У,к - матрицы столбцы).

Вычислим правые сингулярные, или факторные векторы и,к по формуле:

и1к =

сту„

(5)

Используя факторные векторы, получим аддитивное разложение изображений компонент цветности ^ , ^ и ^ на сингулярные составляющие:

3. Определение количества крупномасштабных цветовых кластеров на изображении

Проанализируем сингулярные собственные тройки -р/^, Уік,и Т }. На рис. 2 приведены спектры матриц

Са, Сс , Св для изображения с рис. 1, в. Для удобства отображения на графике приведены десятичные логарифмы собственных значений.

Рис. 2. Спектры матриц с*, сс, с

1

к

3

Как видно из приведенного рис. 2, спектры матриц ^ ^ , Cв практически совпадают. Рассмотрим собственные векторы соответствующие первым трем собственным значениям.

На рис. 3 приведены графики этих собственных векторов для матрицы ^ изображения с рис. 1, в, поскольку для матриц ^ и ^ характер изменения значений собственных векторов совпадает с характером изменения собственных векторов для матрицы

о,.

N

ГЬ У

ш -1

Как следует из рис. 5, первые три сингулярные компоненты содержат информацию о крупномасштабных цветовых кластерах изображения. Таких кластеров на этом изображении шесть. Наиболее светлый шестой кластер занимает наименьшую часть изображения.

Следует ожидать, что такое же соотношение будет наблюдаться и в распределении значений третьего собственного вектора. На рис. 6 приведены графики первых трех собственных векторов для изображения №86000.

Как следует из приведенного рисунка, третий собственный вектор содержит шесть различных областей значений (на рисунке закрашены серым цветом).

Для того, чтобы определять количество крупномасштабных цветовых кластеров, необходимо проанализировать значения компонент третьего собственного вектора, а именно: подсчитать количество перемен знака р.

При таком подсчете следует также учитывать и длину последовательности значений с одинаковым

Рис. 3. Значения компонент трех собственных векторов

Как видно из приведенного графика, основная информация о количестве крупномасштабных цветовых кластеров сосредоточена в третьем собственном векторе.

Об этом свидетельствует две отрицательные и одна положительная области значений третьего собственного вектора.

На рис. 4 приведены суммы первых трех сингулярных компонент для изображений с рис. 1.

знаком 1р.

Рис. 4. Сумма трех сингулярных компонент

Как видно из приведенных рисунков, на изображениях выделены три крупномасштабных пространственно локализованных цветовых кластера.

На рис. 5 приведено исходное изображение с более сложным цветовым контекстом (изображение №86000 [10]) и сумма его первых сингулярных компонент.

Рис. 5. Изображение с шестью крупномасштабными цветовыми сегментами

Рис. 6. Первые три собственных вектора изображения №86000

Пусть к - количество 1р < t , где t < 10 - пороговое значение. Тогда количество крупномасштабных цветовых кластеров на изображении будет равно к5 = р - 2к .

Как следует из анализа собственных векторов, соответствующих трем первым собственным значениям, их значения содержат высокочастотные составляющие, что проявляется на изображении в виде горизонтальных и вертикальных полос. По мере увеличения количества аддитивных сингулярных компонент, используемых для восстановления исходного изображения, этот эффект уменьшается. На рис. 7 приведена последовательность изображений для различного количества слагаемых в суммах сингулярных компонент.

Из приведенных рисунков следует, что при небольшом количестве сингулярных компонент цветовые сегменты не имеют четко очерченных границ, а по мере увеличения количества сингулярных компонент распадаются на все большее количество мелкомасштабных цветовых сегментов, так что в конечном итоге изображение становится эквивалентным оригиналу.

Следует отметить, что на практике степень детализации сегментированного изображения в существенной степени определяется требованиями к последу-

€

ющему анализу и предметной областью исходного изображения.

Рис. 7. Изображения с различным количеством сингулярных компонент (количество компонент указано под изображением)

Эксперт №1116 выделил на изображении №86000 4 крупномасштабных цветовых кластера (рис. 8, а, б).

Эксперт №1117 отметил на том же изображении 18 цветовых кластеров всего, среди которых можно выделить 6 крупномасштабных (рис. 8, в, г). Таким образом, мнения экспертов подтверждают результаты, полученные с помощью предложенного метода.

Тем не менее, существует обобщённый подход оценки качества полученных результатов сегментации, не учитывающий особенностей предметной области исходных изображений.

Он заключается в тестировании разработанных методов на изображениях из специальных тестовых баз. Данные базы кроме самих изображений, также содержат полученные экспертами вручную «эталонные» результаты сегментации.

Для исследования свойств предложенного сингулярного разложения, в данной работе использовалась специальная база тестовых изображений Berkeley Segmentation Dataset [10], в которой содержатся и результаты ручной сегментации.

Следует отметить, что мнение экспертов может не совпадать, т.е. наборы выделенных сегментов на одном и том же изображении, выполненные различными экспертами могут иметь существенные различия. Это свидетельствует о том, что не всегда есть в о змож но ст ь оп реде ли ть д л я и з о бр а жен и я е д и н-ственно правильное решение задачи сегментации, поэтому подобных тестовых базах зачастую представляются результаты сегментации, выполненной многими экспертами.

На рис. 8 представлены результаты сегментации изображения №86000, выполненные экспертами №1116 и №1117.

а б в г

Рис. 8. Результаты сегментации экспертами: а, б - результаты эксперта №1116; в, г - результаты эксперта №1117

4. Выводы

Анализ сингулярных компонент показал, собственные тройки, соответствующие первым трем собственным значениям, в их упорядоченной по убыванию последовательности, содержат всю необходимую информацию о крупномасштабных регионах изображения. Количество сегментов можно определить, подсчитав количество перемен знака компонент собственного вектора, соответствующего третьему собственному значению. Предложенное сингулярное разложение может быть использовано в процедурах сегментации изображений для предварительного определения количества крупномасштабных цветовых кластеров или сегментов на изображении. Дальнейшие исследования в этом направлении будут нацелены на разработку методов выделения и локализации цветовых кластеров при формировании дескрипторов изображений в задачах контекстного поиска по регионам.

Литература

1. Mancas-Thilou, C. Spatial and Color Spaces Combination for Natural Scene Text Extraction [Text] / C. Mancas-Thilou, B. Gosselin // Proceedings of IEEE International Conference on Image Processing.- 2006. - №2. - pp. 985-988.

2. Deb, K. Statistical Characteristics in HSI Color Model and Position Histogram based Vehicle License Plate Detection [Text] / K. Deb, K.-H. Jo // Intelligent Service Robots.- 2009. - т. 2. - №3. - pp. 173-186.

3. Cheng, L. An Efficient Approach for Tree Digital Image Segmentation [Text] / L. Cheng, T. Y. Song // Forestry Studies in China, 2004.- №6.- pp. 43-49.

4. Morales, R. Blood vessel segmentation via neural network in histological images [Text] / R. Morales, T. E Alarcon Martinez, J. José // Journal Intelligent & Robotic System. - 2003. - т. 36. - № 4. - pp. 451 - 465.

5. Mozina, M. Real-time image segmentation for visual inspection of pharmaceutical tablets [Text] / M. Mozina, D. Tomazevic, F. Pernus, B. Likar // In Proceedings of Machine Vision Applications.- 2011. - pp. 145-156.

3

6. Mezaris, V. A test-bed for region-based image retrieval using multiple segmentation algorithms and the MPEG-7 experimentation Model: The Schema Reference System [Text] / V. Mezaris, H. Doulaverakis, R. Medina Beltran de Otalora, S. Herrmann, I. Kompa-tsiaris, M. G. Strintzis // Proc. 3rd International Conference on Image and Video Retrieval.- 2004.-T. 3115. - pp. 592-600.

7. Sridhar, V. Region-based Image Retrieval using Multiple Features [Text] / V. Sridhar, M. A. Nascimen, X. Li // Proceedings of the Visual Information Systems Conference.- 2002.-pp. 61-75.

8. Sural, S. Segmentation and histogram generation using the HSV color space for image retrieval [Text] / S. Sural, G. Qian, S. Pramanik // Proceedings of IEEE International Conference on Image Processing.- 2002.- pp. 589-592.

9. Shin, M. C. Does colorspace transformation make any difference on skin detection? [Text] / M. C. Shin, K. I. Chang, L. V. Tsap // Proceedings of the Sixth IEEE Workshop on Applications of Computer Vision.- 2002. - pp. 275-284.

10. Martin, D. A Database of Human Segmented Natural Images and its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics [Text] / D. Martin, C. Fowlkes, D. Tal, J. Malik. - Proceedings 8th Intel Conference Computer Vision.-2001. -T.2. - pp. 416-423.

------------------------□ □-----------------------------

Запропоновано палітровий метод ефективного кодування цифрових відеозображень, що використовує адаптивне квантування відеокадрів в просторі кольорів та їх представлення у однобайтовому палітровому графічному форматі. Метод забезпечує ступінь стиску, в середньому у 2,98 рази при збереженні доброї якості візуального сприйняття та не потребує розробки спеціального декодеру

Ключові слова: ефективне кодування відеозображень, адаптивне квантування, стиснення, палітровий графічний формат

□-----------------------------------□

Предложен палитровыйметод эффективного кодирования цифровых видеоизображений, который использует адаптивное квантование видеокадров в пространстве цветов и их представление в однобайтовом палитровом графическом формате. Метод обеспечивает степень сжатия, в среднем в 2,98 раза при сохранении хорошего качества визуального восприятия и не требует разработки специального декодера

Ключевые слова: эффективное кодирование видеоизображений, адаптивное квантование, сжатие, палитро-вый графический формат ------------------------□ □-----------------------------

УДК 004.932.2:519.68

ПАЛІТРОВИЙ МЕТОД ЕФЕКТИВНОГО КОДУВАННЯ ЦИФРОВИХ ВІДЕОЗОБРАЖЕНЬ

В. Ю. Кум и ш

Старший викладач Кафедра мереж та систем поштового

зв’язку

Одеська національна академія зв’язку ім. О.С. Попова вул. Ковальська 1, м. Одеса, Україна, 65029 E-mail: kumish@mail.ru

1. Вступ

По оцінкам експертів компанії С^СО глобальний Інтернет-трафік за останні 5 років виріс вчетверо і в 2015 році буде складати 1 зетабайт (270 байт) на рік. При цьому в 2012 році 57% трафіку склали відеодані,

і це значення має сягнути 69% в 2017 році [1]. Також спостерігається істотний зріст глобального мобільного трафіку, що в 2012 році склав 885 петабайт (250 байт) на місяць, з них 51% відеодані [2]. Значну долю цих відео-даних складає потокове відео, до якого, для забезпечення роботи в режимі реального часу, ставляться жорсткі вимоги щодо швидкості кодування/декодування.

Також серед відеотрафіку та локально збережених відеоданих слід виділити істотну частку спеціалізованих даних, які призначаються для змістовного аналізу в системах комп’ютерного зору, а саме: виділення та розпізнавання тексту й автомобільних номерів; від-стеження (трекінгу) об’єктів в охоронних системах,

автоматизації медичних досліджень, наприклад для аналізу ангіограм та рентгенограм; неруйнівного контролю якості та ін. Оскільки змістовний аналіз також повинен виконуватись в режимі реального часу, в подібних системах також висуваються вимоги щодо швидкості кодування/декодування відео. Тому актуальним науковим напрямком є розробка простих і ефективних методів кодування та стиснення відео.

Простоту, низьку обчислювальну складність та високу швидкість процесів кодування/декодування забезпечує палітрізація відеозображення. Палітрові методи й алгоритми кодування відео зображень, в яких відеокадри кодуються окремо й незалежно один від одного та послідовно пакуються в мультимедійні контейнери набули широкого розповсюдження на початку 90-х років. До методів цієї категорії слід віднести: Microsoft Run Length Encoding (MRLE) [3], Microsoft Video 1 (MV1) [4], CDXL [5], FLIC [6] та ін. Однак, для всіх цих форматів характерні істотні спотворення фотореалі-

Е

©