CC BY
58
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
КЛАССИФИКАЦИЯ ДВУМЕРНЫХ ФИГУР С ИСПОЛЬЗОВАНИЕМ СКЕЛЕТНО-ГЕОДЕЗИЧЕСКИХ ГИСТОГРАММ ТОЛЩИН-РАССТОЯНИЙ
Н.А. Ломов1,2, С.В. Сидякин2, Ю.В. Визильтер2
1 Московский государственный университет имени М. В. Ломоносова, Москва, Россия, 2 ФГУП «Государственный научно-исследовательский институт авиационных систем», Москва, Россия
Аннотация
В работе рассматривается задача классификации бинарных изображений двумерных фигур. При этом в качестве дескриптора формы фигуры предлагается использовать скелетно-геодезическую гистограмму толщин-расстояний. Дескрипторы формы, основанные на статистиках парных расстояний между точками фигуры, хорошо известны. Известно также, что гистограммы парных геодезических расстояний между точками фигуры обладают устойчивостью к гибким деформациям частей фигуры, при которых не нарушается топология фигуры и мало изменяется её локальная толщина. Предложенный новый дескриптор представляет собой совместную гистограмму скелетно-геодезических расстояний и разностей локальных толщин между точками фигуры. Такая статистика является более информативной за счёт использования дополнительной информации о локальной толщине фигуры. Кроме того, предложенный подход к её вычислению на основе анализа рёбер непрерывного скелета и областей их притяжения позволяет значительно ускорить время расчёта по сравнению с гистограммами геодезических расстояний. Приведены результаты экспериментов, подтверждающих эффективность применения предложенного дескриптора в задачах классификации двумерных фигур.
Ключевые слова: анализ бинарных фигур, классификация, непрерывные скелеты, ске-летно-геодезические расстояния, гистограммы.
Цитирование: Ломов, Н.А. Классификация двумерных фигур с использованием скелетно-геодезических гистограмм толщин-расстояний / Н.А. Ломов, С.В. Сидякин, Ю.В. Визильтер // Компьютерная оптика. - 2017. - Т. 41, № 2. - С. 227-236. - DOI: 10.18287/24126179-2017-41-2-227-236.
Введение
В данной работе рассматривается проблема классификации двумерных бинарных фигур [1]. Под классификацией в данном контексте мы будем понимать определение типа объекта. Анализ бинарных фигур затрудняется тем, что яркостная и текстурная информация, содержащаяся в обычных цветных изображениях, недоступна, поэтому традиционные подходы к классификации цветных изображений не могут быть напрямую применены. Ранее некоторый прогресс был достигнут в области сопоставления фигур и их частей по форме (shape matching). Для этого был разработан целый ряд признаковых описаний [2 - 8] (яркий пример - контекст формы [5]). К сожалению, у алгоритмов сопоставления фигур имеется ряд недостатков. Дело в том, что классификация алгоритмами сопоставления основана на методе взвешенных ближайших соседей и требует сравнения тестовой фигуры со всеми фигурами в наборе. В случае, когда для обучения имеется мало примеров, алгоритмы сопоставления не способны в полной мере учесть большие внутриклассовые отличия. А в случае, когда количество примеров для обучения велико, попарное сравнение со всеми фигурами занимает неприемлемое количество времени. Поэтому подходы на основе сопоставления не являются предпочтительными. Более перспективными оказываются подходы, основанные на обучении классификаторов, на вход которых подаются те или иные дескрипторы (описания) формы объектов.
При формировании описаний формы методами компьютерного зрения часто противопоставляют контур и скелет (срединные оси) фигуры, а также описания формы фигур на основе локальных и глобальных признаков. При этом подходы, основанные на контурных признаках [5 - 8], традиционно хороши при представлении детальной информации об очертаниях фигуры и в большей степени устойчивы к ок-клюзиям, нежели скелетные подходы, при этом они крайне чувствительны к артикулированным движениям и гибким деформациям частей фигуры [8]. В то же время подходы, основанные на скелетных признаках [1, 3, 4, 10 - 13], могут в большей степени противостоять гибким деформациям, а также содержат информацию о внутренней структуре, так как максимальные вписанные пустые круги, связанные со скелетом, несут информацию о толщине.
Аналогичным образом, очевидно, что каждый класс фигур может оказаться достаточно разнообразным как в локальном, так и в глобальном плане из-за большой вариативности в ракурсах наблюдения, наличия различных искажений и частичного загораживания. При этом фигуры разных классов могут иметь схожие части. В этом случае отличия между классами фигур могут быть выявлены на основе различий взаимных конфигураций похожих частей, характерных для каждого класса. Таким образом, необходимо использовать локальный и глобальный анализ в совокупности, чтобы учесть все возможные ситуа-
ции. Например, для фигур, представленных на (рис. 1а, б), даже небольшой фрагмент контура может оказаться крайне информативным и отделить одну от другой. В то же время для фигур, представленных на (рис. 1е, г), характерными являются глобальные отличия контуров в целом.
Рис. 1. Иллюстрация взаимной дополняемости локального и глобального анализа. Фигуры (а) и (б) иллюстрируют
случай локальных отличий (уши животных заметно отличаются) и глобального сходства (поза животных похожа). Фигуры (в) и (г) иллюстрируют локальное сходство (форма ушей, размер головы) и глобальные отличия в позе животных
За последние годы сформировался круг контурных и скелетных дескрипторов (признаковых описаний), наиболее удачных с точки зрения задач распознавания и классификации. Дескрипторами части контура могут выступать: трансформированная и нормализованная часть контура («подпись») [14, 16]; набор гистограмм расстояний от каждой точки части контура до всех остальных точек («контекст формы фрагмента контура»); мешок контурных фрагментов [21] (bag of contour fragments - BCF). Дескриптором части скелета выступает упорядоченный и нормализованный набор максимальных пустых вписанных кругов [14]; мешок кратчайших путей по скелету [15] (bag of skeleton path - BSP). Все перечисленные дескрипторы могут быть представлены в виде одномерного вектора (гистограммы). Такой способ представления удобен для сравнения фигур и быстрого поиска в базе, поскольку сравнение и поиск сводится к сравнению векторов, к которым методы машинного обучения могут быть применены напрямую.
Помимо перечисленных дескрипторов, в литературе хорошо известны гистограммы, основанные на статистиках парных расстояний между элементами фигуры. Они не связаны с какой-либо спецификой конкретной предметной области, ограничениями формы или размерности данных, и поэтому применимы для описания форм как двумерных, так и многомерных фигур. Классификация таких методов может быть проведена на основе того, какие расстояния между элементами (точками) формы в данном методе
рассматриваются и какие статистики от этих расстояний рассчитываются. В качестве расстояний между точками наиболее часто используются евклидовы расстояния, геодезические расстояния и диффузные расстояния ([17, 18]). В качестве дескриптивных статистик в различных работах используются: полные матрицы парных расстояний, гистограммы всех парных расстояний [19], среднее расстояние от каждой точки до всех остальных [20] и ряд других.
В данной работе предлагается новый вид морфологических гистограмм - гистограмма толщин-расстояний (ГТР). ГТР вычисляется на основе ске-летно-геодезических (СГ) расстояний и разностей толщин между парами рёбер скелета фигуры и этим отличается от обычных геодезических гистограмм, которые вычисляются для всех точек фигуры. С каждым ребром скелета фигуры связана своя область притяжения - область, точки которой ближе всего к выбранному ребру. Количество точек области притяжения определяют вклад каждого ребра в гистограмму. Скелет, области притяжений и скелетно-геодези-ческие расстояния могут быть вычислены аналитически, что существенно ускоряет процесс формирования ГТР. Также ряд объективных фактов указывает на то, что свойства обычных геодезических гистограмм должны быть справедливы и для скелетно-гео-дезических гистограмм.
Следуя общей тенденции к использованию нескольких дескрипторов для решения задач классификации [14, 15], в данной работе предлагается объединить передовой контурный дескриптор (мешок контурных фрагментов (BCF) [21]) и описанный выше скелетный дескриптор (ГТР) в единый вектор признаков. Указанное сочетание дескрипторов позволяет получить результат классификации, превосходящий результаты современных методов [7, 8, 14 - 16, 21, 22, 27, 29] на примере наиболее трудного и разнообразного набора фигур ANIMALS [14]. Обучение и классификация при этом осуществляются методом опорных векторов для корректного сравнения с другими алгоритмами. В работе также отмечено, что комбинация BCF и ГТР более удачна, чем комбинация BCF и BSP.
В следующих параграфах детально описаны способы вычисления используемых дескрипторов: сначала контурного, а затем скелетного.
1. Контурные дескрипторы
В части контурного дескриптора предлагается использовать дескриптор на основе мешка контурных фрагментов [21]. Основные шаги его вычисления ведут к формированию ряда промежуточных дескрипторов [14, 21]. Рассмотрим кратко каждый из них.
1.1. Выделение фрагментов контура.
Дескриптор типа подпись
Для выделения представительных фрагментов контура строится внешний многоугольный контур, определяющий форму фигуры F, например, алгоритмом построения разделяющего многоугольника минимального периметра [1] (рис. 2а). Далее полученный мно-
гоугольный контур регуляризуется алгоритмом дискретной эволюции кривой (БОЕ) [6], в результате которого строится набор характерных вершин (критических точек) на контуре {м1, ..., мк} (рис. 2б).
г) О
0,2 0,4 0,6 0,8 1,0 1,2 1,4 1,6
О 0,2 0,4 0,6 0,8 1,0 1,2
Рис. 2. Выделение фрагментов контура и вычисление дескриптора типа подпись для двух фрагментов: фигура,
ограниченная замкнутой многоугольной границей (а); регуляризованный контур по алгоритму БОЕ с указанием
критических точек (б); критические точки, отображённые на контур, жирными кривыми отмечены несколько фрагментов контура (в); трансформированный фрагмент контура - подпись (г, д)
Число таких вершин заранее не известно и автоматически подбирается алгоритмом [6]. После чего критические точки отображаются на исходный многоугольный контур (рис. 2в). Для всех пар критических точек (м,, и,) формируется набор фрагментов С(Р) контура фигуры Р по следующей формуле:
С(Р) = {с., = (м,,м]), I Ф ,,I,, е 1,..,к}.
Рассматриваемые пары критических точек не обязаны быть соседними. Фрагменты с,, и с,,, являются
разными фрагментами, при этом их объединение равно Р. Прямолинейные фрагменты исключаются из набора, так как считаются малоинформативными.
Каждый фрагмент должен быть описан своим дескриптором. Для этого на него набрасывается заданное количество точек {р1, ...,рп} через равные промежутки. После чего контурный сегмент по данным точками преобразуется в нормализованный сегмент, который напоминает «подпись». Трансформация осуществляется на основе отображения концевых точек фрагмента р1, рп в точки с координатами р1' = (0, 0) и рП = (1, 0) (рис. 2г, д). Такого рода преобразование оказывается инвариантным к сдвигу, повороту и масштабированию с сохранением пропорций. Каждая подпись представляется вектором координат преобразованных точек фрагмента контура:
V = (Х1, у^ Хп, Уп)Т.
Итоговым дескриптором фигуры Р может выступать набор всех связанных с ней подписей:
V(Р) = {V!,..., Чс)},
где |С(Р)| - количество подписей в фигуре.
Дальнейшим развитием дескриптора типа подпись стал контекст формы фрагмента контура.
1.2. Контекст формы фрагмента контура
Сначала необходимо обеспечить инвариантность к вращению. Для этого на каждом фрагменте контура определяется середина и угол наклона 9 между касательной в середине фрагмента и осью абсцисс. После чего выбранный сегмент поворачивается по часовой стрелке на угол 9 (рис. 3).
\
Рис. 3. Иллюстрация вычисления дескриптора фрагмента в М=5 точках: определение ориентации относительно оси абсцисс (а); определение 5 контекстов формы в точках (б)
Среди N наброшенных ранее точек выбирается М представителей {р1, ...,рм} через равные промежутки, М << N. Далее для каждого представителя р;, геМ на
выбранном фрагменте можно определить гистограмму относительных координат остальных (N-1) точек pj, jeN. Такая гистограмма называется контекстом формы фрагмента относительно выбранной точки (рис. 4):
hi (k) = #{pj ф Pi : (pj - Pi) e bin(k)},
где знак # обозначает количество, k - номер столбца гистограммы, bin (k) - столбец гистограммы с номером k.
При формировании гистограммы вычисляется медиана среди расстояний между всеми парами точек на фрагменте, и каждое расстояние нормализуется на значение медианы. Чтобы сделать дескриптор выбранной точки более чувствительным к положению ближайших точек, столбцы (ячейки) гистограммы равномерно представлены в полярной системе координат, при этом для нормализованных расстояний между точками используется логарифмический масштаб.
Итоговым дескриптором фрагмента контура выступает набор из M контекстов формы, вытянутых в одномерный вектор.
На основе контекста формы фрагментов контура был создан мешок контурных фрагментов.
Рис. 4. Иллюстрация вычисления контекста фрагмента
контура для центральной точки. Показаны вектора, берущие начало в центральной точке и заканчивающиеся других точках. Длины и направления векторов определяют выбор ячеек гистограммы, на которые поделена система полярных координат. Показаны 5*8 = 40 ячеек и 9 векторов
1.3. Мешок контурных фрагментов Подход [21, 22] к кодированию контекста фрагмента контура организован по аналогии с мешком слов [24].
Пусть дана обучающая выборка Fdatabase из N фигур разных классов:
Fdatabase = •", ^} .
Каждая форма характеризуется набором контурных фрагментов С(^ = {с}. Каждому фрагменту с поставлен в соответствие визуальный примитив (т. е. в нашем случае контекст формы фрагмента контура):
х = /(с) е М.
Соответственно, форму фигуры F можно охарактеризовать набором таких дескрипторов:
F(F) = {x|x = f (c),c e C(F)}.
Для всего набора фигур Fdatabase может быть сформировано множество визуальных примитивов:
Фpool = {Х 1 Х Пртадлежит ф (FX F e Fdatabase }.
Множество примитивов Fpool кластеризуется на k кластеров алгоритмом k-средних, и таким образом строится словарь форм V:
V = [b1,..., bk] e Kdxk,
где bi - центр каждого кластера.
Каждый кластер представляет собой визуальное слово. Построенный словарь позволяет закодировать визуальный примитив на основе подхода мягкой векторной квантизации [25]. Для этого для каждого xeFpool(F) выбирается m ближайших визуальных слов из словаря V. Обозначим набор ближайших кластеров как VpeRdxm, pe {pi,...,pm}, где p - набор из m индексов ближайших кластеров из V.
Пусть w = h(x) e Rk - код, который требуется найти. Чтобы определить элементы вектора w, необходимо найти значения элементов вектора wp через минимизацию следующего функционала:
min x - VРю*
1T wp = 1,
где wp - определяет m элементов вектора w, заданных через индексы p, остальные элементы вектора w считаются равными 0. Каждый элемент вектора w характеризует вероятность отнесения x к соответствующему визуальному слову. В результате имеется группа закодированных визуальных примитивов фигуры F: W(F) = {ю | ю = h(x),xe F(F)}. Следующим шагом необходимо получить компактное представление, используя стратегию максимального пулинга [25]. Для этого фигура разбивается на блоки re [1, ...,21] размерами 1x1, 2x2, 4x4 (рис. 5).
Фрагмент контура попадёт в блок, если его медиана попадает в блок. Каждому блоку соответствует свой набор закодированных визуальных примитивов Wr (F). Операция максимального пулинга осуществляется по строкам для каждого блока в отдельности: zr = max ю, zr e Kk.
r meWr (F) r
Полученный дескриптор типа мешка контурных фрагментов фигуры F представляет собой объединение всех zr, вытянутых в одномерный вектор-строку: H(F) = [zT,ZT, ..., zTr ].
Рис. 5. Разбиение фигуры на блоки
2
ш
Дескриптор нормализуется на значение его /^нормы и имеет размер 21 •к.
Перейдём к рассмотрению скелетного дескриптора.
2. Скелетно-геодезические гистограммы и расстояния
Известно, что гистограммы геодезических расстояний между точками фигуры не только инвариантны к сдвигам и поворотам, а при соответствующей нормировке и к масштабированию, но также устойчивы к изгибам составляющих фигуру жирных кривых, если только они не изменяют топологических характеристик фигуры или количества и расположения циклов в скелете. Однако время вычисления таких гистограмм чрезвычайно велико, так как для всех пар точек фигуры необходимо вычислить геодезическое расстояние между ними, а это пропорционально квадрату количества точек фигуры.
В данной работе предлагается вместо геодезических расстояний (ГР) йоеой(Р)(р, д) между точками р, д фигуры Р рассмотреть скелетно-геодезические расстояния (СГР), равные геодезическому расстоянию dGeod(sk(Fj)(p, д) на скелете Хк(Р между проекциями ря(Р), дхк(р) этих точек на скелет:
"p, д е р : ^(хкр))(P, д) =
= dGeod (Хк (Р )) ( р хк (Р), дхк (Р ) ) .
При этом под проекцией точки р на скелет понимается ближайшая точка е на скелете в смысле обычного евклидова расстояния:
"р е Р : рхк(р) = а^ишеехк(Р)||р - 4,
||р " е\\2 = (Хр " Хе )2 + (Ур - Уе ^
где Хр, Ур, Хе, Уе - координаты соответствующих точек.
Строго говоря, СГР не являются расстояниями, так как "р, де Р: р Ф д, р,щр) = д,хк(Р) ^ dGeod(sk(Р))(p, д) = 0.
Поэтому они представляют собой фактор-расстояния между областями притяжения точек скелета. Под областью притяжения точки е понимается множество точек фигуры {реР}, для которых е является ближайшей точкой на скелете.
Есть несколько объективных фактов, указывающих на то, что свойства гистограммы ГР (ГГР)
HG ^) = #{р, д е Р : dGeod(р) (р, д) = d} схожи со свойствами гистограммы СГР (ГСГР)
HGS ^) = #{P, д е Р : dGeod(Я(Р)) (P, д) = ^
где # - количество элементов множества.
Во-первых, обе гистограммы устойчивы к изгибам составляющих фигуру жирных кривых, если только они не изменяют топологических характеристик фигуры. Во-вторых, при последовательном утончении фигуры Р она стремится к своему скелету Хк(Р), при этом ГГР утончённой фигуры, очевидно, стремится к ГСГР. Отсюда можно заключить, что для фигур, составленных из достаточно тонких «жирных кривых» (таковы, например, силуэты людей и многих живот-
ных), форма ГСГР должна быть достаточно близка к форме ГГР. При этом время вычисления ГСГР меньше, если расчёт ведётся по формуле:
hgs (d) = X s (p)s (q),
p,qE Sk (F\dGeod (Sk (F)) (p,q)=d
где S(p) и S(q) являются площадями областей притяжения соответствующих точек:
S(Р) = #{Р е F: Psk(f) = q}.
Время вычисления ГСГР пропорционально квадрату количества точек скелета, которое, как правило, на порядок меньше количества точек фигуры, т.е. выигрыш в скорости счета по сравнению с вычислением ГГР должен составить как минимум два порядка.
Развивая описанную идею, можно заметить, что, так как скелет фигуры содержит, помимо информации о размерах областей притяжения точек, ещё и информацию о толщинах, это позволяет ввести совместную скелетно-геодезическую гистограмму толщин-расстояний (ГТР)
Hgs (d, t) = #{ Р, q е F :
dGeod(Sk(F)) (P, q) = d, t = It(P) - t(q)}
где t (p) - локальная толщина в точке p, вычисленная на основе значения радиальной функции r(e) в точках скелета e:
"p е F: t(p) = max{r(e): e е Sk(F),||p -e|| < r(e)}.
ГТР может быть рассчитана при помощи информации о распределении толщин, содержащейся в областях притяжения точек скелета, за то же время, что и гистограмма скелетно-геодезических расстояний. ГТР инвариантна к сдвигам, вращениям, обладает свойствами спектра толщин, в то время как ГГР и ГСГР должны быть устойчивыми к изгибам составляющих фигуру жирных кривых, если только они не изменяют топологических характеристик фигуры.
До сих пор в данном параграфе речь шла о случае, если скелетное описание получено дискретными методами. К счастью, методы непрерывной бинарной морфологии позволяют получить непрерывное аналитическое скелетное описание [1]. Следовательно, можно переформулировать ГТР с использованием подхода непрерывной бинарной морфологии, организовав весь процесс вычисления на основе аналитического описания рёбер скелета. На сегодняшний день описан аналитический способ формирования дискового спектра толщин фигуры [23], поэтому удобно сформировать дескриптор толщин-расстояний, используя непрерывный спектр толщин.
Известно, что скелет многоугольной фигуры можно получить из её диаграммы Вороного отсечением рёбер и вершин, соответствующих вогнутым вершинам фигуры. В зависимости от типов образующих сайтов выделяются ребра трёх типов: линейные (оба сайта - сегменты), гиперболические (оба сайта - точки) и параболические (один из сайтов - сегмент, другой - точка). При этом области притяжения рёбер скелета представ-
ляют собой их собственные области, формулы вычисления площадей которых приведены в [13].
Определим следующие характеристики рёбер: 5 - площадь области притяжения (площадь собственной области); к - длина ребра (длина отрезка параболы, если ребро параболическое, иначе - просто расстояние между концами ребра); t - средняя толщина по области притяжения.
Для более эффективного вычисления гистограмм мы будем рассматривать в качестве описания ребра не распределения значений признаков по области притяжения, а их средние значения. В частности, проекцией всех точек области притяжения на скелет мы будем условно считать середину соответствующего ребра. В этом случае скелетно-геодезические расстояния нам нужно будет вычислить только между серединами рёбер.
Обратим внимание на то, что кратчайший путь между любой парой средних точек рёбер можно представить как последовательность таких переходов от одной середины к другой и в рамках одного перехода другие средние точки не посещаются. Очевидно, что подобный переход возможен только в том случае, если ребра являются в скелете смежными, при этом длиной перехода будет полусумма длин этих рёбер. Для того чтобы свести задачу расчёта ГТР к классической задаче поиска кратчайших путей на графе, построим граф О, в котором каждому ребру скелета е, сопоставим вершину Если ребра е, и еу являются в скелете смежными, и му соединим парой дуг в обоих направлениях, в противном случае вершины будут несмежными. Каждому ребру нового графа присвоим вес, равный (к+/¡)/2 - скелетно-геодезическому расстоянию между серединами смежных рёбер. Пример скелета и двойственного к нему графа О приведён на рис. 6.
Кратчайшему пути между вершинами в двойственном графе соответствует кратчайший путь между серединами рёбер в скелете. Поэтому для вычисления кратчайших путей между всеми парами рёбер можно применить к графу О алгоритм Джонсона [30].
Средняя толщина по области притяжения может быть вычислена, если известен спектр толщин области. Его, в свою очередь, можно найти, если известна функция, которая определяет, какая часть области притяжения покрыта кругами заданного радиуса. Заметим, что вычисление площади покрытия по алгоритму [23] неявно представляет покрытие в виде разбиения на непересекающиеся области, поэтому для вычисления значения искомой функции при заданном радиусе достаточно найти сумму площадей пересечений области притяжения с каждой из областей в разбиении, что также может быть сделано аналитически.
Таким образом, для рёбер можно определить следующие парные характеристики: ёу - скелетно-геоде-зическое расстояние между рёбрами е, и еу (расстояние между их серединами); и - разность толщин между рёбрами е, и еу, равная
Отметим, что эти характеристики являются инвариантными к движению и повороту фигуры, а при мас-
штабировании расстояние ёу изменяется пропорционально масштабному коэффициенту. Для всех пар рёбер скелета рассчитаем ёу, tу, после чего нормализуем их:
d* = djj / max dtj,
* 1 t* = t. / r ,
ij ij max'
где rmax - максимальный радиус вписанного в фигуру круга.
Рис. 6. Иллюстрация расчёта скелетно-геодезических расстояний между парами рёбер скелета. Многоугольная фигура и её скелет (а); фрагмент двойственного графа для расчёта расстояний (б). Частично указаны длины (веса) рёбер в графах
После нормализации ёу* и (у* попадают в отрезок [0, 1]. Разобьём отрезок [0, 1] на к равных частей для расстояний и п частей - для толщин. Это позволит каждую пару рёбер в зависимости от значений их признаков связать с одной из кп ячеек гистограммы толщин-расстояний. Вклад пары рёбер е! и ej в соответствующую ячейку примем равным я^яу.
Полученным гистограммам можно придать следующую интерпретацию: пусть расстояние между любыми двумя точками фигуры определяется по рёбрам скелета, областям притяжения которых эти точки принадлежат, а толщина усредняется по области притяжения. Тогда гистограмма отражает совместное распределение значений выбранных признаков, если пара точек фигуры определяется случайным образом.
3. Эксперименты
В экспериментальной части для классификации фигур использовалась комбинация описанных выше дескрипторов (мешка контурных фрагментов-БСГ и ГТР), представленная в виде одномерного вектора. Для тестирования использовалась большая база двумерных
фигур животных (ANIMALS) [14], считающаяся сообществом наиболее сложной из общепринятых. В базе ANIMALS представлено 20 классов фигур животных, каждый класс содержит в себе 100 примеров. Внутри каждого класса фигуры изображены в различных позах, при этом формы фигур существенно отличаются по размеру, расположению и артикуляции частей, некоторые части фигур подвергнуты окклюзии. Для обучения классификатора использовалось 50 фигур на класс и 50 фигур на класс для тестирования. Фигуры каждый раз выбирались случайным образом. При вычислении контурного дескриптора BCF использовались настройки, аналогичные описанным в работе [21]. Для обучения и классификации использовался метод опорных векторов (SVM), его настройки также описаны в работе [21]. Параметры к и n были заданы равными 5 и 7. Результаты, представленные в табл. 1, 2, получены после серии экспериментов (10 раз выборка делилась случайным образом) и усреднены.
Табл. 1. Точность классификации различных методов на наборе изображений ANIMALS
Алгоритм Точность
CSS [16] 69,7 %
IDSC [7] 73,6 %
CS[14] 71,7 %
SP [14] 67,9 %
ICS[14] 78,4 %
BCF [21] 83,4 %
Shape Tree [27] 80,0 %
Lim [28] 80,4 %
Shape Vocabulary [22] 84,3 %
BCF+BSP [15] 85,5 %
MC-2 [29] 85,9 %
Предложенный (BCF+ГТР) 89,37 %
Табл. 2. Точность классификации по классам из ANIMALS
Класс
Алгоритм Птица 1 Бабочка Кот
БСБ 87,6 % 92,2 % 73,8 %
БСБ+ГТР 91,4 % 97,2 % 78,2 %
Алгоритм Корова Крокодил Олень
БСБ 77,4 % 76,8 % 90,4 %
БСБ+ГТР 85,0 % 83,2 % 92,6 %
Алгоритм Собака Дельфин Утка
БСБ 82,6 % 89,0 % 87,0 %
БСБ+ГТР 88,0 % 92,4 % 91,2 %
Алгоритм Слон Рыба Птица2
БСБ 95,2 % 79,8 % 72,0 %
БСБ+ГТР 96,0 % 87,6 % 82,0 %
Алгоритм Курица Лошадь Леопард
БСБ 94,2 % 95,4 % 66,4 %
БСБ+ГТР 96,0 % 96,2 % 75,8 %
Алгоритм Обезьяна Кролик Крыса
БСБ 58,4 % 85,8 % 70,6 %
БСБ+ГТР 75,0 % 95,4 % 86,8 %
Алгоритм Паук Черепаха
БСБ 99,2 % 93,6 %
БСБ+ГТР 99,2 % 98,2 %
Согласно табл. 1 предложенное сочетание БОГ и ГТР позволяет получить точность 89,37 %. Таким образом, предложенный подход превосходит известные ра-
нее методы [7, 16, 21, 22, 27 - 29], в том числе и те, которые комбинируют контурные и скелетные описания [14, 15] (выигрыш у БСГ+ББР составляет 3,87 %).
В табл. 2 показана точность по каждому классу в сравнении с алгоритмом, основанным только на контурных признаках [21]. Предложенный алгоритм лучше справляется со всеми имеющимися классами, причём особый прогресс достигается для классов, ранее распознававшихся хуже всего («Обезьяна», «Леопард», «Крыса», «Птица2»), что демонстрирует пользу от введения скелетной информации в дескриптор. Зависимость получаемого результата от параметров к и п проиллюстрирована в табл. 3.
Табл. 3. Точность классификации в процентах на наборе ANIMALS при варьировании параметров к и n
n\k 3 4 5 7 10 15
3 88,63 88,61 88,61 88,60 88,60 88,68
4 88,91 88,85 88,88 88,96 88,94 88,93
5 89,04 89,08 89,15 89,18 89,14 88,93
7 89,20 89,30 89,37 89,34 89,32 89,26
10 89,17 89,17 89,23 89,26 89,29 89,07
15 89,19 89,32 89,23 89,23 89,02 88,78
20 89,22 89,13 89,18 89,16 88,99 88,82
Выводы
В работе предложен новый дескриптор формы бинарной фигуры - скелетно-геодезическая гистограмма толщин-расстояний. Гистограмма толщин-расстояний является разновидностью морфологических гистограмм, основанных на статистиках парных расстояний между элементами фигуры, и вычисляется с использованием скелетно-геодезических расстояний и разностей толщин между парами рёбер скелета фигуры. Переход к использованию рёбер скелета и областей их притяжения позволяет значительно ускорить расчёт скелетно-геодезических гистограмм толщин-расстояний, сохранив при этом ряд полезных свойств, присущих обычным геодезическим гистограммам. В экспериментальной части работы показано, что сочетание контурной и скелетной информации позволяет существенно улучшить результат классификации на одной из наиболее трудных баз двумерных фигур [14].
Благодарности
Исследование выполнено за счёт гранта Российского научного фонда (проект № 16-11-00082), а также при поддержке грантов РФФИ 15-07-01323 А, 1657-52042 МНТ_а.
Литература
1. Местецкий, Л.М. Непрерывная морфология бинарных изображений. Фигуры, скелеты, циркуляры / Л.М. Местецкий. - М.: Физматлит, 2009. - 288 с. -ISBN: 978-5-922110-50-1.
2. Chui, H. A new point matching algorithm for non-rigid registration / H. Chui, A. Rangarajan // Computer Vision and Image Understanding. - 2003. - Vol. 89, Issue 2-3. -P. 114-141. - DOI: 10.1016/S1077-3142(03)00009-2.
3. Asian, C. Disconnected skeleton: shape at its absolute scale / C. Aslan, A. Erdem, E. Erdem, S. Tari // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2008.
- Vol. 30, Issue 12. - P. 2188-2203. - DOI: 10.1109/TPAMI .2007.70842.
4. Bai, X. Path similarity skeleton graph matching / X. Bai, L. Latecki // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2008. - Vol. 30, Issue 7. - P. 12821292. - DOI: 10.1109/TPAMI.2007.70769.
5. Belongie, S. Shape matching and object recognition using shape contexts / S. Belongie, J. Malik, J. Puzicha // IEEE Transactions on Pattern Analysis and Machine Intelligence.
- 2002. - Vol. 24, Issue 4. - P. 509-522. - DOI: 10.1109/34.993558.
6. Latecki, L. Shape similarity measure based on correspondence of visual parts / L. Latecki, R. Lakamper // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22, Issue 10. - P. 1185-1190. - DOI: 10.1109/34.879802.
7. Ling, H. Shape classification using the inner-distance / H. Ling, D. Jacobs // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2007. - Vol. 29, Issue 2. -P. 286-299. - DOI: 10.1109/TPAMI.2007.41.
8. Felzenszwalb, P.F. Hierarchical matching of deformable shapes / P.F. Felzenszwalb, J.D. Schwartz // CVPR '07. IEEE Conference on Computer Vision and Pattern Recognition. - 2007. - P. 1-8. - DOI: 10.1109/CVPR.2007.383018.
9. Bronstein, A.M. Analysis of two-dimensional non-rigid shapes / M.M. Bronstein, A.M. Bruckstein, R. Kimmel // International Journal of Computer Vision. - 2008. - Vol. 78, Issue 1. - P. 67-88. - DOI: 10.1007/s11263-007-0078-4.
10. Sebastian, T.B. Recognition of shapes by editing their shock graphs / T.B. Sebastian, P.N. Klein, B.B. Kimia // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2004. - Vol. 26, Issue 5. - P. 550-571. - DOI: 10.1109/TPAMI.2004.1273924.
11. Siddiqi, K. Shock graphs and shape matching / K. Siddiqi, A. Shokoufandeh, S. Dickinson, S. Zucker // International Journal of Computer Vision. - 1999. - Vol. 35, Issue 1. -P. 13-32. - DOI: 10.1023/A:1008102926703.
12. Домахина, Л.Г. Скелетная сегментация и циркулярная морфология многоугольников: дис. ... канд. физ.-мат. наук: 01.01.09 : защищена 16.05.2014 / Домахина Людмила Григорьевна. - М.: МГУ, 2013. - 149 с.
13. Местецкий, Л.М. Медиальная ширина фигуры - дескриптор формы изображений / Л.М. Местецкий // Машинное обучение и анализ данных. - 2014. - Т. 1, № 9. -С. 1291-1318.
14. Bai, X. Integrating contour and skeleton for shape classification / X. Bai, W. Liu, Z. Tu // IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops). - 2009. - P. 360-367. - DOI: 10.1109/ICCVW.2009.5457679.
15. Shen, W. Shape recognition by combining contour and skeleton into a mid-level representation / W. Shen, X. Wang, C. Yao, X. Bai // Proceedings of the 6-th China Conference on Pattern Recognition (CCPR). - 2014. -P. 391-400. - DOI: 10.1007/978-3-662-45646-0_40.
16. Sun, K.B. Classification of contour shapes using class segment sets / K.B. Sun, B.J. Super // CVPR '05 Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition. - 2005. - Vol. 2. - P. 727-733. - DOI: 10.1109/CVPR.2005.98.
17. Lafon, S. Diffusion maps and geometric harmonics / S. Lafon // PhD thesis. - Yale University, Dept. of Mathematics & Applied Mathematics, 2004.
18. Coifman, R. Diffusion maps / R. Coifman, S. Lafon // Applied and Computational Harmonic Analysis. - 2006. -Vol. 21(1). - P. 5-30. - DOI: 10.1016/j.acha.2006.04.006.
19. Osada, R. Matching 3D models with shape distributions / R. Osada, T. Funkhouser, B. Chazelle, D. Dobkin // SMI '01 Proceedings of the International Conference on Shape Modeling & Applications. - 2001. - P. 154-166. - DOI: 10.1109/SMA.2001.923386.
20. Hamza, A.B. Probabilistic shape descriptor for triangulated surfaces / A.B. Hamza, H. Krim // IEEE International Conference on Image Processing. - 2005. - Vol. 1. - P. 10411044. - DOI: 10.1109/ICIP.2005.1529932.
21. Wang, X. Bag of Contour Fragments for Robust Shape Classification / X. Wang, B. Feng, X. Bai, W. Liu, L.J. Latecki // Pattern Recognition. - 2014. - Vol. 47, Issue 6. - P. 2116-2125. - DOI: 10.1016/j.patcog.2013.12.008.
22. Bai, X. Shape vocabulary: A robust and efficient shape representation for shape matching / X. Bai, C. Rao, X. Wang // IEEE Transactions on Image Processing. - 2014. - Vol. 23, Issue 9. - P. 3935-3949. - DOI: 10.1109/TIP.2014.2336542.
23. Ломов, Н.А. Площадь дискового покрытия - дескриптор формы изображения / Н.А. Ломов, Л.М. Местецкий // Компьютерная оптика. - 2016. - Т. 40, № 4. - С. 516525. - DOI: 10.18287/2412-6179-2016-40-4-516-525.
24. Sivic, J. Video google: A text retrieval approach to object matching in videos / J. Sivic, A. Zisserman // Proceedings of the 9-th International Conference on Computer Vision. -2003. - Vol. 2. - P. 1470-1477. - DOI: 10.1109/ICCV.2003.1238663.
25. Wang, J. Locality-constrained linear coding for image classification / J. Wang, J. Yang, K. Yu, F. Lu, T. Huang, Y. Gong // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2010. - P. 3360-3367. - DOI: 10.1109/CVPR.2010.5540018.
26. Сидякин, С.В. Разработка алгоритмов построения морфологических спектров для анализа цифровых изображений и видеопоследовательностей: дис. . канд. физ.-мат. наук: 05.13.17 / Сидякин Сергей Владимирович. - Москва: ВЦ РАН, 2013. - 163 с.
27. Li, Y. A hierarchical shape tree for shape classification / Y. Li, J. Zhu, F. Li // 25th International Conference of Image and Vision Computing New Zealand. - 2010. - P. 1-6. -DOI: 10.1109/IVCNZ.2010.6148820.
28. Lim, K.-L. Shape classification using local and global features / K.-L. Lim, H.K. Galoogahi // Fourth Pacific-Rim Symposium on Image and Video Technology (PSIVT). -2010. - P. 115-120. - DOI: 10.1109/PSIVT.2010.26.
29. Ozay, M. Compositional hierarchical representation of shape manifolds for classification of non-manifold shapes / M. Ozay, U.R. Aktas, J.L. Wyatt, A. Leonardis // IEEE International Conference on Computer Vision (ICCV). -2015. - P. 1662-1670. - DOI: 10.1109/ICCV.2015.194.
30. Johnson, D.B. Efficient algorithms for shortest paths in sparse networks / D.B. Johnson // Journal of the ACM. -1977. - Vol. 24, Issue 1. - P. 1-13. - DOI: 10.1145/321992.321993.
Сведения об авторах
Ломов Никита Александрович, 1992 года рождения, в 2015 году окончил МГУ по специальности «Прикладная математика и информатика». Является аспирантом факультета вычислительной математики и кибернетики МГУ.
Работает во ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС) инженером. Область научных интересов: вычислительная математика, обработка и распознавание изображений, программирование. E-mail: nikita-lomov@mail.ru .
Сидякин Сергей Владимирович, 1985 года рождения, в 2009 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В 2013 году защитил диссертацию на соискание учёной степени кандидата технических наук. С 2009 года работает в ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). В настоящее время является начальником сектора анализа движения и видеонаблюдения. Круг научных интересов: обработка и анализ изображений, распознавание образов, математическая морфология, машинное обучение, программирование. E-mail: sersid@gosniias.ru .
Визильтер Юрий Валентинович, 1970 года рождения, в 1992 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В 1997 г. защитил кандидатскую, а в 2009 году -докторскую диссертацию. В настоящее время является начальником подразделения ФГУП ГосНИИАС. Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия. E-mail: viz@gosniias.ru .
ГРНТИ: 28.23.15.
Поступила в редакцию 25 ноября 2016 г. Окончательный вариант - 15 февраля 2017 г.
CLASSIFICATION OF TWO-DIMENSIONAL FIGURES USING SKELETON-GEODESIC HISTOGRAMS
OF THICKNESSES AND DISTANCES
N.A. Lomov 1-2, S.V. Sidyakin 2, Yu.V. Vizilter 2
1 Lomonosov Moscow State University, Computational Mathematics and Cybernetics Faculty, Moscow, Russia,
2FGUP "State Research Institute of Aviation Systems ", Moscow, Russia
Abstract
The paper considers a problem of shape representation and classification. We propose a skeleton-geodesic histogram of thicknesses and distances for this purpose. It is based on the statistics of pair distances between shape elements. It is computed using skeleton-geodesic distances and thickness differences between pairs of skeleton edges. This differs from conventional geodesic histograms that are calculated for all figure points. The switch to the skeleton edges and areas of their attraction significantly speeds up the calculation of skeleton-geodesic histogram of thicknesses and distances, while maintaining many useful properties inherent in usual geodesic histograms. Extensive experimentation has been conducted on the most difficult binary shape database. Obtained classification results indicate the high potential of the proposed descriptor.
Keywords: shape analysis, classification, continuous skeletons, skeletal geodesic distances, histograms.
Citation: Lomov NA, Sidyakin SV, Visilter YuV. Classification of two-dimensional figures using skeleton-geodesic histograms of thicknesses and distances. Computer Optics 2017; 41(2): 227236. DOI: 10.18287/2412-6179-2017-41-2-227-236.
Acknowledgements: This research is funded by RFBR, grants 15-07-01323 A, 16-57-52042 MHT_a and RNF, grant 16-11-00082.
References
[1] Mestetskiy LM. Continuous morphology of binary images: figures, skeletons, circulars [In Russian]. Moscow: "Fiz-matlit"; 2009. ISBN: 978-5-922110-50-1.
[2] Chui H, Rangarajan A. A new point matching algorithm for non-rigid registration. Computer Vision and Image Understanding 2003; 89(2-3): 114-141. DOI: 10.1016/S1077-3142(03)00009-2.
[3] Aslan C, Erdem A, Erdem E, Tari S. Disconnected skeleton: shape at its absolute scale. IEEE Trans Pattern Anal Mach Intell 2008; 30(12): 2188-2203. DOI: 10.1109/TPAMI.2007.70842.
[4] Bai X, Latecki L. Path similarity skeleton graph matching. IEEE Trans Pattern Anal Mach Intell 2008; 30(7): 12821292. DOI: 10.1109/TPAMI.2007.70769.
[5] Belongie S, Malik J, Puzicha J. Shape matching and object recognition using shape contexts. IEEE Trans Pattern Anal Mach Intell 2002; 24(4): 509-522. DOI: 10.1109/34.993558.
[6] Latecki L, Lakamper R. Shape similarity measure based on correspondence of visual parts. IEEE Trans Pattern Anal Mach Intell 2000; 22(10): 1185-1190. DOI: 10.1109/34.879802.
[7] Ling H, Jacobs D. Shape classificaton using the inner-distance. IEEE Trans Pattern Anal Mach Intell 2007; 29(2): 286-299. DOI: 10.1109/TPAMI.2007.41.
[8] Felzenszwalb PF, Schwartz JD. Hierarchical matching of deformable shapes. CVPR '07 2007: 1-8. DOI: 10.1109/CVPR.2007.383018.
[9] Bronstein AM Bruckstein AM, Kimmel R. Analysis of two-dimensional non-rigid shapes. International Journal of Computer Vision 2008; 78(1): 67-88. DOI: 10.1007/s11263-007-0078-4.
[10] Sebastian TB, Klein PN, Kimia BB. Recognition of shapes by editing their shock graphs. IEEE Transactions on Pattern Analysis and Machine Intelligence 2004; 26(5): 550571. DOI: 10.1109/TPAMI.2004.1273924.
[11] Siddiqi K, Shokoufandeh A, Dickinson S, Zucker S. Shock graphs and shape matching. International Journal of Computer Vision 1999; 35(1): 13-32.
[12] Domakhina LG. Skeleton segmentation and circular morphology of polygons [In Russian]. PhD Thesis. Moscow: "MSU" Publisher; 2012.
[13] Mestetskiy LM. Medial width of a figure - an image shape descriptor [In Russian]. Machine Learning and Data Analysis 2014; 1(9): 1291-1318.
[14] Bai X, Liu W, Tu Z. Integrating contour and skeleton for shape classification. ICCV Workshops 2009: 360-367. DOI: 10.1109/ICCVW.2009.5457679.
[15] Shen W, Wang X, Yao C, Bai X. Shape recognition by combining contour and skeleton into a mid-level representation. Proceedings of the 6th China Conference on Pattern Recognition (CCPR) 2014: 391-400. DOI: 10.1007/978-3-662-45646-0_40.
[16] Sun KB, Super BJ. Classification of contour shapes using class segment sets. Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition (CVPR '05) 2005; 2: 727-733.
[17] Lafon S. Diffusion maps and geometric harmonics. PhD Thesis. Yale University, Dept of Mathematics & Applied Mathematics 2004.
[18] Coifman R, Lafon S. Diffusion maps. Applied and Computational Harmonic Analysis 2006; 21(1): 5-30. DOI: 10.1016/j.acha.2006.04.006.
[19] Osada R, Funkhouser T, Chazelle B, Dobkin D. Matching 3D models with shape distributions. Shape Modeling International 2001: 154-166. DOI: 10.1109/SMA.2001.923386.
[20] Hamza AB, Krim H. Probabilistic shape descriptor for triangulated surfaces. IEEE International Conference on Image Processing 2005; 1: 1041-1044. DOI: 10.1109/ICIP.2005.1529932.
[21] Wang X, Feng B, Bai X, Liu W, Latecki LJ. Bag of contour fragments for robust shape classification. Pattern Recognition 2014; 47(6): 2116-2125. DOI: 10.1016/j.patcog.2013.12.008.
Authors' information
Nikita Alexandrovich Lomov (b. 1992) graduated from Moscow State University in 2015, majoring in Applied Mathematics and Informatics. Currently he is a graduate student of Computational Mathematics and Cybernetics Faculty department of Moscow State University. Research interests are computational mathematics, image processing, pattern recognition, and programming. E-mail: nikita-lomov@mail.ru .
Sergey Vladimirovich Sidyakin (b.1985) graduated from Moscow Aviation Institute (National Research University) in 2009. He received his candidate of Technical Sciences degree in 2013. He currently resides at the FGUP "GosNI-IAS". Research interests are image and video analysis, pattern recognition, machine learning, programming. E-mail: sersid@,gosniias. ru .
Yuri Valentinovich Vizilter (b.1970) graduated from Moscow Aviation Institute (National Research University) in 1992. He received his candidate of Technical Sciences in 1997 and Dr. Sci. in Physics and Mathematics in 2009. Currently he works as the head of department at the FGUP "GosNIIAS". Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning, biometry. E-mail: viz@gosniias.ru .
Received November 25 2016. The final version - February 15, 2017.
[22] Bai X, Rao C, Wang X. Shape vocabulary: A robust and efficient shape representation for shape matching. IEEE Transactions on Image Processing 2014; 23(9): 3935-3949. DOI: 10.1109/TIP.2014.2336542.
[23] Lomov NA, Mestetskiy LM. Area of the disk cover as an image shape descriptor. Computer Optics 2016; 40(4): 516-525. DOI: 10.18287/2412-6179-2016-40-4-516-525.
[24] Sivic J, Zisserman A. Video google: A text retrieval approach to object matching in videos. Proceedings of the 9th International Conference on Computer Vision 2003; 2: 1470-1477. DOI: 10.1109/ICCV.2003.1238663.
[25] Wang J, Yang J, Yu K, Lu F, Huang T, Gong Y. Locality-constrained linear coding for image classification. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2010: 3360-3367. DOI: 10.1109/CVPR.2010.5540018.
[26] Sidyakin SV. Morphological pattern spectra algorithm development for digital image and video sequences analysis [In Russian]. PhD Thesis. Moscow: Institution of Russian Academy of Sciences Dorodnicyn Computing Centre of RAS (CC RAS); 2013.
[27] Li Y, Zhu J, Li F. A hierarchical shape tree for shape classification. 25th International Conference of Image and Vision Computing New Zealand 2010: 1-6. DOI: 10.1109/IVCNZ.2010.6148820.
[28] Lim K-L, Galoogahi HK. Shape classification using local and global features. Fourth Pacific-Rim Symposium on Image and Video Technology (PSIVT) 2010: 115-120. DOI: 10.1109/PSIVT.2010.26.
[29] Ozay M, Aktas UR, Wyatt JL, Leonardis A. Compositional hierarchical representation of shape manifolds for classification of non-manifold shapes. IEEE International Conference on Computer Vision (ICCV) 2015: 1662-1670. DOI: 10.1109/ICCV.2015.194.
[30] Johnson DB. Efficient algorithms for shortest paths in sparse networks. JACM 1977; 24(1): 1-13. DOI: 10.1145/321992.321993.
