CC BY
55
УДК 528.85'!
АЛ 0РИ1 М CIUK I РАЛЫЮЙ KJIAL I ЬРИЗАЦИИ С ОГРАНИЧЕНИЯМИ ДЛЯ ВЫДЕЛЕНИЯ ЛИЦА ЧЕЛОВЕКА НА ИЗОБРАЖЕНИЯХ
А. Е. Баркнов1. А. А. Захаров1, А. Л Жнэнякоз
Муромский институт Владимирский государственный университет имени Александра Григорьевича и Николая Григоръвзича Столетовых, з. Муром, Россия
Анной/,и/ля - Рассматривается разработка алгоритма кластеризации особенностей для выделения ли-д.| 4v.iuitvk» н~л u;uCp;iA«uuHi. Длх вьисленин k.i.m.1 ерик исииль^сим иоиид, исновншын на спектральной теории графов. Характеристики графов формируются с помощью случайного обхода графа. Для 11U.U4VI1UM инфирмлиш1 U ви;мижм0й Ошанин Cip\Kiyp<* ШШ1ЬЛ(Г1СИ CUUl 1 UfUHbili CUU I -
ветствуюпшй минимальному собственному знамению матрицы времени обхода. Априорная информация о пропорциях головы псполыуется для наложения ограничений на результаты кластеризации. В работе описан алгоритм, проведены исследования, показаны результаты экспериментов.
Ключевые слова: кластеризация с ограничениями, спектральная теория графов.
J. Введение
Выделение лица человека на изображениях является важной задачей во многих областях человеко-машинные интерфейсы. Ьномстрнчссхнс системы. системы виртуальной реальности н т д В илстояпгее время большое внимание уделяется подходам, основанным на непользеваннн компьютерного зрения. Несмотря на множество исследований в этой ob ласти, до сих пор актуальными являются задачи повышения скорости и точности обработки, снижения чувствительности к поповым эффектам.
Д|!» КМДПГНИ1 ЛНЦЯ ЧГЛ1ЖГК-1 1Ц]ГД:1И1;1Г1ЧЧ HCIIO.IKXOKHTK НЛг*1Г|]И1-11.ИН> СИ1!^»ГИН[Ч-|ГЙ ичнцкисьиР Дня
отого примесяегся структур пин подход, основанный на графах. Структурные подходы описывают объекты на
(к нинг чипгй и (иншигний ними Прким)|цп'нит пруктурнмх МПЧДИК ЯКЛЯПГЯ IO, чш пни пшколмшт
анализировать большое множество элементов из основе малого количества простых состаэляющих и правил
мпрчжрпн^ния фифичгмий ЧШ.ИГЛИ [1] Тикжг (Г1]))'К'1)'])НЫГ мподы почколмкп шшгггп» ir ХИЦИМГрИП ИЬИ (iflS-
екта. которые исключают его ошесе:ше к другому классу, что повышает надежность распознавания [1-3]. Для выделения областей изображений предлагается использовать кластеризацию иг основе спектральной теории грлфов
Графы описываются с использованием матриц. на оспове которых вычисляются собственные значения. Упорядоченный набор собственных значений представляет собой спектр графа. При спектральной кластеризации иптольлутотг * глггдуклттиг подходы" прсобрлдоклкттг матрицы подобия пу—гм ттгрггтлнояки гойстигнных векторов [4], акалиj кластерной структуры. содержащейся з собственных векторах 6]. Данные подходы основаны на спектре матрицы Лапласа [4-7].
Для yiijsiK. 1гнич п::о кччч1М класгсричлции пцгниклгпи глнаг ржиргуц-лгниг информн!ши мгж.иу prltpaun графа. Дтя этого используется процесс случайного обхода графа (Random Walk; [8]. Для описания этого процесса используется дискретная функция Грина [9]. Она рассчитывается по спектру графа и позволяет выше лить важные свойства случайного обхода: время прохождения случайного щтн (Hitting Time) и время обхода графа (Commute lime). 13рсмя осхсда устойчиво к изменениям структуры и содержит в себе информацию о кластерной структуре графа [6]
Для более точного задания кластеров вводятся ограничения. Методы кластеризации с ограничениями могут
быть р^яби—Ы ДИГ группы Мгтоды nrpROH ГруТТПЫ ИСТТОЛКгуТОТ RfXOTOOf прогтрлнгтвп Д.1КИЫ7С [10—11] Г)ти
подколы обладают высокой сложностью составления ограпнчеши:. Вторая группа методов работает с результа тами кластеризации [14-16]. В данном случае составление условий для кластеризации сильно упрощается.
ГТредллгпгтлытл пгурсодом телягтгя игпглтьчовлниг огрлничгиии для д л кия фортлы гтлгтррл огобгикогтгй при выделении Л1ша человека иа тображеших
П. Постановка задачи
Для выделения липа на снимках сложных сиен с помощью графов используются особенности изображений. Кластеризация особенностей вместе с наложением условий даст возможность получить группы детекторов, относялщхея только к облает головы человека на изображении
Предлагается использовать метол на основе случайного обхола графа. Для этого используется матркна вре-ме:ш обхода графе, коюрая содержит информацию обо веек случашшх путях между всеми верппшами графа. Время обхода применяется во многих областях: алгоритмы поиска по графу [17]. алгоритмы фильтрации [18].
ЛНЛЛИЛ ЦГ-"ТГЧ""ГНОГТИ ПЛННЫХ [1 9J, ЛКЛЛИ.1 гяя\гй к нгйрокных СГТЯХ [Л)J И Г ,П I |ри ИГТО.ТКЛОПЛНИК ТфГ^ЧеНИ ohxn-
да учитываются Dee связи между все>ш верппшамп графа. Это делает время обхода граоа устойчивым к пере становке. удалению н добавлению вершин. На основе времени обхода можно оценивать кластерную структуру 1рафа. Для гмилшл кластерной cipyxiypbi 1рифа Hcuojibiyeicx следующее ыалние сьокс1но. значение иремени обхода между вершинами олнего кластера значительно меньше времени обхода между зершинамн различных кластеров [211.
Д-1М НОЛуЧеНИМ J ОЧНЫХ ptfiVJlb-dlOa при K..U-" I «три i itUH И ОСобеНН-ГСГеН НСоБхиДГ-МО HCUOJibiOBaib OipttHH4Hitt1-
юлпее условия. Пропорции головы используются в качестве апркорной информации. применяемой при наложе-шш ограшпегсш иа результаты кластеризации Г22]
LLL '.ГОРНЯ
3. Случайный обход срафа
Случайный обход графа основан на вероятностных процессах, проходящих в марковских цепях [23]. Время прохождения случайного луга (Hitting Time) Н{а,Б) между вершинами А к В представляет количество вершин которые случайно будут пройдены, если луп, начнется из вершины А н закончится в вершине В . В процессе обхода уже посещенные веронны могут быть пройдены вновь Это зависит oi вероятности перехода.
Время обхода лрафа СТ{Л,Б} (Commute Тине) межлу аероннамн А л В равно колнчесшу иершкн. шш-рые счинно буду i пройдены, ес.ш лухь начнеи-х ил кершннэ! А , пройде: 4epcj вершину В и ¿ахинчи1сх ь вершине А .
4. Кластеризация ;ю вре:лени оогкода
В алгоритме кластеризации предлагается нспольоосатъ матрицу времест обхода. Опа вычисляется по спек тру нормализованной матрицы Лапласа. Информация о кластерной структуре графа содержится в собственном векторе магршш
На вход алгоритма поступают особые точки сцепы, выделенные с помошыо метода XLT (Kanade—Lucao-Tornasi) [24]. Предтагается на основе выделенных особенностей построить взвешенный граф. Для описания
111 и'1 Г = I- 'Дг *аж,лим нгр ииня шпкгп:1к)'г|"пмкг ич нлСщт /рнных. л каждой пир.! ин шгдннгни
[>гПрОМ, НГо(|Х1!ДИМ1> ЮГПХ1И1К м;и:)ицу (МСЖНСКТГИ \Т;11рИ11/1 СМГМИОПИ ¡ВКТЧИГИННИ! Г ИГШЫКЧОКИНИГМ МП-
рпки Гаусса, примет следующий вид:
ТГ = ехр
ХА
(1)
где .V,, А"^ - точьи из набора данных, между которыми устанавливается подобие
<7 параметр, с помощью которого регулируется чувствительность функции подобия.
По взвешенной матрице смежности ТУ вычисляется матрица степеней графа . Также па этом этапе вы
ЧИГЛЯСГ1ГИ Г.умми (ПГИГНГЙ КГршИН
\о1 - У (?)
где - степень вершины графа
Для расчета случайного обхода графа и получения матрицы времени обхода необходимо использовать нормализованную матрицу Лапласа. Для взвешенного графа нормализованная матрица Лапласа имеет вид:
=
1,
•уу(и.у)
-ЛА
О,
и = у; и Ф V;
О)
в другом случае,
1де \v\ii, V' ! - во: ребра. кохирог соединяет вершины и л I . ¿1и. степени вершин и в V соответственно.
Для вычисления собственных значений и собственных вектороз нормализованной матрицы Лапласа необ-
ходимо провести декомпозицию:
Т. - ФДФ:
(4)
IДР А — ДИИЮНИЛКНЯЯ М/Щ1И И П»Г>1НГННЫХ ЧНЯЧГНИИ , Яууу..., А^у .
Ф матрица сосствснных векторов.
Фун» 1ИЯ Г[!ИНЙ ( кх:ини С М/11]1ИЦГЙ Ллнлясл ХИр<1КТГ1М<1)'ГГ ГКШК кгршин И И<иолкхупсм ДЛИ ЦЯСЧПИ
матрицы времени обхода. На основе нормализованной матрицы Ланласа н ее спектра можно получить матрицу Грниа
/=2
(5)
I ДГ Л{ — СовпКСННЫГ ЧНЯЧГНИЧ НГрГ.и-ЛИ-И'КЯННОЙ МН1рИЦЫ Ли11.М!71 Т-п - собственные векторы нормализованной матрицы Лапласа Ьп Допустим, II [и, \) время прохождекня случайного пути между вершинами и и у. Тогда время ооходп будет иметь вид СТ(н,ч) = Н(и. Н\у, и)
МлфШ.И кргмгни (1ПХОД.-1 М(1«Г1 Г|ЬГ11> ])Ж-1ЧИ1}ШИ Г ИГНОЛЧЮКИНИГМ \ЛН1])И11.Ы ГрИНИ (4) И 11])ИМП < лг.чукнций
вид [5]:
2
и
Я 1
(6)
Элементами этой матрицы являются значения времени обхода между каждой парой вершин Далее происходит спектральная декомпозиция матрицы времени обхода. Элементы собственного вектора СТфп. соответ-
ствующего минимальному собственному значению этой матрицы, содержат информацию о кластерной структуре графа. Каждое значение этого вектора характеризует соответствующую точку исходного пространства дашшх. Отнесение точек к различным кластерам про:кхоцпт согласно следующему условию:
, , [ClusterI. СТфo(vj>0; i'cintsme^ ч
I Cluster?, в дрлтом случае.
(7)
5. Кластеризация с ограничениями
Для упразлсння процессом кластеризации вводятся ограничивающие условия. Для этого используется апрн-
ЩН.1Ч ИН«]. ор.МЯ)1.ИЧ О ПрОМО]М ,ИИХ 111Я1ЖМ ЧГЛОНГКЛ Т^г^инжн:« И1.М».1К«1М1Ь еггку I ро! ЮрЦИИ 1СМ1С1КМ Дннног
понятие заимствовано из искусства для изображения головы человека. Было установлено, что независимо от пола и росы, пропорции лиц различных людей одинаковы 122].
Дня Iи»с" 1]к»гния 1гпи пропорций кыдпикш'.и огпбгннопи г.нимкои Нл и:«>Прижгниг ЛИЦИ НЛКЛИДМКИПГ.Я сепса. содержащая 5 ячеек по горизонтали и 7 - по вертикали Чтобы применять сетку пролоршш о ходе кла пгршиции, ыпП холимо рже.читатк нгг у^гднрннын нм(июн Д.1И :<гтш были ныГрлны ^00 и.чоГц«».рний лец. рассчитаны особые точке, вручную наложена сетка пропорции (рис. 1а).
В результате получено усредненное расположенно особых точек относительно ячеек ссткн пропорций (риг 1Г)
р н«* ч
1
;
Г J *
1 • -
9 т .А
...
\
ъ V \
и С
•
•
*• •
t*
• • •
1 • f •
1 .1
it Л V.
Л • • •
•
А Б В Г Д
/ л
i .1 •
• • is v-
Г -3 ♦и
\ •
• •
а)
б)
Рис. 1 Сетка пропорций для выделения точек, принадлежащих голове человека а) примеры выделения особенностей на различных лицах; б) усредненный шаблон сотки пропорций
Таким образом, для отнесения рассматриваемого кластера к области головы должны выполняться следующие условия. Гак как форма головы человека может быть опнеена овалом, тс используются следующие про-
1К!рИИОН/1.11КИЫГ (Г1Я1ШГНИ1Л1Х ЧЛДИНИЯ К.1*С1Г]М
hue,
^chuter ^net
< S;
(8)
Ск^ег(п)= <
\ fdlsc, в другом случае,
где , - ширина и длина кластера, . 1*пЫ - ширина н длина сетки пропорции, <5 — допусти-
мый порог.
Точке кластера не могут принадлежать к угловым ячейкам сетки пропорций
^ , . jtrue, ClusterPoints(n) £ ¡Net А,, Netд t ,Net A 7,Net^7 \ \ fa Imp., я другом случае
(9)
В ячгйклх, хириь Iгричунмцих ключгныг чжти шлокм, [м.оогнногги должны иршуиптжлгь аНксптьш) Обычно такнмн частями являются глаза, рот, уши:
ClLisiei{ii) =
true
^ г* i \ iNet-M.NetA5.NetE3,NetB4,Netr3.] V ClusterPointsin) € \ ,v
|Netr4>'et^Net^,NetD5 J
false, в дру1 ом случае.
(Ю)
Точке должпы описывать овальпую форму головы по контуру:
C'lll*Tcr(n ) = ■
xme, Clu3terPoints(n)e
Net ^, Net^, Net , Net Б7, Net B1, Net г 7, Net л6, Net дз, Net д^ * Net w, Net1)l,NetA;1
(H)
false, в другом случае.
Таким образом, с учетом условии, разработанный алгоритм состоит из следующих шагов:
Шаг 1. По имеющемуся набору особенностей строится взвешенный граф Г = {у, £"). с матрицей смежности
V (1).
Шаг 2. Вьгшсляется матрица степенен О и сумма степенен графа Vо! (2). Шаг 3. Строится иормалиэовлпгая матрица Лапласа (3), вычисляется ее спектр (1). Шаг 4. Рассчитывается матрица Грина (5) н строится матрица времени обхода (6).
ТГГлг 5 ТТлхпдитси т.гинттлгптгькос г пбгтигкчос хнлнгниг ултрнцы ярглггтги обходя и соотчгт-твующии гму собственный веитор Происходит раэбиеиие исходного набора точек па кластеры (7).
Шаг 6. Происходит наложение сетки пропорций. Проверяются условия (8-11). Если нн один кластер не удо-
штгтпорягт гянэтрниям егттги. происходит рскурсикног дглгниг болттапгго тллгтгрл ДО ДОСТНЖГНИ* ГЧГИНИУЛЛКНО
допустимого размера.
Т\г РРЯ^ГЪТАТЬТ ^СТТРРИКГРНТОВ В ходе экспериментов полученный алгоритм был исследован на зремя к точность работы. Данные параметры являются приорнтешымн в прикладных задачах, связанных с изображениями лица человека.
Для проведения экспериментов использовались, тестовые изображения (рнс. 3). По результатам кластер кза--тни, прокгденной бед наложения угттовин. бът.тп кмделггно ^ рлялтичкыт обыхточ С. ияедгннем огрлкичгкии по пропорциональным отношениям были получены три объекта, удовлетворяющие условиям. Прн кластеризации с полным набором ограничений (7-10) был выделен только один объект.
**
» 3«3 = э ее « о о о
1CC0»0 0 0
0 0
С. "
i «о аа X» .я
а)
Ь)
в.'
I I у.
'£ * * и • ■ '
и vu -лп » m vu
О д)
Риг ^ Ргчугтътлты кттлгтеридлции с тггтоьым нл£>оро%г ТОЧСК" а) исходный набор точек; б) кластер нзадкл без наложена условий, выделено 5 объектов; в) кластеризация с условием (В), выделено 3 объекта; г) кластеризация с условиями (9,11), выделено 2 объекта; д) кластеризация
г. жмкшьчокинигм к«г*х услокий (Я—11)^ КЫДГЛГН I обде-К!
Также проЕедепо сравнение результатов оаботы прелложеглюго алгоритма н алгоритма нормализованных разрезов на графах 16.. Эксперимент проводились на нзоЬражснкях. содержащих лило человека (рис. 4) Результаты работы алгоритма нормализованных разрезов сильно зависят от значения су . выбранного на начальном этапе дтя построения взвешенной матрицы смежности. В то же время, при выборе определенного значения <7 . можно получить результат, когда голова человека попадет в отдельный кластер. Однако при отсутствии ограничении на следующих этапах, точки, принадлежащие области головы, все равно будут отнесены к разным
КЛЖ-1Г1&1М
Разработанный алгоритм, напротив, менее чувствителен к изменению параметра С . Он способен выделять кластеры, различные по размеру, что позволяет более точно локализовать заданную ослпеть. Однако Осз использования ограничивающее условий правильное зылеление области лица также невозможно. Таким образом.
ИПКШМОШННГ Ш-ИГГрИЧЛЦИИ НИ (К'НОКГ случийншо €10X0. И |]мф.1 ЛЖМСПНО ()1]ИНИЧИ1ИК)11|>*МИ у1*ликияии
позволяет повысить точность выделения. На рисунке 4 показан пример кластеризации изображения, содержащего лице человека.
а) о) в)
Рис. 4. ]>сз>льшты кластеризации (по строкам сверху вниз: <т — ^ ; <7 — 1 00. сг — 200 а) алгоритм нормализованных разрезов на графах, с) алгоритм класгернзгшии на основе случайного обхода графа без наложения сетки пропорций, в) алгоритм кластеризации на основе случайного обхода графа с использованием сеткн пропорции
V. ОБСУШШНИЕ РЕЗУЛЬТАТОВ Разработанный алгорлтм кластеризации с ограничениями состоит из леух этапов: кластеризация особенностей. наложение ограничений на результаты кластеризации Наиболее известным алгоритмом спектральной кластеризации является метод нормалнзобанного разреза [б]. Он работает быстрее и обладает вычислительной
сложностью ). Слоил ость разработанного алгоритма 0{))~ ). Это объясняется необходимостью два
раза рассчитывать собственные значения: на основе матрицы Лапласа и матрицы времени обхода. Однако до-полшгте.льиые расчеты позволили добиться большей точности. Разработанный алгоритм выделяет кластеры в зависимости от обнаруженной кластерной структуры. Если, например, массив детекторов представляет собой
НП'кНЛЬКО С1ГиК1>б.1ГННЫХ I }»у МП П1 НЯ КЛАДОМ И ГрИЦНИ 1»УДГ| I |роИГ\'.>,',И I Н КЫДГЛГНг*- ОДНОМ 1]]ушы Э|0 происходит из-за того, что при расчете времени обхода учитываются все связи между всеми вершинами графа. В то же время применение априорной информации позволяет точно выделять группы особенностей изображения, которые принадлежат именно голове человека.
\7 Вчгводьт и здк.ютютлр
В работе описано применение метода случайного обхода графа для выделения головы человека на изображениях. Для уточнения результатов кластеризации применены ограничения. Условия ограничений заданы на основе априорно:! информации о пропорщ:ях головы человека В качестве дсполшггелыплх условий нснользу ютсл также данные с возможном расположении особых точек на изображении головы
Пок.-ИИНЫ ргчулкги Ы рИОЛ1М И]К>7^1)ЖГН№11() ИЛЮрИГМИ н;1 1ПГ1ЖЫИ V рг-илкчых и чоГрижгничх ТТрокгдгн-ные эксперименты позволяют говорить о том. что случайный обход графа с использованием ограничения на основе априорной информации может успешно применяться в задаче выделения головы человека на нзображе-
ниях. Предложенный подход может быть также использован для выделения на изображениях других объектов сцены в соответствии с заранее заданными условиями.
Работа выполнена при финансовой поддержке РФФИ (¿ранты № 16-37-00235, 15-07-01612), задания на выполнение, государственных работ в сфере научной деятельности в рамках базовой части государственного задания Минобрнауки России (проект № 29IS)
СПИСОК ЛИТЕРАТУРЫ
1. FuK. S. Syntactic methods in pattern recognition. New Yort: Academic Press, 1974. 617 p.
2. Zakharov A. A.. Barinov A. E.. Zhiznyakov A. L. Recognition of human pose from linages based on graph spectra // The International Archives of the Photogranimetry. Remote Sensing and Spatial InforiiMtioti Sciences. 2015. Vol. XL-5AV6. P. 9-12.
3. Zakharov A.. Ttizhilkin A , Zhiznyakov A. Automatic building detection from satellite images using spectral graph theory // Mechanical engineering, automation and control systems: International Conference on IEEE conference publications, 2015.
4. Scott G., Longuet-Higgins H. Feature grouping by «localisation of eigenvectors of the proximity matrix // British Machine Vision Conference. 1990. P. 103—108.
5. Saikar S., Bover K. L. Quantitative measures of change based on feature organization: eigenvalues and eigenvectors // Computer vision and pattern recognition. 1996. P. 478^483.
6. Shi J_, Malik J Normalized cuts and image segmentation И IEEE Transactions on pattern analysis and machine intelligence. 2000. № 8 (22). P. 888-905.
7. Weiss Y. Segmentation using eigenvectors: a unifying view // International conference on computer vision, 1999 P. 975-982.
8. Qiu H.. Hancock E. R_ Image segmentation using commute times // British machine vision conference. 2005. P 929-938.
9. Chung F. R. K.. Yau S. T. Discrete green's fractions П Journal of combinatorial theory. Series A. 2000. N. 91. P. 191-214.
10. Kamvar S. D.. Klein D.. Manning C. D. Spectral learning // Proceedings of the 18th International Joint Conference on Artificial Intelligence. 2003 P. 561-566.
11. Xu Q , desJardins M., WagstafFK Constrained spectral clustering under a local proximity structure assumption // Proceedings of the 18th International Florida Artificial Intelligence Research Society Conference. 2005. P. 866— 867.
12. Ji X.. Xu W. Document clustering with prior knowledge II Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. 2006. P. 405—412.
13. Wang F., Ding C_, Li T. Integrated KL (K-means - Laplacian) clustering: A new clustering approach by combining attribute data and painviee relations II Proceedings of the 9th SIAM International Conference on Data Mining. 2009 P. 38^18.
14. Coleman Т., Saunders on J.. Wirth A. Spectral clustering with inconsistent advice // Proceedings of the 25 th International Conference on Machine Learning. 2008. P. 152—159
15. Yu S. X.. Shi J Groupmg with bias // Advances in Neural Information Processing Systems. 2001. P. 1327— 1334
16. Li Z.. Liu J.. Tang X. Constrained clustering via spectral regularization // IEEE Conference on Computer Vision and Pattern Recognition 2009. P. 421—424
17. Sarcar P Moore A_ W., Prakash A Fast incremental proximity search in large graphs It Proceedings of the 25th International Conference on Machine Learning. 2008 P 896-903.
18. Brand M. A random walks perspective on maximizing satisfaction and profit // SIAM International Conference on Data Mining, 2005. P. 12-19.
19. Khoa N. L. D.. Chawla S. Robust outlier detection using commute time and eigenspace embedding II AKDD TO: Proceedings of the The 14th Pacific-Asia Conference on Knowledge Disc oven- and Data Milling. 2010. P. 422434
20. Liben-Nowell D.. Kleinberg J. The link prediction problem for social networks // Proceedings of the twelfth international conference on Information and knowledge management. CIKM '03: 2003. P. 556—559.
21. Luxburg U., Radl A._ Hem M. Hitting and commute times in large random neighborhood graphs // Journal of Machine Learning Research. 2014 № 15. P. 1751-1798.
22. Куприянов В. В., Стпвнчек Г В Лицо человека. М.: Медицина. 1988. 272 с.
23. Melia М., Shi J. A random wait? view of spectral segmentation// NIPS 2000. P. 873—S79
24 Shi J., Tomasi C. Good features to track .7 CVPR. 1994. P. 593-600.
