CC BY
127
КЛАСТЕРИЗАЦИЯ ИЗОБРАЖЕНИЙ ЛИЦ
В.Б. Немировский1, А.К. Стоянов1 Институт кибернетики Национального исследовательского Томского политехнического университета, Томск, Россия
Аннотация
В работе предложен алгоритм многошаговой кластеризации изображений лиц, предназначенный для разбиения исходной коллекции на группы похожих изображений. В основу алгоритма положена кластеризация мер близости между сегментированными по яркости изображениями. В качестве мер близости использованы евклидово расстояние и расстояние Кульбака-Лейблера. Сегментация яркости изображений и кластеризация мер их близости осуществлялись с помощью программной модели рекуррентной нейронной сети. Приводятся результаты экспериментальных исследований предложенного подхода.
Ключевые слова: кластеризация изображений, одномерное отображение, нейрон, нечёткий дубликат.
Цитирование: Немировский, В.Б. Кластеризация изображений лиц / В.Б. Немировский, А.К. Стоянов // Компьютерная оптика. - 2017. - Т. 41, № 1. - С. 59-66. - Б01: 10.18287/24126179-2017-41-1-59-66.
Введение
Во многих задачах поиска визуальной информации в интернете, цифровых библиотеках и архивах часто возникает необходимость группировки изображений по степени их сходства между собой.
В реализации такой группировки изображений можно рассмотреть по крайней мере две четко различающиеся постановки задачи.
Первая из них известна как распознавание изображения по образцу. Выделение похожих на образец изображений чаще всего осуществляется по степени близости их дескрипторов, которые представляют собой векторы признаков [1]. Существует также беспризнаковый подход к распознаванию по образцу. Похожесть изображений в этом случае оценивается по степени близости их интегральных характеристик [2 - 4].
В этой постановке задачи из исходного множества изображений выделяется одна группа изображений, похожих на предъявленный образец. Что касается непохожих изображений, то степень их совпадения или несовпадения между собой остаётся невыясненной, поскольку это не является целью решения задачи.
Вторая постановка задачи предполагает разбиение множества изображений на группы схожих между собой изображений и практически не встречается в работах, связанных с поиском изображений. Характерной особенностью этого варианта является полное отсутствие априорной информация, способствующей такому разбиению. Такая постановка задачи по своей сути соответствует изначальному пониманию кластеризации.
Под кластеризацией понимается разбиение многомерного неструктурированного множества данных на ряд подмножеств данных со схожими характеристиками. Применительно к изображениям это означает разбиение некоторой их совокупности на несколько групп. Изображения, входящие в разные группы, должны быть непохожими друг на друга. Изображения одной группы должны быть похожими между собой.
Однако, говоря о кластеризации изображений, мы встречаемся с терминологической проблемой, суть которой заключатся в следующем. Если создать поисковый запрос по теме «кластеризация изображений», то практически все результаты такого запроса приводят к источникам, в которых под кластеризацией изображений понимается кластеризация характеристик пикселей изображения, чаще всего яркости [1]. Иными словами, речь идёт о применении кластеризации для решения задачи сегментации яркости определённого изображения. Задачи же разбиения набора изображений на группы похожих изображений не рассматриваются. Даже если в работе анонсируется кластеризация изображений, то на самом деле задача сводится к поиску группы изображений, похожих на образец. Такой подход лежит в основе так называемого поиска дубликатов по картинке [5].
Таким образом, несмотря на востребованность кластеризации изображений в изначальном ее понимании, решение этой задачи пока отсутствует.
Данная работа посвящена разработке метода кластеризации, позволяющего разбить неструктурированное множество неизвестных по содержанию изображений на группы изображений, схожих между собой.
1. Основные модельные представления
Рассмотрим процесс так называемого беспризнакового распознавания изображений. Общая постановка такой задачи сформулирована в [2 - 3]. Её решение основано на гипотезе компактности, смысл которой в предположении, что объекты со схожими свойствами чаще попадают в один класс, нежели в разные [6].
В рамках беспризнакового подхода любое распознаваемое изображение характеризуется результатами попарных сравнений его с другими изображениями. Для сравнения используется действительная функция, называемая расстоянием. Решение о принадлежности изображения к определённому классу принимается на основе порогового правила. Если расстояние между распознаваемым изображением и некоторым образцом меньше заданного порога, то изображение относится к клас-
су образца. В противном случае отмечается принадлежность к иному классу.
Таким образом, результатом решения является выделение в некотором множестве расстояний подмножества, в котором расстояния соответствуют изображениям, наиболее похожим на образец.
Пусть есть набор расстояний от изображения-образца до распознаваемых изображений. Очевидно, что эти расстояния различаются своими значениями, и их можно сгруппировать по близости между собой. Наименьшие расстояния, близкие к нулю, определят группу изображений, наиболее похожих на заданный образец. В свою очередь, другие группы могут включить расстояния, соответствующие различным степеням сходства предъявленного изображения с образцом.
Приведённые рассуждения легли в основу распознавания изображений по образцу, описанному нами в [4]. Эти же рассуждения легли явились основой этапа в предлагаемой далее в этой работе процедуре кластеризации изображений.
Для большей ясности покажем, каким образом можно реализовать этот этап. Обратимся к модели работы нейрона в рекуррентной нейронной сети, использованной при сегментации яркости изображений и при распознавании изображений [7 - 11]. Такой моделью является одномерное отображение хи+1 =/(х„), где п - номер текущей итерации, х - входное значение нейрона. В качестве функции / (х) рассматривается сигмоида. Это отображение является сжимающим, и его можно представить графически с помощью диаграммы Ламерея (рис. 1).
X
X]* х2* А В х?
Рис. 1. Отображение входных значений нейрона
* *
в рекуррентной нейронной сети: х1 и х3 - устойчивые точки; х* - неустойчивая точка отображения
В процессе отображения любое значение х, попавшее в интервал между точками А и В, достигнет
*
устойчивой точки х3 за одно и то же количество итераций. Это, в соответствии с гипотезой компактности, позволяет отнести подмножество значений х из интервала (А, В) к одному кластеру.
Рассмотрим область значений (х*, х*) между неустойчивой и устойчивой точками отображения.
Выберем начальное значение хо для процесса отображения таким, чтобы оно было в £-окрестности
(е << 1) неустойчивой точки х*. Для устойчивой точки х* также определим некоторую £-окрестность. Будем также считать, что процесс отображения завершён, если очередная итерация дала значение, попавшее в эту окрестность. Тогда с некоторой точностью вся область значений (х*, х*) будет поделена на ряд интервалов. Точки, принадлежащие одному кластеру, находятся в одном таком интервале.
Из рис. 1 видно, что по мере приближения к
*
устойчивой точке х3 величина этих интервалов уменьшается.
Рассмотрим случай, когда на нейроне отображаются расстояния между изображениями, которые используют в беспризнаковом распознавании. Пусть в исходном множестве изображений выбрано некоторое конкретное изображение. Можно рассчитать расстояния по отношению к нему для всех остальных изображений. Отобразим полученные расстояния на нейроне. Очевидно, что в ходе отображения они распределятся по интервалам области значений (х*, х*). Расстояния, равные нулю или близкие к нему, попадут в один или несколько интервалов, близких к е-окрестности точки х*. Это означает, что из всего множества исследуемых изображений можно выделить некоторое подмножество изображений, похожих на предъявленный образец.
В основе процедуры полной кластеризации изображений лежит более общий случай, когда из кластеризуемой коллекции выбирается не конкретное изображение-образец, а некоторое произвольное изображение. Можно рассчитать для всех изображений расстояния до него и затем кластеризовать их. Таким образом, согласно ранее изложенному, выделяется кластер изображений, похожих на произвольно выбранный образец.
Кластер этих выделенных изображений можно удалить из исходного множества. В оставшемся множестве изображений можно также выбрать произвольное изображение, вычислить расстояния к нему и выполнить их отображения на нейроне. Это позволит выделить следующий кластер похожих изображений.
Многократное повторение описанной процедуры, очевидно, даст возможность полностью кластеризовать исходное множество изображений и может быть названо многошаговой кластеризацией.
2. Определение близости изображений
При беспризнаковом распознавании в качестве расстояния между изображениями может быть использована любая действительная функция, зависящая от параметров сравниваемых изображений и необязательно являющаяся метрикой. Можно использовать любую распространённую метрику, например, евклидово расстояние. Из функций, не удовлетворяющих метрическим аксиомам, но учитывающих в некоторой мере смысл изображения, можно назвать информационное расстояние Кульбака-Лейблера. С его помощью можно оце-
нить потери информации об эталонном распределении Ф(х) при представлении его распределением G(x). Применительно к рассматриваемой постановке задачи это означает возможность оценить информационную близость двух сравниваемых изображений. Такая возможность, несомненно, более полезна для решения задачи кластеризации изображений, чем определение близости с помощью метрики.
Одной из задач, решаемых при оценке близости, является выбор глобальной характеристики для сравнения изображений. Чаще всего для этого используют гистограммы яркости или цвета, если речь идёт о цветных изображениях. Разновидностью такого подхода является использование мощностей кластеров яркости, предложенное в [7]. Кластеризация яркости изображений в этой работе выполнялась рекуррентной нейронной сетью, упомянутой выше. Модель работы нейрона в такой сети также описана выше.
Следует отметить, что в указанной работе использовалось ранговое распределение мощностей кластеров яркости. Однако ранжированное распределение неприменимо для расстояния Кульбака-Лейблера, которое обычно используется для сравнения двух вероятностных распределений. Покажем, что неранжи-рованное распределение мощности кластеров яркости можно трактовать как вероятностное распределение.
Поскольку яркость пикселей кластеризуется нейронной сетью, основанной на отображении входных значений, то ко всему их множеству в диапазоне
/ * * ч
(х2, х3) применимы рассуждения, приведённые выше. Это означает, что все значения яркости распределятся по кластерам, каждый из которых соответствует одному из интервалов, упомянутых ранее. Подсчитаем относительное число яркостей, попавших в каждый из кластеров. В результате этого мы получим эмпирическое вероятностное распределение яркостей по кластерам. Действительно, если р/ - доля яркостей, попавших в /-й кластер, то Хрг = 1. Следовательно, можно считать р/ оценочной вероятностью попадания яркости пикселя в /-й кластер. Если р/ - вероятность для /-го кластера одного из изображений, а д/ - вероятность для такого же кластера у второго изображения, то расстояние Кульбака-Лейблера сС можно посчитать по следующей формуле:
С = Е Рг * 1П(Рг /д ).
3. Экспериментальная часть
С целью проверки изложенной выше процедуры многошаговой кластеризации набора изображений для выделения групп изображений, схожих между собой, был осуществлён ряд экспериментов с изображениями из коллекции лиц, представленной в [12]. Каждое лицо представлено в этой коллекции двадцатью изображениями, полученными при разных ракурсах, условиях освещения и отображающими разную мимику.
Сочетание перечисленных характеристик, по существу, создаёт нечёткие дубликаты изображения
каждого из лиц коллекции. Эти дубликаты в случае успешной кластеризации должны образовать один или несколько кластеров со схожими изображениями одного лица. В идеальном исходе экспериментов должно было быть выделено 6 кластеров нечётких дубликатов, по числу лиц, представленных в подготовленной коллекции (табл. 1).
Табл. 1. Ожидаемое распределение нечётких дубликатов изображений лиц по кластерам в коллекции в идеальном исходе эксперимента
Кластер а Ь с а е /
Число дубликатов в кластере 20 20 20 20 20 20
В табл. 1 обозначения кластеров совпадают с обозначениями нечётких дубликатов изображений разных лиц на рис. 2.
На рис. 2 приведены изображения 6 лиц, нечёткие дубликаты которых были использованы в экспериментах. Всего для кластеризации из этой базы было взято 120 дубликатов, по 20 для каждого лица.
а) б) в)
г) д) е)
Рис. 2. Лица, представляющие использованные в эксперименте группы изображений лиц из коллекции [12]
Для нечётких дубликатов изображений лиц формировались распределения относительных мощностей кластеров их яркости, используемые в дальнейшем для сравнения. Кластеризация (сегментация) яркостей выполнялась нейронной рекуррентной сетью (рис. 3), параметры которой рассчитывались согласно [6 - 10].
Рис. 3. Структура моделируемой нейронной сети В отличие от этих работ мы использовали одно-шаговую кластеризацию без оптимизации коэффициента ц, входящего в выражение для активационной функции нейрона:
/(х) = т/(1 + ехр(-ах + Ь)),
где а - коэффициент наклона, в - величина смещения. В этом случае кластеризация всех яркостей дуб-
ликатов происходит в одинаковых условиях. Это позволяет при оценке близости дубликатов сравнивать их распределения яркостей по кластерам, а не ранговые распределения, как это сделано в [7].
Полученные для дубликатов распределения мощностей кластеров яркости использовались для кластеризации изображений лиц по следующему алгоритму:
• случайным образом в совокупности полученных распределений яркости 120 дубликатов (в дальнейшем - изображений) выбиралось распределение, соответствующее некоторому изображению, которое принималось за образец;
• вычислялась близость изображений к образцу, то есть определялись попарные расстояния между распределениями яркостей по кластерам для выбранного образца и всех остальных изображений;
• выполнялась кластеризация набора полученных расстояний, включая нулевое расстояние образца по отношению к самому себе (образец - образец);
• определялись изображения, соответствующие расстояниям, попавшим в один интервал с нулевым расстоянием или в соседние с ним интервалы;
• эти изображения рассматривались как близкие к выбранному образцу, то есть входящие в один кластер изображений с ним;
• выделенный кластер изображений удалялся из исследуемой коллекции, и все действия повторялись для оставшихся изображений;
• кластеризация завершалась тогда, когда все изображения распределялись по кластерам. Отметим, что, хотя часть этапов описанного алгоритма аналогична этапам беспризнакового распознавания изображений лиц, выполненного нами в [4], есть два существенных отличия.
Первое, и главное, из них заключается в том, что нет априорной информации, которая заключается в распределении мощности кластеров яркости заранее известного образца, предъявленного для сравнения. Образцом в алгоритме служит распределении мощности кластеров яркости любого случайного изображения из рассматриваемой коллекции.
Второе отличие заключается в том, что все обнаруженные изображения, близкие к этому случайному образцу, в дальнейшем удаляются из рассматриваемого множества. Именно это открывает возможность кластеризации, поскольку следующий случайный образец заведомо не похож на уже удалённые изображения, но может быть схож с частью оставшихся.
В целом весь алгоритм кластеризации изображений является развитием идей, предложенных нами в [4].
Для кластеризации расстояний использовалась та же нейронная сеть, но уже с оптимизацией коэффициента ц. Оценка близости изображений производилась с использованием двух расстояний: евклидова и расстояния Кульбака-Лейблера.
В процессе исследований экспериментально было установлено, что при определении близости с использованием евклидова расстояния, схожие изображения группируются в трёх первых интервалах вблизи от
устойчивой точки (рис. 1). В случае расстояния Куль-бака-Лейблера такая группировка наблюдается в ближайших двух интервалах к устойчивой точке.
Для каждого из расстояний было проведено по три эксперимента. В каждом из них образец, с которого начиналась кластеризации, менялся. В первых двух экспериментах изображение-образец принадлежало одному и тому же лицу и отличалось условиями съёмки при своём получении. В третьем случае оно принадлежало другому лицу. После удаления изображений выделенного кластера образцом становилось первое из оставшихся изображений.
Результаты экспериментов приведены ниже в табл. 2 и табл. 3. В этих таблицах использованы те же обозначения кластеров, что и в табл. 1. Категории «свой» - «чужой» указывают принадлежность изображений к одному из шести кластеров коллекции.
Табл. 2. Распределение нечётких дубликатов изображений лиц по кластерам (евклидоворасстояние)
Кластер Эксперимент
1 2 3
Свой Чужой Свой Чужой Свой Чужой
а 20 0 20 20
Ь 20 0 20 20
с 20 1 (/) 20 20 1 (/)
< 20 9 (е) 20 20
е (1) 11 20 9
е (2) 11
/ (1) 12 17 16
/ (2) 7 3 3
Табл. 3. Распределение нечётких дубликатов изображений лиц по кластерам (расстояние Кульбака-Лейблера)
Кластер Эксперимент
1 2 3
Свой Чужой Свой Чужой Свой Чужой
а (1) 20 20 1 (/) 17
а (2) 3
Ь 20 20
с 20 20 20
< 20 20 20
е 20 20 20 20 (Ь)
/ (1) 5 5 5
/ (2) 2 11 2
/ (3) 6 2 6
/ (4) 3 1 3
Г (5) 4 4
Если в экспериментальный кластер попадало несколько изображений одного лица, то число их просто указывалось в столбце «свой» на строке соответствующего им кластера. Для изображений другого лица, попавших в этот же кластер, рядом с их числом на этой строке в столбце «чужой» в скобках указывается его обозначение в соответствии с табл. 1. Так, в табл. 2 указано, что в первом эксперименте в кластер «с» попало 21 изображение. Из них 20 - это изображения из кластера «с», а одно - из кластера «/». Во
втором эксперименте в этот кластер вошли только изображения лица из кластера «с». И результаты третьего эксперимента совпали с результатами первого.
Если исходный кластер в процессе эксперимента разбивался на несколько частей, то рядом с именем кластера в скобках указывался номер такой части, например, е (1). Так, в табл. 2 указано, что исходные кластеры «е» и «/» в экспериментах распались на две части. Например, в первом эксперименте 9 изображений исходного кластера «е» попали в один кластер с изображениями из кластера «й». В третьем эксперименте изображения этого исходного кластера точно распределились на две части.
4. Анализ результатов
Качественный анализ содержимого табл. 2 и 3 даёт основания утверждать, что предложенный алгоритм кластеризации в целом работает успешно.
Так, кластеры «а» и «Ь» во всех трёх экспериментах с использованием евклидова расстояния для определения близости (табл. 2) выделяются правильно, без посторонних изображений (100 %). В кластерах «с» и «й» помимо всех своих изображений оказались и посторонние изображения из кластеров «е» и «/». И, наконец, отчётливо видно деление кластеров «е» и «/» на две части.
Похожая картина вырисовывается и при анализе табл. 3 по результатам экспериментов с использованием расстояния Кульбака-Лейблера. Кластеры «с» и «й» выделены правильно во все трёх экспериментах. Кластеры «Ь» и «е» правильно выделены в двух экспериментах, но попадают в один кластер в третьем эксперименте. Кластер «/», как и в табл. 2, демонстрирует деление на несколько частей.
Заметим, что разбиение одного кластера на несколько подкластеров не всегда можно признать ошибочным.
На рис. 4 приведены изображения лица из меньших кластеров, на которые при использовании евклидова расстояния дробится исходный кластер изображений «е». На рис. 5 - то же самое, но для кластера «/» при использовании расстояния Кульбака-Лейблера.
Очевидно, что выделение нескольких кластеров меньших размеров из одного большого исходного кластера вполне оправдано. Изображения верхнего ряда (один кластер) на обоих рисунках существенно отличаются от изображений нижнего ряда (другой кластер). В то же время заметно большое сходство изображений внутри любого из этих рядов.
При кластеризации важное значение имеет повторяемость результатов при различных способах её реализации. Из табл. 3 видно, что исходный кластер / при кластеризации в 1-м и 3-м экспериментах дробится на 5 более мелких кластеров, совпадающих по размерам. Кроме того, эти мелкие кластеры полностью совпали и по изображениям лиц.
Таким образом, по итогам применения предложенного алгоритма кластеризации некоторые изображения исходной коллекции не обладают достаточным сходством, хотя и относятся к одному и тому же лицу. Это сходство или несходство относится к се-
мантике изображений, которая косвенно проявляется в различии распределения их яркостей, что и обнаруживает алгоритм.
Рис. 4. Изображения лиц из кластеров «е (1)» (верхний ряд) и «е (2)» (нижний ряд) в 3-м эксперименте с евклидовым расстоянием
т* ЯК
Ш /» /А
Рис. 5. Изображения лиц из кластеров «/(3)» (верхний ряд) и «/(4)» (нижний ряд) в 3-м эксперименте с расстоянием Кульбака-Лейблера
Если сравнить данные табл. 2 и 3, то можно обнаружить, что применение расстояния Кульбака-Лейблера позволяет детальнее исследовать семантику исходной коллекции, чем это даёт евклидово расстояние. Действительно, из табл. 2 видно, что кластер «/» в случае евклидова расстояния распадается на два кластера, а для расстояния Кульбака-Лейблера это число увеличивается до пяти. Это, по-видимому, связано с тем, что расстояние Кульбака-Лейблера оценивает информационную близость распределений яркости сравниваемых изображений.
Выполним теперь количественную оценку результатов применения предложенного алгоритма кластеризации. Ясно, что такая оценка неспособна уловить те различия в содержании изображений, о которых упоминалось выше. Тем не менее, количественное сравнение даёт дополнительную информацию к качественному рассмотрению.
Будем исходить из того, что идеальная кластеризация должна привести к выделению шести кластеров. Оценим энтропию распределения изображений в
исходной коллекции и в экспериментах по формуле Шеннона
Н0 Р< • 10§2 Р, ,
где р, - вероятность попадания изображения в ,-й кластер. Для исходной коллекции имеем энтропию Н0 = 2,585. Энтропия для экспериментальных распределений приведена в табл. 4.
Табл. 4. Энтропия распределения изображений по кластерам
Экспе- Энтропия кластерного распределе- Средняя Отклонение Н от энтро-
римент энтропия Н
ния пии Н0
Евклидово расстояние 1 2,948
2 2,582 2,739 6 %
3 2,687
Расстояние 1 2,956
Кульбака- 2 3,058 2,963 15 %
Лейблера 3 2,875
По данным табл. 4 приходим к заключению, что применение информационного расстояния Кульбака-Лейблера даёт распределение изображений по кластерам более рассогласованное по энтропии с исходным, чем в случае евклидова расстояния.
Качество распределения изображений по кластерам относительно заранее известного разбиения, заданного исходным тестовым набором, можно также количественно оценить с помощью Е-меры. Она вычисляется как среднее гармоническое двух характеристик - полноты и точности при информационном поиске документов [13]. Эта мера является официальной метрикой, рекомендованной при классификации изображений [14].
Пусть М = {М1,М2,...,Мт} - достигнутое в эксперименте разбиение на кластеры, т = |М|- общее число экспериментально полученных кластеров. Также пусть Ь = {¿1,¿2,...,Щ - идеальное (известное заранее) разбиение на кластеры, 1 = |Ь| - число кластеров в идеальном разбиении. Определим понятия точности и полноты каждого полученного кластера М,, , = 1, 2,...т, относительно известного кластера Ь/, / = 1, 2,. /.
Пусть п, = |М,| - число элементов (изображений) в полученном кластере, п = |Ь/| - число элементов в известном кластере, п/ = \М,!^Ь/\ - число общих элементов для кластеров и Ь/. Тогда точность
Р(М,, Ь]) = п/ /п,,
а полнота
Я(М,, Ь/) = п/ /п/.
Е-мера для пары М, и Ь/ определяется соотношением:
2 * Р(М., Ь.) * Я(М., Ь.)
Е (М., Ь.) =- ' 1- ^ 1 .
' 1 Р(М,, Ь/) + Я(М,, Ь])
При полном совпадении полученного и известного кластеров эта мера равна 1.
Е-меру всего полученного разбиения М относительно ожидаемого разбиения Ь определим как взвешенную сумму Е-мер для каждого из полученных кластеров:
п.
Е (М, Ь) = ^ — Е (М,, Ь),
'=1 п
1
где Е(М,, Ь) = ^ /(М,, Ь.)- мера '-го полученного
/=1
кластера относительно всего идеального разбиения Ь,
а п =
и М,
- общее число элементов в исходном те-
стовом наборе. В идеальном случае, когда каждому кластеру из М соответствует ровно один из Ь, Е(М, Ь) также обращается в единицу. В противном случае
Е(М, Ь) < 1.
В табл. 5 приведены значения Е-меры для проведённых экспериментов.
Из таблицы следует, что количественная оценка качества кластеризации выше в случае применения евклидова расстояния. Снижение количественной оценки качества кластеризации в случае расстояния Кульбака-Лейблера можно объяснить более высокой чувствительностью этого расстояния к семантическим различиям изображений, входящих в один из изначальных кластеров (/) тестового набора. В результате в этом кластере выделяются подкластеры.
Табл. 5. Е-мера распределения изображений по кластерам
Эксперимент Расстояние
Евклидово Кульбака-Лейблера
1 0,97 0,89
2 0,97 0,93
3 0,92 0,75
Ср. значение 0,95 0,86
Заключение
1. Многошаговая кластеризация меры близости изображений позволяет разбить неструктурированное множество неизвестных по содержанию изображений на группы изображений, схожих между собой.
2. Количественная оценка кластеризации показывает лучшие результаты при использовании в качестве меры близости изображений евклидова расстояния. Для этого случая отклонение энтропии полученного распределения изображений по кластерам составляет 6 %, а среднее значение Е-меры равно 0,95.
3. Использование расстояния Кульбака-Лейблера позволяет лучше (по сравнению с евклидовым) выделять семантически однородные кластеры. Это приводит к дроблению некоторых кластеров исходного тестового набора на подкластеры и, соответственно, ухудшает количественную оценку кластеризации.
Благодарности
Работа выполнена в рамках государственного задания «Наука».
Литература
1. Гонсалес, Р. Цифровая обработка изображений / Р. Гонса-лес, Р. Вудс; пер. с англ. - М.: Техносфера, 2005. - 1072 с.
2. Середин, О.С. Линейные методы распознавания образов на множествах объектов произвольной природы, представленных попарными сравнениями. Общий случай / О.С. Середин // Известия ТулГУ. Естественные науки. - 2012. - № 1. - С. 141-152.
1=1
3. Середин, О.С. Выпуклые селективные критерии метода релевантных векторов в пространстве парных отношений объектов распознавания / О.С. Середин, В.В. Мот-тль, А.И. Татарчук, Н.А. Разин // Известия ТулГУ. Естественные науки. - 2013. - № 1. - С. 165-176.
4. Nemirovskiy, V.B. Face recognition based on the proximity measure clustering / V.B. Nemirovskiy, A.K. Stoyanov, D.S. Goremykina // Computer Optics. - 2016 - Vol. 40(5). -P. 740-745. - DOI: 10.18287/2412-6179-2016-40-5-740-745.
5. Крайнов, А. Кластеризация дубликатов в Яндекс.Кар-тинках [Электронный ресурс]. - URL: http://www.sli-deshare.net/yandex/chel-krainov (дата обращения 5.07.2016).
6. Воронцов, К.В. Лекции по метрическим алгоритмам классификации / К.В. Воронцов. - М.: МФТИ, 2007. - 14 с.
7. Немировский, В.Б. Распознавание нечётких дубликатов изображений, основанное на ранговом распределении мощностей кластеров яркости / В.Б. Немировский, А.К. Стоянов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 811-817.
8. Nemirovskiy, V.B. Near-duplicate image recognition / V.B. Nemirovskiy, A.K. Stoyanov // Mechanical Engineering, Automation and Control Systems (MEACS): Proceedings of the International Conference, Tomsk, 2014. -(4 p.). - DOI: 10.1109/MEACS.2014.6986916.
9. Nemirovskiy, V.B. Application of recurrent neural network for multi-step full-color image segmentation / V.B. Nemirovskiy,
A.K. Stoyanov // The 8th International Forum on Strategic Technology (IFOST-2013), 2013, Ulaanbaatar, Mongolia: [proceedings] in 2 vol. - 2013. - Vol. 2. - P. 221-224. - DOI: 10.1109/IFOST.2013.6616891.
10. Nemirovskiy, V.B. Multi-step segmentation of images by means of a recurrent neural network / V.B. Nemirovskiy, A.K. Stoyanov // The 7th International Forum on Strategic Technology (IF0ST-2012), September 1821, 2012, Tomsk. - 2012. - 4 p. - DOI: 10.1109/IF0ST.2012.6357619.
11. Немировский, В.Б. Сегментация изображений с помощью рекуррентной нейронной сети / В.Б. Немировский, А.К. Стоянов // Известия Томского политехнического университета. - 2012. - Т. 321, № 5. - С. 205-210.
12. Description of the collection of facial images [Электронный ресурс]. - URL: http://cswww.essex.ac.uk/mv/all-faces/ (дата обращения 1.04.2016).
13. Ландэ, Д.В. Интернетика: Навигация в сложных сетях: модели и алгоритмы / Д.В. Ландэ, А.А. Сиарский, И.В. Безсуднов. - М.: Книжный дом «Либроком», 2009. - 264 с. - ISBN: 978-5-397-00497-8.
14. Агеев, М. Труды Р0МИП'2010 [Электронный ресурс] / М. Агеев, И. Кураленок, И. Некрестьянов. - URL: http://romip.ru/romip2010/index.html/ (дата обращения 8.12.2016).
Сведения об авторах
Немировский Виктор Борисович, канд. физ.-мат. наук, доцент, доцент каф. информатики и проектирования систем Института кибернетики Томского политехнического университета. Область научных интересов: нейронные сети, искусственный интеллект, обработка изображений. E-mail: [email protected] .
Стоянов Александр Кириллович, канд. техн. наук, ст. науч. сотр., доцент каф. информатики и проектирования систем Института кибернетики Томского политехнического университета. Область научных интересов: нейронные сети, искусственный интеллект, извлечение знаний из данных, обработка изображений. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 14 июля 2016 г. Окончательный вариант - 8 января 2017 г.
CLUSTERING FACE IMAGES
V.B. Nemirovskiy1, A.K. Stoyanov1 institute of Cybernetics of Tomsk Polytechnic University, Tomsk, Russia
Abstract
In this paper a multi-step algorithm for clustering face images is proposed. This algorithm is designed to split a collection of images into groups of similar images. The algorithm is based on clustering the proximity measures between brightness-based segmented images. As proximity measures, the Euclidean distance and the Kullback-Leibler distance were used. Brightness-based image segmentation and clustering respective proximity measures were carried out with the help of a software model of a recurrent neural network. Results of experimental studies of the proposed approach are presented.
Keywords: image clustering, one-dimensional mapping, neuron, near-duplicate.
Citation: Nemirovskiy VB, Stoyanov AK. Clustering face images. Computer Optics 2017; 41(1): 59-66. DOI: 10.18287/2412-6179-2017-41-1-59-66.
Acknowledgements: The work is performed as part of the state task "Science".
References
[1] Gonzalez R, Woods R. Digital Image Processing. 2nd ed. Upper Saddle River, NJ: Prentice Hall, 2002. ISBN: 9780201180756.
[2] Seredin OS. Linear methods of pattern recognition on the sets of the objects of arbitrary nature represented by pair-wise comparisons. The general case [In Russian]. Izvestija TulGU. Natural sciences 2012; 1: 141-152.
[3] Seredin OS, Mottl VV, Tatarchuk AI, Razin NA. Convex selective criteria of relevant vectors method in the space of objects pairwise comparisons [In Russian]. Izvestija TulGU. Natural sciences 2013; 1: 165-176.
[4] Nemirovsky VB, Stoyanov AK, Goremykina DS. Face recognition based on the proximity measure clustering, Computer Optics 2016; 40(5): 740-745. DOI: 10.18287/2412-6179-2016-40-5-740-745.
[5] Kraynov A. Clustering of duplicates in Yandex.Images [In Russian]. Source: (http://www.slideshare.net/yandex/chel-krainov).
[6] Vorontsov KV. Lectures on the metric classification algorithms [In Russian]. Moscow: "MFTI" Publisher; 2007.
[7] Nemirovskiy VB, Stoyanov AK. Near-duplicate image recognition based on the rank distribution of the brightness clusters cardinality. Computer Optics 2014; 38(4): 811817.
[8] Nemirovskiy VB, Stoyanov AK. Near-duplicate image recognition. International Conference on Mechanical Engineering, Automation and Control Systems (MEACS), Tomsk, 2014. DOI:10.1109/MEACS.2014.6986916.
[9] Nemirovskiy VB, Stoyanov AK. Application of recurrent neural network for multi-step full-color image segmentation. The 8th International Forum on Strategic Technology (IF0ST-2013), Ulaanbaatar, Mongolia 2013; 2: 221-224. DOI: 10.1109/IF0ST.2013.6616891.
[10] Nemirovskiy VB, Stoyanov AK. Multi-step segmentation of images by means of a recurrent neural network. IFOST-2012. DOI: 10.1109/IFOST.2012.6357619.
[11] Nemirovskiy VB, Stoyanov AK. Image segmentation by recurrent neural network [In Russian]. Bulletin of the Tomsk Polytechnic University 2012; 321(5): 205-210.
[12] Description of the collection of facial images. Source: (http://cswww.essex.ac.uk/mv/allfaces/).
[13] Lande DV, Snarskiy AA, Bezsudnov IV. Internetika: Navigation in complex networks: models and algorithms [In Russian]. Moscow: Publisher of Book house "Librokom"; 2009. ISBN: 978-5-397-00497-8.
[14] Ageev M, Kuralenok I, Nekrestianov I. Proceedings RO-MIP'2010 [In Russian]. Source: (http://:romip.ru/ro-mip2010/index.html).
Authors' information
Victor Borisovich Nemirovskiy (b. 1945) Candidate of Physical and Mathematical Sciences, associate professor of Informatics and System Design department of National Research Tomsk Polytechnic University. Research interests are neural networks, image processing, and image recognition. E-mail: [email protected] .
Alexander Kirillovich Stoyanov (b. 1946) Candidate of Technical Sciences, associate professor of Informatics and System Design department of National Research Tomsk Polytechnic University. Research interests are neural networks, image processing, and image recognition. E-mail: [email protected] .
Received July 14, 2016. The final version - January 8, 2017.
