CC BY
74
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
ПОСЛЕДОВАТЕЛЬНАЯ ПОЛОВАЯ И ВОЗРАСТНАЯ КЛАССИФИКАЦИЯ ЛЮДЕЙ ПО ИЗОБРАЖЕНИЮ ЛИЦА
НА ОСНОВЕ РАНЖИРОВАННЫХ ЛОКАЛЬНЫХ БИНАРНЫХ ШАБЛОНОВ
А.В. Рыбинцев 1 В.С. Конушин 2, А.С. Конушин 1,3 1МГУ им. М.В. Ломоносова, Москва, Россия,
2ООО «Технологии видеоанализа», Москва, Россия,
3НИУ Высшая школа экономики, Москва, Россия
Аннотация
Предложен новый алгоритм последовательного определения пола и возраста человека по изображению лица на основе двухэтапной схемы восстановления регрессии с помощью метода опорных векторов. В качестве признакового описания изображения используются только наиболее значимые локальные бинарные шаблоны. Для повышения точности половой классификации применяется процедура бутстраппинга - обучения на трудных примерах, а для повышения точности определения возраста - «плавающие» границы возрастных диапазонов.
Ключевые слова: машинное обучение, классификация изображений, половая классификация людей, возрастная классификация людей, локальные бинарные шаблоны, AdaBoost, метод опорных векторов, бутстраппинг, регрессия на основе опорных векторов.
Цитирование: Рыбинцев, А.В. Последовательная половая и возрастная классификация людей по изображению лица на основе ранжированных локальных бинарных шаблонов / А.В. Рыбинцев, В.С. Конушин, А.С. Конушин // Компьютерная оптика. - 2015. - Т. 39, № 5. - С. 762-769. - DOI: 10.18287/0134-2452-2015-39-5-762-769.
Введение
Интерес к задаче автоматической половой и возрастной классификации людей по изображению лица в последние годы неуклонно растёт. Одной из главных причин этого является стремительное увеличение числа изображений людей в Интернете и необходимость их автоматической аннотации для задач поиска, что может помочь фильтровать результаты, выдаваемые поисковыми системами. Другим применением автоматической классификации людей по возрасту является анализ возрастного состава аудитории, что полезно для анализа эффективности рекламы. Кроме того, подобная классификация может найти своё место при создании так называемых «аффективных» человеко-машинных интерфейсов, в которых поведение системы будет подстраиваться под конкретного пользователя, ориентируясь в том числе и на его возраст.
В настоящей работе предлагается новый алгоритм, являющийся развитием одного из лучших на данный момент алгоритмов оценки возраста [1], использующего двухэтапную схему восстановления регрессии на основе опорных векторов. Предложенные модификации основаны на формировании признакового описания изображения методом локальных бинарных шаблонов, выделении только наиболее значимых («усиленных») признаков, последовательной классификации изображений людей сначала по полу, а затем по возрасту в рамках выделенной половой группы, использовании процедуры бутстраппинга - обучения на трудных примерах, и не фиксированных, а «плавающих» границ возрастных групп на втором этапе построения регрессии.
1. Существующие подходы
Традиционно алгоритм возрастной классификации людей по изображению лица содержит три этапа:
нормализация изображения лица, вычисление вектора признаков и собственно классификация.
На шаге нормализации осуществляются поворот, масштабирование и обрезание изображения лица таким образом, чтобы глаза (уголки или центры глаз) находились в заданном положении на одной горизонтальной линии. В качестве признаков изображения могут использоваться непосредственно интенсивности пикселей, чаще всего с последующим понижением размерности, например, с помощью метода проекций, сохраняющих свойство локальности (Locality Preserving Projections)
[1]; геометрические признаки, например, расстояния между антропометрическими точками [2]; параметры «Активной модели внешности» (Active Appearance Models) [3], локальные бинарные шаблоны (Local Binary Patterns) [4]. В [5] были предложены так называемые «биологически обусловленные признаки» (Biologically Inspired Features). Для классификации обычно используется либо регрессия [5], позволяющая оценивать точный возраст человека, либо многоклассовая классификация [6], предсказывающая возрастную группу человека. В качестве алгоритмов классификации используют нейронные сети [7, 8, 9], случайный лес деревьев [2]. Наиболее широкое применение нашёл в этой задаче метод опорных векторов [5, 6, 10, 11, 12] и регрессия на основе опорных векторов [1, 13, 14].
В [10] задача классификации возраста человека была сведена к набору бинарных классификаций. Для каждого возраста строится классификатор, который определяет, старше ли человек, изображённый на тестовом изображении, заданного возраста, или младше. Возраст человека определяется как число классификаторов, выдавших положительный результат. Предложенная схема показала более высокую точность классификации, чем существующие аналоги. При этом использовался метод опорных векторов, и бинарные классификаторы отличались между собой только сдвигом разделяющей по-
762
Компьютерная оптика, 2015, том 39, № 5
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
верхности, в то время как в [11] бинарные классификаторы обучались независимо друг от друга, и в каждом классификаторе могло быть использовано своё ядро. В работе [15] данный алгоритм был применён совместно с локальными бинарными шаблонами в качестве признакового описания изображения.
Весьма продуктивной оказалась идея использования накопительных признаков [16], позволяющих учитывать взаимосвязь между соседними возрастами, что привело к более высокой точности определения возраста, чем в [11].
В работе [1] применена двухэтапная схема определения возраста на основе восстановления регрессии. На первом этапе регрессия строится по всей обучающей выборке с целью приближённого определения возрастной группы человека, а на втором этапе -регрессия строится по обучающей выборке внутри каждой возрастной группы.
В статье [6] предложили вначале классифицировать пол и примерный возрастной диапазон человека, после чего применять специализированный классификатор возраста для данной половой группы. Авторы статьи показали, что такая последовательная процедура заметно повышает точность итоговой возрастной классификации.
Поскольку идея последовательной классификации представляется весьма продуктивной и будет использована в настоящей работе, отметим существующие подходы к классификации изображений лиц людей по половому признаку. Данная задача является типичной задачей бинарной классификации. Основными методами бинарной классификации являются метод опорных векторов [17, 18, 19, 20] и бустинг [7, 21, 22, 23]. В качестве признаков используются пиксели изображений [17, 29], признаки Хаара [22], локальные бинарные шаблоны [7, 20], а также признаки, вычисленные по локальным регионам [18]. Наибольший интерес представляют работы [7, 21, 24], так как экспериментальная оценка точности описанных в них алгоритмов производилась на базах реальных изображений лиц.
Т аким образом, наиболее перспективными для дальнейшего развития признаны следующие подходы:
• использование локальных бинарных шаблонов для формирования вектора признаков изображения;
• применение последовательного проведения половой и возрастной классификации;
• использования двухэтапной схемы возрастной классификации на основе восстановления регрессии по накопительным признакам.
В настоящей работе предполагается, что этап нормализации изображений выполнен, т. е. на вход предлагаемого алгоритма подаются уже нормализованные изображения.
2. Предложенные модификации
2.1. Модификация метода формирования вектора признаков изображения
В качестве признаков изображения предлагается использовать локальные бинарные шаблоны (ЛБШ)
[4]. ЛБШ представляет собой описание окрестности пикселя изображения в двоичном представлении. Базовый оператор ЛБШ, применяемый к пикселю изображения, использует восемь пикселей окрестности, принимая значение интенсивности центрального пикселя в качестве порога. Пиксели со значением интенсивности большим или равным значению интенсивности центрального пикселя принимают значения, равные «1», остальные принимают значения, равные «0». Таким образом, результатом применения базового оператора ЛБШ к пикселю изображения является восьмиразрядный бинарный код, который описывает окрестность этого пикселя. Далее этот код рассматривается как двоичная запись некоторого числа, и именно это число и ставится в соответствие данному пикселю. Вектором признаков изображения является гистограмма значений ЛБШ.
Изображения лиц могут рассматриваться как набор всевозможных локальных особенностей, которые хорошо описываются с помощью ЛБШ, однако гистограмма, построенная для всего изображения в целом, кодирует лишь наличие тех или иных локальных особенностей, но при этом не содержит никакой информации об их расположении на изображении. Для учёта такого рода информации изображение разбивается на подобласти, в каждой из которых вычисляется своя гистограмма ЛБШ. Путём конкатенации этих гистограмм получается общая гистограмма, учитывающая как локальные, так и глобальные особенности изображения.
Главной сложностью применения данного признакового описания изображений является очень большая размерность пространства признаков. Так, при разбиении изображения лица на 5 х 7 = 35 областей эта размерность составляет 256 х 35 = 8960. В работе [25] показано, что не все бинарные шаблоны одинаково информативны. Важные для классификации локальные особенности изображения содержатся в равномерных ЛБШ, к которым относятся шаблоны, в которых содержится не более трёх серий «0» и «1» (например, 00000000, 001110000 и 11100001), так как именно они кодируют концы линий, углы, пятна и другие особенности изображения. Поскольку таких двоичных комбинаций в восьмиразрядном коде (P = 8) всего P(P-1) + 2 = 58, вместо 256, общая размерность вектора признаков сокращается до 59 х 35 = 2065 (используется 58 значений равномерных ЛБШ и ещё одно значение для всех неравномерных), что существенно ниже исходной, но всё-равно остаётся весьма большой.
Для дальнейшего снижения размерности вектора признаков изображения предлагается определить значимость каждого из 2065 признаков для дальнейшей классификации. Для определения максимально значимых ячеек предложено использовать алгоритм AdaBoost [26], который позволяет обучить комитет из простых классификаторов. Каждый из таких классификаторов имеет сам по себе низкую точность классификации, однако взятые в совокупности классификаторы позволяют добиться высокой точности. В ито-
Компьютерная оптика, 2015, том 39, № 5
763
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
говом комитете каждый классификатор имеет свой коэффициент значимости, что позволяет отобрать наиболее значимые классификаторы.
В рассматриваемой задаче в роли базовых классификаторов предлагается использовать простые бинарные классификаторы с разделением по пороговому значению, которые строятся для каждого значения исходного вектора признаков. Таким образом, отбирая наиболее значимые классификаторы, отбираются и наиболее значимые для классификации признаки.
Проведённые эксперименты показали, что среди 2065 исходных признаков только 1340 имеют отличную от нуля значимость, а среди них значимость 840 близка к нулю. Поэтому после упорядочивания по убыванию значимости классификаторов в итоговом векторе признаков предлагается использовать только первые 500. Полученные признаки далее для простоты будут называться «усиленными», и только эти признаки предлагается использовать для классификации.
2.2. Модификация процедуры классификации изображений лии по полу
Классификация изображений лиц людей по полу является типичной задачей бинарной классификации, при решении которой чаще всего используется метод опорных векторов. Для повышения качества бинарной классификации предложено применить процедуру бустраппинга - обучения на так называемых «трудных» примерах [27, 28]. Необходимо отметить, что данная процедура традиционно используется при решении другой задачи из области компьютерного зрения - идентификации заданного объекта на изображении, содержащем множество самых разнообразных (похожих) объектов [28] (например, выделение пешехода на изображении улицы, на котором может находиться множество людей в автомобилях, на велосипедах и на рекламных плакатах). Основной проблемой при решении этой задачи является огромное количество примеров фона (не пешеходов) по сравнению с искомыми объектами. Поэтому центральной идеей бутстраппинга является включение в обучающую выборку так называемых «трудных» примеров, т. е. таких примеров фона, которые ошибочно идентифицируются классификатором как искомые объекты.
Применительно к рассматриваемой задаче смысл данной процедуры заключается в следующем: обучающая выборка делится на 2 части в отношении 1 к
2. Непосредственно обучение происходит на первой части, после чего осуществляется тестирование на второй части обучающей выборки. В результате тестирования на второй части все обнаруженные ошибочно классифицированные примеры обозначаются как «трудные» для данного классификатора и добавляются в исходную обучающую выборку (первую часть исходного разбиения). После этого происходит повторное обучение классификатора.
Итогом применения двух предложенных модификаций (отбор наиболее значимых признаков ЛБШ ме-
тодом Adaboost и бутстраппинг на этапе обучения классификатора на основе метода опорных векторов) является формирование классификатора, способного разделить изображения лиц людей по половому признаку. Далее к классифицированным по полу изображениям могут быть применены методы возрастной классификации в каждой половой группе отдельно.
2.3. Модификация двухэтапной схемы возрастной классификации людей
Предлагаемая модификация возрастной классификации людей по изображению лица основана на совместном применении следующих двух идей:
• использования накопительных признаков [16];
• использования двухэтапной схемы возрастной классификации методом восстановления регрессии на основе опорных векторов [1].
Рассмотрим обучающую выборку X размером п, заданную множеством пар прецедентов {xi, yi}, где xi -вектор «усиленных» признаков изображения i (см. 2.1), а yi - соответствующее ему значение возраста. Для каждого прецедента скалярное значение возраста преобразуется в вектор накопительных признаков ai, имеющий размерность т, соответствующую диапазону классифицируемых возрастов (Уmin, ymax): т = у — у +1.
•/ max •/ min
Каждый элемент вектора накопительных признаков определяется следующим образом:
ai =
1 j £ Уг — Утт-0 j > Уг — У min
В этом случае в векторе накопительных признаков будет (y-ymin) значений 1, а все остальные будут равны 0.
Задача нахождения зависимости между исходными «усиленными» и накопительными признаками сводится к задаче гребневой регрессии и решается для каждой половой группы, но в отличие от базового алгоритма [16] для определения накопительных признаков используются не все признаки изображения, а только наиболее значимая для классификации их часть («усиленные» признаки). Данная модификация существенно (пропорционально уменьшению размерности пространства признаков) сокращает время классификации.
Рассмотрим i-й пример обучающей выборки X. Ему соответствуют вектор «усиленных» признаков xi и вектор накопительных признаков ai. Тогда при использовании квадратичной функции потерь целевая функция для определения матрицы коэффициентов пересчёта исходных признаков в накопительные имеет вид [16]:
111-1,2 ^||_г _ ||2
— 1Ш + C^ at — (Uxt + и0) ® min,
2 i=1
где U - искомая матрица коэффициентов размерности т х п, ||-|| - норма Фробениуса.
764
Компьютерная оптика, 2015, том 39, № 5
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
Данная задача является задачей квадратичного программирования и имеет глобальное оптимальное решение в явном виде. Управляющий параметр С подбирается стандартным образом с помощью процедуры кросс-валидации [16].
Полученные значения матрицы весовых коэффициентов позволяют перейти от исходных «усилен________________ ____________________________*
ных» признаков х, к накопительным признакам а, ,
которые учитывают взаимосвязь между возрастами в классифицируемых изображениях: a* = (Uxi + u0).
Теперь обучающая выборка задаётся набором прецедентов {a*, у}, и для нахождения зависимости между накопительными признаками и значением возраста может быть использован стандартный метод восстановления регрессии на основе опорных векторов.
В ходе экспериментов было установлено, что классификация внутри небольших возрастных групп даёт значительно лучшие по точности результаты. Поэтому для повышения точности определения возраста человека по лицу предлагается использовать двухэтапную схему [1]. В соответствии с базовой идеей на первом этапе регрессия строится по всей обучающей выборке, и итогом её применения является определение приближенного значения возраста. Базовый алгоритм предполагал разделение всего диапазона возрастов на несколько поддиапазонов и построение набора решающих функций для каждого поддиапазона для уточнения приближенного значения возраста, полученного на первом этапе. Предлагаемая модификация предусматривает построение регрессии на основе опорных векторов для формирования решающей функции для каждого целого значения возраста у, в исследуемом диапазоне (ymin, ymax). При этом предлагается использовать обучающие прецеденты в диапазоне возрастов -5..+5 лет относительно рассматриваемого значения, т.е. предлагается не фиксировать возрастные группы, а использовать «плавающие» значения границ.
2.4. Общая схема предложенного алгоритма
Таким образом, предложенный алгоритм последовательной половой и возрастной классификации людей по нормализованному изображению лица имеет следующий вид:
1) формирование вектора признаков методом ЛБШ для обучающей выборки;
2) выделение «усиленных» признаков с помощью алгоритма Adaboost;
3) формирование решающего правила классификации изображений по полу методом опорных векторов на основе «усиленных» признаков и использования процедуры бутстраппинга;
4) вычисление накопительных признаков на основе сформированных «усиленных»;
5) формирование решающего правила для предварительной возрастной классификации методом регрессии на основе опорных векторов по всей обучающей выборке в рамках выделенной половой группы;
6) формирование набора решающих правил для каждого значения возраста по набору прецедентов в диапазоне возрастов -5..+5 лет относительно заданного значения в рамках выделенной половой группы.
Итогом применения данного алгоритма является набор классификаторов (решающих правил), позволяющих определить сначала пол, а затем ( внутри выделенной половой группы) возраст человека по изображению лица.
3. Результаты экспериментов
Программная реализация предложенного алгоритма была выполнена с использованием библиотеки LIBSVM [29]. Экспериментальная оценка осуществлялась на собственной базе изображений лиц людей, полученной по открытым источникам в сети Интер -нет ( социальным сетям) с помощью сервис-агрегатора поисковой системы Yandex (people.yandex.ru). Нормализация изображений лиц проводилась стандартным образом, как это указано во введении. Необходимость формирования такой базы обусловлена тем, что доступные открытые базы изображений содержат либо мало изображений, либо не содержат одновременно меток возраста и пола (см. табл. 1).
Табл. 1. Сравнение доступных баз изображений лиц
База MORPH [30] FG-NET [31] LFW [32]
Всего 5493 1002 7443
Мужчины 4201 нет 4500
Женщины 1292 нет 2943
Диапазон возрастов 16.60 1.30 нет
Полученная в процессе проведения исследований база изображений содержит 169629 изображений лиц людей европеоидной расы в возрасте от 10 до 70 лет, среди которых 91275 мужчин и 78654 женщины.
В качестве критерия оценки качества классификации по полу использовалась метрика Accuracy [20], определяющая долю правильно классифицированных изображений в тестовой выборке. Использование данной метрики допустимо, так как исследуемая база содержит примерно равное количество изображений мужчин и женщин.
В качестве критериев оценки точности определения возраста использовались следующие широко используемые метрики:
• средняя абсолютная ошибка (Mean Absolute Error, MAE), которая вычисляет среднее абсолютное отклонение предсказанных решающей функцией значений возраста для объектов тестовой выборки от истинных значений возраста [2, 14, 15];
• суммарный счёт (Cumulative Score, CS(s)), который определяет долю правильно предсказанных решающей функцией значений возраста для объектов тестовой выборки (правильно предсказанным считается значение возраста, ошибка в определении которого не превысила заданого значения е) [2, 14, 15].
Компьютерная оптика, 2015, том 39, № 5
765
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
Для получения достоверных результатов использовалась процедура k-кратного скользящего контроля (k = 5).
Результаты проведённого исследования см. в табл. 2 - 4, а примеры изображений - на рис. 1.
Табл. 2. Сравнение качества классификации по полу на собственной базе изображений и базе MORPH
Признаки Accuracy, MORPH Accuracy, собств. база
Метод опорных векторов ЛБШ 87 % 79 %
Метод опорных векторов с бутстраппингом «усиленные» ЛБШ 95 % 92 %
Табл. 3. Сравнение качества классификации по возрасту на собственной базе изображений
Критерий/ метод МАЕ CS(3) CS(5) CS(10)
Базовый [1] 8,07 21 % 42 % 67 %
«Усиленные» ЛБШ 7,22 25% 48 % 69 %
«Усиленные» ЛБШ по половым группам 6,78 29 % 53 % 79 %
«Усиленные» ЛБШ по половым группам с двухэтапной регрессией и «плавающими» границами 6,09 41 % 62 % 82 %
Табл. 4. Сравнение качества классификации по возрасту на базе изображений MORPH
Критерий/ метод МАЕ CS(3) CS(5) CS(10)
Базовый [15] 4,61 38 % 51 % 74 %
«Усиленные» ЛБШ [15] 4,52 44 % 58 % 78 %
«Усиленные» ЛБШ по половым группам 4,37 46 % 69 % 83 %
«Усиленные» ЛБШ по половым группам с двухэтапной регрессией и «плавающими» границами 4,28 49 % 71 % 89 %
a)
Рис. 1. Примеры изображений
a) истинные значения: пол - Ж, возраст - 25, полученные значения: пол - Ж, возраст - 24,3;
b) истинные значения: пол -М, возраст - 23; полученные значения: пол -М, возраст - 20,6;
c) истинные значения: пол - Ж, возраст - 52; полученные значения: пол - Ж, возраст - 41,8
Более высокое качество классификации, достигнутое на базе изображений MORPH, можно объяснить лучшим качеством изображений, содержащихся в данной базе, так как они были получены с использованием павильонной фотосъёмки людей. Данный факт был подмечен ещё в работах [7, 19].
Заключение
В настоящей работе предложен алгоритм последовательной половой и возрастной классификации людей по изображению лица на основе использования локальных бинарных шаблонов в качестве признакового описания изображения. Для выделения наиболее значимых для классификации «усиленных» признаков предложено использовать метод Adaboost, что позволило сократить размерность пространства признаков примерно в 4 раза. В процессе классификации по полу стандартный подход на основе метода опорных векторов модифицирован за счёт применения процедуры бутстраппинга (обучения на трудных примерах), а для повышения точности определения возраста предложено объединить идею использования накопительных признаков с двухэтапной регрессией на основе опорных векторов. При этом все расчёты производятся только по «усиленным» признакам.
Дополнительное повышение точности при определении возраста достигается за счёт использования «плавающих», а не фиксированных границ возрастных диапазонов на втором этапе двухэтапной схемы определения возраста.
Проведённые исследования показали, что каждая из предложенных модификаций приводит к повышению точности определения возраста по критериям MAE и CS(e). В итоге, по сравнению с исходным алгоритмом удалось уменьшить среднюю ошибку в определении возраста по реальным изображениям из сети Интернет на 2 года. Полученные результаты позволяют рекомендовать предложенный алгоритм для решения задачи половой и возрастной классификации изображений лиц людей для применения в системах компьютерного зрения.
Благодарности
Работа выполнена при поддержке гранта РФФИ № 14-01-00849.
Литература
1. Fu, Y. Estimating human ages by manifold analysis of face pictures and regression on aging features / Y. Fu, Y. Xu, T. Huang // Proceedings of the 2007 IEEE Multimedia Expo Conference. - 2007. - P. 1383-1386.
2. Montillo, A. Age regression from faces using random forests / A. Montillo, H. Ling // Proceedings of the 2009 IEEE International Conference on Image Processing. - 2009. -P. 2465-2468.
3. Cootes, T. Active appearance models / T. Cootes, G. Edwards, C. Taylor // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2001. - Vol. 23, Issue 6. -P. 681-685.
4. Lian, H.-C. Multi-view gender classification using local binary patterns and support vector machines / H.-C. Lian
B.-L. Lu // ISNN’06. Proceedings of the 3rd International Symposium on Neural Networks. - 2006. - Vol. 2. -P. 202-209.
5. Guo, G. Human age estimation using bio-inspired features / G. Guo, G. Mu, Y. Fu, T. Huang // Proceedings of the 2009 IEEE International Conference on Computer Vision and Pattern Recognition. - 2009. - P. 112-119.
766
Компьютерная оптика, 2015, том 39, № 5
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
6. Guo, G. A study on automatic age estimation using a large database / G. Guo, G. Mu, Y. Fu, C. Dyer, T. Huang // Proceedings of the 2009 IEEE International Conference on Computer Vision. - 2009. - P. 1986-1991.
7. Shan, C. Learning local binary patterns for gender classification on real-world face images // Pattern Recognition Letters. - 2012. - Vol. 33, Issue 4. - P. 431-437.
8. Kuharenko, A. Simultaneous facial attribute classification with convolutional neural networks / A. Kuharenko,
A. Konushin // PRIA-11-2013. Proceedings of the 2013 IEEE International Conference on Pattern Recognition and Image Analysis. - 2013. - P. 623-626.
9. Конушин В.С. Классификация людей по изображению лица на основе сравнительных признаков внешности /
B. С. Конушин, Т.М. Лукина, А.В. Кухаренко, А.С. Конушин // Системы и средства информатики. - 2013. -Том 23, № 2, - С. 34-45.
10. Chang, K.-Y. A ranking approach for human age estimation based on face images / K.-Y. Chang, C.-S. Chen, and Y.-P. Hung // ICPR-20-2010. Proceedings of the 20th IEEE International Conference on Pattern Recognition. -2010. - P. 3396-3399.
11. Chang, K.-Y. Ordinal hyperplanes ranker with cost sensitivities for age estimation / K.-Y. Chang, C.-S. Chen, Y.-P. Hung // Proceedings of the 2011 IEEE International Conference on Computer Vision and Pattern Recognition. - 2011. - P. 585-592.
12. Guo, G. A probabilistic fusion approach to human age prediction / G. Guo, Y. Fu, T. Huang, C. Dyer // CVPRW’08. Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. - 2008. - P. 1-6.
13. Yilionias, J. Age estimation using local binary patterns kernel density estimate / J. Yilionias, A. Hadid, X. Hong, M. Pietikainen // ICIAP’13. Proceedings of the 2013 IEEE International Conference on Image Analysis and Processing. - 2013. - P. 141-150.
14. Luu, K. Age estimation using active appearance model and support vector machine regression / K. Luu, K. Ri-canek, T. Bui, C. Suen // BTAS’09. In: Proceedings of the 3rd IEEE International conference on biometrics: theory, applications and systems. - 2009. - P. 1-5.
15. Рыбинцев, А.В. Возрастная классификация людей по изображению лица на основе метода ранжирования и локальных бинарных шаблонов / А.В. Рыбинцев, Т.М. Лукина, В.С. Конушин, А.С. Конушин // Системы и средства информатики. - 2013. - Т. 23, № 2. - С. 48-59.
16. Chen, K. Cumulative attribute space for age and crowd density estimation / K. Chen, S. Gong, T. Xiang // Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition. - 2013. -P. 2467-2474.
17. Moghaddam, B. Learning gender with support faces /
B. Moghaddam, M. Yang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 24, Issue 5. - P. 707-711.
18. BenAbdelkader, C. A local region-based approach to gender classification from face images / C. BenAbdelka-der, P. Griffin // CVPRW’05. Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. - 2005. - P. 52-56.
19. Makinen, E. Evaluation of gender classification methods with automatically detected and aligned faces /
E. Makinen, R. Raisamo // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2008. - Vol. 30, Issue 3. - P. 541-548.
20. Hadid, A. Combining appearance and motion for face and gender recognition from videos / A. Hadid, M. Pietikainen // Pattern Recognition. - 2009. - Vol. 42, Issue 11. -P. 2818-2827.
21. Shakhnarovich, G. A unified learning framework for real time face detection and classification / G. Shakhnarovich, P. Viola, B. Moghaddam // Proceedings of the 5th IEEE International Conference on Automatic Face and Gesture Recognition. - 2002. - P. 14-21.
22. Lapedriza, A. Gender recognition in non controlled environments / A. Lapedriza, M. Marin-Jimenez, J. Vitria // ICPR 2006. Proceedings of the 18th IEEE International Conference on Patter Recognition. - 2006. - Vol. 3. - P. 834-837.
23. Baluja, S. Boosting sex identification performance /
S. Baluja, H. Rowley // Computer Vision. - 2007. -Vol. 71, Issue 1. - P. 11-119.
24. Gao, W. Face gender classification on consumer images in a multiethnic environment / W. Gao, H. Ai // ICB 2009. Proceedings of the 3d IEEE International Conference Advances in Biometrics. - 2009. - P. 169-178.
25. Ojala, T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns / T. Ojala, M. Pietikainen, T. Maenpaa // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 24, Issue 7. - P. 971-987.
26. Schapire, R. Short Introduction to Boosting // IJCAI’99. Proceedings of the 16th International Joint Conference on Artificial Intelligence. - 1999. - Vol. 2. - P. 1401-1406.
27. Felzenszwalb, P. Object detection with discriminatively trained part base models / P. Felzenszwalb, R. Girchik, D. McAllester, D. Ramanan // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2010. - Vol. 32, Issue 9. - P. 1627-1645.
28. Laptev, I. Improvements of object detection using boosted histograms // Image and Vision Computing. - 2009. -Vol. 27, Issue 5. - P. 535-544.
29. Chang, C. LIBSVM: a library for support vector machines / C. Chang, C. Lin [Electronical Resource]. - URL: http://csiewiki.org/cjlin/libsvm (request date 01.04.2014).
30. MORPH (Craniofacial Longitudinal Morphological Face Database) [Electronical Resource]. - URL: http://www.faceaginggroup.com/morph/ (request date
01.04.2014) .
31. The FG-NET aging Database [Electronical Resource]. -
URL: http://www.fgnet.rsunit.com (request date
01.04.2014) .
32. Labeled Faces in the Wild dataset [Electronical Resource]. - URL: http://vis-www.cs.umass.edu/lfw (request date 01.04.2014).
References
[1] Fu Y, Xu Y, Huang T. Estimating human ages by manifold analysis of face pictures and regression on aging features. Proceedings of the 2007 IEEE Multimedia Expo Conference; 2007: 1383-6.
[2] Montillo A, Ling H. Age regression from faces using random forests. Proceedings of the 2009 IEEE International Conference on Image Processing; 2009: 2465-8.
[3] Cootes T, Edwards G, Taylor C. Active appearance models. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001; 23(6): 681-5.
[4] Lian HC, Lu BL. Multi-view gender classification using local binary patterns and support vector machines. ISNN’06. Proceedings of the 3rd Internatinal Symposium on Neural Networks 2006; 2: 202-9.
Компьютерная оптика, 2015, том 39, № 5
767
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
[5] Guo G, Mu G, Fu Y. Human age estimation using bioinspired features. Proceedings of the 2009 IEEE International Conference on Computer Vision and Pattern Recognition; 2009: 112-9.
[6] Guo G, Mu G, Fu Y, Dyer C, Huang T. A study on automatic age estimation using a large database. Proceedings of the 2009 IEEE International Conference on Computer Vision; 2009: 1986-91.
[7] Shan C. Learning local binary patterns for gender classification on real-world face images. Pattern Recognition Letters 2012; 33(4): 431-7.
[8] Kuharenko A, Konushin A. Simultaneous facial attribute classification with convolutional neural. PRIA-11-2013. Proceedings of the 2013 IEEE International Conference on Pattern Recognition and Image Analysis; 2013: 623-6.
[9] Konushin VS, Lukina TM, Kuharenko AI, Konushin AS. Person classification upon face image based on simile classifiers [In Russian]. Systems and Mean of Information 2013; 23(2): 34-45.
[10] Chang KY, Chen CS, Hung YP. A ranking approach for human age estimation based on face images. ICPR-20-2010. Proceedings of the 20th IEEE International Conference on Pattern Recognition; 2010: 3396-9.
[11] Chang KY, Chen CS, Hung YP. Ordinal hyperplanes ranker with cost sensitivities for age estimation. Proceedings of the 2011 IEEE International Conference on Computer Vision and Pattern Recognition; 2011: 585-92.
[12] Guo G, Fu Y, Huang T, Dyer C. A probabilistic fusion approach to human age prediction. CVPRW’08. Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops; 2008: 1-6.
[13] Yilionias J, Hadid A, Hong X, Pietikainen M. Age estimation using local binary patterns kernel density estimate. ICIAP’13. Proceedings of the 2013 IEEE International Conference on Image Analysis and Processing; 2013: 141-50.
[14] Luu K, Ricanek K, Bui T, Suen C. Age estimation using active appearance model and support vector machine regression. BTAS’09. Proceedings of the 3rd IEEE International conference on biometrics: theory, applications and systems; 2009: 1-5.
[15] Rybintsev AV, Lukina TM, Konushin VS, Konushin AS. Age estimation upon face image based on local binary patterns and a ranking approach [In Russian]. Systems and Mean of Information 2013; 23(2): 48-59.
[16] Chen K, Gong S, Xiang T. Cumulative attribute space for age and crowd density estimation. Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition; 2013: 2467-74.
[17] Moghaddam B, Yang M. Learning gender with support faces. IEEE Transactions on Pattern Analysis and Machine Intelligence 2002; 24(5): 707-11.
[18] BenAbdelkader C, Griffin P. A local region-based approach to gender classification from face images. CVPRW’05. Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops; 2005: 52-6.
[19] Makinen E, Raisamo R. Evaluation of gender classification methods with automatically detected and aligned faces. IEEE Transactions on Pattern Analysis and Machine Intelligence 2008; 30(3): 541-8.
[20] Hadid A, Pietikainen M. Combining appearance and motion for face and gender recognition from videos. Pattern Recognition 2009; 42(11): 2818-27.
[21] Shakhnarovich G, Viola P, Moghaddam B. A unified learning framework for real time face detection and classification. Proceedings of the 5th IEEE International Conference on Automatic Face and Gesture Recognition; 2002: 14-21.
[22] Lapedriza A, Marin-Jimenez M, Vitria J. Gender recognition in non controlled environments. ICPR 2006. Proceedings of the 18th IEEE International Conference on Patter Recognition 2006; 3: 834-7.
[23] Baluja S, Rowlay H. Boosting sex identification performance. Computer Vision 2007; 71(1): 11-9.
[24] Gao W, Ai H. Face gender classification on consumer images in a multiethnic environment. ICB 2009. Proceedings of the 3d IEEE International Conference Advances in Biometrics; 2009: 169-78.
[25] Ojala T, Pietikainen M, Maenpaa T. Multiresolution grayscale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence 2002; 24(7): 971-87.
[26] Schapire, R. Short Introduction to Boosting. IJCAI’99. Proceedings of the 16th International Joint Conference on Artificial Intelligence1999; 2: 1401-6.
[27] Felzenszwalb P, Gurchik R, McAllester D, Ramanan D. Object detection with discriminatively trained part base models. IEEE Transactions on Pattern Analysis and Machine Intelligence 2010; 32(9): 1627-45.
[28] Laptev I. Improvements of object detection using boosted histograms. Image and Vision Computing 2009; 27(5): 535-44.
[29] Chang C, Lin C. LIBSVM: a library for support vector machine. Source: (http://csiewiki.org/cjlin/libsvm/).
[30] MORPH (Craniofacial Longitudinal Morphological Face Database). Source: (http://www.faceaging-group.com/morph/).
[31] The FG-NET aging Database. Source: (http://www.fgnet.rsunit.com).
[32] Labeled Faces in the Wild dataset. Source: (http://www.cs.umass.edu/lfw/).
CONSECUTIVE GENDER AND AGE CLASSIFICATION FROM FACIAL IMAGES BASED ON RANKED LOCAL BINARY PATTERNS
A.V. Rybintsev1, V.S. Konushin2, A.S. Konushin1,3 1M. V. Lomonosov Moscow State University, Moscow, Russia,
2Video Analysis Technologies LLC, Moscow, Russia,
3Higher School of Economics, Moscow, Russia
Abstract
A new algorithm for consecutive classification of gender and age based on a two-stage support vector regression is proposed. Only most significant local binary patterns are used to describe the image. To enhance the gender classification accuracy we use bootstrapping with the training based on difficult examples, whereas the age classification is improved through the use of floating age ranges.
768
Компьютерная оптика, 2015, том 39, № 5
Последовательная половая и возрастная классификация людей по изображению лица...
Рыбинцев А.В., Конушин В.С., Конушин А.С.
Keywords: machine learning, image classification, gender classification, age classification, local binary patterns, Adaboost, support vector machine, bootstrapping, support vector regression.
Citation: Rybintsev AV, Konushin VS, Konushin AS. Consecutive gender and age classification from facial images based on ranked local binary patterns. Computer Optics 2015; 39(5): 7629. - DOI: 10.18287/0134-2452-2015-39-5-762-769.
Acknowledgements: The work was partially funded by the RFBR grant No. 14-01-00849.
Сведения об авторах
Рыбинцев Андрей Владимирович, 1991 года рождения, аспирант, в 2014 году окончил Московский государственный университет имени М.В. Ломоносова, факультет вычислительной математики и кибернетики, кафедра АСВК, лаборатория компьютерной графики и мультимедиа. Область научных интересов: распознавание и классификация изображений.
E-mail: [email protected].
Adrey Vladimirovich Rybintsev (b. 1991), post-graduate student, graduated from Lomonosov Moscow State University in 2014, Computational Mathematics and Cybernetics faculty ASVK department, Graphics and Multimedia laboratory. Research interests are image recognition and classification.
Конушин Вадим Сергеевич, 1985 года рождения, в 2007 году окончил МГУ имени М.В. Ломоносова. Работает в ООО «Технологии видеоанализа».
E-mail: [email protected].
Vadim Sergeyevich Konushin (b. 1985) graduated from Lomonosov Moscow State University in 2007 and currently work at “Video Analysis Technologies” LLC.
Конушин Антон Сергеевич, 1980 года рождения, в 2002 году окончил МГУ имени М.В. Ломоносова. В 2005 году защитил кандидатскую диссертацию в ИПМ имени М.В. Келдыша РАН. Работает доцентом на ВМК МГУ имени М.В. Ломоносова и доцентом в НИУ ВШЭ. Научные интересы: компьютерное зрение, машинное обучение.
E-mail: [email protected] .
Anton Sergeyevich Konushin (b.1980) graduated from Lomonosov Moscow State University in 2002. In 2005 he successfully defended his PhD thesis in M.V. Keldysh Institute for Applied Mathematics RAS. He is currently associate professor at Lomonosov Moscow State University and at NRU HSE. Research interests are computer vision and machine learning.
Поступила в редакцию 13 августа 2015 г. Окончательный вариант - 11 ноября 2015 г.
Компьютерная оптика, 2015, том 39, № 5
769
