CC BY
281
5. Liu C., Yuen J., Torralba A. SIFT Flow: Dense correspondence across scenes and its applications // IEEE TPAMI. - 2011. - № 33. - P. 978-994.
6. Konrad J., Wang M., Ishwar P. 2D-to-3D image conversion by learning depth from examples // In: 3DCINE. - 2012. - P. 75-88.
7. Франц В.А., Левина О.М., Воронин В.В., Кожин Р.А. Первичная обработка карты глубины изображения. Успехи современной радиоэлектроники // Радиотехника. - 2013. - № 6.
- С. 39-43.
Статью рекомендовал к опубликованию д.т.н., профессор В.И. Марчук.
Воронин Вячеслав Владимирович - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: Voronin_sl@mail.ru; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 89885343459; кафедра теоретических основ радиотехники; к.т.н.; доцент.
Voronin Viacheslav Vladimirovich - Federal StateOwner Autonomous Educational Establishments of Higher Education “Southern Federal University”; e-mail: Voronin_sl@mail.ru; 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +79885343459; the department of fundamental of radio engineering; cand. of eng. sc.; associate professor.
УДК 004.93’12, 004.93’14
А.И. Шерстобитов, В.П. Федосов, В.А. Приходченко, Д.В. Тимофеев
РАСПОЗНАВАНИЕ ЛИЦ НА ГРУППОВЫХ ФОТОГРАФИЯХ С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМОВ СЕГМЕНТАЦИИ
Рассмотрено решение задачи распознавания лиц при обработке изображений группы лиц. Приведен обзор существующих методов предварительной обработки: фильтрация, сегментация. Рассмотрен ряд различных подходов для решения задачи распознавания лиц на изображениях. Представлена модификация метода распознавания лиц на основе анализа главных компонент. Модификация включает в себя использование алгоритмов предварительного разделения изображения на фон и объекты (лица). Эффективность предложенной модификации исследуется на наборе баз тестовых изображений лиц ORL, BioID и произвольно сформированном наборе групповых фотографий. Полученные результаты показывают увеличение эффективности распознавания лиц с использованием предварительных алгоритмов разделения изображения на фон и объекты распознавания. Предложенный метод распознавания лиц является устойчивым к фону обрабатываемого изображения, что может существенно расширить область его использования. Использование предложенного алгоритма позволяет структурировать информацию при обработке изображений лиц и осуществлять поиск и группировку фотографий заданного человека. Предложен оригинальный алгоритм автоматизированного распознавания лиц на групповых фотографиях, позволяющий существенно расширить решение задачи идентификации.
Распознавание образов; метод главных лиц; детектирование лиц; разделение изображения на объект и фон; распознавание; идентификация.
A.I. Sherstobitov, V.P. Fedosov, V.A. Prihodchenko, D.V. Timofeev
FACE RECOGNITION ON GROUPS PHOTOS WITH USING SEGMENTATION ALGORITHMS
This paper considers solution of face recognition problem in case image processing of group faces. A review of existing methods of pre-processing: filtering, segmentation are present. Considered a set of different approaches to solving the problem offace recognition on images. In paper present modification of method face recognition on base PCA (eigenface). Modification involve using reprocessing image of matting algorithm. Results of research is exam on several base of images (ORL, BioID) and manual set of images of group peoples - UserlD. The results are
shows an increase in the efficiency of face recognition in case using algorithms preliminary separation image on the background and field recognition. The proposed face recognition method is robust to the image background, that can significantly extend field of its using. Results of studies concluded that the use of image matting improves the robust of the system face recognition. The proposed algorithm allowed identify faces by image with single persons, and with group persons.
Pattern recognition; eiganface; face detection; image matting; reognition; identification.
Введение. Широкое использование систем цифровой регистрации фотографии и видеосигналов способствует переходу на решения более сложных, комплексных задач. Современные системы цифровой обработки изображений и видеосигналов эволюционируют, как и круг решаемых ими задач - от фильтрации, улучшения качества, гамма-коррекции, изменения динамического диапазона до адаптивной сегментации изображений, кластеризации на объекты, распознавания образов, автоматизированного структурного описания.
Использование автоматизированных систем распознавания образов находят все более широкое применение. Одной из наиболее часто решаемых задач является реализация методов автоматизированного распознавания лиц, что является сложной комплексной задачей. Решение данной задачи находит широкое применение в самых различных областях взаимодействия человека и машины: биометрия, системы безопасности, сопровождения и анализ активности и т.д. [1]. Методы распознавания лиц можно разделить на два класса: распознавание лиц на основе определения локальных особенностей лица и целостное (holistic) распознавание лиц [1]. Основу обоих классов распознавания лиц составляет метод главных компонент [2]. Использование метода главных компонент позволяет найти более значимые проекции векторов, которые содержат наиболее важную информацию об оригинальном изображении. Таким образом, изображения представляются набором основных его составляющих (дескрипторов), устраняя избыточность. В качестве инструмента определения компактного набора дескрипторов, однозначно описывающих оригинальное изображение, могут быть использованы различные инструменты: линейный дискриминантный анализ, методы вычисления моментов функции (LDA, LBP, Moments function и т.д. Fischerface) [1, 2]. Как правило, использование рассматриваемых методов применимо к многомерным сигналам (изображениям), содержащим только одно лицо на однородном фоне. Использование данных методов для обработки групповых изображений людей крайне ограничено. В связи с этим актуальным является решение задачи распознавания группы лиц на изображениях с текстурированным фоном.
Постановка задачи. Решение задачи распознавания лиц на изображении включает в себя несколько этапов. Предполагается, что предварительная обработка изображения, связанная с устранением действующих помех и искажений, обусловленных трактом получения и передачи по каналам связи, выполнена [3]. Выдвигается гипотеза, что на изображении представлен человек с различимыми чертами лица. Как правило, его изображение представлено на окружающем фоне, который является не однородным (предметы интерьера или экстерьера). Первый этап системы распознавания лиц заключается в определении локальной области изображения лица человека по его характерным признакам (цветовые составляющие, локальные особенности точек лица и их взаимное расположение, форма). Извлечение и оценка этих признаков лежит в основе целого класса алгоритмов, направленное на решение задачи детектировании лиц на статических изображениях и видеопоследовательностях [1, 2, 4, 5].
Математическая модель наблюдаемого изображения I определяется следующим выражением [6]:
I = alIl + (1 -ах) ■ (a2I2 + (1 -а2){... + (1 ~aN l) ■ IN)), (!)
где //^ - набор из N слоев, совокупность которых формирует исходное изображение I, разделенных с помощью альфа-каналов е [0,1], /„..,4 и ам являются матрицами размера \т х г}. Альфа-каналы ам представляют собой маски, позволяющие выделять отдельные объекты сцены (рис. 1).
Рис. 1. Разложение изображения на слои
Решением задачи распознавания лица на групповой цифровой фотографии является установление соответствия каждого / образа заданному изображению лица человека.
Решение задачи. Классическое решение задачи распознавания лиц человека включает в себя несколько этапов. На первом этапе выделяется лицо из общей сцены изображения [4]. Второй этап заключается в нормализации (подгонка разрешения изображения, преобразование цветов, повороты изображений на определенный угол и т.п.). На третьем этапе обработки формируется вектор признаков лица на основе выбранного алгоритма (из класса интегральных методов или поиска локальных особенностей). Последним этапом является применение классификатора, который в области векторов признаков осуществляет идентификацию лица [7]. На рис. 2 представлена классическая схема алгоритма распознавания лиц.
Рис. 2. Блок-схема классического алгоритма распознавания лиц
Предлагается модифицировать схему, представленную на рис. 2, путем использования предварительного алгоритма разделения изображения на фон и объект (“matting”) с целью устранения текстурированного фона на изображении, что позволит итерационно получить разделение исходного изображения на слои (1) (рис. 3) [8, 9].
Рис. 3. Блок-схема алгоритма распознавания лиц на групповой фотографии
Для локализации лиц на изображении используется детектор лиц Виолы-Джонса, так как имеет лучшее соотношение между эффективностью поиска лиц и необходимыми вычислительными затратами. Метод основывается на поиске локальных особенностей лица с помощью базисных функций Хаара [4]. Использование признаков Хаара позволяет существенно снизить вычислительные затраты. Для выбора наиболее подходящих особенностей и обучения классификатора применяется алгоритм AdaBoost [7]. Последующей процедурой является нормализация изображения и выделение слоев, содержащих только лица людей, исключив влияние текстурированного фона. Для этой цели используется метод классификации множества точек объекта и фона на изображении с помощью определения альфа-канала в канонической форме («matting») [8, 9]. Исходная модель (1) для каждого слоя Iw описывается выражением
Ii =aJi + (1 — ai)'1 1 е N’
* ** где Iг- - является как фон относительно текущего выделяемого слоя I. , а I -матрица выделяемого объекта. Алгоритм выделения слоя основывается на предпо-
* * *
ложении, что цвета пикселей в малых фрагментах изображений I i и I являются линейной комбинацией цветов (лежат примерно на одной прямой в пространстве RGB). Для изображения I., представленного в градациях серого, at можно считать линейно зависящим от цвета в локальной области изображения [9]:
a
aI, + b, У і є w,
(2)
где a = 1/(I* — I*),b = —I* /(I** — I*) и w - локальное окно на изображении раз-
мера
{<? х <?}. Значения a , а и b минимизируют целевую функцию:
Jєі
J(a,a,b) = E E(a, — ajI, — bj )2 +
-sa.
(З)
где Wj - окно с центром в пикселе ].
Использование метода определения альфа-канала в канонической форме позволяет эффективно выделить объекты в группе лиц на текстурированном изображении без использования глубокой сегментации исходного изображения.
Для локализованных лиц на текстурированных изображениях используется их разложение на главные компоненты. Используется подход получения вектора признаков из класса глобальных методов распознавания [10]. Для проведения процедуры распознавания изображения на основе метода главных компонент специальным образом формируется матрица Х, размерность которой определяется по одной из координат количеством обрабатываемых изображений Р, а по второй -
количеством точек, содержащихся в каждом изображении. Таким образом, каждая строка матрицы Х представляет собой разложение изображения по строкам или столбцам. В качестве тестовой матрицы ХM (обучающий набор из М изображений) выступает подматрица ХM общей матрицы Х путем формирования заданного набора столбцов (обучающая выборка изображений). Ковариационная матрица Е набора XM разлагается на собственные вектора и собственные значения
Л=СТ -Е-С, (4)
где С - матрица собственных векторов, Л - диагональная матрица собственных чисел. Из С выбирается подматрица Ск , соответствующая К наибольшим собственным числам матрицы Л. Преобразование
У = СК X, (5)
где X = X — X - нормализованный вектор с нулевым математическим ожиданием, характеризует большую часть общей дисперсии и показывает самые значительные изменения Х^ Выбор первых K главных компонент разбивает векторное пространство на главное пространство Г = {Сг }^, содержащее главные компоненты, и его ортогональное дополнение Г = С, }^к+\ [10]. Процесс распознавания
лиц на групповых фотографиях заключается в сравнении главных компонент тестируемого изображения лица с главными компонентами всех остальных изображений лиц групповой фотографии на основе евклидовой метрики (рис. 3).
Экспериментальные исследования. Для проведения всесторонних исследований построены 14 экспериментов, как на стандартных базах изображений, так и на специально подготовленных наборах изображений. С целью проведения подробных исследований в качестве первой тестовой базы изображений выбрана библиотека лаборатории ORL (АТ&Т), где изображения лиц представлены на однородном фоне в разрешении 92*112 пикселей [11]. База содержит изображения лиц 40 людей в 10 различных ракурсах. Изображения получены с различной освещенностью, положением головы и губ, с очками и без, открытыми и закрытыми глазами. Второй тестовой базой изображений выбрана коллекция фотографий ВюГО [12], которая состоит из изображений 23 человек с разрешением 384*286 в 10 различных ракурсах каждое. При этом основное отличие её от базы ORL является наличие фоновых объектов, т.е. представлено не только лицо человека, но и часть его тела, неоднородный задний фон. С целью получения адекватных оценок, база ВюГО имела несколько модификаций: ручное выделение только области лица человека на каждой фотографии (ВюГО(с^), рис. 4,б), выделение области только лица (ВюГО(сШ+), рис. 4,в) и автоматическое выделение области лица с помощью matting-алгоритма (ВюГО(таШ^), рис. 4,г). Наряду со стандартными базами изображений, сформирована пользовательская база изображений ШегГО из произвольного набора групповых фотографий разрешения 512*321. В рамках исследований проведено 14 экспериментов, построенных по разным схемам распознавания (рис. 2-3). В качестве тестового лица поочередно перебирались все изображения, входящие в используемую базу изображений.
В экспериментах 1-8 представлены результаты распознавания лиц при использовании различных вариантов их представлений для последующей идентификации из базы ВюГО (рис. 4) с использованием классической схемы распознавания. В 9 эксперименте использовалась схема распознавания лиц рис. 3. Для реализации 10 экспериментов из изображений базы ВюГО была составлена общая групповая фотография из 180 изображений. Распознавание лиц осуществлялось по схеме рис. 3. Аналогичные эксперименты проведены на самостоятельно сформированной базе
изображений ШегГО. При реализации 11 эксперимента в качестве тестового изображения использовалось автоматически предобработанное изображение, как это представлено на рис. 4. База изображений формировалась по произвольным групповым фотографиям, а схема распознавания определялась схемой, представленной на рис. 3. В 12 эксперименте исходные данные аналогичны 11 эксперименту, при этом дополнительно используется информация о цвете. Эксперименты 13 и 14 проведены в соответствии с начальными условиями экспериментов 5 и 4 соответственно (пример изображений, извлекаемых из групповых фотографий соответствует рис. 4,в,г). Результаты идентификации лиц представлены в табл. 1.
а б в г
Рис. 4. Изображения базы изображений BioID: а - BioID; б - BioID(cut); в - BioID(cut+); г - BioID(“matting”)
Численные значения правильного и ошибочного распознавания лиц в экспериментах 1-14 представлены в табл. 1 (р, а- оценки вероятности правильного и неверного распознавания лиц, выраженные в процентах).
Таблица 1
Результаты экспериментальных исследований
Эксперимент База лиц Р, % а, %
Эксперимент 1 ORL 93,3 6,7
Эксперимент 2 BioID 99,47 0,53
Эксперимент 3 ORL и BioID 94, 75 5,25
Эксперимент 4 BioID (cut) 93,15 6,85
Эксперимент 5 BioID (cut+) 76,84 23,16
Эксперимент 6 ORL и BioID (cut) 90,75 9,25
Эксперимент 7 BioID (cut) и BioID (cut+) 19,47 80,53
Эксперимент 8 BioID (cut) и BioID 13 87
Эксперимент 9 BioID ("matting”) 82,63 17,36
Эксперимент 10 BioID (коллаж) 83,88 16,12
Эксперимент 11 Групповое фото (UserID) 62 38
Эксперимент 12 2 групповых фото (UserID) 57,1 42,9
Эксперимент 13 Групповое фото (UserID) 34 66
Эксперимент 14 Групповое фото (UserID) 42 58
Анализ результатов проведенных экспериментов показывает, что идентификация лиц по изображениям на однородном и неоднородном фоне (эксперимент 1 и 2 соответственно) имеет схожие результаты, при этом наличие текстурированно-го фона способствует увеличению эффективности идентификации личности (эксперимент 2). Эксперимент 3 отражает усредненный результат при использовании расширенной базы изображений ORL & ВюГО. При исключении фона на изобра-
жениях (эксперимент 4, 5) путем простого усечения (рис. 4,б,в) не приводит к улучшению идентификации. Использование различных комбинаций этих изображений также существенно снижает эффективности используемого алгоритма главных компонент (эксперименты 6-8). Таким образом, исключение области фона простым прямоугольным ограничением изображении не приводит к улучшению идентификации лиц. Использование предложенной схемы обработки (эксперимент 9 и рис. З) позволяет получить эффективность распознавания более 80 %. Использование предложенного алгоритма (рис. З) на групповой фотографии подтверждает эффективность предложенного подхода при обработке групповых фотографий (эксперимент 10). При решении задачи распознавания лиц на базе UserID (эксперимент 11) показывает удовлетворительные результаты. При этом условия проведения эксперимента 11 хуже, чем для эксперимента 10: групповые фотографии представлены на различных фонах, уровень освещенности и экспозиция существенно изменяются от изображения к изображению, но при этом процент распознавания остается не ниже 60 %. Эксперименты 12-14 проведены при таких же начальных условиях, как эксперименты 2, 4, 5 соответственно и отражают общую тенденцию при реализации классической схемы распознавания и расширенной (рис. 2 с предварительным детектированием лиц).
Выводы. Предложен оригинальный алгоритм автоматизированного распознавания лиц на групповых фотографиях, позволяющий существенно расширить решение задачи идентификации. Использование предложенного алгоритма позволяет структурировать информацию при обработке изображений лиц и осуществлять поиск и группировку фотографий заданного человека.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Stan Z. Li, Anil K. Jain. Handbook of Face Recognition, Stan Z. Li, Anil K. Jain, Second Edition, Springer, 2011. - 699 p.
2. Rabia Jafri, Hamid R. Arabnia. A Survey of Face Recognition Techniques // Journal of Information Processing Systems - JIPS. - 2009. - Vol. 5, № 2. - Р. 41-68.
3. Махонин Г.М., Федосов В.П., Черниховская Г.Л. Обнаружение локационных объектов в сложных средах с поглощением // Радиотехника. - 2006. - № 2. - С. 90-95.
4. Viola P., Jones M.J. Rapid object detection using a boosted cascade of simple features // IEEE Conf. on Computer Vision and Pattern Recognition. - 2001. - Vol. 1. - P. 511-518.
5. Papageorgiou C., Oren M., and Poggio T. A general framework for object detection. In International Conference on Computer Vision, 1998.
6. Фомин А. Ф., Новоселов О.Н., Плющев А.В. Отбраковка аномальных результатов измерений. - М.: Энергоатомиздат. 1985. - 200 с.
7. Sochman J., Matas J. AdaBoost with totally corrective updates for fast face detection // Center for Machine Perception, Czech Technical University, Prague. 2004. URL: (http://cmp.felk.cvut.cz~sochmj1).
8. Шерстобитов А.И., Марчук В.И., Тимофеев Д.В., Сизякин Р.А. Классификация объектов при анализе текстурированных цветных цифровых изображений // Нелинейный мир.
- 2012. - Т 10, № 11. - С. 769-776.
9. Levin A., Lischinski D., Weiss Y. A closed form solution to natural image matting, in Proceedings of IEEE CVPR, 2006. - P. 277-302.
10. Kyungnam Kim Face Recognition using Principle Component Analysis // Department of Computer Science University of Maryland, College Park. - P. 1-7.
11. The ORL Database of Faces [электронный ресурс] // 2010. URL:
http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html (дата обращения - 10.12.2012).
12. Jesorsky O., Kirchberg K., Frischholz R., In J. Bigun and Smeraldi F. Editors, Audio and Video based Person Authentication - AVBPA 2001. - Springer, 2001. - P. 90-95.
Статью рекомендовал к опубликованию д.т.н., профессор В.И. Марчук.
Шерстобитов Александр Иванович - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: sherstobitov.alexander@gmail.com; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: +79882588736; кафедра теоретических основ радиотехники; к.т.н.; доцент.
Федосов Валентин Петрович - e-mail: vpfedosov@sfedu.ru; тел.; 88634371632; кафедра теоретических основ радиотехники; д.т.н.; профессор.
Приходченко Владислав Александрович - Институт сферы обслуживания и предпринимательства (филиал) Федеральное государственное бюджетное учреждение высшего профессионального образования «Донской государственный технический университет»; e-mail: vladincho@gmail.com; 346500, г. Шахты, ул. Шевченко, 147; тел.: +79882588736; кафедра радиоэлектронных систем.
Тимофеев Дмитрий Витальевич - e-mail: timofeev.dimitriy@gmail.com; тел.: +79882588736; кафедра радиоэлектронных систем.
Sherstobitov Alexander Ivanovich - Federal State Owner Autonomous Educational Establishments of Higher Education “Southern Federal University”; e-mail: sherstobitov.alexander@gmail.com; 44, Ne-krasovskiy, Taganrog, 347928, Russia; phone: +79882588736; the department of fundamental of radio engineering; cand. of eng. sc.; associate professor.
Fedosov Valentine Petrovich - e-mail: vpfedosov@sfedu.ru; phone: +78634371632; the department of fundamental of radio engineering; dr. of eng. sc.; professor.
Prihodchenko Vladislav Alexandrovich - Institute of Services and Business of Don State Technical University; e-mail: vladincho@gmail.com; 147, Shevchenko street, Shahty, 346500, Russia; phone. +79882588736; the department radio electronic systems.
Timofeev Dmitry Vitalievich - e-mail: vladincho@gmail.com; phone. +79882588736; the department radio electronic systems.
УДК 621.3.087
Ф.И. Кузнецов
МОДИФИЦИРОВАННЫЙ МЕТОД ПОДАВЛЕНИЯ ИМПУЛЬСНЫХ ПОМЕХ С ПОВЫШЕННОЙ ТОЧНОСТЬЮ В РЕАЛЬНОМ МАСШТАБЕ
ВРЕМЕНИ
При обработке сигналов датчиков неизбежно возникают погрешности, связанные с шумами в аналоговых и цифровых цепях и накладыванием внешних помех. Для повышения точности измерения вводят первичную цифровую обработку, в общем случае состоящую из подавления импульсных помех (ИП) и цифровой фильтрации.
В статье приводятся оценки погрешностей ряда методов подавления ИП в масштабе реального времени, а также предлагается способ вычислений, который позволяет повысить точность модифицированного метода подавления ИП [1]. Показывается, что недостаточно подавленная ИП трансформируется на выход цифрового фильтра. Эта трансформированная ИП в несколько раз больше шумовой помехи.
Повышение точности достигается путем замены недостоверного значения экстраполированным значением, рассчитанным по отфильтрованным значениям переменной. В свою очередь, фильтрация оцифрованных значений приводит к групповой задержке, и как следствие, необходимо экстраполировать переменную на большое число шагов, что снижает точность экстраполяции. С другой стороны, чем сильнее подавляются помехи цифровой фильтрацией, тем выше точность экстраполяции.
Полученные результаты позволяют сделать вывод о возможности использования экстраполяции отфильтрованной переменной для подавления ИП в реальном масштабе времени в модулях сбора и обработки информации сигналов аналоговых датчиков.
Подавление импульсных помех; экстраполяция; первичная цифровая обработка.
