О подходах к распознаванию и идентификации персоны по цифровым изображениям в задачах обеспечения общественной безопасности

Кучеров Сергей Александрович; Самойлов Алексей Николаевич; Маакот Амин Касим Ммаакот; Кучерова Маргарита Сергеевна

УДК 004.93'12

05.00.00 Технические науки

О ПОДХОДАХ К РАСПОЗНАВАНИЮ И ИДЕНТИФИКАЦИИ ПЕРСОНЫ ПО ЦИФРОВЫМ ИЗОБРАЖЕНИЯМ В ЗАДАЧАХ ОБЕСПЕЧЕНИЯ ОБЩЕСТВЕННОЙ БЕЗОПАСНОСТИ

Кучеров Сергей Александрович к.т.н.

SPIN-код: 9200-1637 ScopusID :56962589600 skucherov@sfedu.ru

Самойлов Алексей Николаевич к.т.н., доцент

SPIN-код: 3984-2664Scopus ID:35103477400 asamoylov@sfedu.ru

Маакот Амин Касим Ммаакот аспирант

amaakot@gmail.com

Кучерова Маргарита Сергеевна аспирант

kutcherovams@gmail.com Институт компьютерных технологий и информационной безопасности, Инженерно-технологическая академия Южного федерального университета, Таганрог, Россия

Одним из ключевых направлений междисциплинарных исследований является обеспечение общественной безопасности. Для решения ряда задач в рамках данного направления могут эффективно применяться информационные технологии и, в частности, технологии автоматизированного распознавания образов и идентификации объектов по цифровым изображениям. Помимо известных проблем устранения влияния освещенности, ракурса, элементов одежды и головных уборов при обеспечении общественной безопасности применимость подхода к решению задачи распознавания и идентификации также определяется скоростью обработки, возможностями пополнения на лету списка «знакомых» системе образов, вычислительной сложностью алгоритмов. В статье рассмотрены основные подходы к распознаванию и идентификации объектов на цифровых изображениях, основанные на статистических подходах, а также на нейросетевых моделях. Выделяются их основные особенности и принципы, дается краткая характеристика каждого метода. Рассмотрение произведено с точки зрения применения для задач обеспечения общественной безопасности, в которых важна скорость идентификации объекта, возможность быстрого

UDC 004.93'12 Technical sciences

TO THE APPROACHES OF RECOGNITION AND IDENTIFICATION OF INDIVIDUALS WITH DIGITAL IMAGES IN THE TASK OF ENSURING PUBLIC SAFETY

Kucherov Sergey Alexandrovich Cand. Sci. Tech.

SPIN-code:9200-1637 ScopusID:56962589600 skucherov@sfedu.ru

Samoylov Alexey Nikolaevich

Cand. Sci. Tech., docent

SPIN-code: 3984-2664Scopus ID:35103477400

asamoylov@sfedu.ru

Maakot Ameen Qasim Mmaakot Postgraduate student amaakot@gmail.com

Kucherova Margarita Sergeevna Postgraduate student kutcherovams@gmail.com

Institute of Computer Technology and Information Security, Engineering and Technological Academy of Southern Federal University, Taganrog, Russia

One of the key areas of interdisciplinary research is to ensure public safety. In order to solve a number of problems within this area we can effectively use information technology and, in particular, an automated pattern recognition technology and identification of objects on digital images. There are addition problems in objects identifying process besides eliminating the influence of ambient light, angle, items of clothing and headgear. To ensure the applicability of the recognition approach to public security issues it must meet requirements of the high processing speed, the replenishment capabilities on-the-fly list of known images, and the low computational complexity of algorithms. The article deals with the main approaches to the recognition and identification of objects on digital images based on statistical approaches, as well as neural network models. We have allocate their basic features and principles, provided a brief description of each method. Consideration has been made in terms of the application for the problems of public safety, in which there is importance of the speed of the identification of the object, the ability of quickly learning for the system to accept new images and simultaneously process a plurality of input images. The analysis of the existing approaches has shown that none of them satisfy at least one or several needs, which are defined by domain problems of public safety

обучения системы новым образам и одновременной обработки множества входных изображений. Анализ существующих подходов показал, что ни один из них не удовлетворяет как минимум одному или сразу нескольким требованиям, определенным проблематикой обеспечения общественной безопасности

Ключевые слова: РАСПОЗНАВАНИЕ ОБРАЗОВ, Keywords: PATTERN RECOGNITION, OBJECT ИДЕНТИФИКАЦИЯ ОБЪЕКТОВ, IDENTIFICATION, PHOTOMETRY, PUBLIC

ФОТОМЕТРИЯ, ОБЩЕСТВЕННАЯ SECURITY

БЕЗОПАСНОСТЬ

Введение

Интерес к автоматизированному распознаванию и идентификации персоны в настоящее время обусловлен несколькими факторами. Широкий спектр задач, от обеспечения безопасности массовых мероприятий до охранных и криминалистических нужд, побуждает исследователей по всему миру искать новые алгоритмы распознавания и идентификации персоны по цифровым изображениям. Кроме того, развитие аппаратных и программных технологий фотометрии [1], захвата и предварительной обработки изображений повышает степень достоверности решений.

Одной из приоритетных задач для Государства является обеспечение общественной безопасности, целевые аспекты которой изложены в Концепции, утвержденной Президентом РФ [2]. Системы автоматизированного распознавания и идентификации в данном контексте могут применяться для выявления в толпе разыскиваемых лиц. В местах большого скопления людей (вокзалы, аэропорты, митинги, концерты и т.д.) формируются особые требования к скорости и качеству решения задачи распознавания, что не всегда позволяет применить существующие аппаратно-программные комплексы и алгоритмы.

В данной статье предлагается анализ существующих категорий методов распознавания и идентификации объектов на цифровых изображениях с точки зрения возможности их применения в сфере обеспечения общественной безопасности.

Общие принципы распознавания и идентификации образов

Наиболее сложным случаем постановки задачи идентификации личности является работа в сильно изменяющейся обстановке, с большим потоком входных данных (работа на городских улицах с интенсивным движением, в метро, аэропортах и т. д.). Алгоритм идентификации должен уметь эффективно отсекать статические и медленно изменяющиеся объекты, работать в различных условиях освещенности, опознавать фигуру человека под различными ракурсами, отслеживать передвижение множества людей и автоматически выбирать момент, подходящий для выполнения идентификации данного человека.

На сегодняшний день существует широкий набор методов решения задач распознавания и идентификации. Независимо от конкретного подхода можно выделить общую структуру процесса идентификации личности по цифровым изображениям (рис. 1).

Изображение ^ Локализация лица/ Расположение лица, размер, Пред вар ит ельн ая Обработанное лицо Идентификация лица Идентификация лица

Отслеживание обработка лица по признакам

Рисунок 1. Обобщенная схема идентификации личности по цифровым

изображениям

Входными данными для системы идентификации являются цифровые изображения. На первом этапе идентификации выполняется определение и локализация лица на изображении, дающая на выходе необходимый набор параметров для дальнейшей предварительной обработки. Далее осуществляется этап предварительной обработки, в котором производится выравнивание изображения лица (геометрическое и яркостное). Эти две задачи на данный момент можно считать тривиальными, поскольку существующие алгоритмы позволяют реализовывать решения задач локализации лица и его предварительной

обработки на мобильных устройствах с относительно низкой производительностью.

Основную сложность на сегодняшний день продолжает составлять задача идентификации лица (рис. 2). Сложность задачи заключается в вариативности ключевых параметров, используемых при идентификации (ракурс, освещение и т.д.), в условиях реального применения.По этой причине подавляюще большинство существующих методов сосредоточены и отличаются между собой подходами к вычислению признаков и сравнению их совокупностей между собой.

Рисунок 2. Структура процесса идентификации личности

Согласно рисунка 2, процесс идентификации личности может быть описан следующим образом:

1. Обработанное для дальнейшего анализа лицо подвергается извлечению признаков. Каждый частный подход к решению задачи извлечения признаков состоит в выполнении ряда сложных вычислений и решения оптимизационных задач, в зависимости от метода используются графовые, векторные, матричные и другие способы представления.

2. Полученный набор признаков объекта (чаще всего представленный вектором) используется для поиска в базе данных фотопортретов среди известных векторов признаков, решается задача нахождения соответствия с минимизацией целевой функции отклонения полученного вектора признаков от вектора признаков, находящегося в базе данных.

В результате происходит вывод информации о совпадении (или несовпадении) объекта на цифровом изображении с объектами из базы данных. Также может решаться обратная задача, в которой заданному объекту из базы данных (например, разыскиваемому лицу) ищется соответствие на цифровых изображениях из камер.

Анализ существующих подходов к распознаванию и идентификации

Метод гибкого сравнения на графах[3] основан на эластичном сопоставлении графов, описывающих изображения объектов. Для решения задачи распознавания создается эталонный граф, который является статическим и описывает известный объект. Второй граф деформируется с целью подгонки к исходному статическому. При этом применяются взвешенные ребра и вершины.

В вершинах графа вычисляются значения признаков, чаще всего на основе фильтров Габора или их Габоровскихвейвлет[4].Ребрам графа присваивается вес в соответствии с расстоянием до смежных вершин. Расстояние между статичным и деформируемым графами вычисляется при помощи целевой функции деформации, учитывающей различие между значениями признаков на основе вычисленных вершин а также степень деформации ребер. Значение функции деформации является мерой различия между входным изображением объекта и эталонным графом, описывающим известный системе объект. Распознавание осуществляется через поиск наилучшего значения функции деформации.

Данный метод обладает высокими показателями распознавания -выше 80% [3] при изменении ракурса лица до 15 градусов. Однако в нем не предусмотрено каких-либо средств предварительного ограничения перечня объектов для сопоставления, поэтому к числу его основных недостатков можно отнести высокую вычислительную сложность[5],

которая связана с необходимостью сравнения входного изображения со всеми известными.

Системы распознавания и идентификации на основе нейронных сетейпозволяют классифицировать поданное на вход изображение объекта в соответствии с предварительным обучением на наборе известных объектов. Суть обучения сети сводится к настройке весов межнейронных связей в процессе решения оптимизационной задачи методом градиентного спуска.

Наилучшие результаты в области распознавания лицпоказала свёрточная нейронная сеть [6-9], отличительными особенностями которой являются локальные рецепторные поля, общие веса и иерархическая организация с пространственными сэмплингом. Данная сеть является наиболее устойчивой к изменениям входных данных (масштаб, ракурс, освещение).Методы распознавания на основе нейронных сетей являются наиболее эффективными с точки зрения решения поставленных задач. Однако основным ограничением на их применение является процедура обучения. Все известные нейросетевые методы основаны на использовании фиксированного набора эталонов для обучения, что при появлении нового объекта в базе данных требует полного переобучения. В реальных условиях это приводит к простоям от одно часа до нескольких дней.

Скрытые Марковские модели это статистический метод распознавания на основе использования статистических свойств и пространственных характеристик сигналов [10,11]. В качестве элементов модель использует два вида состояний (скрытые и наблюдаемые), матрицу переходных вероятностей и начальные вероятности состояний. Процесс распознавания объекта строится по принципу поиска максимальной вероятности генерации последовательности наблюдений соответствующей Марковской моделью из базы известных объектов.

Марковские модели позволяют решать обратную задачу нахождения объектов на изображении по модели, поскольку повышают отклик изображения на свою модель. В то же время, они считаются неразличающими, поскольку наряду с максимизацией отклика изображения на свою модель не происходит минимизации откликов на другие.

Метод главных компонентиспользует методК.Пирсона[12] для снижения пространства признаков и основан на преобразовании Карунена-Лоева[13]. С помощью него объекты представляются в виде векторов малой размерности (векторов главных компонент), что существенно ускоряет процесс обработки. Принцип аналогичен другим статистическим методам, в которых входной вектор изображения сравнивается с имеющимися в базе данных. Основная цель метода главных компонент -минимизацияколичества признаков таким образом, чтобы они как можно лучше описывали «типичные» образы, принадлежащие множеству объектов .Метод является одним из наиболее используемых на практике, однако он чувствителен к изменениям в освещенности или выражении лица. Его модификация, предложенная в [14], дает более высокий результат, однако высокая трудоемкость вычисления набора собственных векторов делает его неприменимым для решения поставленных задач.

Активные модели внешнего вида— это статистические модели изображений, приводимые к реальному изображению объекта путем деформаций различной природы [14,15]. Данные модели используют два типа параметров: параметры формы и параметры внешнего вида. Вначале производится обучение модели на множестве заранее размеченных изображений. Разметка изображений производится вручную или в полуавтоматическом режиме. Активные модели внешнего вида эффективно решают задачу выявления признаков из изображений, однако сами по себе не предусматривают алгоритмов идентификации и сличения

выявленных признаков с эталонными в базе данных. По этой причине в чистом виде данный подход к решению поставленной задачи не применим. Также существуют проблемы с вычислительной сложностью, однако были предложены отдельные частные решения [15,16].

Заключение

Рассмотренные в статье методы обладают достаточной эффективностью распознавания в заданных условиях. Наиболее эффективными методами с точки зрения борьбы с плохой освещенностью, изменениями ракурса и т.д. являются нейронные сети и активные модели внешнего вида.

Однако основной особенностью задач обеспечения общественной безопасности с применения систем распознавания и идентификации объектов по цифровым изображениям, является необходимость минимизации затрат (временных и вычислительных) на распознавание, а также снижение трудоемкости обучения системы новым образам. С этой точки зрения существующие методы можно считать неприменимыми в целом или ограниченно применимыми.

В целях достижения наилучшего сочетания качества распознавания и времени обучения системы может быть выдвинута следующая гипотеза -комбинирование существующих методов и одновременное применение современных биоинспирированных методов для решения подзадач оптимизации поиска соответствий позволит достичь требуемого уровня производительности, времени обучаемости и качества идентификации личности по цифровым изображениям.

Списокиспользованнойлитературы

1. Samoylov A. The method of constructing the structures of configurable automated system for measuring volume of roundwood // WIT Transactions on Information and Communication Technologies. Volume 58 VOL I, 2014, Pages 277-284

2. Концепция общественной безопасности в Российской Федерации (утв. Президентом РФ 20.11.2013) // URL: http://kremlin.ru/acts/news/19653

3. StefanosZafeiriou, Maria Petrou. 2.5D Elastic graph matching // Computer Vision and Image Understanding 115 (2011) 1062-1072.

4. Martin Lades, Jan C. Vorbruggen, Joachim Buhmann, Jorg Lange, Christoph v.d. Malsburg, Rolf P. Wurtz, and Wolfgang Konen. Distortion Invariant Ob ject Recognition in the Dynamic Link Architecture // IEEE transactions on computers, vol. 42, no. 3, march 1993. p. 300-310

5. Брилюк Д.В., Старовойтов В.В. Распознавание человека по изображению лица нейросетевыми методами. - Минск, 2002. - 54 с. (Препринт / Ин-т техн. кибернетики НАН Беларуси; № 2)

6. S. Lawrence, C.L. Giles, Ah Chung Tsoi, A.D. Back. Face recognition: a convolutional neural-network approach // IEEE Transactions on Neural Networks, Volume: 8, Issue: 1, Jan 1997. p. 98-113

7. HuriehKhalajzadeh, Mohammad Mansouri, Mohammad Teshnehlab. Face Recognition Using Convolutional Neural Network and Simple Logistic Classifier // Soft Computing in Industrial Applicationsб Volume 223 of the series Advances in Intelligent Systems and Computing pp 197-207

8. Stefan Duffner. Face Image Analysis With Convolutional Neural Networks // Докторскаядиссертация, 2007 г. Режимдоступа: https://www.freidok.uni-freiburg. de/dnb/downl oad/4835

9. Двойной И.Р. Методы распознавания изображения лица человека по цветовым признакам и идентификации личности на основе скрытых Марковских моделей в системах видеонаблюдения: : дис. ... канд. техн. наук. Пензенский государственный технологический университет, Пенза, 2013

10. Гультяева Т. А. Применение скрытых Марковских моделей с одномерной топологией к задаче распознавания лиц // Российская научно-техническая конференция "Информатика и проблема телекоммуникаций" Материалы российской научно-технической конференции. Новосибирск: СибГУТИ,2006. Том I, с. 150-154.

11. Pearson, K. 1901. On lines and planes of closest fit to systems of points in space. Philosophical Magazine 2:559-572.

12. Кухарев, Г.А. Алгоритмы двумерного анализа главных компонент для задач распознавания изображений лиц / Г. А. Кухарев, И. Л. Щёголева // Компьютерная оптика. - 2010. - Т. 34, № 4. - С. 545-551.

13. Peter N. Belhumeur, Joao P. Hespanha, and David J. Kriegman. Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection // IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 19, NO. 7, JULY 1997, p. 711-720

14. T. Cootes, G. Edwards, and C. Taylor. Active appearance models. In Proceedings of the European Conference on Computer Vision, volume 2, pages 484-498, 1998.

15. S. Baker, R. Gross, and I. Matthews. Lucas-Kanade 20 years on: A unifying framework: Part 3. Technical Report CMU-RI-TR-03-35, Carnegie Mellon University Robotics Institute, 2003.

16. Iain Matthews and Simon Baker Active Appearance Models Revisited. International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 — 164.

References

1. Samoylov A. The method of constructing the structures of configurable automated system for measuring volume of roundwood // WIT Transactions on Information and Communication Technologies. Volume 58 VOL I, 2014, Pages 277-284

2. Koncepcija obshhestvennoj bezopasnosti v Rossijskoj Federacii (utv. Prezidentom RF 20.11.2013) // URL: http://kremlin.ru/acts/news/19653

3. StefanosZafeiriou, Maria Petrou. 2.5D Elastic graph matching // Computer Vision and Image Understanding 115 (2011) 1062-1072.

4. Martin Lades, Jan C. Vorbruggen, Joachim Buhmann, Jorg Lange, Christoph v.d. Malsburg, Rolf P. Wurtz, and Wolfgang Konen. Distortion Invariant Ob ject Recognition in the Dynamic Link Architecture // IEEE transactions on computers, vol. 42, no. 3, march 1993. p. 300-310

5. Briljuk D.V., Starovojtov V.V. Raspoznavanie cheloveka po izobrazheniju lica nejrosetevymi metodami. - Minsk, 2002. - 54 s. (Preprint / In-t tehn. kibernetiki NAN Belarusi; № 2)

6. S. Lawrence, C.L. Giles, Ah Chung Tsoi, A.D. Back. Face recognition: a convolutional neural-network approach // IEEE Transactions on Neural Networks, Volume: 8, Issue: 1, Jan 1997. p. 98-113

7. HuriehKhalajzadeh, Mohammad Mansouri, Mohammad Teshnehlab. Face Recognition Using Convolutional Neural Network and Simple Logistic Classifier // Soft Computing in Industrial Applicationsb Volume 223 of the series Advances in Intelligent Systems and Computing pp 197-207

8. Stefan Duffner. Face Image Analysis With Convolutional Neural Networks // Doktorskajadissertacija, 2007 g. Rezhimdostupa: https://www.freidok.uni-freiburg. de/dnb/downl oad/4835

9. Dvojnoj I.R. Metody raspoznavanija izobrazhenija lica cheloveka po cvetovym priznakam i identifikacii lichnosti na osnove skrytyh Markovskih modelej v sistemah videonabljudenija: : dis. ... kand. tehn. nauk. Penzenskij gosudarstvennyj tehnologicheskij universitet, Penza, 2013

10. Gul'tjaeva T. A. Primenenie skrytyh Markovskih modelej s odnomernoj topologiej k zadache raspoznavanija lic // Rossijskaja nauchno-tehnicheskaja konferencija "Informatika i problema telekommunikacij" Materialy rossijskoj nauchno-tehnicheskoj konferencii. Novosibirsk: SibGUTI,2006. Tom I, s. 150-154.