CC BY
122
УДК 004.932
ИДЕНТИФИКАЦИЯ ДВИЖУЩЕГОСЯ ЧЕЛОВЕКА В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ А.Ю. Соломатин", А. С. Люберта, И. А. Зикратовь
a ООО Смартэг, Санкт-Петербург, Россия
ь Университет ИТМО, Санкт-Петербург, Россия, [email protected]
Аннотация. Предложен подход для решения задачи идентификации движущегося человека в системах видеонаблюдения. Задача решается в два последовательных этапа. На первом этапе в видеопотоке выделяется движение человека на фоне движения других объектов. На втором этапе проводится идентификация человека по изображению лица. Обнаружение движения человека осуществляется путем представления исходного видеопотока в виде временного ряда. Для этой цели применен математический аппарат исследования сингулярного спектра. Наличие движения определяется путем анализа периодических составляющих временного ряда, построенного на основе данных о цветовых и яркостных компонентах видеокадров исходного видеопотока. Идентификация человека по изображению лица реализуется путем представления изображения лица в виде двумерной матрицы с последующим применением математического аппарата иммунокомпьютинга. Для идентификации человека по изображению лица вычисляется энергия связи между объектами. Эта величина характеризует степень близости входного изображения лица к лицам, находящимся в обучающей выборке. Представленное в работе решение задачи идентификации движущегося человека дает возможность работы с видеопотоком низкого качества, имеющим высокий уровень шума либо артефакты сжатия при кодировании. Достоинством метода является простота реализации. В отличие от традиционных методов компьютерного зрения, предложенный метод не требует значительных вычислительных затрат, благодаря сведению процедуры анализа к выполнению простых числовых операций. Метод также не требует предварительной фильтрации изображений видеокадров, что позволяет значительно увеличить скорость работы.
Ключевые слова: видеонаблюдение, определение движения, анализ временных рядов, анализ периодических компонент, классификация объектов, идентификация физических лиц, иммунокомпьютинг.
MOVING PERSON IDENTIFICATION IN VIDEO SURVEILLANCE SYSTEMS
A.I. Solomatin", A.S. Lyuberta, I.A. Zikratovb
a Smartag LLC, Saint Petersburg, Russia
ь ITMO University, Saint Petersburg, Russia, [email protected]
Abstract. The paper deals with an approach for a moving person identifying in video surveillance systems. The proposed solution consists of two successive stages. Selecting of a moving human from all other moving objects in a video stream takes place at the first stage. Human identification based on facial image takes place at the second stage. Detection of a human's movement is performed via representation of the original video stream in a form of time series. Mathematical apparatus of a singular spectrum is applied for that purpose. The presence of motion is determined by analyzing the periodic components of time series constructed from color and brightness data of the original components of initial video stream. Identification of a person based on his facial image is done through representation of a facial image via two-dimensional matrix with the subsequent application of immune computing mathematical apparatus. Then the binding energy is calculated which shows similarity between the input facial image and faces stored in the training set. The proposed solution for a problem of a moving person's identifying gives the opportunity to work with low quality video stream having a high level of noise or compression artifacts after encoding. The advantage of the method is implementation simplicity. Unlike traditional methods of computer vision, the proposed method does not require significant computational burden due to simple numerical operations. This method does not require pre-filtering of video images, therefore its performance speed is significantly increased.
Keywords: video surveillance, motion detection, time series analysis, periodic components analysis, object classification, face identification, immune computing
Введение
В настоящее время постоянно увеличивается число систем и камер видеонаблюдения, решающих определенный набор задач информационной безопасности. Одной из наиболее актуальных, особенно в коммерческом использовании, задач является идентификация движущегося человека при видеонаблюдении. Автоматизация решения этой задачи позволяет существенно снижать временные и трудовые затраты в момент осуществления видеосъемки, а также при анализе отснятого видеоматериала [1]. Кроме того, появляется возможность снижать влияние человеческого фактора в течение всего времени видеонаблюдения за охраняемым периметром.
Задачу идентификации движущегося человека в настоящей работе предлагается решать в два этапа:
1. определение движения человека в видеопотоке;
2. идентификация человека по изображению лица.
Этап выявления движения человека в системах видеонаблюдения основан на анализе периодических колебаний цветовых и яркостных компонент видеопотока, возникающих вследствие присутствия характерных фаз движения объекта. В качестве основного математического аппарата метода используется быстро развивающийся метод анализа временных рядов [2-5], применяющийся в различных областях, таких как климатология, геофизика, техника, обработка изображений, эконометрика и т.п.; для решения
задач общего назначения, таких как выделение тренда, обнаружение периодичностей, корректировка на сезонность, сглаживание и подавление шума.
Этап идентификации человека по изображению лица, попадающего в поле зрения видеокамер, основывается на способе формирования обучающей выборки и математическом аппарате иммунокомпью-тинга. Выбор научно-методического аппарата иммунокомпьютинга не случаен и базируется на различных литературных источниках, в которых показано, что в реальных задачах распознавания образов иммуно-компьютинг превосходит конкурентов по простоте реализации, быстродействию и безошибочности распознавания [6-9].
В рамках решения частных задач исследования разработано несколько программных решений, наглядно демонстрирующих работоспособность предлагаемых методов для задачи идентификации движущегося человека в системах видеонаблюдения.
Обнаружение движения человека
Основная идея метода заключается в преобразовании исходного видеопотока в числовой временной ряд с последующим разложением на составляющие компоненты - тренд, периодические колебания и шум. Возможность определения наличия в кадре движения человека или подобного объекта обусловлена присутствием в его движении повторяющихся фаз (сгибание/разгибание конечностей, изменение освещенности отдельных областей объекта) [10]. В большинстве случаев частота изменения данных фаз совпадает с частотой колебаний частей тела субъекта, что позволяет классифицировать его по данным признакам.
Рис. 1. Фазы движения человека
На рис. 1 показана раскадровка тестового видео с изображением движущегося человека на белом фоне со скоростью движения порядка 130 шагов в секунду. На данном видеофрагменте наиболее четко выражены периодические фазы движения, что в совокупности с отсутствием заднего фона сцены позволяет исследовать характеристики движения посредством анализа временного ряда, составленного на основе данных видеопотока. В качестве исходных статистических данных видеокадра для построения временного ряда необходимо выбрать величину, наилучшим образом характеризующую содержимое данного видеокадра, а также позволяющую получить данное значение с наименьшей потерей производительности [11, 12]. В данном случае была выбрана величина, равная сумме всех точек видеокадра, представленных в оттенках серого:
= £ 0,299 йу + 0,587+ 0,114Ву, Су, 5у - цветовые компоненты точек видеоизображения.
где Rij, Gij,
H 1x108
я е к 1,110
о с м о й 1,105 1,100
X S 3 и и о о Ü р « ü s и 3 я 1,095 1,090 1,085
й м 1,080
м ^ о 1,075
1,070 ,
1x10'
° Й 1 « & 1
* Ü
3 ё 1 ® Я о ^ Р « 1 и S 1
! и 1
га
>у
о
40 60 Время, с а
60 Время, с б
Рис. 2. Зависимость суммы цветовых компонент видеокадра при движении: перпендикулярно направлению обзора камеры (а); по направлению обзора камеры (б)
На рис. 2 показаны графики временного ряда, построенного на основе вышеуказанных видеофрагментов. На определенных интервалах временного ряда период колебаний совпадает с периодом фазы движения объекта, что показывает возможность анализа коротких фрагментов видеопотока на наличие движения путем разложения исходного временного ряда на периодические компоненты и отделения их от других составляющих ряда. При анализе реальных видеопотоков с камер видеонаблюдения кроме периодических колебаний, определяющих движение, необходимо также учитывать периодические составляющие, возникающие в момент изменения участка фона позади движущегося объекта. Компенсация этих колебаний необходима для правильного определения периодических составляющих, принадлежащих конкретному объекту. Таким образом, базовое разложение исходного временного ряда может быть представлено в виде следующей формулы:
F(t) = B-ZiGi (t) + Y,iMi(t) + N, где B - компонента величины яркости заднего фона; Gt - периодическая компонента изменения заднего фона за i-м объектом; Mt - периодическая компонента движения i-го объекта; N - компонента шума.
Описываемый в работе метод разложения исходного ряда базируется на анализе временных рядов SSA («Гусеница»). Последний может быть использован без предварительного задания модели ряда, а также позволяет разложить ряд в сумму интерпретируемых компонент, таких как тренд, периодические компоненты и шум, без знания параметрической формы этих компонент, что полностью удовлетворяет требованиям задачи разложения временного ряда видеопотока.
В базовом методе SSA определены два параметра. Первый - целое число L - длина окна; второй параметр является структурным - это способ группировки собственных троек (компонент сингулярного разложения траекторной матрицы ряда). Базовый алгоритм SSA состоит из 4 шагов:
1. вложение;
2. сингулярное разложение;
3. группировка;
4. диагональное усреднение.
На первом шаге процедура вложения переводит исходный временной ряд в последовательность многомерных векторов. Строится траекторная матрица X исходного ряда размером L*K таким образом, что матрица X является ганкелевой, т.е. X имеет одинаковые элементы на антидиагоналях.
Результатом второго шага является сингулярное разложение матрицы (SVD, Singular Value Decomposition) траекторной матрицы ряда. Сингулярное разложение траекторной матрицы X может быть записано как
Х = £?=1Xi = £?=1 V^U^, где матрицы X, имеют ранг 1 и называются элементарными матрицами. Набор называется i-й
собственной тройкой сингулярного разложения. Матрицы U, и V, называются левыми и правыми сингулярными векторами матрицы X соответственно, ^ki - сингулярные числа.
На третьем шаге на основе разложения процедура группировки делит все множество индексов на непересекающиеся подмножества. Процедура выбора данных подмножеств называется группировкой собственных троек.
На последнем шаге базового алгоритма каждая матрица сгруппированного разложения ганкелизу-ется (усредняется по антидиагоналям), а затем полученная ганкелева матрица трансформируется в новый временной ряд длины N на основе взаимно-однозначного соответствия между ганкелевыми матрицами и временными рядами. Диагональное усреднение, примененное к каждой результирующей матрице, производит восстановленные ряды. Таким образом, исходный ряд раскладывается в сумму восстановленных рядов:
xn = Y!k=i~n . (1)
Равенство (1) является главным результатом алгоритма SSA для анализа временного ряда. Это разложение имеет смысл, если каждая из его компонент может быть интерпретируема как либо тренд, либо колебания (периодики), либо шум. Выбор параметров алгоритма SSA является одной из важных задач для повышения качества анализа видеопотока и должен производиться в зависимости от условий расположения устройств записи (расстояние до объектов, характер изменения заднего фона, уровень шумов).
Результаты тестирования метода представлены на рис. 3, а. В видеопотоке присутствует один медленно движущийся объект (человек) на статичном фоне. На рис. 3, б, представлен график временного ряда, построенного на основе видеопотока. На рис. 4, а, представлен график первых трех компонент разложения временного ряда методом SSA, в котором первые две компоненты представляют собой слабо меняющийся тренд, а третья отражает периодическое колебание, соответствующее движению объекта. Разложив данную компоненту в ряд Фурье, можно определить частоту движения объекта. На рис. 4, б, представлен график последних компонент разложения, соответствующих части периодических колебаний заднего фона и шумовых составляющих.
50 100 150
Время, с
а б
Рис. 3. Исходный видеофрагмент (а); временной ряд исходного видеофрагмента (б)
250
,s 30000 §
О 20000
4 Й g g
5 <D
6 «
10000
0 и д e a
g Si-10000
S о
g * -20000 ч
s -30000
« §
о
<D
4 Й о S
w К
S s
is a
0
50
100 150 Время, с
200 250
15000 10000 5000 0
-5000 -10000 -15000 -20000
0
100 150 Время, с б
200 250
Рис. 4. Периодические компоненты разложения (а); шумовые компоненты разложения (б)
Подобным образом при правильном разложении временного ряда на независимые периодические составляющие может определяться наличие одновременного движения нескольких объектов. Для выполнения подобного разложения может потребоваться более тонкий подбор параметров метода 88Л.
Идентификация человека по изображению лица
Иммунокомпьютинг изучает принципы обработки неструктурированной информации для решения сложных практических задач и позволяет с большой эффективностью решать такие задачи, как обучение с экспертом, самообучение, группировка и классификация, представление результатов вычислений в пространстве образов [6, 13, 14].
Математический базис, применяемый в рамках вычислительных процедур иммунокомпьютинга, основан на свойствах сингулярного разложения матриц. Сингулярное разложение является удобным методом при работе с матрицами, поскольку показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. Любая матрица А порядка М*Ы, элементы которой - вещественные числа, может быть представлена в следующем виде, называемом сингулярным разложением матрицы:
А = и5Ут. (2)
В результате разложения получаются три матрицы. Диагональные элементы матрицы 8 являются сингулярными числами матрицы А, а столбцы матриц и и Утсодержат левые и правые сингулярные векторы для соответствующих им сингулярных значений на диагонали матрицы 8.
Одна из наиболее часто решаемых задач с помощью иммунокомпьютинга - это задача распознавания объектов. В данных задачах для определения связи между объектами А и М вводится понятие энергии связи, которое используется в качестве аналога расстояния между объектами. Оно позволяет применить научно-методический аппарат иммунокомпьютинга в задачах идентификации физических лиц, поскольку соответствует общему подходу к построению систем идентификации, описанному в информационной теории идентификации. Согласно этой теории, общий подход к построению систем идентификации объектов осуществляется при помощи настраиваемой модели той или иной структуры, параметры которой могут меняться. Разность величин объекта и настраиваемой модели образует невязку [6, 15], которая определяет степень близости объектов друг к другу. В иммунокомпьютинге аналогом невязки является энергия связи.
а
Энергия связи между двумя объектами представляется следующим образом: га = -UTMV, (3)
где U и VT - левые и правые сингулярные векторы матрицы A соответственно. Класс, к которому принадлежит входной образ M, определяется минимальным значением энергии связи:
с = min (га). (4)
Поскольку метод иммунокомпьютинга базируется на свойствах сингулярного разложения произвольных матриц, а такое разложение действительно для матриц порядка M*N, следовательно, входные данные должны быть представлены в виде двумерного массива данных. Также стоит отметить, что на качество видеоизображения влияет множество разнообразных факторов, а это означает, что входные данные должны быть приведены к общему виду. Задача представления входных данных в виде двумерного массива и приведения изображений к общему виду может выполняться с применением разных методов предварительной обработки изображений. В рамках данного исследования предварительная обработка сводилась к преобразованию видеоизображений в монохроматичный формат и корректировке контрастности. На рис. 5 иллюстрируется корректировка контрастности входного изображения, из которого видно, что спектр значений градаций серого значительно расширился после применения метода корректировки контрастности.
Для осуществления процедуры идентификации физических лиц необходимо предварительно создать обучающую выборку. В общем случае обучающая выборка представляет собой множество объектов, заданных значениями признаков. В рамках данного исследования был разработан способ представления обучающей выборки, который описывает принадлежность входного изображения лица к тому или иному заранее известному лицу. Входное изображение лица было представлено в виде матрицы А размерностью M*N, элементы которой - вещественные числа. Из формулы (2) следует, что любая матрица такого типа может быть представлена с помощью сингулярного разложения. В результате разложения получаются три матрицы. Столбцы матрицы U и VT содержат левые и правые сингулярные векторы, которые записываются в качестве обучающей выборки.
Оригинальное изображение
Гистограмма оригинального изображения 4000 3500 3000
н 2500 о
аст 2000
¡г1
1500 1000 500
Изображение после обработки
4000
3500
3000
а т 2500
о
т с 2000
а
F 1500
1000
500
0 50 100 150 200 250 300 Уровень интенсивности б
Гистограмма изображения после обработки
50 100 150 200 250 Уровень интенсивности г
300
Рис. 5. Эквализация гистограммы входного изображения: оригинальное изображение (а) и его гистограмма (б); изображение после обработки (в) и его гистограмма (г)
а
0
в
В процессе идентификации на вход поступает изображение неизвестного физического лица, кото -рое представляется в виде матрицы М. Вычисляется энергия связи между входным изображением лица и элементами в обучающей выборке по формуле (3). Процесс идентификации лица определяется минимальным значением энергии связи по формуле (4). На основе полученного значения энергии связи делается предположение о принадлежности входного лица к одному из ранее известных лиц, находящихся в обучающей выборке.
Численный эксперимент
Входные данные в формате цветных изображений кодировались трехмерной матрицей А размерностью 100x100x3. Предварительная обработка позволила представить данные в виде двумерной матрицы размерностью 100x100. Пример матрицы:
A =
В процессе сингулярного разложения матрица А декомпозировались на три матрицы - и, 8 и V. Значения матриц и (левых сингулярных векторов) и V (правых сингулярных векторов) использовались в качестве обучающей выборки в математических процедурах расчета энергии связи. Пример матрицы и:
—0.14145273т
238 228 208 .. , 33 28 30
229 220 189 .. , 31 28 34
227 216 134 . , 32 35 66
105 102 106 . ,6 5 8
100 102 99 . ,7 6 7
97 100 102 . ,7 6 6
U =
-0.12361204 -0.12486692
-0.07879292 -0.07667419
0.18439500
0.02843619 0.01900366
В процессе идентификации рассчитывалась энергия связи входного элемента с каждым элементом, находящимся в обучающей выборке. В результате формировался вектор значений, состоящий из энергий связи. Минимальное значение в массиве энергий связи характеризовало максимальную близость входного объекта к одному из объектов в обучающей выборке. Пример вектора со значениями энергий связи: га =[-12916.46191993 ..., -13252.14918307].
Программное решение по идентификации физических лиц в видеопотоке визуализировало результат идентификации в процессе воспроизведения видео. Пример визуализации приведен на рис. 6.
Рис. 6. Визуализация результата идентификации человека по изображению лица в видео
Тестирование проводилось с использованием следующего аппаратного обеспечения:
- ноутбук Lenovo ThinkPad X220;
- процессор - Intel Core i5 2520M 2,5 ГГц;
- объем оперативной памяти - 4 ГБ;
- видеокарта - Intel HD3000.
Данная конфигурация полностью удовлетворяет требованиям предложенного метода. Отсутствуют задержки, вызванные процедурами разложения временного ряда и идентификацией лиц в видеокадре.
Заключение
Рассмотрена задача идентификации движущегося человека, которая представляет научный и практический интерес в плане автоматизации процесса обработки видеоизображений. Новизна заключается в применении метода анализа временных рядов, а также математического аппарата иммунокомпьютинга для решения поставленной задачи.
Решение задачи идентификации движущегося человека заключается в последовательном выполнении двух этапов анализа - этапа определения движения человека и этапа идентификации человека по изображению лица.
В рамках решения первой подзадачи, связанной с определением движения человека, в работе было предложено представить исходный видеопоток в виде временного ряда с последующим применением к нему математического аппарата анализа временных рядов. В тексте приводятся примеры разложения ряда на набор интерпретируемых компонент, показывающих возможность использования рассмотренного метода на реальных данных с целью выделения информации о наличии движения человека на фоне движения остальных объектов в видеопотоке.
В рамках решения второй подзадачи, связанной с идентификацией человека по изображению лица, в работе предлагается представлять изображения лиц в виде двумерных матриц с применением методов предобработки изображений. Идентификация человека по изображению лица осуществляется путем применения математического аппарата иммунокомпьютинга, который позволяет вычислять энергию связи между двумя объектами. Применительно к поставленной подзадаче энергия связи характеризует близости входного изображения лица к лицам, находящимся в обучающей выборке.
Представленное решение задачи по идентификации движущегося человека имеет ряд ярко выраженных достоинств. Одно из главных достоинств - простота реализации, которая требует низких вычислительных затрат благодаря наличию простых математических операций, отсутствию необходимости предварительной фильтрации изображений видеокадров, а также возможности работы при высоком уровне шумов и низком качестве исходного видеопотока.
Программная реализация, полученная в рамках решения частных задач исследования, позволяет использовать предложенное решение как при анализе записанного видеофайла, так и при анализе видеопотока в режиме реального времени с небольшой задержкой, связанной с необходимостью заполнения массива исходных данных определенной длительности для построения временного ряда.
В работе не затронуты такие темы, как выбор оптимальных параметров анализа временных рядов в зависимости от условий расположения камеры видеонаблюдения для достижения наилучшей разделимости ряда, возможность анализа двух или более движущихся объектов, а также возможность классификации объектов по характеристикам движения. Также в рамках дальнейших научных исследований предполагается изучить работу предложенных методов на большой выборке изображений лиц и сравнить качество идентификации с известными методами.
Литература
1. Лукьяница A.A., Шишкин А.Г. Цифровая обработка видеоизображений. М.: Ай-Эс-Эс Пресс, 2009. 512 с.
2. Голяндина Н.Э. Метод «Гусеница^-SSA: анализ временных рядов: Учеб. пособие. СПб: СПбГУ, 2004. 7б с.
3. Голяндина Н.Э. Метод «Гусеница»-SSA: прогноз временных рядов: Учеб. пособие. СПб: СПбГУ, 2004. 5б с.
4. Akcay H. Subspace-based spectrum estimation in frequency-domain by regularized nuclear norm minimization II Signal Processing. 2014. V. 99. P. б9-85.
5. Araujo I.G., Laier J.E. Operational modal analysis using SVD of power spectral density transmissibility matrices II Mechanical Systems and Signal Processing. 2014. V. 4б. N 1. P. 129-145.
6. Соколова С.П., Соколова Л.А. Интеллектуальные информационные системы на основе иммуноком-пьютинга: Учеб. пособие. СПб: ГУАП, 2009. 159 с.
7. Dasgupta D. Artificial Immune Systems and their Applications. Berlin: Springer-Verlag, 1999. 30б p.
8. Dasgupta D., Gonzalez F. Artificial immune systems in intrusion detection I In: Vemuri V.R. Enhancing Computer Security with Smart Technology. Auerbach, 2005. 288 p.
9. Tarakanov A., Nicosia G. Foundations of immunocomputing. Proc. IEEE Symposium on Foundations of Computational Intelligence, FOCI 2007. Honolulu, Hawaii, USA, 2007. P. 503-508.
10. Wiersma J. Human Movement Classification, 2007 [Электронный ресурс]. Режим доступа: http://www.ai.rug.nl/~gert/as/download/scripties/jellewiersma.pdf, свободный. Яз. англ. (дата обращения 01.04.2014).
11. Кручинин А.Ю. Распознавание образов с использованием OpenCV, 2011 [Электронный ресурс]. Режим доступа: http://recog.ru/library/opencv/opencvkruchinin.pdf, свободный. Яз. рус. (дата обращения 01.04.2014).
12. Bradski G.R., Kaehler A. Learning OpenCV. Sebastopol: O'Reilly Media Inc., 2008. 571 p.
13. Tarakanov A.O., Skormin V.A., Sokolova S.P. Immunocomputing. Principles and Applications. NY: Springer-Verlang, 2003. 193 p.
14. Tarakanov A.O. Mathematical models of intrusion detection by an intelligent immunochip // Communications in Computer and Information Science. 2007. V. 1. P. 308-319.
15. Цыпкин Я.З. Информационная теория идентификации. М.: Наука, 1995. 336 с.
Соломатин Алексей Юрьевич Люберт Андрей Сергеевич Зикратов Игорь Алексеевич
Alexei Yu. Solomatin Andrey S. Lyubert Igor A. Zikratov
генеральный директор, ООО Смартэг, Санкт-Петербург, Россия, [email protected]
технический директор, ООО Смартэг, Санкт-Петербург, Россия, andrey @streamdialog .com
доктор технических наук, профессор, зав. кафедрой, Университет ИТМО, Санкт-Петербург, Россия, [email protected]
General Manager, Smartag LLC, Saint Petersburg, Russia, [email protected]
Chief Technical Officer, Smartag LLC, Saint Petersburg, Russia, [email protected]
D.Sc., Professor, Department Head, ITMO University, Saint Petersburg, Russia, [email protected]
Принято к печати 21.04.14 Accepted 21.04.14
