CC BY
66
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
ОБНАРУЖЕНИЕ НЕХАРАКТЕРНОГО ПОВЕДЕНИЯ В ЗАДАЧАХ ВИДЕОНАБЛЮДЕНИЯ
Р.А. Шаталин1, В.Р. Фидельман1, П.Е. Овчинников1 1 Нижегородский государственный университет им. Н.И. Лобачевского, Нижний Новгород, Россия
Аннотация
Предложен алгоритм обнаружения нехарактерного поведения в задачах видеонаблюдения. Алгоритм составляет модель нормального поведения на основе образцов, что позволяет применить его в широком диапазоне условий. Результаты тестирования алгоритма свидетельствуют о его пригодности для простых сцен и сцен с большим количеством движущихся объектов.
Ключевые слова: обработка видеоизображений, обнаружение нештатных ситуаций, метод главных компонент.
Цитирование: Шаталин, Р.А. Обнаружение нехарактерного поведения в задачах видеонаблюдения / Р.А. Шаталин, В.Р. Фидельман, П.Е. Овчинников // Компьютерная оптика. - 2017. -Т. 41, № 1. - С. 37-45. - DOI: 0.18287/2412-6179-2017-41-1-37-45.
Введение
За последние годы множество алгоритмов для обнаружения конкретных нештатных ситуаций было предложено и реализовано на основе строгих правил [1, 2]. Их применение ограничено особыми требованиями к сцене или типам обнаруживаемых аномалий. Для устранения этих недостатков было предложено несколько статистических подходов к задаче обнаружения нехарактерного поведения [3]. Основным различием между ними является представление поведения в сцене. Для простых сцен часто применяются методы выделения и отслеживания объектов, что позволяет сформулировать задачу в контексте характеристик и взаимодействия объектов. Главной проблемой для данного метода является перекрытие объектов. Для сцен с большим количеством движущихся объектов статистические методы часто применяются непосредственно к характеристикам пикселей видеоизображения. Такой подход более устойчив к перекрытию объектов и может быть использован вне зависимости от сложности сцены.
Для обнаружения аномалий в различных областях применения было предложено множество статистических методов [4, 5]. Одним из методов, который часто используется для решения прикладных задач, является метод главных компонент [6]. Одно из применений этого метода для задачи обнаружения нехарактерного поведения было рассмотрено в работе [7]. Текущее поведение в сцене описывалось набором гистограмм оптического потока для фиксированного количества последних кадров. На каждом кадре для текущего набора гистограмм находилось заданное количество первых главных компонент с наибольшими собственными числами. Неполный набор векторов главных компонент не составляет базиса, и при проецировании на него текущего признака поведения будет потеряна некоторая составляющая. Для её оценки рассчитывалось отношение норм текущего признака поведения и результата его проекции и обратной проекции. Если соотношение было меньше заданного порога, то принималось решение о наличии нештатной ситуации и оценивалось её положение на кадре. Нахождение главных компонент для
набора признаков на каждом кадре приводит к большой вычислительной сложности алгоритма, что не позволяет использовать его в реальном времени.
Одним из способов преодоления этого ограничения является предварительное нахождение главных компонент с возможностью их обновления в реальном времени. Примером данного подхода является метод смеси вероятностных главных компонент [8]. В [9] было проведено тестирование этого метода и метода смеси динамических текстур, который показал лучшие результаты. Но динамические текстуры представляются моделью авторегрессии - скользящего среднего для значений пикселей, что делает метод неустойчивым к изменению освещения и шуму. Чтобы преодолеть влияние этих факторов, предпочтительно использование признаков на основе оптического потока, который характеризует движение объектов вне зависимости от их внешнего вида.
В данной работе предложен метод обнаружения нехарактерного поведения, создающий модель нормального поведения путем вычисления главных компонент для набора векторов характеристик примеров. Для обнаружения аномального поведения используется невязка при проекции и обратной проекции вектора признаков на неполный набор векторов главных компонент. Данная невязка следует из различий между ковариационными матрицами характеристик текущего и нормального поведения. Предлагается несколько оценок аномальности для сцен с разным количеством движущихся объектов.
1. Метод
Предлагаемый метод был реализован в виде алгоритма оценки аномальности поведения на видеоизображениях, который состоит из следующих этапов.
Выделение фона
Во многих задачах наблюдения существует фон, в котором заведомо нет представляющих интерес объектов, например, интерьер помещения. Отделение фона от остальной части изображения, где могут наблюдаться нештатные ситуации, целесообразно по нескольким причинам. Во-первых, информация о
фоне может быть непосредственно использована в алгоритме, например, для нахождения оставленных предметов. Во-вторых, заранее исключаются области видеоизображения, которые могут вызвать ложное срабатывание, например, блики от стёкол автомашин [10]. В-третьих, сокращается количество данных, обрабатываемых на последующих, вычислительно сложных стадиях.
За последнее время несколько методов выделения фона было предложено и протестировано в условиях шума, бликов, изменений освещения и движущегося фона [11]. Сравнение между ними показало эффективность самоорганизующейся сети для извлечения фона [12] при наличии постепенных изменений освещения и шума. Вероятность ошибок сети сильно зависит от выбора порогов, и выделение фона оператором для сравнения с полученными сетью масками является трудоемким процессом. В связи с этим параметры сети подбирались с помощью оценки качества выделения фона на основе морфологических операторов [13]. После этого самоорганизующаяся сеть использовалась для выделения фона в алгоритме.
Оценка движения
Значения пикселей меняются в зависимости от следующих четырех факторов: движение объектов, движение камеры, изменение освещения и шум. Если промежуток времени между двумя кадрами достаточно мал, то основным фактором будет движение объектов. Исходя из этого, можно оценить движение объектов на основе различий между этими двумя кадрами.
Для оценки движения пикселей объектов между двумя последовательными кадрами был использован метод оценки оптического потока [14]. Данный метод предполагает сохранение яркости объектов от кадра к кадру, что приводит к следующему уравнению:
Э/ (х, у, г) , Э/ (х, у, г) , — йх + — йу =
Эх Эу
= 1 (х, у, г) - / (х, у, г + йг),
(1)
где 1(х, у, г) - интенсивность пикселя с координатами (х, у) на кадре со временем г, йх - движение пикселя вдоль оси х, йу - движение пикселя вдоль оси у, йг -промежуток времени между двумя кадрами.
Движение пикселей описывается двумерным вектором оптического потока (йх, йу), который может быть получен из системы, содержащей хотя бы два линейно независимых уравнения. Предположение о сохранении яркости объектов дает лишь одно уравнение (1), что делает задачу оценки оптического потока некорректной. Для решения этой задачи существует несколько методов оценки оптического потока, которые используют разные способы регуляризации [14]. В алгоритме оценки аномальности поведения использовался пирамидальный метод Лукаса-Канаде [15]. Данный метод предполагает движение близлежащих пикселей одинаковым и находит его из решения по критерию наименьших квадратов системы уравнений (1) для каждого из этих пикселей.
Результатом работы методов оценки оптического потока является набор двумерных векторов, которые описывают перемещение пикселей между двумя последовательным кадрами. Поскольку изображение представляет собой перспективную проекцию на плоскость видеокамеры, то одному и тому же движению в разных областях реальной сцены соответствуют разные векторы оптического потока. В связи с этим необходимы дополнительные меры для нахождения перемещений в координатах сцены.
В работе [16] для решения этой задачи применялся метод плоской томографии. Метод позволяет найти преобразование между системой координат изображения и системой координат плоскости пола в сцене, которое имеет следующий вид:
, Нп х + Н12 у + Н13
г
у =
Н31х + Н32 у + Н33 ''
К х + ^22 у + ^23
Кх + Н32 у + Н33
(2)
где (х, у) - координаты точки в системе координат изображения, Нп, Н12, Н13, Н21, Н22, Н23, Н31, Н32, Н33 - коэффициенты гомографии, (х', у') - координаты точки в системе координат плоскости пола.
Поскольку уравнение (2) содержит коэффициенты гомографии в числителе и знаменателе, умножение коэффициентов на некоторую константу не повлияет на само преобразование. В связи с этим для нахождения преобразования достаточно найти значения восьми коэффициентов гомографии, полагая последний коэффициент равным некой константе. Если для одной точки известны её координаты относительно изображения и относительно плоскости пола, то можно записать два уравнения для коэффициентов гомографии. Исходя из этого, преобразование можно найти по четырем точкам с известными координатами в обеих системах координат.
Данный метод использовался в алгоритме для вычисления векторов смещения, которые представляют собой проекции векторов оптического потока на плоскость пола.
Извлечение признаков поведения
Для распознавания поведения важно выбрать признаки, которые позволяют различить разные типы поведения. Примерами подобных признаков являются скорости движения объектов, изменения их размеров, гистограммы оптического потока и многие другие [1]. Значения подобных признаков часто представляются в виде одномерного вектора, называемого «вектором признаков поведения».
В данной работе признаки поведения выбирались в соответствии со следующими соображениями: 1. Инвариантность к внешнему виду объектов. Для задачи обнаружения нехарактерного поведения внешний вид объектов является незначительным фактором, исключение которого повышает скорость обучения и устойчивость алгоритма к изменениям освещения и шуму.
2. Однородность. Метод главных компонент чувствителен к диапазону значений признаков, что делает использование однородных признаков предпочтительным [6].
3. Информативность. Для обнаружения аномалий необходимы признаки, чьи значения различаются для нормального и нехарактерного поведения. Исходя из приведенных соображений, вектор признаков поведения был выбран как последовательность длин векторов смещения для всех пикселей на изображении. Пусть изображение имеет размеры N х M, а p(г, у) - вектор смещения для пикселя с координатами (х, у). Тогда вектор признаков поведения F можно записать в следующем виде:
F = { р(0,0)|, | p(0,1)|,... | p(0, M)|, |р (1,0),. p (1, M )|,...| p (N, M)}.
Обнаружение нехарактерного поведения
(3)
Предлагаемый подход к обнаружению нехарактерного поведения основан на методе главных компонент. Суть данного метода заключается в поиске компонент, которые объясняют наибольшую вариацию данных и ортогональны между собой. Одним из методов поиска таких компонент является спектральное разложение ковариационной матрицы [6]. Для набора из п векторов признаков поведения Хк размерностью m ковариационная матрица C имеет размер m х m и определена следующим образом:
1
С = - £ (Хм - X, )(Х. - X.)
(4)
где С. - элемент из /'-строки и .-столбца ковариационной матрицы, хк/ - значение /'-го признака из вектора Хк, - среднее значение /'-го признака для набора векторов.
Спектральное разложение матрицы С заключается в нахождении набора векторов, для которых выполняется следующее условие:
О, , (5)
где - ,-й собственный вектор размерностью т для
ковариационной матрицы С, 1 - соответствующее собственное число ковариационной матрицы С.
При этом собственный вектор ковариационной матрицы С является одним из векторов главных компонент, а собственное число 1 - вариацией исходных данных в этом направлении. Проецирование вектора признаков X на набор из q векторов главных компонент и обратное проецирование можно записать в следующем виде:
р, =(х - х, V, ^
у
=х+X р,х
(6)
где X - среднее значение вектора для исходного набора векторов Хк.
В общем случае набор векторов главных компонент V 1 не является базисом и некоторая составляю -щая вектора х теряется во время проецирования. Далее эта составляющая называется вектором невязки, и её можно вычислить из следующего выражения:
= X - Хг = (X - X) - £ (X - X, )у,..
(7)
Рассмотрим другой набор из п векторов признаков поведения Хк размерностью т и составим следующую матрицу Мразмером п х т:
с х0- х
м =
х'- X
(8)
7
Аналогично (6), результат проецирования и обратного проецирования всех векторов признаков поведения Х'к можно представить в виде:
(
М =
Х0 - X
XI- X
X (г, \
V
V q
V
V q 7
= МУ'У.
(9)
где V - матрица размером q х т, строки которой являются векторами главных компонент V 1 .
Сумму квадратов ошибки при проецировании набора векторов-признаков поведения Хк на набор векторов главных компонент можно записать как норму Фробениуса следующей матрицы:
£|т. - т. |2 =|М -М4 =|М -MVTV| . (10)
Используя свойство нормы Фробениуса, выражение (10) можно привести к следующему виду:
I 12
£|т. -т. = Тг[(М -(М -MVTV)]. (11)
Используя свойства следа матрицы и ортонорми-рованность векторов главных компонент, выражение (11) можно упростить следующим образом: Тг[(М - MVTV)T (М - MVTV)] = = Тг[(МТ - VTVMT )(М -MVTV)] = = Tr[(M - MVTV)М - VTVMT)] = = Tr[MMT ] - 2 •Tr[MVTVMT ] + (12)
+Tr[MVTVVTVMT ] = = Tr[MMT ] - Tr[MVTVMT ] = = ^ М^М ] - Tr[VMTMVT ].
Исходя из выражения для ковариационной матрицы (4), выражение (12) можно записать в следующем виде:
\\М -Мг||2 = п • Tr[C,] - п • Tr[VС'VT ], (13)
где С - ковариационная матрица для набора векторов признаков поведения Хк, где в качестве средних зна-
0
0
п
к
г
чений признаков были взяты значения X для исходного набора векторов хк.
Из выражения (13) видно, что лишь второе слагаемое зависит от значений векторов главных компонент. Если векторы главных компонент представляют собой базис, то матрица V описывает унитарное преобразование и по свойству следа выражение (13) обращается в ноль. Рассмотрим случай, когда набор векторов главных компонент не является базисом и q < М. В таком случае упрощение возможно, если выразить второе слагаемое выражения (13) через векторы главных компонент:
Тгус V ] = XIV, X с;
,к к
q т т
= 11IV,
1 ] к
(14)
= I ^С % ,
с,к - элемент мат-
где V, -,-я компонента вектора V 1 рицы С'.
Подставляя (14) в (13), получаем выражение для суммы квадратов ошибки при проецировании векторов признаков поведения хк на набор векторов главных компонент:
М - М,
= п ■ Тг[С'] - п ■ I%ТС %.
(15)
Если векторы главных компонент являются полным набором собственных векторов матрицы С , то выражение (15) принимает следующий вид:
\\М -Мг 112 = п ■ Тг[С'] - п ■ IС% =
г
q
= п ■ Тг[С'] - п ■ I1'% = п ■ Тг[С'] -
г
q q
Iг^у, = п ■ (Тг[С] -11') = 0,
(16)
-п
где 1' - собственное число матрицы С.
Таким образом, минимальная ошибка достигается для данных, для которых матрица С имеет сходный набор собственных векторов с ковариационной матрицей С. Исходя из этого, можно предположить, что ошибка будет больше для признаков такого поведения, которые характеризуются существенно иным характером ковариаций между значениями признаков.
На основе этого свойства предлагается следующий метод обнаружения нехарактерного поведения. На стадии обучения оператор указывает кадры, которые содержат только «нормальное» поведение. Для этих кадров извлекаются векторы признаков поведения и для получившегося набора векторов находятся главные компоненты. Ортонормированный набор из векторов главных компонент представляет собой модель нормального поведения.
Во время работы текущий вектор признаков поведения х проецируется на набор векторов главных компонент и обратно. При таком преобразовании ком-
поненты вектора невязки (7) будут выше для ситуаций, значения признаков поведения для которых имеют отличные от модели значения ковариации между собой. Исходя из этого, на основе вектора невязки (7) можно оценить аномальность поведения в сцене.
Одной из возможных оценок аномальности на основе вектора невязки является относительная невязка, которая определяется следующим выражением:
г = \г\/\х\, (17)
где г - относительная невязка, |г| - норма вектора невязки, |х| - норма вектора признаков поведения.
Из выражения (3) для признаков поведения следует, что при наличии нескольких объектов в сцене относительная невязка будет оценивать среднюю аномальность их поведения. Для оценки поведения отдельного объекта была рассмотрена максимальная невязка, которая представляет собой максимальное значение среди модулей компонент вектора невязки. Хотя такая оценка аномальности является размерной и подвержена влиянию шума, она позволяет учесть только наибольшее отклонение от модели нормального поведения.
Для заранее известных типов нехарактерного поведения методы на основе эвристически заданных правил могут превосходить предложенный метод по точности, но их модификация для обнаружения иного типа аномалий нетривиальна. Построение модели нормального поведения на основе статистических характеристик позволяет без существенных изменений применить предложенный метод для обнаружения различных типов аномального поведения. При этом существует возможность дальнейшего обучения алгоритма на основе мнения оператора об обнаруженной нештатной ситуации.
2. Результаты экспериментов
Предлагаемый метод обнаружения нехарактерного поведения был реализован в качестве алгоритма обработки видеоизображений. Работа алгоритма была протестирована на видео лаборатории университета Калифорнии в Сан-Диего (ИСББ) [9] и экспериментально полученных видео. Видеозапись «Работа и ремонт» была сделана в компьютерном классе ННГУ. На нем в качестве нормального поведения была взята работа одного человека за компьютером, а в качестве нештатного - манипуляции с задней панелью системного блока. Видеозапись лаборатории ИСББ содержит пешеходную улицу, обычная ходьба по которой была взята за нормальное поведение, а проезд транспортных средств - за нештатное.
Для обучения алгоритма из каждого видео бралось ограниченное число примеров нормального поведения. Затем вычислялись значения относительной невязки и максимальной невязки для остальных кадров с нормальным и аномальным поведением из выбранного видео. На основе полученных значений составлялись гистограммы распределения оценок для обоих типов поведения.
к
2
На рис. 1 приведены примеры фоновой маски, векторов оптического потока и векторов смещения для кадра из видеолаборатории ИСББ. На рис. 1а приведен кадр с множеством пешеходов на улице. На рис. 16 приведена соответствующая фоновая маска, где большинство людей было обнаружено при малом количество ложных объектов. На рис. 1е приведены длины векторов оптического потока в виде черно-белого изображения, на котором заметно лишь движение вблизи камеры из-за влияния перспективной реакции. На рис. 1г в виде черно-белого изображения приведены длины векторов смещения, которые почти идентичны для всех пешеходов вдоль улицы. Этот результат свидетельствует о способности метода плоской гомографии компенсировать влияние перспективной проекции.
Рис. 1. Иллюстрация фоновой маски, векторов оптического потока и векторов смещения для кадра
из видеолаборатории иСБО. кадр из видео(а), соответствующая фоновая маска (б), длины векторов оптического потока в виде черно-белого изображения (в), длины векторов смещения в виде черно-белого изображения (г)
На рис. 2 приведено сравнение гистограмм распределения относительной невязки для видео «Работа и ремонт» при разном количестве обучающих примеров. На рис. 2а заметно перекрытие между гистограммами, и в зависимости от выбора порога работа алгоритма будет характеризоваться большим количеством ошибок первого или второго рода. На рис. 2б перекрытие между гистограммами значительно меньше, что позволяет на их основе рассчитать порог, при котором работа алгоритма будет характеризоваться минимумом ложных тревог и максимальным обнаружением нехарактерного поведения. Из этого следует, что алгоритм способен различить разные типы поведения и с увеличением количества обучающих примеров качество этого разделения улучшается.
На рис. 3 приведено сравнение гистограмм относительной и максимальной невязки для видео лаборатории иСББ при обучении на 25 примерах нормального поведения. На рис. 3а приведены почти идентичные гистограммы для нормального и нештатного поведения, что свидетельствует о неэффективности относительной невязки для данного видео. Этот результат можно объяснить наличием множества объ-
ектов в сцене, при котором относительная невязка будет отражать средний уровень аномальности поведения объектов. На рис. 3б перекрытие между гистограммами меньше, что позволяет выбрать порог для различения типов поведения. Из этого следует, что для видео с большим количеством объектов максимальная невязка позволяет обнаружить нештатное поведение.
0,30-1
0,20 0,10 0.
0,20 0,15 0,10 0,05
Нормальное поведение
О
25
50 75 100
Относительная невязка, %
Аномальное поведение
ли
а)
о
25
50 75 100
Относительная невязка, %
0,50! 0,40 0,300,20 0,10 О.
Нормальное поведение
О
25
50 75 100
Относительная невязка, %
0,201 0,150,100,050-
Аномальное поведение
б)
О
25
50 75 100
Относительная невязка, %
Рис. 2. Гистограммы относительной невязки для видео «Работа и ремонт» при обучении на трех (а) и семи (б) примерах нормального поведения
В табл. 1 приведены равные уровни ошибок, рассчитанные на основе гистограмм распределения относительной невязки и максимальной невязки. Из табл. 1 видно, что для видео «Работа и ремонт» наименьший равный уровень ошибок был достигнут при использовании относительной невязки и составил около 2 процентов. При этом для видео лаборатории иСББ наилучший результат был достигнут при использовании максимальной невязки. Этот факт можно объяснить следующим образом. Для максимальной эффективности в сценах с большим количеством людей оценка аномальности должна учитывать только наибольшее отклонение от нормального поведения. Тем не менее, максимальная невязка чувствительна к шуму, что делает относительную невязку более надежной в простых сценах. Из этого следует, что выбор между двумя оценками зависит от количества объектов в сцене.
0,40л 0,300,200,10 0.
Нормальное поведение
О
25
0,40 л 0,30 0,20 0,10 О
50 75 100
Относительная невязка, %
Аномальное поведение
J
а)
О
25
50 75 100
Относительная невязка, %
0,40 0,30 0,20 0,10 0.
0,20 0,15 0,10 0,05 0.
Нормальное поведение
25
50 75 100
Максимум невязки, %
Аномальное поведение
Hit
о
25
50 75 100
б) Максимум невязки, %
Рис. 3. Гистограммы относительной (а) и максимальной невязки (б) для видеолаборатории иСБО при обучении на двадцати пяти примерах нормального поведения Табл. 1. Равный уровень ошибок для относительной и максимальной невязки для видео «Работа и ремонт» и видео лаборатории иСБО при разном количестве обучающих примеров
Название Количество Относитель- Максималь-
видео примеров ная невязка ная невязка
Работа и ремонт 3 3,7 % 8,4 %
Работа и ремонт 5 3,1 % 7,9 %
Работа и ремонт 7 1,5 % 6,7 %
UCSD 5 49,6 % 22,7 %
UCSD 10 52,9 % 25,3 %
UCSD 15 49,4 % 25,4 %
UCSD 20 51,0 % 26,3 %
UCSD 25 49,1 % 24,7 %
Из табл. 1 видно, что для видео лаборатории UCSD с ростом количества обучающих примеров наблюдается слабая тенденция к снижению равного уровня ошибок. Этот результат можно объяснить большим количеством движущихся объектов, что приводит к существенной вариации значения максимальной невязки между кадрами и неэффективности относительной невязки. При этом для видео «Работа и ремонт» с одним человеком увеличение количества обучающих примеров уменьшает равный уровень
ошибок для обеих оценок. На основе этого можно сделать вывод о способности алгоритма к обучению.
В [9] было протестировано несколько оценок аномальности на основе видео лаборатории UCSD, и в табл. 2 приведено сравнение с полученными в данной работе результатами. Основным различием между методами является представление движения и поведения в сцене. Поскольку метод смеси вероятностных главных компонент (МРРСА), метод потока сил и метод гистограмм локального движения (ЪМИ) использует вектора оптического потока без учета перспективной проекции, равный уровень ошибок для максимальной невязки без использования метода плоской гомографии также представлен в таблице. Хотя данная модификация алгоритма увеличивает равный уровень ошибок, результат остается лучшим среди методов, использующих оптический поток. При этом наш результат близок к методу смеси динамических текстур (МЭТ), в котором значения пикселей описываются набором моделей авторегрессии и скользящего среднего, чьи параметры находятся при обучении алгоритма. В связи с этим метод МЭТ чувствителен к значениям пикселей и изменения освещения. Предлагаемый алгоритм обнаружения нехарактерного поведения использует движение в качестве признака поведения, что делает его более устойчивым к изменениям освещенности и позволяет подбирать методы выделения фона и оценки движения для конкретной сцены. Табл. 2. Сравнение равных уровней ошибок для видео иСБО
Метод оценки аномальности Равный уровень ошибок
Максимальная невязка без плоской гомографии 27 %
Максимальная невязка 25 %
Относительная невязка 48 %
МРРСА 35,5 %
Поток силы 36,5 %
ЬМИ 39 %
Временной МОТ 23 %
Пространственный МЮТ 44 %
Тестирование предлагаемого алгоритма было проведено на компьютере с четырехядерным CPU IntelCore i5 3,4 ГГц и 8 GB RAM. В табл. 3 приведено среднее время извлечения вектора характеристик и расчета значений невязок для него. Из табл. 3 видно, что использованию алгоритма в реальном времени препятствует низкая скорость вычисления невязок для кадра. При этом время расчета невязок зависит от количества обучающих примеров и размера вектора характеристик, который для данного алгоритма совпадает с количеством пикселей видеоизображения. Одним из возможных способов повышения скорости вычисления невязок является использование вектора характеристик меньшей размерности. Тем не менее, время обработки одного кадра из видео UCSD методом смеси динамических текстур (MDT) составило 1110 миллисекунд на компьютере с 2,8 ГГц CPU и 2 GB RAM [9], что свидетельствует о совпадении характеристик быстродействия в пределах порядка величины.
Табл. 3. Среднее время извлечения вектора характеристик и расчета невязок для кадров из видео «Работа и ремонт» и видео лаборатории UCSD при разном количестве обучающих примеров
Заключение
В данной работе предложен метод обнаружения нехарактерного поведения на основе метода главных компонент. Для тестирования метода был реализован алгоритм оценки аномальности поведения в сцене, одним из параметров которого является количество движущихся объектов в сцене. Результаты экспериментов свидетельствуют о способности метода к различению разных типов поведения в простых сценах и сценах с большим количеством людей. Полученные результаты близки к методу смеси динамических текстур, но реализованный алгоритм использует только движение пикселей и более устойчив к изменениям освещенности. Результаты при разном количестве обучающих примеров свидетельствуют о способности алгоритма к обучению. При этом модель нормального поведения создается на основе примеров, что позволяет применить метод в широком диапазоне условий.
Литература
1. Stringa, E. Real-time video-shot detection for scene surveillance applications / E. Stringa, C.S. Regazzoni // IEEE Transactions on Image Processing. - 2000. - Vol. 9(1). -P. 69-79.
2. Nasution, A. Intelligent video surveillance for monitoring elderly in home environment / А. Nasution, S. Emmanuel // Proceedings of IEEE 9th Workshop on Multimedia Signal Processing. -2007. - P. 203-206. - DOI: 10.1109/MMSP.2007.4412853.
3. Lavee, G. Understanding video events: a survey of methods for automatic interpretation of semantic occurrences in video / G. Lavee, E. Rivlin, M. Rudzsky // IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). - 2009. - Vol. 39(5). - P. 489-504.
4. Chandola, V. Anomaly detection: A survey / V. Chandola, A. Banerjee, V. Kumar // ACM Computing Surveys
(CSUR). - 2009. - Vol. 41(3). - 15 (58 p). - DOI: 10.1145/1541880.1541882.
5. Денисова, А.Ю. Обнаружение аномалий на гиперспектральных изображениях / А.Ю. Денисова, В.В. Мясников // Компьютерная оптика. - 2014. - Т. 38, № 2. - С. 287-296.
6. Jolliffe, I. Principal component analysis. Springer series in statistic / I. Jolliffe. - 2nd ed. - NY, Berlin, Heidelberg: SpringerVerlag, 2002. - 488 p. - ISBN: 0-387-95442-2.
7. Yu, T.-H. Unsupervised abnormal behavior detection for real-time surveillance using observed history / T.-H. Yu, Y.S. Moon // Proceedings of MVA2009 IAPR Conference on Machine Vision Applications. - 2009. - P. 166-169.
8. Kim, J. Observe locally, infer globally: A space-time MRF for detecting abnormal activities with incremental updates / J. Kim , K. Grauman // Proceedings of IEEE Computer Vision and Pattern Recognition, CVPR 2009. - 2009. -P. 2921-2928. - DOI: 10.1109/CVPR.2009.5206569.
9. Mahadevan, V. Anomaly detection and localization in crowded scenes / V. Mahadevan, W. Li, V. Bhalodia, N. Vasconcelos // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2014. - Vol. 36(1) - P. 18-32.
10. Минаев, E^. Детектирование и распознавание объектов в системах автомобильной безопасности на основе фрактального анализа / Е.Ю. Минаев, А.В. Никоронов // Компьютерная оптика. - 2012. - Т. 36, № 1. - С. 124130.
11. Brutzer S. Evaluation of background subtraction techniques for video surveillance / S. Brutzer, B. Hoferlin, G. Heidemann // Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. - 2011. -P. 1937-1944. - DOI: 10.1109/CVPR.2011.5995508.
12. Maddalena L. A self-organizing approach to background subtraction for visual surveillance application / L. Maddalena, A. Petrosino // IEEE Transactions on Image Processing. - 2008. - Vol. 17(7). - P. 1168-1177.
13. Шаталин, РА. Критерий качества выделения фона с использованием морфологических операторов для задач обнаружения нештатных ситуаций / Р.А. Шаталин, П.Е. Овчинников // Системы управления и информационные технологии. - 2014. - Т. 56(2.1). - С. 190-194.
14. Fleet D. Optical flow estimation / D. Fleet, Y. Weiss. - In Book: Handbook of mathematical models in computer vision / Ed. by N. Paragios, Y. Chen, O. Faugeras. - Chapter IV. - US: Springer; 2006. - P. 239-258. - ISBN: 978-0387-26371-7. - DOI: 10.1007/0-387-28831-7_15.
15. Bouguet, J. Pyramidal implementation of the lucas kanade feature tracker / J. Bouguet. - Intel Corporation, Microprocessor Research Labs, 2000. - 9 p.
16. Antonakaki P. Detecting abnormal human behavior using multiple cameras / P. Antonakaki, D. Kosmopoulos, S. Perantonis // Signal Proccesing. - 2009. - Vol. 89(9). -P. 1723-1738. - DOI: 10.1016/j.sigpro.2009.03.016.
17. Hall, M. Correlation based feature selection for machine learning: Doctoral dissertation / M. Hall. - Hamilton, NewZealand: The University of Waikato, Department of Computer Science, 1999. - 178 p.
Название видео Количество примеров Количество главных компонент Извлечение характеристик, мс Вычисление невязок, мс
Работа и ремонт 3 496 23,76 82,66
Работа и ремонт 5 910 23,67 150,11
Работа и ремонт 7 1421 23,67 235,14
иСЯБ 5 716 13,67 64,82
иСЯБ 10 1493 13,57 133,23
иСЯБ 15 2080 13,63 184,84
иСЯБ 20 2729 13,62 241,18
иСЯБ 25 3272 13,59 290,97
Сведения об авторах
Шаталин Роман Андреевич, 1992 года рождения, в 2015 году окончил Нижегородский государственный университет по направлению подготовки 09.04.02 «Информационные системы и технологии» и поступил в аспирантуру ННГУ по направлению подготовки 03.06.01 «Физика и астрономия», работает программистом на кафедре информационных технологий в физических исследованиях физического факультета ННГУ. Область научных интересов: обработка видеоизображений, компьютерное зрение и машинное обучение. E-mail: shatalinra@nifti.unn.ru .
Фидельман Владимир Романович, 1950 года рождения, в 1974 году окончил физический факультет ГГУ по специальности «Физика» со специализацией «Математическое обеспечение ЭВМ и АСУ». В 1997 году защитил диссертацию на соискание ученой степени доктора технических наук по специальности «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях». С 1998 года - заведующий кафедрой информационных технологий в физических исследованиях физического факультета ННГУ. Область научных интересов: методы цифровой обработки сигналов и изображений, методы моделирования открытых самоорганизующихся систем, системы автоматизации научных исследований. E-mail: _ fidelman@nifti.unn.ru .
Овчинников Павел Евгеньевич, 1983 года рождения, в 2005 году окончил физический факультет ННГУ по специальности «Информационные системы (в физике)». В 2009 году защитил диссертацию на соискание ученой степени кандидата физико-математических наук, с 2013 года - старший научный сотрудник НИФТИ ННГУ. Область научных интересов: методы цифровой обработки сигналов и изображений, машинное обучение. E-mail: ope@nifti.unn.ru .
ГРНТИ: 28.23.15
Поступила в редакцию 18 июля 2016 г. Окончательный вариант - 31 декабря 2016 г.
ABNORMAL BEHAVIOUR DETECTION METHOD FOR VIDEO SURVEILLANCE APPLICATIONS
R.A. Shatalin1, V.R. Fidelman1, P.E. Ovchinnikov1 'Lobachevsky State University of Nizhny Novgorod, Nizhny Novgorod, Russia
Abstract
In this paper, we propose novel method for abnormal behavior detection in the video surveillance. The method constructs a normal behavior model using training samples, which makes possible application in a wide range of conditions and scenes. The method was tested in controlled and real conditions. The result shows that the method can be used to detect abnormal behavior in simple and crowded scenes.
Keywords: video analysis, surveillance, anomaly detection, crowded scene, principal component analysis.
Citation: Shatalin RA, Fidelman VR, Ovchinnikov PE. Abnormal behavior detection method for video surveillance applications. Computer Optics 2017; 41(1): 37-45. DOI: 10.18287/2412-
6179-2017-41-1-37-45.
References
[1] Stringa E, Regazzoni CS. Real-time video-shot detection for scene surveillance applications. IEEE Transactions on Image Processing, 2000, 9(1): 69-79.
[2] Nasution AH, Emmanuel S. Intelligent video surveillance for monitoring elderly in home environments. In: Proceedings of IEEE 9th Workshop on Multimedia Signal Processing, 2007, p. 203-206. DOI: 10.1109/MMSP.2007.4412853.
[3] Lavee G, Rivlin E, Rudzsky M. Understanding video events: a survey of methods for automatic interpretation of semantic occurrences in video. IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 2009, 39(5): 489-504.
[4] Chandola V, Banerjee A, Kumar V. Anomaly detection: A survey. ACM Computing Surveys (CSUR) 2009; 41(3): 15. DOI: 10.1145/1541880.1541882.
[5] Denisova AYu, Myasnikov VV. Anomaly detection for hyperspectral imaginary. Computer Optics 2014; 38(2): 287-296.
[6] Jolliffe IT. Principal component analysis. 2nd ed. NY, Berlin, Heidelberg: Springer-Verlag; 2002. ISBN: 0-38795442-2.
[7] Yu TH, Moon YS. Unsupervised abnormal behavior detection for real-time surveillance using observed history. In: Proceedings of MVA2009 IAPR Conference on Machine Vision Applications, Yokohama, Japan, 2009: 166-169.
[8]
[9]
Kim J, Grauman K. Observe locally, infer globally: A space-time MRF for detecting abnormal activities with incremental updates. In: Proc IEEE CVPR 2009: 2921-2928. DOI: 10.1109/CVPR.2009.5206569. Mahadevan V, Li W, Bhalodia V, Vasconcelos N. anomaly detection and localization in crowded scenes. IEEE Transactions on Pattern Analysis and Machine Intelligence 2014, 36(1): 18-32.
[10] Minaev EYu, Nikoronov AV. Object detection and recognition in the driver assistance system based on the fractal analysis. Computer Optics 2012; 36(1): 124-130.
[11] Brutzer S, Hoferlin B, Heidemann G. Evaluation of background subtraction techniques for video surveillance. In: Proc IEEE CVPR 2011: 1937-1944. DOI: 10.1109/CVPR.2011.5995508.
[12] Maddalena L, Petrosino A. A self-organizing approach to background subtraction for visual surveillance application. IEEE Transactions on Image Processing 2008, 17(7): 1168-1177.
[13] Ovchinnikov P, Shatalin R. Background subtraction quality criterion based on morphological operations for behaviour anomaly detection [In Russian], Control systems and Information Technologies 2014, 56(2.1):190-194.
[14] Fleet DJ, Weiss Y. Optical flow estimation. In Book: Par-agios N, Chen Y, Faugeras O, eds. Handbook of mathematical models in computer vision. Chapter IV. US:
Springer; 2009: 239-258. ISBN: 978-0-387-26371-7. DOI: 10.1007/0-387-28831-7_15.
[15] Bouguet JY. Pyramidal implementation of the lucas kanade feature tracker, Intel Corporation, Microprocessor Research Labs; 2000.
[16] Antonakaki P, Kosmopoulos D, Perantonis S. detecting abnormal human behavior using multiple cameras. Signal
Proccesing 2009, 89(9):1723-1738. DOI: 10.1016/j.sigpro.2009.03.016.
[17] Hall M. Correlation based feature selection for machine learning. Doctoral dissertation. Hamilton, NewZealand: The University of Waikato, Department of Computer Science; 1999.
Authors' information
Roman Andreevich Shatalin (b. 1992) received master degree in Computer Science from Lobachevsky State University, Nizhni Novgorod, Russian Federation in 2015 and currently is working towards PhD. His research interests primarily include computer vision and machine learning, with specific focus on visual analysis of human behavior. Email: shatalinra@nifti.unn.ru .
Vladimir Romanovich Fidelman (b. 1950) graduated from Physics faculty of Lobachevsky State University in 1974, majoring in Computer Software and Automation. Currently he is working as Head of Information Technology in Physics Research department. Research interests are signal and image processing, models of open self-organizing systems, research automation systems. E-mail: _ fidelman@nifti.unn.ru .
Pavel Evgenyevich Ovchinnikov (b. 1983) graduated from Faculty of Physics of Lobachevsky State University in 2005, majoring in Information Technologies in Physics. Currently he is working as Senior Researcher at Research Institute of Technical Physics at Lobachevsky State University. Research interests are signal and image processing, machine learning. E-mail: ope@nifti.unn.ru .
Received July 18, 2016. The final version - December 31, 2016.
