CC BY
20
ПРИМЕНЕНИЕ ПЛОТНЫХ ТРАЕКТОРИЙ ДВИЖЕНИЯ К ЗАДАЧЕ ОБНАРУЖЕНИЯ НЕХАРАКТЕРНОГО ПОВЕДЕНИЯ НА ВИДЕОИЗОБРАЖЕНИИ
Р.А. Шаталин', В.Р. Фидельман', П.Е. Овчинников1 'Нижегородский государственный университет им. Н.И. Лобачевского, Нижний Новгород, Россия
Аннотация
В работе предложены алгоритмы обнаружения нехарактерного поведения на основе главных компонент по характеристикам плотных траекторий движения. Проведено сравнение показателей точности и быстродействия с алгоритмом обнаружения по длинам векторов оптического потока. Результаты свидетельствуют о повышении быстродействия при использовании плотных траекторий и сохранении точности при обучении модели «мешка признаков» на сбалансированной выборке признаков поведения.
Ключевые слова: видеонаблюдение, обнаружение нехарактерного поведения, метод главных компонент, плотные траектории движения.
Цитирование: Шаталин, Р.А. Применение плотных траекторий движения к задаче обнаружения нехарактерного поведения на видеоизображении / Р.А. Шаталин, В.Р. Фидельман, П.Е. Овчинников // Компьютерная оптика. - 2018. - Т. 42, № 3. - С. 476-482. - DOI: 0.18287/24126179-2018-42-3-476-482.
Введение
Видеонаблюдение приобретает все большее значение, предоставляя важную информацию для охраны правопорядка как в общественных местах, так и на частных территориях. За последние годы множество алгоритмов для обнаружения конкретных нештатных ситуаций было предложено и реализовано на основе строгих правил [1, 2]. Данные алгоритмы позволяют с высокой надежностью обнаруживать заранее известные типы нештатных ситуаций, но их модификация для обнаружения иного типа аномалий нетривиальна. Для устранения этого недостатка было предложено несколько статистических подходов к задаче видеонаблюдения.
Одним из подходов является распознавание событий на основе статистических методов классификации. Успехи в области распознавания событий на видеоизображениях показали эффективность использования плотных траекторий движения в качестве признаков [3]. Тем не менее, для успешной классификации необходимы примеры всех интересующих типов поведения, что затрудняет применение предложенных методов к задаче видеонаблюдения, где потенциально опасные ситуации возникают достаточно редко.
Другим подходом к задаче является обнаружение нехарактерного поведения как отклонения от модели, сформированной на основе примеров нормального поведения. В различных областях применения было предложено множество статистических методов для обнаружения подобных аномалий [4]. Одним из распространенных подходов к обнаружению аномалий является оценка характерных взаимозависимостей между признаками с помощью метода главных компонент [5]. В рамках данного подхода предложено множество методов обнаружения аномалий среди выборки признаков путем анализа характеристик главных компонент для неё. Недостатком данных методов является вычисление главных компонент после каждого нового кадра, что обладает высокой вычислительной сложностью при обработке больших объемов данных.
Для устранения этого недостатка ранее был предложен метод для обнаружения нехарактерного поведения в задачах видеонаблюдения на основе главных компонент [6]. В данном методе главные компоненты вычисляются только на этапе обучения, а во время работы производится вычислительно более простая операция проецирования векторов. Тестирование алгоритма показало, что использованию его в реальном времени препятствует низкая скорость вычисления невязок, обусловленная большой размерностью векторов характеристик поведения.
В данной работе предложены алгоритмы обнаружения нехарактерного поведения на основе характеристик плотных траекторий движения и проведено сравнение показателей точности и быстродействия с ранее предложенным алгоритмом [6]. Основным различием между алгоритмами являются извлекаемые характеристики поведения.
1. Метод
Рассмотренные алгоритмы обнаружения нехарактерного поведения на видеоизображениях состоят из следующих этапов.
Извлечение признаков поведения
В качестве признаков поведения часто используются траектории движения некоторых объектов или особенностей видеоизображения [1]. Модификацией данного подхода являются плотные траектории движения [3], которые представляют собой результат отслеживания пикселей в узлах прямоугольной сетки, покрывающей всю область видеоизображения. Метод вычисления характеристик плотных траекторий движения заключается в следующем. Для инвариантности к масштабу используется пирамида из нескольких копий видеоизображения, где размеры каждого следующего уровня меньше размеров предыдущего в заданное количество раз. Для каждого изображения из пирамиды с одинаковым шагом задается прямоугольная сетка, пиксели в узлах которой отслеживаются при условии отсутствия проблемы апертуры в их окрестности. Для каждого уровня производится оценка
оптического потока методом Фарнебака, на основе которой вычисляются дальнейшие положения пикселей. Каждый пиксель отслеживается заданное количество кадров, после чего извлекаются характеристики его траектории движения и заново рассматривается возможность отслеживания пикселя в исходном узле сетки. Для описания траектории движения используются следующие характеристики:
1) характеристика формы траектории (Trajectory Shape Descriptor, TSD);
2) гистограммы направленного градиента (Histogram of Oriented Gradients, HOG) в области вдоль траектории;
3) гистограммы оптического потока (Histogram of Optical Flow, HOF) в области вдоль траектории. Для объединения набора однородных характеристик траекторий на заданном промежутке видеопоследовательности в признаки поведения используется модель «мешка признаков» [3], суть которой заключается в следующем. На этапе обучения пространство характеристик разбивается на фиксированное количество областей, чьи центры определяются методом k-средних на основе некоторой выборки характеристик траекторий. На этапе извлечения каждой характеристике сопоставляется область с ближайшим центром и вычисляется гистограмма распределения характеристик по областям. В качестве признаков поведения может использоваться как гистограмма для отдельной характеристики плотных траекторий движения, так и вектор, состоящий из значений гистограмм для нескольких характеристик.
В работе [3] исследовано применение характеристик плотных траекторий движений для классификации действий на видеоизображении, но задача обнаружения нехарактерного поведения обладает рядом принципиальных отличий. Во-первых, в задаче видеонаблюдения временные рамки различных событий неизвестны заранее, что не позволяет разбить видеопоследовательность на фрагменты с одинаковым типом поведения, в пределах которых характеристики плотных траекторий объединяются в признаки поведения. Во-вторых, в задаче видеонаблюдения нештатные ситуации встречаются намного реже нормального поведения, что не позволяет составить репрезентативную выборку для обучения модели «мешка признаков». Отсутствие или недостаток примеров нештатного поведения при обучении модели может повлиять на разбиение пространства характеристик на области и привести к снижению вероятности обнаружения.
В данной работе предложены алгоритмы обнаружения нехарактерного поведения, которые решают эти проблемы следующим образом. Во-первых, вся видеопоследовательность разбивается на фрагменты заданной длительности, для которых производится извлечение характеристик плотных траекторий, объединение их в признаки поведения и обнаружение нехарактерного поведения. Во-вторых, для обучения модели «мешка признаков» составляется сбалансиро-
ванная выборка с одинаковым количеством характеристик плотных траекторий для нормального и нештатного поведения путем равномерно случайного отбора. Для составления подобных выборок предложено множество методов [7, 8], среди которых используемый подход является одним из самых простых и не требует дополнительной модели характеристик плотных траекторий.
Для сравнения с результатами работы [6] использовался алгоритм, где признаками поведения служила последовательность длин векторов смещения, вычисляемая следующим образом. Для каждого кадра видеопоследовательности объекты отделяются от фона сцены с помощью самоорганизующейся искусственной нейронной сети, предложенной в работе [9]. Параметры сети были выбраны с помощью критерия качества выделения фона на основе морфологических операторов [10]. Для каждого пикселя, принадлежащего объекту, оценивается скорость движения с помощью пирамидального метода Лукаса-Канаде [11]. Для компенсации влияния перспективной проекции методом плоской томографии [12] рассчитываются вектора смещения - проекции векторов оптического потока на плоскость пола. Пусть имеется изображение размером N х M и p(х, у) - вектор смещения для пикселя с координатами (х, у). Тогда выражение для вектора признаков F запишется в виде:
Р = {| p (0,0)|, p (0, М )| p (1,0)|, p (N, М )|}. (1)
Основным недостатком последовательности длин векторов смещения является большая размерность вектора признаков Р, равная количеству пикселей на изображении. Размерность гистограмм характеристик плотных траекторий является свободным параметром, что позволяет для заданных размеров видеоизображения получить более короткие вектора признаков поведения с целью снижения вычислительной сложности последующих этапов алгоритма.
Обнаружение нехарактерного поведения
Для оценки аномальности поведения в сцене по векторам признаков применялся метод на основе главных компонент [6], суть которого заключается в следующем. На стадии обучения для всех примеров «нормального» поведения извлекаются вектора признаков и для получившегося набора векторов находятся главные компоненты. Во время работы текущий вектор признаков поведения проецируется на набор векторов главных компонент и обратно. В общем случае набор векторов главных компонент не является базисом и некоторая составляющая вектора теряется при проецировании. Далее эта составляющая называется вектором невязки, и на её основе предложено две оценки аномальности: относительная и максимальная невязка. Относительная невязка представляет собой отношение норм вектора невязки и норм вектора признаков поведения, а максимальная невязка - максимальное значение среди модулей компонент вектора невязки.
2. Эксперимент
Работа алгоритмов с использованием разных признаков поведения была проверена как на видеозаписях лаборатории университета Калифорнии в Сан-Диего (иС8Б) [13], так и на экспериментально полученных видео. Видеозапись «Работа и ремонт» была сделана в компьютерном классе ННГУ. На видео «Работа и ремонт» в качестве нормального поведения была взята работа за компьютером, а в качестве нештатного - манипуляции с задней панелью системного блока. Видеозапись лаборатории ИС8Б содержит пешеходную улицу, обычная ходьба по которой была взята за нормальное поведение, а проезд транспортных средств - за нештатное.
Алгоритмы на основе плотных траекторий движения разбивали видеопоследовательность на фрагменты по 15 кадров, для которых производилось извлечение признаков и обнаружение нехарактерного поведения. Для обучения модели «мешка признаков» сначала формировалась выборка характеристик плотных траекторий движения для всех примеров нормального и нештатного поведения из видео. Количество кадров, примеров и плотных траекторий для разных типов поведения на обеих видеозаписях приведено в табл. 1. Из табл. 1 видно, что для обоих видео количество отслеживаемых плотных траекторий для нормального поведения больше, в особенности для видеозаписи лаборатории иС8Б. Аналогично работе [3] для ограничения вычислительной сложности процесса обучения размер выборки ограничивался 100 тысячами отобранных характеристик плотных траекторий. При несбалансированном обучении размер выборки сокращался путем равномерно случайного отбора, что приводило к соотношению количества характеристик траекторий для нормального и нештатного поведения, близкого к исходному. При сбалансированном обучении для каждого типа поведения производился независимый равномерно случайный отбор 50 тысяч характеристик плотных траекторий, которые вместе формировали выборку для обучения модели «мешка признаков». Гистограммы каждой характеристики плотных траекторий состояли из 4000 столбцов аналогично работе [3].
Табл. 1. Количество кадров, примеров и плотных траекторий для разных типов поведения на видео «Работа и ремонт» и видеозаписи лаборатории иСББ
Работа и ремонт UCSD
Нормальное поведение Нештатное поведение Нормальное поведение Нештатное поведение
Количество примеров 33 38 34 35
Количество кадров 10784 4795 6733 2822
Количество траекторий 148493 127805 321389 146337
Обучение метода на основе главных компонент проводилось на ограниченном числе примеров нормального поведения из видео. Затем для остальных
кадров с нормальным и нештатным поведением из выбранного видео вычислялись значения оценок аномальности. На основе этих оценок рассчитывался равный уровень ошибок, который представляет собой уровень ошибок при равной частоте ложных тревог и пропуска события [13]. При этом для уменьшения влияния шума и вычислительных погрешностей отбрасывались главные компоненты, которые описывали менее 1% вариации характеристик нормального поведения.
Значения равных уровней ошибок относительной и максимальной невязки на видео «Работа и ремонт» для разных характеристик поведения при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров для метода на основе главных компонент приведены в табл. 2. Из табл. 2 видно, что для видео «Работа и ремонт» наилучшие результаты были достигнуты при использовании относительной невязки для комбинации характеристики формы траекторий с гистограммой направленных градиентов. При этом равный уровень ошибок составил менее 1 процента, что соответствует более высокой точности в сравнении с ранее предложенным алгоритмом [6].
Табл. 2. Равный уровень ошибок относительной и максимальной невязки для видео «Работа и ремонт» при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров
Признаки поведения Относительная невязка Максимальная невязка
Обучение на 3 примерах Обучение на 7 примерах Обучение на 3 примерах Обучение на 7 примерах
Длины векторов смещения 3,7% 1,5% 8,4% 6,7%
TSD 12,81% 12,04% 10,42% 10,47%
HOG 0,32% 0,35% 0,47% 0,44%
HOF 11,06% 10,73% 18,22% 13,62%
TSD-HOG 0,15% 0,18% 11,23% 11,47%
TSD-HOF 11,46% 11,17% 13,20% 11,08%
HOG-HOF 5,82% 4,70% 17,34% 4,33%
TSD-HOG-HOF 7,08% 8,51% 12,49% 10,12%
Значения равных уровней ошибок относительной и максимальной невязки на видеозаписи лаборатории ИС8Б для разных характеристик поведения при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров приведены в табл. 3. Из табл. 3 видно, что для видео лаборатории иС8Б наилучшие результаты были достигнуты также при использовании относительной невязки для комбинации характеристики формы траекторий и гистограммы направленных градиентов. При этом равный уровень ошибок соответствует в пределах порядка показателям точности максимальной невязки для последовательности длин векторов смещения. Из этого следует, что эффективность относительной и максимальной невязки зависит не только от количества объектов в сцене, но и разновидности признаков поведения.
Табл. 3. Равный уровень ошибок для относительной и максимальной невязки для видеозаписи лаборатории иСБО при сбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров
Относительная Максимальная
Признаки поведения невязка невязка
Обучение на 5 Обучение на 25 Обучение на 5 Обучение на 25
примерах примерах примерах примерах
Длины векторов 49,6% 49,1% 22,7% 24,7%
смещения
TSD 50,63% 41,82% 27,06% 27,50%
HOG 29,43% 33,00% 35,29% 32,71%
HOF 25,81% 31,69% 29,99% 33,43%
TSD-HOG 25,51% 23,73% 25,81% 27,20%
TSD-HOF 25,81% 30,97% 26,50% 30,68%
HOG-HOF 25,94% 32,58% 32,22% 33,14%
TSD-HOG-HOF 25,38% 31,27% 23,70% 27,50%
Из приведенных значений равных уровней ошибок следует, что среди рассмотренных алгоритмов обнаружения нехарактерного поведения наибольшей точностью обладает алгоритм с использованием относительной невязки для комбинации характеристики формы траекторий с гистограммой направленных градиентов. При этом алгоритм использует только относительную невязку как для простых сцен, так и для сцен с большим количеством движущихся объектов в отличие от алгоритма на основе длин векторов смещения.
Недостатком предложенных алгоритмов является использование примеров нештатного поведения для обучения модели «мешка признаков». Для оценки влияния этого фактора было проведено тестирование алгоритмов при обучении модели только на характеристиках плотных траекторий для нормального поведения. Полученные значения равных уровней ошибок относительной невязки при разном количестве обучающих примеров приведены в табл. 4. Из сравнения табл. 2, 3 и 4 следует, что в условиях отсутствия примеров нештатного поведения алгоритмы в целом обладают более высоким равным уровнем ошибок. Такой результат можно объяснить существенной разницей между характеристиками плотных траекторий для рассматриваемых типов поведений, что приводит к неоптимальному разбиению пространства характеристик при обучении модели «мешка признаков» в данных условиях. Значения равных уровней ошибок относительной и максимальной невязки для комбинации характеристики формы траекторий с гистограммой направленных градиентов при несбалансированном обучении модели «мешка признаков» и разном количестве обучающих примеров приведены в табл. 5. Из сравнения табл. 2, 3 и 5 следует, что обучение модели «мешка признаков» на сбалансированной выборке позволило снизить равный уровень ошибок, в особенности для видеозаписи лаборатории иС8Б.
Табл. 4. Равный уровень ошибок относительной невязки при обучении модели «мешка признаков» только на примерах нормального поведения
Работа и ремонт UCSD
Признаки поведения Обучение на 3 Обучение на 7 Обучение на 5 Обучение на 25
примерах примерах примерах примерах
TSD 29,36% 31,41% 65,27% 57,88%
HOG 6,37% 0,70% 36,51% 42,12%
HOF 17,90% 15,53% 29,85% 37,20%
TSD-HOG 8,36% 6,72% 42,40% 47,76%
TSD-HOF 17,26% 15,53% 30,12% 35,60%
HOG-HOF 12,81% 9,25% 30,41% 35,89%
TSD-HOG-HOF 14,39% 12,14% 30,68% 36,77%
Табл. 5. Равный уровень ошибок относительной невязки при несбалансированном обучении модели «мешка признаков»
Работа и ремонт UCSD
Признаки поведения Обучение на 3 Обучение на 7 Обучение на 5 Обучение на 25
примерах примерах примерах примерах
TSD 13,84% 15,71% 49,37% 48,05%
HOG 0,32% 0,35% 29,99% 35,01%
HOF 12,81% 11,00% 26,50% 31,69%
TSD-HOG 0,32% 0,35% 29,43% 33,14%
TSD-HOF 12,96% 12,13% 25,94% 29,96%
HOG-HOF 6,95% 6,37% 25,94% 32,42%
TSD-HOG-HOF 8,43% 7,70% 25,38% 31,40%
Для оценки быстродействия алгоритмов измерялось время исполнения этапов работы алгоритмов на компьютере с четырехъядерным CPU Intel Core i5 3,4 ГГц и 8 GB RAM. Среднее значение времени вычисления и размерность вектора признаков поведения приведены в табл. 6. Из табл. 6 видно, что извлечение характеристик плотных траекторий движения занимает больше времени, чем вычисление длин векторов смещения. Такой результат следует из обработки изображения на нескольких масштабах и последующего применения подхода «мешок признаков» для создания единого описателя поведения на кадре.
Табл. 6. Среднее время вычисления и размерность вектора признаков поведения для видео «Работа и ремонт» и видеозаписи лаборатории иСББ
Размерность Среднее время
Признаки вектора признаков извлечения, мс
поведения UCSD Работа и ремонт UCSD Работа и ремонт
Длины векторов смещения 38400 71680 13,62 23,70
TSD 4000 4000 21,38 42,03
HOG 4000 4000 23,33 45,32
HOF 4000 4000 25,54 47,20
TSD-HOG 8000 8000 33,93 60,58
TSD-HOF 8000 8000 33,00 62,15
HOG-HOF 8000 8000 38,49 65,18
TSD-HOG-HOF 12000 12000 46,71 80,53
Количество использованных главных компонент и среднее значение времени вычисления невязок и пове-
дения приведены в табл. 7 и 8 соответственно. Из табл. 7 видно, что использование характеристик плотных траекторий приводит к сокращению количества главных компонент. Данный результат вместе со снижением размерности обуславливает существенное снижение времени вычисления невязок, представленных в табл. 8.
Табл. 7. Количество главных компонент для разных признаков поведения при разном количестве обучающих примеров
Работа и ремонт UCSD
Признаки Обучение Обучение Обучение Обучение
поведения на 3 на 7 на 5 на 25
примерах примерах примерах примерах
Длины
векторов 496 1421 716 3272
смещения
TSD 38 147 64 323
HOG 38 148 64 321
HOF 38 136 58 288
TSD-HOG 38 149 64 323
TSD-HOF 37 142 63 319
HOG-HOF 38 144 63 314
TSD-HOG-HOF 37 142 64 320
Табл. 8. Среднее время расчета невязок в миллисекундах для разных признаков поведения при разном количестве обучающих примеров
Работа и ремонт UCSD
Признаки Обучение Обучение Обучение Обучение
поведения на 3 на 7 на 5 на 25
примерах примерах примерах примерах
Длины векторов 82,66 235,14 64,82 290,97
смещения
TSD 0,29 0,88 0,43 1,79
HOG 0,29 0,88 0,43 1,79
HOF 0,27 0,80 0,40 1,60
TSD-HOG 0,55 1,73 0,82 3,56
TSD-HOF 0,53 1,64 0,81 3,52
HOG-HOF 0,53 1,66 0,81 3,45
TSD-HOG-HOF 0,85 3,85 1,68 9,65
На основе приведенных оценок быстродействия можно сделать следующий вывод. Использование характеристик плотных траекторий движений приводит к существенному снижению времени вычисления невязок за счет повышения среднего времени извлечения признаков. При этом суммарное время работы алгоритма снижается и начинает в значительной степени зависеть от времени извлечения характеристик.
Заключение
В работе предложены алгоритмы обнаружения нехарактерного поведения на основе главных компонент по характеристикам плотных траекторий движения. Проведено сравнение показателей точности и быстродействия с алгоритмом обнаружения по длинам векторов смещения. Результаты экспериментов свидетельствуют о повышения быстродействия при использовании плотных траекторий за счет снижения размерности вектора признаков и сокращения количества глав-
ных компонент. Сохранение точности достигается при условии обучения модели «мешка признаков» на сбалансированной выборке из признаков нормального и нештатного поведения. При этом для простых сцен и сцен с большим количеством движущихся объектов наименьший равный уровень ошибок достигается при использовании относительной невязки.
Литература
1. Sodemann, A. A review of anomaly detection in automated surveillance / A. Sodemann, M. Ross, B. Borghetti // IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews. - 2012. - Vol. 42, Issue 6. -P. 1257-1272. - DOI: 10.1109/TSMCC.2012.2215319.
2. Епифанцев, Б.Н. Мультисенсорные системы мониторинга территорий ограниченного доступа: возможности видеоаналитического канала обнаружения вторжений / Б.Н. Епифанцев, А. А. Пятков, С. А. Копейкин // Компьютерная оптика. - 2016. - Т. 40, № 1. - С. 121-129. -DOI: 10.18287/2412-6179-2016-40-1-121-129.
3. Wang, H. Dense trajectories and motion boundary descriptors for action recognition / H. Wang, A. Klaser, C. Schmid, C. Liu // International Journal of Computer Vision. - 2013. - Vol. 103, Issue 1. - P. 60-79. - DOI: 10.1007/s11263-012-0594-8.
4. Chandola, V. Anomaly detection: A survey / V. Chandola,
A. Banerjee, V. Kumar // ACM Computing Surveys (CSUR). - 2009. - Vol. 41, Issue 3. - 15 (58 p.). - DOI: 10.1145/1541880.1541882.
5. Jolliffe, 1 Principal component analysis. / I. Jolliffe. - 2nd ed. - New York: Springer-Verlag, 2002. - 488 p. - ISBN: 978-0-387-95442-4.
6. Шаталин, Р.А. Обнаружение нехарактерного поведения в задачах видеонаблюдения / Р.А. Шаталин,
B.Р. Фидельман, П.Е. Овчинников // Компьютерная оптика. - 2017. - Т. 41, № 1. - С. 37-45. - DOI: 10.18287/2412-6179-2017-41-1-37-45.
7. He, H. Learning from imbalanced data / H. He, E.A. Garcia // IEEE Transactions on Knowledge and Data Engineering. - 2009. - Vol. 21, Issue 9. - P. 1263-1284. - DOI: 10.1109/TKDE.2008.239.
8. Акимов, А. В. Модели и алгоритмы искусственного размножения данных для обучения алгоритмов распознавания лиц методом Виолы- Джонса / А.В. Акимов, А.А. Сирота // Компьютерная оптика. - 2016. - Т. 40, № 6. - С. 911-918. -DOI: 10.18287/2412-6179-2016-40-6-911-918.
9. Maddalena, L. A self-organizing approach to background subtraction for visual surveillance application / L. Maddalena, A. Petrosino // IEEE Transactions on Image Processing. - 2008. - Vol. 17, Issue 7. - P. 1168-1177. -DOI: 10.1109/TIP.2008.924285.
10. Овчинников, П.Е. Критерий качества выделения фона с использованием морфологических операторов для задач обнаружения нештатных ситуаций / П.Е. Овчинников, Р.А. Шаталин // Системы управления и информационные технологии. - 2014. - Т. 56, № 2.1. - С. 190-194.
11. Bouguet, J. Pyramidal implementation of the lucas kanade feature tracker / J. Bouguet // Intel Corporation, Microprocessor Research Labs. - 2000. - 9 p.
12. Antonakaki, P. Detecting abnormal human behavior using multiple cameras / P. Antonakaki, D. Kosmopoulos, S. Perantonis // Signal Proccesing. - 2009. - Vol. 89, Issue 9. -P. 1723-1738. - DOI: 10.1016/j.sigpro.2009.03.016.
13. Mahadevan, V. Anomaly detection and localization in crowded scenes / V. Mahadevan, W. Li, V. Bhalodia, N. Vasconcelos // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2014. - Vol. 36, Issue 1. -P. 18-32. - DOI: 10.1109/TPAMI.2013.111.
Сведения об авторах
Шаталин Роман Андреевич, 1992 года рождения, в 2015 году окончил Нижегородский государственный университет по направлению подготовки 09.04.02 «Информационные системы и технологии» и поступил в аспирантуру ННГУ по направлению подготовки 03.06.01 «Физика и астрономия», работает программистом на кафедре информационных технологий в физических исследованиях физического факультета ННГУ. Область научных интересов: обработка видеоизображений, компьютерное зрение и машинное обучение. E-mail: [email protected] .
Фидельман Владимир Романович, 1950 года рождения, в 1974 году окончил физический факультет ГГУ по специальности «Физика» со специализацией «Математическое обеспечение ЭВМ и АСУ». В 1997 году защитил диссертацию на соискание ученой степени доктора технических наук по специальности «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях». С 1998 года - заведующий кафедрой информационных технологий в физических исследованиях физического факультета ННГУ. Область научных интересов: методы цифровой обработки сигналов и изображений, методы моделирования открытых самоорганизующихся систем, системы автоматизации научных исследований. E-mail: _ [email protected] .
Овчинников Павел Евгеньевич, 1983 года рождения, в 2005 году окончил физический факультет ННГУ по специальности «Информационные системы (в физике)». В 2009 году защитил диссертацию на соискание ученой степени кандидата физико-математических наук, с 2013 года - старший научный сотрудник НИФТИ ННГУ. Область научных интересов: методы цифровой обработки сигналов и изображений, машинное обучение. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 20 февраля 2018 г. Окончательный вариант - 3 апреля 2018 г.
ABNORMAL BEHAVIOR DETECTION BASED ON DENSE TRAJECTORIES
R.A. Shatalin1, V.R. Fidelman1, P.E. Ovchinnikov1
1Lobachevsky State University of Nizhny Novgorod, Nizhny Novgorod, Russia
Abstract
In this paper, we propose abnormal behavior detection algorithms based on dense trajectories and principal components for video surveillance applications. The result shows that the proposed algorithms are faster than an algorithm based on lengths of displacement vectors but the accuracy is only retained if the bag-of-features model is trained on a balanced sample of behavior features.
Keywords: video surveillance, abnormal behaviour detection, principal component analysis, dense trajectories.
Citation: Shatalin RA, Fidelman VR, Ovchinnikov PE. Abnormal behavior detection based on dense trajectories. Computer Optics 2018; 42(3): 476-482. DOI: 0.18287/2412-6179-2018-42-3-476-482.
References
[1] Sodemann A, Ross M, Borghetti B. A review of anomaly detection in automated surveillance. IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews 2012, 42(6): 1257-1272. DOI: 10.1109/TSMCC.2012.2215319.
[2] Epifancev BN, Pyatkov AA, Kopeykin SA. Multi-sensor systems for monitoring access to restricted areas: capabilities of the intrusion detection video analytical channel. Computer Optics 2016; 40(1): 121-129. DOI: 10.18287/2412-6179-2016-40-1-121-129.
[3] Wang H, Klaser A, Schmid C, Liu C. Dense trajectories and motion boundary descriptors for action recognition. International Journal of Computer Vision, 2013, 103(1): 6079. DOI: 10.1007/s11263-012-0594-8.
[4] Chandola V, Banerjee A, Kumar V. Anomaly detection: A survey. ACM Computing Surveys 2009; 41(3): 15. DOI: 10.1145/1541880.1541882.
[5] Jolliffe IT. Principal component analysis. 2nd ed. Springer, New York: Springer-Verlag; 2002. ISBN: 978-0-387-95442-4.
[6] Shatalin RA, Fidelman VR, Ovchinnikov PE. Abnormal behaviour detection method for video surveillance applications [In Russian]. Computer Optics 2017; 41(1): 37-45. DOI: 10.18287/2412-6179-2017-41-1-37-45.
[7] He H, Garcia EA. Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering 2009; 21(9): 1263-1284. DOI: 10.1109/TKDE.2008.239.
[8] Akimov AV, Sirota AA. Synthetic data generation models and algorithms for training image recognition algorithms using the Viola-Jones framework [In Russian]. Computer Optics 2016; 40(6): 911-918. DOI: 10.18287/2412-61792016-40-6-911-918.
[9] Maddalena L, Petrosino A. A self-organizing approach to background subtraction for visual surveillance application. IEEE Transactions on Image Processing 2008; 17(7): 1168-1177. DOI: 10.1109/TIP.2008.924285.
[10] Ovchinnikov PE, Shatalin RA. Background subtraction quality criterion based on morphological operations for behaviour anomaly detection [In Russian]. Systemy uprav-leniya i informacionnye technologii 2014; 56(2): 190-194.
[11] Bouguet JY. Pyramidal implementation of the lucas ka-nade feature tracker. Intel Corporation, Microprocessor Research Labs 2000.
[12] Antonakaki P, Kosmopoulos D, Perantonis S. Detecting abnormal human behavior using multiple cameras. Signal
Proccesing 2009; 89(9): 1723-1738. DOI: 10.1016/j.sigpro.2009.03.016. [13] Mahadevan V, Li W, Bhalodia V, Vasconcelos N. Anomaly detection and localization in crowded scenes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(1): 18-32. DOI: 10.1109/TPAMI.2013.111.
Author's information
Roman Andreevich Shatalin (b. 1992) received master degree in Computer Science from Lobachevsky State University, Nizhni Novgorod, Russian Federation in 2013 and currently is working towards PhD. His research interests primarily include computer vision and machine learning, with specific focus on visual analysis of human behavior. Email: [email protected] .
Vladimir Romanovich Fidelman (b. 1950) graduated from Physics faculty of Lobachevsky State University in 1974, majoring in Computer Software and Automation. Currently he is working as Head of Information Technology in Physics Research department. Research interests are signal and image processing, models of open self-organizing systems, research automation systems. E-mail: _ [email protected] .
Pavel Evgenyevich Ovchinnikov (b. 1983) graduated from Physics faculty of Lobachevsky State University in 2005, majoring in Information Technologies in Physics. Currently he is working as Senior Researcher at Research Institute of Technical Physics at Lobachevsky State University. Research interests are signal and image processing, machine learning. E-mail: [email protected] .
Received February 20, 2018. The final version - April 3, 2018.
