CC BY
53
Разработка комбинированного метода
детекции движений для системы интеллектуального видеонаблюдения
Е.Е. Истратова, Е.А. Бухамер, И.Н. Томилов
Аннотация — В статье представлены результаты разработки метода обнаружения движений с учетом фильтрации шума в кадре. На основании анализа источников литературы был предложен комбинированный подход к обнаружению движений на базе классических и эвристических алгоритмов. В ходе работы были рассмотрены как классические подходы к обнаружению движения в видеопоследовательностях, так и существующие готовые к использованию решения в сфере интеллектуальных систем видеонаблюдения. В результате был разработан алгоритм обнаружения движения, решающий проблему большого количества ложноположительных срабатываний. Отличительными особенностями разработанного алгоритма являются устойчивость к шумам и незначительным движениям на кадрах видеопоследовательностей, а также способность легко адаптироваться к различным изменениям среды обнаружения движения. Главным достоинством предложенной модификации алгоритма обнаружения движения является достаточно высокая скорость обработки каждого кадра для системы видеоаналитики в условиях реального времени.
Ключевые слова — обнаружение движения, детектор движения, интеллектуальная система, видеонаблюдение, алгоритм вычитания фона.
I. ВВЕДЕНИЕ
В настоящее время главный вектор развития систем видеонаблюдения направлен на создание автоматизированных многофункциональных
комплексов, имеющих интеллектуальные возможности и способные заменить человека при решении ряда задач [1]. Благодаря извлечению нужной информации из видеопоследовательностей становится возможным распознавание опасных сценариев на ранней стадии для их предотвращения и минимизации ущерба.
Однако реализация интеллектуальных функций программного обеспечения для видеонаблюдения порой может требовать значительных вычислительных нагрузок. Поэтому для систем видеонаблюдения актуальным является разрешение противоречий между вычислительной сложностью алгоритмов обработки, качеством формируемых изображений и аппаратными
Истратова Евгения Евгеньевна, Новосибирский государственный технический университет, istratova@mail.ru
Бухамер Егор Андреевич, Новосибирский государственный технический университет, bukhamer@corp.nstu.ru
Томилов Иван Николаевич, Новосибирский государственный технический университет, tomilov@corp.nstu.ru
возможностями современной техники [2].
Различные среды видеонаблюдения и доступное оборудование накладывают существенные ограничения на спектр возможных для применения решений и заставляют искать компромисс между вычислительной сложностью автоматизирующих видеонаблюдение алгоритмов и качеством работы вместе с предоставляемыми вычислительными мощностями. Поэтому задача создания интеллектуальной системы видеонаблюдения, использующей универсальные вычислительные средства, не решена в полной мере, несмотря на то, что проблеме разработки интеллектуальных систем видеонаблюдения посвящены работы многих ученых. Таким образом, целью исследования являлась разработка комбинированного метода обнаружения движений с учетом фильтрации шума в кадре для системы интеллектуального видеонаблюдения.
II. Анализ классических алгоритмов для
ОБНАРУЖЕНИЯ ДВИЖЕНИЙ ОБЪЕКТОВ В КАДРЕ
Простейшим решением для задачи обнаружения движений являются алгоритмы, основанные на вычитании фона. Данная группа алгоритмов работает за счет сравнения изменяющейся части изображения, то есть предполагаемого движения, с фоном [3].
Перед операцией сравнения с фоном поступающее изображение необходимо определенным образом обработать. Как правило, размер исходного изображения уменьшается, что позволяет удалить мельчайшие детали и уменьшить шум. Помимо этого, уменьшенный кадр необходимо размыть с помощью фильтра Гаусса. Благодаря этому, будут сглажены незначительные детали текущего кадра и фона, а также уменьшится влияние шума и фоновых вибраций. Также распространенным шагом для алгоритмов этого класса является перевод изображения в черно-белую цветовую гамму.
В рамках техники вычитания фона существует разные подходы, зависящих от того, как будет выбран фон [4;5]. Одним из подходов является вычитание каждого кадра из эталонного изображения, на котором отсутствует движение. Как правило, в качестве такого изображения выбирается первый кадр видеопоследовательности.
Основными этапами алгоритмов обнаружения движения, использующих такой подход, являются следующие:
1. Изменение размера.
2. Размытие с помощью фильтра Гаусса.
3. Вычитание фонового кадра из текущего кадра.
4. Удаление «тусклых» фрагментов, характерных для фона.
5. Цветовое выравнивание ярких фрагментов, характерных для движения.
6. Поиск контуров движущихся объектов.
Недостаток алгоритмов данного вида заключается в
том, что такой детектор движения не учитывает изменения окружающей среды, связанные со сменой освещения. Если зона обнаружения движения имеет естественное освещение, меняющееся с течением времени, то данная особенность будет приводить к большому количеству ложноположительных
срабатываний. Однако, если охраняемый объект находится в зоне с неизменным освещением, такой подход может применяться.
Помимо этого, данный алгоритм будет неустойчив к шуму [6]. Детектор движения должен игнорировать шум, чтобы избежать ложноположительных срабатываний. К подобным изменениям видеопоследовательности могут приводить, например: блики солнечного света; отражение предметов от прозрачных стеклянных поверхностей; колебания мелких предметов в кадре - листва, трава, пыль; дрожание камеры из-за случайных вибраций; мерцающие осветительные люминесцентные лампы; дефекты изображения из-за малой светосилы, качества матрицы камеры; искажение картинки из-за задержек сетевого трафика или помех при использовании аналоговых камер.
Гистограмма направленных градиентов (Histogram of Oriented Gradients, HOG) - это дескрипторы особых точек, которые используются в компьютерном зрении и обработке изображений с целью распознавания объектов [7]. Алгоритм обнаружения объектов с помощью HOG построен на идее, что с помощью распределения градиентов интенсивности или направления краев могут быть описаны внешний вид и форма объекта.
Для реализации дескрипторов изображение необходимо поделить на небольшие связные области, именуемые также ячейками. Далее для каждой их этих ячеек необходимо рассчитать гистограммы направлений градиентов или направлений краев для пикселей, находящихся внутри ячейки. Комбинация этих гистограмм и является дескриптором.
Далее локальные гистограммы подвергаются нормализации по контрасту для увеличения точности. Для нормализации используется мера интенсивности на большем фрагменте изображения, который называется блоком. Нормализованные дескрипторы обладают лучшей инвариантностью по отношению к освещению.
Конечным шагом в распознавании объектов с использованием HOG является классификация дескрипторов при помощи системы обучения с учителем. Часто для этого используется метод опорных векторов [8;9].
Метод опорных векторов работает за счет перевода исходных векторов в пространство с другой, более
высокой размерностью. Далее осуществляется поиск разделяющей гиперплоскости с наибольшим зазором в этом пространстве. Цель состоит в том, чтобы выбрать гиперплоскость с максимально возможным расстоянием между опорными векторами в наборе данных. Опорные векторы - это точки данных, которые находятся ближе всего к гиперплоскости.
Метод Виолы-Джонса - это алгоритм, предназначенный для обнаружения объектов на изображениях в режиме реального времени [10; 11]. Данный алгоритм создавался для обнаружения лиц, однако может использоваться и для поиска других объектов на изображении [12]. Для обнаружения объектов в данном алгоритме используются признаки цифрового изображения, называемые признаками Хаара, которые представляют собой разбивку заданной прямоугольной области на наборы разнотипных прямоугольных подобластей.
В алгоритме Виолы-Джонса применяется технология интегрального изображения для того, чтобы эффективно определять наличие или отсутствие множества функций Хаара в разных масштабах на каждом участке изображения. Интегральное значение для каждого пикселя вычисляется как сумма всех пикселей над ним и слева от него.
Для выбора признаков и настройки классификаторов в данном алгоритме используется метод машинного обучения AdaBoost [13;14]. AdaBoost относится к комитетным методам машинного обучения. Это значит, что он объединяет много «слабых» классификаторов в «комитет» с целью создания «сильного» классификатора.
Преимуществом данного алгоритма является небольшой набор обучающих данных, необходимых для его обучения. Помимо этого, он также имеет более высокую скорость выполнения, поскольку классификаторы на основе признаков Хаара обычно требуют меньше вычислений.
Проблема использования каскадов Хаара заключается в том, что для качественной работы алгоритма необходимо, чтобы среда, в которой будет происходить обнаружение объектов, была похожа на среду, на которой обучался классификатор. Помимо этого, недостатками являются резкое ухудшение вероятности обнаружения объекта при следующих условиях: усилении шумов на изображении; при смене освещения; при изменении масштаба или повороте изображения. Таким образом, общими недостатками всех вышеописанных алгоритмов обнаружения движений являются недостаточная точность при значительных требованиях к вычислительным ресурсам.
III. Разработка комбинированного метода
ОБНАРУЖЕНИЯ ДВИЖЕНИЙ
Рассмотренные классические алгоритмы выявления движения могут быть недостаточно эффективны при необходимости обнаружить движение в сложной, быстро меняющейся или зашумленной среде съемки.
Качество работы алгоритма обнаружения движения можно улучшить, используя подход вычитания текущего кадра из предыдущих. В данном случае в качестве фона выбирается один из предыдущих кадров, отстающий на несколько кадров от текущего. При таком подходе будет решена проблема со сменой освещения, и детектор движения, использующий данный принцип, будет способен стабилизироваться через некоторое время даже при резких изменениях среды съемки.
Для борьбы с зашумленной средой обнаружения на видео можно перейти от вычитания двух кадров друг из друга (фона и текущего кадра), к вычитанию усреднений последовательностей кадров. В таком случае в качестве текущего кадра можно использовать некоторый буфер движения, представляющий собой усреднение нескольких последних кадров. При этом важно сделать так, чтобы последний кадр имел наибольшее значение, что будет достигнуто с помощью весовых коэффициентов, с которыми будут суммироваться кадры перед нормализацией. Для определения фона будет использоваться усреднение кадров, вышедших из буфера движения. Такие кадры будут переходить в фоновый буфер, который также будет усреднением последовательности некоторого количества кадров. На рис. 1 представлена блок-схема модифицированного
НЛЧАЛО
0 видеопоследовательности есть кэдры?
Да
чтение квдра
размера кадра
Разжиме кедра с
ЛОМйсцькЭ Ши.'- и-
гаутсса
Оживление буфера лишения
Обновление
фоповочо (ууфгро
угрЧ'^ИЧ'ИЧЫ': МНИЙ фонового б/фера ы
движения
удаление
"тусклы*" частей
Перевод юображвния к оттопчи МРОГО
Уыеиьшечне размЕра кадра
пои« областей, С«|ктетв>нл14ях движению
демонстрация кадра с прямоугольниками для
ДВИЖЕНИЯ
алгоритма обнаружения движения.
Рисунок 1 - Блок-схема модифицированного алгоритма обнаружения движения
Этапы модифицированного алгоритма,
использующего подход вычитания текущего кадра из предыдущих, включает выполнение следующих действий:
1. Изменение размера изображения. На этом этапе размер исходного изображения уменьшается, что удаляет мельчайшие детали и уменьшает шум. Кроме того, данный шаг ускоряет дальнейшие операции и уменьшает объем используемой оперативной памяти.
2. Размытие с помощью фильтра Гаусса.
3. Добавление в буфер движения. Кольцевой буфер движения используется для уменьшения фонового шума с помощью усреднения. Новые кадры, помещенные в этот буфер, считаются более важными, чем старые. После того, как кадр перемещается из буфера движения, он попадает в фоновый кольцевой буфер. Чем больше кадров в буфере движения, тем выше вероятность обнаружения, но тем больше может быть ошибка определения области движения из-за включения «хвоста» движущегося объекта.
4. Добавление в фоновый буфер. Фоновый кольцевой буфер - это большой буфер, в котором кадры представляют усредненную картину прошлых состояний среды в течение более длительного времени. Например, 1 секунда может быть выбрана для изменчивой среды, 10 секунд для более стабильной среды. Чем больше кадров в истории фонового буфера, тем ниже уровень шума, например, шума, вызванного движением листвы. Но объекты, которые длительное время находятся в одном и том же месте в кадре, например, автомобиль, ожидающий движения на перекрестке, могут вызвать ложноположительное обнаружение движения. Поэтому кадры, выскочившие из буфера движения, перемещаются в фоновый буфер, определяющий исторический вид фоновой сцены.
5. Усреднение фона - это подсчет среднего арифметического кадров в фоновом буфере.
6. Усреднение движения - это получение суммы кадров буфера движения с коэффициентами арифметической прогрессии, которая ориентируется на сумму арифметической прогрессии. Это увеличивает влияние наиболее новых кадров и снижает влияние старых кадров.
7. Вычитание фона. На этом этапе производится определение мест, в которых фон отличается от анализируемого кадра, что соответствует движению с помощью вычитания фонового кадра, полученного на этапе 5 из кадра движения, полученного на этапе 6. Полученное
1-йт
изображение содержит несколько цветных областей на черном фоне, которые соответствуют движению объекту. Данный алгоритм преобразует изображение в оттенки серого только на этом этапе. Он позволяет искать яркие пятна через каждый компонент RGB. Далее происходит удаление «тусклых» частей изображения. Такие части, как правило, характеризуют шумовые воздействия или «хвосты» объектов. Отсечение производится по порогу белого цвета. Чем выше будет установлен такой порог, тем больше движений может быть проигнорировано, также будут проигнорированы движения объектов, цвет которых слабо отличается от цвета фона. Высоким такой порог может быть целесообразно устанавливать, например, при низком качестве съемки, когда на видео присутствует много шума.
8. Изменение размера кадра обнаружения. Алгоритм построения контуров объектов зависит от количества белых пикселей в кадре обнаружения. Кроме того, на изображении, полученном на этапе 7, могут наблюдаться небольшие движения, которые следует игнорировать, иначе это может привести к ложноположительным обнаружениям. Чтобы справиться с такими проблемами, выполняется масштабирование кадра.
9. Поиск областей, соответствующих движению. Алгоритм выполняет поиск по белым областям, вычисляя ограничительные рамки. Пересекающиеся рамки объединяются.
Результатом работы предложенного алгоритма обнаружения движения является одноканальное изображение, на котором предполагаемому движению соответствуют белые области (с максимальным значением интенсивности), а фону - черные области (нулевые значения интенсивности).
Рассмотрим псевдокод для модифицированного алгоритма обнаружения движения.
НАЧАЛО
пока в видеопоследовательности есть кадры frame:= read_frame() width:= frame_width * compression_ratio height:= frame_height * compression_ratio
frame:= resize(frame, width, height) frame:= gaussian_blur(frame)
background_buffer:= update_background_buffer(frame) motion_buffer:= update_motion_buffer(frame)
motion_frame:= averaging_motion_buffer(motion_buffer) background_frame:=
averaging_background_buffer(background_buffer) movement:= absolute_difference(motion_frame,
background_frame)
movement:= removal_pale_parts(movement,
brightness_threshold)
movement:= convert_to_black_and_white(movement) movement:= highlight(movement) detect_width:= frame_width * detect_compression_ratio detect_height:= frame_height * detect_compression_ratio movement:= resize(frame, detect_width, detect_height)
boxes:= create_bounding_boxes(movement) если len(boxes) > 0, то draw(frame, boxes) КОНЕЦ
Рассмотрим функции, использующиеся в данном алгоритме.
Функция resize(frame, width, height) изменяет размер принимаемого кадра frame до размера width на height.
Функция gaussian_blur(frame) производит размытие кадра frame c помощью фильтра Гаусса.
Функция update_background_buffer(frame) обновляет фоновый буфер. Псевдокод алгоритма обновления фона:
Вход:
- последовательность цифровых изображений с высотой frame_height, шириной frame_width и глубиной frame_depth;
- размер буфера фона background_buffer_size;
- размер буфера движения movement_buffer_size;
- степень сжатия кадра перед обработкой compression_ratio;
- степень сжатия кадра перед обнаружением движения detect_compression_ratio;
- порог удаления бликов brightness_threshold.
Выход:
- координаты ограничивающего прямоугольника движущихся объектов при наличии таковых для каждого входящего кадра boxes.
Вход:
- текущий фоновый буфер background_buffer;
- размер буфера фона background_buffer_size;
- текущий буфер движения motion_buffer;
- размер буфера движения movement_buffer_size;
- текущий кадр frame.
Выход:
- обновленный буфер движения. НАЧАЛО
если len(motion_buffer) == movement_buffer_size, то
current_frame:= motion_buffer.pop()
иначе
current_frame:= frame
background_buffer = append(background_buffer,
current_frame)
возврат background_buffer
КОНЕЦ
Функция update_motion_buffer(frame) обновляет буфер движения, добавляет в него текущий кадр и удаляет наиболее старый кадр в нем, если превышен максимальный размер буфера движения.
Функция averaging_background_buffer
(background_buffer) производит усреднение фонового буфера для последовательности кадров.
Функция averaging_motion_buffer(motion_buffer) производит усреднение буфера движения с учетом приоритета наиболее новых кадров.
Функция absolute_difference(frame1, frame2) вычисляет абсолютную разницу по элементам между двумя цифровыми изображениями.
Функция removal_pale_parts(frame,
brightness_threshold) удаляет «тусклые» части изображения. В результате ее работы все значения интенсивности, величина которых меньше порогового значения brightness_threshold будут приравнены к нулю.
Функция convert_to_black_and_white(frame) переводит трехканальное изображение в одноканальное, то есть в оттенки серого.
Функция highlight(frame) приравнивает все значения интенсивности больше нуля максимальному значению интенсивности.
Функция create_bounding_boxes(movement)
возвращает координаты ограничивающих
прямоугольников для предполагаемого движения на предобработанном кадре.
Таким образом, по сравнению с существующими решениями достоинством предложенной модификации алгоритма обнаружения движения является достаточно высокая скорость обработки одного кадра для системы видеоаналитики реального времени и невысокие требования к вычислительной мощности оборудования, на котором он будет запускаться. Это позволяет расширить область его применения. Данный алгоритм может быть развернут как встраиваемая система, работающая на одноплатных компьютерах. Также он может быть быть использован во встроенном программном обеспечении IP-камер. Как и многие системы видеонаблюдения, алгоритм может работать на обычном компьютере как часть сервера видеонаблюдения. Еще одним преимуществом предлагаемого алгоритма является низкое количество ложноположительных срабатываний, достигаемое без использования вычислительно затратных методов, таких как нейронные сети.
IV. Исследование разработанного алгоритма
ОБНАРУЖЕНИЯ ДВИЖЕНИЙ
Для проведения экспериментов с целью определения численных метрик качества работы методов обнаружения движения была использована реализация алгоритма на языке программирования Python с
применением библиотеки для обработки изображений OpenCV.
Работа программных детекторов движения была проверена на видеозаписях в формате MP4 со следующими характеристиками: разрешение — 960х576; кодек — H.264 (High Profile); кадровая частота — 30 кадров в секунду. В качестве прототипа модернизированного алгоритма был использован алгоритм, созданный совместно лабораторией компании Eltex и Новосибирским государственным техническим университетом [15].
В качестве метрик для оценки качества работы модернизированного и классического алгоритмов были выбраны следующие:
1. Отношение количества ложноположительных срабатываний к общему числу срабатываний. Данная метрика характеризует, как часто детектор движения допускает ошибки первого рода.
2. Отношение количества верных срабатываний к общему числу срабатываний.
3. Отношение количества пропущенных детектором движений объектов к общему числу срабатываний. Данная метрика должна характеризовать, сколько пропусков эпизодов движения приходится на одно срабатывание детектора.
4. Средняя скорость обработки одного кадра видеопоследовательности.
Результаты экспериментов модифицированного и классического алгоритмов обнаружения движения на основе вычитания фона представлены в табл. 1.
Таблица 1. Результаты сравнения модернизированного и классического алгоритмов
Метрика качества Классический алгоритм Модернизированный алгоритм
Отношение количества 0,46 0,12
ложноположительных срабатываний к общему числу срабатываний
Отношение количества верных срабатываний к общему числу срабатываний 0,54 0,88
Отношение количества 0,22 0,06
пропущенных детектором движений объектов к общему числу срабатываний
Средняя скорость обработки одного кадра видеопоследовательности 4,35 мс 3,42 мс
Согласно результатам сравнительного анализа алгоритмов, модифицированный алгоритм обнаружения движения имеет значительные преимущества по
сравнению с классическим. При незначительной разнице в скорости обработки одного кадра, модифицированный алгоритм показывает гораздо большую точность работы. Значительно меньшее количество ложноположительных срабатываний по сравнению с классическим алгоритмом свидетельствует о помехоустойчивости
модифицированного алгоритма.
V. Заключение
В результате работы был разработан комбинированный метод детекции движений для системы интеллектуального видеонаблюдения. Для реализации указанной задачи в ходе работы были изучены классические способы обнаружения движения в видеопоследовательностях, исследованы методы, использующие такие походы, как: алгоритм Виолы-Джонса; гистограмма направленных градиентов; алгоритмы вычитания фона. На основе собранной информации был разработан и обоснован комбинированный подход к обнаружению движений на базе классических и эвристических алгоритмов. Помимо этого, был предложен алгоритм обнаружения движения, решающий проблему большого количества ложноположительных срабатываний. Отличительными особенностями разработанного алгоритма являются устойчивость к шумам и незначительным движениям на кадрах видеопоследовательностей, а также способность легко адаптироваться к различным изменениям среды обнаружения движения. Главным достоинством предложенной модификации алгоритма обнаружения движения является достаточно высокая скорость обработки каждого кадра для системы видеоаналитики реального времени. Таким образом, полученный алгоритм обладает всеми необходимыми качествами для успешного внедрения в системы видеонаблюдения с различными архитектурными особенностями.
Библиография
[1] Обухова Н.А. Методы видеонаблюдения, сегментации и сопровождения движущихся объектов: автореф. дис. доктора техн. наук. - СПб.: Санкт-Петербургский гос. электротехн. ун-т «ЛЭТИ» им. В.И. Ульянова. М., 2008. 32 с.
[2] Локтеев А.С. Алгоритм выделения объектов на основе вычитания фона // Новые информационные технологии в научных исследованиях: материалы XXII Всероссийской научно-технической конференции студентов, молодых ученых и специалистов. Рязань, 2017. С. 219-220.
[3] Снегирева М.А., Алиферова А.И., Аксенов С.В. Цифровая обработка видеоизображений. Методы вычитания фона // Молодежь и современные информационные технологии: Сборник трудов XI Международной научно-практической конференции студентов, аспирантов и молодых ученых. Томск, 2019.С. 461-463.
[4] Meng F., Yuan G., Lv S. An overview on trajectory outlier detection // Artif Intell Rev 52, 2437-2456 (2019). https://doi.org/10.1007/s 10462-018-9619-1.
[5] Verdant A., Villard P., Dupret A. Three novell analog-domain algorithms for motion detection in video surveillance // Image Video Proc. 2011, 698914 (2011). https://doi.org/10.1155/2011/698914.
[6] Григорьев А.И., Коваленко В.В., Панкратов Л.В. Проблемы вычитания фона при индивидуальном дозиметрическом контроле и радиационном контроле на открытой местности // Радиохимические методы исследования: Сборник тезисов конференции. Санкт-Петербург, 2020. С. 37-38.
[7] Viola P., Jones M.J. Robust real-time face detection // International Journal of Computer Vision. 2014. Vol. 57. № 2. P. 137-154.
[8] Спицын В.Г., Болотова Ю.А. Распознавание лиц на основе метода главных компонент с применением вейвлет-дескрипторов Хаара и Добеши // Научная визуализация. 2016. №5. С. 103-112.
[9] Varkonyi-Kóczy A.R. New advances in digital image processing // Memetic Comp. 2, 283-304 (2020). https://doi.org/10.1007/s12293-010-0046-3.
[10] Белых Е.А. Обучение каскадов Хаара // Вестник Сыктывкарского университета. Серия: Математика. Механика. Информатика. 2017. № 1(22). С. 42-54.
[11] Abbas Q., Ibrahim M.E., Jaffar M.A. A comprehensive review of recent advances on deep vision systems // Artif Intell Rev 52, 39-76 (2019). https://doi .org/10.107/s10462-018-9633-3.
[12] Molina-Cabello M.A., García-González J., Luque-Baena R.M. The effect of downsampling-upsampling strategy on foreground detection algorithms // Artif Intell Rev 53, 4935-4965 (2020). https://doi.org/10.1007/s10462-020-09811-y.
[13] Колесников Р.С., Белов Ю.С. Технология гистограмм направленных градиентов (HOG) в задаче детектирования объектов // Научные исследования в области технических и технологических систем: сборник статей Международной научно-практической конференции. Казань, 2018. С. 127-131.
[14] Клюев В.В. Обнаружение объектов на изображениях с помощью гистограммы направленных градиентов // Аллея науки. 2019. Т. 2. № 2(29). С. 913-917.
[15] Бухамер Е.А., Томилов И.Н., Истратова Е.Е. Программа для распознавания лиц на встраиваемых платформах с ограниченной вычислительной мощностью. Свидетельство о регистрации программы для ЭВМ № 2021615215.
Development of a combined motion detection method for an intelligent video surveillance
system
E.E. Istratova, E.A. Bukhamer, I.N. Tomilov
Abstract — The article presents the results of the development of a motion detection method taking into account the filtering of noise in the frame. Based on the analysis of literature sources, a combined approach to motion detection based on classical and heuristic algorithms was proposed. In the course of the work, both classical approaches to motion detection in video sequences and existing ready-to-use solutions in the field of intelligent video surveillance systems were considered. As a result, a motion detection algorithm was developed that solves the problem of a large number of false positives. Distinctive features of the developed algorithm are resistance to noise and minor movements in frames of video sequences, as well as the ability to easily adapt to various changes in the motion detection environment. The main advantage of the proposed modification of the motion detection algorithm is a sufficiently high processing speed of each frame for a video analytics system in real time.
Keywords — motion detection, motion detector, intelligent system, video surveillance, background subtraction algorithm.
References
[1] Obukhova, N. A. 2008. Metody' videonablyudeniya, segmentaczii i soprovozhdeniya dvizhushhikhsya ob'ektov [Methods of video surveillance, segmentation and tracking of moving objects]. D.Sc. Diss. Spb. 32 p.
[2] Lokteev, A. S. 2017. Algoritm vy'deleniya ob'ektov na osnove vy'chitaniya fona [Algorithm for object selection based on background subtraction]. Materialy' XKhII Vserossij skoj nauchno-tekhnicheskoj konferenczii studentov, molody'kh ucheny'kh i speczialistov "Novy'e informaczionny'e tekhnologii v nauchny'kh issledovaniyakh" [Materials of the XXII All-Russian scientific and technical conference of students, young scientists and specialists "New information technologies in scientific research"]. Ryazan. 219220.
[3] Snegireva, M. A., Aliferova, A. I., Aksenov, S. V. 2019. Czifrovaya obrabotka videoizobrazhenij. Metody' vy'chitaniya fona [Digital processing of video images. Background Subtraction Methods]. Sbornik trudov XI Mezhdunarodnoj nauchno-prakticheskoj konferenczii studentov, aspirantov i molody'kh ucheny'kh "Molodezh' i sovremenny'e informaczionny'e tekhnologii" [Proceedings of the XI International Scientific and Practical Conference of Students, Postgraduates and Young Scientists "Youth and Modern Information Technologies"]. Tomsk. 461-463.
[4] Meng, F., Yuan, G., Lv, S. An overview on trajectory outlier detection // Artif Intell Rev 52, 2437-2456 (2019). Available at: https://doi.org/10.1007/s10462-018-9619-1 (accessed August 08, 2021).
[5] Verdant, A., Villard, P., Dupret, A. Three novell analog-domain algorithms for motion detection in video surveillance // Image Video Proc. 2011, 698914 (2011). Available at: https://doi .org/10.1155/2011/698914 (accessed August 08, 2021).
[6] Grigoriev, A. I., Kovalenko, V. V., Pankratov, L. V. 2020. Problemy' vy'chitaniya fona pri individual'nom dozimetricheskom kontrole i radiaczionnom kontrole na otkry'toj mestnosti [Background subtraction problems in individual dosimetric control and radiation control in open areas]. Sbornik tezisov konferenczii "Radiokhimicheskie metody' issledovaniya" [Collection of conference abstracts "Radiochemical research methods"]. St. Petersburg. 37-38.
[7] Viola, P., Jones, M. J. 2014. Robust real-time face detection. International Journal of Computer Vision. Vol. 57. No. 2: 137-154.
[8] Spitsyn, V. G., Bolotova, Y. A. 2016. Raspoznavanie licz na osnove metoda glavny'kh komponent s primeneniem vejvlet-deskriptorov Khaara i Dobeshi [Face recognition based on the method of principal components using Haar and Daubechies wavelet descriptors]. Nauchnaya vizualizacziya [Scientific visualization]. 5:103-112.
[9] Varkonyi-Kóczy, A. R. New advances in digital image processing // Memetic Comp. 2, 283-304 (2020). Available at: https://doi.org/10.1007/s12293-010-0046-3 (accessed August 08, 2021).
[10] Belykh, E.A. 2017. Obuchenie kaskadov Khaara [Training of Haar cascades]. Vestnik Sy'kty'vkarskogo universiteta. Seriya: Matematika. Mekhanika. Informatika [Bulletin of the Syktyvkar University. Series: Mathematics. Mechanics. Computer science]. 1(22): 42-54.
[11] Abbas, Q., Ibrahim, M. E., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems // Artif Intell Rev 52, 39-76 (2019). Available at: https://doi.org/10.107/s10462-018-9633-3 (accessed August 08, 2021).
[12] Molina-Cabello, M. A., García-González, J., Luque-Baena, R. M. The effect of downsampling - upsampling strategy on foreground detection algorithms // Artif Intell Rev 53, 4935-4965 (2020). Available at: https://doi.org/10.1007/s10462-020-09811-y (accessed August 08, 2021).
[13] Kolesnikov, R. S., Belov, Y. S. 2018. Tekhnologiya gistogramm napravlenny'kh gradientov (HOG) v zadache detektirovaniya ob'ektov [The technology of histograms of directional gradients (HOG) in the problem of detecting objects]. Sbornik statej Mezhdunarodnoj nauchno-prakticheskoj konferenczii "Nauchny'e issledovaniya v oblasti tekhnicheskikh i tekhnologicheskikh sistem" [Collection of articles of the International Scientific and Practical Conference "Research in the field of technical and technological systems"]. Kazan. 127-131.
[14] Klyuev, V. V. 2019. Obnaruzhenie ob'ektov na izobrazheniyakh s pomoshh'yu gistogrammy' napravlenny'kh gradientov [Detection of objects in images using a histogram of directional gradients]. Alleya nauki [Alley of Science]. Vol. 2. No. 2 (29):913-917.
[15] Bukhamer, E. A., Tomilov, I. N., Istratova, E. E. 2021. Programma dlya raspoznavaniya licz na vstraivaemy'kh platformakh s ogranichennoj vy'chislitel'noj moshhnost'yu [Face recognition software for embedded platforms with limited computing power]. Certificate of registration of the computer program RF No. 2021615215.
