CC BY
7
(ее)
http://dx.doi.org/10.35596/1729-7648-2022-20-6-30-36
Оригинальная статья Original paper
УДК 623.618
ОСОБЕННОСТИ ПРИМЕНЕНИЯ АЛГОРИТМА ОБНАРУЖЕНИЯ, ОСНОВАННОГО НА МЕТОДЕ ВЫЧИТАНИЯ ФОНА, В СКАНИРУЮЩЕЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЕ НАБЛЮДЕНИЯ
© Белорусский государственный университет информатики и радиоэлектроники, 2022
Аннотация. В статье рассмотрен разработанный авторами подход к адаптации алгоритма обнаружения, основанного на методе вычитания фона, к работе в сканирующей оптико-электронной системе наблюдения. Данный алгоритм лежит в основе разработанного способа обработки изображений применительно к задаче обнаружения движущихся объектов оптико-электронной системой наблюдения тепловизионного типа. При этом данный способ обеспечивает решение задач по охране критически важного объекта оптико-электронной системой наблюдения, которая должна функционировать как в неподвижном, так и в сканирующем режиме. Использование для построения модели фона усовершенствованной смеси гауссовых распределений позволяет производить адаптацию к периодическим изменениям яркости пикселей от динамических элементов фона наблюдаемой сцены. Однако применение данного алгоритма обнаружения в сканирующей оптико-электронной системе требует решение следующих проблемных вопросов: исключение ложного выделения в передний план областей обрабатываемого изображения при переносе поля зрения датчика; устранение ошибки в начальных значениях параметров смеси гауссовых распределений. Применение предлагаемого авторами подхода к решению данных вопросов реализовано в специализированной оптико-электронной системе наблюдения и позволяет достичь такого же качества работы обнаружителя, основанного на методе вычитания фона, в сканирующем режиме, как и в неподвижном.
Ключевые слова: обнаружение движущихся объектов, оптико-электронная система наблюдения, сканирующий режим.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Для цитирования. Михнёнок Е.И., Хижняк А.В. Особенности применения алгоритма обнаружения, основанного на методе вычитания фона, в сканирующей оптико-электронной системе наблюдения. Доклады БГУИР. 2022; 20(6): 30-36.
Е.И. МИХНЁНОК, А.В. ХИЖНЯК
Военная академия Республики Беларусь (г. Минск, Республика Беларусь)
Поступила в редакцию 6 мая 2022
FEATURES OF THE APPLICATION OF THE DETECTION ALGORITHM BASED ON THE BACKGROUND SUBTRACTION METHOD IN THE SCANNING OPTOELECTRONIC SURVEILLANCE SYSTEM
EVGENY I. MIKHNIONOK, ALEXANDER V. KHIZNIAK
Military Academy of the Republic of Belarus (Minsk, Republic of Belarus)
Submitted 6 May 2022
© Belarusian State University of Informatics and Radioelectronics, 2022
Abstract. The article considers the approach developed by the authors to adapt the detection algorithm based on the background subtraction method to work in a scanning optoelectronic surveillance system. This algorithm is the basis of the developed image processing method applied to the problem of detecting moving objects by an optoelectronic thermal imaging surveillance system. At the same time, this method provides a solution to the tasks of protecting a critical object with an optoelectronic surveillance system, which must function both in stationary and scanning mode. The use of an improved mixture of Gaussian distributions to build a background model makes it possible to adapt to periodic changes in pixel brightness from dynamic background elements of the observed scene. However, the application of this detection algorithm in a scanning optoelectronic system requires the solution of the following problematic issues: the exclusion of false highlighting of the areas of the processed image in the foreground when transferring the sensor field of view; the elimination of errors in the initial values of the parameters of a mixture of Gaussian distributions. The application of the approach proposed by the authors to solving these issues is implemented in a specialized optoelectronic surveillance system and allows achieving the same quality of the detector based on the background subtraction method in scanning mode as in stationary mode.
Keywords: detection of moving objects, optical-electronic surveillance system, scanning mode.
Conflict of interests. The authors declare no conflict of interests.
For citation. Mikhnionok E.I., Khizniak A.V. Features of the Application of the Detection Algorithm Based on the Background Subtraction Method in the Scanning Optoelectronic Surveillance System. Doklady BGUIR. 2022; 20(6): 30-36.
Введение
В настоящее время для решения различных задач все более широкое применение получают оптико-электронные системы наблюдения. В отдельных случаях условия решения конкретных задач определяют необходимость применения специализированных алгоритмов обработки информации. Существующее в настоящее время многообразие разработанных алгоритмов говорит о том, что все они характеризуются своими достоинствами и недостатками в конкретных условиях применения. Поэтому определение подходов к применению алгоритмов обнаружения в несвойственных им ранее задачах с сохранением их достоинств является актуальной задачей. Целью данной статьи является описание примененного подхода к адаптации алгоритма обнаружения, основанного на методе вычитания фона, к работе в сканирующей оптико-электронной системе наблюдения. Применение алгоритма обнаружения, основанного на методе вычитания фона, реализованного в разработанной при участии авторов оптико-электронной системе наблюдения, предполагает дискретное перемещение поля зрения датчика в заданном секторе сканирования.
Специфика решаемой задачи
Проблеме обнаружения объектов оптико-электронными системами наблюдения уделено огромное внимание в научной литературе. Порядок решения задачи обнаружения, конкретные условия функционирования системы наблюдения, степень участия человека в процессе
принятия решения об обнаружении, характеристики датчиков лежат в основе выбора приемлемого подхода к обнаружению объектов интереса. При этом разработка конкретных систем автоматического обнаружения определяет учет ряда особенностей: в большинстве случаев необходимо решать задачу, которая сводится к обнаружению на изображении определенного перечня заранее известных объектов; алгоритмы обработки изображений должны удовлетворять требованиям, связанным с назначением и характеристиками разрабатываемой системы обнаружения; методы обнаружения должны быть устойчивы к различным дестабилизирующим факторам, характерным только для изображений (искажения оптических сенсоров, блики, затенения, загораживания, искажения формы и др.).
Однако несмотря на существующие достижения в отдельных областях применения принятие конечного решения об обнаружении остается за человеком. Данный принцип принятия решения во многом оправдан, так как цена ошибки может оказаться достаточно велика.
В данной работе авторами рассматривается задача автоматического обнаружения потенциального нарушителя критически важного объекта. Специфика решаемой задачи определяет, что интерес представляют движущиеся объекты типа «человек», «транспортное средство». При этом конечное решение об обнаружении принимается человеком, что позволяет смягчить требования к используемым алгоритмам обнаружения, а системе автоматического обнаружения необходимо только привлечь внимание оператора к определенному участку наблюдаемой сцены.
Учет данных особенностей определяет для оптико-электронной системы (ОЭС) возможность применения алгоритмов автоматического обнаружения без распознавания обнаруженного объекта, однако с высокими вероятностями обнаружения всех движущихся объектов на наблюдаемой сцене. Классификация алгоритмов обнаружения движущихся объектов на изображениях представлена на рис. 1.
Рис. 1. Классификация алгоритмов обнаружения движущихся объектов на изображениях Fig. 1. Classification of algorithms for detecting moving objects in images
Анализ данных алгоритмов показал, что решение вышеуказанной задачи в реальном масштабе времени реализуется алгоритмами, основанными на методе вычисления оптического потока или методе вычитания фона. Стоит отметить, что конечная реализация алгоритмов обнаружения, построенных на методе вычисления оптического потока, является достаточно ресурсозатратной. Поэтому рассмотрены алгоритмы обнаружения, основанные на методе вычитания фона. Эффективность работы данного метода зависит от правильности построения модели фона. Существует две группы методов построения модели фона: нерекурсивные и рекурсивные.
Особенность нерекурсивных методов заключается в том, что для построения модели фона используется информация об интенсивностях пикселей некоторого набора предшествующих кадров и текущего кадра. К данной группе относятся: метод вычитания текущего и предыдущего кадра; метод усреднения определенного количества предшествующих кадров; метод определения медианы фиксированного количества предшествующих кадров.
Преимуществом данной группы методов является простота реализации и скорость обновления модели фона. Однако эффективность их работы зависит от скорости движения объектов интереса (объекты с малой скоростью обнаруживаются плохо). Также они плохо адаптируются к изменениям освещения сцены и наличия динамических элементов фона (листва деревьев, ковыль и т. д.).
Рекурсивные методы для построения модели фона используют информацию об интенсивностях пикселей только текущего кадра. К методам данной группы относятся: гистограммный метод; метод представления модели фона смесью гауссовых распределений (Gaussian mixture model, GMM) и его модификации [1]; метод извлечения визуального фона (Visual Background Extractor, ViBe) [2].
Проведенные экспериментальные исследования данной группы методов показали:
1. Существует ряд проблемных вопросов, касающихся реализации гистограммного метода: определение порога обнаружения; использование дополнительной памяти; большое количество операций обращения к памяти.
2. Метод извлечения визуального фона показывает достаточно хорошие результаты обнаружения объектов интереса, однако характеризуется большим временем инициализации своей работы (порядка 20 кадров).
3. При переносе поля зрения датчика ОЭС наблюдения происходит ложное выделение в передний план пикселей наблюдаемой сцены, не относящихся к объектам интереса. Данный процесс характерен как для метода извлечения визуального фона, так и для метода представления модели фона смесью гауссовых распределений.
На рис. 2 представлен пример данного процесса. Из рисунка видно, что при переносе поля зрения датчика (211 - 295 кадр) происходит неправильная сегментация пикселей обрабатываемых изображений (рис. 2, a, d). При прекращении движения датчика (кадр № 296) производится обнаружение движущихся объектов на анализируемых изображениях (рис. 2, b, e).
d e f
Рис. 2. Примеры работы исследуемых методов: 211 кадр (a - MOG2, d - Vibe); 296 кадр (b - MOG2, e - Vibe);
321 кадр (c - MOG2, f- Vibe) Fig. 2. Examples of the methods under study: 211 frame (a - MOG2, d - Vibe); 296 frame (b - MOG2, e - Vibe);
321 frame (c - MOG2, f- Vibe)
Применение данных алгоритмов обнаружения в сканирующих ОЭС наблюдения существенно повышает значение вероятности ложной тревоги при переносе поля зрения датчика ввиду ложного выделения в передний план областей обрабатываемого изображения. Данный эффект уменьшается с течением времени по мере автоматической подстройки модели фона изображения. Для данного примера адаптация модели фона метода MOG2 составила 31 кадр (рис. 2, c), а метода Vibe - 490 кадров (рис. 2, f).
4. Алгоритмы обнаружения, основанные на методе вычитания фона, с высокой эффективностью обеспечивают обнаружение движущихся объектов на наблюдаемой статической сцене. Однако применение данных алгоритмов в сканирующих ОЭС наблюдения требует их доработки в целях уменьшения количества ложных срабатываний, вызванных переносом поля зрения датчика, а также обеспечения требуемого качества их работы.
Описание разработанного подхода
В рамках выполняемых исследований авторами разработан способ обработки изображений в задаче обнаружения движущихся объектов в ОЭС наблюдения тепловизионного типа [3]. Данный способ обеспечивает решение задач ОЭС охраны критически важного объекта. Особенности применения данной ОЭС определяют необходимость анализа наблюдаемой фоноцелевой обстановки как в неподвижном режиме, так и в сканирующем. При этом преимущественно осуществляется наблюдение в определенном направлении, а сканирование -в секторе до 180°[4].
Обнаружение движущихся объектов обеспечивается использованием алгоритма, основанного на методе вычитания фона, в котором модель фона строится методом представления фонового изображения усовершенствованной смесью гауссовых распределений (Mixture of Gaussian 2, MOG2) [5]. Данный метод позволяет построить модель фона, которая адаптируется к периодическим изменениям яркости пикселей от динамических элементов фона наблюдаемой сцены. Для учета моделью нескольких составляющих фона используется смесь гауссовых распределений, которая представляет собой сумму взвешенных нормальных распределений (1).
K
КУ =£®k • N(Ixy*,о2к), (1)
k =1
где ®k - вес k-го распределения; цk - математическое ожидание k-го распределения; оk - среднее квадратическое отклонение k-го распределения; - значение яркости пикселя с координатами xy; N(Ix ,- функция плотности нормального распределения яркости
пикселя; K - количество распределений в смеси.
Основными параметрами, характеризующими распределение (выражение (1)), являются: вес распределения, математическое ожидание значения яркости пикселя, среднее квадратическое отклонение значения яркости пикселя. Получение и уточнение значений данных параметров для неподвижного датчика осуществляется в процессе работы обнаружителя. Однако при работе в сканирующей системе движение датчика вносит значительные ошибки в начальные значения данных параметров, что повышает уровень ложных тревог.
Так как решение об обнаружении принимается для текущего кадра, то в целях адаптации алгоритма обнаружения, основанного на методе вычитания фона, для работы в сканирующих ОЭС наблюдения предложено осуществлять отключение работы обнаружителя при переносе поля зрения датчика. Данная возможность реализована в разработанном способе обработки изображений [3].
В свою очередь, отключение работы обнаружителя требует каждый раз после переноса поля зрения накопления статистики значений параметров распределений для инициализации работы обнаружителя. При небольших временах анализа участка сектора сканирования получаемые значения параметров распределений имеют достаточно низкую достоверность.
В целях устранения данного недостатка в ОЭС реализована возможность предварительной подготовки системы к работе. Она заключается в следующем: сектор наблюдения, в котором будет осуществляться поиск объектов интереса, определен заранее решением на охрану объекта. Для каждого участка заданного сектора осуществляется анализ наблюдаемой фоноцелевой обстановки и определение значений параметров смеси Гауссовых распределений в течение 45 с. Данное время наблюдения позволяет получить значения параметров распределений с доверительным интервалом 5 % и доверительной вероятностью 0,9.
В данном случае при переносе поля зрения датчика время для инициализации работы обнаружителя не требуется, так как в качестве начальных параметров смеси распределений используются значения, полученные при предварительной подготовке к работе ОЭС. При этом данные значения уточняются с каждым последующим анализом наблюдаемого участка сектора, что позволяет достичь качества работы обнаружителя, как для неподвижного датчика (рис. 3).
N>3 >Из >°3 )
Рис. 3. Пример определения параметров распределений для сектора сканирования 89° Fig. 3. Example of determining distribution parameters for the 89° scan sector
Заключение
Реализованное в разработанном способе обработки изображений применительно к задаче автоматического обнаружения движущихся объектов отключение работы обнаружителя при переносе поля зрения датчика оптико-электронной системы наблюдения позволяет исключить ложное выделение в передний план областей обрабатываемого изображения, а также минимизировать ошибки в начальных значениях параметров смеси гауссовых распределений.
Выполнение этапа предварительной подготовки системы наблюдения к работе позволяет добиться такого же качества работы обнаружителя, основанного на методе вычитания фона, в сканирующем режиме, как в неподвижном. Проведенные экспериментальные исследования работы обнаружителя в естественных условиях в рамках опытной эксплуатации разработанной оптико-электронной системы показали, что вероятность правильного обнаружения при работе в сканирующем режиме составляет не менее 0,98.
Список литературы
1. Zivkovic Z. Improved adaptive gaussian mixture model for background subtraction. IEEE Proceedings of the 17th International Conference. 2004;28-31.
2. Barnich O. ViBe: A universal background subtraction algorithm for video sequences. IEEE Transactions on Image Processing. 2011;20(6):1709-1724.
3. Михнёнок Е.И. Способ обработки изображений в задаче обнаружения движущихся объектов в оптико-электронных системах наблюдения тепловизионного типа. Доклады БГУИР. 2020;18(2):96-104.
4. Михнёнок Е.И., Хижняк А.В. Режимы функционирования поста технического наблюдения и оценка эффективности его применения в составе интегрированной системы охраны Государственной границы. Сборник научных трудов НИИ Вооруженных Сил. 2019;1(8):157-166.
5. Заливин А.Н., Балабанова Н.С. Обнаружение движущихся объектов методом вычитания фона с использованием смеси Гауссовых распределений. Автоматизированные технологии и производства. 2016;3:45-48.
References
1. Zivkovic Z. Improved adaptive gaussian mixture model for background subtraction. IEEE Proceedings of the 17th International Conference. 2004;28-31.
2. Barnich O. ViBe: A universal background subtraction algorithm for video sequences. IEEE Transactions on Image Processing. 2011;20(6):1709-1724.
3. Mikhnionok E.I. [Method of image processing in the problem of detecting moving objects in optical-electronic surveillance systems of thermal imaging type]. Doklady BGUIR=Doklady BSUIR. 2020;18(2): 96-104. (In Russ.)
4. Mikhnionok E.I., Khizniak A.V. [The modes of operation of the technical surveillance post and the evaluation of the effectiveness of its use as part of the integrated system of State border protection]. Sbornik nauchnyh trudov NII Vooruzhennyh Sil. 2019;1(8):157-166. (In Russ.)
5. Zalivin A.N., Balabanova N.S. [Detecting moving objects by subtracting the background using a mixture
of Gaussian distributions]. Avtomatizirovannyye tekhnologii i proizvodstva = Automated Technologies and Production. 2016;3:45-48. (In Russ.)
Вклад авторов
Хижняк А.В. осуществил постановку задачи для проведения исследования. Михнёнок Е.И. реализовал адаптацию алгоритмов обнаружения, основанных на методе вычитания фона для работы в сканирующих оптико-электронных системах наблюдения.
Authors' contribution
Khizniak Alexander V. carried out the formulation of the task for the research. Mikhnionok E.I. implemented the adaptation of detection algorithms based on background subtraction to work in scanning optoelectronic surveillance systems.
Сведения об авторах
Михнёнок Е.И., начальник 2 группы НИЛ факультета связи и автоматизированных систем управления учреждения образования «Военная академия Республики Беларусь».
Хижняк А.В., к.т.н., доцент, ведущий научный сотрудник 2 группы НИЛ факультета связи и автоматизированных систем управления учреждения образования «Военная академия Республики Беларусь».
Адрес для корреспонденции
220057, Республика Беларусь, г. Минск, пр. Независимости, 220, Военная академия Республики Беларусь; тел. +375 29 291-27-36; e-mail: actosum@gmail.com Михнёнок Евгений Игоревич
Information about the authors
Mikhnionok E.I., Head of the 2nd Group of the Research Laboratory of the Department of Communications and Automated Control Systems of the Military Academy of the Republic of Belarus.
Khizniak A.V., Cand. Of Sci., Professor Assistant, Senior Researcher of the 2nd Group of the Research Laboratory of the Department of Communications and Automated Control Systems of the Military Academy of the Republic of Belarus.
Address for correspondence
220057, Republic of Belarus,
Minsk, Nezavisimosti Ave., 220,
Military Academy of the Republic of Belarus;
tel. +375-29-291-27-36;
e-mail: actosum@gmail.com
Mikhnionok Evgeny Igorevich
