CC BY
7ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
УДК 004.932 Б01 10.52928/2070-1624-2023-41-2-2-8
ДЕТЕКТИРОВАНИЕ ДЫМА НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯХ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ
д-р техн. наук, доц. Р. П. БОГУШ, Е. Р. АДАМОВСКИЙ (Полоцкий государственный университет имени Евфросинии Полоцкой);
РН. Б. X. ЧЕН (Университет Чжэцзян Шурен, Китай)
Рассматривается алгоритмическое и программное обеспечение для раннего обнаружения пожаров на основе выявления дыма по видеопоследовательностям, формируемым статической видеокамерой. Для детектирования областей с задымлением разработан алгоритм, позволяющий их выделять на кадрах видео по характерным признакам: наличию устойчивого направленного движения, соответствию цветовым характеристикам дыма, снижению значения энергии высокочастотных компонент относительно модели фона. Особенностью алгоритма является поэтапный пространственно-временной анализ областей-кандидатов, что обеспечивает удовлетворительные вычислительные затраты и работу в режиме реального времени на современных вычислительных средствах для кадров видео высокого разрешения. Алгоритм реализован с применением функций библиотеки компьютерного зрения ОрвнСУ и многопоточной обработки. Приведены особенности и основной функционал программного обеспечения, реализованного в виде стационарного приложения. Представлены результаты экспериментальных исследований по оценке эффективности работы алгоритма и его быстродействия.
Ключевые слова: раннее обнаружение пожара, компьютерное зрение, пространственно-временной анализ видео, оптический поток, вейвлет-преобразование.
Введение. Компьютерное зрение все шире и успешнее применяется для автоматизации решения многих прикладных задач. Одной из наиболее актуальных является задача автоматического детектирования дыма на основе данных видеонаблюдения. Высокая сложность построения эффективных универсальных алгоритмов из-за особенностей визуальных характеристик дыма, потери информации при преобразовании трехмерного реального изображения в двухмерное, ограниченности вычислительных ресурсов, которые предназначены для обнаружения пожаров на основе детектирования дыма на видеоряде, предопределила разработку множества подходов с учетом особенностей снимаемой динамической сцены [1; 2]. Применение сверточных нейронных сетей (СНС) позволяет автоматизировать задачу выделения признаков дыма, однако для этого требуется большая база данных с реальными изображениями, полученными в различных условиях и фоновых вариациях [3]. Для повышения точности необходимо учитывать признаки движения при построении архитектур СНС, в этом случае сеть будет выдавать результат на основе не одного кадра, а набора из нескольких видеоизображений. Соответственно, эффективное применение СНС практически невозможно без специализированных вычислителей и нейроускорителей. При организации видеосистемы мониторинга требуется непрерывная трансляция видеопотоков в высоком качестве со всех камер на центральный модуль обработки.
Для обеспечения приемлемой нагрузки на каналы связи и сервер системы перспективным решением является реализация функций сжатия и видеоаналитики непосредственно в модуле видеокамеры, который может включать аппаратную часть с ограниченными вычислительными мощностями. Соответственно, алгоритмы, выполняющие детектирование дыма, для таких систем должны обладать низкими вычислительными затратами и удовлетворительными качественными характеристиками.
В данной работе представлен алгоритм детектирования дыма для режима реального времени на основе анализа данных системы видеонаблюдения с применением статичной камеры и использованием модулей, реализующих обнаружение устойчивого движения, фильтрацию по цветовым характеристикам, частотный анализ и обработку оптического потока.
Алгоритмическое обеспечение. Задача детектирования дыма сводится к выделению на последовательности изображений таких областей, которые удовлетворяют перечню условий, т. е. обладают признаками, согласно которым они идентифицируются как содержащие или не содержащие задымление. На основе
работ, посвященных алгоритмам детектирования дыма [4; 5], сформирован набор признаков, использование которых с учетом ряда предположений наиболее эффективно:
1. Предполагается относительная статичность источника задымления на последовательности видеокадров, поэтому наличие в рассматриваемой области устойчивого движения в течение определенного количества времени и более позволит игнорировать быстро изменяющие свое положение объекты, такие как люди, животные и машины.
2. Соответствие усредненной цветовой характеристики области заданным параметрам, включая уровни яркости и насыщенности, подобранным на основе анализа реальных видеозаписей, содержащих дым, который в большинстве случаев характеризуется преимущественно оттенками серого цвета. Это позволит исключить из дальнейшей обработки заведомо не подходящие области с устойчивым движением, например, качающиеся на ветру растения или стоящих на месте людей в цветной одежде.
3. Падение энергии высокочастотных компонент и контраста объектов переднего плана ниже заданного уровня внутри области на рассматриваемом изображении относительно фона. Подход основан на оптических свойствах дыма, который не содержит внутри себя четких переходов и границ, а также снижает резкость контуров объектов, находящихся за ним. Учет частотных признаков может снизить количество ложных срабатываний, отбрасывая области, в которых падения общего уровня резкости не происходит.
4. Направленный характер движения элементов области снизу вверх в определенном диапазоне углов, что основано на предположении о соответствующем поведении стандартных продуктов горения, увлекаемых восходящими потоками воздуха от источника задымления или являющихся более легкими по сравнению с окружающей средой. Признак позволяет отбросить широкий класс объектов, чье перемещение на изображении определяется другим набором векторов, представляющих горизонтальное или направленное вниз движение.
Ключевыми требованиями к разрабатываемому алгоритмическому и программному обеспечению являются высокое быстродействие и точность, а также низкий объем потребляемой памяти. В качестве наиболее эффективного решения разработан алгоритм, основные этапы которого показаны на рисунке 1.
1. Чтение данных 2. Формирование 3. Выделение областей с 4. Получение областей с
г модели фона устойчивым движением г цветовыми характеристиками дыма
I
У
5. Выделение областей-кандидатов 6. Получение первичной области интереса 7. Сравнение энергии ВЧ 8. Выделение областей с
г г компонент текущего кадра и фона падением энергии ВЧ компонент
I
У
9. Получение вторичной области интереса 10. Определение областей с 11. Выделение областей с устой- 12. Выделение
направленным движением чивым направленным движением областей с дымом
Рисунок 1. - Блок-схема алгоритма детектирования дыма
Для обеспечения минимизации вычислений получение дескрипторов областей осуществляется последовательно, при этом в очередном этапе обработки участвуют только те регионы кадров, которые содержат признаки, выделенные на предыдущем этапе. Таким образом, для обнаружения дыма на видеопоследовательностях необходимо выполнить следующую обработку видео.
1. Чтение входящего кадра видеопотока и его предобработка. При этом необходимо применять процедуру улучшения контраста (1) - (3), которая нормирует гистограмму каждого из каналов цветного изображения т в диапазоне [0; 255], получая в результате imgeg :
imgeq (х, y) = (imgr (х, y)- min (imgr ))х(255/(max (imgr)- min (imgr))); (1)
imggq (х, y) = (imgg (х, y) - min(imgg)) х(255 / (max (imgg) - min(imgg))); (2)
imgbq (х, y) = (imgb (х, y) - min (imgb)) х(255 / (max (imgb) - min(imgb))), (3) где imgr, imgg, imgb - красный, зеленый и синий каналы исходного изображения;
imgr , imgg , imgb - каналы результирующего изображения;
req geq beq
x, у - координаты пикселей каналов изображения;
min, max - минимальное и максимальное значение канала.
2. Построение модели фона fback. Формируется изображение сцены без областей, содержащих движение, которое обновляется через заданный интервал времени с использованием анализа текущих кадров fcur с выделением на них движущихся областей при помощи алгоритма вычитания фона на основе гауссовой смеси [6] с последующей морфологической обработкой. Для этого используются операции закрытия и расширения, структурирующий элемент квадратной формы.
3. Выделение областей fmove с устойчивым движением. Данный шаг требует пространственно-временного анализа для текущего и предыдущих кадров и выполняется на основе правила
f_(x,y) = j255, если (f~(*y)-fb'k (x,y))>T; (4)
[0, иначе,
где T - задаваемое значение порога бинаризации.
4. Получение областей с цветовыми характеристиками дыма. Для этого каждый кадр преобразуется из цветового пространства RGB (Красный-Зеленый-Синий, Red-Green-Blue) в пространство HSV (Тон-Насыщенность-Значение, Hue-Saturation-Value)1:
V = max (R, G, B); (5)
_ j(V - min (R, G,B))/V, если V Ф 0;
[0, иначе;
60(G - B)/(V - min (R, G,B)), если V _ R; h ^120 + 60(B - R)/(V - min (R,G,B)), если V _ G; 240 + 60(R - G)/(V - min (R,G, B)), если V _ B; 0, если R = G = B.
К полученным результатам применяется пороговая бинаризация согласно заданным порогам, выполняется последующее объединение канальных бинарных изображений.
5. Выделение областей-кандидатов на основе данных, полученных на предыдущих шагах. Если область в определенный момент характеризуется устойчивым движением и соответствует по цветовой характеристике дыму, то она считается регионом-кандидатом для последующей обработки.
6. Получение первичной области интереса (First Region of Interest, FRoI) путем вычисления координат левого верхнего и правого нижнего углов прямоугольника, ограничивающего местоположения всех областей-кандидатов.
7. Вычисление и сравнение энергии высокочастотных компонент областей FRoI текущего кадра и модели фона путем применения вейвлет-анализа на основе подхода, представленного в [7]. При соотношении энергий ниже заданного уровня область помечается для дальнейшей обработки.
8. Выделение областей с устойчивым падением энергии высокочастотных компонент. Для этого используется пространственно-временной анализ видеопоследовательности, который выполняется на основе правила шага 3 данного алгоритма.
9. Получение вторичной области интереса (Second Rol, SRoI). Данный этап алгоритма предполагает вычисление координат левого верхнего и правого нижнего углов прямоугольника, ограничивающего области, полученные на шаге 8.
10. Определение областей с направленным движением. При помощи алгоритма вычисления оптического потока из [8] по отношению к SRoI текущего и предыдущего кадров выделяются только
1 OpenCV. Color conversion [Электронный ресурс]. - URL: https://docs.opencv.org/3.4/de/d25/imgproc color conversions.html. (Дата обращения: 08.08.2023).
те области, средний вектор движения которых находится в указанном диапазоне углов c использованием выражения:
( N М N М Л
a = (180/p)xatan2 s ,
Уд' X
\ ¡=1 J=1 I=1 J=1 у
(8)
где s^ и sy_ - ортогональные компоненты оптического потока пикселя из области;
N и M - количество пикселей области по горизонтали и вертикали.
11. Выделение областей с устойчивым, направленным снизу вверх, движением. Если направленное движение в области сохраняется в течение заданного интервала времени, то для нее принадлежность дыму устанавливается на основе данных, полученных на шаге 8.
12. Обнаружение областей с дымом. Выявление областей, для которых характерно наличие всех признаков дыма путем накопления результатов предыдущих шагов алгоритма.
Программная реализация. Программная реализация алгоритма выполнена на языке C++/CLI (Windows Forms) и использует библиотеку машинного зрения OpenCV для захвата видеопотока, извлечения кадров, изменения их размера, кадрирования, обработки, отображения текста и графических элементов. Для получения видеоданных приложением используется IP-видеокамера с применением RTSP-протокола. Организация алгоритма позволяет применить многопоточную обработку, что существенно повышает производительность вычислений и скорость работы приложения в целом. Вид главной формы приложения показан на рисунке 2.
Основные возможности программного обеспечения:
1. Детектирование и локализация дыма на последовательности видеокадров, получаемых с IP-камеры или из файла, в реальном времени. Доступен вариант отображения конкретных областей кадра с признаками задымления или единого прямоугольного фрагмента, ограничивающего данные области. Реализованы опции звуковой сигнализации и визуального образа в кадре (мигающая надпись «ОБНАРУЖЕН ДЫМ») при наличии дыма.
2. Пользователю предоставляется возможность тонкой настройки параметров детектирования, подробная характеристика которых приводится в справочных материалах с описанием, примерами и диапазоном возможных значений. Параметры могут быть сохранены в файл конфигурации, загружены или сброшены до исходных значений. Наличие данной опции предоставляет дополнительные возможности для корректировки параметров с учетом особенностей контролируемой динамической сцены.
3. Автоматическая запись и сохранение анализируемых данных в одном из двух режимов: постоянно или только при наличии дыма. Оператор может заранее определять каталог для хранения записей, названия которых генерируются на основе времени их создания.
Рисунок 2. - Внешний вид главной формы приложения
4. Управление захваченными кадрами. Функция включает возможность по нажатию кнопки скопировать в соответствующий список текущий кадр видеопоследовательности, просматривать и редактировать список, сохранять его элементы на носитель информации в формате 1РО-изображений.
5. Управление масками, представляющими собой области кадра, которые исключаются из анализа при детектировании дыма. Оператору с помощью отдельной формы (рисунок 3) предлагается на основе текущего изображения из списка захваченных кадров настроить параметры маски - координаты и тип (включающий или исключающий). Маска в дальнейшем редактируется с помощью менеджера масок.
Редактор маски
в
а - форма редактора маски; б - детектирование дыма без маски; в - детектирование дыма с исключающей маской (голубой прямоугольник)
Рисунок 3. - Маскирование областей кадра
Корректность работы реализованного программного обеспечения была проверена на массиве видеозаписей, которые содержали кадры с задымлением от дымовых шашек и пламени, а также не являющиеся дымом объекты, но по ряду признаков совпадающие с ним: пыль, люди в светлой одежде, машины, облака, плотные осадки в сочетании с сильным ветром. На рисунке 4 приведены примеры работы детектора дыма в различных условиях, где красный прямоугольник на видеокадре ограничивает единичные области, выделенные оранжевым цветом, для каждой из которых вычисляются признаки.
а б в
а - светлый дым при дневном свете; б - дым в сумерках на фоне строений с опцией улучшения контраста; в - отсутствие ложных срабатываний при съемке движущихся людей
Рисунок 4. - Детектирование дыма на видеокадрах
Для работы приложения в режиме реального времени необходима электронная вычислительная машина со следующими основными характеристиками: процессор AMD Ryzen3 2200G с тактовой частотой 3,5 ГГц или аналог; оперативная память объемом не менее 2 Гбайт; жесткий диск объемом не менее 120 Гбайт. В качестве системного программного обеспечения необходимо использовать операционную систему Windows 10/11. Справочные материалы могут быть корректно открыты с помощью любого современного браузера (например, Chrome или Edge).
Проверка быстродействия алгоритма производилась на вычислительном устройстве с указанными характеристиками. Оценивалась средняя скорость выполнения отдельных модулей t(9) и суммарно
затраченное время на один кадр (включая дополнительные операции вне модулей и их повторные вызовы) £полн без учета времени на чтение и запись данных при обработке нескольких видео с размером кадра Full HD 1920x1080 пикселей. Результаты анализа приведены в таблице 1.
N /
^ = Zt7N, (9)
;=i /
где tt - время выполнения модуля во время его i-го вызова;
N - количество вызовов модуля за время обработки видеозаписи.
Таблица 1. - Результаты оценки быстродействия
Шаг алгоритма Время выполнения, мс Среднее время выполнения, мс
Видео № 1, рисунок 4, а Видео № 2, рисунок 4, б Видео № 3, рисунок 4, в
Выделение устойчивого движения 7,7 6,3 6,3 6,7
Анализ цветовых характеристик 0,8 0,8 0,8 0,8
Вейвлет-анализ 0,3 0,4 0,2 0,3
Вычисление оптического потока 1,3 0,4 0,7 0,8
Всего 8,6
Для видеозаписей, рассмотренных в таблице 1, значения £пспн составили 12,2 мс, 10,6 мс и 10,5 мс соответственно, в среднем - 11,1 мс. Таким образом, при частоте кадров источника данных 25 к/с, эквивалентной периоду 40 мс, алгоритм выполняется с запасом по времени, которое необходимо для работы в режиме реального времени, более чем в 3 раза.
Заключение. Раннее обнаружение возгораний в режиме реального времени является важной прикладной задачей, решение которой рассмотрено в данной статье. Для этого разработан алгоритм обработки видеопоследовательностей, формируемых стационарной видеокамерой. Для определения областей задымления на первом шаге используется метод фонового кадра обнаружения движения. Дальнейшая обработка выполняется в пространственно-временной области для выделенных регионов и предполагает преобразование RGB-изображения к цветовому пространству HSV, вейвлет-анализ и оценку движения на основе оптического потока. Данный подход позволяет эффективно локализовать области задымления в реальном времени.
На основе созданного алгоритма разработано программное обеспечение, которое реализует детектирование дыма на видеокадрах, получаемых с помощью RTSP-протокола. Выполнено тестирование в реальных условиях с обнаружением дыма с дымовых шашек. Представлен основной функционал программного обеспечения, приведены результаты экспериментов, подтверждающие эффективность обнаружения дыма на ранней стадии его возникновения в реальном времени (не более 5 секунд) для видео с размером кадра Full HD 1920x1080 пикселей.
ЛИТЕРАТУРА
1. Cetin A., Merci B., Gunay O. et al. Methods and Techniques for Fire Detection: Signal, Image and Video Processing Perspectives. - Elsevier, 2016. - 95 p.
2. Пятаева А. В. Исследование методов и разработка алгоритмов обнаружения дыма на открытых пространствах по видеопоследовательностям. - Красноярск: Сибирский федер. ун-т, 2017. - 166 с.
3. Hashemzadeh M., Farajzadeh N., Heydari M. Smoke detection in video using convolutional neural networks and efficient spatio-temporal features // Applied Soft Computing. - 2022. - Vol. 128. - DOI: 10.1016/ .asoc.2022.109496.
4. Bohush R., Brovko N., Ablameyko S. Fire detection in video sequences based on static and dynamic features // J. of Electrical Engineering. - 2013. - Vol. 1, iss. 1. - P. 25-33. - DOI: 10.17265/2328-2223/2013. 12.004.
5. Богуш Р. П., Тычко Д. А. Алгоритм комплексного обнаружения дыма и пламени на основе анализа данных систем видеонаблюдения // Доклады БГУИР. - 2015. - № 6(92) - C. 65-71.
6. Zivkovic Z. Improved adaptive gaussian mixture model for background subtraction // ICPR 2004: Proc. of the 17th Intern. Conf. on Pattern Recognition, Cambridge, UK, 23-26 Aug. 2004: in 4 vol. / ed.: J. Kittler, M. Petrou, M. Nixon. -Cambridge, 2004. - Vol. 2. - P. 28-31. - DOI: 10.1109/ICPR.2004.1333992.
7. Ye S., Zhican B., Chen C. et al. An Effective Algorithm to Detect Both Smoke and Flame Using Color and Wavelet Analysis // Pattern Recognition and Image Analysis. - 2017. - Vol. 27, iss. 1. - Р. 131-138. - DOI: 10.1134/S1054661817010138.
8. Farneback G. Two-Frame Motion Estimation Based on Polynomial Expansion // Image Analysis. SCIA 2003. Lecture Notes in Computer Science / ed.: J. Bigun, T. Gustavsson. - Vol. 2749. - Berlin, Heidelberg: Springer, 2003. - P. 363-370. -DOI: 10.1007/3-540-45103-X 50.
REFERENCES
1. Cetin, A., Merci, B., Gunay, O., & Toreyin, B. U. (2016). Methods and Techniques for Fire Detection: Signal, Image and Video Processing Perspectives. Elsevier.
2. Pyataeva, A. V. (2017). Issledovanie metodov i razrabotka algoritmov obnaruzheniya dyma na otkrytykh prostranstvakh po videoposledovatel'nostyam: monografiya [Investigation of methods and development of smoke detection algorithms in open spaces from video sequences: monograph]. Krasnoyarsk: SibFU. (In Russ.).
3. Hashemzadeh, M., Farajzadeh, N., & Heydari, M. (2022). Smoke detection in video using convolutional neural networks and efficient spatio-temporal features. Applied Soft Computing, (128). DOI: 10.1016/j .asoc.2022.109496.
4. Bohush, R., Brovko, N., & Ablameyko, S. (2013). Fire Detection in Video Sequences Based on Static and Dynamic Features. Journal of Electrical Engineering, 7(1), 25-33. DOI: 10.17265/2328-2223/2013.12.004.
5. Bogush, R. P., Tychko, D. A. (2015). Algoritm kompleksnogo obnaruzheniya dyma i plameni na osnove analiza dannykh sistem videonablyudeniya [Comprehensive smoke and flame detection algorithm based on video surveillance data analysis]. Doklady BGUIR, 6(92), 65-71 (In Russ.)
6. Zivkovic, Z. (2004). Improved adaptive gaussian mixture model for background subtraction. In J. Kittler, M. Petrou, & M. Nixon (Eds.), Proceedings of the 17th International Conference on Pattern Recognition. ICPR 2004: vol. 2 (28-31). DOI: 10.1109/ICPR.2004.1333992.
7. Ye, S., Zhican, B., Chen, C., Bohush, R., & Ablameyko, S. (2017). An Effective Algorithm to Detect Both Smoke and Flame Using Color and Wavelet Analysis. Pattern Recognition and Image Analysis, 27(1), 131-138. DOI: 10.1134/S1054661817010138.
8. Farneback, G. (2003). Two-Frame Motion Estimation Based on Polynomial Expansion. In J. Bigun, T. Gustavsson (Eds.), Image Analysis. SCIA 2003. Lecture Notes in Computer Science: vol. 2749 (363-370). Berlin, Heidelberg: Springer. DOI: 10.1007/3-540-45103-X 50.
Поступила 18.09.2023
REAL-TIME SMOKE DETECTION IN VIDEO
R. BOHUSH, Y. ADAMOVSKIY (Euphrosyne Polotskaya State University of Polotsk, Belarus);
H. CHEN (Zhejiang Shuren University, China)
The paper considers algorithmic and software for early fire detection based on smoke detection from video sequences generated by a static video camera. To detect areas with smoke, an algorithm has been developed that allows you to select such areas on video frames that are characterized by a number of features: the presence of a stable directional movement, compliance with the color characteristics of smoke, and a decrease in the energy value of high-frequency components relative to the background model. The feature of the algorithm is a step-by-step spatiotemporal analysis of candidate areas, which provides satisfactory computational costs and real-time operation on modern computing tools for high-resolution video frames. The algorithm is implemented using the functions of the OpenCV computer vision library and multi-threaded processing. The features and main functionality of the software implemented as a stationary application are given. The results of experimental studies on the evaluation of the efficiency of the algorithm and its speed are presented.
Keywords: early fire detection, computer vision, spatio-temporal video analysis, optical flow, wavelet transform.
