CC BY
120
Доклады БГУИР
2015 № 6 (92)
УДК 004.931
АЛГОРИТМ КОМПЛЕКСНОГО ОБНАРУЖЕНИЯ ДЫМА И ПЛАМЕНИ НА ОСНОВЕ АНАЛИЗА ДАННЫХ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ
Р.П. БОГУШ, ДА. ТЫЧКО
Полоцкий государственный университет ул. Блохина, 29, г. Новополоцк, 211440, Республика Беларусь
Поступила в редакцию 18 мая 2015
Предлагается алгоритм обнаружения основных признаков пожара для систем видеонаблюдения, который позволяет детектировать дым, открытое пламя и их совокупность на динамических изображениях. Отличительной особенностью алгоритма является использование оценки движения, как общего признака, а также применение алгоритмом единых подходов при обнаружении других признаков дыма и пламени. Представлены результаты экспериментальных исследований.
Ключевые слова: анализ движения, цветовая сегментация, вейвлет-преобразование, контурный анализ.
Введение
Одной из актуальных прикладных задач, решаемых в последнее время с помощью систем видеонаблюдения, является обнаружение пожаров, в том числе и на открытых пространствах. К основным признакам пожара, которые можно зафиксировать с помощью видеокамеры и затем обнаружить на последовательностях видеоизображений, относят дым и открытое пламя. Применение методов и алгоритмов обработки и анализа изображений позволяет автоматизировать работу видеодетектора пожара и минимизировать тем самым участие оператора. Однако в связи с высокой сложностью данная задача не решена в полной мере и в настоящее время существует ряд алгоритмов обработки динамических изображений для видеодетекторов пожаров, которые направлены, как правило, на выявление одного из признаков пожара: либо дыма, либо открытого пламени. Это объясняется, в первую очередь, различными характеристиками указанных объектов. Развитие видеосистем и видеодетекторов пожаров показывает, что перспективной является разработка алгоритмов обработки динамических изображений с расширенными возможностями, которые бы позволяли обнаруживать оба признака пожаров в совокупности либо раздельно. Поэтому работа, направленная на решения данной проблемы, является актуальной.
Теоретический анализ
В табл. 1 представлены результаты анализа современных алгоритмов детектирования дыма и пламени на динамических изображениях. Существующие алгоритмы предполагают выделение таких основных признаков дыма и пламени, как цветовая и яркостная характеристики, движение, изменчивость границ объектов и др. Причем, как правило, на первом этапе выполняется выделение областей-кандидатов, которые с достаточно высокой вероятностью могут относиться к областям дыма или открытого пламени, а на втором этапе выполняется непосредственно классификация данных областей. Для уменьшения ложного срабатывания видеодетектора пожара может использоваться предобработка или постобработка. Основные отличия в существующих методах и алгоритмах решения указанной задачи заключаются в выборе признаков дыма и пламени для обнаружения в последовательности
применения основных этапов обработки, подходах к их реализации, что позволяет получать алгоритмы с улучшенными качественными характеристиками.
Таблица 1. Анализ современных алгоритмов обнаружения дыма и пламени на
видеопоследовательностях
ФИО первого автора Основные этапы Обнаружение дыма Обнаружение пламени
Цветовая сегментация Обнаружение движения Анализ временных изменений границ Анализ пространственных изменений яркости Анализ движения Блочная обработка Обучение Пост-обработка
W. Phillips III [1] RGB - + + - - + + - +
F. Gomes-Rodriguez [2] - + + - + + -
T.H. Chen [3] RGB/HSI + - - + - - - + +
C. Liu [4] HSV - + - + - - - - +
B. Toreyin [5] YUV + + + - - - - + -
B. Toreyin [6] RGB + + + - - - - - +
G. Marbach [7] YUV - + - + - - - - +
Z. Xu [8] - + + - + - - - + +
T.Celik [9] RGB + - - + - + + - +
T.Celik [10] Lab + - - - - - + - +
B. Lee [11] RGB + - - - - + + + +
Z. Xiong [12] - + + - + - - - + -
P. Piccinini [13] RGB + + - - - + - + -
S. Calderara [14] RGB + + - - + + - + -
F. Yuan [15] RGB + + - - + - - + -
X. Qi [16] RGB/HSV - + + - - - + - +
R. Yasmin [17] RGB/HSI + - - + + - - + -
J. Gubbi [18] - + + - - + + - + -
D. Han [19] RGB + - - - - - + + +
C. Yu [20] - + + - - - + - + -
S. Calderara [21] RGB + + - - + - - + -
N. Brovko [22] - + - + - - + + + -
P. Morerio [23] YCrCb + + - + - + - + +
S. Gharge [24] YCrCb - - + - - - - + +
C. Yu [25] RGB/HSI + + - - - - - + +
А.А. Лукьяница [26] - + + + - + - - + -
А.Г. Шоберг [27] - + + - - - - - + -
Методика эксперимента
С учетом характеристик основных признаков, характеризующих области дыма и пламени на изображении, разработан алгоритм, представляющий возможность их совместного обнаружения, который включает следующие операции: цветовая сегментация, предобработка, межкадровое вычисление разности, обновление фона, построение переднего плана, морфологическое открытие и закрытие, контурный анализ, вычисление оптического потока, оценка хаотичности движения, анализ контраста, пространственный и временной вейвлет-анализ. Движение характерно как для дыма, так и для пламени, поэтому алгоритм рассматривает движение как общий признак, который может использоваться для обнаружения обоих факторов пожара. Также с учетом яркостно-цветовых свойств основных признаков пожара, применяется цветовая сегментация для пламени и анализ контраста для дыма. Отличительной особенностью алгоритма является использование на этапе классификации
пространственного и временного вейвлет-анализа как для пламени, так и для дыма. На рис.1. показана общая схема разработанного алгоритма.
Рис. 1. Общая схема разработанного алгоритма для совместного обнаружения дыма и пламени
Для сегментации движения используется адаптивный алгоритм вычитания фона [28], позволяющий учитывать такую особенность дыма, как постепенное смешивание с фоном. Для исключения объектов, которые перешли из динамических в статические (например, остановившийся человек), из переднего плана кадра анализируется межкадровая разница. В случае, если ни для одного блока некоторого движущегося объекта разность яркостей на двух последних кадрах не превышает определенного порога, объект считается неподвижным и исключается из списка движущихся объектов. Результатом данного шага является бинарная маска движения.
Дальнейшее объединение движущихся пикселей в связные области осуществляется с использованием операций математической морфологии и контурного анализа. Для уменьшения количества шумов используются операции морфологического открытия и закрытия. Затем анализируется длина контура области: если контур имеет длину менее заданной пороговой величины - область удаляется из списка для дальнейшего рассмотрения.
Отличительной особенностью алгоритма, направленной на снижение вероятности ложного обнаружения, является оценка хаотичности движения на основе анализа направления векторов движения частиц в рассматриваемой области. Оптический поток вычисляется по методу Фарнебака [29]. Данный алгоритм менее чувствителен к шумам, чем поточные методы, и, в отличие от алгоритма Лукаса-Канаде, не является локальным, что позволяет определить
направление векторов движения, в том числе, и внутри однородных областей. Коэффициент сонаправленности движения частиц определяется по формуле
C = Vcd / Vncd, (1)
где Vcd - количество сонаправленных векторов движения, Vcd - общее количество векторов движения в области.
Сегментация для пламени выполняется в цветовом пространстве YCbCr с учетом глобального анализа кадра и локального анализа области-кандидата, которая может быть отнесена к области пламени. При этом область считается принадлежащей пламени, если выполняются следующие условия:
Y > Ycp ,Cbi < Cbcp ,Cr < Crcp, (2)
где Y, Cbi, Cbt - среднее значение яркости, цветоразностного синего и цветоразностного красного составляющих в области-кандидате, Y , Cbcp, Cbcp - среднее значение яркости,
цветоразностного синего и цветоразностного красного составляющих в кадре соответственно;
Дым может изменять свои яркостно-цветовые характеристики в очень широком диапазоне значений, от прозрачно-серого до черного, поэтому применяется анализ контраста областей. Для анализа контраста областей, предположительно содержащих дым, используется контраст Вебера:
1 ±Ft (х, y) - Bt (х, y)
C A D , ч , (3)
Ui=i Bt (х, у)
где F(x, y) - значение интенсивности пикселя (x, y), принадлежащего области в момент времени t; Bt(x, y) - значение интенсивности пикселя (x, y) фона под областью в момент времени t; n - число пикселей, принадлежащих области-канидату.
Для определения полупрозрачных объектов на изображении, на которых присутствует дым, используется двумерный пространственный вейвлет-анализ. В случае перекрытия краев объекта дымом наблюдается падение высокочастотной составляющей изображения, а соответственно и энергии, рассчитываемой по формуле
E(Bk,It) = A [LH(m,n)2 + HL(m,n)2 + HH(m, n)2 ] , (4)
где Bk - k-й блок изображения; It - входное изображение в момент времени t; LH, HL, HH - это НЧ-ВЧ, ВЧ-НЧ, ВЧ-ВЧ коэффициенты вейвлет преобразования соответственно.
Для более точного сравнения блоков используется нормализованное значение, равное отношению энергии кадра к энергии фона:
а (К, I, BG ) = E(Bk, 1) , (5)
v k, ^ о e(B,BGt) V '
где BGt - фоновое изображение в момент времени t.
Для определения мерцания границ, характерного для дыма и пламени, используется одномерный пространственно-временной вейвлет-анализ. С помощью пространственно-временного анализа рассчитывается количество вейвлет-экстремумов для каждой области изображения, как показано в следующей формуле:
Aid [n]i
P(Bk )= n n , (6)
где D\n\ - высокочастотная информация коэффициента a, N - количество ненулевых значений высокочастотных коэффициентов.
Результаты и их обсуждение
Для проведения экспериментов разработанный алгоритм реализован на языке C++ с использованием среды разработки Microsoft Visual Studio 2010 и библиотеки компьютерного зрения Open CV 2.2.
Представленные на рис. 2 кадры свидетельствуют, что для исследований использовались динамические изображения со сложным фоном (б, в, г), содержащие объекты, цвет и яркостные характеристики которых близки к характеристикам дыма и пламени (а, б, в, ж).
к л м
Рис. 2. Кадры исследуемых видеопоследовательностей
Кроме этого, исследовались видеопоследовательности (а, ж), на которых присутствовали дым и пламя с достаточно резким изменением направления и структуры, которое происходило из-за сильных порывов ветра. Следует отметить, что эксперименты проведены на видеопоследовательностях, не только размещенных на сайтах http://www.openvisor.org, http://cvpr.kmu.ac.kr, http://signal.ee.bilkent.edu.tr/VisiFire/Demo/Sample Clips.html, но и полученных авторами в реальных условиях с использованием видеокамеры Panasonic SDR-S50. Результаты экспериментов показаны в табл. 2.
Видеоряд (см. рис. 2) Пламя найдено/ присутствовало (число кадров) Пламя присутствовало/ обнаружено с (номер кадра) Дым найден/ присутствовал (число кадров) Дым присутствовал/ обнаружен с (номер кадра) Дым и пламя найдены/ присутствовали (число кадров) Число кадров с ложным обнаружением/ общее число кадров
а 528/589 88/109 201/238 -/- 388/423 3/1375
б -/- 1/32 -/- 1/33 489/517 2/517
в -/- -/- 858/866 9/10 -/- 0/900
г 348/413 1/24 -/- -/- -/- 4/439
д -/- -/- -/- -/- -/- 6/500
е -/- -/- -/- -/- -/- 0/887
ж 1089/1216 460/483 -/- -/- -/- 8/1443
з -/- -/- 1412/1497 421/452 -/- 4/1879
и 867/908 1/33 15/26 428/431 -/- 3/934
к 2019/2325 1/24 168/189 1026/1027 -/- 0/2325
л -/- -/- 664/689 39/51 -/- 1/790
м 947/967 168/191 -/- -/- -/- 9/1289
Анализ исследований показывает, что разработанный алгоритм обладает достаточно низким уровнем ложных тревог. Однако при наличии схожих объектов возможно ложное срабатывание.
Для оценки временных затрат работы алгоритма проведены экспериментальные исследование с использованием ноутбука Acer Aspire 5750G с основными параметрами Intel Core i5, 2,4ГГц, ОЗУ 4,0ГБ. Временные затраты при обработке одного кадра видеоряда размером 320^240 составляют 56 мс, 480^320 - 147мс, 640x480 - 316 мс. Время обработки может быть уменьшено за счет использования современных технологий параллельных вычислений, например, технологии CUDA и фрейворка OpenCL.
Заключение
Предложен алгоритм совместного обнаружения дыма и пламени на динамических изображениях, который использует признак движения, как общий для пламени и дыма. Для снижения вероятности ложного обнаружения выполняется анализ хаотичности движения в областях-кандидатах. Отличительной особенностью алгоритма является также использование на этапе классификации пространственного и временного вейвлет-анализа как для пламени, так и для дыма. Таким образом, применение единых приемов обработки упрощает структуру алгоритма для совместного обнаружения основных признаков пожара и позволяет снизить вычислительные затраты по сравнению с автономной реализацией алгоритмов.
ALGORITHM FOR COMPLEX SMOKE AND FLAME DETECTION BASED ON VIDEO SURVEILLANCE SYSTEMS DATA ANALYSIS
R.P. BOHUSH, D A. TYCHKO Abstract
An algorithm to detect the main signs of fire for video surveillance systems, which allows the detection of smoke, open flames, and their combination on dynamic images is proposed. A distinctive feature of the algorithm is the use of motion estimation, as a common feature, as well as the application of the algorithm of common approaches in the processing of video sequences. A set of experimental results are presented in the paper.
Список литературы
1. Phillips III W., Shan M., Lobo N. // Pattern Recognition Letter. 2002. Vol. 23. № 1-3. P. 319-327.
2. Gomez-Rodriguez F., Pascual-Pena S., Arrue В. C. et. al. // Proceedings of the 4th International Conference on Forest Fire Research & Wildland Fire Safety. Coimbra, 18-23 November 2002. P. 59.
3. Chen T., Wu P., Chiou Y. // Proceedings of International Conference on Image Processing. Singapore, 10-12 October 2004. P. 1707-1710.
4. Liu C. Ahuja N. // Proceedings of the 17th International Conference on Pattern Recognition. Cambridge, 23-26 August 2004. P. 134-137.
5. Toreyin B., Dedeoglu Y., Cetin A. // Signal Processing: Image Communication, EURASIP. Elsevier. 2005. Vol. 20. P. 255-256.
6. Toreyin B., Dedeoglu Y., Gudukbay U. et. al. // Pattern Recognition Letters. 2006. Vol. 27. P. 49-58.
7. Marbach G, Loepfe M., Brupbacher T. // Fire Safety Journal. 2006. № 4. Vol. 41. P. 285-289.
8. Xu Z, Xu J. // Proceedings of International Conference on Computational Intelligence and Security Workshops. 2007. P. 316-319.
9. Celik T, Demirel H, Ozkaramanli H. et. al // Journal of Visual Communication and Image Representation. 2007. № 2.Vol. 18. P. 176-185.
10. Celik T. // ETRI Journal. 2010. № 6. Vol. 32. P. 881-890.
11. Lee B., Han D. // International Journal of Information Acquisition. 2007. № 4 Vol. 4. P. 327-338.
12. Xiong Z., Caballero R, Wang H. et. al. // Proceedings of the Suppression, Detection and Signaling Research and Applications - A Technical Working Conference. Orlando, 5-7 March 2007. P. 112.
13. Piccinini P., Calderara S., Cucchiara R. // Proceeding of the 15th International Conference on Image Processing. San Diego, 12-15 October 2008. P. 1376-1379.
14. Calderara S., Piccinini P., Cucchiara R. // Proceedings of the 6th International Conference on Computer Vision Systems. Santorini, 12-15 May 2008. P. 119-128.
15. Yuan F. // Pattern Recognition Letters, 2008. Vol. 29. P. 925-932.
16. Qi X., Ebert J. // International Journal of Imagine. 2009. № 9. Vol. 2. P. 22-34.
17. Yasmin R. // International Journal of Soft Computing. 2009. № 1. Vol. 4. P. 45-48.
18. Gubbi J., Marusic S., Palaniswami M. // Fire Safety Journal. 2009. № 8. Vol. 44. P. 1110-1115.
19. Han D., Lee B. // Fire Safety Journal. 2009. № 3. P. 951-961.
20. Yu C., Zhang Y., Fang J. et. al. // Proceedings of the 2nd International Conference on Advanced Computer Control. Shenyang, 27-29 March 2010.Vol. 2. P. 16-21.
21. Calderara S, Piccinini P, Cucchiara R. // Machine Vision and Applications. 2011. № 4. Vol. 22. P. 705-719.
22. Brovko N., Bogush R., Ablameyko S. // Journal of Computer Science and Cybernetics. 2012. № 3. P. 195-205.
23. Morerio P., Marcenaro L., Regazzoni C. et. al. // Proceedings of IEEE International Conference on Image Processing, Orlando, 30 September 2012. P. 1041-1044.
24. Gharge S., Birla S., Pandey S. et. al. // International Journal of Advanced Research in Computer and Communication Engineering. 2013. Vol. 2. P. 2420-2424.
25. Yu C., Mei Z., Zhang X. // The 9th Asia-Oceania Symposium on Fire Science and Technology. Procedia Engineering. 2013. Vol. 62. P. 891-898.
26. Лукьяница А.А., Шишкин А.Г. Цифровая обработка видеоизображений. М., 2009.
27. ШобергА.Г., Сай С.В. // Вестник ТОГУ. 2013. № 1 (28). С. 45-50.
28. A system for video surveillance and monitoring. [Electronic resource]. - Mode of access: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.63.1129&rep=rep1&type=pdf. - Date of access: 02.04.2014.
29. Farneback G. // Proceedings of the 13th Scandinavian Conference on Image Analysis, SCIA'03. Berlin, 29 June -2 July 2003. P. 363-370.
