CC BY
84
УДК 004.932.2
Вестник СибГАУ Том 17, № 3. С. 625-630
СЕГМЕНТАЦИЯ ОБЛАСТЕЙ ЗАДЫМЛЕНИЯ НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
А. В. Пятаева
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: [email protected]
Детектирование дыма на видеопоследовательности имеет существенное значение для раннего обнаружения пожара на открытых пространствах, так как дым обычно становится видимым раньше пламени. Основными признаками визуального обнаружения дыма являются наличие движения, специфические цвет и форма объектов на видеоизображении. Предложен комбинированный метод детектирования дыма на открытых пространствах по видеопоследовательностям, позволяющий сочетать в себе различные признаки. Выделение фрагментов, похожих на дым, выполняется в два этапа: предварительная сегментация и верификация динамических свойств дыма. Предварительная сегментация осуществляется методом сопоставления блоков. Для верификации динамических свойств использована цветовая модель дыма и безразмерная мера мгновенной оценки завихрений - функция турбулентности. Эксперименты проводились на видеопоследовательностях из базы данных динамических текстур Dyntex и базы данных Билькентского университета. Использовано семь видеопоследовательностей, содержащих дым, и десять видеопоследовательностей без дыма. Произведена оценка качества работы алгоритма при различных его параметрах. Среднее значение точности работы по видеоизображениям на дымных видеопоследовательностях составило 97,8 %. Экспериментальные исследования показали, что предложенный способ эффективен для сегментации дыма по видеоизображениям.
Ключевые слова: сопоставление блоков, сегментация, детектирование дыма, видеопоследовательность
Sibirskii Gosudarstvennyi Aerokosmicheskii Universitet imeni Akademika M. F. Reshetneva. Vestnik Vol. 17, No. 3, P. 625-630
SMOKE SEGMENTATION IN VIDEO SEQUENCES
A. V. Pyataeva
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation Е-mail: [email protected]
Smoke detection in outdoor scenes using video sequences is particularly important for early warning systems because smoke usually rises before flames arise. Dynamic texture features of smoke are color, shape, motion, transparency, texture.
The paper presents a smoke-detection method for outdoor spaces early fire-alarming based on video processing using color, shape and motion features. The proposed approach includes two stages. Firstly, local smoke regions are detected based on motion estimation and chromatic analysis. The clustering of such local regions provides global smoke regions in a scene. At this stage, smoke and non-smoke regions are analyzed in order to exclude errors of false rejection. The suspicious region is extracted by using block-matching algorithm. Secondly, global regions are verified by using statistical and temporal features. In this research, smoke colored blocks and turbulence characteristics.
For experimental researches the database of dynamic textures Dyntex and database of Bilkent University were used. Dense smoke, transparent smoke, and non-smoke videos have been used for testing the proposed method. The developed method of smoke detection on video provides 97.8-99 % of accuracy for smoke sequences. Smoke was detected without false alarms in three burns. The most remarkable aspect about the results is the algorithm's ability to filter motion other than smoke. In fact, it can be seen from the image sequences extracted that two potential sources of false alarms like the movement of tree leaves due to wind and the movement of people crossing the scene are mostly filtered. The alarms are therefore undoubtedly triggered by the smoke arising from the burns. Smoke video image was performed to verify in experiments, the results have proved the validity of the method proposed in this paper.
Keywords: block-matching, segmentation, smoke detection, video sequence.
Введение. Визуальное обнаружение дыма на открытых пространствах имеет большое значение для раннего обнаружения задымлений и возгораний, в частности на территории аэродромов. Наличие дыма является одним из существенных признаков для раннего обнаружения пожара. Быстрое обнаружение дыма имеет большое значение для раннего предупреждения о возгорании. С развитием технологий компьютерного зрения и анализа изображений важным методом раннего детектирования пожара стало обнаружение дыма на видеоизображениях. По сравнению с традиционными способами детектирования дыма, основанными на тепловых детекторах или химическом анализе продуктов сгорания, мониторинг пожара в бесконтактном режиме позволяет детектировать дым на значительном расстоянии, не зависимо от источника дыма (лесной, техногенный пожар), в различных средах, том числе на открытых пространствах.
К основным признакам визуального обнаружения дыма можно отнести цвет, форму, движение, текстуру, прозрачность [1]. Как правило, для детектирования дыма не используют только один признак, а применяют сочетание нескольких классификаторов.
В литературе предложено несколько подходов для обнаружения дыма на видеоизображениях. Т. Чен и др. [2] для отделения дымных пикселей использовали модель цвета и динамическую меру роста и беспорядка областей дыма. В таком случае ложные тревоги неизбежны, так как на сцене практически всегда присутствуют движущиеся объекты сходного с дымом цвета. В работе [3] использована адаптивная модель фона и статистический метод анализа цвета для детектирования дыма в режиме реального времени. Оценка фона в режиме реального времени требует значительных вычислительных затрат в связи с быстрыми изменениями освещения сцены и, возможно, мерцанием пламени. В работе [4] для детектирования дыма на видео реализовано выделение движения, мерцания, краев размытия, а также цветовая характеристика. В работе [5] представлен алгоритм обнаружения дыма на виде с использованием вейвлетов и машины опорных векторов. Авторы работы [6] предложили метод обнаружения дыма по видеопоследовательности с использованием цветовых характеристик и особенностей движения. Выделение движения реализовано методом оптического потока. В. Ко и др. [7] реализовали методы обнаружения движения и анализа цвета регионов-кандидатов, похожих на дым, создали карту яркости для удаления «непожарных» пикселов и использовали машину опорных векторов для классификации. В работе [8] авторы получают вектор признаков с помощью объединения последовательности гистограмм локальных бинарных шаблонов и локальных вариативных бинарных шаблонов, а также используется нейронная сеть для классификации областей дыма. В работе [9] разработан программно-аппаратный комплекс для детектирования дыма, позволяющий использовать совместно цветовые, температурные и временные характеристики в последовательности кадров видеосерий невысокой частоты и интегрировать данные ИК-датчиков для обнаружения пожара в реальном времени. В работе [10] рас-
смотрено совместное обнаружение дыма и движение пламени. Движущиеся пикселы объединяются в область с помощью математической морфологии и контурного открытия. Движение оценивается методом вычитания фона. В работе также учитываются ярко-стно-цветовые свойства основных признаков пожара, применяются цветовая сегментация для пламени и анализ контраста для дыма. На этапе классификации используется пространственный и временной вейвлет-анализ как для пламени, так и для дыма.
В настоящее время задача детектирования дыма на видеопоследовательности является актуальной вследствие сложности объекта исследования - произвольных форм, динамических и фрактальных свойств, вариаций внутри класса.
Комбинированный метод выделения дыма на видеоизображении. Дым как динамическая текстура обладает следующими текстурными особенностями: турбулентность, изменчивость, цветовые особенности, специфический способ распространения [11]. Для детектирования дыма на видеоизображении предложен комбинированный способ распознавания дыма, позволяющий не только выделить движение на видеопоследовательности, но и учесть пространственно-временные свойства дыма, что увеличивает точность детектирования и уменьшает число ложных срабатываний.
Работа алгоритма детектирования дыма состоит из двух частей: выделение регионов-кандидатов, похожих на дым, и верификация таких областей с помощью методов текстурного анализа. Выделение фрагментов, похожих на дым, происходит, в свою очередь, в два этапа: предварительная сегментация и верификация динамических свойств дыма. Предварительная сегментация осуществляется методом сопоставления блоков.
Для определения межкадровой разницы методом сопоставления блоков текущий кадр делится на непересекающиеся квадратные блоки. Для каждого блока текущего кадра выполняется поиск похожего блока в следующем кадре. В качестве критерия, оценивающего степень соответствия между блоком текущего кадра и блоком предыдущего кадра, используется сумма абсолютных разностей яркостей пикселов (Sum of Absolute Differences, SAD), суммирование производится по всем точкам прямоугольного блока (заданного размера):
SAD=Е ^ (*) -1-л* ^
где Pix - количество пикселов блока; Ii (t) и Ii-1 (t) -яркости пиксела в текущем и предыдущем кадрах в точке t(x,y).
Среди сумм абсолютных разностей (SAD), вычисленных в заданном радиусе окрестности поиска движения, выбирается тот блок, разница SAD для которого минимальна. При этом если разница минимальна у блока с самим собой, то движение считается ненайденным. Размер блока зависит от исходного размера изображения и удаленности от объекта съемки. Кроме того, при медленном дыме и значительном удалении допустим расчет суммы абсолютных разностей с пропуском одного или двух кадров относительно текущего.
Алгоритм сопоставления блоков запускается сначала для двух соседних кадров. Если областей-кандидатов на дым в них не найдено, то происходит перестройка алгоритма, и поиск движения выполняется с пропуском одного (двух) кадров. Это связано с тем, что дым может двигаться очень медленно, и обнаружить движение в двух соседних кадрах бывает не всегда возможно. Далее для областей изображения, в которых выделено движение, применяются маски -цветовая и турбулентности.
Цветовая модель дыма. Области цвета дыма могут быть определены путем установки пороговых значений в цветовом пространстве RGB [12] или в цветовом пространстве YUV [13]. Для всех движущихся блоков вычисляется соотношение
R - G| < T
|G - B\ < T ,
R - B < T
где T - порог, настраиваемый эмпирически. Например, для дыма лесного пожара характерно значение порога T = 10, техногенный дым, как правило, имеет значение порога T = 25.
Турбулентность. Геометрическая сложность формы поверхности может быть количественно измерена с помощью безразмерной меры объемных областей [14]. Для замкнутых поверхностей, возникающих в d-размерном пространстве (d > 2), размер такой области может быть описан мерой Vj/2. Для заданного размера сфера имеет наименьшую площадь поверхности и описывается формулой:
= f vt1)ld, kd = kd
Г17d (1 + d /2)
d n
1/2
фрактальные) поверхности будут соответствовать значению =
Для 2.0-замкнутых контуров мера размера становится квадратным корнем из замкнутой области, 1/2 - 7,1/2 так что сложность 2.0-формы
1 где Р = 82 - периметр
т. е. V21/2 = А
02 -
k2P
0/Т <<»' 2 =-
-1/2
Л1" " 2п1'
контура; Л - его площадь.
Характерной чертой областей дыма является наличие завихрений, для мгновенной оценки завихрений может служить функция турбулентности, описанная в [15]. Мерой мгновенной оценки завихрений может служить функция турбулентности
Р(Г )
0(0 =
где Г(х) - гамма-функция. Тогда для любой замкнутой поверхности область Sd ограничена снизу, т. е.
Sd * 1 v(d-1)/d . kd
Чтобы изучить поведение объемных областей в широком диапазоне размерностей, полезно нормализовать площадь поверхности по площади сферы одинакового размера. Итоговая мера, обозначенная Qd, является безразмерной мерой сложности формы поверхности. Мера Qd количественно описывает удаление формы сложности поверхности от минимального значения. Таким образом, неспрямляемые (например,
где P(t) - периметр области дыма; A(t) - ее площадь. Таким образом, чем больше значение отношения периметра к площади, тем выше турбулентность исследуемой области, тем более такая область похожа на дым.
Экспериментальные исследования. По результатам тестирования нескольких видеопоследовательностей эмпирически были установлены значения параметров работы комбинированного алгоритма выделения регионов-кандидатов, похожих на дым: размер блока, цветовые особенности дыма на видеоизображении и частота вычисления разницы кадров. Таким образом, экспериментальные исследования проводились с различными параметрами: размер блока в алгоритме сопоставления блоков (Blk) - исследован размер в 8, 15 и 30 пикселей; значения порога T в цветовой модели дыма - 10, 15, 20 и 25, и вычисление разницы в соседних кадрах (Rate) - через 1 и через 2 кадра.
Использовано 17 видеопоследовательностей, 7 из которых содержали разного рода дым, а 10 не содержали дыма. На тестовых видеопоследовательностях присутствуют прозрачный и/или густой дым, движущиеся люди, движущийся транспорт, сложный динамический фон. Тестовые видеопоследовательности взяты из базы данных Билькентского университета [16] и базы данных DynTex [17]. При этом в некоторых дымных видеопоследовательностях из базы данных Билькентского университета дым присутствовал не на всем протяжении ролика, что позволяло оценить не только качество работы по количеству найденных кадров с дымом, но и скорость срабатывания системы (табл. 1, 2).
Таблица 1
Результаты распознавания для видеопоследовательностей, содержащих дым (TS - точность сегментирования, FRR - ошибка первого рода, FAR - ошибка второго рода)
Видеопоследовательность Описание Количество кадров Присутствовал / найден, кадр TS FRR FAR
Dyntex/649ge10 Дым завода 1134 1-1134/1-1334 1 0 0
Dyntex/57db110 Дым сигареты 170 1-170/1-170 1 0 0,02
Bilkent/ISYAM Дым далеко 310 30-190/35-190 0,967 0,031 0,106
Bilkent/sWasterBasket Дымовая шашка 2247 22-2133/23-2133 0,999 0,001 0
Bilkent/sMoky Прозрачный дым костра 1498 1-1498/1-1498 1 0 0
Окончание табл. 1
Видеопоследовательность Описание Количество кадров Присутствовал / найден, кадр TS FRR FAR
Bilkent/ParkingLot Дым на парковке 1726 260-1498/264-1483 0,984 0,015 0,333
Bilkent/sWindow Дым из корзины с мусором 405 20-405/56-405 0,906 0,094 0,104
Средние значения 0,979 0,021 0,08
Таблица 2
Результаты распознавания для видеопоследовательностей без дыма (FAR - ошибка второго рода)
Видеопоследовательность Описание Количество кадров Количество кадров с ложной тревогой FAR
Dyntex/6amg900 Фонтан 1040 20 0,0192
Dyntex/648ab10 Мельница 716 0 0
Dyntex/55fa210 Кипящая кастрюля 250 29 0,116
Dyntex/55fc310 Кипящая кастрюля 2 250 3 0,012
Dyntex/571b210 Автодорога и река 254 54 0,2126
Dyntex/644b910 Дом с зелеными шторами 250 1 0,004
Dyntex/646a81 Флаги 642 34 0,0529
Dyntex/64ad210 Морское дно 806 0 0
Dyntex/54ac110 Трава в поле 250 0 0
Bilkent/Car_lights Машины с включенными фарами в ночное время 385 100 0,2597
Средние значения 484,3 24,1 0,0676
Размер блока Blk для расчета разницы кадров с помощью алгоритма сопоставления блоков зависит от разрешения исследуемого изображения и удаления от объекта съемки. Чем больше размер изображения, тем большим может быть блок. Результаты поиска блока в радиусе три пикселя и в радиусе пять пикселей от исходного блока показали, что при увеличении радиуса поиска точность детектирования возрастает незначительно - на 0,5-0,7 %, при этом временные затраты на обработку одного кадра увеличиваются в полтора раза.
Значение цветового порога дыма зависит от типа дыма. Так, дым от лесного пожара, сухих листьев, хлопковой веревки, как правило, имеет значение цветового порога T = 10-15. Техногенный дым - пожар в жилом доме, дым завода, дым от горящего самолета -имеет значения цветового порога T = 20-25.
Параметр Rate = 1, 2, 3 показывает номер кадра относительно текущего, который следует учитывать для расчета движения, т. е. искать ли похожий блок в следующем кадре, через одни или через два кадра. Экспериментальные исследования показали, что требуется адаптивная подстройка этого параметра под каждую видеопоследовательность, так как этот параметр зависит от удаленности объекта съемки и скорости распространения дыма. Так, для медленного дыма
из видеопоследовательности Bilkent/ISYAM Rate = 2, для сигаретного дыма Буйех/57^110р Rate = 1.
Кадры некоторых из исследуемых видеопоследовательностей, результаты детектирования дыма на них, а также параметры работы алгоритма, при которых эти результаты были получены, приведены в табл. 3.
Результаты тестирования на трех видеопоследовательностях, содержащих разного рода дым, дали 100 %-ный правильный результат. При этом в двух видеопоследовательностях ложных тревог не было совсем, в одной видеопоследовательности, содержащей прозрачный сигаретный дым, ложное срабатывание произошло в четырех кадрах из 170. Среднее значение точности работы комбинированного метода сегментации дыма по видеоизображениям на дымных видеопоследовательностях составляет 0,979.
Ложные срабатывания в дымных видеопоследовательностях происходят в среднем в каждом 12 кадре, число FAR для дымных видеопоследовательностей 0,08, в недымных видеопоследовательностях FAR = = 0,06764. Такие значения ложной тревоги говорят о том, что потенциальные источники ложных срабатываний, такие как движение листьев деревьев из-за ветра, перемещение людей, пересекающих сцену, движение автомобилей и движение облаков, в основном фильтруются.
Таблица 3
Кадры исследуемых видеопоследовательностей (Elk (пиксели) - размер блока, - порог цветовой модели дыма, Rate (кадр) - частота учета кадров для вычисления)
Видеопоследовательность
Dyntex/649ge10, кадр 13, разрешение 787x556
Dyntex/57db110p, кадр 1, разрешение 400x300
Результаты детектирования, парамерты алгоритма
Заключение. Представленный в работе комбинированный метод детектирования дыма по видеоизображениям показывает высокую эффективность (до 100 %) как на видеопоследовательностях с густым дымом, так и на видеопоследовательностях с прозрачным дымом. Наименьшая точность детектирования 0,906 получена для видеопоследовательности Bilkent/sWindow вследствие высокой скорости изменения направления распространения дыма и его прозрачности. В видеопоследовательностях без дыма среднее количество ложных срабатываний 6,76 %, что говорит о том, что потенциальные источники ложных срабатываний в основном фильтруются. Эксперимент показывает, что требуется подстройка параметров алгоритма, таких как цветовой порог дымных объектов, размер блока и количество обрабатываемых кадров, под конкретные условия съемки.
Библиографические ссылки
1. Dynamic texture based smoke detection using Surfacelet transform and HMT model / Ye Wei [et al.] // Fire Safety Journal. 2015, Vol. 73. P. 91-101.
2. Chen T., Wu P., Chiou Y. An early fire-detection method based on image processing // Proceedings of IEEE ICIP. 2004. P. 1707-1710.
3. Fire detection using statistical color model in video sequences / T. Celik [et al.] // Journal of Visual Communication and Image Representation. 2007. No. 18 (2). P. 176-185.
4. Toreyin B. U., Dedeoglu Y., Cetin A. E. Wavelet based real-time smoke detection in video // Signal Processing: Image Communication, EURASIP. 2005. Vol. 20. P. 255-260.
5. Gubbi J., Marusic S., Palaniswami M. Smoke detection in video using wavelets and support vector machines // Fire Safety Journal. 2009. No. 44 (8). P. 1110-1115.
6. Video Fire Smoke detection using motion and color features / Yu. Chunyu [et al.] // Fire Technology. 2010. No. 46(3). P. 651-663.
7. Ko B., Cheong K., Nam J. Fire detection based on vision sensor and support vector machines // Fire Safety Journal. 2009. No. 44(3). P. 322-329.
8. Yuan Feiniu. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids // Fire Safety Journal. 2011. Vol. 46, iss. 3. P. 132-139.
9. Разработка аппаратно-программного комплекса дистанционного обнаружения пожаров / Л. В. Катков-ский [и др.] // Технологии безопасности. 2012. № 1. С. 43-45.
10. Богуш P. П., Тычко Д. А. Алгоритм комплексного обнаружения дыма и пламени на основе анализа данных систем видеонаблюдения // Техническое зрение в системах управления. 2015. С. 65-71.
11. Маленичев А. А., Красоткина О. В. Разработка системы быстрого распознавания дыма в видеопотоке // Техническое зрение в системах управления : сб. тр. науч.-техн. конф. М., 2012. С. 158-163.
12. Buchsbaum G. A spatial processor model for object color perception // J. Franklin Inst. 1980. Vol. 310, iss. 1. P. 1-26.
13. Hakan Habiboglu Y., Gunay Osman, Cetin Enis. Real-time wildfire detection using correlation descriptors // 19th European Signal Conference (EUSIPCO 2011). 2011. P. 894-898.
14. Catrakis Haris J., Dimotakis Paul E. Shape Complexity in Turbulence // Physical review letters. 1998. Vol. 80, No. 5. P. 968-971.
15. Video Fire Smoke Detection Using Motion and Color Features J. / Y. Chunyu [et al.] // Fire Technology. 2010. Vol. 46, No. 3. P. 651-663.
16. Database of Bilkent University [Электронный ресурс]. URL: http://signal.ee.bilkent.edu.tr/VisiFire/Demo/ (дата обращения: 08.03.2016).
BecmHUK Cu6rAY. TOM 17, № 3
17. Renaud P., Fazekas S., Huiskes M. J. DynTex: A comprehensive database of dynamic textures // Pattern Recognition Letters. 2010. Vol. 31, No. 12. P. 16271632.
References
1. Wei Ye, Jianhui Zhao, Song Wang, Dengui Zhang, Zhiyong Yuan. Dynamic texture based smoke detection using Surfacelet transform and HMT model. Fire Safety Journal, 2015, Vol. 73, P. 91-101.
2. Chen T., Wu P., Chiou Y. An early fire-detection method based on image processing. Proceedings of IEEE ICIP, 2004, P. 1707-1710.
3. Celik T., Demirel H., Ozkaramanli H., Uyguroglu M., Fire detection using statistical color model in video sequences. Journal of Visual Communication and Image Representation, 2007, No. 18 (2), P. 176-185.
4. Toreyin B. U., Dedeoglu Y., Cetin A.E., Wavelet based real-time smoke detection in video. Signal Processing: Image Communication, EURASIP, 2005, Vol. 20, P. 255-260.
5. Gubbi J., Marusic S., Palaniswami M., Smoke detection in video using wavelets and support vector machines, Fire Safety Journal, 2009, No. 44 (8), P. 11101115.
6. Chunyu Yu, Jun Fang, Jinjun Wang, Yongming Wang. Video Fire Smoke detection using motion and color features. Fire Technology. 2010, No. 46 (3), P. 651663.
7. Ko B., Cheong K., Nam J. Fire detection based on vision sensor and support vector machines. Fire Safety Journal, 2009, No. 44(3), P. 322-329.
8. Yuan Feiniu. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids. Fire Safety Journal, 2011, Vol. 46, Iss. 3, P. 132-139.
9. Katkovskiy L. V., Vorobiev S. U., Bogush R. P., Brovko N. V. [Development of hardware and software
remote detection of fires]. Tekhnologii bezopasnosti. 2012, No. 1, P. 43-45 (In Russ.).
10. Bogush P. P., Tychko D. A. [The algorithm integrated smoke detection and fire based on analysis of video surveillance data]. Tekhnicheskoe zreniye v sistemakh upravleniya. 2015, P. 65-71 (In Russ.).
11. Malenichev A. A., Krasotkina O. V. [Development of a system of rapid detection of smoke in the video stream]. Tekhnicheskoe zrenie v sistemakh upravleniya. Sbornik trudov nauchno-tekhnicheskoj konferentsii. [Technical vision control systems. Proceedings of the Scientific and Technical Conference]. Moscow, 2012, P. 158-163 (In Russ.).
12. Buchsbaum G. A spatial processor model for object color perception. J. Franklin Inst. 1980, Vol. 310, Iss. 1, P. 1-26.
13. Hakan Habiboglu Y., Gunay Osman, Cetin Enis. Real-time wildfire detection using correlation descriptors. 19th European Signal Conference (EUSIPCO 2011), 2011, P. 894-898.
14. Catrakis Haris J., Dimotakis Paul E. Shape Complexity in Turbulence. Physical review letters, 1998, Vol. 80, No. 5, P. 968-971.
15. Chunyu Y., Jun F., Jinjun W., Yongming Z. Video Fire Smoke Detection Using Motion and Color Features. J. Fire Technology, 2010, Vol. 46, No. 3, P. 651-663.
16. Database of Bilkent University. Available at: http://signal.ee.bilkent.edu.tr/VisiFire/Demo/ (accessed 08.03.2016).
17. Renaud P., Fazekas S., Huiskes M. J. DynTex: A comprehensive database of dynamic textures. Pattern Recognition Letters, 2010, Vol. 31, No. 12, P. 1627-1632.
© mTaeBa A. B., 2016
