CC BY
207Journal of Siberian Federal University. Engineering & Technologies, 2019, 12(5), 542-554
yflK 004.932.2
Video Based Flame and Smoke Detection
Anna V. Pyataeva and Oleg E. Bandeev*
Siberian Federal University 79 Svobodny, Krasnoyarsk, 660041, Russia
Received 03.12.2017, received in revised form 14.07.2018, accepted 02.12.2018
The early fire detection in outdoor scenes using video sequences is one of crucial tasks of modern surveillance systems in urban and terrestrial natural environment. A conventional way of video analysis is to design a good background model and to track a motion selectively. Color, contours, fractal properties, and transparency, are considered the main spatial properties of smoke and flame in a still image or a single frame. Smoke detections algorithm steps. First, local smoke regions are detected based on motion estimation and chromatic analysis. The clustering of such local regions provides global smoke regions in a scene. At this stage, smoke and non-smoke regions are analyzed in order to exclude errors of false rejection. The suspicious region is extracted by using block-matching algorithm. Second, global regions are verified by using statistical and temporal features. In this research, smoke colored blocks and turbulence characteristics. Verification based on spatiotemporal local binary patterns. An automatic flame detection method uses the features of fire, such as the moving parameters, chromatic components, and geometrical (flickering) features. A candidate fire region is determined according to the color component ratio and motion cue of fire flame obtained by background subtraction. The flame color probability is then estimated based threshold value in the combination of RGB and YSV color spaces. The motion probability obtained is by employing the background model with Background Subtractor function in OpenCV (Open Source Computer Vision Library). Flamesflicker in height, size and in brightness. Video basedflame detection algorithms often analyzeflickering ofpixel intensities over time to detectflames. In this study we investigate five different pixel intensityflickering features based on methods presented in previous work. Forflickering features we calculate geometry, compare frequency of initial frame with fire re-gion candidate, and check the change in the size of the rectangular flame candidate block.Flame and smoke regions classifier using support vector machine. Video based flame and smoke detection is carried out in parallel.For experimental researches the database of dynamic textures Dyntex and database of Bilkent University were used. The developed method of smoke detection on video provides 94.9-98% of accuracy for fire detection. Experimental results show that the proposed method is feasible and effective for video based flame and smoke detection.
Keywords: flame, smoke, fire detection, video sequences.
Citation: Pyataeva A.V., Bandeev O.E. Video based flame and smoke detection, J. Sib. Fed. Univ. Eng. technol., 2019, 12(5), 542-554. DOI: 10.17516/1999-494X-0105.
© Siberian Federal University. All rights reserved
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0). Corresponding author E-mail address: anna4u@list.ru, olegbandeev@yandex.ru
Обнаружение пламени и дыма по видеоданным
А.В. Пятаева, О.Е. Бандеев
Сибирский федеральный университет Россия, 660041, Красноярск, пр. Свободный, 79
В работе предложен алгоритм обнаружения пожара по видеоданным на открытых пространствах, когда традиционными способами на основе датчиков химического состава воздуха или температуры обнаружение дыма и пламени невозможно. Обнаружение дыма и пламени выполняется параллельно, пожар считается найденным в случае детектирования одного объекта: дыма или пламени. Алгоритм нахождения дыма и пламени основан на анализе пространственно-временных признаков. На первом этапе обнаружения дыма выполняется поиск движения с использованием алгоритма сопоставления блоков, затем производится хроматический анализ движущихся областей, учет турбулентности. Классификация областей-кандидатов производится с использованием машины опорных векторов. Верификация выполнена на базе пространственно-временных локальных бинарных шаблонов. Для обнаружения пламени взята функция Background Subtraction библиотеки компьютерного зрения OpenCV, выполнен учет цветовых особенностей пламени и анализ его динамических свойств. Для проведения экспериментальных исследований использованы базы данных видеопоследовательностей Билькентского университета и Dyntex. Дополнительно репрезентативность тестового набора видеороликов повышена данными с реальных камер видеонаблюдения, в том числе полученными в ночное время. Количество кадров тестовых видеопоследовательностей составило 44 406, общая продолжительность роликов - 40 мин. Средняя точность обнаружения дыма составила 98 %, пламени - 94,9 %. Ложноположительные срабатывания при обнаружении дыма и пламени в среднем равны 3,46 %. Таким образом, экспериментальные исследования подтверждают эффективность предложенного алгоритма обнаружения пламени и дыма по видеопоследовательностям на открытых пространствах.
Ключевые слова: пламя, дым, обнаружение пожара, видеопоследовательности.
Введение
Обнаружение дыма и пламени по данным камер видеонаблюдения позволяет предотвратить ущерб от возгорания: экономические и человеческие потери. Датчики огня и дыма, имеющие в своей основе анализ химического состава воздуха, с успехом применяются на закрытых пространствах (офисные и производственные территории, квартиры и т.д.). Эффективность применения таких систем обнаружения пожара резко падает на открытых пространствах, таких как территории аэродромов, помещения крупных промышленных цехов, придомовые территории, городские улицы, парки и лесные массивы. Это обусловлено тем, что концентрация продуктов сгорания (дым) и температура (огонь) вследствие воздействия атмосферных факторов не может быть адекватно измерена такими датчиками, так как под влиянием ветра, дождя, снега происходит быстрое уменьшение концентрации продуктов сгорания в воздухе.
Пожары имеют несколько стадий. как правило, начальная фаза развития пожара характеризуется возникновением дыма, однако это не всегда так. Например, при возникновении пожара в ночных условиях съемки дым практически не виден для алгоритмов компьютерного зрения. Поэтому одновременное обнаружение дыма и пламени позволит увеличить достоверность обнаружения пожара по видеоданным.
Навидаоизобрамсеирп дыми дидвмическде текстуры с про-
странетвеннымдив^ мепдь1ми едойствами . yoajpe]M(^i^]F^^na вин йствам дыма и пламени можно отнрстиноличиедаджения ладаллз временных грариц, приием дым ддижется медленнее хнамени. Пространственными особенностями дыма и пламени на видеоизображениях явля-ютсяцонп,даРздачность, фртктальнастает^^лрнтносап), жа^авие. .лдхчей алгоритма обнаружения пожара служит минимизация ложноотрицательных срабатываний, т.е. пропуска цели.
Стщбствующиеалвиннуныобдаружения дыма и пламени можно классифицировать сле-бующетм
-обниружении дымау аанмноо на основр г^а^итндмм, ковданапрльннются статистиче-
и одпа^^]яна^киароу(^(^л;^(^т^^^и1^а^а^а^икРтом^рп^а]^ЛЕ(н^тн^я, лкоторьех задается последовательность кадров, далее применяются алгоритмы слежения, модели глобального илижендя [2],опамтет-иреобдазованид[ааи ддтаде длянаниржадвирременных характеристик;
т с лoдмFдeдkУм эвддстиоепких правмл, например по хроматиче-
с к(^аев^бмдааппа^нддо^(^;^;^1^(^ма ваепдостравандю дыма да];
оГлбрлндыН вaддoд,ocdЮPaнныйkмпpn]CнтнocрвeмдоIабeмлднe>м адодизе, объединяю-щемлредвщщества иаеамоиын алгорлтмов.Так, ндлаоюер, пработе[5] предложен гибридный метод, сочетающий цветовой и контурный анализ, эффекты мерцания и ана-ллздвнженму(
OOнopвжимнe двшл
В настоящей работе алгоритм обнаружения дыма основан на выделении пространственно-временных признаков дыма и учета его текстурных особенностей.
Наперпамаиапе yaaпoлняFacg нпедпарительная ceгмFатацияaMnkanaйaкандидатов дыма. DвaэтanоиcIIOдьзбвaнkлгoмитмcoпocтDвлnнияOмnaот (block-matching algorithm). В качестве критедии( cщанивaющeгвcтeпeньcрoaлydУввиямeждyблoкo мтекущдго кадща и блоком преды-тcяdиммkaбg олютдыа стей рpкocоeнллбcaаyа (Sum of Absolute
д iOeeradccn&aPi):
SAD=1»^. (z) - со
где Pix - количество пикселов блока; Ii(z) и Ii.1(z) - яркости пиксела в текущем и предыдущем кадрах в точке t(x,y). Возможно использование и других критериев оценки межкадровой разницы между блоками: сумма квадратов разностей (Sum of Squared Differences, SSD) или среднее квадратов разностей (Mean of Squared Differences, MSD). При этом для сцен дальнего и ближнего плана параметры алгоритма выделения регионов-кандидатов существенно различаются. Определение глубины для разделения на сцены ближнего и дальнего плана выполнено с использованием случайного марковского поля. На первом этапе выполняется сегментация с помощью алгоритма сдвига среднего значения, затем строится карта светопередачи с использованием модели случайного марковского поля [6-8]. Для сцен с большой глубиной при детектировании дыма следует пропускать один или два кадра и размер блока должен быть меньше,
так как ноломый объект, дым, молсет заномоти малою часть лалра. Для сцен с малой глубиной, как пытандо, нужнз оскатп ывижение без орьпуска каоьое оидеопокледовательности и с большим размером ыао т^о.
Далее дло кблаетей изобрадения, в чоторых В1>1делепт движпнее> приме ноются маски: цве-товоо ее рурбыеи^иеетносв'и. НоКеюдаков поко1;?ыва1т^т^, что цвет дьеме иемепяется от бело-голубого до Оалоео, 1сопда т^пзператаро емпа ыеоокая, и он яоино-седото до чсьнаае, ногда температура возльееает. Следокооеиежо, о^астп цпета доши ооыу т ibiiin") зьрстетзны щетем установки по-eaioeoie зеодениб о отетоедм 1133остранстче нЬ(Ое>. Для скок додоьущмтцв бобков вычисляется оомтнешение 0е0д в ьев>то)]»ом ь^лзозсс^ цзетз дымо ьасечгютея п<я лорооу 7 (для дыма лесного пижлри нольлтерно значояно цветоеоео порыть Т=10-15, ьожар нц гольдльис еерриториях имеет злотзвие Т=Ц5) [9]:
]т- g|<t
<|С?е^в|<зГ. (2)
(R- B\<T
Примирто оаюжже рвз^ьпзт сесмент ации можноио л^чит^ по^вдяпаКСВ-пространства в YU 0>епросарансто о инта лиооруя еомпоненте Y. Харевтерно й чертой оВласдей дыма является долеечеи еевипязний, .i^j^jf мгновенной оценки которыхилжетеенжитьфункция турбулентно-сти^
0ц )=-Л0-[ ®
^<ctbo(/)
j[[3e е-'ьМЬ д пеиимлтр цЦлееть дыма; о!(Т л пе площедь. Лакии о0]изом, .ееот больше значение озоошенио петимстрав плищаеи,темвыше е^п^^^лонт^<еотть иьеллдфеемол ьбласти, тем более такаяобластьпохожа надым.
Классификация по лученных на предыдущем этапе регионов-кандидатов выполняется с помощью машины опорных векторов (Support Vector Machine - SVM), для верификации таких областейприменяютсяпространственно-временныелокальные бинарныешаблоны [11].
Обнпе ужгепепллмеди
Алгалиом еКнакужания вламени оснрван оа нахояеденит деиженле тавидеоряде и выделении хроматическиххарактеристик с последующим анализом динамических свойств.
.по оовзаадьмжеоия ню впдеоизоОппжипеех тепоньаооена фдоиния получения модели фона Веск°гоилт 0entraction библиотееси коь^]^]^]юее^з)ек^ге а^нияОрепСУ '12]. Эта функция представляет собой алгоритм смеси гауссовых распределений. Модель гауссовых смесей - это тзвзязев наязрмма ПМеоФпььопп:
__M _
pa x |яоа хо, (4)
i=i
где х - D-мерный вектор случайных величин; bi(x) - функции плотности распределения составляющих модели; pi, i =1,...M - веса компонентов модели. Параметр X рассчитывается по формуле
b = \pt, Mi, ZPbi(x)[. (5)
Каждый компонент является D-мерной гауссовой функцией распределения. После выявления движения по осям x и y находятся самые крайние обнаруженные пикселы, и по их координатам строитсяпрямоугольник,выделяющийобласть пламени.
Цвет пламени зависит от многих факторов. Во-первых, это может быть химический состав горящего объекта, при горении которого могут меняться оттенки пламени. Во-вторых, большое влияние оказывает насыщенность воздуха различными газами, например кислоро-дом.Такженацветпламениможетвлиять его температура [13].
Для поиска среди движущихся областей цвета пламени использована комбинация цветовых пространств RGB и HSV последующим правилам:
R> G > B, (6)
R > RT, (7)
S > (255-R)x ST / RT. (8)
В выражениях (6)-(8) параметр RT обозначает пороговое значение канала R, S представляет собой значение насыщенности пиксела, а ST соответствует насыщенности, когда значение R соответствует знанию параметра RT для того же пиксела. Правила (6) и (7) показывают, что значение канала R больше по сравнениюс другимиобъектами.
Как известно, горение огня - это весьма динамичный процесс. Языки пламени регулярно меняют свою форму и направление, поэтому такие процессы легко можно обнаружить. Анализ динамических свойств пламени регионов-кандидатов выполняется путем проверки изменения размера прямоугольного блока. Выполняется учет изменения размера блока из текущего и предыдущего кадров:
sd=s1/s2, (9)
где s1 - размерблока-кандидатапредыдущегокадра; s2 - размер блока текущего кадра.
Для верификации полученных на предыдущем этапе областей-кандидатов огня выполняется проверка геометрии пламени, обусловленной процессом образования ионов при горении, учитываетсяследующимобразом:
circularity = sx(4nxs/P2), (10)
squareness = s/(xxy), (11)
aspectRatio=sx (min(x, y)/max(x, y)), (12)
roughness = s*(P1/P), (13)
где s - площадь области-кандидата; P - периметр области-кандидата; x и y - ширина и высота области-кандидата; P1 - периметр изображения. Дополнительно проверяется частота кадров исходного видео по сравнению с частотой кадров выделенных областей:
i=i
fr= FPS/MAXS*C, (14)
где MAXS - максимальный размер блока среди всех кадров видеопоследовательности; C - количество изменений максимально размера блока; FPS - частота кадров видеопоследовательности. Сравнение частоты кадров и частоты изменения блока области-кандидата позволяет подтвердить наличие движения на видеопоследовательности, так как каждое такое изменение означает смещение пламени. Классификация регионов-кандидатов, как и для дыма, выполнена с использованием метода опорных векторов.
Комбинированный алгоритм обнаружения пожара
Алгоритм обнаружения возгорания, таким образом, состоит из следующих шагов:
1. Проводится предварительная сегментация областей-кандидатов с учетом хроматических особенностей дыма и пламени.
2. Для областей, на которых выделено движение, выполняется наложение масок дыма и пламени. Для дыма такая маска состоит в учете его турбулентных особенностей, для пламени - в учете динамических свойств.
3. Верификация выделенных областей-кандидатов для дыма происходит на основе пространственно-временных локальных бинарных шаблонов, для пламени выполняется проверка мерцания и учет геометрии.
4. Классификация регионов-кандидатов на классы «дым» - «отсутствие дыма» и «пламя» - «отсутствие пламени» выполняется с помощью машины опорных векторов. При этом обучающая выборка составила 80 %, тестовая - 20 % от общей выборки примеров.
Указанные шаги комбинированного алгоритма обнаружения возгорания выполняются параллельно, и, если хотя бы один объект «пламя» или «дым» найден на видеоизображении, пожар считается обнаруженным.
Экспериментальные исследования
Для проведения экспериментальных исследований использованы видеопоследовательности из баз данных Bilkent [14] и Dyntex [15], а также видеопоследовательности с реальных камер видеонаблюдения, загруженные с сервера Youtube [16]. Дополнительно для повышения представительности тестового набора видеороликов использованы видеоданные с пламенем и дымом, снятые в ночное время суток. Тестовые видеопоследовательности содержали пламя и (или) дым или не содержали объектов пожара. Кадры некоторых использованных видеороликов и их свойства приведены в табл. 1.
Кадры видеопоследовательностей с камер видеонаблюдения с данными ночной съемки приведены на рис. 1.
Целью экспериментальных исследований было обнаружение возгорания и минимизация ложноотрицательных срабатываний. Возгорание считалось обнаруженным, если хотя бы один искомый объект «дым» или «пламя» найден на видео. Для оценки качества работы комбинированного алгоритма обнаружения пожара использованы показатели TR - true reсognition, FRR - false rate rejection и FAR - false alert rejection. Показатель TR (точность обнаружения) рассчитывается как отношение кадров, в которых пламя или дым обнаружены правильно к кадрам, в которых они пропущены. Ошибка FRR показывает ложноотрицательное срабатывание,
Таблица 1. Кадры тестовых видеопоследовательностей Table 1. Frames of video sequences
Описание тестовой видеопоследовательности
Bilkent\ffiackYardFile, кадр 334
Разрешение, пикселы: 320x240
Ксшичество кадров: 1,251 Объекты на видео: пламя
Образец кадр а
Описание тестовой видеопоследовательности
Обаазец ладра
Bilknntlbarbec.avi, кадр 186 Рапрешкние, пикселы: 320x240
Количество оадров: 516 ОВъекты нк видоо: пламя
Bilken1;0fo6nst4.avi, кадр 33 Разрешение, пиксела:: 4ООк256
Количество кадров: 661 Объекты на видео: пламя, дым
DynteofH>6ammj0e.avi, кадр 158
Рапафешение, пикетлы: 7К0х576
Количотивк еадртс: 227 Олъекты нв кидыо: пламя
Biatanl/sHfoey, кадл 21 Разретнеште, пиксеты: 300хе4Т
Кооикентво видртв: 1 498 Объекты на видов: дым
Bileane/sParkBigLot, -265(0)
Ваорчштние, пиклелы:
ваохкоо
Количеотво кадроо:1 726 Объектынавидео:дым
BilkenI\sBehinKnheFenco. aoi, кади 254 Разрешблин, пикоееы: 3B0xC40
Количество ердртв: 675 Объектынавидео:дым
Bi^enlHsWasteBaniet avi, кадр ie7
it'eol ;bi;|;:> «зет^еккс-скги, таксеры: 320хК70
Количтсиво кидров: 963 Объектынавидео:дым
DyKeex\6V9h320.aoi,Kaflp 170
Разрашенил, пиереаы: 720x07T
Количествокадров:206 Видеобездымаипламени
Dynl;(^:6^\i)^i5^1tElO , кедр 1 7a3eeaoemiet пррле2ы: 304еК08
Количтатоо двдров: ВР6 Видеобездымаипламени
DyKtem\C489600.POi, кад847 Раздолшоние, пиееелыг 730x076
Количество кадров: 201 Видео без дыма и пламени
BBlKdotTCaaeDounting.avB, к адр 4(0
РазрешениО1 пиесел8Р 320хе4П
Количество кадров: 384 Видео без дыма и пламени
FAR - ложноположительное. Общая выборка видеоизображений (кадров видеопоследовательностей) включает в себя 44 406 примеров. Количество кадров для видеопоследовательностей с пламенем составило 4031, без пламени - 7119, пламя в ночное время - 5198, ночные видеоролики без пламени - 7286. Участвовавшие в экспериментальных исследованиях ролики с дымом содержали 11 018 кадров, без дыма - 9754 кадра. Общая продолжительность видеопоследовательностей составила около 40 минут.
В работе [17] исследованы различные параметры алгоритма выделения локальных регионов-кандидатов дыма. Такие параметры, как размер блока для расчета межкадро-
е ж з и к
Рис. 1. Данные с камер видеонаблюдения ночью: а-д - видеопоследовательности с пламенем и дымом; е-к - видеоролики без пламени и дыма
Fig. 1. Surveillance video cameras night data: а-д - smoke and flame; е-к - without smoke and flame
Рис. 2. Этапы работы алгоритма обнаружения дыма для видеопоследовательности https://www.youtube. com/watch?v=3fI3u9_49YQ (кадр 24) с параметрами алгоритма: Blk =8, T = 25, Rate = 3: а- все движение вкадре; б -сероедвижениев кадре; в - расчет турбулентности; г -выделенныйдым
Fig. 2. Video-based smoke détection results, video https://www.youtube.com/watch?v=3fI3u9_49YQ (frame 24) algorithm parameters: Blk = 8, T = 25, Rate = 3: а - all motion in flame; б - gray motion in flame; в - turbulence; г - smoke
вой разницы Blk = {8, 15, 30} пикселов, значение цветового порога T = {10, 15, 20, 25}, задаваемое для выделения среди движущихся блоков-кандидатов цвета дыма, параметр Rate = {1, 2, 3}, показывают номер кадра, который следует учитывать для расчета движения относительно текущего кадра. На рис. 2-4 приведены примеры обнаружения дыма и пламени.
В табл. 2 приведены результаты экспериментальных исследований при обнвружениипла-мени. На использованных видеопоследовлхельноитях присутстлдвзлн следующие объекты : дым, пламя, движущиеся люди, сложный динамический фон. При этом некоторые видеопосле-довательностис пламенем,напримвс pakHCHBilk3ntC0orest4.aviH ВИкезШоге5Ы5.авс,текжесо-доржалиидым. Есниеидеопонледоъаселонъ ссь содержала тольно даш,онебыла оонеснна к видеопоследовательностям беолламени.
Результаты экспериментальных исследований обнаружения дыма показаны в табл. 3. Как и при обнаружении пламени, экспериментальные видеоролики разделены на две группы: видеоролики, содержащие дым, и без него. При этом на роликах без дыма мог присутствовать огонь и другие объекты с динамическим поведением.
а б в г
Рис. 3. Этапы работы алгоритма абнаружения дыма для видеопоследовательности http://dyntex.univ-lr.fr/ Dyntex/571b210 (кадр 56) с параметрамиалгдритма:,В/)б= 15,У= 2Д,Идбе t= /la- вее движение в кадр)е; б-серое движениевкадре; в - расчетту рбулентности; г -выделенный дым
Fig. 3. Video-based smoke detection results, vddeo http://don6ox.imiv-lr.fr/Dyntex/571b210 (frame 56) algorithm parameters:,B/6 = 17,ГИ20,7баГе = 1 :a-ailmot1oK in flame; 6-gra7mo1ieninflame; в -ЬиеЬи1еаси;гг smoke
J
Рис. 4. Этапы работы алгоритма обнаружения пламени для видеопоследовательности http://signal. ee.bilkent.edu.tr/VisiFire/Demo/FireClips/Bilkent/barbeq (кадр 267): а - обработка оригинального видео; б -маска цветапламени; в - поиск движения цветапламени; г - выделенноепламя
Fig. 4. Video-based flame detection results, video http://signal.ee.bilkent.edu.tr/VisiFire/Demo/FireClips/Bilk-ent/barbeq (frame 267): а - original frame processing; б - flame-colored mask; в - flame-colored motion in flame; г - flame
Таблица2.Результатыобнаруженияпламени Table 2. Flame detection results
Видеопоследовательность с пламенем TR, % FRR, % FAR, % Видеопоследовательность без пламени FAR, %
Bilkent\sEmptyR1.avi 0,65
Bilkent\sEmptyR2 .avi 2,74
Bilkent\fBackYardFile.avi 90,09 9,91 0,39 Bilkent\sParkingLot.avi 0,44
Bilkent\barbeq.avi 98,26 1,74 0,23 Dyntex\648ab10.avi 1,56
Bilkent\forest4.avi 93,63 6,37 0,41 Dyntex\6489610.avi 0,49
Bilkent\forest5.avi 95,12 4,88 3,65 Dyntex\649h320.avi 0,97
Bilkent\ForestFire1. avi 97,17 2,83 3,23 Bilkent\sBehindtheFence. avi 0,00
Bilkent\fire1.avi 97,6 2,4 2,21 Bilkent\sWasteBasket.avi 0,00
Bilkent\forest2. avi 96,7 3,3 1,46 Bilkent\sWindow.avi 1,61
Bilkent\controlled1.avi 89,45 10,55 4,45 Bilkent\sBtFence2.avi 0,57
Dyntex\6ammj00.avi 95,59 4,41 0,28 Bilkent\sMoky.avi 2,40
Dyntex\64cac10.avi 94,84 5,15 0,24 Bilkent\Car_Counting.avi 2,86
Средние значения 94,85 5,15 1,65 Среднее значение 1,19
Как показали экспериментальные исследования, средняя точность обнаружения дыма составила 98 %, пламени - 94,9 %. Такая точность обнаружения пожара при совместном поиске дыма и пламени по видеоданным позволит своевременно обнаружить пожар и избежать возможных потерь. Источниками ложных срабатываний комбинированного алгоритма обнаружения пожара служили люди, движущиеся автомобили, сложный динамический фон. Однако среднее число ложноположительных срабатываний достаточно низко: для дыма 5,5 %, для пламени 1,42 %, что является хорошим результатом.
Обнаружение пожара в ночных условиях может быть основано на детектировании пламени по видеоданным, так как дым практически не видим для алгоритмов анализа изображений в условиях недостаточной освещенности. Так, в работе [18] для компенсации недостаточной освещенности съемки при обнаружении дыма применяют многомасштабный алгоритм Ретинекс (МШ^са1е Retinex) с последующим использованием набора фильтров. Применение такого комплекса мер для обнаружения дыма в условиях недостаточной освещенности обусловлено тем, что точность обнаружения дыма в ночных условиях съемки существенно падает - до 62 %, а количество ложных тревог возрастает до 40 %. Представленный в настоящей работе комбинированный алгоритм обнаружения пожара позволяет обнаружить огонь и в ночное время съемки. Таким образом, при применении комбинированного алгоритма обнаружения пожара на основе параллельного поиска и огня и дыма даже в ночных условиях съемки представляется возможным обнаружить пожар с высокой степенью достоверности. Так, в табл. 4 приведены результаты экспериментальных исследований обнаружения огня по данным с реальных камер видеонаблюдения, полученных ночью. Источникам ложных срабатываний в данном случае являлись объекты цвета пламени, например автомобильные фары, керосиновая лампа, горящие уличные фонари (при движении камеры) и пр.
Таблица 3. Результаты обнаружения дыма Table 3. Smoke detection results
Видеопоследовательность с дымом TR, % FRR, % FAR, % Видеопоследовательность без дыма FAR, %
Bilkent\forest4.avi 99,5 0,05 1,25 Bilkent\fBackYardFile 1,23
Bilkent\sBehindtheFence.avi 96,2 3,81 3,24 Dyntex\66ammj00.avi 0,00
Bilkent\sWasteBasket.avi 100,0 0,00 0,00 Dyntex\649h320.avi 8,24
www.youtube.com\ watch?v=3fI3u9_49YQ 98,26 1,74 9,9 Dyntex\6489610.avi 5,42
Bilkent\sParkingLot.avi 98,46 1,53 33,28 Dyntex\648ab10 0,12
Bilkent\sWindow. avi 90,65 9,35 9,80 Bilkent\Car_Counting.avi 7,21
Bilkent\sBtFence2. avi 100,0 0,00 1,25 Dyntex\571b210 0,00
Bilkent\sMoky. avi 100,0 0,00 0,00 Bilkent\Car_lights 8,45
Dyntex\649ge10 100,0 0,00 3,10 Dyntex\54pa410 3,20
Bilkent\ISYAM 96,88 3,13 10,62 Dyntex\64ad210 4,38
Средние значения 98,0 1,96 7,24 Средние значения 3,83
Таблица 4. Результаты обнаружения пламени в ночных условиях съемки Table 4. Flame detection results at night video
Видеопоследовательность с пламенем TR, % FRR, % FAR, % Видеопоследовательность без пламени FAR, %
wwwyoutube.com/watch?v= tK7B5gIlmL4 (рис. 1а) 82,71 17,29 2,05 www.youtube.com/ watch?v=kNOGqQ_szq4 (рис. 1е) 5,71
wwwyoutube.com/watch?v= rETOYCzD_i8 (рис. 1б) 96,13 3,87 0,47 www.youtube.com/watch?v=CQ_ ek2lvxuw (рис. 1ж) 8,94
www.youtube .com/watch? v= W5GxLO1U4U (рис. 1в) 83,86 16,14 0,56 www.youtube.com/ wateh?v=iEo4rTGTo8o (рис. 1з) 3,91
www.youtube.com/watch?v= PxuOgbMNDWQ (рис. 1г) 92,31 7,69 1,43 www.youtube.com/watch?v=hk gYUNEЮA (рис. 1и) 4,23
www.youtube.com/watch?v= OZhP5UqguxQ (рис. 1Э) 94,19 5,81 1,52 www.youtube.com/ watch?v=ekjt4LH89nk (рис. 1к) 1,08
Средние значения 89,84 10,16 1,21 Среднее значение 4,77
Среднее значение точности обнаружения огня в ночных условиях составляет около 89 %, что всего на 9 % ниже средней точности обнаружения огня по видеоданным в дневных условиях. При этом ошибка ложного срабатывания составляет 2,99 %.
Заключение
В работе предложен комбинированный алгоритм обнаружения дыма и пламени по видеоданным, полученным на открытых пространствах. Проверка видеопоследовательностей на наличие возгорания выполняется параллельно для двух объектов: дыма и пламени. Такой комбинированный способ обнаружения пожара позволяет определить возгорание на максимально ранних стадиях и предотвратить возможные экономические потери и человеческие жертвы. В основе алгоритма обнаружения пожара лежит анализ движения, динамических свойств и цвета пламени и дыма.
Обнаружение дыма производится в несколько этапов. На начальном этапе выполняется определение глубины сцены для настройки параметров выделения регионов-кандидатов на дым, так как для сцен с малой и существенной глубиной эти параметры значительно отличаются. Далее с помощью метода сопоставления блоков производится поиск движения с последующим применением цветовой маски и учетом турбулентности. Классификация регионов-кандидатов выполнена с помощью машины опорных векторов. Для верификации использованы пространственно-временные локальные бинарные шаблоны.
Автоматический алгоритм обнаружения пламени основан на выделении движения с использованием функции Background Subtractor библиотеки компьютерного зрения OpenCV, хроматическом анализе движущихся областей, анализе динамических свойств пламени, его геометрии и мерцании. Для верификации полученных областей-кандидатов пламени проверяется частота кадров исходного видео по сравнению с частотой кадров выделенных областей. В качестве классификатора, как и для дыма, использована машина опорных векторов.
При проведении экспериментальных исследований на видеопоследовательностях, содержащих пламя и дым, среднее значение точности обнаружения дыма составило 98 %, пламени - 94,9 %. Ложноположительные срабатывания при обнаружении дыма и пламени в среднем равнялись 3,46 %. Особенностью работы является применение реальных данных с камер видеонаблюдения на открытых пространствах, а также экспериментальные исследования с пожарами, снятыми в ночное время в условиях недостаточной освещенности. Таким образом, экспериментальные исследования подтверждают эффективность предложенного алгоритма обнаружения пламени и дыма по видеопоследовательностям.
Список литературы
[1] Tan K.S., Isa N.A.M. Color image segmentation using histogram thresholding-fuzzy c-means hybrid approach. Pattern Recognition, 2011, 44(1), 1-15.
[2] Yuan F. A fast accumulative motion orientation model based on integral image for video smoke detection. Pattern Recognition Letters, 2008, 29(1), 925-932.
[3] Jayavardhana G., Slaven M., Marimunthu P. Smoke detection in video using wavelets and support vector machines. Fire Safety Journal, 2009, 44(8), 1110-1115.
[4] Yu C., Fang J., Wang J., Wang Y. Video Fire Smoke detection using motion and color features. Fire Technology, 2010, 46(3), 651-663.
[5] Toreyin B.U., Dedeoglu Y., Gueduekbay U. Computer vision based method for real-time fire and flame detection. Pattern Recognition Letters, 2006, 27(1), 49-58.
[6] He Z., Fan B., Cheng T.C.E., Wang S.-Y., Tan C.-H. A mean-shift algorithm for large-scale planar maximal covering location problems. European Journal of Operational Research, 2016, 250(1), 65-76.
[7] Zhang X., Cui Y., Li D., Zhang F. An adaptive mean shift clustering algorithm based on locality-sensitive hashing. Optik - International Journal for Light and Electron Optics, 2015, 123(20), 1891-1894.
[8] Zheng H., Mao X., Chen L., Liang X. Adaptive edge-based mean shift for drastic change gray target tracking. Optik - International Journal for Light and Electron Optics, 2015, 126(23), 38593867.
[9] Пятаева А.В., Фаворская М.Н. Модель фона при детектировании дыма по видеопоследовательностям на открытых пространствах. Информационно-управляющие системы, 2016, 4 (83), 44-50. [Pyataeva A.V., Favorskaya M.N. Background modeling for video based smoke detection in outdoor scenes. Informatsionno-upravlyayushchie sistemy, 2016, 4 (83), 44-50. (In Russian)]
[10] Catrakis H.J., Dimotakis P.E. Shape Complexity in Turbulence. Physical review letters, 1998, 80(5), 968-971.
[11] Favorskaya M., Pyataeva A., Popov A. Verification of smoke detection in video sequences based on spatio-temporal local binary patterns. Procedia Computer Science, 2015, 60, 671-680.
[12] Open Source Computer Vision Library [Electronic resourse]. Access: http://opencv.org/
[13] Спичкин Ю.В., Калач А.В., Сорокина Ю.Н. К вопросу об особенностях возникновения и развития горения дисперсных материалов. Вестник Воронежского института ГПС МЧС России, 2014, 3(12), 7-12. [Spichkin Y.V., Kalach A.V., Sorokina Y.N. То a guestion of features
of emergence and development of desperse matarials burning. The Voronez Institute of the State Firefighting Service of EMERCOMof Russia, 2014, 3(12), 7-12 (In Russian)].
[14] Bilkent database [Electronic resourse]. Access: http://signal.ee.bilkent.edu.tr/VisiFire/Demo/ FireClips/
[15] Renaud P., Fazekas S., Huiskes M.J. DynTex: A comprehensive database of dynamic textures. Pattern Recognition Letters, 2010, 31(12), 1627-1632.
[16] Видеохостинг Youtube [Электронный ресурс]. Режим доступа: https://www.youtube. com/ [Video hosting Youtube [Electronic resourse]. Access: https://www.youtube.com/ (In Russian)]
[17] Пятаева А.В. Исследование методов и разработка алгоритмов обнаружения дыма на открытых пространствах по видеопоследовательностям. Красноярск.: Сиб. федер. ун-т, 2017. 166 с. [Pyataeva A.V. Research of methods and development of algorithms video based smoke detection in outdoor scenes, Krasnoyarsk, SibFU, 2017. 166 p. (in Russian)].
[18] Пятаева А.В., Куликова Ю.Д. Обнаружение динамических текстур по видеопоследовательностям в условиях недостаточной освещенности. Сибирский журнал науки и технологий, 2017, 18(2), 283-290. [Pyataeva A.V., Kulikova Y.D. Video based dynamic texture recognition under specific illumination conditions. Scientific Journal of Science and Technology, 2017, 18(2), 283-290 (In Russian)].
