CC BY
68
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
УДК 004.932.2
М:10.15217/1ззп1684-8853.2016.1.16
ДЕТЕКТИРОВАНИЕ ДЫМА НА ОТКРЫТЫХ ПРОСТРАНСТВАХ В СЛОЖНЫХ ПОГОДНЫХУСЛОВИЯХ С ПРИМЕНЕНИЕМ ПРОСТРАНСТВЕННО-ВРЕМЕННЫХ ЛОКАЛЬНЫХ БИНАРНЫХ ШАБЛОНОВ
М. Н. Фаворскаяа, доктор техн. наук, профессор А. В. Пятаеваа, аспирант
аСибирский государственный аэрокосмический университет им. академика М. Ф. Решетнёва, Красноярск, РФ
Постановка проблемы: раннее обнаружение дыма на открытых пространствах с использованием видеопоследовательностей является одной из важнейших задач в современных системах видеонаблюдения. Видеоинформация, полученная в результате видеосъемки в реальных условиях, может содержать объекты с динамическим поведением, помехи оборудования или линии передачи, а также артефакты, связанные с погодными условиями (например, дождем или снегом, недостаточным освещением в утренние и вечерние часы). В связи с этим возникает необходимость окончательной проверки областей-кандидатов после того, как области, похожие на дым, сегментированы в видеопоследовательности. Результаты: предложен алгоритм обработки изображений, содержащих артефакты, связанные с атмосферными явлениями, такими как морось и дымка, а также недостаточным освещением. Исследован метод пространственно-временных локальных бинарных, локальных тернарных и расширенных бинарных шаблонов детектирования густого и прозрачного дыма при наличии следующих артефактов: шума типа «соль-перец» со значениями до 10 дБ; аддитивного белого шума Гаусса, имитирующего атмосферные осадки; размытия изображений и слабой освещенности с применением алгоритма Ретинекс. Для классификации областей дыма использован гистограммный подход как один из наиболее простых и быстрых способов анализа изображений. В качестве меры различия гистограмм двух сопоставляемых изображений при построении соответствующего решающего правила использовалось расстояние Кульбака — Лейблера. Практическая значимость: разработанный метод верификации дыма на видеопоследовательностях с использованием пространственно-временных локальных бинарных шаблонов и 30 расширенных локальных бинарных шаблонов обеспечивает точность верификации 96-99 % для густого и 86-94 % для прозрачного дыма в зависимости от артефактов и шумов.
Ключевые слова — детектирование дыма, шум, погодные условия, пространственно-временные локальные бинарные шаблоны.
Введение
В системах раннего обнаружения возгораний используются, в основном, противопожарные датчики, измеряющие концентрацию продуктов сгорания в воздухе. Такие системы успешно применяются для детектирования дыма в помещении, однако не дают результатов при использовании на открытых пространствах, так как концентрация продуктов сгорания быстро уменьшается из-за воздействия естественных метеорологических условий [1]. Для детектирования дыма на открытых пространствах используются оптические (иногда инфракрасные) системы видеонаблюдения. К преимуществам таких систем относятся: широкая распространенность (городские условия или специально установленные противопожарные вышки в лесных массивах), небольшая стоимость и высокое быстродействие. Одними из эффективных методов детектирования дыма на видеоизображении являются методы анализа динамических текстур, обладающих пространственной и временной регулярностью [2].
В работе [3] рассмотрен метод детектирования дыма на видеоизображении с применением одного из методов анализа динамических тек-
стур — семейства локальных бинарных шаблонов. Рассматриваются такие виды шаблонов, как базовые бинарные шаблоны, локальные тернарные шаблоны, расширенные бинарные шаблоны. Показана эффективность распознавания густого и прозрачного дыма по видеопоследовательности. Особенностью работы является использование темпоральных шаблонов, основанных на анализе трех последовательных кадров видеопоследовательности.
При детектировании объектов на видеоизображении сложные погодные условия играют существенную роль. При этом используют различные приемы, помогающие избежать негативного влияния таких факторов, как дождь, снег, сумерки, ночь, яркое солнце, морось. Для анализа изображений с низкой освещенностью предлагаются различные методики, например, составление матрицы изменения яркости изображения [4], ручная настройка параметров системы детектирования стоп-линий на перекрестках [5], применение различных фильтров, в частности фильтра энергетических текстурных характеристик Лавса [6]. В настоящей работе предложен независимый от типа оборудования алгоритм детектирования дыма в сложных погодных условиях, а также при наличии шума.
Влияние слабой освещенности и сложных погодных условий
Рассмотрим алгоритмическую компенсацию слабой освещенности сложных погодных условий съемки при детектировании дыма по видеопоследовательностям.
Слабая освещенность
Время суток существенно влияет на особенности отображения искомого объекта на видеопоследовательности. Для эффективной работы алгоритма классификации динамических текстур необходимо рассмотреть все аспекты, от которых зависит корректность их определения. Уровень освещенности объектов на изображении является одним из основных таких аспектов, так как правильно различать предметы, например в сумерках при смене времени суток, бывает сложно даже человеку. В статье [5] показано влияние времени суток на качество работы системы видеонаблюдения по обнаружению стоп-линий на регулируемых перекрестках. При этом количество ложных срабатываний зависит от полосы движения, времени суток, солнечной или пасмурной погоды. Среднее количество ложных срабатываний варьировалось от 2 до 36 %. Для распознавания лиц при изменяющемся освещении предлагается алгоритм, основанный на представлении исходного изображения в виде матрицы изменения яр-
костей, что позволяет добиться устойчивости относительно изменений условий освещенности [4].
Для получения изображений, имитирующих низкую освещенность, использован алгоритм Ретинекс (Retinex) на базе локального сглаживания [7], представленный уравнением
Rk (х, У) = aS + С1" a)(l°gsk (х, У) -- log [Sfc (х, у) * F(x, у)], k = 1...N, (1)
где Rk(x, y) — выходное изображение в k-м цветовом канале; N — количество цветовых каналов; а — масштабирующий коэффициент; Sk(x, y) — исходное изображение в k-м цветовом канале; F(x, y) — фильтр Гаусса; знак «*» — свертка изображений.
Кадры из видеопоследовательностей густого и прозрачного дыма и без дыма для различных значений параметра а показаны на рис. 1, а-в.
Атмосферные осадки (дождь/снег)
Для имитации атмосферных осадков на изображение накладывался аддитивный белый гауссов шум. Для этого к цветовому значению в каждом из каналов пиксела прибавлялась нормально распределенная случайная величина. При программной реализации нормально распределенные случайные величины были получены с помощью стандартного генератора случайных чисел по центральной предельной теореме. В случае
Исходное
изображение а = 0,2 а = 0,5 а = 0,75 а = 1,25 а = 1,5
■ Рис. 1. Применение алгоритма Ретинекс к изображениям с густым дымом (а); с прозрачным дымом (б); без дыма (б)
■ Рис. 2. Изображения с аддитивным белым гауссовым шумом: густой дым (а); прозрачный дым (б); без дыма (б)
если при прибавлении случайной величины цветовое значение канала выходило за предельный диапазон [0...255], то цветовое значение такого пиксела оставалось неизменным. На рис. 2, а-в показаны примеры воздействия аддитивного белого гауссова шума на изображения, в котором среднеквадратическое отклонение ст = 2000, среднее значение д = 0.
Шум типа «соль-перец»
Импульсный шум типа «соль-перец» (рис. 3, а и б) возникает из-за проблем с оборудованием, на котором проводится видеосъемка. Эта модель шума также может быть связана с ошибками при передаче изображений.
Отношение сигнал/шум Ыьь [дБ] рассчитывается по формуле
Ыьь =10 \ош10Ап/Ав ,
где Ап — мощность шума; А8 — мощность полезного сигнала. В работе учитывался шум, достигающий 5,2; 7,01 и 10 дБ.
Размытие
В качестве фильтра размытия использован фильтр Гаусса. Фильтр размытия Гаусса основывается на матрице свертки, которая заполняется нормализованными коэффициентами, полученными с помощью функции Гаусса двух переменных [8]:
G(x, у)= -
2 . 2 * +V
2а2
(2)
где ст — коэффициент среднеквадратического отклонения, определяющий степень размытия; x, y — координаты центрального элемента матрицы. Размерность матрицы вычисляется по формуле
dim = n х n, n = 2R + 1, (3)
где R — «радиус» матрицы свертки, т. е. выбранный радиус окрестности обрабатываемого пик-
Рис. 3. Шум типа «соль-перец»: изображения с дымом (а) и без дыма (б)
села. Степень размытия изображения зависит от двух параметров — Я и ст.
С помощью нормализованной матрицы свертки для каждого пиксела изображения вычисляется среднее взвешенное значение соседних пикселов
в в
ё(х, у) = X X f (х + ^ у + + Я' / + г), (4)
1=~в }=-в
где g(x, у) — выходное изображение; /(х, у) — исходное изображение; 0*(1, ]) — нормализованные коэффициенты матрицы свертки:
1
G (i, ]) = G(i, j)
2 В 2 В
!!<?(*, ])
1=0 j=0
(5)
В данной работе нормализованная матрица свертки, рассчитанная по формулам (2)-(5) с параметрами ст = 0,84089642 и Я = 2, выглядит следующим образом:
0,000789 0,006581 0,013347 0,006581 0,000789 0,006581 0,054901 0,111345 0,054901 0,006581 0,013347 0,111345 0,225821 0,111345 0,013347 0,006581 0,054901 0,111345 0,054901 0,006581 0,000789 0,006581 0,013347 0,006581 0,000789
(6)
Размытие в сравнении с исходным изображением для видеоизображений показано на рис. 4, а и б.
Компенсация слабой освещенности и погодных условий фильтром Лапласа
Для повышения резкости изображения использован фильтр Лапласа. Дискретный лапласиан определяется как сумма вторых производных, а вычисляется как линейная аппроксимация суммы перепадов на соседних пикселах относительно центрального пиксела:
[/(х +1, у) + /(х -1, у) - 2/(х, у)] + + [/(х, у +1) + f (х, у -1) - 2/(х, у)] = = /(х +1, у) + /(х -1, у) + /(х, у + 1) +
+ /(х, у -1) - 4/(х, у). (7)
Рис. 4. Применение фильтра Гаусса: а — исходное изображение; б — размытие
Рис. 5. Иллюстрация использования фильтра Лапласа: исходные (а) и фильтрованные (б) изображения
Таким образом, маска фильтра, используемого для реализации дискретного лапласиана, задается матрицей
^0 10 "
1 -4 1. (8)
0 10
Для повышения резкости изображения с помощью лапласиана необходимо вычесть из исходного изображения лапласиан. Итоговая маска задается матрицей
0 -1 -1 5 0 -1
0 -1
0
(9)
Изображения до преобразования резкости и после него представлены на рис. 5, а и б.
Рассмотренные алгоритмы показывают целесообразность предварительной обработки изображений, что положительно сказывается на результатах работы алгоритма детектирования дыма.
Алгоритм автоматического детектирования дыма
В работе предложен алгоритм, основанный на анализе текстуры с помощью локальных бинарных шаблонов (Local Binary Patterns — LBP), локальных тернарных шаблонов (Local Ternary Patterns — LTP) и расширенных локальных бинарных шаблонов (Extended Local Binary Patterns — ELBP). Существуют две основные версии 3D локальных бинарных шаблонов: пространственно-временные локальные бинарные шаблоны (Spatio-Temporal Local Binary Patterns — STLBP) и объемные локальные бинарные шаблоны (Volume Local Binary Patterns — VLBP).
Объемные шаблоны — шаблоны с тремя ортогональными планами — анализируют инфор-
мацию из трех ортогональных проекций ХУ, ХТ и УТ, где Т — это время [9]. Оператор LBP в этом случае объединяет информацию в этих трех направлениях. Однако информация в некоторых пикселах может повторяться и тем самым учитываться дважды. Пространственно-временные шаблоны анализируют информацию соседних кадров относительно центрального пиксела. ЯТЬВР являются одним из способов исследования динамических свойств текстур в видеопоследовательности. 2Б- и 3Б-шаблоны в пространственно-временной области показаны на рис. 6, а и б.
Основная идея алгоритма состоит в исследовании применимости различных методов пространственно-временных локальных бинарных шаблонов при детектировании дыма для изображений, подверженных воздействию описанных ранее шумов, а также при различных уровнях освещенности.
Базовый оператор LBP представляет собой описание окрестности пиксела радиуса Я. Количество пикселов окрестности п зависит от Я и определяется формулой п = (2Я + 1)2 - 1. Оператор LBP, который применяется к окрестности пиксела изображения, использует п пикселов окрестности, принимая яркость центрального пиксела в качестве порогового значения. Пикселы, которые имеют значения яркости больше, чем значение яркости центрального пиксела (или равные ему), принимают значения «1»; те пикселы, которые имеют меньшие значения относительно центрального пиксела, принимают значения «0». В результате получается п-разрядный бинарный код, который описывает окрестность пиксела. В локальных тернарных шаблонах для уменьшения влияния шума и решения проблемы неотличимости двух пикселов с близкими значениями яркости от пикселов со значительной разницей яркости вводится тернарный код. В тернарном коде вместо порогового значения, основанного только на значении яркости пиксела, вводится константа г (определяемая экспериментально), позволяющая учитывать влияние шума на построение кода шаблона [10].
а)
• • —h •
А® О •
• U- • • лг
б) • • •
• о • • • •
Кадр i + 1
• • • Кадр i
• • •
Кадр i - 1
Рис. 6. Виды LBP: а — базовый LBP; б — 3D STLBP: • — центральный пиксел
Алгоритм детектирования дыма включает следующие шаги [11].
1. Преобразование изображения из RGB цветового пространства в цветовое пространство YUV.
2. Преобразование изображений с помощью выбранного метода зашумления.
3. Выбор способа расчета шаблона (вычисление шаблона в каждой точке, шаблоны с прореживанием).
4. Вычисление STLBP для выбранного метода:
р-1
LBP(P,R) s(ln -Ic)• 2",
п=О
где P — количество пикселов в окрестности; R — радиус окрестности; s(x) = 1, если x >0 и s(x) = 0 в противном случае; 1п и 1С — значения яркости текущего и центрального пикселов, представляющие собой значение яркости Y из цветовой схемы YUV [12];
р-1
LTP(P, R) (In - Ic )' 3",
п=0
где s*(x, t) — пороговая функция, а t — предопределенное пороговое значение, в данной работе t = 5 [13],
s*(х, t) =
1 при X>t О при |х| < t ; -1 при х <-t
ELBP(P, R) = LBP(P, R);
STLBPi j (P, R) =
= LBPi_1,j (P, R) + LBPuj (P, R) + LBPi+1J (P, R),
где i — номер текущего кадра, для которого происходит вычисление шаблона.
Для тернарных (STLTP) и расширенных (STELBP) шаблонов 3Б-вариант рассчитывается аналогичным образом по следующему алгоритму.
1. Предварительная обработка полученных шаблонов (построение UP LTP, LOW LTP, подсчет количества равномерных шаблонов для ELBP).
2. Применение гистограммного подхода для классификации результата.
3. Выполнение шагов 1-2 в цикле для обработки всех кадров видеопоследовательности.
4. Сравнение эффективности полученных результатов.
5. Рекомендации для каждого типа погодных условий для анализируемого типа дыма.
В работе использовано два способа расчета шаблонов: шаблоны с прореживанием и вычисление шаблона в каждой точке. При использовании шаблонов с прореживанием исходное изображение разбивается на блоки для расчета ло-
кального шаблона исходя из значения радиуса R. Изображение разбивается на квадраты размера dim = (2 R + 1)2 пикселов, начиная от верхнего левого угла. При R = 1 размер квадрата равен 3x3 пикселов, при R = 2 — 5x5 и т. д. Для каждого квадрата вычисляется свой локальный шаблон, таким образом, шаблоны не пересекаются.
При расчете шаблона в каждом пикселе изображение не разбивается на непересекающиеся блоки, бинарная строка локального шаблона рассчитывается для каждого пиксела, происходит пересечение шаблонов. Вычисление паттерна локального шаблона проводится одинаково как в случае работы с прореживанием, так и при работе без него.
Построение вектора признаков дыма
Для классификации областей дыма в работе использован гистограммный подход как один из наиболее простых и быстрых способов. Классический LBP не требует предварительной обработки, в то время как для равномерных и тернарных шаблонов требуется предварительная обработка перед построением гистограммы. Предварительная обработка тернарного re-разрядного кода происходит следующим образом. Полученный код разбивается на два бинарных re-разрядных кода: UP LTP — отрицательные значения заменяются 1, LOW LTP — отрицательные значения заменяются 0. Далее по каждому из полученных наборов бинарных re-разрядных кодов строится своя гистограмма.
Для расширенных бинарных шаблонов предварительная обработка заключается в нахождении равномерных шаблонов (не более трех переходов в шаблоне) и всех их циклических сдвигов. Равномерные шаблоны определяют такие важные особенности изображения, как пятна, концы линий, углы, грани [14]. Для обеспечения инвариантности к вращению используются только равномерные шаблоны и все их циклические сдвиги [15]. Каждый равномерный шаблон является сдвигом одной из комбинаций, этой комбинации присваивается номер, этот номер является инвариантным к вращению. Если минимальное число переходов больше трех, то исходный бинарный вектор рассматривается особо: ему сопоставляется число, равное максимальному возможному целому для данной размерности, увеличенному на 1. В итоге получается список десятичных чисел, каждое из которых соответствует своему бинарному вектору. Конечная гистограмма ELBP строится классическим способом по итоговому набору десятичных чисел.
Построение гистограмм по сформированному набору re-разрядных бинарных кодов происходит двумя способами.
1. Классический способ — каждая бинарная строка преобразуется в десятичное число, под-
считывается количество одинаковых чисел, определяющих положение и высоту столбцов гистограммы.
2. Альтернативный способ (сумма единиц для каждого разряда LBP) — вычисляется количество единиц в каждом разряде бинарного кода, тем самым определяется высота столбца гистограммы.
Построение решающего правила
Для классификации применяются меры сравнения расстояний, таких как %2-расстояние, расстояние пересечения гистограмм, расстояние Кульбака — Лейблера, расстояние на основе статистик. В данном случае была выбрана мера Кульбака — Лейблера как наиболее часто рекомендуемая для сравнения гистограмм.
Расстояние Кульбака — Лейблера, которое служит обобщением меры энтропии, введенной Шенноном, является относительной мерой энтропии, которая адаптирована для измерения расстояний между гистограммами. Данное расстояние применяется для анализа вероятности возникновения кодовых значений. Вначале строится гистограмма кодовых значений изображения (в данном случае — кодовых значений локальных бинарных шаблонов). Затем полученные гистограммы тестовых изображений нормализуются, и вычисляется расстояние Кульбака — Лейблера:
Р(Р-1)+3 ^
Як,ь V, в) = X 4 1п ±-,
1г=1
где f и g — гистограммы первого и второго изображения; Р — число точек в окрестности LBP; k — номер столбца.
Данное расстояние используется в качестве меры различия гистограмм двух сопоставляемых изображений при построении соответствующего решающего правила.
Эксперименты
Для проведения экспериментальных исследований анализировались данные из базы данных динамических текстур БупТех [16]. Использовано три видеопоследовательности густого дыма, одна видеопоследовательность с прозрачным дымом и шесть видеопоследовательностей без дыма, из которых вручную были извлечены фрагменты дыма или фрагменты с отсутствием дыма.
В экспериментальном исследовании шаблоны для густого дыма рассчитываются в каждой точке, так как результат таких расчетов лучше в среднем на 2-5 %, чем для вычисления шаблонов с прореживанием, кроме того, для густо-
го дыма приведены результаты только STLBP, STLTP и STELPB (только 3D-вариант). Для прозрачного дыма дает приемлемый результат только метод расширенных бинарных шаблонов в 2D-варианте.
Слабая освещенность (Ретинекс а = 0,2).
В табл. 1-3 приведены лучшие результаты работы алгоритма детектирования прозрачного и густого дыма в условиях низкой освещенности при значении параметра а = 0,2.
Для густого дыма при низкой освещенности [а = 0,2 в выражении (1)] расширенные локальные бинарные шаблоны и тернарные локальные шаблоны показали лучший результат. При этом не имеет значения величина радиуса, при котором происходит вычисление шаблона. Однако расчет при единичном радиусе с восемью точками окрестности происходит приблизительно в два раза быстрее. Изменение параметра а до значения 0,5 увеличило точность детектирования дыма на 1 % при уменьшении количества ошибок на порядок. При 75 % освещенности от начальной по сравнению со значением а = 0,5 тернарные и расширенные шаблоны показали лучшие результаты. Также эти типы шаблонов устойчивы и при увеличенной яркости относительно базовой.
Для прозрачного дыма единственным способом расчетов шаблонов, обеспечивающим приемлемую эффективность, являются расширенные бинарные шаблоны в двумерном случае. При этом лучшее значение TR = 0,711 в условиях низкой освещенности и 0,88 при увеличении параметра а до 0,5. Точность распознавания возрастает по мере возрастания освещенности и является максимальной при значении параметра а = 1 в неизменном изображении. При увеличении яркости (а = 1,25 и а = 1,5) точность алгоритма падает до значения TR = 0,628, что связано с особенностями преобразования изображения с помощью алгоритма Ретинекс.
Атмосферные осадки. Лучшие результаты расчетов для детектирования дыма при гауссовом шуме, в котором а = 2000, д = 0 (см. рис. 2), приведены в табл. 4.
Для густого дыма устойчивость к аддитивному белому гауссовому шуму показали тернарные шаблоны, что объясняется их особенностью — устойчивостью к шуму тернарного кода. Расширенные бинарные шаблоны также дали значения TR на уровне 0,985. При этом не имеет значения радиус расчета такого шаблона для опознавания густого дыма. Однако отсутствие дыма детектируется в этом случае лучшим образом при радиусе два пиксела и восьми точках окрестности. Прозрачный дым детектируется со значениями точности распознавания 0,843 для дыма и 0,527 при отсутствии дыма.
■ Таблица 1. Ретинекс а = 0,2 для бинарных (LBP) и тернарных (LTP) шаблонов
Видеофрагмент LBP LTP
TR FRR FAR TR FRR FAR
Гистограммы «сумма единиц для каждого разряда LBP»
Густой дым 0,907 0,127 0,093 0,99 0,077 0,01
Отсутствие дыма 0,866 0,099 0,134 0,909 0,089 0,091
Гистограммы классические
Густой дым 0,975 0,053 0,025 0,98 0,102 0,02
Отсутствие дыма 0,941 0,056 0,059 0,881 0,986 0,119
TR — правильное распознавание; FRR — ошибка I рода; FAR — ошибка II рода.
■ Таблица 2. Ретинекс а = 0,2 для пространственно-временных расширенных бинарных шаблонов (STELBP)
Видеофрагмент R = 1; 8 точек окрестности R = 2
8 точек окрестности 12 точек окрестности
TR FRR FAR TR FRR FAR TR FRR FAR
Густой дым 0,98 0,086 0,02 0,985 0,012 0,015 0,99 0,08 0,01
Отсутствие дыма 0,9 0,032 0,1 0,989 0,035 0,011 0,906 0,07 0,09
■ Таблица 3. Ретинекс а = 0,2 для видеопоследовательности с прозрачным дымом, расширенные бинарные шаблоны (ELBP)
Видеофрагмент 2Б-вариант; R = 1; 8 точек окрестности
В каждой точке С прореживанием
TR FRR FAR TR FRR FAR
Прозрачный дым 0,711 0,422 0,289 0,627 0,859 0,373
Отсутствие дыма 0,545 0,232 0,455 0,021 0,141 0,979
■ Таблица 4. Результаты детектирования дыма для шума Гаусса
Видеофрагмент LBP LTP
- TR FRR FAR TR FRR FAR
Гистограммы «сумма единиц для каждого разряда LBP»
Густой дым 0,917 0,16 0,083 0,995 0,043 0,005
Отсутствие дыма - 0,824 0,015 0,176 0,949 0,023 0,051
Гистограммы классические
Густой дым - - - - 0,985 0,023 0,015
Отсутствие дыма - - - - 0,976 0,029 0,024
STELBP
R 1; 8 точек окрестности R = 2
8 точек окрестности 12 точек окрестности
TR FRR FAR TR FRR FAR TR FRR FAR
Густой дым 0,985 0,048 0,015 0,985 0,012 0,015 0,985 0,054 0,015
Отсутствие дыма 0,945 0,002 0,055 0,989 0,052 0,011 0,938 0,002 0,062
ELBP; 2Б-вариант; R = 1; 8 точек окрестности
- В каждой точке С прореживанием
- TR FRR FAR TR FRR FAR
Прозрачный дым - 0,843 0,411 0,157 0,843 0,42 0,157
Отсутствие дыма - 0,527 0,026 0,473 0,515 0,099 0,485
Шум типа «соль-перец». Результаты работы алгоритма детектирования дыма для зашумлен-ных изображений с различными значениями шума приведены в табл. 5 и 6.
При густом дыме устойчивыми к шуму типа «соль-перец» являются тернарные шаблоны в случае классических гистограмм, что обусловлено особенностями построения бинарного кода для таких шаблонов, также шум до 10 дБ выдерживают и расширенные шаблоны радиуса 2. При этом для расширенных шаблонов предпочтительно рассчитывать шаблон для радиуса два пиксела и восьми точек окрестности.
Прозрачный дым в условиях шума «соль-перец» можно детектировать только в 2Б-случае с использованием тернарных локальных шаблонов,
при этом, если уровень шума возрастает до 10 дБ, эффективность этого метода падает до значений TR 0,723 для дыма и до 0,688 при отсутствии дыма.
Размытие. Точность детектирования дыма на изображениях, подвергнутых фильтру Гаусса [выражения (2)-(6)], в случае STELBP снижалась на 1-2 % для густого дыма и на 5-10 % для прозрачного дыма. Это означает, что, прежде чем приступить к детектированию, требуется провести дополнительные методы борьбы с размытием изображений.
Фильтр Лапласа. В табл. 7 показаны лучшие результаты детектирования густого дыма на видеопоследовательности, к которой для повышения резкости применен фильтр Лапласа [выражения (7)-(9)].
■ Таблица 5. Результаты детектирования дыма с шумом типа «соль-перец», расширенные бинарные шаблоны (БТЕЬВР)
Видеофрагмент Значение шума, дБ Я = 2
8 точек окрестности 12 точек окрестности
ТИ FRR FAR ТИ FRR FAR
Густой дым 5,2 0,917 0,16 0,083 0,995 0,043 0,005
Отсутствие дыма 0,824 0,015 0,176 0,949 0,023 0,051
Густой дым 7,01 0,99 0,02 0,01 0,99 0,013 0,01
Отсутствие дыма 0,986 0,012 0,014 0,978 0,012 0,022
Густой дым 10 0,971 0,038 0,029 0,951 0,1 0,005
Отсутствие дыма 0,961 0,04 0,039 0,89 0,05 0,051
Видеофрагмент Я = 1 Я = 2
5,2 дБ 7,01 дБ 10 дБ
ТИ FRR FAR TR FRR FAR TR FRR FAR
STLTP, альтернативные гистограммы
Густой дым 0,92 0,135 0,08 0,912 0,17 0,088 0,903 0,02 0,097
Отсутствие дыма 0,88 0,114 0,12 0,876 0,02 0,124 0,813 0,09 0,187
LTP, классические гистограммы, 2Б-вариант
Прозрачный дым 0,904 0,107 0,096 0,90 0,115 0,096 0,723 0,305 0,277
Отсутствие дыма 0,819 0,112 0,181 0,881 0,114 0,119 0,688 0,205 0,312
■ Таблица 7. Результаты детектирования густого дыма с применением фильтра Лапласа, расширенные бинарные шаблоны (БТЕЬВР)
Видеофрагмент Я = 1 Я = 2
8 точек окрестности 8 точек окрестности 12 точек окрестности
ТО FRR FAR TR FRR FAR TR FRR FAR
Густой дым 0,985 0,003 0,015 0,98 0,003 0,01 0,985 0,005 0,015
Отсутствие дыма 1 0,001 0 1 0,002 0 0,997 0,004 0,003
■ Таблица 6. Результаты детектирования дыма с шумом типа «соль-перец», тернарные шаблоны
В большинстве случаев фильтр Лапласа обеспечивает незначительное улучшение точности детектирования на 1-2 %. В случае с прозрачным дымом точность детектирования снижалась до 78 %.
Заключение
Анализ результатов при детектировании густого дыма показывает, что тернарные шаблоны обладают преимуществом перед бинарными за счет снижения влияния шума на изображение. Пространственно-временные локальные тернарные шаблоны (STLTP) и пространственно-временные расширенные локальные бинарные шаблоны (STETBP) являются устойчивыми к шуму, STELBP обеспечивают точность детектирования густого дыма 98-99 %, тернарные шаблоны показывают значение точности 90-98 %. Для прозрачного дыма наиболее эффективными являются ELBP в двумерном случае.
В условиях слабой освещенности эффективность детектирования густого дыма падает на 1-2 %, что позволяет говорить о том, что выбранный тип шаблонов является достаточно устойчивым к изменению условий освещенности. При зашумлении изображений аддитивным белым
1. Пятаева А. В., Фаворская М. Н. Применение локальных бинарных шаблонов при раннем обнаружении дыма на открытых пространствах // Цифровая обработка сигналов и ее применение: тр. 17-й Междунар. конф., Москва, 25-27 марта 2015 г. М., 2015. Т. 2. C. 531-535.
2. Gon^alves W. N., Machado B. B., Bruno O. M. A Complex Network Approach for Dynamic Texture Recog-nition//Neurocomputing. 2015. N 153. P. 211-220.
3. Пятаева А. В. Обнаружение областей задымления на видеопоследовательности с применением локальных бинарных шаблонов // Вестник Сибирского государственного аэрокосмического университета. 2014. № 5(57). С. 108-114.
4. Гончаров А. В., Каракищенко А. Н. Влияние освещенности на качество распознавания фронтальных лиц // Изв. ЮФУ. Технические науки. 2008. № 4. С. 88-92.
5. Chitturi M. V., Medina J. C., Benekohal R. F. Effect of Shadows and Time of Day on Performance of Video Detection Systems at Signalized Intersections // Transportation Research Part C: Emerging Technologies. 2010. N 18(2). P. 176-186.
6. Костин К. А., Аксёнов С. В. Анализ влияния изменения освещенности на фильтрацию изображений с помощью фильтров Лавса // Молодежь и современные информационные технологии:
шумом Гаусса эффективность работы тернарных шаблонов не изменяется, а эффективность расширенных бинарных шаблонов падает на 1,5 % для густого дыма. Для шума типа «соль-перец» расширенные бинарные шаблоны выдерживают (без падения точности) шум до 7,01 дБ, при увеличении шума до 10 дБ происходит падение точности на 3 % для густого дыма. Тернарные шаблоны работают хуже на 6,8-8,7 % при увеличении шума до 5-10 дБ для густого дыма. При детектировании прозрачного дыма ЕЬВР выдерживают падение освещенности в два раза, точность детектирования при этом 86-88 %, при шуме типа «соль-перец» для прозрачного дыма точность составляет 90 % при шуме 7 дБ.
Эксперименты с фильтром размытия показали, что для густого и прозрачного дыма требуются дополнительные методы борьбы с размытием, фильтр Лапласа обеспечивает незначительное увеличение точности детектирования. Эффективность работы ЯТЕЬВР объясняется тем, что расширенные шаблоны учитывают специфические особенности изображения, такие как грани, углы, линии, поскольку и густой, и прозрачный дым сглаживают резкие грани изображения. ЯТЬТР обладают устойчивостью к шуму, а следовательно, обеспечивают высокое качество детектирования.
тр. XII Междунар. науч.-практ. конф. студентов, аспирантов и молодых ученых, Томск, 11-14 ноября 2014 г. Томск, 2014. С. 90-91.
7. Монич Ю. И., Старовойтов В. В. Преобразование цветных изображений на базе технологии Ретинекс // Искусственный интеллект. 2007. № 3. С. 256-261.
8. Zhang Z., et al. Blurring-Invariant Riemannian Metrics for Comparing Signals and Images/ Z. Zhang, E. Klassen, A. Srivastava, P. Turaga, R. Chellappa // 6th Intern. Conf. on Computer Vision. 5-7 March 2011. Vilamoura, Algarve, Portugal, 2011. P. 17701775.
9. Zhao G., Pietikainen M. Dynamic Texture Recognition Using Volume Local Binary Patterns // Dynamical Vision. LNCS. 2007. Vol. 4358. P. 165-177.
10. Mohamed A. A., Yampolskiy R. V. Adaptive Extended Local Ternary Pattern (AELTP) for Recognizing Avatar Faces // 11th Intern. Conf. on Machine Learning and Applications, 12-15 December 2012, Boca Raton, Florida, USA. P. 57-62.
11. Favorskaya M., Pyataeva A., Popov A. Verification of Smoke Detection in Video Sequences Based on Spatio-Temporal Local Binary Patterns//Procedia Computer Science. 2015. N 60. P. 671-680.
12. Ko B. C., Park J. O., Nam J. Y. Spatiotemporal Bag-of-Features for Early Wildfire Smoke Detection // Image and Vision Computing. 2013. N 31(10). P. 786-795.
13. Zhao G., Pietikainen M. Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions // Transactions on Pattern Analysis and Machine Intelligence. 2007. N 29(6). P. 915-928.
14. Feiniu Y. Rotation and Scale Invariant Local Binary Pattern Based on High Order Directional Derivatives for Texture Classification // Digital Signal Processing. 2014. N 26. P. 142-152.
15. Zho H., Wang R., Wang C. A Novel Extended Local-Binary-Pattern Operator for Texture Analysis // Information Sciences. 2008. N 178(22). P. 43144325.
16. Renaud P., Fazekas S., Huiskes M. J. DynTex: A Comprehensive Database of Dynamic Textures // Pattern Recognition Letters. 2010. N 31(12). P. 16271632.
UDC 004.932.2
doi:10.15217/issn1684-8853.2016.1.16
Smoke Detection on Video Sequences based on Spatio-Temporal Local Binary Patterns in Outdoor Spaces under Complicated Weather Conditions
Favorskaya M. N.a, Dr. Tech. Sc., Professor, [email protected] Pyataeva A. V.a, Post-Graduate Student, [email protected]
aSiberian State Aerospace University named after academician M. F. Reshetnev, 31, Krasnoyarsky Rabochy St., 660037, Krasnoyarsk, Russian Federation
Purpose: Early smoke detection in outdoor scenes using video sequences is one of the important tasks in modern surveillance systems. Visual information as a result of real-time video shooting may include objects with dynamic behavior, noise of the hardware or transmission lines, as well as artefacts affected by weather conditions (for example, rain or snow, poor luminance in the morning or evening). Therefore, smoke-like regions segmented into video sequences should be finally verified. Results: An algorithm is proposed to process images with atmospheric artefacts like drizzle or fog, or images with poor luminance. A method has been studied which involves texture analysis based on spatio-temporal local binary patterns, local ternary patterns, and extended binary patterns to detect dense or transparent smoke with the following artefacts: salt-pepper noise up to 10 dB, additive white Gauss noise simulating atmospheric precipitates, image blurring and poor luminance, using Laplace filter. To classify smoke regions, histograms were applied as one of the simplest and fastest methods of image analysis. As a measure of histogram difference between two images, Kullback-Leibler divergence was used in order to provide a decision rule. Practical relevance: The developed method of smoke verification on video sequences using spatio-temporal local binary patterns and 3D extended local binary patterns provides 96-99 % of accuracy for dense smoke and 86-94 % of accuracy for transparent smoke, depending on the artefacts and noise.
Keywords — Smoke Detection, Noise, Weather Conditions, Spatio-Temporal Local Binary Patterns.
References
1. Pyataeva A. V., Favorskaya M. N. Early Smote Detection in Outdoor Scenes by Using Local Binary Patterns. Trudy 17-i Mezdunarodnoy konferencii "Tsifrovaia obrabotka sig-nalov i ee primenenie" [The 17th Intern. Conf. "Digital Signal Processing and its Applications"], Moscow, 2015, pp. 531-535 (In Russian).
2. Gonçalves W. N., Machado B. B., Bruno O. M. A Complex Network Approach for Dynamic Texture Recognition. Neurocomputing, 2015, no. 153, pp. 211-220.
3. Pyataeva A. V. Video-Based Smoke Detection Using Local Binary Patterns. Vestnik Sibirskogo gosudarstvennogo aero-kosmicheskogo universiteta imeni akademika M. F. Re-shetneva (Vestnik SibGAU), 2014, no. 5(57), pp. 108-114 (In Russian).
4. Goncharov A. V., Karakishchenko A. N. Influence of Illumination on a Quality of Frontal Face Recognition. Izvestiya SFedU. Tekhnicheskie nauki, 2008, no. 4, pp. 88-92 (In Russian).
5. Chitturi M. V., Medina J. C., Benekohal R. F. Effect of Shadows and Time of Day on Performance of Video Detection Systems at Signalized Intersections. Transportation Research Part C: Emerging Technologies, 2010, no. 18(2), pp. 176-186.
6. Kostin K. A., Aksenov S. V. Analysis of the Impact of Luminance Changes on Image Filtering Using Laws Filters. Trudy XII Mezhdunarodnoi nauchno-prakticheskoi konferent-sii studentov, aspirantov i molodykh uchenykh "Molodezh' i sovremennye informatsionnye tekhnologii" [Proc. of XII Intern. Scientific-practical Conf. of Students, PhD Students, and Young Scientists "Young People and Modern Information Technologies"], Tomsk, 2014, pp. 90-91 (In Russian).
7. Monich Y. I., Starovoitov V. V. Transformation of Color Images using Retinex Technology. Iskusstvennyi intellekt, 2007, no. 3, pp. 256-261 (In Russian).
8. Zhang Z., Klassen E., Srivastava A., Turaga P., Chellap-pa R. Blurring-Invariant Riemannian Metrics for Comparing Signals and Images. 6th Intern. Conf. on Computer Vision, 2011, pp. 1770-1775.
9. Zhao G., Pietikainen M. Dynamic Texture Recognition Using Volume Local Binary Patterns. Dynamical Vision, LNCS, 2007, vol. 4358, pp. 165-177.
10. Mohamed A. A., Yampolskiy R. V. Adaptive Extended Local Ternary Pattern (AELTP) for Recognizing Avatar Faces. 11th Intern. Conf. on Machine Learning and Applications, 2012, pp. 57-62.
11. Favorskaya M., Pyataeva A., Popov A. Verification of Smoke Detection in Video Sequences Based on Spatio-Temporal Local Binary Patterns. Procedia Computer Science, 2015, no. 60, pp. 671-680.
12. Ko B. C., Park J. O., Nam J. Y. Spatiotemporal Bag-of-Fea-tures for Early Wildfire Smoke Detection. Image and Vision Computing, 2013, no. 31(10), pp. 786-795.
13. Zhao G., Pietikainen M. Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions. Transactions on Pattern Analysis and Machine Intelligence, 2007, no. 29(6), pp. 915-928.
14. Feiniu Y. Rotation and Scale Invariant Local Binary Pattern Based on High Order Directional Derivatives for Texture Classification. Digital Signal Processing, 2014, no. 26, pp. 142-152.
15. Zho H., Wang R., Wang C. A Novel Extended Local-Binary-Pattern Operator for Texture Analysis. Information Sciences, 2008, no. 178(22), pp. 4314-4325.
16. Renaud P., Fazekas S., Huiskes M. J. DynTex: A Comprehensive Database of Dynamic Textures. Pattern Recognition Letters, 2010, no. 31(12), pp. 1627-1632.
