CC BY
320
ВИЗУАЛИЗАЦИЯ И ОБРАБОТКА СИГНАЛОВ И ИЗОБРАЖЕНИЙ
УДК 621.3.088.7
А. О. Кузнецов, В. М. Мусалимов, А. П. Саенко, К. В. Трамбицкий
ПРИМЕНЕНИЕ АЛГОРИТМОВ АНАЛИЗА ИЗОБРАЖЕНИЙ ДЛЯ ОБНАРУЖЕНИЯ ПОЖАРОВ
Представлены методы обнаружения пожаров с использованием алгоритмов анализа и цифровой обработки изображений, указаны их достоинства и недостатки.
Ключевые слова: техническое зрение, распознавание образов, обнаружение пожаров, алгоритм.
Введение. В рамках настоящей статьи пожар рассматривается как неконтролируемый процесс горения, причиняющий материальный ущерб, вред жизни и здоровью людей, интересам общества и государства. Для своевременного обнаружения пожаров в местах повышенной пожароопасности необходимо регулярно проводить мониторинг.
Существуют следующие способы мониторинга: наблюдение с вышки, летательных аппаратов, спутниковое наблюдение и т.д. С учетом достоинств и недостатков каждого способа совершенствование систем мониторинга может идти в нескольких направлениях:
— увеличение эффективности мониторинга путем повышения вероятности обнаружения пожара на ранних стадиях;
— снижение стоимости создания и обслуживания систем мониторинга;
— автоматизация мониторинга и уменьшение влияния человеческого фактора и т. д.
Развитие технологий компьютерного зрения сделало возможным автоматическое определение пожара на цифровых изображениях. Для этого необходимо с помощью различных приборов получить информацию о состоянии местности и оценить вероятность наличия пожара. Задача оператора в данном процессе сводится к своевременному реагированию на сигналы системы.
Обнаружив пожар, необходимо составить достоверный прогноз его распространения в зависимости от многих параметров (ландшафта, погодных условий и т.д.).
Затем необходимо организовать действия по локализации и тушению пожаров с учетом данных, полученных ранее. Представляется возможным и необходимым создание тренажеров, использующих все достижения современных науки и техники в области компьютерного зрения и графики.
Анализ цифрового видеоряда. Функционирование систем мониторинга может быть основано на анализе фотографий или видеопоследовательности, иными словами — статических или динамических изображений. При этом применяются два основных подхода — обнаружение движущихся объектов и цветовой анализ.
Принцип обнаружения движущихся объектов часто используется для выделения очагов огня путем вычитания последовательных кадров или фонового изображения [1].
В первом случае находятся изменения в изображениях при переходе от одного кадра к другому. Основной недостаток данного способа заключается в том, что перекрывающие друг друга области на изображениях могут быть ошибочно приняты в качестве фона.
В случае вычитания фонового изображения извлекаются динамические области из статического фонового изображения, основной недостаток заключается в том, что область может быть извлечена ошибочно, если фоновое изображение обновлено не вовремя или некорректно. Однако помимо обнаружения пожара этот способ можно применять для оценки характеристик самого пожара, например, для измерения координат фронта пожара.
Другой способ обнаружения областей пожара — цветовой анализ, или цветовое выделение. Конкретные реализации этого способа основаны на анализе пространства абстрактных математических цветовых моделей, являющихся наборами из 3—4 чисел. Наиболее распространены следующие цветовые модели [2]:
— RGB описывает каждый цвет набором из трех координат, каждая из которых отвечает разложению цвета на красную, зеленую и синюю составляющие;
— YCbCr — один из способов кодирования RGB-информации, где Y — яркость, а Cb и Cr характеризуют гамма-коррекцию;
— HSI описывает каждый цвет набором из трех координат — цветовой тон, насыщенность, интенсивность;
— HSV описывает каждый цвет набором из трех координат — тон, насыщенность, значение.
На основе методов, описывающих пламя в цветовой модели RGB, обычно принимают решение о принадлежности пиксела изображению пламени на основе правил, представленных системой [3]
R(х, y) > Rm ean'
K
1
Rmean = ~ 2 R(Xi, yi ^
i=1
(1)
4
R(x, y) > G(x, y) > B(x, y),J
(R(x, y), B(x, y) и G(x, y) — значения красного, синего и зеленого каналов в пикселе (x, y), K — общее количество пикселов, Rmean — среднее значение интенсивности красного цвета) либо _ на основе трех выделенных правил, в соответствии с которыми насыщенность каждого возможного пиксела изображения пламени должна быть больше определенного порогового значения [4]. Пример использования подобного алгоритма изображен на рис. 1.
В некоторых случаях возможно описывать изображение пламени в цветовом пространстве YCbCr, используя для принятия решения о принадлежности пиксела изображению пламени систему нечеткого вывода [5, 6].
В цветовой модели HSI для обнаружения огня на изображении используется база знаний, полученная путем выделения оператором пламени на изображении, которая впоследствии используется вычислительной машиной [7].
Динамические характеристики огня позволяют выделять его на фоне других близких по цвету объектов. Анализируются временные изменения интенсивности для каждого пискела
Рис. 1
на нескольких последовательных кадрах [7]. Если эти изменения превышают определенное пороговое значение, его принимают за пиксел, принадлежащий изображению пламени. Предполагается, что высота пламени изменяется со временем из-за движений его языков, поэтому высота выступает в качестве основной динамической характеристики пламени [8]. В некоторых случаях учитывается история изменения красного канала каждого пиксела RGB-изображения, принадлежащего контуру огня в течение короткого промежутка времени [9]. Затем эти данные используются в качестве входных при вейвлет-анализе.
Для практического использования этого подхода в процедуре обнаружения необходимо задать технологию измерения, описывающую объект типа „пожар", который обладает определенными цветовыми параметрами. Модель может принадлежать одному из трех типов:
— классификаторы;
— структурные;
— параметрические.
Для работы классификатора необходимо сформировать достаточно большую базу знаний, что неудобно, поскольку пламя — объект, вариаций которого существует практически бесконечное множество. Структурные модели настроены на поиск объектов. Они также не вполне подходят для описания пожаров, потому что объект моделирования не является структурным. Таким образом, авторы рассматривают в основном параметрическую модель, которая характеризуется определенным статическим или динамическим цветовым описанием.
Алгоритм анализа. Рассмотрим этапы анализа характеристик пламени по имеющейся последовательности изображений:
1) получение данных;
2) общий анализ изображения;
3) поиск объектов на изображении;
4) вычисление характеристик;
5) вывод данных.
Первый этап обеспечивается системой мониторинга и сводится к записи последовательности изображений контролируемой местности, поэтому в рамках настоящей статьи рассматриваться не будет.
Существует множество инструментов, позволяющих применять алгоритмы цифровой обработки изображений и компьютерного зрения для анализа и модификации изображений. Одним из наиболее распространенных и эффективных инструментов является библиотека компьютерного зрения с открытым исходным кодом Open Computer Vision (OpenCV, <http://opencv.willowgarage.com>). На этапах 2—5 с ее помощью последовательно обрабатываются все кадры c использованием принятых методов обработки цифровых изображений [2, 10].
Задачей второго этапа является общий анализ характеристик изображения: яркости, контрастности и других, зависящих от условий съемки и параметров имеющегося оборудования. Для удобства изображение переводится в формат HSV. Затем определяется параметр, который соответствует объекту типа „пожар" на данном изображении. В случае лесных пожаров основным наблюдаемым элементом является дым, а всю местность можно описать одним термином „лесной массив". Это несколько облегчает поиск, в отличие от ситуации, когда на изображении присутствуют жилые объекты, горы или водные пространства. Однако при неблагоприятных погодных условиях, например облачности, сравнение объектов типов „лес" и „пожар" может привести к ошибочным результатам.
Для недопущения таких ошибок вводится третий этап, задача которого — поиск заранее заданного объекта типа „пожар". Перед началом работы программы определяется объект, потом вносится поправка его параметров относительно общих параметров изображения. В рамках настоящей работы использовались следующие параметры: распределение цвета объекта типа „дым" и контраст в граничной области „лес—огонь—дым".
Для описания распределения цвета используются алгоритмы нахождения границ объектов на изображениях. Сначала выделяется область, в которой рассчитывается распределение, потом результат сравнивается с параметром объекта типа „дым", в итоге программа определяет, является область искомой (принадлежащей объекту типа „пожар") или нет.
Объект типа „дым" схож с объектом типа „облако". Фронт, в котором есть и „дым", и „пламя", и „лесной массив", обладает определенным контрастом, который может быть использован для различения объектов и облаков. Для выделения области, в которой необходимо искать этот контраст, на изображение наносится сетка. Последняя может быть искажена, по искажению определяются объекты типа „пожар", геометрия их фронта и, наконец, координаты фронта пожара определяются с учетом перемещения элемента предполагаемой системы мониторинга, например, беспилотного летательного аппарата.
Нанесение сетки на изображение. Каждый прямоугольник сетки зависит от однородности заключенной в него области — если присутствует только однородный „лесной массив", то он сохраняет геометрию, если есть область „дым", то — искажает. Определение наличия „леса" или „дыма", а также степени искажения решетки происходит путем расчета гистограмм различных цветов.
Объекты типа „пожар" и геометрия их фронта определяются по искажению сетки. На рис. 2 приведены исходное изображение (а) и результаты обработки в виде найденных границ по каждому каналу цветовой модели (б—г).
в)
Рис. 2
Для формирования первого изображения (рис. 2, б) используется формула
Г max, если src(x, y) > thresh,
dst( x, y) =
0,
(2)
второго (рис. 2, в):
dst( x, y) =
src( x, y), если src( x, y) > thresh, 0,
(3)
EWEWEWEWEWEW
третьего (рис. 2, г):
[0, если src(х, y) > thresh,
dst(x, y) = \- , (4)
[src( X, y),
где dst(x, y) и src(x, y) — итоговое и исходное значение яркости пиксела по выбранному каналу, max — максимальное значение яркости пиксела по выбранному каналу, thresh — некоторое заданное пороговое значение.
Тренажеры CAVE-технологии. Этап организации действий по локализации и тушению пожаров призван решать задачу наиболее эффективного распределения и использования временных, материальных, человеческих и прочих ресурсов для борьбы с пожарами. Этот этап требует опыта и знаний оператора, равно как и тщательного планирования и четкого выполнения определенных действий, поэтому для отработки действий служб, задействованных в борьбе с пожарами, может быть крайне полезен соответствующий тренажер, который поможет сформировать логистику работы с конкретной ситуацией лесного пожара.
Основой такого тренажера и среды обеспечения оператора необходимой информацией и инструментами анализа может послужить CAVE — виртуальная среда, использующая видеопроекторы для создания трехмерного изображения (рис. 3). В перспективе оператор подобного тренажера сможет управлять перемещением точки обзора с помощью жестов, фиксируемых оптической или инерциальной системой, расставлять метки для описания порядка работы по тушению пожара.
Рис. 3
Заключение. Подробно описаны методы обнаружения пожаров с использованием алгоритмов компьютерного зрения и цифровой обработки изображений. Использование современных средств обработки изображения может существенно повысить эффективность решения многих практических задач.
список литературы
1. Toreyin B. U., Cetin A. E. Online detection of fire in video // IEEE Conf. on Computer Vision and Pattern Recognition Proc. 2007. P. 1—5.
2. Gonzalez R. C., Woods R. E. Digital image processing. Prentice Hall, 2002.
3. Celik T., Demirel H., Ozkaramanli H., Uyguroglu M. Fire detection using statistical color model in video sequences // IEEE Intern. Conf. on Acoustics, Speech and Signal Proc. 2006. P. II213—216.
4. Chen T. H., Wu P. H., Chiou Y. C. An early fire-detection method based on image processing // IEEE Intern. Conf. on Image Proc. 2004. P. 1707—1710.
5. Celik T., Ozkaramanli H., Demirel H. Fire and smoke detection without sensors: image processing based approach // Europ. Signal Proc. Conf. 2007.
6. Польте Г. А., Саенко А. П. Количественная оценка качества изображений с использованием методов нечеткой логики // Изв. вузов. Приборостроение. 2011. Т. 54, № 3. С. 32—36.
7. Dost B., Geng M. Fire detection in video. Istanbul, Turkey.
8. Zhang J. H., Zhuang J., Du H. F. A new flame detection method using probability model // Intern. Conf. on Computational Intelligence and Security. 2006. P. 1614—1617.
9. Toreyin B. U., Dedeoglu Y., Gudukbay U., Cetin A. E. Computer vision based method for real-time fire and flame detection // Pattern Recognition Letters. 2006. N 27. P. 49—58.
10. Bradski G., Kaehler A. Learning OpenCV. O'Reilly, 2008.
Сведения об авторах
Артем Олегович Кузнецов — аспирант; Санкт-Петербургский национальный исследова-
тельский университет информационных технологий, механики и оптики, кафедра мехатроники; E-mail: ak@smartsport.org Виктор Михайлович Мусалимов — д-р техн. наук, профессор; Санкт-Петербургский националь-
ный исследовательский университет информационных технологий, механики и оптики, кафедра мехатроники; E-mail: musvm@yandex.ru
Алексей Петрович Саенко — аспирант; Санкт-Петербургский национальный исследова-
тельский университет информационных технологий, механики и оптики, кафедра мехатроники; E-mail: alexey.saenko@gmail.com Константин Владиславович Трамбицкий — студент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра мехатроники; E-mail: tr-kostya@ya.ru
Рекомендована кафедрой Поступила в редакцию
мехатроники 29.02.12 г.
