CC BY
2
УДК 004.93' 12
ДЕТЕКТИРОВАНИЕ ДЫМА ПО ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯМ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ
А. С. Михайлов Научный руководитель - М. Н. Фаворская
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газеты «Красноярский рабочий», 31
E-mail: striown@gmail.com
Рассмотрена возможность использования нейронных сетей для решения задачи детектирования дыма по видеопоследовательностям.
Ключевые слова: детектирование дыма, нейронная сеть.
SMOKE DETECTION BY VIDEO SEQUENCES USING NEURAL NETWORKS
A. S. Mikhailov Scientific Supervisor - M. N. Favorskaya
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation
E-mail: striown@gmail.com
This article discusses the possibility of using neural networks to solve the problem of smoke detection by video sequences.
Keywords: smoke detection, neural network.
Большая часть систем обнаружения дыма основана на ультрафиолетовых камерах, многие другие работают по принципу анализа частиц, температуры, химического состава и прозрачности воздуха.
Минусы таких систем в том, что обнаружение происходит, когда частицы задымленного воздуха уже в непосредственной близости от датчика. Также, такие системы не могут дать дополнительную информацию о расположении очага пожара, степени пожара. Поэтому системы, основанные на анализе видео, гораздо более эффективны при обнаружении дыма, особенно для больших и открытых зон. Также, такие системы значительно более просты в интеграции, за счет возможности использования уже установленных камер видеонаблюдения под систему пожарной безопасности. Стоит отметить, что установка новых камер видеонаблюдения проще, чем установка дымовых датчиков, а в некоторых случаях, таких как детектирование дыма на открытых пространствах, использование датчиков представляется невозможной. Все это позволяет избежать многих временных и материальных издержек при организации системы пожарной безопасности [1].
Задача нахождения дыма на видео является важным и востребованным исследованием. На данный момент существует много работ, посвященных этой теме. Но из-за произвольной формы дыма, различных свойств дыма в зависимости от горящего материала, турбулентности движения огня и других факторов задача разработки системы обнаружения дыма по видео по-прежнему остается сложной и нерешенной задачей.
Визуальные системы детектирования дыма позволяют обнаружить пожар на ранних стадиях и, как следствие, ускорить процесс его ликвидации. Существуют различные
алгоритмические подходы, позволяющие обнаружить дым по видеопоследовательности. В большей части методов визуального обнаружения дыма основной упор делается на выявление статических и динамических характеристик дыма.
Стоит отметить, что задача распознавания дыма является задачей классификации: необходимо классифицировать образы по категориям «есть дым/нет дыма». Одним из основных инструментов решения задачи классификации являются нейронные сети. При использовании свёрточных нейронных сетей этап выделения признаков не требуется. Данное свойство нейронных сетей имеет большое значение в случаях, когда обнаружение признаков дыма на изображении или видеопоследовательности традиционными методами затруднено.
Входными данными в задаче визуального обнаружения дыма является изображение или видеопоследовательность. По отношению к изображению задача классификации обычно заключается в присвоении метки целому изображению. Однако при обнаружении дыма важно определить местоположение области задымления на изображении. При этом найденная область выделяется ограничивающим прямоугольником. Таким образом, выходными данными является набор областей, подозрительных на наличие дыма, заключенных в прямоугольники [2].
Базовую постановку задачи можно сформулировать следующим образом. Дан видеопоток. Под видеопотоком будем понимать конечную последовательность изображений. В общем случае, каждое изображение цветное и представляется в виде матрицы A размера m на n. Каждый элемент матрицы - трехкомпонентный вектор из целых значений от 0 до 255. Результатом анализа видеопотока должен быть выделенный регион содержащий дым.
Для задачи классификации образов и локализации объектов на изображении существует две основные вариации на архитектуры свёрточной нейронной сети. Первая группа архитектур - семейство one stage detectors, вторая - семейство two stage detectors. Сети первой группы рассматривают обнаружение объектов как задачу регрессии. Процесс обнаружения объектов при помощи нейронных сетей, относящихся ко второй группе, состоит из двух этапов: из поиска областей на изображении, которые соответствуют объектам, и классификации каждой области для определения класса найденного объекта [3].
Известным представителем первой группы является сеть Single Shot Detector (SSD). Первой частью модели SSD является свёрточная нейронная сеть классической архитектуры, например, VGG-16. После базовой сети добавляется несколько свёрточных слоев, которые предназначены для формирования предсказаний ограничивающих прямоугольников, потенциально содержащих объекты, а также определения вероятности принадлежности этих объектов к заданным классам. Для уточнения местоположений объектов применяется процедура подавления немаксимумов. Этап подавления немаксимумов заключается в выборе прямоугольника с максимальным показателем распознавания и удалении остальных прямоугольников, которые имеют площадь пересечения с ним больше некоторого порога [4].
Ко второй группе моделей обнаружения объектов относится семейство архитектур Region-Based Convolutional Neural Network (R-CNN). В R-CNN на первом этапе генерируются области-кандидаты с помощью алгоритма селективного поиска. Полученные области подаются на вход нейронной сети классической архитектуры, например, AlexNet.
Стоит заметить, что это - не единственно возможные подходы для решения поставленной задачи. Существует решение на основе свёрточных нейронных сетей, которое справляется с задачей обнаружения огня, и может быть в перспективе использовано для детектирования ранних признаков возгорания.
Рассматриваемое далее решение называется экспериментально определенным вариантом архитектуры свёрточной нейронной сети для невременного обнаружения пожара в реальном времени. Данное решение базируется на двух архитектурах двоичного обнаружения (рис. 1).
В данном программном решении исследуется автоматическое обнаружение областей пикселов огня в видео (или неподвижных) изображениях в пределах границ в реальном времени без использования временной информации сцены. В решении сделан упор на производительность экспериментально определенных архитектур глубокой сверточной нейронной сети (CNN) путём уменьшения их сложности для этой задачи. Вопреки современным тенденциям в этой области, данное программное решение демонстрирует максимальную точность 0,93 для двоичного обнаружения пожара всего изображения и 0,89 в рамках структуры локализации суперпикселей, благодаря сетевой архитектуре значительно уменьшенной сложности. Эти уменьшенные архитектуры к тому же демонстрируют увеличение вычислительной производительности в 3-4 раза, а также могут обрабатывать до 17 кадров в секунду на современном аппаратном обеспечении независимо от временной информации, по сравнению со стандартными архитектурами.
3 of4
а
б
Рис. 1. Задействованные архитектуры свёрточных нейронных сетей: а - Рйе№1;; б - 1псерйопУ1-ОпР1ге
Идея состоит в том, что выбранная нейронная сеть (Б1ге№1 или 1псер1;юпУ1-ОпР1ге) определяет, содержит ли кадр изображения глобальный пожар, тогда как подход на основе суперпикселей разбивает кадр на сегменты и выполняет классификацию для каждого сегмента суперпикселя, чтобы обеспечить внутрикадровую локализацию.
Подход, основанный на суперпикселях, был обучен выполнению обнаружения и локализации пожара на основе суперпикселей в данном кадре следующим образом:
- кадр изображения разделяется на сегменты с использованием технологии сегментации суперпикселя БЫС;
- на каждом суперпикселе используется сверточная архитектура 8Р-1псер1;юп У1-ОпБ1ге, предназначенная для обнаружения пожара в данном сегменте суперпикселя;
- во время выполнения эта сеть SP-InceptionV1-OnFire запускается на каждом суперпикселе с выхода сегментации SLIC.
Для лучшей производительности обнаружения и скорости обработки (количество кадров в секунду) необходимо использовать модель FireNet; для чуть более низкой частоты ложных срабатываний (только на 1 %), но значительно меньшей производительности (скорость, количество кадров в секунду) необходимо использовать модель InceptionVl; для локализации пожара в изображении необходимо использовать суперпиксельную модель InceptionV1-OnFire.
Библиографические ссылки
1. В. В. Хомякова, А. Н. Хомяков. Применение свёрточных нейронных сетей для обнаружения дыма по видеопоследовательности. [Текст] // Материалы XXII Международной научно-практической конференции, посвященной памяти ге-нерального конструктора ракетно-космических систем академика М.Ф.Решетнева - Красноясрк: СибГУ, 2019.
2. В.А. Борисов. Методы обнаружения дыма на видеоизображении [Текст] // Федеральное Государственное Бюджетное Образовательное Учреждение Высшего Образования «Саратовский Национально Исследовательский Государственный Университет Имени Н.Г. Чернышевского» - Саратов: СГУ, 2018.
3. Awad A.I., Hassaballah M. Image Feature Detectors and Descriptors. Foundations and Applications. - Springer, 2016. - 438 p.
4. Горбань, A.H. Нейронные сети на персональном компьютере [Текст] // А.Н. Горбань, Д. А. Россиев. - Новосибирск: Наука, 1996. - 276 с.
© Михайлов А. С., 2020
