CC BY
102
УДК 004.032.26
ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ РАСПОЗНАВАНИЯ ДЫМА И ПОЖАРА НА ИЗОБРАЖЕНИЯХ
Чейнеш Альбертовна Дамдынчап
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, обучающийся, тел. (952)947-13-00, e-mail: [email protected]
Артём Андреевич Шарапов
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного. 10, старший преподаватель кафедры прикладной информатики и информационных систем, тел. (383)343-18-53, e-mail: [email protected]
В статье рассматриваются вопросы применения алгоритмов компьютерного зрения и аппарата нейронных сетей в задачах распознавания пожаров на аэрофотоснимках. Приводится описание процедур конфигурирования датасета и обучения сверточной нейронной сети класса YOLOv3 для обнаружения пожара на фото и видео изображениях.
Ключевые слова: нейронная сеть, Yolo, распознавание объектов, пожар, дым, аэроснимки
APPLICATION OF NEURAL NETWORKS TO RECOGNIZE SMOKE AND FIRE IN IMAGES
Cheinesh A. Damdynchap
Siberian State University of Geosystems and Technologies, 10, Plakhotnogo St., Novosibirsk, 630108, Russia, Student, phone: (952)947-13-00, e-mail: [email protected]
Artyom A. Sharapov
Siberian State University of Geosystems and Technologies, 10, Plakhotnogo St., Novosibirsk, 630108, Russia, Senior Lecturer, Department of Applied Informatics and Information Technologies, phone: (383)343-18-53, e-mail: [email protected]
The article deals with the application of computer vision algorithms and the apparatus of neural networks in the problems of recognizing fires in aerial photographs. The description of the procedures for configuring a dataset and training a convolutional neural network of the YOLOv3 class for fire detection in photo and video images is given.
Keywords: neural network, Yolo, object recognition, fire, smoke, aerial photographs
Введение
Задача своевременного обнаружения источника возгорания является важным вопросом защиты людей, животных и обширных территорий от лесных пожаров. Мониторинг лесных пожаров осуществляется либо с помощью специализированных аэросредств, либо с использованием ресурсов космических аппаратов (КА) дистанционного зондирования Земли (ДЗЗ) [1].
Существенные успехи технологий ДЗЗ из космоса и с летно-подъемных средств и все расширяющаяся область их применения определены техническими, технологическими, экономическими, интеллектуальными, политическими возможностями большого числа стран и их практическими потребностями в развитии этих технологий [2]. В последние годы прогресс в области развития возможностей собственно космической информации позволил поставить в практическую плоскость проблему использования этой информации в целях мониторинга окружающей среды, а также сезонных изменений, протекающих в ней процессов: динамики снежного покрова и границы снеготаяния, «зеленой волны», лесных пожаров и т. п.
Стоит отметить, что в случае решения задачи обнаружения пожаров, что при мониторинге больших открытых участков необходимо наблюдать также за появлением дыма, так как он может закрывать собой огонь и, тем самым, делать очаг возгорания незаметным с большой высоты. Дым от пожара может быть обнаружен камерой, даже если пламени не видно [3].
Методы и технологии
На данный момент сверточные нейронные сети (СНС) могут выполнять задачи, возлагаемые на компьютерное зрение, в том числе обнаружение источников возгорания и задымления. Основная особенность нейронных сетей заключается в необходимости их обучения на некотором наборе данных. Большой объём и уникальность обучающих данных, позволяют выявить обобщённые признаки объекта. В процессе обучения выполняется поиск оптимальных значений весовых коэффициентов, таким образом, устанавливаются зависимости итогового результата от совокупности входных признаков [3].
Анализируя количественные характеристики издания научных работ по тематике распознавания объектов с помощью СНС, можно сделать вывод, что отмечается устойчивая тенденция к росту интереса ведущих изданий и институтов к рассматриваемой предметной области [4-6]. Расширение использования методов съемки земной поверхности с помощью средств ДЗЗ, влечет за собой увеличение объемов фото и видео информации, и обуславливает необходимость их автоматизированной обработки в режиме времени близком к реальному. Наиболее актуальна данная задача в случаях выявления возгораний и пожаров на различных обширных территориях.
В данной статье приведено описание процедур конфигурирования датасета и обучения СНС для обнаружения пожара на фото и видео изображениях. В целях проведения практического исследования разработан программный продукт на языке программирования Python 3 с использованием свободно распространяемых библиотек OpenCV, NumPy, Darknet.
В настоящее время существует большое число реализованных детекторов с применением технологий СНС, позволяющих производить локализацию и классификацию объектов с высокой точностью и близкой к реальному времени
скоростью работы, например: YOLOv3 (англ. You Only Look Once) [7], SSD (англ. Single Shot Detector) [8] и другие.
Результаты
Для решения поставленной в данном исследовании задачи применяется СНС YOLOv3, отдельные модификации которой позволяют проводить эксперименты на мобильных платформах, а как показывают исследования СНС YOLOv3 в 1000 раз быстрее, чем СНС R-CNN и примерно в 100 раз быстрее, чем СНС Fast R-CNN [9].
Для сборки датасета использовались видео пожаров, полученных из разных геолокаций, таких как:
- Австралия
- Австрия
- Бразилия
- Китай
- Украина и др.
Видео были сняты с разных ракурсов: с высоты человеческого глаза, с вертолета и с дрона и сегментированы на отдельные кадры. В конечном итоге дата-сет содержит 1539 изображений, поделенных на три выборки:
- обучающую - 1176 изображений;
- тестовую - 181 изображение;
- валидационную - 182 изображения.
Обучение модели проводилось средствами фреймворка Darknet. Было проведено -10000 итераций обучения. Результаты обучения отображаются в окне программы и сохраняются в файл chart.png, представленный на рис. 1.
ШАРЯЦ
44 |
4.5 J
0.0 I-------------------------------
О 10000 20000 ЗОООО 40000 50000 60000 70000 80000 90000 I»
current »vg loss = 1,8469 iteration = 10009 appro* time 1»Г1 = 80.37 hours Press '»' to save : chart.pnt Iteration number In eft max batches = 100000
Рис. 1. График обучения во фреймворке Darknet после 10005 итераций
Однако, такие данные достаточно сложны для понимания. Подробные данные сохраняются в файле логов log.txt, из которого они были получены и интерпретированы в Jupyter Notebook. На графике рис. 2 представлено изменение функции потерь.
Losses
"о 2000 4000 6000 8000 10000
Iteration
Рис. 2. Функция потерь
Для того, чтобы использовать обученную модель, был использован модуль глубоких нейронных сетей Deep Neural Network модуля OpenCV. С помощью метода .readNet() получаем объект нейронной сети с заданной конфигурацией и весами. Для уменьшения вычислительной нагрузки, обрабатываемый кадр масштабируется до разрешения 416*416 пикселей, а цветовые каналы масштабируются до диапазона [0,0;1,0]. Подобное преобразование осуществляется с помощью метода .blobFromImage() модуля глубоких нейронных сетей модуля OpenCV.
После данных манипуляций с кадром, обработанное изображение подается на вход сети. Для каждого кадра файла совершается его предобработка. Для каждого обнаружения в выходах сети выбирается ограничивающий прямоугольник с наивысшей вероятностью. Если эта вероятность превышает минимальный порог = 0,4, то высчитываются абсолютные координаты и размеры этого прямоугольника и он заносится в список. Перед финальной отри-совкой кадра с прямоугольниками в окно, сверху к кадру добавляется информационная панель, содержащая информацию об удельной площади классов на кадре.
После выполнения всех описанных выше действий финальное изображение выводится в окно с помощью метода .imshow() модуля OpenCV (рис. 3, 4).
Рис. 3. Пример работы программы на видеофайле
Рис. 4. Пример работы программы на изображении
Заключение
По результатам обучения нейросети получены следующие результаты.
1. Максимальное значение метрики отклика составило 46 %.
2. Максимальное значение метрики точности составило 70 %.
3. Максимальные значения метрики средней точности для классов «огонь» и «дым» составили 52,09 % и 46,12 %, соответственно.
4. Максимальное значение оценки Б1 составило 53 %.
5. Максимальное значение оценки шЛР составило 48,12 %.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Лупян Е. А. и др. Организация работы со спутниковыми данными в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) //Современные проблемы дистанционного зондирования Земли из космоса. - 2015. - Т. 12. - №. 5. - С. 222.
2. Новые технологии дистанционного зондирования Земли из космоса / В. В. Груздов, Ю. В. Колковский, А. В. Криштопов, А. И. Кудря. — Воронеж : Техносфера, 2019. — 482 с.
3. Алиев И. Р., Павлов В. А. Применение алгоритмов компьютерного зрения для обнаружения и локализации пожаров на аэрофотоснимках //СПбНТОРЭС: труды ежегодной НТК. -2020. - №. 1. - С. 225-228.
4. Co§kun M. et al. Face recognition based on convolutional neural network //2017 International Conference on Modern Electrical and Energy Systems (MEES). - IEEE, 2017. - С. 376-379.
5. Chen X. et al. Ship type recognition via a coarse-to-fine cascaded convolution neural network // The Journal of Navigation. - 2020. - Т. 73. - №. 4. - С. 813-832.
6. Sharif M. I. et al. Active deep neural network features selection for segmentation and recognition of brain tumors using MRI images //Pattern Recognition Letters. - 2020. - Т. 129. -С. 181-189.
7. Redmon J., Farhadi A. Yolov3: An incremental improvement //arXiv preprint arXiv:1804.02767. - 2018.
8. Liu W. et al. Ssd: Single shot multibox detector //European conference on computer vision. -Springer, Cham, 2016. - С. 21-37.
9. Lee Y. H., Kim Y. Comparison of CNN and YOLO for Object Detection // Journal of the semiconductor & display technology. - 2020. - Т. 19. - №. 1. - С. 85-92.
© Ч. А. Дамдынчап, А. А. Шарапов, 2021
