CC BY
23MATHEMATICAL SCIENCES
SEGMENTATION OF THE FLAME ON THE IMAGE USING THE CONVOLUTIONAL NEURAL
NETWORK U-NET
Bratukhin D.
MA student, NNSTUn.a. R.E. Alekseev
СЕГМЕНТАЦИЯ ПЛАМЕНИ НА ИЗОБРАЖЕНИИ С ИСПОЛЬЗОВАНИЕМ СВЁРТОЧНОЙ
НЕЙРОННОЙ СЕТИ U-NET
Братухин Д.
магистрант, НГТУ им. Р.Е. Алексеева
Abstract
The article will consider convolutional neural networks for identifying a flame in an image. The U-net architecture will be used as the main algorithm for implementing flame segmentation. Аннотация
В статье рассмотрены сверточные нейронные сети для идентификации пламени на изображении. В качестве главного алгоритма для реализации сегментирования пламени будет использоваться архитектура U-net.
Keywords: U-net, neural network, convolutional neural network, CNN, flame, fire, segmentation, identification, computer vision, U-net architecture
Ключевые слова: U-net, нейронные сети, сверточные нейронные сети, пламя, огонь, сегментация, идентификация, компьютерное зрение, архитектура U-net
Создание современных средств автоматизации тушения лесных пожаров требует разработки алгоритмов управления подачей воды на основе компьютерного зрения и специальных алгоритмов, позволяющих выделить зону уязвимости лесного пожара [1 - 3]. Для ее выделения необходимо использовать инструменты для определения поля температур [4]. Использование свёрточных нейронных сетей (англ. convolutional neural network, CNN) позволяет решить данную задачу. CNN — является подразделом
искусственных нейронных сетей. Именно он позволяет идентифицировать на потоке видео различные образы и объекты на изображении. Ключевая идея такого типа сетей заключается в чередовании свер-точных слоев.
Чтобы натренировать нашу систему, нужен метод обратного распространения ошибок. Для наглядного примера можно использовать стандартное изображение, и продемонстрировать как его в свою очередь будет видеть компьютер на рис 1.
Рис. 1 Компьютерное зрение
Такое название связано с самой работой алгоритма, из-за наличие такого инструмента как свертка. На ядро (матрицу) мы умножаем каждый фрагмент нашего изображения по одному элементу, и в результате мы суммируем все элементы и выводим результат в такую же позицию, но уже выходного изображения.
В работах [5, 6] показана возможность использования алгоритма к-ближайших соседей машинного обучения для решения поставленной задачи по обнаружению пламени на видеопотоке, получаемом с внешней камеры робота.
В дальнейшем мы будем использовать такую архитектуру как U-net и WUUNet [7]. Причина выбора данной архитектуры U-net в том, что она поможет нам не только определить тип изображения
в целом, но и идентифицировать каждый объект отдельно, сегментируя все изображение. Однако преимущество WUUNet в более быстром и более точной сегментации изображения. Теперь перейдем к архитектуре и-пе^ которая представлена на рис. 2. В основе такого типа архитектуры лежит энкодер (сжимающая часть) нейронной сети по левую сторону от центра для получения паттернов огня на
нижнем, среднем и верхнем уровнях модели, bottleneck (узкий слой модели) по центру и декодера (распаковывающая часть) для получения сег-ментационной маски сигнала на всех уровнях учитывая помимо сигнала с предыдущего уровня декодера, еще и уровня энкодера одного ранга используя пропускные соединения нейросети, схематично изображенные горизонтальными линиями.
Рис. 2 Архитектура U-net
Каждый синий квадрат соответствует много канальной карте свойств, а количество каналов приведено в верхней части квадрата. Размер x-y приведен в нижнем левом краю квадрата. Белые квадраты представляют собой копии карты свойств. Стрелки обозначают различные типы операции. В результате полученную архитектуру можно использовать
для идентификации и сегментирования пламени с изображения [8] для случая когда оно реально присутствует. Для тренировки предложим нашему разработанному алгоритму несколько изображений, на который нет огня, чтобы убедится в работоспособности свёрточной нейронной сети.
Рис. 3 Демонстрация работы U-net
Далее необходимо сегментировать огонь на заранее заготовленных изображениях, где пламя уже идентифицировано. Таким образом, разработанный алгоритм в сочетании с алгоритмом поиска зон уязвимости пожара можно использовать для создания
автоматизированной системы пожаротушения [9, 10] или как отдельный модуль управления для использования его на любых водяных пушках.
Рис. 4 Сегментирование пламени
Выводы
На основе полученных в ходе работы с архитектурой U-net изображений можно сделать вывод, что данный алгоритм хорошо справляется с задачей идентификации пламени, а также с последующим сегментированием его по цвету. Данную технологию можно использовать в роботизированных устройствах, ведь с появлением данного компьютерного зрения у роботов потребность в операторах уменьшается, а, следовательно, и вероятность ошибки при тушении пожаров из-за человеческого фактора понижается.
СПИСОК ЛИТЕРАТУРЫ:
1. Бочков В.С., Катаева Л.Ю., Масленников Д.А. Реализация алгоритма поиска уязвимых зон пожара в программной архитектуре многопоточного асинхронного ядра видеоаналитики // В книге: XXIX Международная научно-практическая конференция, посвященная 80-летию ФГБУ ВНИИПО МЧС России. Материалы конференции: В 2-х частях. 2017. С. 385-389.
2. Бочков В.С., Катаева Л.Ю., Масленников Д.А. Алгоритм поиска уязвимых зон пожара с применением анализа видеопотока // В книге: XXIX Международная научно-практическая конференция, посвященная 80-летию ФГБУ ВНИИПО МЧС России. Материалы конференции: В 2-х частях. 2017. С. 395-400.
3. Бочков В.С., Катаева Л.Ю. Алгоритм нахождения зон очагов пламени на видео / Бочков В.С., Катаева Л.Ю., Масленников Д.А., Галина Н.В. // Материалы докладов XXIII Международной научно-технической конференции, посвященной 100-летию НГТУ - Нижегородского политехнического института, конференция "Информационные системы и технологии" ИСТ - 2017 [с. 895-900].
4. Бочков В.С., Катаева Л.Ю., Масленников Д.А. ^ецифика измерения мощности пламени с помощью датчиков тепла // В книге: Будущее тех-
нической науки. сборник материалов XIV Международной молодежной научно-практической конференции. 2015. С. 537-538.
5. Бочков В. С., Катаева Л.Ю. Применение метода k-ближайших соседей к задаче обнаружения пламени на видео // Актуальные направления развития техники и технологий в России и за рубежом
- реалии, возможности, перспективы : материалы и доклады IV Всероссийской научно-практической конференции, Княгинино, 21 марта 2019 года. -Княгинино: Нижегородский государственный инженерно-экономический институт, 2019. - С. 59-62.
6. Бочков, В. С. Катаева, Л. Ю. Применение алгоритма к-ближайших соседей машинного обучения для задачи обнаружения пламени на видео // Математические методы в технике и технологиях -ММТТ. - 2019. - Т. 3. - С. 51-54.
7. Prototype of forest fire suppression robotics system based on exclusion of flame configuration from monocular video sequence / V. S. Bochkov, L. Yu. Ka-taeva, I. E. Belotserkovskaya, M. N. Ilicheva // ARPN Journal of Engineering and Applied Sciences. - 2019.
- Vol. 14. - No 9. - P. 1719-1730.
8. Bochkov V.S. Kataeva L.Y. WUUNet: Advanced fully convolutional neural network for mul-ticlass fire segmentation // Symmetry. - 2021. - Vol. 13. - No 1. - P. 1-18. - DOI 10.3390/sym13010098.
9. Бочков В.С., Катаева Л.Ю., Масленников Д.А., Беляев И.В. Мобильная автоматизированная система по тушению лесных пожаров // В сборнике: Беспилотные транспортные средства: проблемы и перспективы. сборник материалов 94 международной научно-технической конференции Ассоциации автомобильных инженеров. Главный редактор С.М. Дмитриев. 2016. С. 79-85.
10. Prototype of forest fire suppression robotics system based on exclusion of flame configuration from monocular video sequence / V. S. Bochkov, L. Yu. Kataeva, I. E. Belotserkovskaya, M. N. Ilicheva // ARPN Journal of Engineering and Applied Sciences. - 2019.
- Vol. 14. - No 9. - P. 1719-1730.
