CC BY
15
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2023 Управление, вычислительная техника и информатика № 63
Tomsk: State University Journal of Control and Computer Science
Научная статья
УДК 004.85; 614.841.42; 630
doi: 10.17223/19988605/63/9
Система обнаружения очага возгорания в лесном массиве на основе ансамбля нейронных сетей
Никита Витальевич Лаптев1, Ольга Михайловна Гергет2, Владислав Витальевич Лаптев3, Андрей Александрович Кравченко4
1 3 4 Томский политехнический университет, Томск, Россия 2Институт проблем управления им. В.А. Трапезникова РАН, Москва, Россия 3 Сибирский государственный медицинский университет, Томск, Россия 1 nikitalaptev77@gmail.com 2 olgagerget@mail. ru 3 vvl39@tpu.ru 4 aak224@tpu. ru
Аннотация. Рассмотрены система раннего обнаружения пожаров и визуализации результатов ее работы. Обоснован выбор нейросетевого моделирования для распознавания объекта возгорания (технология Object detection). Предложен алгоритм распознавания пожароопасных объектов, в основе которого лежит реализация модели EfficientDet-D1 c вычитанием фона, обработкой кадра по Гауссу и переводом изображения в один канал. С целью повышения эффективности работы нейронной сети последовательно реализованы предложенные авторами методы и алгоритмы предобработки, кластеризации прогнозов видеоряда и фильтрации обнаруженных объектов посредством использования гибридной архитектуры нейронной сети. Приведены результаты работы системы на тестовой выборке: Precision - 98%, Recall - 97%, Accuracy - 98%.
Ключевые слова: компьютерное зрение; нейронная сеть; object detection; анализ видеоряда; визуализация.
Благодарности: Исследование выполнено при финансовой поддержке государственного задания «Наука» № FSWW-2023-0007.
Для цитирования: Лаптев Н.В., Гергет О.М., Лаптев В.В., Кравченко А.А. Система обнаружения очага возгорания в лесном массиве на основе ансамбля нейронных сетей // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2023. № 63. С. 72-83. doi: 10.17223/19988605/63/9
Original article
doi: 10.17223/19988605/63/9
Forest fire detection system based on neural network ensemble Nikita V. Laptev1, Olga M. Gerget2, Vladislav V. Laptev3, Andrey A. Kravchenko4
1 3' 4 Tomsk Polytechnic University, Tomsk, Russian Federation 2 V.A. Trapeznikov Institute of Control Sciences ofRussian Academy ofScience, Moscow, Russian Federation 3 Siberian State Medical University, Tomsk, Russian Federation 1 nikitalaptev77@gmail.com 2 olgagerget@mail. ru 3 vvl39@tpu.ru 4 aak224@tpu. ru
Abstract. The paper considers the system of early fire detection and visualization of the results of its work. The choice of neural network modeling for fire object recognition (the "Object detection" technology) is justified. An algorithm for recognizing fire-hazardous objects is suggested that is based on the implementation of the EfficientDet-D1
© Н.В. Лаптев, О.М. Гергет, В.В. Лаптев, А.А. Кравченко, 2023
model with background subtraction, Gaussian frame processing and image transfer into a single channel. To increase the efficiency of the neural network performance, the authors have consistently implemented the methods and algorithms of pre-processing, clustering video prediction and filtering of detected objects by using a hybrid neural network architecture. The results of the system's performance on the test sample are presented: Precision 98%, Recall 97%, Accuracy 98%.
Keywords: computer vision; neural network; object detection; video sequence analysis; visualization.
Acknowledgments: This research was supported by the Ministry of Science and Higher Education of the Russian Federation, project Nauka № FSWW-2023-0007.
For citation: Laptev, N.V., Gerget, O.M., Laptev, V.V., Kravchenko, A.A. (2023) Forest fire detection system based on neural network ensemble. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitelnaja tehnika i informatika - Tomsk State University Journal of Control and Computer Science. 63. pp. 72-83. doi: 10.17223/19988605/63/9
Введение
Раннее обнаружение источника возгорания, точная локализация и принятие своевременных мер имеют решающее значение для минимизации нанесенного окружающей среде ущерба и предотвращения экологических катастроф. В связи с этим значимость разработки систем точного обнаружения источника возгорания и координат территории распространения лесного пожара в режиме реального времени не вызывает сомнений.
В настоящее время известны десятки систем обнаружения лесных пожаров, большинство из которых базируется на построении математических моделей, таких как модель лесного пожара на основе оценки сигнала источника инфракрасного излучения [1]. Данная модель позволяет выделить на изображении контуры места лесного пожара на базе источника инфракрасного излучения. В работе [2] предложена математическая модель, при которой лес в момент пожара считается пористо-дисперсионной реакционноспособной сплошной средой, что позволяет использовать методы механики сплошной среды для математического описания лесных пожаров. В работе [3] предложен метод, в основе которого лежит машинное обучение, а именно патч-классификация всей области изображения. В исследовании [4] авторы представили новую архитектуру глубокого обучения SmokeyNet. Предложенная модель нейронной сети использует пространственно-временную информацию из изображений с камеры для обнаружения дыма от лесных пожаров.
Однако отметим тот факт, что поступающий на обработку большой объем информации видеомониторинга, скрытые закономерности между входными данными и сложность выделения характеристических признаков усложняют, а нередко и делают невозможным построение надежных математических моделей. При наличии таких ограничений целесообразным является построение систем обнаружения пожаров на основе технического зрения. Эти системы позволяют анализировать изображения с камер и своевременно определять источник возгорания, что делает их пригодными для раннего оповещения о возникновении пожара. Разработанные системы позволяют проводить мониторинг огромных площадей лесных массивов, что является экономически более выгодным по сравнению с такими видами мониторинга, как дистанционное зондирование местности или авиамониторинг. Отметим, что результат обнаружения визуализируется и направляется оператору для конечного подтверждения.
Таким образом, несмотря на существование различных систем и разработанных подходов, задача точной локализации источника возгорания и детектирования области пожара остается актуальной и до конца не решенной. Отметим, что в настоящее время достигнуто высокое качество обнаружения объектов исследования [5-7] на основе машинного обучения, в частности на базе технологии Object detection. В связи с этим в статье рассмотрен подход автоматизированного видеомониторинга пожаров с точным выделением области задымления на лесном массиве на основе нейронных сетей, позволяющих решить задачу обнаружения объектов.
1. Описание системы
Разрабатываемая система обнаружения пожароопасных объектов в лесном массиве на основе данных, полученных с камер видеонаблюдения, представлена на рис. 1
Рис. 1. Этапы работы системы раннего обнаружения пожаров в лесном массиве Fig. 1. Stages of operation of the early fire detection system in the forest area
Система обнаружения состоит из следующих элементов:
1. Алгоритм обработки видеоряда. Алгоритм разбивает видеопоследовательность, в нашем случае продолжительностью 10 с, на кадры.
2. Алгоритм выделения динамических признаков и алгоритм нарезки кадров (алгоритм предобработки). Основная задача алгоритма - фильтрация полученной информации, в частности объединение последовательности кадров в единый структурный элемент с исключением признаков статичных объектов. Алгоритм выделения динамических признаков получает на вход семь изображений, а на выходе формирует четыре изображения, относящихся к разным временным промежуткам.
3. Модель нейронной сети (Object detection).
4. Алгоритм кластеризации прогнозов обнаруженных объектов, который позволяет объединить результаты областей прогнозов (координаты ограничивающей рамки и вероятности принадлежности к классу) с четырех изображений в единый прогноз на результирующем изображении.
5. Алгоритм фильтрации ранее обнаруженных объектов. Основная идея алгоритма - анализ области интереса на исходных кадрах видеопоследовательности, используя гибридную архитектуру рекуррентной нейронной сети и сверточной нейронной сети (RCNN).
6. Заключительным элементом системы является визуализация ограничивающей рамки у подтвержденного объекта исследования.
2. Исходные данные
Данные для обучения и тестирования системы получены из открытых источников, в частности данные открытых онлайн ресурсов Nevada Seismological Laboratory (University of Nevada) [8, 9], Center for Wildfire Research (основан при поддержке University of Split) [10], видеозаписи съемки лесных пожаров Пермского лесного хозяйства [11], видеозаписи базы данных Калифорнийского университета в Сан-Диего HPWREN [12]. С целью непосредственного обучения все данные были предварительно размечены с использованием средств web-сервиса SuperVisely [13]. Общее количество собранных видеозаписей составило 550 единиц, из них содержащих очаги возгорания - 350 единиц, и 200 видеозаписей без пожаров. Для обучения из каждой видеозаписи взята последовательность из 7 кадров.
3. Алгоритм выделения динамических признаков
При анализе данных видеомониторинга информативным характеристическим признаком является форма дыма, которая в связи с динамикой пожара постоянно изменяется. В данном исследовании с целью выявления информативных динамических признаков используется метод разности кадров, преимуществами которого являются нечувствительность к изменениям сцены (например, к освещению) и возможность адаптации к различным динамическим средам с хорошей стабильностью. Однако серьезный его недостаток - невозможность извлечения всей площади объекта. В связи с этим в статье предложен улучшенный метод разности кадров.
Алгоритм выделения динамических признаков изображения, реализующий метод разности кадров, включает несколько этапов (рис. 2).
a b
Рис. 2. Визуальное представление работы алгоритма выделения динамических признаков: а - исходное изображение; b - перевод изображения в один канал; с - обработка алгоритмом фильтрации шума; d - вычитание фона Fig. 2. Visual representation of dynamic feature extraction algorithm operation: a) initial image; b) image transfer into one channel;
c) processing by noise filtering algorithm; d) background subtraction
Этап 1. Видеопоток преобразуется в последовательность кадров.
Этап 2. Выполняется преобразование кадров (с определенным интервалом) из трех каналов RGB в один канал (переход в градации серого), и осуществляется размытие по Гауссу с кернером 5 х 5, что позволяет экономить время вычислений на следующих этапах.
Этап 3. Осуществляется операция инициализации «усредненного кадра»:
F = {F(х,у), 0 < х < width, 0 < у < height}, (1)
1 N
Fc (х, у) = - £f (х, у), (2)
N ¿=i
где width - ширина кадра, height - высота кадра, F (х, у) - «усредненный кадр», N - общее число обрабатываемых кадров, F (х, у) - текущий кадр последовательности.
Этап 4. Операция выделения динамических признаков на основе вычитания исходного кадра из усредненного по модулю. Расчет осуществляется по формуле
Fdi(х,у) =| Fc(х,у)-F(х,у)|, i = 1,2...N, (3)
где F (х, у) - разность текущего кадра последовательности и усредненного.
Этап 5. Применяется операция шумоподавления (формула (3)). Данная операция позволяет выделить объекты с большей динамикой, отбросив при этом посторонние шумы:
Гmaxval, if F (х, у) > thresh,]
^(х,у) = \_ , "( ," . , (4)
[ 0, otherwise, J
где F ( х, у) - результирующий кадр операции шумоподавления.
4. Трекинг объектов на изображении
Каждый обработанный кадр алгоритмом выделения динамических признаков (предобработка) последовательно передается в модель распознавания объектов EfficientDet-Dl. Общая архитектура EfficientDet [14] в значительной степени соответствует парадигме одноступенчатых (one-stage) детекторов. За основу взята модель EfficientNet, предварительно обученная на датасете ImageNet. Отличительной особенностью от одноступенчатых детекторов [15-18] является дополнительный слой со взвешенной двунаправленной пирамидой признаков (BiFPN), за которым идет классовая и блочная сеть для генерации предсказаний класса объекта и ограничивающей рамки (бокса) соответственно. Бокс имеет четыре параметра: две координаты (x, y) для верхнего левого угла и две координаты для нижнего правого угла.
Также в процессе исследования рассмотрены модели обнаружения объектов EfficientDet-D0, EfficientDet-D1, EfficientDet-D2, SSD MobileNet v2, Faster R-CNN ResNet50 Vl. Все модели обучены в одинаковых условиях. Для обучения сети применялись кадры с нанесенной разметкой в виде боксов с указанием соответствующего класса. Выявлено, что наибольшую эффективность показала модель обнаружения Efficientdet-Dl с предобработкой кадров, подаваемых на анализ.
5. Алгоритм кластеризации прогнозов
Принцип работы алгоритма постобработки показан на рис. 3 и заключается в следующем.
1. На вход алгоритма кластеризации прогнозов подаются координаты верхнего левого и нижнего правого углов ограничивающей рамки и вероятность принадлежности к классу обнаруженных объектов. Прогнозы собираются с четырех кадров одного ракурса на одном изображении, разнесенных во времени. Так как дым имеет весьма нестабильную структуру (плотность, изменчивость формы, направление движения), то на каждом кадре имеем отличную от других кадров уникальную форму дымового облака. Таким образом, алгоритм в большинстве случаев выделяет наиболее характерные участки дыма в данный момент времени, что отчетливо прослеживается на рис. 4. При таком подходе
возможны случаи, когда на результирующем кадре может быть до 20 прогнозов, которые с разной вероятностью выделяют один и тот же объект.
2. Два и более пересекающихся прогноза, имеющих пересечение более чем на 25%, объединяются в кластер.
3. Массив координат точек углов ограничивающей рамки и их вероятности принадлежности к классу, находящиеся в кластере, усредняются:
х ' (4)
где Хс - координата нового центра угла, х, - координата угла обнаруженного объекта, Рг - вероятность обнаруженного объекта;
IР2
Р =—--(5)
i
где Рс - вероятность целевого бокса, измеряется в пределах от 0 до 1, Рг - вероятность обнаруженного объекта.
а b c
Рис. 3. Визуальное представление работы алгоритма «кластеризации прогнозов»: а - результат работы нейронной сети на 4 кадрах; b - результат переноса прогнозов с 4 изображений на 1 результирующий кадр; c - результат работы алгоритма
кластеризации прогнозов
Fig. 3. Visual representation of the algorithm "clustering forecasts": a) the result of the neural network on 4 frames; b) the result of the transfer of forecasts from 4 images to 1 resulting frame; c) the result of the algorithm clustering forecasts
a b
Рис. 4. Визуализация результата работы алгоритма постобработки: а - результат отображения прогнозов на результирующем кадре; b - результат работы алгоритма кластеризации прогнозов Fig. 4. Visualization of the post-processing algorithm result: a) the result of forecasts display on the resulting frame;
b) the result of the forecasts clustering algorithm
Обнаруженные объекты, не имеющие пересечений, удаляются. Данный подход позволяет не только с высокой уверенностью определить территорию возгорания, но и более точно локализовать очаг возгорания. На рис. 4 представлено влияние алгоритма на результат работы системы.
Необходимо отметить, что на анализируемый кадр наносят только те ограничивающие прямоугольники (боксы), которые имеют вероятность принадлежности класса к объекту возгорания больше 25%.
Процент пересечения рассчитывается согласно метрике IoU (Intersection over Union) по формуле
Area of Overlap
IoU =
Area of Union
(6)
где Area of Overlap - область перекрытия между предсказанными областями 1 и 2, Area of Union -общая площадь предсказания.
6. Алгоритм фильтрации обнаруженных объектов на основе гибридной архитектуры нейронной сети
На видео, записанном камерой наблюдения, видны различные типы облаков и тумана, которые очень похожи на дым от лесного пожара. Следовательно, чтобы правильно классифицировать дым, необходимо учитывать временное движение дыма, форму, текстуру, которые изменяются под действием ветра или воспламеняющегося материала. С этой целью в исследовании области-кандидаты формируются на основе работы алгоритмов, представленных выше. На базе прогноза, полученного с помощью алгоритма кластеризации прогнозов, строится последовательность изображений с использованием кадров начальной выборки без предобработки и в той же позиции, что и соответствующая область-кандидат. Последовательности кадров с областью дыма лесного пожара проверяется с помощью алгоритма фильтрации обнаруженных объектов на наличие пространственно-временных характеристик.
Рис. 5. Архитектура гибридной нейронной сети со слоем LSTM Fig. 5. Hybrid neural network architecture with LSTM layer
В основу алгоритма фильтрации обнаруженных объектов положена гибридная архитектура нейронной сети, использующая рекуррентную нейронную сеть (RNN) со слоем LSTM и модель свер-точной нейронной сети Inception-V3. RNN является расширением нейронных сетей с прямой связью и выдает хорошие результаты в анализе последовательностей. Предлагаемая авторами архитектура
RNN сети со слоем LSTM представлена на рис. 5. На вход сети подается последовательность областей-кандидатов, состоящая из пяти изображений. За выделение вектора признаков отвечает сверточ-ная нейронная сеть, в качестве модели которой используется Inception-V3 [19].
7. Результаты
Для изучения зависимости влияния алгоритма динамических признаков на качество обнаружения объектов было проанализировано несколько вариантов предобработки кадра (табл. 1):
1. Вычитание фона без цветовой обработки кадра (Difference).
2. Вычитание фона с добавление фильтра Гаусса (Diff+gauss).
3. Вычитание фона с добавление фильтра Гаусса и перевод в один канал (Diff+gauss +gray).
4. Кадры без обработки (RGB).
Для каждого варианта предобработки кадра было обучено пять моделей нейронной сети (НС): Efficient-D0, Efficient-D1, Efficient-D2, Faster-Resnet50 и SSD-Mobilnet-v2. Эффективность алгоритма предобработки кадров оценивались по метрикам Recall и Precision. При этом наибольшее внимание уделялось метрике Recall, так как на данном этапе важно обнаружить максимально возможное количество очагов возгорания; ложно обнаруженные объекты будут отфильтрованы на следующих этапах работы системы. По результатам тестирования (см. табл. 1) выявлено, что подготовка данных для различных моделей НС по-разному влияет на конечную точность системы (здесь введены обозначения: Pr - Precision, Rc - Recall). В итоге наилучший результат показала модель Efficient-D1 c вычитанием фона, обработкой кадра по Гауссу и переводом изображения в один канал.
Таблица 1
Результаты тестирования алгоритма выделения
Модель НС Difference Diff + gauss Diff + gauss + gray RGB
Pr Rc Pr Rc Pr Rc Pr Rc
Efficient-D0 0,7 0,7 0,811 0,72 0,85 0,8 0,64 0,57
Efficient-D1 0,78 0,8 0,75 0,69 0,87 0,89 0,68 0,56
Efficient-D2 0,8 0,68 0,77 0,75 0,8 0,73 0,72 0,57
Faster-resnet50 0,85 0,77 0,81 0,76 0,81 0,7 0,76 0,79
SSD-mobilnet-v2 0,8 0,69 0,83 0,75 0,76 0,79 0,81 0,61
Следующим этапом тестирования системы стал анализ результатов влияния количества кадров, поступающих на анализ системе, и вывод результирующего кадра посредством работы алгоритма кластеризации прогнозов обнаруженных объектов. Результаты исследования представлены в табл. 2. Полученные результаты позволяют провести анализ и выявить влияние количества кадров на качество обнаружения объектов, а также точность локализации объектов на результирующем кадре. В итоге наибольшую эффективность продемонстрировал алгоритм объединения прогнозов обнаруженных объектов, точность которого при анализе четырех кадров составила: Pr = 89%, Rc = 91%, MAP = 89% (при IoU в 25%), IoU=56% (здесь введено обозначение: MAP - Mean Average Precision).
Таблица 2
Результаты тестирования алгоритмов фильтрации обнаруженных объектов
АКП NMS Soft-NMS
№ Pr Rc MAP IoU Pr Rc MAP IoU Pr Rc MAP IoU
2 0,92 0,79 0,84 0,59 0,82 0,9 0,86 0,52 0,76 0,9 0,84 0,25
3 0,9 0,9 0,86 0,56 0,74 0,92 0,85 0,53 0,75 0,9 0,86 0,24
4 0,89 0,91 0,89 0,56 0,72 0,92 0,83 0,52 0,76 0,87 0,83 0,23
5 0,84 0,91 0,88 0,58 0,69 0,93 0,83 0,53 0,72 0,9 0,83 0,23
Заключительный этап работы системы представлен формированием последовательности фрагментов кадров посредством вырезания области-кандидата, полученной в результате работы алгоритма объединения прогнозов, из начальной последовательности кадров до этапа предобработки кадра
и фильтрации этих объектов гибридной моделью нейронных сетей. Для формирования архитектуры гибридной нейронной сети была проведена серия экспериментов, представленная в табл. 3.
Таблица 3
Параметры обучения ансамбля НС, выбор модели сверточной НС
Параметр сети Модель
Имя модели НС VGG19, MobileNet-V2, Inception-V3, EfficientNet-B0
Количество анализируемых изображений 2, 3, 4, 5, 6, 7
Размер входного изображения, px 128, 256
Скорость обучения 0,0001
Метод оптимизации Adam
Тип активации ReLU
Функция потерь Бинарная кросс-энтропия
Тип рекуррентной сети GRU
Размер слоя GRU 256
Dropout 0,5
Размер полносвязного слоя (FC) 128
С целью улучшения результатов прогнозирования с помощью нейронной сети был реализован следующий перебор гиперпараметров сети для модели 1псерйоп-У3, а именно: тип слоя рекуррентной нейронной сети, ширина слоя рекуррентной сети, ширина полносвязного слоя сети. Параметры перебора представлены в табл. 4.
Таблица 4
Параметры перебора гиперпараметров архитектуры ансабля НС
Параметр сети Модель
Имя модели НС Inception-V3
Количество анализируемых изображений 4
Размер входного изображения, пикселей 128 х128
Скорость обучения 0,0001
Метод оптимизации Adam
Тип активации LeakyReLU
Функция потерь Бинарная кросс-энтропия
Тип рекуррентной сети GRU, LSTM
Размер слоя RNN 128, 256, 512, 1 024
Dropout 0,5
Размер полносвязного слоя (FC) 128, 256, 512, 1 024
На основе данных, представленных в табл. 5, была выбрана модель сверточной нейронной сети 1псерйоп-У3 с разрешением изображения, подающегося на вход 256 х 256 рх, в количестве четырех изображений.
Таблица 5
Оценка зависимости результативности модели от разрешения изображения
Размер изобр. № Inception-V3 VGG19 MobileNet V2
Pr Rc MAP Pr Rc MAP Pr Rc MAP
256 х 256 2 0,94 0,94 0,94 0,72 0,78 0,75 0,92 0,94 0,93
3 0,96 0,97 0,97 0,74 0,83 0,78 0,93 0,96 0,94
4 0,97 0,98 0,98 0,74 0,85 0,79 0,92 0,96 0,94
5 0,99 0,93 0,96 0,71 0,89 0,79 0,92 0,97 0,94
6 0,98 0,97 0,97 0,77 0,84 0,80 0,92 0,97 0,95
7 0,96 0,98 0,97 0,74 0,84 0,79 0,92 0,98 0,95
128 х 128 2 0,85 0,93 0,89 0,74 0,76 0,75 0,90 0,93 0,91
3 0,90 0,92 0,91 0,70 0,93 0,80 0,88 0,94 0,91
4 0,89 0,94 0,92 0,72 0,90 0,80 0,91 0,96 0,94
5 0,92 0,94 0,93 0,72 0,81 0,76 0,92 0,96 0,94
6 0,92 0,96 0,94 0,76 0,85 0,80 0,91 0,97 0,94
7 0,93 0,95 0,94 0,82 0,83 0,83 0,91 0,96 0,94
В табл. 6 показано сравнение по количеству обнаружений, количеству ложных обнаружений и точности по метрике Accuracy. Приведено сравнение результатов предлагаемой авторами системы обнаружения очага возгорания в лесном массиве с аналогичными системами на базе видеозаписей HPWREN [12]. Итоговая точность системы на тестовой выборке (79 записей с пожарами, 79 записей без пожаров) составила: Precision - 98%, Recall 97%, Accuracy - 98%, TP - 78 шт., FP - 2 шт., FN -1 шт., TN - 78 шт.
Таблица 6
Сравнение методов обнаружения очага возгорания в лесном массиве
Метод Количество обнаружений Количество ложных обнаружений Точность
1 K. Govil и др. [3] 86% 9,85% 91,2%
2 A. Dewangan и др. [4] 90,85% 10,11% 83,62%
3 H. Pan и др. [20] 91,6% 4,67% 93,36%
4 Предлагаемая разработка 97,46% 1,27% 98,1%
a b
Рис. 6. Результаты работы системы раннего обнаружения пожаров: а - пример 1; b - пример 2 Fig. 6. The result of the early fire detection system: a) example 1; b) example 2
На рис. 6 проиллюстрированы результаты обнаружения пожароопасных объектов. Представленные результаты являются выходными в работе системы. Показаны примеры корректного обнаружения, где вся область задымления находится в ограничивающей рамке. На изображениях: синий бокс - результат работы сети, красный - размеченный бокс.
Заключение
Предложена комплексная технология для решения задачи обнаружения пожароопасных объектов на видеоряде. Изложенный в статье подход дает возможность анализировать не отдельные кадры видеозаписи, а последовательность кадров. Отметим, что данный подход позволяет избавиться от шумов, выделить динамические признаки на статическом изображении и выявить временную составляющую последовательности. В ходе исследования было проанализировано влияние предобработки кадров на результаты работы нейронных сетей обнаружения объектов. В результате тестирования выбрана модель нейронной сети Efficient-D1 c вычитанием фона, обработкой кадра по Гауссу и переводом изображения в один канал.
Анализ последовательности кадров уменьшает ошибки ложных обнаружений и расширяет возможности обнаружения малозаметных дымовых облаков. Применение данного подхода требует объединения прогнозов с последовательности изображений на одном кадре для получения результирующего прогноза. С этой целью предложен алгоритм объединения прогнозов. В работе приведен сравнительный анализ работы алгоритмов NMS, Soft-NMS и алгоритма кластеризации прогнозов. В результате тестирования подтверждена результативность предлагаемого алгоритма, получено качественное улучшение обнаружения объектов и локализации обнаруженных объектов на кадре.
Итоговая точность системы на тестовой выборке (79 записей с пожарами, 79 записей без пожаров) составила: Precision - 98%, Recall - 97%, Accuracy - 98%%, TP - 78 шт., FP - 2 шт., FN - 1 шт.,
TN - 78 шт. Тестовые данные были получены с реальных объектов наблюдения, что позволяет говорить о высокой эффективности системы.
Список источников
1. Васильев А.С., Краснящих А.В., Коротаев В.В. и др. Математическая модель лесного пожара как источника
инфракрасного излучения // Известия вузов. Приборостроение. 2013. Т. 56, № 7. С. 44-49.
2. Гришин А.М. О математическом моделировании природных пожаров и катастроф // Вестник Томского государственного
университета. Математика и механика. 2008. № 2 (3). С. 105-114.
3. Govil K., Welch M.L., Ball J.T., Pennypacker C.R. Preliminary results from a wildfire detection system using deep learning on
remote camera images // Remote Sens. Multidisciplinary Digital Publishing Institute. 2020. V. 12 (1). Art. 166. Р. 1-15.
4. Dewangan A., Pande Y., Braun H.-W. et al. FIgLib & SmokeyNet: Dataset and Deep Learning Model for Real-Time Wildland
Fire Smoke Detection // Remote Sens. MDPI. 2022. V. 14 (4). Art. 1007.
5. Alexandrov D., Pertseva E., Berman I., Pantiukhin I. Analysis of machine learning methods for wildfire security monitoring with
an unmanned aerial vehicles // Conf. Open Innov. Assoc. Fruct. IEEE Computer Society. 2019. V. 2019, April. P. 3-9.
6. Kolpashchikov D. et al. Inverse Kinematics for Steerable Concentric Continuum Robots // Proc. of 14th International Conference
on Electromechanics and Robotics "Zavalishin's Readings". Smart Innovation, Systems and Technologies. Singapore : Springer, 2020. P. 89-100.
7. Laptev N., Laptev V., Gerget O., Kolpashchikov D. Integrating Traditional Machine Learning and Neural Networks for Image
Processing // CEUR Work. Proc. 31. GraphiCon 2021 - Proc. 31st Int. Conf. Comput. Graph. Vision. 2021. P. 896-904.
8. Nevada Seismological Laboratory. URL: https://www.youtube.com/user/nvseismolab/about (accessed: 02.12.2020).
9. Nevada Seismological Laboratory, University of Nevada. URL: http://www.seismo.unr.edu/ (accessed: 02.12.2020).
10. Wildfire Observers and Smoke Recognition. URL: http://wildfire.fesb.hr (accessed: 19.11.2020).
11. СГБУ «Пермский лесопожарный центр». URL: https://www.youtube.com/channel/UCsKn1hQgGh5n7NGoqLNoh_Q/videos (дата обращения: 19.11.2020).
12. Cameras from various HPWREN related sites. URL: http://hpwren.ucsd.edu/cameras/ (accessed: 16.04.2022).
13. Supervisely - web platform for computer vision. Annotation, training and deploy. URL: https://supervise.ly/ (accessed: 02.12.2020).
14. Tan M., Pang R., Le Q.V. EfficientDet: Scalable and efficient object detection // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2020. P. 10778-10787.
15. Liu S., Qi L., Qin H. et al. Path aggregation network for instance segmentation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. P. 8759-8768.
16. Redmon J., Farhadi A. Y0L09000: Better, faster, stronger // Proc. 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017. Institute of Electrical and Electronics Engineers Inc., 2017. V. 2017, January. P. 6517-6525.
17. Lin T.-Y. et al. Feature pyramid networks for object detection // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2017. P. 2117-2125.
18. Lin T.-Y. et al. Focal Loss for Dense Object Detection // 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017. V. 42 (2). P. 2999-3007.
19. Szegedy C. et al. Inception-v4, inception-ResNet and the impact of residual connections on learning // 31st AAAI Conference on Artificial Intelligence. 2017. P. 4278-4284.
20. Pan H., Badawi D., Cetin A.E. Computationally efficient wildfire detection method using a deep convolutional network pruned via Fourier analysis // Sensors. Multidisciplinary Digital Publishing Institute, 2020. V. 20 (10). Art. 2891.
References
1. Vasiliev, A.S. Krasnyashchikh, A.V., Korotaev, V.V. et al. (2013) Mathematical model of a forest fire as a source of infrared
radiation. Izvestiya vuzov. Priborostroenie - Journal of Instrument Engineering. 56(7). pp. 44-49.
2. Grishin, A.M. (2008) On mathematical modeling of natural fires and catastrophes. Vestnik Tomskogo gosudarstvennogo
universiteta. Matematika i mekhanika - Tomsk State University Journal of Mathematics and Mechanics. 2(3). pp. 105-114.
3. Govil, K., Welch, M.L., Ball, J.T. & Pennypacker, C.R. (2020) Preliminary results from a wildfire detection system using deep
learning on remote camera images. Remote Sens. Multidisciplinary Digital Publishing Institute. 12(1). Art. 166. pp. 1-15.
4. Dewangan, A., Pande, Y., Braun, H.-W. et al. (2022) FIgLib & SmokeyNet: Dataset and deep learning model for real-time
wildland fire smoke detection. Remote Sens. MDPI. 14(4). Art. 1007.
5. Alexandrov, D., Pertseva, E., Berman, I. & Pantiukhin, I. (2019) Analysis of machine learning methods for wildfire security
monitoring with an unmanned aerial vehicles. Conf. Open Innovation. Assoc. Fruct. IEEE Computer Society. April. pp. 3-9.
6. Kolpashchikov, D. et al. (2020) Inverse Kinematics for Steerable Concentric Continuum Robots. The Zavalishin's Readings.
Smart Innovation, Systems and Technologies. Proc. of 14th International Conference on Electromechanics and Robotics. Singapore: Springer. pp. 89-100.
7. Laptev, N., Laptev, V., Gerget, O. & Kolpashchikov, D. (2021) Integrating traditional machine learning and neural networks
for image processing. CEUR Work. Proceedings. 31. Сер. "GraphiCon 2021 - Proc. 31st Int. Conf. Comput. Graph. Vision. pp. 896-904.
8. Youtube. (n.d.) Nevada Seismological Laboratory. [Online] Available from: https://www.youtube.com/user/nvseismolab/about
(Accessed: 2nd December 2020).
9. Youtube. (n.d.) Nevada Seismological Laboratory, University of Nevada. [Online] Available from: http://www.seismo.unr.edu/
(Accessed: 2nd December 2020).
10. Wildfire Observers and Smoke Recognition. Home Page. [Online] Available from: http://wildfire.fesb.hr (Accessed: 19th November 2020).
11. Youtube. (n.d.) Permskiy lesopozharnyy tsentr [Perm Forest Fire Center]. [Online] Available from: https://www.youtube.com/ channel/UCsKn1hQgGh5n7 NGoqLNoh_Q/videos (Accessed: 19th November 2020).
12. HPWREN. (n.d.) Cameras from various HPWREN related sites. [Online] Available from: http://hpwren.ucsd.edu/cameras/ (Accessed: 16th April 2022).
13. Supervise.ly. (n.d.) Supervisely - a web platform for computer vision. Annotation, training and deploy. [Online] Available from: https://supervise.ly/ (Accessed: 2nd December 2020).
14. Tan, M., Pang, R. & Le, Q.V. (2020) EfficientDet: Scalable and efficient object detection. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society. pp. 10778-10787.
15. Liu, S., Qi, L., Qin, H. et al. (2018) Path aggregation network for instance segmentation. Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 8759-8768.
16. Redmon, J. & Farhadi, A. (2017) YOLO9000: Better, faster, stronger. Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017. Institute of Electrical and Electronics Engineers Inc. pp. 6517-6525.
17. Lin, T.-Y. (2017) Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 2117-2125.
18. Lin, T.-Y. (2017) Focal Loss for Dense Object Detection. 2017 IEEE International Conference on Computer Vision (ICCV). IEEE. 42(2). pp. 2999-3007.
19. Szegedy, C., Ioffe, S., Vanhoucke, V. & Alemi, A. (2017) Inception-v4, inception-ResNet and the impact of residual connections on learning. 31st AAAI Conference on Artificial Intelligence. pp. 4278-4284.
20. Pan, H., Badawi, D. & Cetin, A.E. Computationally efficient wildfire detection method using a deep convolutional network pruned via Fourier analysis. Sensors. 20(10). Art. 2891.
Информация об авторах:
Лаптев Никита Витальевич - инженер научно-образовательной лаборатории обработки и анализа больших данных Национального исследовательского Томского политехнического университета (Томск, Россия). E-mail: nikitalaptev77@gmail.com Гергет Ольга Михайловна - профессор, доктор технических наук, ведущий научный сотрудник Института проблем управления им. В.А. Трапезникова РАН (Москва, Россия). E-mail: olgagerget@mail.ru.
Лаптев Владислав Витальевич - аспирант отделения информационных технологий Томского политехнического университета; инженер лаборатории «Бионические цифровые платформы» Сибирского государственного медицинского университета (Томск, Россия). E-mail: vvl39@tpu.ru
Кравченко Андрей Александрович - магистрант отделения информационных технологий Томского политехнического университета (Томск, Россия). E-mail: aak224@tpu.ru
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
Information about the authors:
Laptev Nikita V (Engineer of Laboratory «Big Data Processing and Analysis», National Research Tomsk Polytechnic University, Tomsk, Russian Federation). E-mail: nikitalaptev77@gmail.com
Gerget Olga M. (Doctor of Technical Sciences, Leading Researcher, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Science, Moscow, Russian Federation). E-mail: olgagerget@mail.ru
Laptev Vladislav V. (Post-graduate Student, National Research Tomsk Polytechnic University, Engineer of Laboratory «Bionic Digital Platforms», Siberian State Medical University, Tomsk, Russian Federation). E-mail: vvl39@tpu.ru
Kravchenko Andrey A. (Master's Student, National Research Tomsk Polytechnic University, Tomsk, Russian Federation). E-mail: aak224@tpu.ru
Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.
Поступила в редакцию 29.10.2022; принята к публикации 09.06.2023 Received 29.10.2022; accepted for publication 09.06.2023
