CC BY
84
научная статья _ искусственный интеллект, интеллектуальные системы, нейронные сети
удк 004.932.72'1, 004.89 d 10.25209/2079-3316-2022-13-1-195-213
Свёрточные нейронные сети для решения задач обнаружения пожаров по данным аэрофотосъемки
Данияр Исатаевич Калиевм, Ольга Яковлевна Швец
Восточно-Казахстанский технический университет имени Д. Серикбаева, Усть-Каменогорск, Казахстан
daniyar.kaliyev96@gmail.comM (подробнее об авторах на с. 211)
Аннотация. В работе представлены результаты применения новой структуры свёрточных нейронных сетей (СНС) для обнаружения пожаров на основе аэрофотоснимков. Сформирован обучающий набор данных на основе видеозаписей пожаров, снятых с воздуха в различных условиях. Показано, что предлагаемая свёрточная нейронная сеть достаточно хорошо работает в области обнаружения пожара. Представлены результаты экспериментов на реальных видеопоследовательностях. Предложенный подход обеспечивает высокую точность(ргес1вюп) 94,78%, полноту(геса11) 92,97%, Fl-меру 95,42% и хорошие показатели IoU (Intersection over Union), что позволяет сделать вывод об эффективности использования предлагаемой СНС для обнаружения пожаров. (see English abstract on p. 212)
Ключевые слова и фразы: свёрточные нейронные сети, обнаружение пожара, обработка изображения
Для цитирования: Калиев Д. И., Швец О. Я. Свёрточные нейронные сети для решения .задач обнаружения пожаров по данным аэрофотосъемки // Программные системы: теория и приложения. 2022. Т. 13, № 1(52). С. 195-213. http://psta.psiras.ru/read/psta2022_1_195-213.pdf
Введение
Обнаружение пожара на ранней стадии до его перерастания в катастрофическое событие имеет решающее значение для нейтрализации пожаров и спасения жизни и имущества людей. Из-за быстрого распространения пожара, важно обнаружить его на стадии первых проявлений огня. Датчики, установленные в помещениях, работают
© Калиев Д. И., Швец О. Я.^^^^^^^^Н^^^Ею-НШ
хорошо, когда пламя имеется уже некоторое время, и образовалось достаточное количество дыма для срабатывания сигнализации. Датчики обнаруживают присутствие частиц, образующихся в результате дыма и огня, путем ионизации, для чего требуется непосредственная близость к огню. Эти устройства не могут быть применены в больших масштабах на открытом воздухе, например, в лесу. Более того, они не могут предоставить информацию о начальном местонахождении пожара, направлении распространения дыма, размере, скорости роста пожара и т.д. Спутниковые системы, стационарные удаленные камеры и пилотируемые самолеты — это обычные технологии дистанционного мониторинга пожаров для предоставления информационных данных о бедствиях. Однако эти технологии имеют ряд ограничений с точки зрения стоимости, временного и пространственного разрешения. Для преодоления этих ограничений и расширения возможностей традиционных систем, перспективно использование возможностей беспилотных летательных аппаратов (далее БПЛА). В последние годы, с постоянным развитием технологий, БПЛА стали применяться во многих областях, таких как метеорологическое обнаружение, мониторинг стихийных бедствий, инспекция линий электропередач и спасательных операций [1]. В частности, легкие и малогабаритные БПЛА отличаются низкой стоимостью, простотой в эксплуатации и гибкостью маневрирования. По сравнению с тепловизионными системами, инфракрасными и многоспектральные датчиками, беспилотные летательные аппараты, оснащенные обычными камерами для исследования пожаров, имеют ряд преимуществ - низкая цена, простота эксплуатации и т.п.
В этой работе мы предложили метод обнаружения пожара на основе технического зрения, который может работать с нестационарной камерой. Предлагаемая система может быть установлена на БПЛА для обнаружения лесных пожаров. Она разработана на основе технического зрения и захватывает изображения с камер, оперативно обнаруживает возгорание, что делает её применимой для раннего обнаружения пожара. В связи с быстрым развитием технологий цифровых камер и методов обработки видео, существует значительная тенденция к замене стандартных подходов обнаружения пожара системами на основе компьютерного зрения. Методы, использующие видео, хорошо подходят для обнаружения пожаров на больших и открытых пространствах. Благодаря этим системам можно анализировать поведение пожара и
выполнять трехмерную локализацию возгорания. В настоящее время в различных местах устанавливаются системы видеонаблюдения, которые осуществляют наблюдение в помещениях и на улице. В этом случае выгодно разрабатывать систему видеонаблюдения за возгоранием, в которой можно было бы использовать это существующее оборудование без каких-либо дополнительных затрат [2].
В литературе [3] описано несколько методов технического зрения обнаружения пожара. В первую очередь используются цветовые модели, обнаружение движения, пространственные и временные характеристики, поскольку огонь имеет очень специфические свойства по сравнению с другими объектами. Почти все предложенные подходы следуют алгоритму обнаружения, в котором сначала находят движущиеся пиксели с помощью вычитания фона, а затем применяют цветовую модель, чтобы найти объекты, имеющие цвет огня. Эти области дополнительно анализируются в пространственном и временном разрешении, чтобы обнаружить нерегулярные и мерцающие характеристики огня. Поскольку движение является доминирующей особенностью, эти методы работают только со стационарной камерой. Предлагаемый нами в данной работе подход не ограничен такими ограничениями. Мы используем современный метод обучения для изучения представлений функций из данных и обучения классификаторов обнаружения очагов возгорания. В частности, мы используем свёрточные нейронные сети в качестве обучающей машины.
В последнее время свёрточные нейронные сети успешно применяются в распознавании изображений в видеопоследовательностях и достигли более высокой точности, чем традиционные методы. Использование СНС для обнаружения пожара может обеспечить лучшую точность, чем обычные методы, так как СНС автоматически изучает набор визуальных функций на основе данных обучения [4]. Благодаря многоуровневой структуре сети нейронная сеть может реализовывать аппроксимацию сложных функций и представлять характеристики распределения входных данных. Свёрточная нейронная сеть уменьшает количество параметров за счет распределения весов локальных значений и их объединения для повышения эффективности обучения. Характеристики СНС обеспечивают определенные преимущества в обработке визуальных, особенно для многомерных входных векторных изображений, которые могут быть напрямую введены в модель,
что позволяет избежать сложностей восстановления данных при извлечении признаков. Количество работ, посвященных обнаружению пожаров в литературе, постоянно растет. Исследования, сыгравшие значительную роль в разработке полезных алгоритмов обнаружения пожаров по видеоданным, можно найти в [5]. Свёрточные нейронные сети зарекомендовали себя как современный подход для многих задач компьютерного зрения, например, для распознавания объектов [6], обнаружения [7], семантической сегментации [8].
1. Предлагаемый метод
В этой работе мы предлагаем архитектуру свёрточной нейронной сети, которая показывает хорошие результаты по классификации изображений [6]. Получение изображения — это первый шаг в процессе обработки цифрового изображения. Камера БПЛА подключается к компьютеру через высокочастотный передатчик, где с помощью нейронной сети выполняется обработка изображений для идентификации пожара. Перед обнаружением требуется предварительная обработка данных, такая как улучшение изображения и фильтрация, поскольку на видеоизображения влияет среда обнаружения и неравномерное освещение. В процессе улучшения цифрового изображения настраивается его яркость и контрастность, производится удаление шума и повышение резкости изображения. Основная цель операции улучшения - усилить детали изображения и сделать кадр более подходящим для отображения характеристик пожара и дальнейшего анализа [9].
Далее обработка данных происходит в два этапа - обучение и тестирование. На этапе обучения анализируется множество видеоизображений, преобразованных в определенные цветовые пространства, в которых могут содержаться области огня и дыма. Таким образом классификатор обучается по набору данных. Основной алгоритм работает по этапам, которые представлены на рисунке 1. Предлагаемая система состоит из двух разных нейронных сетей, одна для классификации огня, а вторая для дыма. В качестве входа используется кадр из видеопоследовательности, а выходные данные алгоритма представляют решение, присутствует ли пожар в видеопоследовательности или нет. Результатом являются вероятности для трех классов, т. е. огня, дыма и отсутствия огня или дыма. Оценка максимальной вероятности
Рисунок 1. Алгоритм обнаружения пожара с помощью СНС
между тремя классами принимается за окончательную метку данного тестового изображения.
2. Структура СНС
Свёрточная нейронная сеть — это вид нейронной сети, который сочетает в себе искусственную нейронную сеть и технологию глубокого обучения. Каждый уровень СНС содержит множество двумерных планов признаков, каждый из которых включает в себя множество независимых нейронов. СНС состоит из разных видов слоев: свёрточные, подвыборочные и полносвязные слои. Свёрточный слой - основной строительный блок СНС. В свёрточных слоях выполняется операция свертки, где на ввод подается изображение, а вывод представляет собой карту признаков. Свёрточный слой представляет из себя набор карт (или карты признаков), у каждой карты есть ядро сканирования
(синаптическое ядро или фильтр). Количество карт определяется требованиями к задаче, если взять большое количество карт, то повысится качество распознавания, но увеличится вычислительная сложность. Исходя из анализа научных статей, в большинстве случаев предлагается брать соотношение один к двум, то есть каждая карта предыдущего слоя связана с двумя картами свёрточного слоя [10]. Вычисления размера всех карт свёрточного слоя производится по формуле (1):
(1)
(т, Н) = (ш¥ - кШ +1, тН - кН +1)
где (т, Н) - вычисляемый размер свёрточной карты; тШ - ширина предыдущей карты; тН - высота предыдущей карты; кШ - ширина ядра; кН - высота ядра. Ядро СНС представляет из себя фильтр или окно, которое скользит по всей области предыдущей карты и находит определенные признаки объектов. Размер ядра подбирается в диапазоне от 3 х 3 до 7 х 7. Если размер ядра выбран маленьким, то оно не сможет выделить какие-либо признаки, если слишком большое, то увеличивается количество связей между нейронами. После каждого свёрточного слоя может быть слой субдискретизирующие слои (или подвыборочные слои). Есть несколько способов сделать эти слои, например, взяв среднее или максимальное значение, или выученную линейную комбинацию нейронов в блоке. Подвыборочный слой также имеет карты, но их количество совпадает с предыдущим (свёрточным) слоем. Цель операции подвыборки (или МахРооИ^ -выбор максимального) - уменьшение размерности карт предыдущего слоя, пример которого показан на рисунке 2. Если на предыдущем слое
5 7 0 4
4 3 1 2
4 8 7 5
0 2 3 2
подвыборка с фильтром 2x2
шаг 2 -►
7 4
8 7
X
Рисунок 2. Операция подвыборки (субдискретизации) с фильтром 2х2
свёртки уже были выявлены некоторые признаки, то для дальнейшей обработки нет необходимости такой подробности изображения, и оно уплотняется до менее подробного размера.
Отметим, что ядра подвыборочного слоя (фильтр) не пересекаются в процессе сканирования, в отличие от свёрточного слоя. Если мы выберем ядро с размером 2 х 2, это позволяет уменьшить размер предыдущих карт свёрточного слоя в 2 раза. Свёрточные и подвыбо-рочные слои объединяются и передаются на полносвязную нейронную сеть, которая также может состоять из нескольких слоёв. Система перестраивается от конкретной сетки пикселей с высоким разрешением к более абстрактным картам признаков. Цель полносвязного слоя — классификация, моделирование сложной нелинейной функции, оптимизируя которую, улучшается качество распознавания.
В свёрточных нейронных сетях каждый слой действует как фильтр обнаружения наличия определенных функций или шаблонов, присутствующих в исходных данных. Первые уровни СНС обнаруживают особенности, которые можно относительно легко распознать и интерпретировать. Более поздние слои обнаруживают более абстрактные объекты. Последний уровень СНС может выполнять сверхспецифичную классификацию, комбинируя все специфические особенности, обнаруженные предыдущими уровнями во входных данных. В следующем разделе представлена предлагаемая структура СНС для видеообнаружения пожара и дыма. Выходной слой связан со всеми нейронами предыдущего слоя. Количество нейронов соответствует количеству распознаваемых классов, то есть двум - положительному и отрицательному. Для уменьшения вычислений и количества связей можно использовать один выходной нейрон, со значением 1 и -1 для бинарного случая [10].
3. Предлагаемая структура СНС для обнаружения пожаров
Свёрточная нейронная сеть для распознавания пожаров на изображении содержит вход, свёрточные слои, полносвязные слои, выход. Мы используем структура классификации является классической для свёрточной нейронной сети, сочетающей свертку и слоев подвыборки. Однако для быстрой классификации мы выбираем небольшую сеть. На рисунке 3 показаны двенадцать слоев СНС. Цветное ИОВ-изображение
СС-1 СС-2
ВС
ПС-1 СС-3 СС-4
л1
ПС-2 СС-5 СС-6
ПС-3
-1-
Обнаружение признаков
Огонь или дым обнаружен Не обнаружен
Классификация
Рисунок 3. Структура предлагаемой СНС для обнаружения пожара (ВС - входной слой, СС-1,...,СС-6 - свёрточные слои, ПС-1,...,ПС-3 - подвыборочные слои)
проходит последовательно две свёрточные операции с размером ядра 9x9, 5х5, 3х3. Слои подвыборки 3x3 с шагом 3 следует за вторым и червёртым свёрточным слоем, а последний подвыборочный слой с размером ядра 2х2 с шагом 2. Параметры каждого слоя СНС представлены на рисунке 4.
О
Вход СС-1 СС-2 ПС-1 СС-3
256*256 *3 248*248 [9*9] 240*240 [9*9] 80*80 [3*3] 76*76 [5*5]
СС-4 ПС-2 СС-5 СС-6 ПС-3
72*72 [5*5] 24*24 [5*5] 22*22 [3*3] 20*20 [3*3] 10*10 [2*2]
о
Рисунок 4. Модель параметров СНС (СС-1,...,СС-6 -свёрточные слои, ПС-1,...,ПС-3 - подвыборочные слои)
Одним из важных этапов разработки нейронной сети является выбор функции активации нейронов слоя. Функция активации — это нелинейное преобразование входного сигнала. Этот преобразованный вывод затем отправляется следующему слою нейронов в качестве ввода. Выбор функции активации в основном определяет метод обучения и функциональные вожможности системы. Классический алгоритм обратного распространения ошибки отлично работает на нейронных сетях с двумя и тремя слоями, но при увеличении глубины карты появляются затруднения (например, затухание градиентов). Поэтому по мере распространения ошибки от выходного слоя к входному на каждом слое происходит дополнительное умножение текущего результата на производную функции активации. Поэтому в работе [11] авторы выбрали функцию ИеЬи, так как одним из самых больших преимуществ И,еЬи перед другими функциями активации является то, что он не активирует все нейроны одновременно. Из рисунка 5 для функции ИеЬи показано, что она преобразует все отрицательные входные данные в ноль, и нейрон не активируется. Это делает его
Рисунок 5. Функции активации RELU и с RELU c утечкой
эффективным с точки зрения вычислений, поскольку за один раз активируется несколько нейронов, и в положительной области он не насыщается. Например, вычисление сигмоиды и гиперболического тангенса требует выполнения ресурсоёмких операций, таких как возведение в степень, в то время как ReLU может быть реализован с помощью простого порогового преобразования матрицы активаций в нуле. На практике ReLU сходится в шесть раз быстрее, чем функции активации гиперболического тангенса и сигмоиды [12].
Некоторым недостатком ReLU является то, что он насыщен в отрицательной области, это означает, что градиент в этой области равен нулю. Например, большой градиент, проходящий через ReLU, может привести к такому обновлению весов, что данный нейрон больше не активируется, и с данного момента градиент, проходящий через
f(y)=0
f(y)=y
f(y)=ay
этот нейрон, будет равен нулю. Если градиент равен нулю, во время обратного распространения все веса не будут обновляться. Чтобы нивелировать этот недостаток, в нашей работе используется ReLU с «утечкой» (или leaky ReLU, LReLU). Обычный ReLU на интервале x < 0 дает на выходе ноль, в то время как LReLU имеет на этом интервале небольшое отрицательное значение (угловой коэффициент около 0,01). То есть функция для LReLU имеет вид f (x) = ax при x < 0 и f (x) = x при x > 0, где a - малая константа.
4. Оценка классификатора
В большинстве литературных источников сообщается об оценке точности классификации изображений с пожаром и без пожара. В этом разделе эффективность нашего подхода оценивается с точки зрения локализации пожара и понимания наблюдаемой сцены. Для оценки эффективности локализации пожара были рассчитаны показатели истинно положительных и ложных положительных результатов. Мы также рассчитали другие показатели, такие как Fl-мера, точность и полнота. Fl-мера представляет собой средневзвешенное значение точности и полноты, так как эти показатели учитывают как ложнополо-жительные, так и ложноотрицательные результаты. Точность(Ргес18юп) — это отношение правильно предсказанных положительных результатов к общему количеству положительных решений. Полнота(Recall) — это отношение правильно предсказанных положительных наблюдений ко всем наблюдениям текущего класса. Оценка результатов обнаружения произведено следующим образом: [13]:
TP
(2) Precision =
(3) Recall
(4) F1 =
TP + FP
TP TP + FN
2 x Precision x Recall
Precision + Recall
где TP - обозначает количество истинно-положительных результатов, TN - количество истино-отрицательных результатов, FP - количество ложно-положительных решений и FN - количество ложно-отрицательных результатов.
Распространенной метрикой для измерения производительности алгоритма обнаружения объектов является Intersection over Union (IoU), который позволяет количественно оценить результаты классификации. В нашей работе мы рассчитали средний IoU для каждого класса изображении (огонь и дым) тестового набора данных.
Как показано на рисунке 6, IoU представляет собой процент перекрытия между двумя блоками, то есть, истинным блоком (G) и прогнозируемым блоком (P), и рассчитывается с использованием уравнения, приведенного ниже [14]:
Рисунок 6. Расчет 1си между реальным (О) и обнаруженным результатом (Р)
(5)
UoC =
Intersection G П P
U nion
GP
5. Результаты экспериментов
В этом разделе описаны результаты проводимых экспериментов для проверки работоспособности нашей системы. Обучение моделей проводилось на следующих аппаратными характеристиками: процессоре AMD Ryzen 5 2600, 16 ГБ оперативной памяти DDR4 на частоте 3333 MHz, видеокарта NVidia GeForce RTX 2060 Super (архитектура Turing) с 8 ГБ встроенной графической памяти и операционная система
Windows 10. Полносвязные слои СНС обычно содержат наибольшее количество параметров, что может привести к переобучению. Чтобы предотвратить проблему переобучения, мы используем регуляризацию Dropout после каждого полносвязного слоя и финальной свертки. Для точной настройки полносвязных слоев мы обучаем модели с помощью оптимизатора Adam [15] с параметрами по умолчанию: а = 0.001, = 0.9, = 0.999, е = 10-8. Чтобы избежать переобучения, мы используем способ регуляризации Dropout с коэффициентом 0,25 после каждого полносвязного слоя, и уменьшение весовых коэффициентов (weight decay) A = 0.1. Размер пакета установлен на 16 изображений.
В научно-технической литературе, видеоматериалах и других источниках информации можно найти множество изображений, на которых отчетливо выделяются участки с огнём или дымом. В ходе выполнении работы проведен отбор таких исходных изображений аэросъёмки, где хроматические параметры позволяют визуально разделять их как сцены, содержащие или не содержащие области с огнём и дымом. Наш итоговый набор данных содержит 25 видеопоследовательностей: 17 из них содержат огонь и дым, 8 видео без огня и дыма. Общее количество кадров в наборе составило 2312 изображений с разрешением 256x256 пикселей. Подробные данные описаны в таблице 1. Для обучения
Таблица 1. Наборы данных, используемые в экспериментах по обнаружению пожаров на основе СНС
Категория Набор обучения Набор тестирования Общее
Огонь (положительное) 576 310 886
Огонь (отрицательное) 274 95 369
Дым (положительное) 485 256 741
Дым (отрицательное) 245 71 316
Огонь и дым (положительное) 573 319 892
Огонь и дым (отрицательное) 196 128 324
Общее 1580 732 2312
нейронной сети извлекаются изображения из видеопоследовательности с частотой дискретизации 4, то есть отбор одного кадра происходит каждые четыре кадров. Ввод входных данных осуществляется в виде изображений в формате JPEG. Примеры обнаружения огня показаны на рисунке 7, примеры дыма — на рисунке 8.
Рисунок 7. Примеры обнаружения огня
Рисунок 8. Примеры обнаружения дыма
Заключение
В этой статье был представлен метод обнаружения пожаров с применением свёрточных нейронных сетей. Предлагаемый алгоритм использует подход глубокого обучения на основе СНС с 12 слоями. Результаты экспериментальных работ показывают высокую точность 94,78%, полноту (recall) 92,97% и И-меру на уровне 95,42% при обнаружении огня и дыма (см. таблицу 2). В будущей работе мы
Таблица 2. Точность обнаружения пожара СНС на тестовом наборе данных
Предлагаемая СНС
Точность (Precision) 94,78%
Полнота (Recall) 92,97%
Fl-мера 95,42%
IoU сред. 0.71
планируем усовершенствовать метод за счет использования больших исходных данных. Мы также планируем установить предлагаемую систему обнаружения пожаров на БПЛА для обнаружения реальных пожаров.
Вклад авторов: Д. И. Калиев —85% (методология исследований, программирование, валидация, формальный анализ, проведение экспериментов, ресурсы, написание черновой версии, доработка и редактирование, визуализация кода); О. Я.Швец—15% (постановка задачи, доработка и редактирование, наставничество, администрирование).
Список литературы
[1] В. Н. Васюков, А. Ю. Зайцева, В. В. Бондаренко Система раннего обнаружения лесных пожаров — архитектура и алгоритмы // Доклады Академии наук высшей школы Российской Федерации.- 2015.- № 2(27).-
с. 43-56. 1196
[2] И. Р. Алиев, В. А. Павлов Применение алгоритмов компьютерного зрения для обнаружения и локализации пожаров на аэрофотоснимках // Сборник докладов 7.5-й научно-технической конференции Санкт-Петербургского НТО РЭС им. А. С. Попова, посвященной Дню радио (20-24 апреля, 2020, Санкт-Петербург, Россия).- 2020.- ISBN 978-5-76292646-1,- с. 225-228. url 197
[3] T. Zaman, M. Hasan, S. Ahmed, S. Ashfaq Fire detection using computer vision, 2018 IEEE 61st International Midwest Symposium on Circuits and Systems (MWSCAS) (5-8 Aug. 2018, Windsor, ON, Canada).- 2018,-pp. 356-359. tie?
[4] Q. Zhang, J. Xu, L. Xu, H. Guo Deep convolutional neural networks for forest fire detection // Proceedings of the 2016 International Forum on Management, Education and Information Technology Application, IFMEITA 2016 (30-31 January, 2016, Guangzhou, China), Advances in Social Science, Education and Humanities Research.- 2016- ISBN 978-94-6252-166-7 - pp. 568-575.
.URL 197
[5] P. Gomes, P. Santana, J. Barata A vision-based approach to fire detection // International Journal of Advanced Robotic Systems.- 2014.- Vol. 11.- No. 9, 149,- 12 pp. 198
[6] A. Krizhevsky, I. Sutskever, G. E. Hinton ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems 25.- V. 1, NIPS 2012 (3-6 December, 2012, Lake Tahoe, Nevada, USA), eds. F. Pereira, C. J. C. Burges, L. Bottou, K. Q. Weinberger, Red Hook:Curran Associates Inc..- 2012.- pp. 1097-1105. .url 'уш^ыв
[7] R. B. Girshick, J. Donahue, T. Darrell, J. Malik Rich feature hierarchies for accurate object detection and semantic segmentation, 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (23-24 June, 2014, Columbus, OH, USA).- 2014,- pp. 580-587. 198
[8] J. Long, E. Shelhamer, T. Darrell Fully convolutional networks for semantic segmentation, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (7-12 June, 2015, Boston, MA, USA).- 2015,- pp. 34313440. I 1198
[9] Y. Chen, Y. Zhang, J. Xin, G. Wang, L. Mu, Y. Yi, H. Liu, D. Liu UAV image-based forest fire detection approach using convolutional neural network, 2019 14th IEEE Conference on Industrial Electronics and Applications (ICIEA) (19-21 June 2019, Xi'an, China).- 2019,- pp. 2118-2123. 198
[10] Тарик Рашид Создаем нейронную сеть: Вильямс.- 2018.- ISBN 978-5-9909445-7-2.- 272 с. ^200, 201
[11] J. Gotthans, T. Gotthans, R. Marsalek Deep convolutional neural network for fire detection, 2020 30th International Conference Radioelektronika (RADIOELEKTRONIKA) (5-16 April 2020, Bratislava, Slovakia).- 2020,-pp. 1-6. 203
[12] X. Bing, N. Wang, T. Chen, M. Li Empirical evaluation of rectified activations in convolutional network.- 2015.- 5 pp. arXivtyJ 1505.00853 [cs.LG] 203
[13] Y. Valikhujaev, A. Abdusalomov, Y. I. Cho Automatic fire and smoke detection method for surveillance systems based on dilated CNNs // Atmosphere.-2020,- Vol. 11. No. 11, 1241,- 15 pp. 204
[14] Nipun D. Natha, Amir H. Behzadanb, Stephanie G. Paala Deep learning for site safety: Real-time detection of personal protective equipment // Automation in Construction.- 2020,- Vol. 112, 103085,- 20 pp. 205
[15] Diederik P. Kingma, Jimmy Ba Adam: A method for stochastic optimization.-2015.- 15 pp. arXivgJ 1412.6980 [cs.LG] 206
Поступила в редакцию 31.01.2022;
одобрена после рецензирования 05.02.2022; принята к публикации 18.02.2022.
Рекомендовал к публикации
prof. И. В. Расина
Информация об авторах:
Данияр Исатаевич Калиев
Докторант Восточно-Казахстанского Технического унвер-ситета имени Д.Серикбаева. Область научных интересов: программирование, автоматизация, обработка изображения, машинное обучение.
0000-0001-7281-2022 e-mail: daniyar.kaliyev96@gmail.com
Ольга Яковлевна Швец
Кандидат технических наук (PhD), ассоциированный профессор в Восточно-Казахстанском Техническом университете имени Д.Серикбаева. Область научных интересов: обработка цифровых изображений, программирование.
™ 0000-0001-5710-9056 e-mail: olga.shvets75@gmail.com
ISSN 2079-3316 PROGRAM SYSTEMS: THEORY AND APPLICATIONS vol. 13, No 1(52), pp. 195-213
Research Article _ artificial intelligence, intelligent systems, neural networks
udc 004.932.72'1, 004.89
10.25209/2079-3316-2022-13-1-195-213
Convolutional neural networks for solving fire detection problems based on aerial photography
Daniyar Issatayuly Kaliyev", Olga Yakovlevna Shvets
D. Serikbayev East Kazakhstan technical university, Oskemen, Kazakhstan
daniyar.kaliyev96@gmail.comM (learn more about the authors in Russian on p. 211)
Abstract. The paper presents the results of applying a new structure of convolutional neural networks (CNN) for fire detection based on aerial photographs. A training data set was formed based on aerial video files, taken in various conditions. They show that the proposed convolutional neural network performs quite well in the field of fire detection. The results of experiments on real video sequences are presented. The proposed approach provides high precision 94.78%, recall 92.97%, Fl-score 95.42% and IoU (Intersection over Union) value, that shows the effectiveness of the proposed CNN for fire detection. (In Russian).
Key words and phrases: convolutional neural networks, fire detection, image processing
2020 Mathematics Subject Classification: 68t20; 68t07, 68t45
For citation: Kaliyev D. I., Shvets O. Y. Convolutional neural networks for solving fire detection problems based on aerial photography // Program Systems: Theory and Applications, 2022, 13:1(52), pp. 195-213. (In Russian). http://psta.psiras.ru/read/psta2022_1_195-213.pdf
References
[1] V. N. Vasyukov, A. Yu. Zaytseva, V. V. Bondarenko. "Sistema rannego obnaruzheniya lesnykh pozharov — arkhitektura i algoritmy", Doklady Akademii nauk vysshey shkoly Rossiyskoy Federatsii, 2015, no. 2(27), pp. 43-56.
d ^ 196
[2] I. R. Aliyev, V. A. Pavlov "Primeneniye algoritmov komp'yuternogo zreniya dlya obnaruzheniya i lokalizatsii pozharov na aerofotosnimkakh", Sbornik dokladov 75-y nauchno-tekhnicheskoy konferentsii Sankt-Peterburgskogo NTO R-YeS im. A. S. Popova, posvyashchennoy Dnyu radio (20-24 aprelya, 2020, Sankt-Peterburg, Rossiya), 2020, ISBN 978-5-7629-2646-1, pp. 225-228. (url 197
[3] T. Zaman, M. Hasan, S. Ahmed, S. Ashfaq. "Fire detection using computer vision", 2018 IEEE 61st International Midwest Symposium on Circuits and Systems (MWSCAS) (5-8 Aug. 2018, Windsor, ON, Canada), 2018, pp. 356-359. tie?
© Kaliyev D. I., Shvets O. Y.
CMiMsflt«
[4] Q. Zhang, J. Xu, L. Xu, H. Guo "Deep convolutional neural networks for forest fire detection", Proceedings of the 2016 International Forum on Management, Education and Information Technology Application, IFMEITA 2016 (30-31 January, 2016, Guangzhou, China), Advances in Social Science, Education and Humanities Research, 2016, ISBN 978-94-6252-166-7, pp. 568-575. .url.
197
[5] P. Gomes, P. Santana, J. Barata. "A vision-based approach to fire detection", International Journal of Advanced Robotic Systems, 11:9 (2014), 149, 12 pp.
d ^198
[6] A. Krizhevsky, I. Sutskever, G. E. Hinton "ImageNet classification with deep convolutional neural networks", Advances in Neural Information Processing Systems 25. V. 1, NIPS 2012 (3-6 December, 2012, Lake Tahoe, Nevada, USA), eds. F. Pereira, C. J. C. Burges, L. Bottou, K. Q. Weinberger, Curran Associates Inc., Red Hook, 2012, pp. 1097-1105. url url 198
[7] R. B. Girshick, J. Donahue, T. Darrell, J. Malik. "Rich feature hierarchies for accurate object detection and semantic segmentation", 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (23-24 June, 2014, Columbus, OH, USA), 2014, pp. 580-587. d ' 198
[8] J. Long, E. Shelhamer, T. Darrell. "Fully convolutional networks for semantic segmentation", 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (7-12 June, 2015, Boston, MA, USA), 2015, pp. 3431-3440. i 1198
[9] Y. Chen, Y. Zhang, J. Xin, G. Wang, L. Mu, Y. Yi, H. Liu, D. Liu. "UAV image-based forest fire detection approach using convolutional neural network", 2019 14th IEEE Conference on Industrial Electronics and Applications (ICIEA) (19-21 June 2019, Xi'an, China), 2019, pp. 2118-2123. d ws
[10] Tarik Rashid Sozdayem neyronnuyu set', Vil'yams, 2018, ISBN 978-5-99094457-2, 272 pp. 200 201
[11] J. Gotthans, T. Gotthans, R. Marsalek. "Deep convolutional neural network for fire detection", 2020 30th International Conference Radioelektronika (RADIOELEKTRONIKA) (5-16 April 2020, Bratislava, Slovakia), 2020, pp. 1-6. 203
[12] X. Bing, N. Wang, T. Chen, M. Li Empirical evaluation of rectified activations in convolutional network, 2015, 5 pp. arXivJgf 1505.00853 [cs.LG] 203
[13] Y. Valikhujaev, A. Abdusalomov, Y. I. Cho. "Automatic fire and smoke detection method for surveillance systems based on dilated CNNs", Atmosphere, 11:11 (2020), 1241, 15 pp. 204
[14] Nipun D. Natha, Amir H. Behzadanb, Stephanie G. Paala. "Deep learning for site safety: Real-time detection of personal protective equipment", Automation in Construction, 112 (2020), 103085, 20 pp. 205
[15] Diederik P. Kingma, Jimmy Ba Adam: A method for stochastic optimization, 2015, 15 pp. ai'XivK 1412.6980 [cs.LG] 206
