CC BY
1
УДК 004.9 https://doi.org/10.35546/kntu2078-4481.2021A8
Н.В. ГОЛОВ1НА
Херсонський нацюнальний техшчний ушверситет
ORCID: 0000-0003-0985-0135 О.М. ЛЯШЕНКО
Херсонський нацiональний техшчний ушверситет
ORCID: 0000-0002-5429-8389
ДОСЛ1ДЖЕННЯ МЕТОД1В СПЕКТРАЛЬНОГО АНАЛ1ЗУ ЗОБРАЖЕНЬ ДЛЯ ДЕТЕКТУВАННЯ Л1СОВИХ ПОЖЕЖ З ВИКОРИСТАННЯМ ТЕХНОЛОГ1Й
ОБЧИСЛЮВАЛЬНОГО 1НТЕЛЕКТУ
У cmammi проведено до^дження Memodie спектрального aHani3y зображень для детектування лкових пожеж з використанням технологш обчислювального iнmeлeкmy. Для проведення спектрального аналiзy були використаш сyпymникoвi знмки лiсoвих пожеж з вiдкриmoгo джерела NASA Earth Observatory, яка е основним джерелом сyпymникoвих зображень та iншoï на}/ково1 тформацп, що сmoсyemься клiмаmy i навколишнього середовища, що надаються National Aeronautics and Space Administration для проведення широкого кола до^джень.
Для створення mрьoxвимiрнoï мoдeлi вогню 6уло використано iнсmрyмeнm Volume Segmenter пакemy MA TLAB, за допомогою якого 6уло видтено mрьoхвимiрнy зону вогню.
За допомогою тструменту Color Thresholder пакету MATLAB було сегментовано кольорове зображення вогню, встановлено пoрoгoвi значення для кoлiрних каналiв на oснoвi рiзних кoлiрних прoсmoрiв та створено бтарну маску сегментацШ для кольорового зображення.
Для створення нейронно'1' мeрeжi, що призначена для аналiзy зображення розповсюдження вогню було використано метод спряжених градieнmiв. Цей метод було обрано тому, що вiн не потребуе багато системно'1' пам'яmi, а також надае мoжливiсmь структурувати будь-як дат, постшно покращуючи сво'1' власmивoсmi. Для навчання мoдeлi було здшснено кшька прoхoдiв, щоб нейронна мережа показала максимально moчнi результати.
Результати до^дження будуть використаш для формування вeб-сeрвiсy у рeжимi реального часу, який буде фжсувати небезпечш природш явища, формувати сповщення та надавати рекомендацИ' для оперативно'1' лiквiдацiï ïx на^дюв.
Ключoвi слова: спектральний аналiз зображень, сyпymникoвi зншки лкових пожеж, метод спряжених градieнmiв, нeйрoннi мeрeжi, маска сегментацИ' кольорового зображення.
Н.В. ГОЛОВИНА
Херсонский национальный технический университет
ORCID: 0000-0003-0985-0135 Е.Н. ЛЯШЕНКО
Херсонский национальный технический университет
ORCID: 0000-0002-5429-8389
ИССЛЕДОВАНИЕ МЕТОДОВ СПЕКТРАЛЬНОГО АНАЛИЗА ИЗОБРАЖЕНИЙ ДЛЯ ДЕТЕКТИРОВАНИЯ ЛЕСНЫХ ПОЖАРОВ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ ВЫЧИСЛИТЕЛЬНОГО ИНТЕЛЛЕКТА
В статье проведено исследование методов спектрального анализа изображений для обнаружения лесных пожаров с использованием технологий вычислительного интеллекта. Для проведения спектрального анализа были использованы спутниковые снимки лесных пожаров из открытого источника NASA Earth Observatory, который является основным источником спутниковых изображений и другой научной информации, касающейся климата и окружающей среды, предоставляемой National Aeronautics and Space Administration для проведения широкого круга исследований.
Для создания трехмерной модели огня был использован инструмент Volume Segmenter пакета MATLAB, с помощью которого была выделена трехмерная зона огня.
С помощью инструмента Color Thresholder пакета MATLAB было сегментировано цветное изображение огня, установлены пороговые значения для цветовых каналов на основе различных цветовых пространств и создана бинарная маска сегментации для цветного изображения.
Для создания нейронной сети, предназначенной для анализа изображения распространения огня, был использован метод сопряженных градиентов. Этот метод был выбран потому, что он не требует
много системной памяти, а также предоставляет возможность структурировать любые данные, постоянно улучшая свои свойства. Для обучения модели было сделано несколько проходов, чтобы нейронная сеть показала максимально точные результаты.
Результаты исследования будут использованы для создания веб-сервиса в режиме реального времени, который будет фиксировать опасные природные явления, формировать уведомления и давать рекомендации для оперативной ликвидации их последствий.
Ключевые слова: спектральный анализ изображений, спутниковые снимки лесных пожаров, метод сопряженных градиентов, нейронные сети, маска сегментации цветного изображения.
N.V. HOLOVINA
Kherson National Technical University
ORCID: 0000-0003-0985-0135 O.M. LIASHENKO
Kherson National Technical University
ORCID: 0000-0002-5429-8389
RESEARCH OF SPECTRAL IMAGE ANALYSIS METHODS FOR DETECTING FOREST FIRES USING COMPUTER INTELLIGENT TECHNOLOGIES
The article studies the methods of spectral analysis of images for detecting forest fires using computer intelligence technologies. For spectral analysis, satellite images of wildfires from the open source NASA Earth Observatory were used, which is the main source of satellite images and other scientific information related to climate and the environment provided by the National Aeronautics and Space Administration for a wide range of research.
The Volume Segmenter tool of the MATLAB package was used to create a three-dimensional model of the fire, with the help of which a three-dimensional zone offire was selected.
The color image of the fire was segmented, threshold values for color channels were set based on different color spaces, and a binary segmentation mask was created for the color image, using the MATLAB Color Thresholder tool.
The conjugate gradient method was used to create a neural network for analyzing the image of the spread offire. This method was chosen because it does not require a lot of system memory, and also provides the ability to structure any data, constantly improving its properties. To train the model, several passes were carried out so that the neural network showed the most accurate results.
The results of the study will be used to create a web service in real time, which will record hazardous natural phenomena, generate notifications and make recommendations for the prompt elimination of their consequences.
Key words: spectral analysis of images, satellite images of forest fires, conjugate gradient method, neural networks, color image segmentation mask.
Постановка проблеми
Аналiз розвитку природних катастрофiчних явищ у всьому свт показуе, що, незважаючи на науково-техшчний прогрес, захищешсть людей i техносфери вщ природних небезпек не збшьшуеться. Кшьшсть жертв вш руйшвних природних явищ, до яких можна вшнести лiсовi пожеж в останш роки щорiчно збшьшуеться.
У даний час кнуе багато дослщжень з приводу того, що природш катастрофи е глобальною проблемою i одним з найважливших факторiв сталого розвитку економ^. При цьому не юнуе ушверсального ршення, яке було б направлене на тдвищення точносп прогнозування природних катастроф з метою !х зменшення та попередження.
Таким чином, актуальною науково-прикладною проблемою е розроблення методiв аналiзу зображень для детектування природних катастроф з використанням технологш обчислювального штелекту з метою !х запобтання та збереження життя людей, а також економiчних та шших структур.
AH^i3 останшх дослвджень i публшацш
Питаниями аналiзу зображень для детектування природних катастроф з використанням технологш обчислювального штелекту з метою !х запобтання та збереження життя людей займаеться автор роботи [2]. У щй робот вводиться суттево новий тдхвд «розробки за допомогою моделювання» для створення та впровадження алгоритму виявлення пожеж1 за допомогою TMS320DM642 DSP та MATLAB/Simulink. Модель алгоритму виявлення пожеж1 побудована в Simulink у виглядi графiчних блоков. Код C автоматично генеруеться з блок^аграм за допомогою Майстерт реального часу (RTW). Виконуваний файл, створений з коду C через c-комтлятор TI DSP, завантажуеться на цiльову плату DSP i реалiзуеться через DSP. Ця методологiя проектування вiдкривае бшьш легкий шлях для реатзаци складного алгоритму високого рiвня в цифровому сигнальному процесорi (DSP). Експериментальнi
результати показують, що запропонований пiдхiд не тшьки мае хорошi показники виявлення, але й ефективно спрощуе процес розробки.
У роботi [3] автор розглядае алгоритм виявлення пожежi на основi комп'ютерного зору. Запропонований алгоритм виявлення пожеж1 складаеться з двох основних частин: моделювання кольору вогню i виявлення напрямку його руху. Алгоритм можна використовувати паралельно зi звичайними системами виявлення пожеж1 для зменшення ризик1в помилкового виявлення тривоги. Його також можна розгортати як автономну систему виявлення пожеж1 за допомогою спецiальних датчиков через пристрш збору вiдео. Запропонована модель кольору вогню перевiрена з десятьма рiзноманiтними послiдовностями, включаючи рiзнi типи вогню. Експериментальт результати досить обнадiйливi з точки зору правильно! класифжацп пiкселiв вогню за кольором.
У робот [6] наведено методи геоiнформацiйного мониторингу. Геоiнформацiйний монiторинг застосовують для спостереження i гасiння л1сових пожеж. У робот також наведено опис космiчного монiторингу, який е складовою частиною геошформацшного монiторингу. У роботi наведено опис спецiалiзованоl шформацшно! системи мониторингу пожеж. Спецiалiзована iнформацiйна система мониторингу пожеж (С1СМП) забезпечуе збiр, збер^ання, обробку i поширення геоданих про пожеж1 в лiсах, умовах виникнення i розвитку лiсових пожеж, рiвнi 1х впливу на навколишне середовище, одержуваних на основi наземних, повггряних i космiчних засобiв i методiв спостереження за лiсовими пожежами i погодними умовами. Масштаб техшчно! реалiзацil ще! системи може бути вщ окремо! Г1С до ситуацiйного центру. 1нформацшна пiдтримка системи здiйснюеться на порталг Iнформацiя представлена у виглядi сукупностi таблиць, електронних тематичних карт i результатiв обробки супутникових зображень, як1 оперативно оновлюються на серверi в режимi реального часу.
Формулювання мети дослiдження Цю статтю спрямовано на дослiдження методiв аналiзу зображень для детектування природних катастроф з використанням технологiй обчислювального iнтелекту з метою !х запобiгання та збереження життя людей, а також економiчних та iнших структур.
Викладення основного MaTepia^y дослiдження Для проведения спектрального аналiзу були використанi супутниковi зтмки л1сових пожеж з вiдкритих джерел NASA Earth Observatory [1] (рис. 1).
Рис. 1. Зшмок лковоТ пожежi з вiдкритих джерел NASA Earth Observatory
Опис вогню було здшснено за допомогою napaMeipiB RGB, HSV, YCbCr, L*a*b*. Для аналiзу супутникових зшмшв було використано спектр мiж жовтим та червоними кольорами. Це означае, що коли колip вогню стае близьким до червоного i видiляе характерне свiтiння, можна використати цю властивють для його виявлення [4].
Сигнали YCbCr було отримано за рахунок обчислень гама-налаштованого зображення у фоpматi RGB за допомогою видшених констант KR, KG, KB таким чином [5]:
Y' = Kr*R' +Kc*G' + Кв* В',
(1)
_1 В' — Y'
Рв = ГТ-Гв (2)
_1 R' — Y'
(3)
У рiвняннi (1) коефщенти KR,KG та Кв визначають простiр RGB, де важливою характеристикою е таке рiвняння [5]:
Kr + Кс + Кв — 1
(4)
Рiвняння (4) видiляe кольорову матрицю за розрахунками. В рiвняннi (4) також використовуються символи гама-корекцп. Це означае, що значения И', С, В' номшально знаходяться в дiапазонi дп вщ 0 до 1. При цьому 0 означае мiнiмальиу iнтенсивнiсть зображення, а 1 - максимально можливе значення яскравостi. Також значення кольорового вщображення вогню може мати значення вiд -0,5 до +0,5 в залежносп вiд номiнального значення. Зворотнш процес перетворення також може бути легко отриманий за рахунок швертування дiйсного вiдображения. Перетворення вiдбуваеться за рахунок використання констант, що надае можливiсть отримати потрiбний результат при обчисленнях (рис. 3 -7).
На рис. 2 представлений графж вихщного зображення.
Рис. 2. Графи* вихiдного зображення
Рис. 3. Ко. мр1м маски для вщображеммя спектру вогню
Рис. 4. Зображення вогню в rae^pi RGB
Рис. 5. Зображення вогню в спектрi YCbCr
Рис. 6. Видшення зон активного вогню на зображенш
Рис. 7. Звуження дй спектру вогню
Створення mpboxeuMipHoiмодели
Для створення трьохвимiрноl моделi було використано шструмент Volume Segmenter в MATLAB. За допомогою даного шструменту було видшено трьохвимiрну зону вогню на зображенш, що аналiзуeться (рис. 8-10).
labels : | Slice
О ■ теш
Щ^^ШГ я
''ii'flMnR^l - * J
3-D Display х]
'''tf^^BBP'
Рис. 8. Сегмент 1
Рис. 9. Сегмент 2
Volume Segmenter - C:\Users\Good Dalek\Documents\MATLAB\labels.mat
Import Label Names ^ Default Соки Order
Red ф
Green Rotate Voxel Blue Slice» Info _INSPECT RESOURCES
■jf J A
Рис. 10. Сегмент 3
Бшарна маска сегментаци.
За допомогою шструменту Color Thresholder було сегментовано кольорове зображення вогню, встановлюючи пороговi значення для колiрних каналiв на основi рiзних колiрних просторiв. За допомогою цього методу було створено бшарну маску сегментаци для кольорового зображення.
Пор^ кольору тдтримуе сегментацiю в чотирьох колiрних просторах. У кожному колiрному просторi вiдображаються зображення, три кольоровi канали та значення кольору вах mкселiв як точки на тривимiрному граф^ колiрного простору. Було обрано кольори, що включеш до маски (рис. 11).
Рис. 11. Створення маски та видшення окремо'1 зони вогню на зображенш
Створення нейронно1 мережя.
Для створення нейронно1 мереж!, що призначена анал1зу зображення розповсюдження вогню було використано метод спряжених гращенпв (Scaled Conjugate Gradient). Цей метод було обрано тому, що вш не потребуе багато системно1 пам'ятi, а також надае можливють структурувати будь-як1 данi, постiйно покращуючи сво1 властивостi. Для навчання моделi було здiйснено калька проходiв, щоб нейронна мережа показала максимально точш результати. Метод спряжених градiентiв часто реалiзовуеться як iтерацiйний алгоритм, що застосовуеться до розрщжених систем, яш занадто велика, щоб обробляти 1х шляхом прямо1 реал1зацй' або iнших прямих методiв, таких як декомпозищя Холеського. Велика розрiдженi системи часто виникають при чисельному розв'язаннi часткових диференщальних рiвнянь або задачах ошгашзацл [7].
SCG-алгоритм не виконуе пошук по лiнiï на кожнiй ггерацд на вiдмiну вiд iнших алгорштшв спряженого градiента, як1 вимагають пошук на кожнш iтерацiï. SCG дозволяе уникнути важких операцiй.
В1СШИК ХШТУ №4(79), 2021р. ШФОРМАЦШШ1 ТЕХНОЛОГИ_
Функщя мережевого навчання даного алгоритму оновлюе вагу та значення змщення за методом масштабованого спряженого градiента. Вiн може тренувати будь-яку мережу, доки ïï вага, чистi вхвдш та передавальнi функцп мають похадш функцiй. В алгоритмi SCG розмiр кроку е функцiею квадратичного наближення функцiï помилки, що робить ïï бшьш надiйною i незалежною вш користувача з визначеними параметрами.
Розмiр кроку ощнюеться за допомогою iншого тдходу. Крок другого порядку обчислюеться таким чином [5]:
_ _Е'(шк+акрк)-Е'(шк) (5) sk -----+ ЛкРк ,
де Хк - це скалярна величина, яка з кожним кроком збшьшуеться.
Розмiр одного кроку розраховуеться за такою формулою:
= ßh = —PjT Е' дш^Уг) (6)
*к-5к - PjTE"(œ)Pj ,
де Ш - це ваговий коефщент у просторi, Е'(шк) позначае градiент помилки, Е'дш(уг) е позначенням квадратичного наближення функцп помилки, pj позначае набiр ненульових вагових векторiв. Хк оновлюеться з кожним кроком за формулою [5] :
Яь — 2 ( Хъ ^ ()
1 к — 2(Хк-\Рк\2)
iтерацil;
Навчання припиняеться, коли виникае будь-яка з таких умов:
1) досягнуто максимально! кшькосп епох;
2) перевищено максимальний час;
3) досягнуто необхадного результату;
4) градiент продуктивностi падае нижче мшмального значення;
5) показник перевiрки збшьшився бiльше, нiж максимальний час помилок з моменту останньо!
6) час його зменшення (при використаннi перевiрки). Результати представленi на рис. 12-16.
Рис. 12. Алгоритм навчання нейронно!' мережi
Рис. 13. r|)a<|)iK luiKoiiaiiiiu aлгоритму iiai'iainm
Рис.14. rpa|ÍK стaну iiai'iainm нейронно'1 мережi
Рис. 15. Графи* помилок
Рис. 16. Навчання нейронноТ мережi
Висновки
У CTarri дослiджено методи спектрального аналiзу зображень для детектування лiсових пожеж з використанням технологiй обчислювального штелекту. Для проведения спектрального аналiзу були використаш супутниковi знiмки лiсових пожеж з ввдкритих джерел NASA Earth Observatory. Для здшснення первинно! обробки зображень було використано пакет MATLAB.
Для створення трьохвимiрноï моделi було використано шструмент Volume Segmenter в MATLAB. За допомогою даного шструменту було видшено трьохвимiрну зону вогню на зображеннi, що аналiзуeться.
Для створення нейронноï мереж1 з аналiзу зображення розповсюдження вогню було використано метод спряжених градieнтiв. Для навчання моделi було здiйснено калька проходiв, щоб нейронна мережа показала максимально точш результати.
У подальших дослщженнях плануеться використати методи для фшсаци iнших небезпечних природних явищ, а також розробка рекомендацш щодо запобпання ïx настання. Результати дослiдження
будуть використаш для формування веб-сервiсу у режимi реального часу, що буде фжсувати небезпечнi природнi явища, формувати сповiщення та надавати рекомендацп для оперативно! лшыдацц !х наслiдкiв.
Список використаноТ лiтератури
1. Battling Wildfire and Pandemic, Ukraine Faces a New Foe: Landmines. URL: https://www.nytimes.com/2020/10/03/world/europe/ukraine-wildfires-landmines.html (дата звернення 15.09.2021).
2. Bingsong He, Xueping Zhao, Zhiguo Zhou and Zheyi Fan. Implementation of a Fire Detection Algorithm on TMS320DM642 DSP using MATLAB/Simulink. URL: https://www.researchgate.net/publication/266646537_Implementation_of_a_Fire_Detection_Algorithm_on_TM S320DM642_DSP_using_MATLAB Simulink (дата зверення 16.09.2021).
3. Turgay Celik. Fast and Efficient Method for Fire Detection Using Image Processing. URL: https://onlinelibrary.wiley.com/doi/pdf/10.4218/etrij.10.0109.0695 (дата звернення: 21.09.2021).
4. Журавль 1.М. Короткий курс теорп обробки зображень. URL: https://hub.exponenta.ru/post/kratkiy-kurs-teorii-obrabotki-izobrazheniy734 (дата звернення: 15.09.2021).
5. Кветний Р.Н., Богач 1.В., Бойко О.Р., Софина О.Ю., Шушура О.М. Комп'ютерне моделювання систем та процесiв. Методи обробки. Частина 2. URL: https://web.posibnyky.vntu.edu.ua/fksa/2kvetnyj_komp%27yuterne_modelyuvannya_system_procesiv/t2/zm2..h tm (дата звернення: 15.09.2021).
6. Лобанов А.А. Геошформацшний монiторинг пожеж. URL: https://cyberleninka.ru/article/n/geoinformatsionnyy-monitoring-pozharov/viewer (дата звернення: 01.10.2021).
7. Пггак 1.В., Негадайлов А.А., Маакевич Ю.Г., Пляцук Л.Д., Шапорев В.П., Моюеев В.Ф. Геоiнформацiйнi технологi! в екологп: Навчальний посiбник. Чернiвцi, 2012. 273 с. URL: https://geology.lnu.edu.ua/wp-content/uploads/2020/04/Ekolohichna-heoinformatyka_literatura-dlia-lektsiy.pdf (дата звернення: 01.10.2021).
References
1. Battling Wildfire and Pandemic, Ukraine Faces a New Foe: Landmines Available at: www.nytimes.com/2020/10/03/world/europe/ukraine-wildfires-landmines.html (accessed 15 September 2021).
2. Bingsong He, Xueping Zhao, Zhiguo Zhou and Zheyi Fan. Implementation of a Fire Detection Algorithm on TMS320DM642 DSP using MATLAB/Simulink. Available at: www.researchgate.net/publication/266646537_Implementation_of_a_Fire_Detection_Algorithm_on_TMS320D M642_DSP_using_MATLABSimulink (accessed 16 September 2021).
3. Turgay Celik. Fast and Efficient Method for Fire Detection Using Image Processing. Available at: www.onlinelibrary.wiley.com/doi/pdf/10.4218/etrij.10.0109.0695 (accessed 21 September 2021).
4. Zhuravl I.M. Korotkyi kurs teorii obrobky zobrazhen. Available at: www.hub.exponenta.ru/post/kratkiy-kurs-teorii-obrabotki-izobrazheniy734 (accessed 15 September 2021).
5. Kvietnyi R.N., Bohach I.V., Boiko O.R., Sofyna O.Iu., Shushura O.M. Kompiuterne modeliuvannia system ta protsesiv. Metody obrobky. Chastyna 2. Available at: www.web.posibnyky.vntu.edu.ua/fksa/2kvetnyj_komp%27yuterne_modelyuvannya_system_procesiv/t2/zm2..ht m (accessed 15 September 2021).
6. Lobanov A.A. Heoinformatsiinyi monitorynh pozhezh. Available at: www.cyberleninka.ru/article/n/geoinformatsionnyy-monitoring-pozharov/viewer (accessed 01 October 2021).
7. Pitak I.V., Nehadailov A.A., Masikevych Yu.H., Pliatsuk L.D., Shaporev V.P., Moiseiev V.F. Heoinformatsiini tekhnolohii v ekolohii : Navchalnyi posibnyk. Chernivtsi, 2012. 273 s. Available at: www.geology.lnu.edu.ua/wp-content/uploads/2020/04/Ekolohichna-heoinformatyka_literatura-dlia-lektsiy.pdf (accessed 01 October 2021).
