CC BY
62
УДК 519.6
Чискидов C.B., Федин Ф.О., Петрова A.M.
ОПРЕДЕЛЕНИЕ ПОДХОДА К ПОВЫШЕНИЮ ТОЧНОСТИ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ ПРОГНОЗИРОВАНИЯ ЛЕСНЫХ ПОЖАРОВ
В статье выполнено описание результатов исследования, проводимого в целях совершенствования подходов к повышению точности работы нейросетевых моделей прогнозирования лесных пожаров (на примере Белорецкого района республики Башкортостан).
Ключевые слова: машинное обучение; нейронная сеть; обучение нейронной сет,и; прогнозирование лесных пожаров.
Chiskidov S.V., Fedin F.O., Petrova A.M.
DETERMINING THE APPROACH TO IMPROVING THE ACCURACY OF NETWORKING MODELS FOR FORECASTING FOREST FIRE
The paper describes the results of a study conducted to improve approaches to improving the accuracy of the work of neural network models for forest fire forecasting (at the example of Beloretsk region of the Republic of Bashkortostan).
Keywords: machine learning; neural network; neural network training; forest fire forecasting.
Лесные пожары являются опасными явлениями, которые наносят колоссальный ущерб, не только включающий затраты на их тушение и восстановление пострадавших территорий, но и влияющий на нарушение экологического баланса, ликвидацию мест обитания животных и их миграцию в другую местность и, конечно, несущий человеческие жертвы. Это обуславливает актуальность выработки подходов к выполнению максимально точного прогнозирования лесных пожаров, что позволит максимально эффективно организовывать работу различных противопожарных сил, а также планировать проведение необходимых мероприятий по предотвращению возможного ущерба от пожаров.
В настоящее время имеет место следующее научное противоречие. С одной стороны, создано и продолжает создаваться большое количество научных подходов в области прогнозирования лесных пожаров. Большинство из этих подходов основывается на использовании моделей, способных самостоятельно обучаться [1, 2, 3, 7]. С другой стороны, точность построения прогнозов, выполняемых с использованием этих моделей, остается недопустимо низкой [4], что обуславливает потребность в изыскании более совершенных способов улучшения качества моделей прогнозирования лесных пожаров. Один из
подходов к решению данного противоречия, основанный на использовании тестовой выборки, состоящей из части прецедентов, входящих в имеющуюся обучающую выборку, предлагается в данной статье.
Исследовав литературные источники [1, 5, 7], авторы сделали вывод о том, что в целях прогнозирования лесных пожаров (ЛП) целесообразно использовать нейронную сеть, построенную по архитектуре многослойного перцеп-трона (МП) с одним скрытым слоем. Рассмотрим шаги построения и последующего, предложенного авторами, совершенствования такой модели, создавваемой применительно к обособленной территории республики Башкортостан.
Шаг 1. Выполнить сбор исходных данных. В целях построения модели прогнозирования ЛП авторами были получены 850 прецедентов (строк в таблице исходных данных) [6], каждый из которых состоит как из известных входных значений, так и из известного исхода (выходного значения). Все имеющиеся прецеденты относятся к территории лесничества Белорецкого района республики Башкортостан. Данные по прецедентам были предоставлены ГБУ «Центр предупреждения и тушения лесных пожаров республики Башкортостан» и ФГ-БУ «Башкирское управление по гидрометеорологии и мониторингу окружающей среды»:
— входные параметры прецедентов — ИВЭГ (индекс влажности элювиального горизонта), И ДТП (индекс доступности топлива для сжигания движущимся фронтом пламени), ИВП (индекс влажности подстилки), Температура (температура воздуха) , ОтноситВлажность (относительная влажность воздуха), ИВГГ (индекс влажности гумусового горизонта), Скоро-стьВетра, Осадки (количество выпавших осадков за последние 8 часов);
— выходной отклик прецедентов — факт наличия пожарной опасности (ПожарнаяО-пасность).
Шаг 2. Разделить имеющееся множество данных на обучающее и тестовое подмножества. В качестве метода такого деления был использован метод Split-Sample Validation [4], реализованный в среде инструментального средства IBM SPSS Statistics. С использованием данного метода все имеющееся множество исходных данных (прецедентов) было разделено на обучающее (в нашем случае 70% данных) и тестовое (30% данных) подмножества.
Для обеспечения случайности выборки прецедентов, вошедших в каждое из этих подмножеств, использовался способ генерации случайных чисел с фиксированным начальным значением инициализации активного генератора [4].
В целях того, чтобы случайная величина, имеющая вероятность наступления события р = 0,7, могла принимать значения 1 или
(вместо того, чтобы принимать значения 1 или 0), авторами была выполнена модификация распределения Бернулли [3, 4]. Таким образом, все прецеденты, которые имеют неотрицательные значения переменной разделения, были отнесены к обучающей выборке, а все прецеденты с отрицательными значениями — к тестовой.
Последовательность действий для выполнения этой работы при использовании среды инструментального средства IBM SPSS Statistics следующая:
— для генерации случайных чисел с фиксированным начальным значением инициализации активного генератора: вызов меню Преобразование ^ Генераторы случайных чисел ^ ввод фиксированного начального значения 9191972 ^ нажатие ОК.
— для определения переменной разделения: Преобразование ^ Вычислить переменную ^ в поле Целевая переменная ввести название переменной, например, partition ^ в окно Числовое выражение записать выражение 2*rv.bernoulli(0.7)-l ^ нажать ОК в диалоговом окне Вычислить переменную.
Шаг 3. Запуск процедуры формирования и обучения нейронной сети. Как уже
отмечалось выше, в качестве нейросетевой модели был применен многослойный персептрон (частный случай перцептрона Розенблатта, где для обучения всех слоев используется один алгоритм обратного распространения ошибки [4]). В процессе создания многослойного персептро-на были определены зависимая переменная, а также независимые переменные, относящиеся как к категории Факторов, так и к категории Ковариат [3]. В качестве переменной разделения была использована ранее созданная переменная разделения (partition).
Последовательность действий для выполнения этой работы при использовании среды инструментального средства IBM SPSS Statistics следующая:
— выполнение команды меню Анализ — Нейронные сети — Многослойный персептрон;
— перемещение переменной ПожарнаяОпас-ность в поле для зависимых переменных;
— перемещение переменной ИВЭГ в поле Факторы;
— перемещение остальных переменных (ИДТП, ИВП, Температура,, ОтноситВлажность, ИВГГ, Скорост,ьВет,ра, Осадки) в поле Ковариаты;
— переход на вкладку Разделение и выбор пункта Использовать переменную разделения (в качестве переменной разделения выбор переменной partition);
— на вкладке Вывод в области Структура сет,и выбор пунктов Описание, Диаграмма, Веса, нейронов, а в области Производительность сети - пунктов Сводка, для, модели, Результаты классификации, ROC кривая, Кумулятивная диаграмма, выигрыша, Диаграмм,а, прироста, Диаграмма,
точности прогнозов. Выбор также пунктов Сводный от,чет, обработки наблюдений и Анализ важности независимых переменных, после чего нажатие кнопки ОК (ввиду того, что зависимая переменная не является количественной пункт Диаграмма остатков и прогнозов недоступен).
4. Выполнить оценку результатов предсказания классов. Как видно из таблицы 1, к обучающей выборке были отнесено 499 прецедентов, к контрольной — 201. Из последующего анализа исключено 150 прецедентов — это потенциальные случаи, по которым требуется построить прогноз.
Таблица 1 - Сводка результатов обработки наблюдений
№ Процент
Выборка Обучающая 499 71,3
Контрольная 201 28,7
Валидные 700 100,0
Исключенные 150
Всего,наблюдений 850
Структура построенной нейронной сети показана на рисунке 1, а ее основные характеристики представлены в таблице 2:
— сумма количества ковариат и общего числа уровней фактора определяют количество нейронов во входном слое; входные нейроны созданы для каждой из категорий переменной ИВЭГ;
таким же образом выходные нейроны созданы для каждой из категорий переменной Пожарная опасность (всего два нейрона выходного слоя);
В результате автоматического выбора архитектуры нейронной сети (при настройках «по умолчанию») в скрытый слой включено четыре нейрона.
Таблица 2 - Основная информация по нейронной сети
Факторы 1 ИВЭГ
1 идтп
2 ивп
3 Температура
Входной слой Ковариаты 4 ОтноситВлажность
5 ивгг
6 СкоростьВетра
7 Осадки
Количество нейронов * 12
Метод,масштабирования ковариат Стандартизированный
Количество,скрытых слоев 1
Скрытый слой (слои) Количество нейронов в скрытом слое 1* 4
Функция, активации Гиперболический тангенс
Зависимые,переменные 1 ПожарнаяОпасность
Выходной слой Количество нейронов 2
Функция активации Софтмакс
Функция ошибки Кросс-энтропия
* Исключая нейроны смещения.
Рисунок 1 Модель нейронной сети
Данные по результатам обучения и использования модели на контрольной выборке приведены в таблице 3. Практические результаты
использования созданной нейронной сети представлены в классификационной таблице 4.
Таблица 3 - Сводка по модели
Ошибка кросс-энтропии 156,606
Обучающая Процент неверных прогнозов 15,6
Правило остановки Максимальное количество эпох (100) достигнуто
Время обучения 00:00:01,310
Контрольная Процент неверных прогнозов 25,4
Примечание: зависимая переменная — ПожарнаяОпасность.
Таблица 4 - Классификационная таблица
Выборка Наблюдаемые Спрогнозированные
Пожарная 0пасность=0 Пожарная Опасность^— 1 Процент верных прогнозов
Обучающая Иожарная0пасность=0 347 28 92,5
ПожарнаяОпасность= 1 50 74 59,7
Общий,процент 79,6 20,4 84,4
Контрольная Иожарная0пасность=0 123 19 86,6
ПожарнаяОпасность= 1 32 27 45,8
Общий процент 77,1 22,9 74,6
Примечание: зависимая переменная - ПожарнаяОпасность.
Анализ таблицы позволяет сделать вывод о том, что из рассмотренных 124 прецедентов, в которых имел место факт наличия пожарной опасности, были правильно классифицированы 74. Из рассмотренных 375 прецедентов, в которых не отмечался факт наличия пожарной опасности, были правильно классифицированы 347. В общем случае 84,4 % прецедентов из обучающей выборки было классифицировано правильно. При этом 15,6 % прогнозов было построено не верно (таблица 3).
Проверка модели была выполнена с использованием контрольной выборки, на которой было получено 74,6 % правильно классифицированных прецедентов. Из результатов проверки видно, что построенная нейросеть верно классифицирует прецеденты обучающей выборки, однако не совсем корректно работает на контрольной выборке, особенно в том случае, когда требуется сделать прогноз по случаям, когда отсутствует пожарная опасность (45,8 % прецеден-
тов, правильно классифицированных на контрольной выборке и 59,7 % — для обучающей).
Вышеизложенное позволяет сделать вывод о том, что имело место переобучение нейросети, которая плохо распознает (или вовсе не распознает) всякие другие прецеденты (наблюдения), кроме обучающих. Как видно из материалов работ [3, 4], это происходит в случае чрезмерной подгонки нейросети к обучающей выборке прецедентов.
В целях решения данной проблемы (переобучения нейронной сети) был использован разработанный авторами подход, представленный на следующем шаге.
Последовательность действий для выполнения этой работы при использовании среды инструментального средства IBM SPSS Statistics следующая:
— выполнение команды Преобразовать — Вычислить переменную;
— внесение зависимости рагШюп-ги.ЬегпоиШ (0.2) в ячейку Числовое выражение и нажатие кнопки Если (таким образом, в обучающей выборке будет использовано 56 % прецедентов выборки, в тестовой - 14 %, в контрольной - все оставшиеся);
— выбор переключателя Включить наблюдения, удовлетворяющие условию и в поле для текста ввод зависимости рагШюп>0;
— нажатие кнопки Продолжить (в оконной
форме Вычислить переменную) и ОК;
— повторный запуск процедуры создания нейронной сети: выбор вкладки Сохранить и пункта Сохранить предсказанную псевдовероятность для, каждой зависимой переменной, нажатие кнопки ОК.
Данные таблицы 5 показывают, что 102 прецедента (из 499 прецедентов, ранее отнесенных к обучающей выборке) теперь вошли в тестовую выборку.
Таблица 5 - Результаты обработки наблюдений
№ Процент
Выборка Обучающая 397 56,7
Тестовая 102 14,6
Контрольная 201 28,7
Валидные 700 100,0
Исключенные 150
Всего наблюдений 850
Данные по нейросети представлены в таблице 6, где, в сравнении с таблицей 2, появилось семь нейронов скрытого слоя (количество
нейронов выбирается процедурой Автоматический выбор архитектуры, в нашем случае, при использовании настроек «по умолчанию»).
Таблица 6 - Данные по сети
Факторы 1 ивэг
1 идтп
2 ивп
3 Температура
Входной слой Ковариаты 4 ОтноситВлажность
5 ивгг
6 СкоростьВетра
7 Осадки
Количество нейронов* 12
Метод,масштабирования ковариат Стандартизированный
Количество скрытых слоев 1
Скрытый,слой (слои) Количество,нейронов в скрытом слое 1* 7
Функция, активации Гиперболический тангенс
Зависимые,переменные 1 ПожарнаяОпасность
Выходной слой Количество,нейронов 2
Функция, активации Софтмакс
Функция,ошибки Кросс-энтропия
* Исключая нейроны смещения.
В таблице 7 дана сводка по модели.
Таблица 7 - Сводка по модели
Обучающая Ошибка,кросс-энтропии 164,340
Процент ошибочных прогнозов 19,9
Правило остановки алгоритма ыы
Время обучения 00:00:01,014
Тестовая Ошибка кросс-энтропии 32,816
Процент ошибочных прогнозов 12,7
Контрольная Процент,ошибочных прогнозов 20,9
Примечание: зависимая переменная - ПожарнаяОпасность.
Из таблицы 7 видны два положительных момента, говорящие об улучшении модели:
— примерно равными стали проценты неверных прогнозов для обучающей, контрольной и для тестовой выборки прецедентов (важно, чтобы ошибки по всем трем выборкам были примерно одинаковыми);
— остановка алгоритма оценки выполнена по той причине, что на одном из шагов алгоритма ошибка перестала уменьшаться.
Таким образом, решение проблемы переобучения было выполнено за счет использования тестовой выборки, состоящей из части прецедентов, входящих в имеющуюся обучающуюся выборку.
6. Выполнить дополнительную оценку
точности работы нейросетевой модели. Из
данных таблицы 8 видно, что, установив при классификации величину 0,5 в качестве точки отсечения псевдовероятности, нейросеть на много лучше предсказывает отсутствие пожарной опасности, чем ее наличие. Это позволяет сделать вывод о том, что одно единственное значение порога отсечения позволяет получить очень ограниченное представление о прогностических возможностях нейросети.
Визуальное представление чувствительности и специфичности для всех возможных точек отсечения на графике дает Г» () С—кривая [4] (рисунок 2). Такой подход является куда наглядным, чем применение каскада таблиц. На графике представлены две кривые, одна из которых представляет наличие пожарной опасноСТИ) ВТОрая — отсутствие пожарной опасности.
Таблица 8 - Классификационная таблица
Выборка Наблюдаемые Спрогнозированные
Пожарная 0пасность=0 Пожарная Опасность=1 Процент верных прогнозов
Обучающая Пожарная0пасность=0 266 31 89,6
ПожарнаяОпасность= 1 48 52 52,0
Общий процент 79,1 20,9 80,1
Тестовая Пожарная0пасность=0 72 6 92,3
ПожарнаяОпасность= 1 7 17 70,8
Общий,процент 77,5 22,5 87,3
Контрольная Пожарная0пасность=0 124 18 87,3
ПожарнаяОпасность= 1 24 35 59,3
Общий процент 73,6 26,4 79,1
Примечание: зависимая переменная - ПожарнаяОпасность.
Рисунок 2 График с изображением ROC кривой
Представленный график ROC кривой построен на совмещенных обучающей и тестовой выборках. В целях построения ROC s кривой для контрольной выборки, с помощью неременной разделения авторами было выполнено разделение прецедентов в файле, после чего запущен процесс построения ROC кривой (авторы руководствовались при этом сохраненными спрогнозированными псевдовероятностями).
В таблице 9 приведены значения площади
под кривой применительно к каждой категории зависимой переменной. Так, для случайно отобранного случая (прецедента) с «плохим» прогнозом пожарной опасности и случайно отобранного случая с «хорошим» прогнозом пожарной опасности имеет место вероятность, равная 0,854, того, что спрогнозированная ней-роеетью псевдовероятность «плохого» прогноза пожарной опасности будет больше для «плохого» прогноза, чем для «хорошего».
Таблица 9 Площадь под кривой
Агеа
Факт пожарной,опасности ПожарнаяОпаеноеть 0 ,854
ПожарнаяОпаеноеть 1 ,854
Выигрыши в нашей нейроеетевой модели показывает кривая, отображенная на рисунке 3. Одна из точек кривой «ПожарнаяОпас-ность 1» имеет координаты 10 и 30%. Это значит, что если выполнить сортировку всех имеющихся прецедентов (наблюдений) с использова-
нием полученной в результате прогноза псевдовероятности «ПожарнаяОпаеноеть 1», то можно ожидать, что первые 10 % данных включают приблизительно 30 % всех прецедентов, отнесенных к категории «ПожарнаяОпаеноеть 1».
Рисунок 3 Кумулятивная диаграмма выигрыша
Аналогично можно ожидать, что первые 20 % данных включают приблизительно 50% прецедентов, отнесенных к категории «Пожарна-яОпаеноеть 1». Первые 30 % данных должны включать 70%; прецедентов, отнесенных к категории «ПожарнаяОпаеноеть 1», и т.д. 100 % данных включают все множество прецедентов, отнесенных к категории «ПожарнаяОпаеноеть 1». Линия проведенная «но диагонали» является «идеальной» кривой. Если произвольным (случайным) образом отобрать 10 % всех имеющихся данных, то можно ожидать выигрыша, примерно равного 10 % от всех прецедентов, отнесенных к категории «ПожарнаяОпаеноеть 1». Выигрыш тем больше, чем выше кривая располагается над диагональной чертой. Диаграмму выигрыша можно применять для определения точки отсечения для классификации, выбрав процент, соответствующий желаемой величине выигрыша.
В результате выполненного анализа в редакторе данных / редакторе переменных IBM SPSS
отображаются две новые переменные:
MLP_Pse.udoProbability_ 1 Predicted
Pseudo-Probability for ПожарнаяОпаеноеть = 0, или «Пеевдовероятноеть принадлежности к группе со значением 0 Отсутствие пожарной опасности»;
MLP_ Pse.udoProbabili.ty_ 2 Predicted
Pseudo-Probability for ПожарнаяОпаеноеть = 1, или «Пеевдовероятноеть принадлежности к группе со значением 1 Наличие пожарной опасности».
Таким образом, с помощью рассмотренного подхода можно проверить, как нероее-тевая модель спрогнозировала (предсказала) возможность «возникновения» /«не возникновения» пожарной опасности по тем 700 прецедентам (наблюдениям), у которых известны результаты «возникновения» / «не возникновения» такой опасности, и 150 потенциальным случаям «возникновения» / «не возникновения» пожарной опасности (рисунок 4).
ивп Температура ОтноситВлаж ность И BIT СкоростьВет ра Осадки ПожарнаяО гласность partition M LP_Ps е и doProbabi ity 1 MLP_Pseudo Probability 2
17 12 176,00 9,30 11,36 5,01 1 -1,00 ,410 ,690
10 31,00 17,30 1,36 4.00 0 1,00 ,581 .119
15 14 55,00 5,50 ,86 2,17 0 -1,00 ,973 ,027
15 14 120,00 2,90 2,66 ,82 0 1,00 ,950 ,060
2 0 28,00 17,30 1,79 3,05 1 1,00 ,196 ,806
5 5 25,00 10,20 ,39 2.15 0 .00 ,503 ,397
20 9 67,00 30,60 3,83 16,67 0 1,00 ,949 ,051
12 11 38,00 3,60 .13 1,24 0 1,00 ,945 ,065
3 4 19,00 24,40 1,36 3,28 1 1,00 ,363 ,647
0 13 25,00 19.70 2.78 2,15 0 -1,00 .224 .775
0 1 16,00 1,70 .18 ,09 0 .00 ,538 ,462
4 0 23,00 5,20 .25 ,94 0 1,00 ,717 ,283
24 14 64,00 10,00 3,93 2,47 0 .00 ,948 ,062
6 9 29.00 15,30 1.72 3,01 0 -1,00 .572 ,325
22 15 100.00 9,10 3,70 5,40 0 .00 ,961 ,039
9 6 49,00 8,60 ,82 3,40 1 1,00 ,864 ,135
13 6 41,00 15,40 2.92 3,81 1 -1,00 ,769 ,231
Рисунок 4 Прогноз пожарной опасности
Рассмотренный в работе способ повышения точности работы нейросетевой модели прогнозирования .лесных пожаров, основанный на использовании тестовой выборки, состоящей из части прецедентов, входящих в имеющуюся обучающую выборку, позволяет снизить ошибку предсказанных моделью прогнозных значе-
ний лесной пожарной опасности на 12 18 %. Повышение точности прогнозирования позволит правильно организовывать работу противопожарных сил, а также обосновано планировать проведение необходимых мероприятий но предотвращению возможного ущерба от лесных пожаров.
Литература
1. Безвесильная A.A. Фодин Ф.О.. Чискидов C.B. Разработка информационной системы учета заявок на выделение вычислительных ресурсов в корпоративной сети образовательной организации // Научные и образовательные проблемы гражданской защиты. 2017. №1(32). С. 29 41.
2. Ромашкова О.Н.. Ермакова Т.Н. Методика выбора информационной модели для оценки показателей качества обучения // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2015. № 2. С. 14 20.
3. Фодин Ф.О.. Медведева Т.С. Моделирование и разработка ин-формационной системы прогнозирования лесных пожаров // Научные и образовательные проблемы гражданской защиты. 2016. №2(29). С. 59 65.
4. Фодин Ф.О.. Фодин Ф.Ф. Анализ данных. Часть 2: Инструменты Data Mining: Учебное пособие. М.: МГПУ, 2012. 308 с.
5. Фодин Ф.О. Чискидов C.B.. Павличова E.H. Разработка модели хранилища данных инновационного предприятия при высшем учебном заведении /'/' Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2015. № 1. С. 100 109.
6. Чискидов C.B.. Фодин Ф.О. Разработка информационной системы для ведения реестров общественных объединений пожарной охраны и добровольных пожарных. Статья // Научные и образовательные проблемы гражданской защиты. 2016. №1(28). С.78 84.
7. Щеголев А.Б.. Фодин Ф.О.. Чискидов C.B.. Павличова E.H. Разработка базы данных информационной системы учреждения дополнительного образования детой // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2015. № 1. С. 110 118.
