CC BY
0
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 2023 Управление, вычислительная техника и информатика № 65
Tomsk: State University Journal of Control and Computer Science
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ MATHEMATICAL MODELING
Научная статья
УДК 519.6:004.032.26
doi: 10.17223/19988605/65/2
Использование методов нейросетевого моделирования для прогнозирования качества атмосферного воздуха
Ирина Васильевна Дель1, Александр Васильевич Старченко2
12 Томский государственный университет, Томск, Россия 1 Институт оптики атмосферы им. В.Е. Зуева СО РАН, Томск, Россия
1 irina.del@mail.tsu.ru
2 starch@math. tsu. ru
Аннотация. Разработана модель рекуррентной нейронной сети типа Long short-term memory (LSTM) для прогнозирования загрязнения атмосферного воздуха частицами PM2,5. На основании известного из наблюдений распределения метеорологических значений и концентраций основных загрязнителей атмосферы за предыдущие часы решается задача краткосрочного прогнозирования концентрации PM2,5. Общее значение средней абсолютной ошибки по всему прогнозу составила 2,34 мкг/м3.
Ключевые слова: прогноз качества воздуха; аэрозоли; нейронные сети; метеонаблюдения.
Для цитирования: Дель И.В., Старченко А.В. Использование методов нейросетевого моделирования для прогнозирования качества атмосферного воздуха // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2023. № 65. С. 15-24. doi: 10.17223/19988605/65/2
Original article
doi: 10.17223/19988605/65/2
Using neural network modeling for air quality prediction
Irina V. Del1, Alexander V. Starchenko2
12 National Research Tomsk State University, Tomsk, Russia 1 V.E. Zuev Institute of Atmospheric Optics SB RAS, Tomsk, Russia
1 irina.del@mail.tsu.ru
2 starch@math. tsu.ru
Abstract. A recurrent neural network model of the Long short-term memory (LSTM) type has been developed to predict atmospheric air pollution by PM2,5 particles. Based on the distribution of meteorological values and concentrations of the main atmospheric pollutants known from observations for the previous hours, the task of predicting the concentration of PM2,5 was set. The total mean absolute error for the entire forecast was 2,34 ^g/m3. Keywords: air quality forecast; aerosols; artificial neuron networks; meteorological observations.
For citation: Del, I.V., Starchenko, A.V. (2023) Using neural network modeling for air quality prediction. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitelnaja tehnika i informatika - Tomsk State University Journal of Control and Computer Science. 65. pp. 15-24. doi: 10.17223/19988605/65/2
© И.В. Дель, А.В. Старченко, 2023
Введение
Одна из главных проблем экологии - проблема загрязненности атмосферного воздуха в городах, которая представляет собой значительную опасность для здоровья человека в повседневной жизни [1]. Твердые частицы диаметром 2,5 мкм и менее (particulate matter; PM2,5) являются загрязнителем атмосферного воздуха, который может оказывать негативное воздействие на здоровье человека, когда его концентрация превышает допустимый нормативный верхний уровень. Источниками PM2,5 могут быть химические реакции с участием, например, диоксида серы, оксида азота, аммиака и черного углерода. Из-за своих сверхмалых размеров частицы, постоянно находящиеся в воздухе, при вдыхании попадают в легкие и далее способны проникнуть в кровеносную систему. Краткосрочными симптомами воздействия высоких уровней концентраций твердых частиц могут быть кашель и затрудненное дыхание. Долгосрочные осложнения могут включать сердечно-сосудистые и легочные заболевания.
Происхождение частиц PM2,5 различное - как природное, так и антропогенное. Природные источники могут включать, например, пыль, сажу, грязь, споры растений, пыльцу. Наиболее распространенные антропогенные источники PM2,5 - транспорт, двигатели внутреннего сгорания и промышленные процессы со сжиганием твердых видов топлива (уголь, нефть), строительство, добыча полезных ископаемых, многие виды производства (например, производство цемента и кирпича).
Неблагоприятные метеорологические условия способствуют накапливанию выбросов предприятий и автотранспорта в приземном слое атмосферы. Необходимо прогнозировать содержание загрязняющих веществ в воздухе с учетом неблагоприятных метеорологических условий, дабы избежать повышения уровня загрязнения атмосферного воздуха.
В работе [2] указывается, что подходы к прогнозированию, основанные на методах искусственного интеллекта, оказались более эффективными в системах прогнозирования загрязнения воздуха в режиме реального времени, чем детерминированные, которые применяются в настоящее время. Предлагаемые в статье модели используют четыре почасовых концентрации PM2,5 в качестве входных данных (значения концентраций от текущего часа до трех назад) и прогнозируют концентрацию PM25 на следующий час. Было использовано два типа искусственных нейронных сетей (ИНС): нейронная сеть прямого распространения (FFNN) и рекуррентная нейронная сеть (RNN). Лучшая конфигурация ИНС с одним скрытым слоем - RNN с четырьмя нейронами в скрытом слое и адаптивным алгоритмом оптимизации - методом градиентного спуска. Наилучшая архитектура ИНС с двумя скрытыми слоями представляет собой FFNN с пятью нейронами в первом скрытом слое, девятью нейронами во втором скрытом слое, подбором весов градиентным спуском и использованием смещения как адаптивной функции обучения. В этом случае средняя абсолютная ошибка MAE = 1,9181 мкг/м3 и среднеквадратичная ошибка RMSE = 3,1678 мкг/м3 имеют наименьшие значения, а индекс согласия IOA = 0,9807 и коэффициент корреляции R = 0,9626 — самые большие значения.
В работе [3] была разработана глубокая рекуррентная нейронная сеть типа Long Short-Term Memory (LSTM) (3-5 скрытых LSTM слоя) для ежедневного прогнозирования PM10 и PM2,5 в Южной Корее. Независимые переменные были получены из наземных наблюдений за 2,3 года. Нейронная сеть прогнозирует среднесуточную концентрацию PM2,5 на следующий день на основе 11-12 параметров (температура воздуха, направление ветра, скорость ветра, суточное количество осадков, почасовое количество осадков, относительная влажность, SO2, O3, NO2, CO, PM10 и PM2,5) за предыдущие 24 часа (т.е. форма одной единицы входных данных - 24 х 11 или 24 х 12). Эффективность LSTM для прогнозирования твердых частиц (PM) оценивалась путем сравнения с наземными наблюдениями PM и с концентрациями PM, предсказанными на основе трехмерной химической транспортной модели (Chemistry-Transport Model; CTM). Сравнения показали, лучшую производительность дает LSTM по сравнению с трехмерным моделированием CTM. Например, с точки зрения индекса согласия: IOA при трехмерном моделировании CTM составляет диапазон от 0,36 до 0,78 (для различных станций), а при использовании модели на основе LSTM - от 0,62 до 0,79. Авторы подмечают, что для повышения точности прогноза нужно больше исторических данных о качестве воздуха. Кроме того, ограни-
ченное количество входных переменных является еще одним препятствием для оптимальной работы модели. Если будут доступны такие дополнительные параметры, как высота слоя смешения и атмосферное давление, производительность модели на основе LSTM-сети улучшится еще больше.
ИНС, использованная в исследовании [4], содержит входной слой с 11 нейронами, скрытый слой с шестью нейронами и выходной слой с одним нейроном. Нейронная сеть прогнозирует среднемесячную концентрацию PM2,5 на следующий месяц на основе данных о среднемесячных концентрациях PM2,5 за предыдущие 11 месяцев. Обучающая и тестовая выборки относятся к периоду с января 2014 по июль 2021 г. Период прогнозирования - с августа 2021 по май 2022 г. Значения коэффициента корреляции (R) для данных обучения и проверки составляют 0,9472 и 0,9834 соответственно. В период прогнозирования показано, что модель ИНС с алгоритмом байесовской регуляризации (BR) дает наилучшие результаты прогнозирования с точки зрения R (0,9570), средней абсолютной ошибки (MAE = 4,6 мкг/м3) и среднеквадратичной ошибки (RMSE = 6,6 мкг/м3) соответственно.
В статье [5] применяется специальная рекуррентная нейронная сеть, которая называется сетью с долгой кратковременной памятью (LSTM), для прогнозирования PM2,5 в Нанкине (Китай). На этапе предварительной обработки данных выбираются основные факторы среди загрязнителей воздуха (O3, NO2, SO2, CO и др.), а также метеорологические параметры (давление, направление ветра, температура и др.), влияющие на PM2,5, и эти факторы предыдущих наблюдений являются входными данными для прогнозирования концентрации PM2,5 в следующие часы (1 ч, 4 ч, 8 ч и 12 ч). Чтобы определить количество узлов в скрытом слое, используется метод самоорганизации для автоматической настройки скрытых узлов на этапе обучения. Согласно экспериментальным результатам, с ростом временного интервала прогнозирования точность прогноза снижается.
В статье [6] для прогнозирования почасовой концентрации PM25 предлагается модель автоэн-кодера с сезонным суммированием, сочетающая сезонный анализ и глубокое обучение признаков, названная моделью глубокого обучения с сезонным стековым автоэнкодером (DL-SSAE). Исходные данные сначала декомпозируются на четыре сезонных подсерии в соответствии с китайским календарем, а затем используется метод коэффициента корреляции Кендалла для поиска внутренних взаимосвязей между концентрацией PM2,5 и метеорологическими параметрами в пределах 1 -часовой перспективы для каждого сезонного временного ряда. Присущие каждой сезонной подсерии взаимосвязи в конечном итоге извлекаются, изучаются и моделируются различными глубокими нейронными сетями (стековые автоэнкодеры для регрессии), и получаются почасовые прогнозы PM2,5. Результаты демонстрируют, что предложенная модель превосходит все другие рассмотренные модели с учетом / без учета сезонности в данной работе: средние значения MAE DL-SSAE ниже на 1,23 мкг/м3 (весна), 1,88 мкг/м3 (лето), 1,26 мкг/м3 (осень) и 2,53 мкг/м3 (зима) соответственно, чем у неглубокой нейронной сети на основе сезонного анализа (SL-SFN) с данными, полученными с трех станций. Средние значения коэффициента детерминации R2 DL-SSAE выше на 0,031 (весна), 0,147 (лето), 0,020 (осень) и 0,032 (зима) соответственно, чем у модели SL-SFN на трех станциях. Лучшие значения MAE на одной из станций: 7,33 мкг/м3 (весна), 4,61 мг/м3 (лето), 15,41 мкг/м3 (осень), 19,68 мкг/м3 (зима). Лучшие значения R2 на одной из станций: 0,881 (весна), 0,937 (лето), 0,934 (осень), 0,891 (зима).
В работе [7] исследуется метод прогнозирования почасовой концентрации PM2,5, основанный на модели ансамбля, управляемого стекингом (т.е. использование нескольких алгоритмов для решения одной задачи машинного обучения), и двух методов выбора входных данных. Во-первых, частичная автокорреляционная функция (Partial autocorrelation function; PACF) используется для выбора характеристик факторов с временным лагом, а коэффициент корреляции Спирмена применяется для извлечения скрытых характеристик экзогенных факторов, совместно определяя входные данные модели прогнозирования. Впоследствии в качестве модели прогнозирования формируется двухслойная ансамблевая модель, управляемая стекингом. В этой ансамблевой модели, BPNN (Back Propagation Neural Network), IBPNN (Improved Back Propagation Neural Network) и ELM (Extreme learning machine) используются в качестве базовой модели, а LSSVR (Least square support vector regression) - в качестве метамодели. Более того, в каждой базовой модели проводится четырехкратная перекрестная валидация для повышения эффективности обобщения модели. Наконец, выход каждой
базовой модели является новым входом для метамодели для получения конечных прогнозных значений. Исследование на примере прогнозирования почасовой концентрации PM2,5 в районе Пекин-Тяньцзинь-Хэбэй в зимний период подтверждает, что эффективность прогнозирования ансамблевой модели, управляемой стекингом, намного лучше, чем любой отдельной модели, входящей в ее состав. MAE ансамблевой модели (2,01, 2,33 и 4,35 для трех городов) меньше, чем у любых четырех отдельных моделей, входящих в ее состав. Такая же ситуация имеет место в статистических критериях MAPE (2,81, 3,25 и 2,08% для трех городов), а R2 ансамблевой модели (0,999) больше, чем у всех остальных моделей.
Исследование [8] направлено на прогнозирование почасовой концентрации PM2,5 в городской местности Малайзии с использованием гибридной модели глубокого обучения. Ансамблевое эмпирическое разложение по моде (EEMD) использовалось для разложения исходных данных о последовательности твердых частиц на несколько подсерий. Нейронная сеть с долгой кратковременной памятью (LSTM) использовалась для индивидуального прогнозирования разложенных подсерий с учетом влияния параметров загрязнителей воздуха на прогнозирование на 1 час вперед. Затем результаты каждого прогноза были объединены для получения окончательного прогноза концентрации PM2,5. В этом исследовании использовалось два набора данных о качестве воздуха с двух станций мониторинга для проверки эффективности предложенной гибридной модели EEMD-LSTM на основе различных распределений данных. Архитектура ИНС состоит из двух слоев LSTM, а метод декомпозиции данных добавляется на этапе предварительной обработки данных для повышения точности прогнозирования. Был проведен сравнительный анализ для сравнения производительности предложенной модели с другими моделями глубокого обучения. Результаты показали, что EEMD-LSTM дала самые высокие результаты точности среди других моделей глубокого обучения: MAE - 2,82 мкг/м3, MAPE -14,15%, R2 - 0,978.
В статье [9] предлагается метод, который касается пространственно-временного прогнозирования концентрации PM25 в Сантьяго-де-Чили в любых пространственных точках с использованием модели рекуррентной нейронной сети LSTM. В частности, с учетом исторических значений загрязнителей воздуха (PM25, PM10 и диоксида азота) и метеорологических переменных (температуры, относительной влажности, скорости и направления ветра), измеренных на стационарных станциях мониторинга за предыдущие 24 часа, предлагаемая модель может прогнозировать концентрации PM2,5 в течение следующих 24 часов в новом месте, где измерения недоступны. Предлагаемая многослойная модель LSTM получила значения R2, равные 0,74 и 0,38 на семи станциях при рассмотрении прогнозов на 1 и 24 часа соответственно.
Цель данной работы - разработка оптимальной с точки зрения точности и заблаговременности прогноза архитектуры модели рекуррентной нейронной сети типа LSTM и ее применение для краткосрочного прогноза концентрации PM2,5 в г. Томске. По измеренным историческим значениям концентрации PM2,5, метеопараметрам и содержаниям основных примесей в воздухе за предыдущие часы требуется предсказать значение концентрации PM2,5 на следующие несколько часов.
1. Характеристика входных данных
Исходные метеорологические данные для исследования были получены с метеостанций ЦКП «Атмосфера» ИОА СО РАН за период времени с 01.01.2020 по 31.10.2022. Наблюдения за газовым и аэрозольным составом атмосферы проводятся на TOR-станции ИОА СО РАН в рамках выполнения международной экологической программы [10]. Размер набора данных составляет 24 840 ежечасных наблюдений. Исходные данные включают в себя временные ряды температуры (T2(C)), атмосферного давления (Psurf(mm)), относительной влажности (Hum(%)), скорости (W10(m/s)) и направления ветра (DIR10(deg)), содержания основных примесей в воздухе (аэрозольные частицы PM2,5 (мкг/м3), озон O3 (мкг/м3), диоксид серы SO2 (мкг/м3), оксиды азота NO2 и NO (мкг/м3), диоксид углерода CO2 (ppm), метан CH4 (ppb)). Изменение концентрации PM2,5 в районе TOR-станции показано на рис. 1. Максимальная разовая концентрация PM2,5 составляет 183 мкг/м3, среднее значение концентрации
PM2,5 по всему набору данных - 7,3 мкг/м3. Среднесуточная предельно допустимая концентрация PM2,5 составляет 35 мкг/м3, среднегодовая - 25 мкг/м3.
Рис. 1. Временной ряд концентрации PM2,5 в атмосферном воздухе в период с 01.01.2020 по 31.10.2022 Fig. 1. Time series of PM2,5 concentration in atmospheric air in the period from 01.01.2020 to 31.10.2022
Для оценки взаимосвязи между метеорологическими параметрами или основными примесями в воздухе [ж,] и концентрацией PM2,5 {y] в рядах с количеством наблюдений n рассчитывался коэффициент корреляции Rxy:
Rxy -
I (x - x )( yi- y) i-1
—\2
I (X - x)21 (y - y) i-1 i-1
где х,у - средние значения в рядах {хг} и {у}, и оценивалась его достоверность по критерию Стью-дента (р для двух связанных выборок на уровне значимости 0,05 [11]:
tP -
RxylVn-2
V
1 - R
xy
Рассчитывалось (т - теоретическое значение критерия, которое зависит от числа наблюдений и уровня значимости. Нулевая гипотеза Но заключается в том, что связь отсутствует - Яху = 0. Если (р > (т, то Но отвергается, т.е. речь идет о существовании достоверной статистической связи между рядами х и у - концентрацией РМ2,5 и метеопараметром или примесью. Полученные значения корреляции представлены в табл. 1.
Таблица 1
Корреляция концентрации PM2,5 с различными параметрами
2
Параметры Psurf Hum T2 W10 DIR10 Оз SO2 NO2 NO CO2 CH4
PM2,5 0,259 0,088 -0,358 -0,183 -0,1 -0,205 0,06 0,383 0,296 0,314 0,38
По критерию Стьюдента зависимость концентрации РМ2,5 от всех метеорологический параметров и примесей является статистически значимой.
Имеются тенденции увеличения концентрации РМ2,5 с уменьшением температуры, скорости ветра, направления ветра и концентрации озона, а также с увеличением атмосферного давления, концентраций оксидов азота, диоксида углерода и метана.
Связи концентрации РМ2,5 с относительной влажностью и концентрацией диоксида серы выражены слабо, хотя и являются статистически значимыми.
Отсутствующие данные восстанавливались при помощи линейной интерполяции. Затем была проведена нормализация параметров методом минимакс. Далее выбранные данные были разделены
на две выборки: обучающую выборку, соответствующую 80% данных от основной выборки, и тестовую выборку, соответствующую 20%, чтобы можно было проверить способность сети к прогнозированию после фазы обучения.
2. Методы нейросетевого моделирования
Результаты проведенного обзора показали перспективность использования рекуррентной нейронной сети типа LSTM для прогнозирования временных рядов. Поэтому разработанная модель искусственной нейронной сети основана на одной из архитектур нейронных сетей, называемой рекуррентной нейронной сетью типа LSTM. Рекуррентные нейронные сети - нейронные сети с обратной связью между различными слоями нейронов. Их характерная особенность - передача сигналов с выходного или скрытого слоя во входной слой.
Long short-term memory (LSTM) - тип рекуррентных нейронных сетей с долгой кратковременной памятью. Все рекуррентные нейронные сети представляют собой цепочки повторяющихся модулей нейронной сети. LSTM специально разработаны для устранения проблемы долгосрочной зависимости. Их специализация - запоминание информации в течение длительных периодов времени, поэтому их практически не нужно обучать [12].
Схематично архитектура LSTM сети представлена на рис. 2.
Рис. 2. Архитектура рекуррентной нейронной сети типа LSTM Fig. 2. Architecture of a recurrent neural network of the type
Для выбора оптимальной архитектуры нейронной сети, описанной ниже, был проведен вычислительный эксперимент подбора размера входных и выходных данных, размера тестовой выборки и оптимизационного алгоритма (табл. 2). Результаты эксперимента оценивались по таким трем метрикам, как средняя абсолютная ошибка MAE, коэффициент согласия IOA и коэффициент детерминации R2:
1 " I I
MAE = - 2 \d, - y,, IOA = 1 -n ,=1
2(d, - y, )2 i=1
n
2(1 yf
—1\2
, R 2 = 1 - i=L
n , \ 2 2 (d, - y, )2
—\2
2( dt - d)
7=1 ' i=1
где y, - предсказанное выходное значение, di - реальное выходное значение, а d - среднее значение.
Сравнительный анализ средней абсолютной ошибки, коэффициентов согласия и детерминации при различном размере входных и выходных данных (3, 6, 12 и 24 почасовых наблюдений) показал, что при прогнозировании концентрации PM2,5 на 3 ч и при использовании для прогноза трех предыдущих почасовых наблюдений всех параметров получаются минимальная ошибка прогноза и максимальные коэффициенты детерминации и согласия. Сравнивая значения средней абсолютной ошибки, коэффициентов согласия и детерминации при различном размере обучающей выборки (60, 70, 80 и 90%), можно сделать вывод, что при размере обучающей выборки 90% можно получить оптимальный по производительности результат (см. табл. 2).
Были применены следующие градиентные методы оптимизации: метод скользящего среднего (Root Mean Square Propagation; RMSProp), метод адаптивной оценки моментов (Adaptive Moment Es-
timation; Adam), модификация метода Adam (Adamax), ускоренный по Нестерову метод адаптивной оценки моментов (Nesterov-accelerated Adaptive Moment Estimation; Nadam) [13].
Сравнивая значения метрик при различных методах оптимизации, можно сделать вывод, что минимальное значение ошибки дает метод оптимизации Nadam. Метод оптимизации Adam дает схожий результат, но средняя абсолютная ошибка чуть выше, чем у ускоренного по Нестерову методу адаптивной оценки моментов инерции Nadam (см. табл. 2).
Из таблицы 2 также видно, что при увеличении размера выходного слоя растет средняя абсолютная ошибка, а коэффициенты согласия и детерминации снижаются.
Таблица 2
Вычислительные эксперименты по настройке нейросетевой модели
Структура ИНС
Размер вход- Размер выходного Размер обучающей Алгоритм MAE (мкг/м3) IOA R2
ного слоя слоя выборки оптимизации
60% 2,736 0,849 0,604
3 х 12 3 70% Adam 3,126 0,836 0,581
80% 2,685 0,842 0,599
90% 2,344 0,881 0,648
6 х 12 3 90% Adam 2,345 0,881 0,647
6 2,863 0,802 0,488
3 2,369 0,876 0,637
12 х 12 6 90% Adam 2,856 0,802 0,490
12 3,419 0,696 0,316
3 2,359 0,878 0,643
24 х 12 6 90% Adam 2,890 0,797 0,481
12 3,503 0,689 0,297
24 4,069 0,562 0,115
Adam 2,344 0,881 0,648
3 х 12 3 90% RMSprop 2,401 0,871 0,638
Nadam 2,342 0,882 0,652
Adamax 2,726 0,839 0,558
В данном случае сеть состоит из последовательных четырех слоев: входного, двух скрытых LSTM-слоев и выходного полносвязного слоя. Увеличение количества скрытых слоев (полносвязных и LSTM) не привело к улучшению производительности ИНС.
Форма ввода - три временных шага с 12 параметрами. Первый скрытый слой содержит 20 нейронов, второй - 10 нейронов. Выходной слой содержит 3 нейрона (прогнозируемая концентрация PM2,5 на следующие 3 часа). Оптимальное количество скрытых нейронов было получено экспериментально, путем изменения архитектуры сети и запуска процесса обучения до получения хорошей производительности.
В этой нейронной сети осуществляется оптимизация целевой функции с подбором весовых коэффициентов ускоренным по Нестерову методом адаптивной оценки моментов инерции Nadam (вариант стохастического градиентного спуска) [13].
Функция потерь вычисляет, насколько хорошо работает наша модель, сравнивая прогнозируемые значения с историческими. За функцию потерь принята средняя абсолютная ошибка MAE. Цель -минимизировать эту ошибку.
Метрикой в данной работе будет также MAE. Дополнительно рассмотрим значение коэффициента детерминации R2, индекс согласия IOA и среднеквадратичную ошибку RMSE между предсказанными значениями и наблюдениями концентрации PM2,5:
RMSE =
" / ч?
2 (d - У, )?
i=1
п
где у, - предсказанное выходное значение, а & - реальное выходное значение. Коэффициент детерминации Л2 показывает, какую часть изменчивости наблюдаемой переменной можно объяснить с помо-
щью построенной модели (мера адекватности модели). Чем ближе значение коэффициента к 1, тем сильнее зависимость.
Сеть обучалась за фиксированное количество эпох (100). Количество эпох выбиралось экспериментальным путем.
3. Результаты
Общее значение MAE по всему прогнозу составила 2,34 мкг/м3, общее значение RMSE -3,95 мкг/м3. Коэффициент детерминации R2 - 0,65, индекс согласия IOA - 0,88. Результаты говорят об удовлетворительной аппроксимации данных из тестовой выборки.
Также приведем значение коэффициента корреляции между прогнозируемой концентрацией и историческими наблюдениями PM2,5: R = 0,82, - достаточно высокая корреляция между прогнозируемыми и историческими наблюдениями.
Рис. 3. Фактическая и прогнозируемая концентрация PM2,5 для среза из набора тестовых данных Fig. 3. Actual and predicted PM2,5 concentration for a slice from the test data set
На рис. 3 представлено сравнение графиков фактических значений и прогнозируемых значений концентрации PM2,5. По оси абсцисс указаны даты из тестового набора, а по оси ординат - значения концентрации PM2,5. Из графика видно, что нейронная сеть довольно хорошо справляется с предсказанием. Сеть улавливает как малые значения концентрации, так и пиковые, характеризующие повышенное содержание частиц PM2,5 в приземном слое атмосферы.
Заключение
Рассмотрена корреляционная связь между концентрацией твердых частиц диаметром 2.5 мкм и менее, значениями метеорологических параметров, а также концентрацией основных примесей в воздухе (О3, SO2, NO2, NO, Ш2, Ш4). Рассчитанные корреляции указывают на важное значение метеорологических условий и газовых примесей в прогнозировании концентрации PM2,5.
Разработана и реализована рекуррентная нейронная сеть типа LSTM для прогноза концентрации PM2,5 на 3 часа. Оптимальная архитектура ИНС: форма ввода - 3 временных шага с 12 параметрами, первый скрытый слой - 20 нейронов, второй - 10 нейронов, выходной слой - 3 нейрона (прогнозируемая концентрация РМ2,5 на следующие 3 часа), оптимизационный алгоритм - ускоренный по Нестерову метод адаптивной оценки моментов инерции Nadam.
Средняя абсолютная ошибка модели составила 2,34 мкг/м3, среднеквадратичная ошибка -3,95 мкг/м3, а индекс согласия IOA и коэффициент детерминации R2 0,88 и 0,65 соответственно. Сравнительный анализ реальных данных и результатов, полученных при помощи ИНС, свидетельствует об удовлетворительной настройке сети.
Методы машинного обучения и нейросетевого прогнозирования имеют большой потенциал в трудоемких, плохо формализованных задачах.
Список источников
1. Anderson J.O., Thundiyil J.G., Stolbach A. Clearing the air: a review of the effects of particulate matter air pollution on human
health // Journal of Medical Toxicology. 2012. V. 8. P. 166-175.
2. Oprea M., Mihalache S.F., Popescu M. Computational Intelligence-based PM2.5 Air Pollution Forecasting // International Journal
of Computers Communications and Control. 2017. V. 12 (3). P. 365-380.
3. Kim H.S., Park I., Song C.H., Lee K., Yun J.W., Kim H.K., Jeon M., Lee J., Han K.M. Development of a daily PM10 and PM2.5
prediction system using a deep long short-term memory neural network model // Atmos. Chem. Phys. 2019. V. 19. P. 1293512951. doi: 10.5194/acp-19-12935-2019
4. He Z., Guo Q., Wang Z., Li X. Prediction of Monthly PM2.5 Concentration in Liaocheng in China Employing Artificial Neural
Network // Atmosphere. 2022. V. 13 (8). Art. 1221. doi: 10.3390/atmos13081221
5. Liu X., Liu Q., Zou Y., Wang G. A Self-organizing LSTM-Based Approach to PM2.5 Forecast // ICCCS 2018: Cloud Computing
and Security. 2018. V. 11066. P. 683-693. doi: 10.1007/978-3-030-00015-8_59
6. Yun Bai, Yong Li, Bo Zeng, Chuan Li, Jin Zhang. Hourly PM2.5 concentration forecast using stacked autoencoder model with
emphasis on seasonality // Journal of Cleaner Production. 2019. V. 224. P. 739-750.
7. Wei Sun, Zhaoqi Li. Hourly PM2.5 concentration forecasting based on feature extraction and stacking-driven ensemble model
for the winter of the Beijing-Tianjin-Hebei area // Atmospheric Pollution Research. 2020. V. 11 (6). P. 110-121. doi: 10.1016/j.apr.2020.02.022
8. Zaini N., Ean L.W., Ahmed A.N. et al. PM2.5 forecasting for an urban area based on deep learning and decomposition method //
Sci. Rep. 2022. V. 12 (1). Art. 17565. doi: 10.1038/s41598-022-21769-1
9. Peralta B., Sepulveda T., Nicolis O., Caro L. Space-Time Prediction of PM2.5 Concentrations in Santiago de Chile Using LSTM
Networks // Appl. Sci. 2022. V. 12. Art. 11317. doi: 10.3390/app122211317
10. Давыдов Д.К., Белан Б.Д., Антохин П.Н. и др. Мониторинг атмосферных параметров: 25 лет TOR-станции ИОА СО РАН // Оптика атмосферы и океана. 2018. Т. 31, № 10. С. 845-853.
11. Ивченко Г.И., Медведев Ю.И. Математическая статистика. М. : ЛИБРОКОМ, 2014. 352 c.
12. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. 1997. V. 9 (8). P. 1735-1780.
13. Пантелеев А.В., Лобанов А.В. Градиентные методы оптимизации в машинном обучении идентификации параметров динамических систем // Моделирование и анализ данных. 2019. Т. 9, № 4. С. 88-99.
References
1. Anderson, J.O., Thundiyil, J.G.& Stolbach, A. (2012) Clearing the air: a review of the effects of particulate matter air pollution
on human health. Journal ofMedical Toxicology. 8. pp. 166-175. DOI: 10.1007/s13181-011-0203-1
2. Oprea, M., Mihalache, S.F. & Popescu, M. (2017) Computational Intelligence-based PM2.5 Air Pollution Forecasting. Interna-
tional Journal of Computers Communications and Control. 12(3). pp. 365-380. DOI: 10.15837/ijccc.2017.3.2907
3. Kim, H.S., Park, I., Song, C.H., Lee, K., Yun, J.W., Kim, H.K., Jeon, M., Lee, J. & Han, K.M. (2019) Development of a daily
PM10 and PM2.5 prediction system using a deep long short-term memory neural network model. Atmospheric Chemistry and Physics. 19. pp. 12935-12951. DOI: 10.5194/acp-19-12935-2019
4. He, Z., Guo, Q., Wang, Z. & Li, X. (2022) Prediction of Monthly PM2.5 Concentration in Liaocheng in China Employing Artifi-
cial Neural Network. Atmosphere. 13(8). DOI: 10.3390/atmos13081221
5. Liu, X., Liu, Q., Zou, Y. & Wang, G. (2018) A Self-organizing LSTM-Based Approach to PM2.5 Forecast. ICCCS 2018: Cloud
Computing and Security. 11066. pp. 683-693. DOI: 10.1007/978-3-030-00015-8_59
6. Yun Bai, Yong Li, Bo Zeng, Chuan Li & Jin Zhang. (2019) Hourly PM2.5 concentration forecast using stacked autoencoder
model with emphasis on seasonality. Journal of Cleaner Production. 224. pp. 739-750. DOI: 10.1016/j.jclepro.2019.03.253
7. Wei Sun & Zhaoqi Li. (2020) Hourly PM2.5 concentration forecasting based on feature extraction and stacking-driven ensemble
model for the winter of the Beijing-Tianjin-Hebei area. Atmospheric Pollution Research. 11(6). pp. 110-121. DOI: 10.1016/j.apr.2020.02.022
8. Zaini, N., Ean, L.W., Ahmed. A.N. et al. (2022) PM2.5 forecasting for an urban area based on deep learning and decomposition
method. Scientific Reports. 12. DOI: 10.1038/s41598-022-21769-1
9. Peralta, B., Sepulveda, T., Nicolis, O. & Caro, L. (2022) Space-Time Prediction of PM2.5 Concentrations in Santiago de Chile
Using LSTM Networks. Applied Sciences. 12. DOI: 10.3390/app122211317
10. Davydov, D.K., Belan, B.D., Antokhin, P.N. et al. (2018) Monitoring of atmospheric parameters: 25 years of the IOA SB RAS TOR station. Optics of the Atmosphere and Ocean. 31(10). pp. 845-8510.
11. Ivchenko, G.I. & Medvedev Y.I. (2014)Matematicheskaya statistika [Mathematical Statistics]. Moscow: LIBROCOM.
12. Hochreiter, S. & Schmidhuber, J. (1997) Long Short-Term Memory. Neural Computation. 9(8). pp. 1735-1780.
13. Panteleev, A.V. & Lobanov, A.V. (2019) Gradient optimization methods in machine learning identification of parameters of dynamic systems. Modelirovanie i analiz dannykh - Modeling and Data Analysis. 9(4). pp. 88-99. DOI: 10.17759/mda.2019090407
Информация об авторах:
Дель Ирина Васильевна - аспирант кафедры вычислительной математики и компьютерного моделирования механико-математического факультета Томского государственного университета (Томск, Россия); Институт оптики атмосферы им. В.Е. Зуева СО РАН (Томск, Россия). E-mail: irina.del@mail.tsu.ru
Старченко Александр Васильевич - профессор, доктор физико-математических наук, заведующий кафедрой вычислительно математики и компьютерного моделирования механико-математического факультета, ведущий научный сотрудник Регионального научно-образовательного математического центра Томского государственного университета (Томск, Россия). E-mail: starch@math.tsu.ru
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
Information about the authors:
Del Irina V. (Post-graduate Student, National Research Tomsk State University, Tomsk, Russian Federation; V.E. Zuev Institute of Atmospheric Optics SB RAS, Tomsk, Russian Federation). E-mail: Irina.del@mail.tsu.ru
Starchenko Alexander V. (Doctor of Physical and Mathematical Sciences, Professor, National Research Tomsk State University, Tomsk, Russian Federation). E-mail: starch@math.tsu.ru
Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.
Поступила в редакцию 03.07.2023; принята к публикации 08.12.2023 Received 03.07.2023; accepted for publication 08.12.2023
