CC BY
0
Прогнозирование концентраций газов на основе рекуррентной
нейронной сети
Д.В. Вегера, А.А. Кудяшов, А.А. Новикова Тихоокеанский государственный университет, Хабаровск
Аннотация: В статье рассматривается применение рекуррентной нейронной сети в задаче прогнозирования загрязняющих веществ в воздухе на основе фактических данных в виде временного ряда. Приводится описание архитектуры сети, применяемый метод обучения и способ формирования обучающих и проверочных данных. При обучении использовался набор данных, состоящий из 126 измерений различных компонент. В результате была проведена оценка качества выводов полученной модели и были вычислены усредненные коэффициенты метрики MSE.
Ключевые слова: загрязнение воздуха, прогнозирование, нейронные сети, машинное обучение, рекуррентная сеть, анализ временных рядов.
Введение
Рассеивание загрязняющих веществ в воздухе представляет собой сложный процесс, зависящий от свойств загрязняющих веществ, а также от метеорологических условий. На текущий момент разработано большое количество математических моделей для прогнозирования загрязняющих веществ в воздухе. Модели на основе рекуррентной нейронной сети (RNN) для прогнозирования качества воздуха привлекает все большее внимание [14]. Рекуррентная нейронная сеть принадлежит к типу нейронной сети, способной обрабатывать последовательные данные и определять временные зависимости. Благодаря этому RNN хорошо подходят для таких задач, как языковое моделирование, распознавание речи и анализ последовательных данных [5].
С использованием собранной системы мониторинга (мобильного поста контроля атмосферного воздуха) на базе Тихоокеанского государственного университета произведен анализ концентрации загрязняющих веществ и моделирование загрязнения воздуха в г. Хабаровск при заданных метеорологических параметрах (температуры, давлении, скорости ветра и влажности).
Проведение наблюдений
Для проведения наблюдений за состоянием окружающей среды использовались многокомпонентный газоанализатора МАГ-6 С-2 (выносные преобразователи на измерение NO2 и SO2), газоанализатор монооксида углерода ПКГ-4/X-C и метеостанции Vantage Vue (руководство по эксплуатации и паспорт исполнения МАГ-6 С-Х, МАГ-6 С-Х-В, ТФАП.468166.003-02 РЭ; руководство по эксплуатации и паспорт исполнения ПКГ-4 /1-С-СО-4Р-2А, ПКГ-4 /2-С-СО-4Р-2А, ПКГ-4 /4-С-СО-4Р-2А, ТФАП.413412.030 РЭ и ПС; руководство по консоли Davis Instruments Vantage VUE).
Газоанализаторы опрашивают измерительные преобразователи, обрабатывают данные и выдают на дисплее значения газа в мг/м3 в соответствии с установленной конфигурацией. Через сопутствующее программное обеспечение Eksis Visual Lab производится настройка интервала, считывание и просмотр записанных в базу данных измерений (руководство пользователя программное обеспечение "Eksis Visual Lab"). Для взаимодействия с измерительным блоком доступны интерфейсы RS-232, RS-485 и USB. Связь с ПК осуществлена через интерфейс USB.
Метеостанция Vantage Vue оснащена интегрированным блоком внешних датчиков. С помощью маломощной радиосвязи этот блок осуществляет передачу метеоизмерений с внешних сенсоров на консоль управления, на которой отображаются показатели погодных условий: направление и скорость ветра, температура воздуха, уровень влажности, атмосферное давление, количество осадков и другие параметры. Связь с ПК осуществлена через интерфейс RJ-45. На рис.1 представлен графический интерфейс выводимых данных: концентрации загрязняющих веществ от времени.
-
19:08:00 19:09:00 19:10:00 19:11:00 19:12:00 19:13:00 19:14:00 19:15:00 19:16:00
Рис. 1. - Пример выходных данных
Применяемый метод прогнозирования
Поскольку данные измерений представлены в виде временного ряда, то для прогнозирования отсчётов последующих временных меток применялась рекуррентная нейронная сеть.
Simple RNN - простой слой рекуррентной сети, который способен предсказывать значение, основываясь лишь на нескольких непосредственно предшествующих данных [6]. В этом слое выход предыдущего временного шага подается на вход текущего временного шага, таким образом образуя направленную связанную последовательность. Основной особенностью Simple RNN является способность запоминать и хранить информацию о последовательности через скрытое состояние до текущего временного шага. Но он имеет существенный недостаток, который может повлиять на точность вывода модели: проблему затухающего и взрывающегося градиента [7], когда значения градиента слишком малы или велики.
Слой LSTM решает эту проблему [8], а также, в отличии от SimpleRNN, способен запоминать информацию как по коротким, так и по длинным промежуткам времени, через вектор состояния ячейки ct, где t -номер временного шага. Скрытое состояние ht хранит информацию от одного временного шага к другому и представляет собой краткосрочную
память. Блок LSTM состоит из трёх компонент: forget gate, input gate и output gate (рис.2) [9]. На вход каждого компонента подаётся значение скрытого состояния ht_1 предыдущего блока LSTM, а также текущий вход xt. Forget gate определяет, какой процент информации из предыдущего состояния ячейки следует сохранить или отбросить через поэлементное умножение. Input gate определяет, какую информацию из текущего входа следует сохранить в текущем состоянии ячейки через поэлементное сложение. Output gate определяет какой процент информации текущего состояния ячейки должен быть перенесён в качестве следующего значения скрытого состояния последующего блока LSTM. Функция активации сигмоиды приводит значения к диапазону [0, 1], таким образом определяя процент важности информации. Выход функции tanh приводит значения к диапазону [-1, 1], что позволяет увеличивать и уменьшать значение состояния ячейки, а также служит в качестве регуляризатора значения следующего скрытого состояния. Таким образом, компоненты блока LSTM позволяют сохранять важную информацию из длинных последовательностей и отбрасывать нерелевантную или устаревшую информацию.
FORGET INPUT OUTPUT
GATE GATE GATE
Xt
Рис. 2. - Ячейка слоя LSTM
Подготовка данных и параметры сети
Перед началом обучения на основе 126 измерений были сформированы два набора обучающих данных временных рядов. На вход сети подавались
М Инженерный вестник Дона, №7 (2024) ivdon. ru/ru/magazine/archive/n7y2024/93 59
данные о температуре воздуха T, давлении W, скорости ветра U и уровне влажности P. На выход сети, в целях прогнозирования и с учетом однократного фактического измерения, использовались смоделированные измерения концентраций уровней газов CO, SO2, NO2. Данные были предварительно нормализованы в диапазоне [0, 1].
Обучение проводилось при использовании следующих параметров: количество эпох E = 700, размер выборки в итерации B = 16, число отсчётов одного временного ряда T = 15, длина предсказания L = 3. Итого было сформировано 7 временных рядов для обучающего набора и 1 для проверочного.
Архитектура модели
Модель рекуррентной сети была создана с помощью открытой библиотеки Keras, написанной на языке Python и обеспечивающей интерфейс для взаимодействия с искусственными нейронными сетями.
Сеть состоит из слоя LSTM и полносвязного слоя Dense. В обоих слоях использовалась функция активации гиперболического тангенса tanh. Размерность слоя LSTM U = 128.
Архитектура модели представлена в таблице №1.
Таблица № 1
Архитектура RNN
№ сл. Название слоя [форма массива] Параметры
1 Input [15, 4]
2 LSTM [128] Активация: tanh
3 Dense [9] Активация: tanh
4 Output: Reshape [3, 3]
Общее число параметров: 69 257
Результаты анализа
При обучении использовался оптимизатор Adam [10] с шагом сходимости l = 0,00005. Были получены следующие значения потерь
сохраненной модели по обучающему и проверочному набору: min(loss) = 0,0146; min(valloss) = 0,0177 (рис.3).
В таблице № 2 приведены значения среднеквадратической ошибки (MSE) по фактическим и предсказанным значениям обучающего набора по каждому компоненту.
0.16 -0.L4 -0.12 -щ ою-
(С
> 0.08 -0.06 -0.04 -0.02 -
- 1иго
10 □ 200 300 400 500 600 700
Epoch #
Рис. 3. - Графики значений функций потерь по обучающему (loss) и
проверочному набору (val_loss)
Таблица № 2
Результаты анализа обучающего набора
№ врем. ряда CO SO2 NO2
1 0.15571 0.00442 0.22207
2 0.08655 0.03988 0.05834
3 0.53463 0.25184 0.08343
4 0.05069 0.14160 0.29395
5 0.24471 0.12586 0.31422
6 0.65911 0.36468 0.07881
7 0.01833 0.02244 0.00535
Среднее значение 0.24996 0.13582 0.15088
В таблице № 3 приведены значения MSE по проверочному набору состоящего из одного временного ряда.
М Инженерный вестник Дона, №7 (2024) ¡\с1оп. ru/ru/magazine/arcЫve/n7y2024/93 59
Таблица № 3
Результаты анализа проверочного набора
№ врем. ряда CO SO2 NO2
1 0.26680 0.30798 0.11317
На рис.4 представлены графики предсказанных отсчётов временного ряда проверочного набора.
Предсказание временного ряда N«1
Время
Предсказание временного ряда №1 (Только прогноз)
____—■
СО прог. ,
— 1 < ) фак 1 ---- • S02 прог. S02 факт.
— N02 факт.---- "
Время
Рис. 4. - Графики фактических отсчётов временного ряда и прогноз,
отделённый синей линией
Заключение
По результатам анализа представленных графиков можно сделать вывод, что применяемый метод прогнозирования концентраций газов решает задачу краткосрочного прогнозирования концентрации загрязняющих веществ в г. Хабаровск.
В целях построения модели прогнозирования на долгосрочную перспективу требуется больший объем исходных данных для обучения
М Инженерный вестник Дона, №7 (2024) ivdon. ru/ru/magazine/archive/n7y2024/93 59
модели, а также совершенствование архитектуры модели, на что и будет направлено дальнейшее исследование.
Литература
1. Rao K., Devi G., Ramesh N. Air Quality Prediction in Visakhapatnam with LSTM Based Recurrent Neural Networks // International Journal of Intelligent Systems and Applications, 2019, pp. 18-24.
2. Бузмаков, Д. М., Кашников А. В. Прогнозирование концентрации метана в рабочей зоне угольной шахты на основе рекуррентных нейронных сетей. Международная конференция по мягким вычислениям и измерениям, 2020. Т. 1. С. 213-215.
3. Дель, И. В. Старченко А.В. Использование методов нейросетевого моделирования для прогнозирования качества атмосферного воздуха. Вестник Томского государственного университета. Управление, вычислительная техника и информатика, 2023. № 65. С. 15-24. DOI 10.17223/19988605/65/2.
4. Чуб, В. С. Рекуррентные нейронные сети. Обзор методов и приложений. Технологии и техника: пути инновационного развития: сборник научных статей Международной научно-технической конференции, Воронеж, 2023. С. 545-559.
5. Вегера Д.В. и др. Сравнительный обзор математических моделей для прогнозирования распространения газов. Научный аспект. 2024.-№6 URL: na-journal.ru/6-2024-informacionnye-tekhnologii/12995-sravnitelnyi-obzor-matematicheskih-modelei-dlya-prognozirovaniya-rasprostraneniya-gazov
6. Бендерская Е.Н., Никитин К.В. Рекуррентная нейронная сеть как динамическая система и подходы к ее обучению. // Научнотехнические ведомости Санкт-Петербургского государственного политехнического университета. Информатика, телекоммуникации и управление, 2013. с. 29-40.
M Инженерный вестник Дона, №7 (2024)
ivdon. ru/ru/magazine/archive/n7y2024/93 59
7. Bengio, Y., Simard, P., and Frasconi, P. Learning long-term dependencies with gradient descent is difficult // IEEE Transactions on Neural Networks, Vol. 5, No. 2, 1994, pp. 157-166.
8. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Comput 1997, Vol. 9, No. 8, 1997, pp. 1735-1780.
9. Rath A., Sahu S. R. Recurrent Neural Networks for Recommender Systems. // Computational Intelligence and Machine Learning, 2020, Vol. 1, pp. 31-36.
10. Kingma D. P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. - 2014. // URL: archive.org/details/arxiv-1412.6980
References
1. Rao K., Devi G., Ramesh N. International Journal of Intelligent Systems and Applications. 2019. pp. 18-24.
2. Buzmakov, D. M., Kashnikov A. V. Mezhdunarodnaja konferencija po mjagkim vychislenijam i izmerenijam, 2020. Vol.1. pp. 213-215.
3. Del', I. V. Starchenko A.V. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitel'naja tehnika i informatika. 2023. № 65. pp. 1524. URL: DOI 10.17223/19988605/65/2.
4. Chub, V. S. Tehnologii i tehnika: puti innovacionnogo razvitija: sbornik nauchnyh statej Mezhdunarodnoj nauchno-tehnicheskoj konferencii. 2023. pp. 545-559.
5. Vegera D.V. Nauchnyj aspekt. 2024. №6. URL: na-journal.ru/6-2024-informacionnye-tekhnologii/12995-sravnitelnyi-obzor-matematicheskih-modelei-dlya-prognozirovaniya-rasprostraneniya-gazov
6. Benderskaya E.N., Nikitin K.V. Nauchnotexnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politexnicheskogo universiteta. Informatika, telekommunikacii i upravlenie, 2013. pp. 29-40.
7. Bengio, Y., Simard, P., and Frasconi, P. IEEE Transactions on Neural Networks, Vol. 5, No. 2, 1994, pp. 157-166.
М Инженерный вестник Дона, №7 (2024) ivdon. ru/ru/magazine/archive/n7y2024/93 59
8. Hochreiter S., Schmidhuber J. Neural Comput 1997, Vol. 9, No. 8, 1997, pp. 1735-1780.
9. Rath A., Sahu S. R. Computational Intelligence and Machine Learning, 2020, Vol. 1, pp. 31-36.
10. Kingma D. P., Ba J. arXiv preprint arXiv: 1412.6980. 2014. URL: archive.org/details/arxiv-1412.6980
Дата поступления: 17.05.2024 Дата публикации: 28.06.2024
