CC BY
0IV. Инфо-коммуникационные технологии
Для цитирования: Костюченко П.А. Применение нейронных сетей в задачах экологического прогнозирования // Grand Altai Research & Education — Выпуск 1 (21)'2024 (DOI: 10.25712/ASTU.2410-485X.2024.01) — EDN: https://elibrary.ru/TPZQCE
УДК 004.89
Применение нейронных сетей
в задачах экологического прогнозирования
П.А. Костюченко1
1 ФГАОУ ВО «Волгоградский государственный университет», Волгоград, Россия E-mail: ivtm-221_363272@volsu.ru
Аннотация. Одним из важнейших параметров при измерении загрязнённости сточных вод является показатель биохимического потребления кислорода (далее БПК). При этом наиболее точно отражающим степень загрязнённости воды принято считать этот показатель, измеряемый на протяжении 5 (пяти) суток, далее обозначаемый как БПК5. Данная работа посвящена исследованию возможности уменьшения времени проведения эксперимента, за которое можно получить релевантные результаты для дальнейшего прогноза БПК5 с помощью искусственных нейронных сетей.
Ключевые слова: экологическое прогнозирование, искусственные нейронные сети, искусственный интеллект
For citation: Kostyuchenko P.A. Application of neural networks in environmental forecasting problems // Grand Altai Research & Education — Issue 1 (21)'2024 (DOI: 10.25712/ASTU.2410-485X.2024.01) — EDN: https://elibrary.ru/TPZQCE
UDK 004.89
Application of neural networks
in environmental forecasting problems
P.A. Kostyuchenko1
1 Volgograd State University, Volgograd, Russia E-mail: ivtm-221_363272@volsu.ru
Abstract. One of the most important parameters when measuring wastewater pollution is the biochemical oxygen demand (hereinafter referred to as BOD). At the same time, this indicator measured over 5 days, hereinafter referred to as BOD5, is considered to most accurately reflect the degree of water pollution. This work is devoted to studying the possibility of reducing the time of the experiment, during
which it is possible to obtain relevant results for further forecasting BOD5 using artificial neural networks.
Keywords: environmental forecasting, artificial neural networks, artificial intelligence
Введение (постановка проблемы)
Основой для появления возможности упрощения и ускорения процесса оценки загрязнённости воды являются эксперименты с МТЭ1. Данное устройство представляет собой однокамерный или двухкамерный резервуар, который состоит из анодной и катодной камеры (если устройство двухкамерное) и анодной камеры и воздушного катода (если устройство однокамерное). В результате работы МТЭ энергия химических элементов, запасённых в загрязнённых сточных водах, с помощью определённого вида бактерий перерабатывается в электрическую.
Толчком к проведению исследования в данном направлении послужило обнаружение зависимости между параметрами выходящего электричества (напряжения или заряда) и показателем БПК5. Данный показатель широко используется учёными и промышленниками для оценки загрязнённости различных типов промышленных водных отходов, а также для исследования загрязнённости природных водных ресурсов. Он отражает количество кислорода, которое вышеописанные бактерии тратят на переработку органических веществ в воде. Однако в лабораторных условиях, как следует из определения показателя, для его выяснения требуется 5 суток. При исследовании возможностей прогнозирования БПК5 с помощью данных, полученных при работе МТЭ, этот срок значительно сокращался.
В данной работе рассматривается вариант предсказания показателя биохимического потребления кислорода с помощью искусственных нейронных сетей (далее ИНС), часто применяемых в случаях, когда статистические данные, требующие обработки, не носят линейный характер. Согласно имеющимся статистическим данным, обширные возможности по прогнозированию и предсказанию результатов были использованы в данном исследовании для прогнозирования показателя БПК5, исходя из замеченной корреляции между данным параметром и выходным напряжением при работе МТЭ.
Методы, материалы и задачи
В качестве набора данных, которые в дальнейшем будут использоваться для обучения нейронной сети, была использована выборка, содержащая данные о работе МТЭ с двумя типами вод: бытовые воды и сточные воды пивоваренного завода. Выборка представляет собой значения напряжений на клеммах при работе МТЭ, полученные с интервалом в 5 минут. Количество изменений разнилось в зависимости от эксперимента. Когда наибольшее
1 микробные топливные элементы
количество органических элементов заметно уменьшалось и выходное напряжения падало ниже 0,02В, биологический материал становился непригоден для эксперимента и измерение напряжения прекращали. В исследовании был взят набор из 56 измерений зависимости напряжения при работе МТЭ от времени. Так как количество интервалов для измерений в разных экспериментах было неодинаково, данные уравняли по самому длинному эксперименту. Таким образом, выборка представляет собой набор из 56 векторов длиной в 1511 интервалов измерения напряжения. Ниже представлены примеры экспериментальных графиков для двух типов вод.
00 05 10 15 20 25 10 35 00 а5 10
Время, д. Время, д.
Рисунок 1. Зависимость напряжения от времени в МТЭ
Figure 1. Dependence of voltage on time in MFC
Также использовались значения напряжения за 24, 16, 12, 8, 6 и 2 часа до измерения, что в общей сложности требовало разработки 6 моделей ИНС для каждого подхода. Данные представляют собой значения напряжения с интервалом в 5 минут. Для работы нейронной сети количество элементов в векторе входных данных варьировалось в зависимости от периода измерения.
Таким образом, количество нейронов на входных слоях нейронной сети составляло количество часов, умноженное на 12, то есть 288, 192, 144, 96, 72 и 24. В качестве архитектуры нейронной сети в данном исследовании использовался многослойный перцептрон. Ниже (рис.1) представлена общая схема нейронной сети с архитектурой многослойный перцептрон.
Входной слой Скрытые слои Выходной слой
Рисунок 1. Архитектура многослойного перцептрона
Figure 1. Multilayer perceptron architecture
Нейронные сети прямого распространения состоят из входных и выходных слоев, а также промежуточных (или скрытых) [1-5]. Они, в свою очередь, содержат определённое количество нейронов, являющихся значением взвешенной суммы нейронов предыдущего слоя. В реализации нейронной сети для данных задач используется 3 (три) таких слоя. Для каждого из скрытых слоёв используется функция активации выпрямленной линейной единицы (ReLU). Параметры ИНС подбирались в процессе перекрестной проверки 5 (пять) раз, чтобы минимизировать ошибки (1) и (2) на блоках проверки [6-8].
Первоначально в качестве исходных моделей были созданы трехслойные ИНС со 128 нейронами в каждом из скрытых слоев. После перекрестной проверки количество нейронов в скрытых слоях менялось (в частности, на каждом из скрытых слоев выбирались варианты из 128, 64 и 96 нейронов). Кроме того, были добавлены выпадающие слои (на выпадающих слоях были выбраны такие варианты процентов исключения нейронов, как 10%, 20%, 25%, 30%, 50%).
В этой работе использовался набор данных из 56 экспериментов. Из них 16 экспериментов (8 экспериментов с бытовыми сточными водами и 8 экспериментов со сточными водами пивоваренных заводов) использовались в качестве тестового набора для окончательной оценки моделей после завершения настройки и обучения моделей. Для остальных 40 экспериментов метод K-кратной перекрестной проверки (£=5) применялся для оценки качества ИНС при выборе параметров. Набор данных из 40 экспериментов был разделен на 5 блоков, каждый блок кластеризован по 8 экспериментов. На первом этапе первый блок (20% данных) использовался как блок проверки, а остальные 4 блока (80% данных) использовались как обучающие. На следующем этапе второй блок (20% данных) использовался в качестве проверочных, а остальные блоки (80% данных) — в качестве обучающих данных. И так далее, пока каждый блок по 20% не будет использован при проверке.
Результаты исследований
По полученным пяти оценкам рассчитывалось среднее значение функции потерь. Среднеквадратическая ошибка (MSE) определялась как функция потерь, которую необходимо минимизировать во время обучения [9-12]. После окончательного выбора всех параметров (таких как количество нейронов в слоях и проценты прореживания) было выбрано количество эпох для каждой из 12 ИНС, при которых среднее значение MSE по 5 блокам проверки было минимальным. Эти эпохи 12 ИНС использовались для обучения окончательных ИНС на выборке из 40 экспериментов и тестировались на выборке из 16 экспериментов.
Отметим, что ошибки нейронной сети, полученные в данной работе, приведены с учетом погрешности работы МТЭ. А именно, погрешность определения БПК5 не превышает 10%; конкретно для используемого тестового
образца средняя относительная погрешность определения БПК по реальному напряжению МТЭ составляет примерно 7%.
Шесть моделей ИНС были разработаны для подхода прямого прогнозирования БПК5. После обучения 40 наборов при K-кратной перекрестной проверке был сохранен набор весов, который привел к минимальному значению потерь. Эти веса были применены для вывода.
Для сравнения фактических и прогнозируемых значений БПК5 использовалась средняя абсолютная процентная ошибка (MAPE) [13-15]. Всего в исследуемой выборке было десять различных видов сточных вод с загрязнением и шесть видов сточных вод без загрязнения; поэтому для оценки нейронной сети также рассчитывались показатели специфичности, чувствительности и точности.
Чувствительность рассчитывалась как отношение количества загрязненных вод, правильно определенных нейронной сетью, к истинному количеству загрязненных вод в тесте. Специфичность рассчитывалась как отношение числа незагрязненных вод, обнаруженных нейронной сетью, к истинному количеству незагрязненных вод в тесте [16-18]. Ниже (табл.1) представлены значения чувствительности и специфичности.
Таблица 1. Результаты работы нейронных сетей Table 1. Results of neural networks
Параметр Время, ч.
2 6 8 12 16 24
Чувствительность 0,8 0,8 0,8 0,9 0,9 1
Специфичность 0,67 0,67 1 1 0,83 1
Точность 0,71 0,71 0,84 0,96 0,84 0,97
Так, чувствительность составила 1 при входных данных за 24 ч измерений, 0,9 для случаев 16 и 12 ч и 0,8 для остальных случаев (8, 6 и 2 ч). Специфичность составила 1 для 24, 12 и 8 часов измерений, 0,83 для 16 часов и 0,67 для 6 и 2 часов измерений. Помимо специфичности и чувствительности, точность также рассчитывалась как отношение количества правильно определенных состояний воды (загрязненных или нет) к объему данных в тестовой выборке (16 экспериментов). Точность составляла 0,97 для записи через 24 часа измерения, 0,960 для записи через 12 часов, 0,84 для записи через 16 и 8 часов и 0,71 для записи через 6 и 2 часа.
Выводы
Модели нейронных сетей, обученные на предложенной выборке, показали хорошие результаты и при косвенном, и при прямом прогнозировании. Ожидаемая точность предсказаний нейронной сети улучшалась при увеличении длины входящих векторов. Срок получения данных о загрязнённости воды при использовании моделей ИНС значительно сократился, вплоть до 24 часов, сохраняя хорошую точность. Оперативное получение показателя БПК5,
достаточно близкого к реальному, несомненно будет полезным для улучшения качества мониторинга чистоты промышленных и природных водных ресурсов.
Список литературы
[1] Палюлин, А. Анализ данных из изображений с применением нейронной сети / А. Палюлин // Россия - Азия - Латинская Америка: Экономика взаимного доверия, 2019 г., Т. 3. С. 130131. — URL : https://www.elibrary.ru/download/elibrary_41456747_59601571.pdf— Текст: электронный.
[2] Андриянов, Н. Регрессионный анализ и прогнозирование данных футбольной статистики с использованием нейронных сетей / Н. Андриянов, В. Дементьев // Радиоэлектронная техника, 2020 г., Т.1. С.138-142. — Текст: непосредственный.
[3] Основные понятия интеллектуального анализа данных. — URL: https://learn.microsoft.com/ru-ru/analysis-services/data-mining/data-mining-concepts?view=asallproducts-allversions (дата обращения: 21.03.2024). — Текст: электронный.
[4] Gurney, K. An Introduction to Neural Networks / K. Gurney. — Amsterdam, Netherlands : University of Amsterdam, 1996. — P. 317. Текст: непосредственный.
[5] Кублик, Е. Исследование возможностей нейронных сетей и смежных методов семантического анализа в задачах анализа текстовых данных / Е. Кублик // Нейрокомпьютеры и их применение, 2020 г., Т.1. С.154-155. — Текст: непосредственный.
[6] McCaffrey, J. Neural Networks with JavaScript Succinctly / J. McCaffrey. — Research Triangle Park, USA: Syncfusion Inc., 2019. — P. 163. Текст: непосредственный.
[7] Багаев, И. Анализ понятий нейронная сеть и сверточная нейронная сеть, обучение сверточной нейросети при помощи модуля Tensorflow / И. Багаев // Математическое и программное обеспечение систем в промышленной и социальной сферах, 2020 г., Т. 8. С. 15-22. — ISSN 2306-2053 / eISSN 2658-319 — Текст: непосредственный.
[8] Jones, H. Neural Networks: An Essential Beginners Guide to Artificial Neural Networks and their Role in Machine Learning and Artificial Intelligence / H. Jones. — Boston, USA: PWS Publishing, 2018. — P. 95. Текст: непосредственный.
[9] Hagan, M. Neural Network Design. — Boston, USA : PWS Publishing, 2014. — P. 800. — Текст: непосредственный.
[10] Roberts, D. A. The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks / D. A. Roberts, S. Yaida, B. Hanin — Cambridge, England : Cambridge University Press, 2022. — P. 472. — Текст: непосредственный.
[11] Ибрагимов Р. Влияние функций активации нейронных сетей на скорость обучения на примере нейронной сети с обратным распространением ошибки / Р. Ибрагимов // Актуальные проблемы физической и функциональной электроники, 2018 г., Т. 21. С. 125126. — Текст: непосредственный.
[12] Bondarev, A. Use of neural networks in processing economic data / A. Bondarev, K. Lobanov, I. Kauts // Молодые ученые в решении актуальных проблем науки, 2022 г., Т. 1. С. 10011003. — Текст: непосредственный.
[13] Певченко, С. Сравнительный анализ алгоритмов нейронной сети и деревьев принятия решений модели интеллектуального анализа данных / С. Певченко, В. Блужин // Молодой ученый, 2016 г., Т. 28. С. 148-154. — ISSN 2072-0297 / ISSN 2077-8295 — Текст: непосредственный.
[14] Манжула, В. Нейронные сети Кохонена и нечеткие нейронные сети в интеллектуальном анализе данных / В. Манжула, Д. Федяшов // Фундаментальные исследования, 2011г., Т. 4. С. 108-114. — ISSN 1812-7339 — Текст: непосредственный.
[15] Синягов, А. Изучение работы нейронных сетей: нейронные сети основы, использование нейронных сетей в экономике / А. Синягов, А. Суконщиков // Шаг в будущее:
Искусственный интеллект и цифровая экономика, 2017 г., Т. 4. С. 130-135. Текст: непосредственный.
[16] Taylor, M. Machine Learning with Neural Networks: An Indepth Visual Introduction with Python: Make Your Own Neural Network in Python: A Simple Guide on Machine Learning with Neural Networks / M.Taylor, M. Koning. — Chicago, USA : Blue Windmill Media, 2017. — P. 373. Текст: непосредственный.
[17] Голоскоков, К. Применение нейронных сетей в задачах прогнозирования и проблемы идентификации моделей прогнозирования на нейронных сетях / К. Голоскоков // Современные проблемы прикладной информатики, 2006 г., Т.1. С. 116-120. Текст: непосредственный.
[18] Зелинов, М. Реализация искусственной нейронной сети на базе нейронной сети Петри / М. Зелинов // Гуманитарные науки в современном вузе: вчера, сегодня, завтра, 2019 г., Т. 1. С. 880-885. — Текст: непосредственный.
References
[1] Palyulin, A. Analiz dannyh iz izobrazhenij s primeneniem nejronnoj seti / A. Palyulin // Rossiya - Aziya - Latinskaya Amerika: Ekonomika vzaimnogo doveriya, 2019 g., T. 3. S. 130-131. — URL : https://www.elibrary.ru/download/elibrary_41456747_59601571.pdf — Tekst: elektronnyj.
[2] Andriyanov, N. Regressionnyj analiz i prognozirovanie dannyh futbol'noj statistiki s ispol'zovaniem nejronnyh setej / N. Andriyanov, V. Dement'ev // Radioelektronnaya tekhnika, 2020 g., T.1. S.138-142. — Tekst: neposredstvennyj.
[3] Osnovnye ponyatiya intellektual'nogo analiza dannyh. — URL: https://learn.microsoft.com/ru-ru/analysis-services/data-mining/data-mining-concepts?view=asallproducts-allversions (data obrashcheniya: 21.03.2024). — Tekst: elektronnyj.
[4] Gurney, K. An Introduction to Neural Networks / K. Gurney. — Amsterdam, Netherlands : University of Amsterdam, 1996. — P. 317. Tekst: neposredstvennyj.
[5] Kublik, E. Issledovanie vozmozhnostej nejronnyh setej i smezhnyh metodov semanticheskogo analiza v zadachah analiza tekstovyh dannyh / E. Kublik // Nejrokomp'yutery i ih primenenie, 2020 g., T.1. S.154-155. — Tekst: neposredstvennyj.
[6] McCaffrey, J. Neural Networks with JavaScript Succinctly / J. McCaffrey. — Research Triangle Park, USA: Syncfusion Inc., 2019. — P. 163. Tekst: neposredstvennyj.
[7] Bagaev, I. Analiz ponyatij nejronnaya set' i svertochnaya nejronnaya set', obuchenie svertochnoj nejroseti pri pomoshchi modulya Tensorflow / I. Bagaev // Matematicheskoe i programmnoe obespechenie sistem v promyshlennoj i social'noj sferah, 2020 g., T. 8. S. 15-22. — ISSN 23062053 / eISSN 2658-319 — Tekst: neposredstvennyj.
[8] Jones, H. Neural Networks: An Essential Beginners Guide to Artificial Neural Networks and their Role in Machine Learning and Artificial Intelligence / H. Jones. — Boston, USA: PWS Publishing, 2018. — P. 95. Tekst: neposredstvennyj.
[9] Hagan, M. Neural Network Design. — Boston, USA : PWS Publishing, 2014. — P. 800. — Tekst: neposredstvennyj.
[10] Roberts, D. A. The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks / D. A. Roberts, S. Yaida, B. Hanin — Cambridge, England : Cambridge University Press, 2022. — P. 472. — Tekst: neposredstvennyj.
[11] Ibragimov R. Vliyanie funkcij aktivacii nejronnyh setej na skorost' obucheniya na primere nejronnoj seti s obratnym rasprostraneniem oshibki / R. Ibragimov // Aktual'nye problemy fizicheskoj i funkcional'noj elektroniki, 2018 g., T. 21. S. 125-126. — Tekst: neposredstvennyj.
[12] Bondarev, A. Use of neural networks in processing economic data / A. Bondarev, K. Lobanov, I. Kauts // Molodye uchenye v reshenii aktual'nyh problem nauki, 2022 g., T. 1. S. 1001-1003. — Tekst: neposredstvennyj.
[13] Pevchenko, S. Sravnitel'nyj analiz algoritmov nejronnoj seti i derev'ev prinyatiya reshenij modeli intellektual'nogo analiza dannyh / S. Pevchenko, V. Bluzhin // Molodoj uchenyj, 2016 g., T. 28. S. 148-154. — ISSN 2072-0297 / ISSN 2077-8295 — Tekst: neposredstvennyj.
[14] Manzhula, V. Nejronnye seti Kohonena i nechetkie nejronnye seti v intellektual'nom analize dannyh / V. Manzhula, D. Fedyashov // Fundamental'nye issledovaniya, 2011g., T. 4. S. 108-114.
— ISSN 1812-7339 — Tekst: neposredstvennyj.
[15] Sinyagov, A. Izuchenie raboty nejronnyh setej: nejronnye seti osnovy, ispol'zovanie nejronnyh setej v ekonomike / A. Sinyagov, A. Sukonshchikov // SHag v budushchee: Iskusstvennyj intellekt i cifrovaya ekonomika, 2017 g., T. 4. S. 130-135. Tekst: neposredstvennyj.
[16] Taylor, M. Machine Learning with Neural Networks: An Indepth Visual Introduction with Python: Make Your Own Neural Network in Python: A Simple Guide on Machine Learning with Neural Networks / M.Taylor, M. Koning. — Chicago, USA : Blue Windmill Media, 2017. — P. 373. Tekst: neposredstvennyj.
[17] Goloskokov, K. Primenenie nejronnyh setej v zadachah prognozirovaniya i problemy identifikacii modelej prognozirovaniya na nejronnyh setyah / K. Goloskokov // Sovremennye problemy prikladnoj informatiki, 2006 g., T.1. S. 116-120. Tekst: neposredstvennyj.
[18] Zelinov, M. Realizaciya iskusstvennoj nejronnoj seti na baze nejronnoj seti Petri / M. Zelinov // Gumanitarnye nauki v sovremennom vuze: vchera, segodnya, zavtra, 2019 g., T. 1. S. 880-885.
— Tekst: neposredstvennyj.
