CC BY
52
УДК 004.67; 504.064.36
В.С. Валиев, Р.Р. Хасанов, Д.Е. Шамаев
Институт проблем экологии и недропользования АН РТ, rustamkhasanov88@gmail.com
АВТОМАТИЗАЦИЯ ОБРАБОТКИ ПЕРВИЧНЫХ ДАННЫХ МОНИТОРИНГА КАЧЕСТВА ВОД И ДОННЫХ ОТЛОЖЕНИЙ ПОВЕРХНОСТНЫХ ВОДНЫХ ОБЪЕКТОВ
Разработано локальное приложение для Windows, реализованное в виде комплекса из трех модулей, осуществляющих расчет удельных комбинаторных индексов воды и донных отложений поверхностных водных объектов, а также байесову вероятность загрязнения. Тестирование комплекса продемонстрировало его высокую эффективность и простоту в использовании, обеспечивающую быструю, надежную и комплексную оценку качества водных объектов.
Ключевые слова: водные объекты; качество воды и донных отложений; индексы загрязненности; приложение «УКИЗВ-Plus».
DOI: 10.24852/2411-7374.2021.3.30.35
Автоматизация обработки любых данных основывается на двух условиях: техническом решении (аппарат обработки) и алгоритме расчета (математический аппарат). Особенностью автоматизации является многократное воспроизведение одних и тех же последовательностей (циклов), в связи с чем, алгоритмы расчетов должны быть максимально оптимизированы. В свою очередь, техническое решение должно обеспечить быстрый и удобный ввод данных и вывод результатов расчета, представленных в необходимом для аналитика виде: графическом, числовом, логическом, семантическом и т.д.
Современные компьютеры позволяют обрабатывать гигантские массивы информации в реальном времени, являясь неотъемлемой частью систем принятия решений. Однако любая компьютерная система является лишь вычислительным инструментом, функционирование которого осуществляется по заданному алгоритму, в связи с чем автоматизированные системы становятся таковыми лишь при наличии специализированных программ. Создание таких программ является комплексной научно-технической задачей и требует от разработчика не только технологической компетенции, но и глубоких знаний способов оценки рассматриваемого явления или объекта.
В настоящее время компьютерные технологии предлагают несколько вариантов технического решения автоматизации обработки массивов данных, однако решению аналитических задач, к которым относится и оценка качества вод поверхностных водных объектов, наилучшим образом подходят два, зависящие, в свою очередь, от
условий конкретной задачи. Это распределенная серверная обработка данных и локальная обработка данных на рабочих станциях. Удобства первого варианта очевидны - это мобильность и компактность аналитических приложений, так как основной расчетный модуль и обработчик расположены на сервере. При этом варианте возможен расчет данных вообще без приложения, в режиме так называемого «тонкого» клиента, когда данные для обработки загружаются через браузер и там же визуализируется результат. Многие зарубежные системы расчета индексов качества воды предоставляют пользователям онлайн-каль-куляторы своих расчетных алгоритмов, реализованные именно по технологии «тонкий» клиент (Calculating NSF Water Quality Index - National Sanitation Foundation; Canadian Environmental Quality Guidelines).
Недостатками этого варианта технического решения является его абсолютная непрозрачность (невозможность декомпиляции исходного кода), а также высокий риск утечки данных, зачастую полученных со значительными финансовыми затратами. Подобные риски вынуждают тратить большие средства на защиту данных и содержание удаленных серверов, что крайне невыгодно для конечных пользователей, особенно при расчетах для научных целей.
Для них оптимальным является второй вариант, когда расчетный модуль расположен на рабочей станции или локальном сервере, а расчет осуществляется в специальном приложении на персональном компьютере пользователя. Достоинствами этого варианта технического решения
3!
российский журннл ИМ! экологии
является конфиденциальность, прозрачность и независимость от работоспособности интернет-канала или распределенного сервера. Многие зарубежные компании разрабатывают приложения под оба варианта, при этом распределенный вариант предлагается для бесплатного публичного использования, а локализованные приложения - для персонифицированного коммерческого.
В системе государственного экологического мониторинга поверхностных вод используется метод расчета удельного комбинаторного индекса загрязненности воды (УКИЗВ), который является на настоящий момент основным и единственным официально утвержденным методом для комплексной оценки качества вод водных объектов по гидрохимическим показателям (РД 52.24.6432002). Указанный метод был разработан с целью интегральной оценки качества поверхностных вод по комплексу загрязняющих веществ, наблюдаемых сетью регулярных наблюдений Государственной службы наблюдений Росгидромета. УКИЗВ адаптирован к специфическим данным в определенной их совокупности (15 основных показателей качества вод). Обработка данных гидрохимического мониторинга осуществляется с применением программного комплекса «Гидро-хим ПК. иККУ - сеть», который носит внутриведомственный характер и недоступен широкому кругу пользователей.
Кроме того, в настоящее время существует необходимость комплексной оценки и обобщения превышений порогов содержания загрязняющих веществ в составе донных отложений, аналогично удельному комбинаторному индексу загрязненности вод. Нами (Валиев, Иванов, Ша-гидуллин, 2019; Валиев и др., 2019) был создан и апробирован метод комплексной оценки загрязненности донных отложений, решающий задачу интегральной оценки их качества по комплексу загрязняющих веществ и учитывающий дифференциацию отложений по типам в зависимости от гранулометрического состава и содержания органического вещества. Система формализованных показателей предлагаемого метода использует частотные характеристики рядов данных о содержании отдельных веществ в донных отложениях, балльную оценку этих характеристик, обобщение балльных оценок и приведение их к соответствующим классам чистоты, аналогично схеме, применяемой при комплексной оценке качества поверхностных вод в соответствии с РД 52.24.6432002. Уровень загрязненности донных отложений оценивается относительной характеристикой, рассчитанной по фактически обнаруживаемым концентрациям совокупности загрязняющих
веществ и соответствующим им фоновым значениям (нормативам). Оценка основана на агрегировании информации о частотах обнаружения концентраций, превышающих фоновые значения, и кратностях этого превышения. Сочетание уровня загрязненности донных отложений тяжелыми металлами и нефтепродуктами и частоты обнаружения этих случаев позволяет получить комплексную характеристику, обобщающую целый ряд показателей в виде того или иного класса чистоты в форме удельного комбинаторного индекса загрязненности донных отложений (УКИЗДО).
В рамках настоящего исследования было разработано локальное приложение для Windows «УКИЗВ-Plus», реализованное в виде комплекса из трех модулей, осуществляющих расчет УКИЗВ в соответствии с РД 52.24.643-2002, удельного комбинаторного индекса загрязненности донных отложений тяжелыми металлами и нефтепродуктами (УКИЗДО), на основе региональных фоновых нормативов (Региональные ..., 2019, 2020), а также байесову вероятность загрязнения (Тунако-ва и др., 2016). Программа написана на языке Object Pascal (Tesler, 1985; Буч, 1992) в среде Delphi 10 и представляет собой компактное приложение, выполненное в виде формы, на которой размещен соответствующий интерфейс (рис. 1). При необходимости возможен перенос программного кода в приложение Linux или iOS. Для функционирования комплекса не требуется особых условий, так как он использует технологию COM и функционал WinAPI.
Пользовательский интерфейс выполнен в интуитивно понятном виде. Данные, предварительно оформленные в виде электронной таблицы и сохраненные в формате Excel, загружаются в комплекс, отображаясь в виде собственной таблицы программы (рис. 2).
Условие для оформления загружаемых таблиц просты: первой строкой (заголовок полей) указываются названия загрязняющих веществ, во второй строке размещаются их ПДК или иной норматив, относительно которого должен производиться расчет (например, фон), далее построчно размещаются концентрации этих загрязняющих веществ, обнаруженные в отдельных пробах (точках, станциях отбора). Шаблон ввода данных в формате Excel (*.xls, *.xlsx) прилагается к программе. В результате в программу загружается массив данных о содержании загрязняющих веществ в воде и(или) донных отложениях, обработав который, программа рассчитывает удельные комбинаторные индексы загрязненности воды или донных отложений (рис. 3, 4), а также рассчитывает риск возможного загрязнения в каждой
Рис. 1. Интерфейс и общий вид программы Fig.1. Interface and general appearance oof the program
Рис. 2. Общий вид загруженных в программу
аналитических данных Fig. 2. General view oof the analytical data loaded into the program
Рис. 3. Результаты расчета показателей загрязненности воды Fig. 3. The results oof calculating the indicators oof water pollution
Рис. 4. Результаты расчета показателей загрязненности донных отложений Fig. 4. The results oof calculating the indicators oof sediments contamination
Рис. 5. Результаты расчета байесовых вероятностей загрязнения поверхностных вод Fig. 5. The results oof calculating the Bayesian probabilities of surface water pollution
Рис. 6. Визуализация рассчитанных индексов
загрязнения воды Fig. 6. Visualization oof calculated water pollution indices
32
российски журннл прикладной эком
Рис. 7. Итоговый отчет системы в текстовом виде
Fig. 7. The final report of the system in text form
пробе с учетом всей их совокупности (рис. 5).
Особенностью разработанной программы является то, что ее расчетный алгоритм учитывает природу оцениваемого водного объекта (водоток, водоем), гранулометрический состав и содержание органического вещества в донных отложениях, оценивает степень их загрязненности тяжелыми металлами, нефтепродуктами, используя региональные нормативы. Кроме того, в программе реализован уникальный алгоритм вероятностной оценки, рассчитывающий риск обнаружения загрязнения как в воде, так и в донных отложениях. При необходимости аналитик может сохранить результаты расчета, скопировав в буфер обмена как всю таблицу расчетов, так и только заинтересовавшую его часть, а также визуализировать рассчитанные индексы в виде графика, наглядно отображающего приоритетные загрязнители (рис. 6).
Помимо обычной визуализации рассчитанных в результате работы программы значений индексов в системе предусмотрен простой, но эффективный генератор отчета, не только формирующий текстовое описание результата исследования, но и рассчитывающий интегральный показатель, агрегирующий в виде взвешенного среднего значения всех рассчитанных удельных комбинаторных индексов водного объекта в единую комплексную характеристику. В сгенерированном системой отчете указываются также наиболее загрязняющие водный объект компоненты, приводится класс чистоты воды и донных отложений, при необходимости дается характеристика загрязнения донных отложений металлами и нефтепродуктами. Итоговая интегральная оценка дает характеристику водному объекту в целом, также представляя оценку в градациях класса чистоты (рис. 7).
Весовые коэффициенты, корректирующие
вклады различных удельных комбинаторных индексов в итоговую интегральную характеристику рассчитываются по числу учитываемых в каждой среде водного объекта показателей следующим образом:
Щ
мл =
1.1п
где wi - весовой коэффициент 1-го индекса (вода, тяжелые металлы в донных отложениях, нефтепродукты в донных отложениях), а - число параметров ¿-го индекса; £ п - сумма параметров всех индексов.
Затем вычисляется средневзвешенное значение интегрального индекса М как сумма произведений отдельных индексов т с их весовыми коэффициентами:
М
- У"' mjWj
Программный комплекс разрабатывался в качестве аналитического инструмента-помощника для специалистов, занимающихся контролем, мониторингом и охраной водных объектов Республики Татарстан. Особенностью программы является авторская методика оценки донных отложений, максимально приближенная к расчету удельного комбинаторного индекса загрязнения воды (УКИЗВ), а также уникальный модуль расчета вероятности загрязнения, результаты которого хорошо интегрируются с различными ГИС для пространственного отображения риска загрязнения.
Тестирование комплекса «УКИЗВ-Plus» на мониторинговых данных продемонстрировало его высокую эффективность и простоту в использовании, обеспечивающую быструю, надежную и комплексную оценку качества водных объектов.
Исследования выполнены при поддержке гранта Академии наук Республики Татарстан 01-18-эГ.
Список литературы
1. Буч Г. Объектно-ориентированное проектирование с примерами применения. Киев: Диалектика; М.: Конкорд, 1992. 519 с.
2. Валиев В.С., Иванов Д.В., Шагидуллин Р.Р. Метод комплексной оценки загрязненности донных отложений // Труды Карельского научного центра РАН. Сер. Лимнология и океанология 2019. №9. С. 51-59. doi: 10.17076/lim1122/
3. Валиев В.С., Иванов Д.В., Зиганшин И.И., Шамаев Д.Е., Хасанов Р.Р., Маланин В.В., Марасов А.А., Шагидул-лин Р.Р. Методика комплексной оценки качества донных отложений водных объектов по содержанию загрязняющих веществ // Озера Евразии: проблемы и пути их решения / Материалы II международной конференции. Казань: Изд-во
Академии наук РТ, 2019. Ч. 2. С. 43-49.
4. РД 52.24.643-2002. Метод комплексной оценки степени загрязненности поверхностных вод по гидрохимическим показателям.
5. Региональные нормативы «Фоновое содержание нефтепродуктов в донных отложениях поверхностных водных объектов Республики Татарстан» (утв. Приказом Министерства экологии и природных ресурсов РТ от 20.02.2020 г.)
6. Региональные нормативы «Фоновое содержание тяжелых металлов в донных отложениях поверхностных водных объектов Республики Татарстан» (утв. Приказом Министерства экологии и природных ресурсов РТ от 27.03.2019 г.)
7. Тунакова Ю.А., Галимова А.Р., Новикова С.В., Шаги-дуллин Р.Р., Валиев В.С., Габдрахманова Г.Н. Система оценки и управления качеством питьевых вод (на примере территории г. Казани). Казань: Фолиант, 2016. 140 с.
8. Calculating NSF Water Quality Index - National Sanitation Foundation. Электронный ресурс: https://water-research. nel/index.php/water-treatment/water-monitoring/monitor-ing-the-quality-of-surfacewaters (дата обращения: 15.06.2021).
9. Canadian Environmental Quality Guidelines. Электронный ресурс: https://ccme.ca/en/ current-activities/canadian-environmental-quality-guidelines (дата обращения: 15.06.2021).
10. Tesler L. Object Pascal Report // Structured language world. 1985. V. 9 (3). P. 7-10.
References
1. Buch G. Ob"ektno-orientirovannoe proektirovanie s pri-merami primeneniya [Object-oriented design with application examples]. Kiev: Dialektika; M.: Konkord, 1992. 519 p.
2. Valiev V.S., Ivanov D.V., Shagidullin R.R. Metod kom-pleksnoj ocenki zagryaznennosti donnyh otlozhenij [Method of complex assessment of sediments contamination] // Trudy Kar-el'skogo nauchnogo centra RAN. Ser. Limnologiya i okeanologi-ya [Karelian Scientific Center of the Russian Academy of Sciences. Limnology and Oceanology series]. 2019. No 9. P. 51-59. doi: 10.17076/lim1122/
3. Valiev V.S., Ivanov D.V., Ziganshin I.I., SHamaev D.E., Hasanov R.R., Malanin V.V., Marasov A.A., Shagidullin R.R. Metodika kompleksnoj ocenki kachestva donnyh otlozhenij vod-nyh ob"ektov po soderzhaniyu zagryaznyayushchih veshchestv [Method of complex assessment of the sediments quality of water bodies by the content of pollutants] // Ozera Evrazii: proble-my i puti ih resheniya [Lakes of Eurasia: problems and solutions] / Materialy II mezhdunarodnoj konferencii. Kazan': Akademiya nauk RT, 2019. Ch. 2. Р. 43-49.
4. RD 52.24.643-2002. Metod kompleksnoj ocenki stepeni zagryaznennosti poverhnostnyh vod po gidrohimicheskim poka-zatelyam [Method of complex assessment of the degree of contamination of surface waters by hydrochemical indicators].
5. Regional'nye normativy [Regional standards] «Fonovoe soderzhanie nefteproduktov v donnyh otlozheniyah poverhnost-nyh vodnyh ob"ektov Respubliki Tatarstan» (utv. Prikazom Min-
isterstva ekologii i prirodnyh resursov RT 20.02.2020) [Background content of heavy metals in sediments of surface water bodies of the Republic of Tatarstan. Approved by the Order of the Ministry of ecology and natural resources of the Republic of Tatarstan dated 20.02.2020]
6. Regional'nye normativy [Regional standards] «Fonovoe soderzhanie tyazhelyh metallov v donnyh otlozheniyah pov-erhnostnyh vodnyh ob"ektov Respubliki Tatarstan» (utv. Prika-zom Ministerstva ekologii i prirodnyh resursov RT 27.03.2019. [Background content of heavy metals in bottom sediments of surface water bodies of the Republic of Tatarstan. Approved by the order of the Ministry of ecology and natural resources of the Republic of Tatarstan dated 27.03.2019].
7. Tunakova Yu.A., Galimova A.R., Novikova S.V., Shagidullin R.R., Valiev V.S., Gabdrahmanova G.N. Sistema ocenki i upravleniya kachestvom pit'evyh vod (na primere territorii g. Kazani) [System of assessment and management of drinking water quality (on the example of the territory of Kazan)]. Kazan': Foliant, 2016. 140 p.
8. Calculating NSF Water Quality Index - National Sanitation Foundation. Elektronnyj resurs [Electronic resource]: https:// water-research.net/index.php/water-treatment/water-monitoring/ monitoring-the-quality-of-surfacewaters (accessed: 15.06.2021).
9. Canadian Environmental Quality Guidelines. Elektron-nyj resurs [Electronic resource]: https://ccme.ca/en/ current-activities/canadian-environmental-quality-guidelines (accessed: 15.06.2021).
10. Tesler L. Object Pascal Report // Structured language world. 1985. Vol. 9 (3). P. 7-10.
Valiev V.S., Khasanov R.R., Shamaev D.E. Automation of processing of primary data for monitoring the quality of water and bottom sediments of surface water objects.
A local application for Windows has been developed, implemented as a complex of three modules that calculate the specific combinatorial indices of water and bottom sediments of surface water bodies, as well as the Bayesian probability of contamination. Testing of the complex has demonstrated its high efficiency and ease of use, which provides a fast, reliable and comprehensive assessment of the quality of water bodies.
Keywords: water bodies; water and sediments quality; pollution indices; application «UKIZV-Plus».
34
российский журннл ииой экологии
Раскрытие информации о конфликте интересов: Автор заявляет об отсутствии конфликта интересов / Disclosure of conflict of interest information: The author claims no conflict of interest
Информация о статье / Information about the article.
Поступила в редакцию / Entered the editorial office: 10.08.2021
Одобрено рецензентами / Approved by reviewers: 1.09.2021
Принята к публикации / Accepted for publication: 4.09.2021
Информация об авторах
Валиев Всеволод Сергеевич, старший научный сотрудник, Институт проблем экологии и недропользования АН РТ, 420087, Россия, г. Казань, ул. Даурская, 28, E-mail: podrost@mail.ru.
Хасанов Рустам Равилевич, младший научный сотрудник, Институт проблем экологии и недропользования АН РТ, 420087, Россия, г. Казань, ул. Даурская, 28, E-mail: rustamkhasanov88@gmail.com.
Шамаев Денис Eвгеньевич, младший научный сотрудник, Институт проблем экологии и недропользования АН РТ, 420087, Россия, г. Казань, ул. Даурская, 28, E-mail: ds1991n@gmail.com.
Information about the authors
Vsevolod S. Valiev, Senior Researcher, Research Institute for Problems of Ecology and Mineral Wealth Use of Tatarstan Academy of Sciences, 28, Daurskaya st., Kazan, 420087, Russia, E-mail: podrost@mail.ru.
Rustam R. Khasanov, Junior Researcher, Research Institute for Problems of Ecology and Mineral Wealth Use of Tatarstan Academy of Sciences, 28, Daurskaya st., Kazan, Russia, 420087, E-mail: rustamkhasanov88@gmail.com.
Denis E. Shamaev, Junior Researcher, Research Institute for Problems of Ecology and Mineral Wealth Use of Tatarstan Academy of Sciences, 28, Daurskaya st., Kazan, 420087, Russia, E-mail: ds1991n@gmail.com.
3/212]
35
