CC BY
37
УДК 519.246.8:628.1
DOI 10.21685/2072-3059-2016-4-5
Д. С. Бубырь, Е. М. Булыжев, В. Н. Клячкин, В. Р. Крашенинников
РЕГРЕССИОННЫЕ МОДЕЛИ ОЦЕНКИ КАЧЕСТВА ПИТЬЕВОЙ ВОДЫ ПО ФИЗИКО-ХИМИЧЕСКИМ ПОКАЗАТЕЛЯМ ВОДОИСТОЧНИКА1
Аннотация.
Актуальность и цели. Объектом исследования является система водоочистки Санкт-Петербургского водоканала, в которой контролируются семь показателей качества питьевой воды в зависимости от шести физико-химических параметров водоисточника и двух управляемых параметров (дозы коагулянта и флокулянта, используемых при очистке воды). Предмет исследования - качество питьевой воды. Целью исследования является разработка системы раннего предупреждения о возможном нарушении качества питьевой воды вследствие ухудшения физико-химических показателей источника водоснабжения (прогнозируется возможность выхода одного или нескольких показателей качества воды за допустимые пределы) и обеспечение управляющего воздействия (изменение доз коагулянта и флокулянта) для исключения аварийной ситуации.
Материалы и методы. Исследование качества воды проводится путем построения регрессионных моделей, которые наилучшим образом представляют зависимость показателей качества питьевой воды от физико-химических параметров водоисточника и управляемых параметров, исходя из данных мониторинга работы системы водоочистки.
Результаты. Получены модели для показателей качества питьевой воды, которые могут быть использованы для прогнозирования будущего состояния питьевой воды.
Выводы. В результате проведения регрессионного моделирования показателей качества питьевой воды установлено, что «глобальные» модели не обеспечивают необходимую для прогнозирования точность. С целью повышения значения коэффициента детерминации предлагается использование малых выборок с применением кусочно-линейных регрессий с учетом авторегрессий второго порядка. Для оценки влияния управляемых факторов (доз коагулянта и флоку-лянта) на показатели качества воды рекомендуется использование кусочно-квадратичных моделей. Применение предлагаемых подходов позволит обеспечить прогнозирование возможных аварийных ситуаций, при которых отдельные показатели качества питьевой воды могут выйти за допустимые пределы.
Ключевые слова: качество питьевой воды, состояние источника водоснабжения, регрессионная модель, прогнозирование, кусочно-линейная регрессия, кусочно-квадратичная модель.
D. S. Bubyr', E. M. Bulyzhev, V. N. Klyachkin, V. R. Krasheninnikov
ASSESSMENT OF DRINKING WATER QUALITY BY PHYSICAL AND CHEMICAL PARAMETERS OF A WATER SOURCE
1 Исследование выполнено в рамках государственного задания № 2014/232 на выполнение государственных работ в сфере научной деятельности Минобрнауки России и при финансовой поддержке РФФИ, проект № 15-48-02038.
Abstract.
Background. The object of the study is the water treatment system of the St Petersburg Vodokanal (water supply system), which is controlled by seven drinking water quality indicators depending on six physical-chemical parameters of water and two managed parameters (dose of a coagulant and a flocculant used in water purification). The subject of the research is the quality of drinking water. The aim of the study is to develop an early warning system for possible water quality loss due to deterioration of physico-chemical indicators of a water source (forecasting a possibility that one or more water quality indicators will be over the permissible limit) and to control activities (changing doses of a coagulant and a flocculant) to avoid emergency situations.
Materials and methods. The study of water quality was conducted by building regression models that best represent the dependence of drinking water quality indicators on physico-chemical parameters and controlled parameters, on the basis of monitoring of water treatment systems.
Results. The authors developed models for drinking water quality indicators that can be used to predict the future state of drinking water.
Conclusions. As a result of regression modelling of drinking water quality indicators it has been found that global models do not provide the necessary accuracy of forecasting. In order to enhance the value of the determination coefficient it is suggested to use small samples applying piecewise-linear regressions taking into account autoregressions of the second order. To assess the effect of controlled agents (doses of a coagulant and a flocculant) on water quality indicators, the authors recommend to use piecewise quadratic models. The proposed approaches will allow to prediction the potential of emergency situations at which the selected indicators of drinking water quality may go over the permissible limit.
Key words: drinking water quality, water supply source state, regressive model, forecasting, piecewise linear regression, piecewise quadratic model.
Введение
Рассматривается система водоочистки Санкт-Петербургского водоканала, в которой контролируются семь показателей качества питьевой воды в зависимости от шести физико-химических параметров водоисточника и двух управляемых параметров (дозы коагулянта и флокулянта, используемых при очистке воды).
Целью исследования является разработка системы раннего предупреждения о возможном нарушении качества питьевой воды вследствие ухудшения физико-химических показателей источника водоснабжения (прогнозируется возможность выхода одного или нескольких показателей качества воды за допустимые пределы) и обеспечение управляющего воздействия (изменение доз коагулянта и флокулянта) для исключения аварийной ситуации.
Эта цель достигается путем построения регрессионных моделей, которые наилучшим образом представляют зависимость показателей качества питьевой воды от физико-химических параметров водоисточника и управляемых параметров, исходя из данных мониторинга работы системы водоочистки, и могут быть использованы для прогнозирования будущего состояния питьевой воды.
1. Построение кусочно-линейных регрессионных зависимостей
Примем следующие обозначения параметров: физико-химические показатели источника водоснабжения - температура Xb цветность X2, мутность
X3, значение рН X4, щелочность X5, окисляемость X6;; управляемые факторы -доза коагулянта X7 = u, доза флокулянта X8 = v; показатели качества питьевой воды - цветность Yb содержание алюминия Y2, значение рН Y3, содержание хлоридов Y4, остаточного хлора Y5, окисляемость Y6, щелочность Y7.
Первоочередной задачей было выявление регрессионных зависимостей
Yj = f (Xj,X2,...,Xg) между Yi (i = 1,7) и Х}- (j = 1,8) таких, чтобы коэффициент детерминации R , характеризующий точность моделей, был по возможности ближе к единице [1-3].
Для поиска регрессий использовалась выборка, состоящая из данных мониторинга системы за год. Процедура моделирования и перебора возможных регрессий осуществлялась в интегрированной системе комплексного статистического анализа и обработки данных STATISTICA [4-6].
При выявлении регрессионных зависимостей пришлось столкнуться с проблемой плохой аппроксимации. Исследования показали, что «глобальные» модели обладают малой точностью, что можно объяснить неоднородностью физических свойств системы на области значений регрессоров.
Для множественной линейной регрессии [7, 8] коэффициент детерминации не превышал значения 0,5. После использования пошаговой регрессии [9] с целью удаления незначимых регрессоров заметного улучшения значения этого коэффициента не наблюдалось. После перебора различных нелинейных моделей [10] (мультипликативная, полный/неполный квадрат, куб, сумма всевозможных произведений и др.) было получено незначительное улучшение коэффициента детерминации на 10-20 % при значительном усложнении структуры (для некоторых моделей количество регрессоров составляло 40 и более).
Значительно увеличить величину R удалось за счет «кусочности», или локальности модели, т.е. вариации ее параметров по области значений регрессоров. Таким вариантом послужила кусочно-линейная зависимость,
обладающая достаточно простой структурой и повышающая R на 21-56 %.
Кусочно-линейная регрессия искалась в следующем виде:
Yj = (b)1 + Ьи • X1 +... + Ът1 • Xm)• (Yj < Cj) + + (b)2 + Ъ12 • X1 + ... + Ът2 • Xm ) • (Yj > Cj), (1)
где m = 8 - количество независимых параметров; j - номер показателя качества воды; с, - точка разрыва; (Yl < сг), (Yl > cj) - логические выражения, принимающие значения: 1 - если истинно, 0 - если ложно. Разрыв происходит по отклику, точка разрыва - среднее значение отклика Yj в данной выборке.
С целью дальнейшего повышения адекватности модели был опробован ряд вариантов модификации кусочно-линейной регрессии.
2. Использование авторегрессии
Одним из способов повышения качества кусочно-линейной регрессии явилось добавление элемента авторегрессии для учета значения отклика в предыдущие дни [11, 12]. Была использована модель вида
Y (t) = (Ьи + b11X1 + b21X2 + ... + Ьт1 Xm +
+Ьт+\,1¥- 1) + ••• + Ьт+р,
17(Г - р))(7(Г) < с) +
+(Ь02 + Ь12 Х1 + Ь22 х2 + • •• + Ьт 2 Хт + +Ьт+1,27(Г - 1) + ••• +
Ьт+р,
27(Г - р))(7(Г) > с), (2)
где т - количество регрессоров модели; р - порядок авторегрессии; 7(^-1)... 7(^-р) - значения отклика в предыдущие моменты времени; Ьу - коэффициенты, которые были оптимизированы по критерию минимума среднеквадра-тической ошибка В табл^ 1 приведены результаты по коэффициенту детерминации для годовых данных^
Таблица 1
Значения коэффициента детерминации для кусочно-линейных регрессий
Кусочно-линейная регрессия
Отклик без авторегрессии с авторегрессией
1-го порядка 2-го порядка
Y1 0,60 0,61 0,60
Y2 0,64 0,65 0,64
Y3 0,72 0,75 0,74
Y4 0,62 0,67 0,63
Y5 0,79 0,80 0,79
Y6 0,68 0,68 0,68
Y7 0,74 0,75 0,75
2
Из табл^ 1 видно, что наблюдается небольшое улучшение значения Я • Следует заметить, что при увеличении порядка авторегрессии наблюдалось
постепенное уменьшение значения Я2 , поэтому представлены только результаты первых двух порядков •
3. Кусочно-нелинейная регрессия
Принцип кусочности был перенесен на нелинейный случай [13] Исследован менее громоздкий вариант зависимости качества питьевой воды от управляемых параметров (дозы коагулянта и флокулянта), которые являются важнейшими входными факторами
Рассмотрим для примера зависимость одного из показателей 7 (значение рН в составе отфильтрованной воды) от двух управляемых параметров и и V (дозы коагулянта и флокулянта), добавляемых в процессе очистки водьг На рис 1 показаны построенные с помощью пакета 8ТЛТ18Т1СЛ изолинии показателя 7, на каждой из которых отклик 7 имеет свое постоянное значение • Эти линии получены аппроксимацией точечных множеств (экспериментальных точек (иг-, VI)) плоскости (u,v), на каждом из которых 7 приблизительно постоянно • Соседние линии отличаются по значению 7 на 0,027.
Регулярный характер изолиний показывает наличие функциональной связи между и и V на всех уровнях^ Форма этих линий указывает на квадратичную зависимость, вследствие чего была выбрана полиномиальная модель второго порядка общего вида:
Y = Au2 + Buv + Cv2 + Du + Ev + F,
(3)
где коэффициенты модели следует оптимизировать по критерию минимума среднеквадратичной ошибки:
1 N / N z (
i=1
Au2 + Buivi + Cu2 + Du; + Ev; + F - Y{) = min .
(4)
9.2
Рис 1 Линии уровня для показателя рН
Построение кусочно-квадратичной модели заключается в следующем^ Сначала требуется разбить плоскость (и^) на части в соответствии со значениями отклика 7. Разбиение на два куска р и Р2 с одной точкой разрыва И имеет вид
g(и, V) < И ^ (и, V) е Р1; g(и, V) > И ^ (и, V) е ^ • (5)
В качестве индикаторной функции выбирается квадратичная:
(6)
2 2 g(u, v) = au + buv + cu + du + ev .
При этом коэффициенты данной функции выбираются так, чтобы она наилучшим образом разделяла экспериментальные точки по уровням отклика при выбранном значении точки разрыва И • Для этого минимизируется невязка
2 2 \2 / ^ ( au{ + bu;v; + cu{ + du; + ev; - h) ,
i=1
(7)
где И - выбранная точка разрыва, в качестве которой можно взять значение уровня 7 некоторой средней изолинии Усреднение в (4) производится по
2
v
u
точкам этой изолинии. Она и будет границей между кусками р и р . Принадлежность любой точки (и, V) к р или р определяется правилом (5).
Далее для каждого куска Р\ строится своя модель (3):
У = Лки2 + Бкт + Ски2 + Бки + Е^ + ¥к , (8)
коэффициенты которой минимизируют средний квадрат ошибки (5) по точкам этого куска.
Следует отметить, что при определении типа функциональной связи между регрессорами может возникнуть задача обнаружения линий или поверхностей определенного вида в множестве экспериментальных точек. Такая задача рассмотрена, например, в [14].
4. Моделирование и прогнозирование
Исследовалось также влияние объема обучающей выборки и типа модели на величину коэффициента детерминации. Для моделирования кусочно-линейной регрессии использовались выборки объемом 30, 35 и 40 дней. Прогнозирование производилось на четыре дня вперед. При этом формировалось 4 типа моделей:
1) кусочно-линейная регрессия (без авторегрессии);
2) пошаговая кусочно-линейная регрессия;
3) кусочно-линейная регрессия с элементом авторегрессии 1-го порядка;
4) кусочно-линейная регрессия с элементом авторегрессии 2-го порядка.
Результаты моделирования представлены в табл. 2, где приведены максимальные значения коэффициента детерминации В2 для данного отклика при соответствующем объеме выборки. Видно, что здесь наилучшие результаты получены при использовании авторегрессии второго порядка, при этом оптимальные объемы выборок для различных откликов различны.
Таблица 2
Зависимость коэффициента детерминации от типа модели и объема выборки
Без авторегрессии Авторегрессия Авторегрессия Пошаговая
1-го порядка 2-го порядка регрессия
R2 объем R2 объем R2 объем R2 объем
выборки выборки выборки выборки
Y1 0,86 30 0,86 35 0,89 35 0,85 30
Y2 0,89 30 0,97 30 0,98 30 0,87 40
Y3 0,84 35 0,89 35 0,93 30 0,80 30
Y4 0,99 30 0,99 35 0,99 35 0,96 30
Y5 0,96 30 0,97 30 0,98 30 0,96 35
Y6 0,81 35 0,83 40 0,88 40 0,71 40
Y7 0,86 30 0,87 30 0,90 30 0,87 30
Заключение
В результате проведения регрессионного моделирования показателей качества питьевой воды установлено, что «глобальные» модели не обеспечивают необходимую для прогнозирования точность. С целью повышения зна-
чения коэффициента детерминации предлагается использование малых выборок с применением кусочно-линейных регрессий с учетом авторегрессий второго порядка. Для оценки влияния управляемых факторов (доз коагулянта и флокулянта) на показатели качества воды рекомендуется использование кусочно-квадратичных моделей. Применение предлагаемых подходов позволит обеспечить прогнозирование возможных аварийных ситуаций, при которых отдельные показатели качества питьевой воды могут выйти за допустимые пределы.
Список литературы
1. Валеев, С. Г. Системы раннего предупреждения аномальной ситуации при анализе состояния СОЖ / С. Г. Валеев, Е. М. Булыжев // Инженерный журнал. -2011. - № 10. - С. 39-42.
2. Валеев, С. Г. Регрессионное моделирование при обработке наблюдений / С. Г. Валеев. - М. : Наука, 1991. - 272 с.
3. Клячкин, В. Н. Статистические методы в управлении качеством: компьютерные технологии / В. Н. Клячкин. - М. : Финансы и статистика : ИНФРА-М, 2009. - 304 с.
4. Халафян, А. А. STATISTrcA 6. Статистический анализ данных / А. А. Хала-фян. - 3-е изд. - М. : Бином-Пресс, 2007. - 512 с.
5. Statistica documentation. - URL: documentation.statsoft.com (дата обращения: 31.03.2014).
6. Joaquim, P. Marques de Sa, Applied Statistics Using SPSS, STATISTICA, MATLAB and R. / P. Joaquim. - Berlin : Springer, 2007. - P. 520.
7. Rasmussen, C. E. Gaussian Processes for Machine Learning / C. E. Rasmussen, C. K. I. Williams. - Massachusetts : The MIT Press, 2006. - P. 248.
8. Seber, G. A. F. Linear Regression Analysis / G. A. F. Seber and J. L. Alan. -2nd edition. - Wiley, 2003. - P. 582.
9. Nathans, L. L. Interpreting Multiple Linear Regression: A Guidebook of Variable Importance / L. Laura Nathans, L. Frederick, Nimon Kim // Practical assessment research & evaluation. - 2012. - Vol. 17, № 9. - URL: scholarship.rice.edu/ bitstream/handle/1911/71096/2012-Nathans-%20PARE-RegressionGuidebook.pdf (дата обращения: 30.04.2015).
10. Nonlinear Modeling and Forecasting / M. Casdagli and S. Eubank (eds.) // SFI Studies in the Sciences of Complexity, Proc. Addison-Wesley. - 1992. - Vol. XII.
11. Palit, A. K. Computational Intelligence in Time Series Forecasting: Theory and Engineering Applications (Advances in Industrial Control) / Anjoy K. Palit, Dobrivoje Popovic. - L. : Springer-Verlag London Limited, 2005. - P. 372.
12. Box, G. E. P. Time Series Analysis. Forecasting, and Control / G. E. P. Box, G. M. Jenkins and G. C. Reinsel. - 3rd ed. - Prentice-Hall, Englewood Cliffs. NJ, 1994. - P. 406.
13. Крашенинников, В. Р. Кусочно-квадратичное моделирование регрессионных зависимостей при оценке качества питьевой воды / В. Р. Крашенинников, Д. С. Бубырь // Междисциплинарные исследования в области математического моделирования и информатики : материалы 3-й науч.-практ. internet-конф. (20-21 февраля 2014 г.) / отв. ред. Ю. C. Нагорнов. - Ульяновск : SIMJET, 2014. -233-236 с.
14. Krasheninnikov, V. R. A Way to Detect the Straight Line Trajectory of an Immovable Point for Estimating Parameters of Geometrical Transformation of 3D Images / V. R. Krasheninnikov, M. A. Potapov // Pattern Recognition and Image Analysis. -2011. - Vol. 21, № 2. - P. 280-284.
References
1. Valeev S. G., Bulyzhev E. M. Inzhenernyy zhurnal [Journall of engineering]. 2011, no. 10, pp. 39-42.
2. Valeev S. G. Regressionnoe modelirovanie pri obrabotke nablyudeniy [Regression modelling at processing of observations]. Moscow: Nauka, 1991, 272 p.
3. Klyachkin V. N. Statisticheskie metody v upravlenii kachestvom: komp'yuternye tekhnologii [Statistical methods in quality management: computer technologies]. Moscow: Finansy i statistika: INFRA-M, 2009, 304 p.
4. Khalafyan A. A. STATISTICA 6. Statisticheskiy analiz dannykh [STATISTICA 6. Statistical analysis of data]. 3rd ed. Moscow: Binom-Press, 2007, 512 p.
5. Statistica documentation. Available at: documentation.statsoft.com (accessed March 31, 2014).
6. Joaquim P. Marques de Sá, Applied Statistics Using SPSS, STATISTICA, MATLAB and R. Berlin: Springer, 2007, p. 520.
7. Rasmussen C. E., Williams C. K. I. Gaussian Processes for Machine Learning. Massachusetts: The MIT Press, 2006, p. 248.
8. Seber G. A. F., Alan J. L. Linear Regression Analysis. 2nd edi. Wiley, 2003, p. 582.
9. Nathans L. L., Frederick L., Kim Nimon Practical assessment research & evaluation. 2012, vol. 17, no. 9. Available at: scholarship.rice.edu/bitstream/handle/1911/71096/ 2012-Nathans-%20PARE-RegressionGuidebook.pdf (accessed April 30, 2015).
10. Casdagli M., Eubank S. (eds.) SFI Studies in the Sciences of Complexity, Proc. Addi-son-Wesley. 1992, vol. XII.
11. Palit A. K., Dobrivoje Popovic Computational Intelligence in Time Series Forecasting: Theory and En-gineering Applications (Advances in Industrial Control). London: Springer-Verlag London Limited, 2005, p. 372.
12. Box G. E. P., Jenkins G. M., Reinsel G. C. Time Series Analysis. Forecasting, and Control. 3rd ed. Prentice-Hall, Englewood Cliffs. NJ, 1994, p. 406.
13. Krasheninnikov V. R., Bubyr' D. S. Mezhdistsiplinarnye issledovaniya v oblasti ma-tematicheskogo modelirovaniya i informatiki: materialy 3-y nauch.-prakt. internet-konf. (20-21 fevralya 2014 g.) [Interdisciplinary research in the field of mathematical modelling and informatics: proceedings of III Scientific and practical online conference (20th-21st February 2014)]. Ulyanovsk: SIMJET, 2014, 233-236 p.n
14. Krasheninnikov V. R., Potapov M. A. Pattern Recognition and Image Analysis. 2011, vol. 21, no. 2, pp. 280-284.
Бубырь Дмитрий Сергеевич аспирант, Ульяновский государственный технический университет (Россия, г. Ульяновск, ул. Северный Венец, 32)
E-mail: [email protected]
Булыжев Евгений Михайлович доктор технических наук, профессор, кафедра технологии машиностроения, Ульяновский государственный технический университет (Россия, г. Ульяновск, ул. Северный Венец, 32)
E-mail: [email protected]
Bubyr' Dmitriy Sergeevich Postgraduate student, Ulyanovsk State Technical University (32 Severny Venets street, Ulyanovsk, Russia)
Bulyzhev Evgeniy Mikhaylovich Doctor of engineering sciences, professor, sub-department of mechanical engineering, Ulyanovsk State Technical University (32 Severny Venets street, Ulyanovsk, Russia)
Клячкин Владимир Николаевич
доктор технических наук, профессор, кафедра прикладной математики и информатики, Ульяновский государственный технический университет (Россия, г. Ульяновск, ул. Северный Венец, 32)
E-mail: [email protected]
Крашенинников Виктор Ростиславович доктор технических наук, профессор, заведующий кафедрой прикладной математики и информатики, Ульяновский государственный технический университет (Россия, г. Ульяновск, ул. Северный Венец, 32)
E-mail: [email protected]
Klyachkin Vladimir Nikolaevich Doctor of engineering sciences, professor, sub-department of applied mathematics and informatics, Ulyanovsk State Technical University (32 Severny Venets street, Ulyanovsk, Russia)
Krasheninnikov Viktor Rostislavovich Doctor of engineering sciences, professor, head of sub-department of applied mathematics and informatics, Ulyanovsk State Technical University (32 Severny Venets street, Ulyanovsk, Russia)
УДК 519.246.8:628.1 Бубырь, Д. С.
Регрессионные модели оценки качества питьевой воды по физико-химическим показателям водоисточника / Д. С. Бубырь, Е. М. Булыжев, В. Н. Клячкин, В. Р. Крашенинников // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2016. - № 4 (40). - С. 46-54. Б01 10.21685/2072-3059-2016-4-5
