Научная статья на тему 'ИСПОЛЬЗОВАНИЕ КОНТРОЛЬНЫХ КАРТ ШУХАРТА-ДЕМИНГА ДЛЯ УПРАВЛЕНИЯ ВОДОПОЛЬЗОВАНИЕМ'

ИСПОЛЬЗОВАНИЕ КОНТРОЛЬНЫХ КАРТ ШУХАРТА-ДЕМИНГА ДЛЯ УПРАВЛЕНИЯ ВОДОПОЛЬЗОВАНИЕМ Текст научной статьи по специальности «Математика»

CC BY
108
14
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИЗМЕНЧИВОСТЬ КОНТРОЛИРУЕМЫХ ПОКАЗАТЕЛЕЙ / VARIABILITY OF THE INDICATORS TO BE CONTROLLED / КОНТРОЛЬНАЯ КАРТА ШУХАРТА-ДЕМИНГА / SHEWHART-DEMING CONTROL CHART / ДОСТОВЕРНОСТЬ ПРОГНОЗА / FORECAST RELIABILITY / ЛИНЕЙНЫЙ ТРЕНД / LINEAR TREND / ПОЛИНОМИАЛЬНЫЙ ТРЕНД / POLYNOMIAL TREND / ДИФФУЗИОННЫЙ МАССОПЕРЕНОС / DIFFUSION MASSTRANSFER

Аннотация научной статьи по математике, автор научной работы — Розенталь Олег Моисеевич, Швейкина Валентина Ивановна

Корректное управление водопользованием возможно при условии, что протекающие в воде процессы, определяющие изменчивость контролируемых показателей, статистически стабильны. Поэтому наблюдение за стабильностью/нестабильностью процессов представляет важную задачу устойчивого водопользования, для решения которой предложено использование контрольных карт Шухарта-Деминга (ККШ). Это процедуры наблюдения соотношений между индивидуальными значениями контролируемых показателей и среднеквадратическим отклонением как естественной мерой их изменчивости. При необходимости проверки результатов контроля качества вод с помощью ККШ предложена операция «детрендирования» временного ряда данных. Показана эффективность предложенного метода контроля на примере наблюдения за стабильностью процесса изменения концентрации загрязняющего вещества в сточных водах промышленного предприятия.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Розенталь Олег Моисеевич, Швейкина Валентина Ивановна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

THE SHEWHART-DEMING CONTROL CHARTS FOR WATER USE MANAGEMENT

Proper management of water use is possible only provided that the processes occurring in water and determining variability of the indicators to be controlled are statistically stable. Therefore, observation of the processes' stability/instability is a main problem of sustainable water use to solve which the use of Shewhart-Deming control charts (SCC) has been proposed. This involves procedures of observation of correlation between the controlled indicators individual values and root-mean-square deviation as a natural measure of their variability. In case of necessity to check the water quality inspection results with SCC it was proposed to “de-trend” the data dynamic series. This control method effectiveness has been shown by the example of stability observation of the pollutant concentration change in industrial waste waters.

Текст научной работы на тему «ИСПОЛЬЗОВАНИЕ КОНТРОЛЬНЫХ КАРТ ШУХАРТА-ДЕМИНГА ДЛЯ УПРАВЛЕНИЯ ВОДОПОЛЬЗОВАНИЕМ»

УДК 504.4.054

ИСПОЛЬЗОВАНИЕ КОНТРОЛЬНЫХ КАРТ ШУХАРТА-ДЕМИНГА ДЛЯ УПРАВЛЕНИЯ ВОДОПОЛЬЗОВАНИЕМ

© 2014 г. О.М. Розенталь, В.И. Швейкина

Институт водных проблем Российской академии наук, Москва

Ключевые слова: изменчивость контролируемых показателей, контрольная карта Шухарта-Деминга, достоверность прогноза, линейный тренд, полиномиальный тренд, диффузионный массоперенос.

О.М. Розенталь В.И. Швейкина

Корректное управление водопользованием возможно при условии, что протекающие в воде процессы, определяющие изменчивость контролируемых показателей, статистически стабильны. Поэтому наблюдение за стабильностью/нестабильностью процессов представляет важную задачу устойчивого водопользования, для решения которой предложено использование контрольных карт Шухарта-Деминга (ККШ). Это процедуры наблюдения соотношений между индивидуальными значениями контролируемых показателей и среднеквадратическим отклонением как естественной мерой их изменчивости. При необходимости проверки результатов контроля качества вод с помощью ККШ предложена операция «детрендирования» временного ряда данных. Показана эффективность предложенного метода контроля на примере наблюдения за стабильностью процесса изменения концентрации загрязняющего вещества в сточных водах промышленного предприятия.

Вода - динамичная среда, в объеме и поверхностных слоях которой протекают механические, физические и химические процессы, создающие пространственно-временную изменчивость (вариабельность) контролируемых показателей, таких как концентрация загрязняющих веществ [1, 2].

Водное хозяйство России № 1, 2014

Водное хозяйство России

Часто показатели этих процессов плохо прогнозируемы, что нарушает работу водохозяйственного оборудования и делает водопользование неуправляемым. Подобные случаи необходимо отслеживать.

Известно, что прогнозируемы так называемые стационарные временные ряды (ТО-ряды) с детерминированным трендом, вдоль линии которого следует траектория ряда, оказываясь то выше, то ниже этой линии с достаточно частой сменой положений «выше» - «ниже» [3, 4]. Если свойственная ТО-ряду конфигурация точек формируется относительно линии математического ожидания, то процесс статистически стабилен [5, 6], а изменчивость показателей «можно отнести к системе случайных причин, которая не изменяется со временем» [7]. Непрогнозируемы нестационарные, так называемые Л^-ряды, включающие специальные (особые, аномальные) значения данных, из-за которых траектория ряда может удаляться от линии тренда на значительные расстояния или долго пребывать по одну сторону от нее. Подобные эффекты - следствие неслучайных (специальных, нештатных, особых [2, 3]) причин, недоучет которых является причиной управленческих ошибок. Пример такой ошибки в гротескной форме описан Крыловым в басне про мельника, который не учитывает, что прохудилась плотина, и пытается сберечь воду, не позволяя курицам напиться из водоема.

Известные статистические критерии определения класса временного ряда [4, 6, 8, 9], как правило, применимы только для выборок из нормальных совокупностей. Они сравнительно трудоемки и в практике водопользования не применяются. Поэтому представляют интерес наглядные методы контроля, базирующиеся на правиле трех среднеквадратических отклонений (3с). Правило гласит, что подавляющая часть значений величины, описывающей случайные события, лежит в интервале ±3с, вероятность чего в случае нормального закона распределения контролируемого показателя 0,997. Вероятность того, что случайное событие лежит за границами указанного интервала всего 0,003, так что появление контролируемых показателей в этой области, скорее всего, свидетельствует о нестационарности ряда под влиянием особых причин. То же самое относится к рядам, где две из трех последовательных точек оказываются за пределами 2с, четырех из пяти -за пределами с, девяти точек подряд - по одну сторону центральной линии, пятнадцати - в зоне менее с. Вероятности случайного появления таких событий для нормально распределенной величины всего 0,003; 0,0043; 0,0039; 0,0033. Поэтому и здесь весьма вероятно присутствие особых причин.

Опираясь на описанные соображения, всемирно известные американские ученые и консультанты по теории управления качеством Уолтер Шу-харт и Эдвард Деминг ввели понятия стабильности или статистической предсказуемости (статистической управляемости) систем, характеризующие такое их состояние, при котором изменчивость контролируемых показате-

Водное хозяйство России № 1, 2014

Водное хозяйство России

лей обусловлена только общими (случайными) причинами. Соответственно, нестабильность (непредсказуемость, неуправляемость) - это состояние, в котором присутствуют специальные/особые причины изменчивости [6, 10-13]. Приведенные понятия в настоящее время используются в прикладном разделе статистики, который называется «статистическое управление процессами» или statistical process control (SPC). Различать же состояния стабильности и нестабильности на практике можно с помощью так называемых контрольных карт Шухарта-Деминга (ККШ) - временных разверток показателей процесса с нанесенными на график контрольными границами, кратными ±ст. В соответствии с упомянутым выше правилом трех сигм границы ±3с рассматриваются как вероятностный предел выхода системы из состояния статистической стабильности. Система стабильна, т. е. имеются только общие причины изменчивости, отсутствуют выходящие за контрольные пределы точки и особые структуры на ККШ. Соответственно, система нестабильна, т. е. имеются специальные причины изменчивости, если появляются точки за контрольными пределами или особые неслучайные структуры среди точек процесса.

Применение ККШ может быть чрезвычайно полезно водопользователям, заинтересованным в своевременном обнаружении выхода контролируемых изменчивых показателей воды из состояния статистической стабильности. Что же касается ориентации на 3-сигмовый предел, то это подтверждено на практике [6, 10, 11] и не зависит от закона распределения данных [6]. В SPC существует довольно хорошо разработанная методология построения ККШ. Имеется соответствующий национальный стандарт (ГОСТ 50779.42-99 (ИСО 8258-91) и значительное количество монографий. В частности, исследованы и описаны признаки, позволяющие видеть, что начиная с какого-то момента процесс изменился, и необходимо пересчитать контрольные границы ККШ (лучше это делать автоматически с помощью простой надстройки в EXCEL).

Примеры ККШ приведены на рис. 1. Таков TS-ряд (рис. 1а), характерный для стабильного процесса или последовательности с явными признаками DS-ряда (рис. 16, в), обнаружив которые стоит проверить, не произошли ли значимые для качества воды (и водопользования) природные или техногенные явления.

Контрольные карты удобны для прогноза нестабильности. Например, хотя процесс на рис. 1г, скорее всего, стабилен, линейный тренд (наклонная прямая) указывает, что без превентивных мер он может выйти из этого состояния. Достоверность такого прогноза невелика (коэффициент детерминации R2 ~ 0,11), но ее можно повысить, перейдя к полиномиальному тренду. Так, для тренда 6-й степени (непрямая линия на рис. 1г) уже R2 « 0,36. Такой прогноз корректен, пока присутствуют только общие причины вариабельности, и не корректен, если присутствуют специальные причины.

Водное хозяйство России № 1, 2014

Водное хозяйство России

200 150 100 50 0

<и &

и И

=

и

X

с^,

з:

140 -| 120 -00 -80 -60 -40 -20 -0

10

15

20

25

30 35 Время, сут.

0

10

• • I*

♦ ♦

♦♦♦

20

—г~

30

140 „120 -¡юо-

80 -

со

Й 60 " ^ 40 -

У 20 -

и

ет п -

-1

40

Время, сут.

♦ ♦

о

10

20

30 40

Время, сут.

30 ^25 §20

I15 &

Е 10

5 -О

О

10

20

30

Время, сут.

Рис. 1. Временные развертки результатов ежемесячных наблюдений концентрации веществ в р. Исети на створе ниже

г. Каменск-Уральского в 2001-2003 гг.: а - НС03; б - взвешенные вещества (возможен выход системы из стабильного состояния в точках 5-12); в - Ж)3 (неустойчивость вблизи точки 14); г - взвешенные вещества (сплошная горизонтальная линия - математическое ожидание; штриховая выше нее - ст;

штрих-пунктирная еще выше - 2ст; пунктирная верхняя на рис. а-в - Зет).

§ §

о* о

Ой О

а:

¡г §

а:

I! §

о* а:

съ а* О/ *

о 8

^ кЭ 8 ^ ^ а

о 5

Сй

§ 3

£ ^

§ 2 ~ £

с а:

0

1 I

о §

а:

а

С целью содействия практическому использованию ККШ в водном хозяйстве с их помощью была исследована стабильность содержания азота аммонийного в сточной воде Кемеровского ОАО «АЗОТ». Использовали массивы из 304 результатов измерений концентрации этого вещества, выполнявшихся дважды в сутки в стоках трех последовательно расположенных на магистральной линии первой промышленно-ливневой канализации контрольных колодцев № 4, 2, 5. По этим данным были построены оценочные плотности распределения вероятностей концентрации (гистограммы на рис. 2) и ККШ (рис. 3).

Гистограммы демонстрируют отклонение статистической функции распределения от нормального закона и регулярное нарушение установленных требований (норматив предприятия для азота аммония 9,4 мг/л), а ККШ позволяют обнаруживать моменты выхода процесса из состояния стабильности с целью своевременного вмешательства в технологию водоотведения. Как видно на рис. 3, такое вмешательство было необходимо по результатам 100, 170-190 и 270 измерений в колодце № 4, 150 - колодце № 2 и 200 -колодце № 5. Однако у технологов предприятия возникли сомнения в возможности использования ККШ. Возражения сводились к тому, что эти карты применимы только для стационарных рядов, законы распределения и числовые характеристики которых не зависят от времени и не коррелированы, тогда как сбросы локальных водопользователей в магистральную линию канализации взаимно зависимы. В этих условиях, по их мнению, временные ряды не являются случайными выборками и их нельзя анализировать с помощью ККШ.

Исследования подтвердили вывод о неслучайном характере рядов результатов измерений. Оказалось, что для данных, по которым построены рис. 2 и 3, коэффициенты автокорреляции достигают 0,8 для соседних членов ряда и не всегда снижаются до 0,4 даже через десять периодов (рис. 4, верхняя линия). В связи с этим была поставлена задача выяснения применимости ККШ в водохозяйственной практике.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

На первом этапе проверки для рассматриваемых временных рядов были построены карты скользящих размахов, т. е. зависимости приращения концентрации загрязняющего вещества ДС(^ = С(^-+1) - С(^) от ее абсолютного значения С(0, где t2...tj+l, - моменты отбора проб воды для измерения [6, 12]. Это позволило понизить автокорреляцию рядов практически вдвое (см. рис. 4, нижняя линия). В свою очередь выводы о моментах выхода процесса из режима стабильности, которые могут быть сделаны на основании рис. 3 и 5, оказались практически идентичными, что указывает на их нечувствительность к автокорреляции.

Для дополнительной проверки были получены и проанализированы новые динамические ряды ДС(С) (рис. 6). Эти ряды характеризуются отчетливым отрицательным трендом (с коэффициентами (-0,3) для колодца № 4, (-0,4) - колодцев № 2 и № 5).

Водное хозяйство России № 1, 2014

Водное хозяйство России

Колодец № 2

0,12

21 41

Концентрация, мг/л

61

Колодец № 4

0,5

тн 0,4 о

0,3 0,2

е

£ &

н

ю

о а

I 0,1

о

►т

1-

V

1 !

1 ¡1

Концентрация, мг/л

Колодец № 5

« 0,08

0,06

е

И 0,04

&

н

ю

ао 0,02 т

тот

а

►т

0

г

0

И-1-Г-1-1-1-1

58 77

19 39

Концентрация, мг/л

Рис. 2. Гистограммы, полученные по результатам контроля азота аммонийного в сточных водах промышленно-ливневой канализации Кемеровского ОАО «АЗОТ» в 2012 г.

Водное хозяйство России № 1, 2014

Водное хозяйство России

1

0

Колодец № 2 у 40

30 -

20

10

0 0

Колодец № 4 у 12

8

4

Колодец № 5 у 50

40 30 20

10

100

200

100

200

100

200

300

X

300

300

Рис. 3. ККШ для концентрации азота аммонийного в зависимости от номера контрольной пробы воды промышленно-ливневой канализации Кемеровского ОАО «АЗОТ»: сплошная линия - среднее; штриховая - ст; штрих-пунктирная - 2ст; пунктирная - 3ст. Ось X - номер пробы; ось У - концентрация Ы04 в мг/л.

0

0

0

0

Водное хозяйство России

Колодец № 2

Колодец № 4 Y

Колодец № 5 Y

0,8 т

0 5 10

Рис. 4. Автокорреляция концентрации азота аммонийного (квадраты) и приращения этой концентрации до (треугольники) и после детрендирования (ромбы) при разных периодах (значениях временного лага) в сточных водах канализации Кемеровского ОАО «АЗОТ». Ось У - коэффициент автокорреляции; ось Х - значение временного лага, равное числу периодов между точками временного ряда.

Водное хозяйство России № 1, 2014

Водное хозяйство России

Колодец № 2 У 40

30

20

10

0

Колодец № 4 У 10

5

100

0

100

X

200

300

200

300

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Колодец № 5

0

100

200

X

300

Рис. 5. Карты скользящих размахов для рядов, представленных на рис. 3. Сплошная линия - среднее; штриховая - ст; штрих-пунктирная - 2ст; пунктирная - 3ст. Ось X - номер пробы воды; ось У - разность между концентрациями NO4, полученными

в г'+1 и г'-й пробах, в мг/л.

0

0

Водное хозяйство России

Колодец № 2

20 10 0

S -10 -

И -20

&

w ♦

s

Колодец № 4

10 20 Концентрация, мг/л

30

10

5

Концентрация, мг/л

1

10

Колодец № 5

40

20

а

раент

е

g -20 H

Ü ира

£

р -40

0

0

10 20 Концентрация, мг/л

30

Рис. 6. Исходные данные по азоту аммония в плоскости ДС(С) и их линейный тренд.

0

0

Водное хозяйство России № 1, 2014

Водное хозяйство России

В соответствии с правилами снижения автокорреляции рядов [13, 14] в данном случае была выполнена процедура «детрендирования» (рис. 7). Для этого из значений ординат каждой точки каждого ряда ДС(С) вычитали величину соответствующей ординаты детерминированного тренда. После такой «очистки» коэффициенты автокорреляции оказались незначимы (см. рис. 4, средняя линия). При этом, как нетрудно убедиться, сделанные с использованием ККШ выводы сохранились, несмотря на некоторое смещение контрольных линий, особенно заметное для колодца № 5. Тем самым удалось показать применимость ККШ для контроля стабильности процессов и управления водопользованием. Ни автокорреляция рядов наблюдений (см. рис. 4), ни отклонение функции распределения контролируемого показателя от нормального закона (см. рис. 2) не являются причиной неприменимости ККШ в водохозяйственной практике.

Следовательно, контрольные границы на расстоянии 3 с позволяют выявлять специальные (нежелательные) причины изменчивости показателей качества, когда они присутствуют, и не искать их, когда они отсутствуют. Это эмпирическое правило SPC, широко использующееся при производстве промышленной продукции, также хорошо работает при контроле качества воды. Без ККШ у оператора нет объективного критерия на какой «скачок стрелки» необходимо реагировать, а какой можно оставить без внимания. Более того, у разных операторов это будут различные «скачки». Контрольная карта дает объективный критерий: какой сигнал требует нашего вмешательства, а какой - нет. Объективность определяется тем, что границы контрольной карты оцениваются по предшествующему поведению исследуемого процесса, т. е. они внутренне согласованы с поведением системы.

Изложенное выше позволяет при принятии управленческих решений по результатам лабораторного исследования показателей качества воды фиксировать не только частоту нарушения нормативных требований, но также стабильность системы, моменты выхода ее из этого состояния с потерей предсказуемости поведения и управляемости. Возможные состояния объекта наблюдения предлагаем характеризовать следующими типами:

- стабильное и приемлемое;

- стабильное, но неприемлемое;

- нестабильное, но приемлемое;

- нестабильное и неприемлемое.

Идеально, если система стабильна, а контролируемые показатели укладываются в нормативы (состояние «стабильное и приемлемое»), и совсем плохо, если система нестабильна, а нормативы нарушены (состояние «нестабильное и неприемлемое»). Из числа промежуточных случаев наиболее опасна утрата стабильности процесса, поскольку это делает водопользование неуправляемым.

Водное хозяйство России № 1, 2014

Водное хозяйство России

Колодец № 2

_____________1.

1—

0

100

200

X

300

Колодец № 4 у 10

8

6 -, 4 2 0

X

100

200

300

Колодец № 5

60

40

20

0

100

200

300

Рис. 7. Зависимости ДС(^ для детрендированного ряда. Сплошная линия - среднее; штриховая - ст; штрих-пунктирная - 2ст; пунктирная - 3ст. Ось Х - номер пробы воды; ось У - разность между концентрациями Ы04, полученными в j+1 и г-й пробах, мг/л.

Водное хозяйство России № 1, 2014

Водное хозяйство России

0

У

0

К сожалению, «статистические законы природы не представляются нам такими же очевидными, как законы детерминированные» [15]. Поэтому в системе государственного и производственного управления водопользованием изменчивость показателей пока что не контролируется. Между тем это неоценимый источник информации, благодаря которому будущее поведение системы можно предсказывать, опираясь на прошлые данные. Водные объекты подают сигналы на своем «языке». Если к этим сигналам прислушиваться, можно избежать следующих ошибок:

- принимать случайное нарушение установленных требований за систематическое и на этом основании приступать к широкомасштабным исследованиям технологии водопользования, дестабилизируя производство и расходуя дополнительные средства;

- принимать нарушения правила трех сигм (выбросы) за случайные, оставляя их без внимания.

Возникающие в обоих случаях экологические и экономические потери значительны, а чтобы их избежать полезно использовать ККШ.

Таким образом, появление в рядах данных о составе воды точек на расстоянии выше 3с от средней линии указывает на необходимость поиска специальных (нежелательных, нештатных) причин изменчивости контролируемых показателей. Такой же вывод может быть сделан, если ряды данных включают две из трех последовательных точек за пределами 2с, четырех из пяти - за пределами с и некоторых других конфигураций, вероятность случайного появления которых не превышает 0,003-0,004. Значимость данного вывода для водного контроля определяется тем, что, как показано в работе, его справедливость не нарушается ни из-за автокорреляции рядов наблюдений, ни из-за отклонения функции распределения контролируемого показателя от нормального закона. Это позволило, в частности, рекомендовать применение ККШ как простого и надежного инструмента контроля стабильности состава сточных и природных вод в качестве важного условия устойчивого водопользования на Кемеровском ОАО «АЗОТ».

СПИСОК ЛИТЕРАТУРЫ

1. WalkerD. Accuracy and precision in sampling water. ISO Focus. 2006. No. 6. P. 21-24.

2. Александровская Л.Н., Розенталь О.М. Водно-экологическое нормирование // Водные ре-

сурсы. 2011. № 1. С. 108-119.

3. ТутубалинВ.Н. Теория вероятностей и случайных процессов. М.: Изд-во МГУ, 1992. 212 с.

4. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. М.: Юнити,

2001. 227 с.

5. ГОСТ Р 50779.11-2000 (ИСО 3534.2-93). Статистические методы. Статистическое управ-

ление качеством. Термины и определения.

6. Уилер Д., Чамберс Д. Статистическое управление процессами: Оптимизация бизнеса с

использованием контрольных карт Шухарта. М.: Альпина Бизнес Букс, 2009. 320 c.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Водное хозяйство России № 1, 2014

Водное хозяйство России

7. Р 50.2.031-2003. Государственная система обеспечения единства измерений. Стандартные

образцы состава и свойств веществ и материалов. Методика оценивания характеристики стабильности.

8. ГОСТ Р ИСО 5725-2-2002. Точность (правильность и прецизионность) методов и резуль-

татов измерений. Часть 2. М.: Изд-во стандартов, 51 с.

9. Лемешко Б.Ю., Чимитова Е.В. Оптимальные L-оценки параметров сдвига и масштаба

распределений по выборочным квантилям // Заводская лаборатория. Диагностика материалов. 2004. Т. 70. № 1.

10. Деминг Э. Выход из кризиса. Новая парадигма управления людьми, системами и процес-

сами. М.: Альпина бизнес, 2007. 270 с.

11. Адлер Ю.П., Шпер В.Л. Умеем ли мы измерять? Часть 1. На чем приходится стоять //

Методы оценки соответствия. 2006. № 5. С. 17-24.

12. ГОСТ Р 50779.40-96 (ИСО 7870-93). Статистические методы. Контрольные карты. Общее руководство и введение.

13. Hamilton J.D. Time Series Analysis. Princeton: Princeton University Press, 1994. 118 р.

14. Клейнер Г.Б., Смоляк С.А. Эконометрические зависимости: принципы и методы постро-

ения. М. 2000. 104 с.

15. ПолищукЕМ. Эмиль Борель, 1871-1956. Л.: Наука, 1980. 168 с.

Сведения об авторах:

Розенталь Олег Моисеевич, д-р техн. наук, профессор, главный научный сотрудник, Институт водных проблем Российской академии наук (ИВП РАН ), Россия, 119333, Москва, ул. Губкина, 3; e-mail: mos@mirq.ru

Швейкина Валентина Ивановна, канд. геогр. наук, старший научный сотрудник, Институт водных проблем Российской академии наук, 119333, Москва, ул. Губкина, 3; e-mail: shveik@aqua.laser.ru

Водное хозяйство России № 1, 2014

Водное хозяйство России

i Надоели баннеры? Вы всегда можете отключить рекламу.