Научная статья на тему 'Система прогнозирования инфекционной заболеваемости на основе многокритериального анализа временных рядов'

Система прогнозирования инфекционной заболеваемости на основе многокритериального анализа временных рядов Текст научной статьи по специальности «Математика»

CC BY
609
88
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Проблемы управления
ВАК
Область наук

Аннотация научной статьи по математике, автор научной работы — Рыков А. С., Хорошилов В. О., Щипин К. С.

Предложена диалоговая система прогнозирования, предназначенная для анализа временных рядов, описывающих инфекционную заболеваемость. Дана постановка задачи прогнозирования, которая сводится к выбору рационального прогноза из множества конкурирующих прогнозов, построенных с помощью различных и (или) по-разному настроенных прогнозных моделей. Сконструировано многокритериальное описание качества прогнозов для временных рядов, которое трансформируется во множество формальных постановок задач прогнозирования как задач оптимизации. Возможности системы продемонстрированы при прогнозировании инфекционной заболеваемости.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

MULTICRITERION SELECTION AND ADJUSTMENT OF MODELS FOR EPIDEMIOLOGICAL DATA ANALYSIS IN RUSSIA

The paper offers a dialog system for multicriterion selection and adjustment of predictive models for epidemiological data analysis. The elaborated multicriterion description seeks to obtain a better quality of time series forecasting, thus allowing to formulate the forecasting problem as an optimization one. The applications of the approach to the selection and adjustment of predictive models for different diseases are demonstrated.

Текст научной работы на тему «Система прогнозирования инфекционной заболеваемости на основе многокритериального анализа временных рядов»

истемный анализ и обработка данных

УДК 519-8

СИСТЕМА ПРОГНОЗИРОВАНИЯ ИНФЕКЦИОННОЙ ЗАБОЛЕВАЕМОСТИ НА ОСНОВЕ МНОГОКРИТЕРИАЛЬНОГО АНАЛИЗА ВРЕМЕННЫХ РЯДОВ

А.С. Рыков(1), В.О. Хорошилов(2), К.С. Щипин(1)

(1)Московский государственный институт стали и сплавов (технологический университет); ®ЗА0 “Научно-производственная фирма “ИнфоТех"

Предложена диалоговая система прогнозирования, предназначенная для анализа временных рядов, описывающих инфекционную заболеваемость. Дана постановка задачи прогнозирования, которая сводится к выбору рационального прогноза из множества конкурирующих прогнозов, построенных с помощью различных и (или) по-разному настроенных прогнозных моделей. Сконструировано многокритериальное описание качества прогнозов для временных рядов, которое трансформируется во множество формальных постановок задач прогнозирования как задач оптимизации. Возможности системы продемонстрированы при прогнозировании инфекционной заболеваемости.

ВВЕДЕНИЕ

В Российской Федерации эпидемиологический надзор за инфекционными заболеваниями ведется на основании данных Федерального и отраслевого государственного статистического наблюдения. Для автоматизации процедур сбора, хранения и обработки информации по мониторингу за инфекционными заболеваниями разработана информационная система “Эпиднадзор”. Основу системы составляют интегрированная база данных по эпидемиологическому надзору и аналитический блок для анализа информации и принятия управленческих решений [1].

В деятельности госсанэпидслужбы возникает множество задач, связанных с обработкой и анализом поступающих данных. Это задачи регламентированной обработки данных, систематического наблюдения за эпидемическим процессом во времени, оперативные ситуационные задачи, связанные с принятием управленческих решений, анализа причинно-следственных связей в складывающейся обстановке, прогнозирования развития эпидемиологической ситуации.

Для решения одной из них — задачи прогнозирования — в состав системы “Эпиднадзор” входит

подсистема прогнозирования, предназначенная для поддержки принятия управленческих решений. В ее основу положен многокритериальный подход к решению задачи прогнозирования на основе анализа временных рядов [2].

Особенности предлагаемого подхода состоят в следующем:

• реализованы многокритериальное описание качества прогнозов, описания понятий “хороший” или “оптимальный” прогноз;

• для разных ситуаций содержательно описаны требования к качеству прогнозов, которые трансформированы в множество формальных постановок задач прогнозирования;

• сформировано множество прогнозных моделей, на основе ретроспективного анализа выбираются вид и параметры моделей;

• применяются прогнозные модели аддитивной структуры, позволяющие проводить покомпонентный анализ составляющих временного ряда;

• система прогнозирования реализуется в диалоговом варианте.

В настоящей статье формулируется постановка задачи прогнозирования, которая сводится к выбору рационального прогноза из множества конкурирующих прогнозов, построенных с помощью

различных и (или) по-разному настроенных прогнозных моделей. Конструируется многокритериальное описание качества прогнозов для временных рядов. Данное описание трансформируется во множество формальных постановок задач прогнозирования как задач оптимизации. Возможности системы демонстрируются при прогнозировании инфекционной заболеваемости.

1. ПОСТАНОВКА ЗАДАЧИ. ОЦЕНКА КАЧЕСТВА ПРОГНОЗИРОВАНИЯ

Пусть заданы значения временного ряда Х = = {[(1), [(2), ..., [(1)}, где [(?) — значение анализируемого показателя, зарегистрированного в ,-м такте времени ( = 1, 2, ..., 1). Требуется построить “хоро шие” оценки будущих значений

ряда Х = {А(1 + 1), А(1 + 2), ..., х(1 + т)}, где

1 Р т < 1 — горизонт прогнозирования.

Из исходного временного ряда выделим обучающую выборку Хоб = {[(1), [(2), ..., [(1 — т)}, на основании наблюдений которой построим оценки значений временного ряда и вспомогательные

прогнозные значения на тактах ХТвсп = {х(1), .х(2),

..., А(1)}. Затем, на основании N произвольных точек исходного временного ряда, составим экзаменационную выборку Хэкз = {[(?1), [(?2), ..., [ф, ..., [(^Ж где 1 Р ^ Р 1.

Качество прогноза оценим в процессе сопоставления полученных оценок ХТэкз = {х^), А(?2),

..., х^.), ..., Зс'(?А)} со значениями экзаменационной выборки Хэкз. При этом воспользуемся различными критериями оценки качества прогнозирования.

А

Окончательный прогноз Х построим на основании всех имеющихся наблюдений временного ряда Х с помощью того же метода прогнозирования, что и при построении вспомогательного прогноза.

Для учета требований к качеству прогнозов в различных ситуациях введем критерии оценки ка-

А

чества прогнозов вида 9 = 9(Хэкз, ХТэкз).

Качество точечных прогнозов оценим критерием:

1. 9) = 90(Хэкз, Хэкз) = | х(р) — [(р)|, 1 Р р < 1.

Качество траекторных прогнозов оценим одним из критериев:

2 91 = 91<Х,к!. = У —

у = 1

3- 92 = 92<Х,кз. Х»к,) = ;

4. 93 = 93(Хэкз, ^Аэкз) = , Ж* , }аг1 — [(?,)|;

5 9 = 9 (Х Х ) = 1 У « 1А( ^ - [ ( 9 I

5 94 Х экз) N У «Ь [( у ,

где аг. — весовые коэффициенты, отражающие

степень важности совпадения прогнозного и реального значений на такте г., задаваемые экспертным путем.

Для оценки качества прогноза максимума применим два критерия. Первый определяет наилучшее совпадение значения максимума прогноза:

6. 95 = 95(Xэкз, Хэкз) =

= |тах{[(г1), ..., [(^)} — тах{х(^), ..., [^'(г^)}!,

второй — совпадение значения такта р* с максимальным прогнозным значением:

7 96 = 96(Xэкз, -Аэкз) = |аГётах{[(г1), ..., [(^} —

— ащтах{х(^), ..., х(^)}|.

На основании введенных критериев оценки качества прогноза сформулируем оптимизационные задачи выбора лучшего прогноза, где целевой функцией является функция качества прогноза. Пусть было построено / различных прогнозов

А А А А

ХТ1, ХТ2, ..., Х., ..., Х/, г = 1, ..., /, с помощью различных (или по-разному настроенных) прогнозных моделей М. Требуется выбрать “лучший” прогноз.

Критерии оценки качества, введенные ранее, запишем в виде однокритериальных постановок задач прогнозирования:

1 1* = ^ШШ 90(XэKз, Х) =

/ е{ 1, /}

= аrgтin(| .х г(р) — [(р)|);

/ е { 1, /}

2. X* = аrg тin 91(Хэкз, Х) =

/ е{ 1, /}

N

= аrg тin У «г. |[ Д) — [Ш|;

г е{ 1,/} ^ 1

3. 1* = ^тш 92(хэкз, Хг) =

г е {1, /}

= аrg тin —Ц У а,.(*(*,) - [(^))2;

г е {1,/} N - 1 /Л 1 ■> ■>

4. X* = argmin 93(Хэкз, X.) =

/ £ { 1, /}

= argmin max а, |x.(t.) — x(t.)|;

L £ {1,/} } £ {1, N} J'j J

5. XT* = arg min 94(Хэкз, XT.) =

/ £ { 1, /}

. 1 * |x( t-) - x (t- )| = argmin - У а,. ■—1 1 ■;

L £ {1,/} * . _ 1 ' X(tj)

6. XT* = argmin 95(Хэкз, X.) = argmin(|max{.(t1),

L £ { 1, L £ { 1,

..., x(tN)} — max{.x .(t1), ..., A,(tN)}|);

7. X* = ащтт 96(Хэкз, Х) = а^ттОащтах^Д),

г е {1, /} г е {1, /}

..., [(,а_)} — аrgтах{ х Д), ..., [ г(^)}|).

Более гибко подстроиться под требования эксперта к качеству прогноза позволяют следующие формулировки многокритериальных задач прогнозирования.

8. Комбинируются критерии 92, 95 и 96:

X* = ащтт(0292 + 0595 + 0696) =

г е {1,/}

= arg min

/ £ { 1.

NT1 Jx a‘j(х(Ь) - x(t/))2 +

= O5|max{x(t1), ..., x(tN)} — max{x .(t1), ..., x .(tN)}| + + O6|argmax{x(t1), ..., x(tN)} —

— argmax{ x i(t1), ..., x ;(tN)}| ^ 9. Комбинируются критерии 91, 92 и 93: XT* = argmin(O191 + O292 + O,93) =

г £ {1,/}

f *

= argmin lO1 У at.|x/t.) — x(t.)| +

i £ { 1, / }V ^ 1

+ O2 N~-l J У at/(x(t.) - x(Wm))2 +

+ O3 max at |x ,.(t1) — x(t.)| I.

3 j £{1, N} j 1 1 ' '

Весовые коэффициенты O1, O2, O3, O5 и задаются экспертным путем и позволяют определять значимость частных критериев в обобщенных постановках задач прогнозирования.

Отметим, что, применяя различные принципы оптимальности и методику их применения, изложенные в работе [3], можно расширить множество формальных постановок задач. Однако для рас-

сматриваемых ниже задач прогнозирования приведенного множества постановок вполне достаточно, так как оно покрывает основные требования экспертов к качеству прогнозов.

2. ДИАЛОГОВЫЙ АЛГОРИТМ РЕШЕНИЯ

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ЗАДАЧИ ПРОГНОЗИРОВАНИЯ

Задача прогнозирования решается как оптимизационная на множестве конкурирующих прогнозов с применением диалогового алгоритма решения задачи прогнозирования. Этот алгоритм описывает последовательность действий, которой следует придерживаться эксперту при построении прогнозов с помощью системы. В нем описываются как действия эксперта, так и связанные с ними операции, выполняемые системой прогнозирования. Подробное описание шагов диалогового алгоритма построения прогноза приведено в табл. 1.

В случае, если ни один прогноз эксперта не устраивает или он считает возможным построить более качественные прогнозы, ему следует вернуться к шагу № 3 алгоритма и, двигаясь далее, “подстроить” параметры прогнозирования, которые, по его мнению, позволят достичь лучших результатов.

Итогом выполнения диалогового алгоритма является построенный прогноз, который выбран из множества конкурирующих прогнозов, предъявленных эксперту. Модели временных рядов не учитывают причинно-следственные связи, порождающие временные ряды, поэтому принципиально важным при выборе лучшего прогноза остается мнение эксперта, который может использовать свои представления о качестве прогнозов и оценить, насколько они адекватны развивающейся ситуации.

При построении прогнозов применяются различные прогнозные модели, в том числе имеющие аддитивную структуру. Аддитивные прогнозные модели позволяют выполнять покомпонентный анализ составляющих временного ряда: тренда, сезонной, циклической и случайной компонент. Описание реализованных в системе прогнозирования моделей и их параметров приведено в табл. 2.

3. ПРИМЕРЫ ПОСТРОЕНИЯ ПРОГНОЗОВ

С ПОМОЩЬЮ СИСТЕМЫ ПРОГНОЗИРОВАНИЯ

Рассмотрим примеры прогнозов, построенных с помощью разработанной системы прогнозирования на основании анализа временных рядов, описывающих заболеваемость вирусным гепатитом А и бактериальной дизентерией в Российской Федерации.

При построении траекторного прогноза заболеваемости гепатитом А на основании диалогового

Описание диалогового алгоритма решения задачи прогнозирования

Номер шага Шаг алгоритма Исполнитель шага Описание шага алгоритма

1 Выбор временного ряда для прогнозирования Эксперт Эксперт выбирает временной ряд, на основании которого необходимо выполнить прогнозирование. Выбранный ряд передается в систему прогнозирования

2 Визуализация временного ряда Система прогнози- рования Временной ряд отображается в виде графика, на котором по оси абсцисс откладываются временные такты, а по оси ординат — значения временного ряда

3 Визуальный анализ временного ряда Эксперт В ходе визуального анализа временного ряда эксперт принимает решение о том, стоит ли учитывать все данные ряда при построении прогноза и, при необходимости, исключает некоторое число последовательных тактов слева. Таким образом игнорируются “старые” данные. В случае, если эксперт хочет сопоставить прогноз с реальными данными, он может исключить из рассмотрения несколько последовательных тактов справа (игнорируются “новые” данные)

4 “Усечение” временного ряда по краям То же Эксперт указывает, какое число тактов справа и слева следует исключить из рассмотрения, после чего эти такты игнорируются системой при построении прогноза

5 Выбор горизонта прогнозирования Эксперт принимает решение, на какое число тактов вперед необходимо построить прогноз, учитывая при этом число наблюденных значений в исходном временном ряду

6 Настройка набора прогнозных моделей — " — Эксперт определяет, какими прогнозными моделями и с каким диапазоном значений их параметров следует воспользоваться при построении прогноза

7 Выбор критерия оценки качества прогноза Эксперт выбирает формальную постановку задачи прогнозирования из предлагаемых системой. На основании выбранного критерия система прогнозирования будет определять, какие прогнозы “лучше”, а какие “хуже”

8 Задание экзаменационной выборки То же В зависимости от критерия оценки качества прогноза и выбранных прогнозных моделей эксперт выбирает точки исходного временного ряда, которые необходимо включить в экзаменационную выборку. По точкам этой выборки будут проверяться построенные прогнозы. По умолчанию экзаменационными считаются т последних тактов временного ряда

9 Построение прогнозов Система прогнози- рования Система прогнозирования выполняет построение набора конкурирующих прогнозов с помощью прогнозных моделей, выбранных и настроенных экспертом

10 Ранжирование прогнозов То же Система прогнозирования ранжирует построенные прогнозы от “лучшего” к “худшему”, после чего предъявляет их упорядоченный список эксперту с указанием значений критерия оценки качества для каждого из них

11 Выбор в диалоговом режиме лучшего прогноза (лучших прогнозов) Эксперт Эксперт, просматривая последовательно прогнозы в виде совмещенных графиков исходного временного ряда, вспомогательного и окончательного прогнозов, выбирает наиболее рациональный

12 Экспорт или печать прогноза То же Результаты прогнозирования могут быть экспортированы в файл для последующего использования или выведены на печать

Тайяи^а 2

Модели, использованные для построения прогнозов

Номер Обозначение Описание

1 /5(а, N Модель описывает тренд в виде алгебраического полинома порядка а. Параметр N принимает значение 1 в случае, если в модели учитывается автокорреляция случайных остатков, 0 — в противном случае

2 Модель авторегрессии порядка р

3 )(7) Модель, аппроксимирующая исходные данные рядами Фурье с периодом 7

4 Ехр(-) Модель описывает экспоненциальный тренд

5 /5(а, N + )(7) + Аддитивная прогнозная модель. Тренд описывается полиномом порядка а с учетом или без учета автокорреляции остатков (параметр £), сезонные колебания — рядами Фурье, случайные факторы — моделью авторегрессии порядка р. Параметр 7 — период ряда Фурье

6 Ехр( •) + )(Г) + Аддитивная прогнозная модель. Тренд описывается экспоненциальной функцией, сезонные колебания — рядами Фурье, случайные факторы — моделью авторегрессии порядка р. Параметр 7 — период ряда Фурье

ПРОБЛЕМЫ УПРАВЛЕНИЯ № 1 • 2ИИ5

29

Рис. 1. Прогноз, построенный с помощью модели № 5

алгоритма, описанного ранее, продемонстрируем процесс настройки и выбора параметров прогнозных моделей. Построенный прогноз приведен на рис. 1.

Результаты сравнения оптимальных прогнозов, полученных с помощью различных прогнозных моделей представлены в табл. 3. Здесь и далее по-

лужирным шрифтом выделены наилучшие значения для каждого критерия.

Прогноз, построенный с помощью прогнозной модели № 5, выбран экспертом как наиболее рациональный. Это решение подкрепляется:

• наименьшим значением критерия оценки качества прогнозирования;

3

Результаты прогнозирования

Критерий оценки качества прогноза Прогнозная модель, ее параметры

Модель

№ 1 № 2 № 3 № 4 № 5 № 6

а = 2 N = 0 Р = 1 7 = 60 — а = N = 0 7 = 60 Р = 3 7 = 60 Р = 1

Ошибка прогноза, %, на такте:

1 = 1 + 1 5,06 15,06 521,36 129,29 0,83 59,17

1 = 1 + 2 4,95 5,20 523,95 136,78 3,65 57,96

1 = 1 + 3 1,93 16,70 677,01 196,36 36,21 116,02

Средняя ошибка прогноза, %:

подсчитанная на основе реальных 3,98 12,32 574,11 154,14 13,56 77,72

данных

полученная при настройке прогноза 22,30 19,30 335,00 62,00 3,74 43,55

Значение критерия оценки качества про- 1,48 1,24 20,93 3,85 0,38 2,74

гноза

301

СШШ 5С1ЕНСЕ5 № 1 • 2005

Рис. 2. Прогноз заболеваемости бактериальной дизентерией при постановке задачи № 8

• наименьшей средней ошибкой прогноза, полученной при настройке модели;

• наименьшей относительной ошибкой на первых двух прогнозных тактах.

Влияние выбора формальной постановки задачи прогнозирования на результат прогнозирования продемонстрировано при прогнозировании очередного сезонного всплеска заболеваемости бактериальной дизентерией. Построенный прогноз приведен на рис. 2. Результаты сравнения качества оптимальных прогнозов, полученных при различных формальных постановках задачи прогнозирования, сведены в табл. 4.

Видно, что выбор прогнозных моделей совпадает при постановках задач № 3 и 9, а также при постановках № 2 и 5. Весовые коэффициенты, введенные в постановки задач № 8 и 9 и задаваемые экспертным путем, играют существенную роль: они позволяют эксперту-прогнозисту настраивать постановку задачи на основе его предпочтений. С помощью этих коэффициентов становится возможным “плавный” переход между частными постановками задач прогнозирования, образующих обобщенную постановку задачи.

Оценка истинной точности построенных прогнозов проведена в процессе сопоставления прогнозного значения в точке “будущего” максимума с истинным значением временного ряда, которое составило [ (45) = 26,74. Возможность такой проверки дало исключение пяти временных тактов справа, выполненное перед построением прогноза. Значения абсолютных и относительных ошибок, соответствующие прогнозам, построенным при разных постановках задачи прогнозирования, приведены в табл. 5.

Видно, что наиболее точным оказался оптимальный прогноз, полученный при постановке задачи № 8 — “прогноз максимума”. Такой результат вполне закономерен, так как в данном случае формальная постановка задачи прогнозирования совпадает с представлениями эксперта о хорошем прогнозе. Также позитивную роль в данном случае сыграло наличие весовых коэффициентов, которые позволили учесть значимость каждого из частных критериев качества, а также настройка экзаменационной выборки: в нее вошли такты в окрестности сезонных всплесков заболеваемости.

Хорошие результаты прогнозирования в обоих случаях обусловлены применением гибкого инст-

ПРОБЛЕМЫ УПРАВЛЕНИЯ № 1 • 2ИИ5

Ш

Сравнение качества прогнозов, полученных при различных постановках задачи

'айзи^а 4

Прогнозная модель №5

Параметры модели

Постановка задачи прогнозирования а = 3 N = 1 7 = 24 р = 0 а = 1 N = 1 7 = 24 р = 2 а = 3 N = 0 7 = 24 р = 3 а = 4 N = 1 7 = 24 р = 3

Минимизация среднего квадратического отклонения (№ 3) 6,95 7,80 7,15 9,56

Минимизация суммы модулей отклонений (№ 2) 159,25 155,83 168,56 241,37

Минимизация модуля максимального отклонения (№ 4) 29,94 36,03 29,80 30,51

Минимизация средней ошибки прогноза (№ 5) 19,90 17,85 23,84 43,29

Взвешенный критерий (№ 9), весовые коэффициенты: 01 = 0,5; 02 = 03 = 0,25 50,77 51,87 53,16 72,75

Прогноз максимума (№ 8), весовые коэффициенты: 02 = 0,2; 05 = 0,2; 06 = 0,3 0,39 0,40 0,76 0,30

'айзи^а 5

Сопоставление прогнозных значений с имеющимися данными

Постановка задачи прогнозирования Параметры прогнозной модели № 5 Прогнозное значение, і (45) Абсолютная ошибка прогноза, А Относительная ошибка прогноза, е, %

Прогноз максимума (№ 8), весовые коэффициенты: 02 = 0,2; 05 = 0,5; \ = 0,3 а = 14, N = 1, 7 = 24, р = 3 26,77 0,03 0,11

Минимизация суммы модулей отклонений (№ 2) а = 1, N = 1, 27,88 1,14 4,26

Минимизация средней ошибки прогноза (№ 5) 7 = 24, р = 2

Взвешенный критерий (№ 9), весовые коэффициенты: 01 = 0,5; 02 = 03 = 0,25 1, 0 II * , 4 32 = = 31,00 4,26 15,93

Минимизация среднего квадратического отклонения (№ 3)

Минимизация модуля максимального отклонения (№ 4) , 3 * ^ , 4 32 = = 32,72 5,98 22,36

рументария, позволяющего как комбинировать различные и по-разному настроенные модели, так и выбирать и настраивать постановки задач прогнозирования на основе предпочтений эксперта.

ЗАКЛЮЧЕНИЕ

Работа над совершенствованием системы прогнозирования будет активно продолжаться. При анализе временных рядов, рассмотренных в статье, выделяется тенденция того или иного процесса без изучения причинно-следственных связей, определяющих его поведение и без выявления факторов, на него влияющих. При рассмотрении уровня заболеваемости как временного ряда можно высказать предположение о влиянии на него множества факторов, таких как экологическая обстановка, социальные и экономические условия, обеспеченность медикаментами и медицинским персоналом и т. д. Задача изучения влияния подобных факто-

ров на уровни заболеваемости, их модельное описание представляется весьма важной и будет решаться при совершенствовании системы.

ЛИТЕРАТУРА

1. Система прогнозирования на основе временных рядов /

A. С. Рыков, В. О. Хорошилов, К. С. Щипин, А. А. Рыков // Сб. науч. тр. МИСиС “Экономика, информа ционные технологии и управление в металлур гии”. — М., 2003. — С. 77—79.

2. Хоя^еи^ия компьютерной системы эпидемиологического надзора за инфекционными заболеваниями / А. С. Рыков,

B. О. Хорошилов, М. П. Шевырева, К. С. Щипин // Сб. докл. междунар. форума “Информатизация процессов охраны здоровья населения — 2001”. — М., 2001. — С. 54—57.

3. Рыков к. С. Методы системного анализа: многокритериальная и нечеткая оптимизация, моделирование и экспертные оценки. — М.: Экономика, 1999. — 192 с.

в ^95; 55£-5£-97

(-таг/: а/ехг\£оу@таг'Ш5.сот □

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

32

СШШ 5С1ЕНСЕ5 № 1 • 2005

i Надоели баннеры? Вы всегда можете отключить рекламу.