CC BY
38УДК 519.237: 338.43
кластеризация и ее применение для анализа
финансово-экономического состояния
растениеводства в регионах
российской федерации
clustering and its application for analysis of financial and economic condition of plant growing in the regions of the russian federation
Владислав Владимирович ГРОМОВ,
аспирант кафедры прикладной математики, Кубанский государственный университет E-mail: gromovvladislav@gmai.com
С использованием комплекса методов математического моделирования, многомерного статистического анализа, нечетких множеств проведен анализ финансово-экономического состояния растениеводства в регионах. Разработана система показателей, отражающих финансово-экономическое состояние сельского хозяйства в регионе. Проведена кластеризация регионов по выделенным факторам.
Ключевые слова: моделирование, финансово-экономическое состояние, кластеризация, нечеткие множества, сельское хозяйство, регион.
Vladislav V. GROMOV,
Graduate Student of the Department of Applied Mathematics, Kuban state university E-mail: gromovvladislav@gmai.com
We used the complex mathematical modeling, multivariate statistical-analysis, fuzzy sets to analyze the financial and economic state of the crop production in Russian regions. We developed a system of indicators, detecting the state agricultural sector in the region, based on the results of correlation, factor, cluster analysis and statistics of the Federal State Statistics Service. We performed clustering analyses to divide regions of Russia on selected factors into five groups. A qualitative and quantitative characteristics of each cluster was received.
Keywords: modeling, clustering, fuzzy sets, agriculture, regions of the Russian Federation, the financial and economic situation.
Региональные особенности развития агропромышленного комплекса (АПК), которые основываются на природно-климатических, географических, производственно-экономических, ресурсных, структурных и прочих особенностях конкретного региона, порождают не только различия в производственных, инвестиционных условиях, но и в подходах к решению проблем АПК [1]. Негативными факторами при этом являются неопределенность, информационная непрозрачность и сложность в оценке финансово-экономического состояния отрасли в регионе.
Одними из самых популярных инструментов оценок финансовой стабильности, экономического состояния региона в целом или его отдельных отраслей являются рейтинги, которые присваиваются всем субъектам Федерации. Показатели рейтинга в компактной и емкой формах характеризуют состояние и перспективные тенденции изменения деятельности региона, играя роль индикаторов для принятия решений, установления и поддержания деловых отношений. Минсельхоз России и Российская академия сельскохозяйственных наук составляют рейтинг АПК регионов по показателям эффектив-
ности сельскохозяйственного производства.
Рейтинг составляется на основе анализа шести критериев в АПК [3]:
- валовая продукция сельского хозяйства в расчете на одного занятого;
- отношение выручки от продажи товаров, работ и услуг к стоимости основных средств на начало года;
- уровень рентабельности по всей деятельности сельскохозяйственных организаций;
- удельный вес прибыльных организаций в их общем числе;
- коэффициент относительной финансовой устойчивости;
- отношение заработной платы в сельском хозяйстве к заработной плате в среднем по экономике субъекта Федерации.
По мнению автора, данные методики имеют несколько недостатков. Во-первых, очень часто используется ранжирование по исследуемым показателям. Во-вторых, отсутствует предварительный анализ исследуемых показателей. Также в данных методиках не используются современные методы многомерного статистического анализа и интеллектуальных систем, которые уже давно подтвердили свою эффективность в зарубежных исследованиях. Рейтинги, присвоенные по таким методикам, безусловно, способны определить лидеров и аутсайдеров, но могут дать весьма общую картину состояния региона и не способны адекватно определить состояние отрасли в отдельно взятом регионе. Чтобы провести комплексный анализ, который будет учитывать многомерные статистические данные, необходимо использовать методы корреляционного, факторного, кластерного анализа данных, которые позволят выделить исследуемую выборку по группам (кластерам).
В связи с этим создание собственной адекватной оценочной системы регионов по уровню их финансово-экономического состояния является актуальной задачей. Для ее решения целесообразно
использовать методы многомерного статистического анализа [2] и нечетких продукционных систем [5]. В качестве исходных будем использовать данные Федеральной службы государственной статистики.
Под термином «состояние отрасли» понимается экономическая категория, отражающая финансово-экономическое состояние отрасли, характеризуемое на фиксированный момент времени значениями основных харктеристик (произведенная продукция, эффективность деятельности и др.), и позволяющая ответить на вопросы: насколько эффективна деятельность региона в отрасли, каков ее производственный потенциал?
В ходе исследования использовались прикладные программы STATISTICA [2] и ЫА^АВ [5].
На первом этапе в качестве показателей, характеризующих финансово-экономическое состояние отрасли в регионе, выбираются значения коэффициентов [4]:
- Х1 - продукция растениеводства, млн руб.;
- Х2 - сальдированный финансовый результат организаций, млн руб.;
- Х3 - рентабельность проданных товаров, продукции, %;
- Х4 - посевные сельскохозяйственных культур площади, тыс. га;
- Х5 - валовой сбор сельскохозяйственных культур, тыс. т.
В ходе анализа пришлось проводить предварительную обработку данных. Дело в том, что значения перечисленных факторов для определенных регионов пропущены или указан знак «-». Для качественной кластеризации данные значения были заменены на минимальные значения фактора.
На первом этапе исследования в программе STATISTICA созданы описательные статистики (табл. 1) и диаграмма размаха (рис. 1). Данные виды анализа позволяют получить подробное представление о выбранных показателях. Так, средние значения показателя Х1 (продукция растениеводства) для
Таблица 1
статистики
Переменная Среднее значение Медиана Сумма Минимальное значение Максимальное значение Нижняя квартиль Верхняя квартиль Стандартное отклонение
21 099,65 15 024,30 1 709 071 27,20 159 203,0 5 488,60 26 860,00 24 850,44
Х2 374,28 25,00 30 317 -1 490,00 11 368,0 -6,00 299,00 1 591,09
-3,27 3,80 -265 -79,10 40,6 -6,30 10,60 26,33
Х4 946,55 445,90 76 671 0,10 5 504,1 172,50 1 185,50 1 178,34
2 488,91 850,60 201 602 0,10 23 401,5 363,10 3 024,40 3 689,58
) 000 .-
60 000
40 000
20 000
-20 000
-40 000
Число наблюдений
I—й—I ■
X,
Среднее
Х2
Хэ
Х4
Хб
Среднее ± стандартное отклонение Среднее ± 1,96 стандартного отклонения
Рис. 1. Диаграмма размаха
всей России равно 21 099,65 млн руб. Сам фактор изменяется от 27,2 млн до 159 203 млн руб., т. е имеет очень большой размах, что хорошо видно на рис. 1. Поэтому вместо среднего значения имеет смысл учитывать и медиану, равную 15 024,3 млн руб.
Далее поострим гистограммы частот для каждого фактора (рис. 2). Можно сказать, что данные гистограммы обладают выраженностью и
Число
наблюдений
70 60
50 -
40
30
20
10
0 Л
-20 000 0 20 000 40 000 60 000 80 000 1Е5 1.2Е5 1.4Е5 1.6Е5 - Ожидаемое нормальное
-4 000 -2 000 0 2 000 4 000 6 000 8 000 10 000 12 000 - Ожидаемое нормальное
Число наблюдений
50 _ 40 -30 -20 -10 0
-40 -20 0 Ожидаемое нормальное
0 1 000 2 000 3 000 4 000 5 000 6 000 — Ожидаемое нормальное
-5 000 0 5 000 10 000 15 000 20 000 25 000 - Ожидаемое нормальное
Рис. 2. Гистограммы частот факторов:
а -б -Х2; в -Х3; г -Х4; д -Х5
б
в
0
г
д
а
модальностью, просматривается некоторый закон распределения уровней факторов, т. е. гистограммы не похожи на «белый шум». Поэтому можно попытаться разбить представленную выборку на классы, т. е. провести кластеризацию данных.
Так как размах переменных очень большой, то имеет смысл привести их к общему масштабу единиц исчисления. С помощью соответствующей процедуры в программе STATISTICA проведем нормализацию (стандартизацию) переменных. 50 _
40
На втором этапе исследования проведем кластерный анализ получившихся значений методами иерархической классификации, ^-средних и fuzzy c-means.
Применим метод иерархической классификации. Назначение этого алгоритма состоит в последовательном объединении объектов (регионов) в один кластер, используя некоторую меру сходства или расстояние между объектами. Результатом кластеризации является иерархическое дерево (рис. 3). В
30
20
10
№ 1
Лш
№ 2
№ 3
№ 4
m
№ 5
И
И
№ 6
а.
8 9101 121314151617|819 2021 2223 24 25262728 293031 32333435 36 3738 3940414243 4445 46 4748495051 52 5:54 55 56 5758 59 60616263 64 65 6667 6869 70 7172 73747576 777879 8081
0
12345
67
Рис. 3. Иерархическое дерево кластеризации: 1 - Хабаровский край; 2 - Ханты-Мансийский автономный округ; 3 - Мурманская область; 4 - Архангельская область; 5 - Магаданская область; 6 - Ямало-Ненецкий автономный округ; 7 - Ненецкий автономный округ; 8 - Республика Карелия; 9 - Чукотский автономный округ; 10 - Республика Тыва; 11 - Чеченская Республика; 12 - Республика Саха (Якутия); 13 - Республика Ингушетия; 14 - Приморский край; 15 - Республика Северная Осетия - Алания; 16 - Карачаево-Черкесская Республика; 17 - Томская область; 18 - Республика Марий Эл; 19 - Смоленская область; 20 - Сахалинская область; 21 - Калининградская область; 22 - Республика Коми; 23 - Забайкальский край; 24 - Псковская область; 25 - Ивановская область; 26 - Республика Алтай; 27 - Еврейская автономная область; 28 - Камчатский край; 29 - Республика Калмыкия; 30 - Республика Бурятия; 31 - Новгородская область; 32 - Республика Хакасия; 33 - Ярославская область; 34 - Республика Адыгея; 35 - Костромская область; 36 - Кабардино-Балкарская Республика; 37 - Вологодская область; 38 - Тверская область; 39 - Ленинградская область; 40 - Астраханская область; 41 - Калужская область; 42 - Владимирская область; 43 - Амурская область; 44 - Кемеровская область; 45 - Ульяновская область; 46 - Республика Мордовия; 47 - Красноярский край;
48 - Тюменская область; 49 - Пензенская область; 50 - Орловская область; 51 - Московская область; 52 - Челябинская область; 53 - Новосибирская область; 54 - Самарская область; 55 - Липецкая область; 56 - Курганская область; 57 - Нижегородская область; 58 - Иркутская область; 59 - Пермский край; 60 - Тульская область; 61 - Республика Дагестан; 62 - Свердловская область; 63 - Удмуртская Республика; 64 - Кировская область; 65 - Чувашская Республика; 66 - Рязанская область; 67 - Брянская область; 68 - Краснодарский край; 69 - Ставропольский край; 70 - Ростовская область; 71 - Алтайский край; 72 - Оренбургская область; 73 - Омская область; 74 - Республика Башкортостан; 75 - Саратовская область; 76 - Волгоградская область; 77 - Республика Татарстан; 78 - Воронежская область; 79 - Тамбовская область;
80 - Курская область; 81 - Белгородская область
качестве меры расстояний использованы евклидово расстояние, правила объединения - Метод Варда. Этот метод использует методы дисперсионного анализа для оценки расстояний между кластерами. Метод минимизирует сумму квадратов 551 для любых двух (гипотетических) кластеров, которые могут быть сформированы на каждом шаге. В целом метод стремится создавать кластеры малого размера.
В результате кластеризации получено шесть кластеров (табл. 2).
В алгоритме ^-средних (k-means) строится k кластеров, расположенных на возможно больших расстояниях друг от друга. Данный метод подтверждает гипотезы относительно числа кластеров. Выбор числа k базируется на результатах исследований, экспертной оценке.
Далее выделим шесть кластеров из выборки. График средних каждого кластера представлен на рис. 4.
Гипотеза о существовании подтверждается евклидовым расстоянием и квадратом евклидового расстояния между кластерами (рис. 5) и таблицей дисперсионного анализа (табл. 3). Значения межгрупповых (между СС) и внутригрупповых (внутри
Кластеризация по методу и<
СС) дисперсий признаков приведены в табл. 3. Чем меньше значение внутригрупповой дисперсии и больше значение межгрупповой дисперсии, тем лучше признак характеризует принадлежность объектов к кластеру и тем качественнее кластеризация. Параметры F и p также характеризуют вклад признака в разделение объекта на группы. Лучшей кластеризации соответствуют большие значения первого и меньшие значения второго параметра. В рассматриваемом случае можно говорить о хорошей кластеризации исходных данных.
Распределение регионов по кластерам представлено в табл. 4. Данный метод выделил Краснодарский край в качестве отдельного кластера, который отличается в лучшую сторону от группы регионов с очень высоким финансово-экономическим состоянием отрасли. Также регионы из кластера № 2 (см. табл. 2) были объединены в один кластер № 5. Таким образом, оставлено только пять кластеров, классифицирующих финансово-экономическое состояние регионов в растениеводстве.
Используем алгоритм нечеткой кластеризации (fuzzy c-means) и сравним полученные результаты. Главным достоинством данного метода является ис-
Таблица 2
архической классификации
Кластер Состояние отрасли Регион Всего
№ 1 Очень низкое Архангельская область, Магаданская область, Мурманская область, Ненецкий автономный округ, Республика Карелия, Хабаровский край, Ханты-Мансийский автономный округ, Ямало-Ненецкий автономный округ 8
№ 2 Низкое -очень низкое Республика Ингушетия, Республика Саха (Якутия), Республика Тыва, Чеченская Республика, Чукотский автономный округ 5
№ 3 Низкое Забайкальский край, Ивановская область, Калининградская область, Карачаево-Черкесская Республика, Приморский край, Псковская область, Республика Коми, Республика Марий Эл, Республика Северная Осетия - Алания, Сахалинская область, Смоленская область, Томская область 12
№ 4 Среднее Астраханская область, Владимирская область, Вологодская область, Еврейская автономная область, Калужская область, Камчатский край, Кабардино-Балкарская Республика, Костромская область, Ленинградская область, Новгородская область, Республика Адыгея, Республика Алтай, Республика Бурятия, Республика Калмыкия, Республика Хакасия, Тверская область, Ярославская область 17
№ 5 Высокое Амурская область, Брянская область, Иркутская область, Кемеровская область, Кировская область, Красноярский край, Курганская область, Липецкая область, Московская область, Нижегородская область, Новосибирская область, Орловская область, Пензенская область, Пермский край, Республика Дагестан, Республика Мордовия, Рязанская область, Самарская область, Свердловская область, Тульская область, Тюменская область, Удмуртская Республика, Ульяновская область, Челябинская область, Чувашская Республика 25
№ 6 Очень высокое Алтайский край, Белгородская область, Волгоградская область, Воронежская область, Краснодарский край, Курская область, Омская область, Оренбургская область, Республика Башкортостан, Республика Татарстан, Ростовская область, Саратовская область, Ставропольский край, Тамбовская область 14
-4 -
Рис. 4. Средние значения для шести кластеров по методу ^-средних
\
_1_
X
Кластер № 1 ■ Кластер № 2
Хз
Кластер № 3 ■ Кластер № 4
Х4 Хб
"" Кластер № 5 ■ Кластер № 6
Кластер № 1 Кластер № 2 Кластер № 3 Кластер № 4 Кластер № 5 Кластер № 6
Кластер № 1 0,00000 1,14463 20,67689 0,47228 0,90951 3,10599
Кластер № 2 1,06988 0,00000 14,05841 2,94893 3,80393 6,51840
Кластер № 3 4,54718 3,74945 0,00000 25,85391 27,74100 32,52259
Кластер № 4 0,68723 1,71724 5,08467 0,00000 0,18283 2,19984
Кластер № 5 0,95368 1,95037 5,26697 0,42759 0,00000 1,16205
Кластер № 6 1,76238 2,55312 5,70286 1,48319 1,07798 0,00000
Рис. 5. Расстояние между кластерами
Анализ дисперсий
Таблица 3
8
6
4
2
0
2
6
Переменная Между ^^ СС Внутри ^^ СС ¥ Р
Х1 69,36378 5 10,63622 75 97,8220 0
х2 62,00539 5 17,99461 75 51,6866 0
Хз 70,55851 5 9,44149 75 112,0986 0
Х4 68,73715 5 11,26285 75 91,5450 0
Х5 67,29769 5 12,70231 75 79,4710 0
Таблица 4
Кластеризация по методу А-средних
Кластер Состояние отрасли Регион Всего
№ 1 Высокое Белгородская область, Красноярский край, Курганская область, Курская область, Липецкая область, Московская область, Нижегородская область, Новосибирская область, Омская область, Орловская область, Пензенская область, Самарская область, Тамбовская область, Тюменская область, Челябинская область 15
№ 2-3 Очень высокое Краснодарский край, Алтайский край, Волгоградская область, Воронежская область, Оренбургская область, Республика Башкортостан, Республика Татарстан, Ростовская область, Саратовская область, Ставропольский край 10
Окончание табл. 4
Кластер Состояние отрасли Регион Всего
№ 4 Среднее Амурская область, Астраханская область, Брянская область, Владимирская область, Вологодская область, Еврейская автономная область, Иркутская область, Калужская область, Камчатский край, Кабардино-Балкарская Республика, Кемеровская область, Кировская область, Костромская область, Ленинградская область, Новгородская область, Приморский край, Республика Адыгея, Республика Алтай, Республика Бурятия, Республика Дагестан, Республика Калмыкия, Республика Мордовия, Республика Хакасия, Рязанская область, Свердловская область, Смоленская область, Тверская область, Тульская область, Удмуртская Республика, Ульяновская область, Чувашская Республика, Ярославская область 32
№ 5 Низкое Забайкальский край, Ивановская область, Калининградская область, Карачаево-Черкесская Республика, Пермский край, Псковская область, Республика Ингушетия, Республика Коми, Республика Марий Эл, Республика Саха (Якутия), Республика Северная Осетия - Алания, Республика Тыва, Сахалинская область, Томская область, Ханты-Мансийский автономный округ, Чеченская Республика, Чукотский автономный округ 17
№ 6 Очень низкое Архангельская область, Магаданская область, Мурманская область, Ненецкий автономный округ, Республика Карелия, Хабаровский край, Ямало-Ненецкий автономный округ 7
пользование понятия нечеткости при определении качестве параметров минимизирующей функции принадлежности к определенному кластеру. Таким возьмем параметры, предлагаемые по умолчанию. образом, элемент может принадлежать к каждому Средние значения для каждого полученного клас-кластеру с определенной степенью принадлежнос- тера (центр кластера) представлены на рис. 6. ти от 0 до 1. Используя прикладную программу Анализируя матрицу принадлежности регионов
MATLAB иfuzzy logic toolbox [5], проведем нечеткую к конкретному кластеру и центры кластеризации, кластеризацию методом с-средних (командаfcm). В стоит отметить, что алгоритм нечеткой кластеризации, используя понятия нечеткости, сумел лучше выделить кластеры и более равномерно распределил объекты наблюдений. Его результаты во многом схожи с предыдущими видами анализа. Но в целом явно выделяются кластеры с низким и высоким финансово-экономическим состоянием. Остальные же кластеры можно охарактеризовать средним состоянием и провести дополнительную кластеризацию по этой группе. По результатам трех методов кластеризации была составлена табл. 5, которая выделяет регионы, относящиеся к кластерам с высоким и низким состояниями отрасли.
Далее методом ^-средних проведем кластеризацию оставшихся 62 регионов (рис. 7).
На графике (рис. 7) видно, что существуют кластеры со средним состоянием отрасли, выше и ниже среднего. Например, регионы, которые попали
Фактор
Кластер № 1 — ■ ■ Кластер № 3 ---Кластер № 5
Кластер № 2 Кластер № 4
Рис. 6. Средние значения пяти кластеров по методу fuzzy c-means
Таблица 5
Классификация регионов по двум кластерам
Состояние отрасли Регион Всего
Высокое Краснодарский край, Воронежская область, Волгоградская область, Ростовская область, Ставропольский край, Республика Башкортостан, Республика Татарстан, Оренбургская область, Саратовская область, Алтайский край, Омская область 11
Низкое Республика Карелия, Архангельская область, Ненецкий автономный округ, Мурманская область, Ханты-Мансийский автономный округ, Ямало-Ненецкий автономный округ, Хабаровский край, Магаданская область 8
в кластер с состоянием отрасли выше среднего, имеют примерно одинаковые показатели рентабельности продукции, но меньшие значения показателей продукции растениеводства, посевных площадей и валового сбора сельскохозяйственных культур. Результаты кластеризации представлены в табл. 6.
В ходе исследования были достигнуты следующие результаты: выполнен анализ состояния растениеводства в регионах России, разработан комплекс статистических показателей оценки состояния отрасли, проведен корреляционный, факторный анализ показателей. Проведена кластеризация регионов по выделенным факторам двумя методами. Таким образом, по результатам кластерного анализа подтверждена гипотеза о существовании пяти кластеров регионов РФ в отрасли растениеводства:
- кластер № 1 - включает группу регионов с высоким финансово-
Таблица 6
Кластеризация по методу fuzzy c-means
Кластер Состояние отрасли Регион Всего
№ 1 Выше среднего Белгородская область, Красноярский край, Курганская область, Курская область, Липецкая область, Московская область, Нижегородская область, Новосибирская область, Орловская область, Пензенская область, Самарская область, Тамбовская область, Тюменская область, Челябинская область 14
№ 2 Среднее Амурская область, Астраханская область, Брянская область, Владимирская область, Вологодская область, Еврейская автономная область, Иркутская область, Калужская область, Камчатский край, Кабардино-Балкарская Республика, Кемеровская область, Кировская область, Костромская область, Ленинградская область, Новгородская область, Приморский край, Республика Адыгея, Республика Алтай, Республика Бурятия, Республика Дагестан, Республика Калмыкия, Республика Мордовия, Республика Хакасия, Рязанская область, Свердловская область, Смоленская область, Тверская область, Тульская область, Удмуртская Республика, Ульяновская область, Чувашская Республика, Ярославская область 32
1 -0,80,6 -
0,4 0,2 0
-0,2-0,4-0,6-0,8-1
Xi
Кластер № 1
Х2
Хз
Переменная
Х4
Кластер № 2
Х5
■ Кластер № 3
Рис. 7. Средние значения трех кластеров (со средним состоянием отрасли) по методу ^-средних
Окончание табл. 6
Кластер Состояние отрасли Регион Всего
№ 3 Ниже среднего Забайкальский край, Ивановская область, Калининградская область, Карачаево-Черкесская Республика, Пермский край, Псковская область, Республика Ингушетия, Республика Коми, Республика Марий Эл, Республика Саха (Якутия), Республика Северная Осетия - Алания, Республика Тыва, Сахалинская область, Томская область, Чеченская Республика, Чукотский автономный округ 16
экономическим состоянием отрасли растениеводства (11 регионов);
- кластер № 2 - включает группу регионов с состоянием выше среднего по отрасли растениеводства (14 регионов);
- кластер № 3 - включает группу регионов со средним финансово-экономическим состоянием отрасли растениеводства (32 региона);
- кластер № 4 - включает группу регионов с состоянием ниже среднего по отрасли растениеводства (16 регионов);
- кластер № 5 - включает группу регионов с очень низким финансово-экономическим состоянием отрасли растениеводства (8 регионов); В дальнейшем, опираясь на результаты кластерного анализа и экспертные заключения, необходимо выполнить следующий этап моделирования, связанный с методами факторного анализа, разработкой дискриминантных моделей и нечеткой
List of references
1. Leonenkov A. V. Fuzzy modeling in MATLAB and fuzzyTECH [Nechetkoe modelirovanie v srede MATLAB i fuzzyTECH]. St. Petersburg: BHV-Petersburg, 2007.
2. Minakov I.A. Economy agricultural industries: textbook [Ekonomika otraslei APK: uchebnik]. Moscow: Coloss, 2008.
продукционной системы. Эти модели позволят более точно и эффективно оценивать как отрасль растениеводства в целом, так и в каждом регионе Российской Федерации.
Список литературы
1. Леоненков А. В. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб: БХВ-Петер-бург, 2007.
2. Минаков И. А. Экономика отраслей АПК: учебник. М. Колосс. 2008.
3. Огнев Ю. Ю. Аграрный вопрос: основные предложения. М.: ИНФРА-М, 2010.
4. Халафян А. А. STATISTICA 6. Статистический анализ данных. М.: Бином-Пресс, 2007.
5. Центральная база статистических данных // Федеральная служба государственной статистики. URL: http://www. gks. ru/wps/wcm/connect/rosstat_ main/rosstat/ru/statistics/databases/.
3. Ognev Y. Y. The agrarian issue: main proposals [Agrarnyi vopros: osnovnye predlozheniia]. Moscow: INFRA-M, 2010.
4. Khalafyan A. A. STATISTICA 6. Statistical analysis [STATISTICA 6. Statisticheskii analiz dannykh]. Moscow: Binom-Press, 2007.
5. The central statistical database, Federal State Statistics Service, Available at: http://www.gks.ru/wps/ wcm/connect/rosstat_main/rosstat/ru/statistics/databases/.
