CC BY
36
УДК 519.25, 314.152, 330.46
ИССЛЕДОВАНИЕ ФОРМАЛЬНЫХ МЕТОДОВ ПОСТРОЕНИЯ ЛАТЕНТНОЙ ХАРАКТЕРИСТИКИ КАЧЕСТВА СИСТЕМ
Т.В.Жгун
THE RESEARCH OF FORMAL METHODS FOR BUILDING LATENT CHARACTERISTICS OF A SYSTEM QUALITY
T.V.Zhgun
Институт электронных и информационных систем НовГУ, zhtv@mail.ru
Исследуется алгоритм построения интегральных характеристик с определением неслучайных составляющих главных компонент, основывающийся на идеях выделения из шума слабого сигнала на основе отношения сигнал/шум. В отличие от традиционного метода главных компонент, результат которого зависит от случайной составляющей входных данных, в
предложенном алгоритме исключено влияние случайных компонент на интегральный индикатор. Предложенный алгоритм был использован для получения интегральных индикаторов демографического развития муниципальных образований Новгородской области. Исследованы свойства этого алгоритма в сравнении с другими известными методами построения интегральной характеристики без учителя: с методикой Айвазяна построения латентной характеристики качества системы и с методикой определения качества системы с помощью вычисления расстояния до лучшего объекта. Сравнительный анализ результатов позволяет сделать вывод о корректности предлагаемой методики. Следовательно, предлагаемая методика может быть использована для вычисления интегральных оценок изменения качества любой системы, в частности, для построения интегральной оценки социально-экономического развития.
Ключевые слова: отношение сигнал/шум, метод главных компонент, система показателей эффективности, качество системы управления, демографические характеристики
The article investigates an algorithm for constructing integral characteristics with the definition of non-random elements of the principal components based on the ideas of extracting a weak signal from noise according to the signal-to-noise ratio. Unlike the traditional method of principal components the result of which depends on the input data random component the influence of the one on the integral indicator is excluded in the proposed algorithm. The proposed algorithm was used to obtain integral indicators of demographic development of the Novgorod region municipalities. We investigated the algorithm properties in comparison with other popular methods of constructing the integral characteristics without a teacher: with the methodology of building latent characteristics of a system quality by Ayvazyan and the method for determining the system quality by calculating the distance to the best object. The comparative analysis of the results allows making a conclusion that the offered methodology is accurate. Therefore, the proposed methodology can be used for calculating the integrated assessments of changes in the quality of any system, in particular, for integral estimation of socio-economic development. Keywords: signal-to-noise ratio, method of principal components, the system of efficiency indexes, control system quality, demographic characteristics
Введение
При решении задач управления возникает необходимость дать каждому объекту оценку его качества. Интегральные оценки качества или оценки эффективности управления объектами часто используются для принятия решений при администрировании территорий и регионов Российской Федерации, объектов финансирования. Построением агрегированного интегрального индикатора активно занимается ряд международных организаций. В качестве наиболее успешных проектов можно отметить разработки ООН и Всемирного банка.
Однако в силу методологических проблем интегрального индикатора, общепризнанного в мире, еще нет. При формировании структуры интегрального показателя возникают серьезные затруднения, связанные с субъективностью выбора первичной информации, с достоверностью и репрезентативностью статистической информации и с методической неопределенностью определения значения интегрального показателя.
Постановка задачи вычисления интегральной характеристики системы
Пусть имеется множество, состоящее из т объектов, и каждый объект описан набором из п показателей. Описания объектов заданы таблицей размерностью т*п — матрица А = \а/у. }т=П\ . Элемент матрицы
ау — значениеу-го показателя /-го объекта. Интегральный показатель объекта — линейная комбинация вида
п
Ч =Хл • 8у (аи ) (1)
у=1
где gj — функция приведения показателей столбца у в единую шкалу. Обычно используют унификацию данных — приведение значений на отрезок [0, 1]:
gJ
=+(—1)-
'j) j
а. -min а..
. 'J ' ''J
max а -min а..
' 'J ' 'J
(2)
где Sj = 0, если оптимальное значение у-го показателя максимально, и = 1, если оптимальное значение у-го показателя минимально. В дальнейших рассуждениях в качестве исходных данных выступают данные, к которым были применены необходимые преобразования. В частности, метод главных компонент предполагает кроме унифицирования также предварительное центрирование данных. Тогда вектор интегральных индикаторов будет иметь вид
Ч = А • м>, (3)
где ч= (ч1, ...,ч„)т — вектор интегральных индикаторов, w = ..., — вектор весов показателей. Для построения интегрального индикатора требуется найти веса показателей w.
При использовании методов вычисления интегральных характеристик «с учителем» веса в (1) назначаются экспертами. Метод экспертных оценок широко используется в силу простоты получения информации [1]. Однако применение этого метода имеет некоторые особенности. Во-первых, не для каждой сложной системы существует достаточное количество квалифицированных экспертов. Во-вторых, экспертные услуги, как правило, являются товаром, поэтому не могут быть объективными. От этих недостатков свободны формальные методы, не использующие человеческих предпочтений для оценки ситуации. К таким методам относят метрический метод и метод главных компонент [2,3].
В метрическом методе вычисляется расстояние от каждого объекта до гипотетического лучшего объекта. Таким объектом называется объект с максимальными (наилучшими) значениями всех показателей. Интегральным индикатором д,- объекта а, называется расстояние
г =Р(а
m
Z
J-1
а.. — max а. .
'J 4-1,...,m ^J
При r = 2 имеем дело с евклидовой метрикой.
r
q
а
При вычислении интегральных показателей методом главных компонент строятся проекции объектов на новую систему координат, называемую главными компонентами. При этом сумма квадратов расстояний от объектов до их проекций на первую главную компоненту минимальна. Рассмотрим ортогональную матрицу W в линейной комбинации 2 т = Ат ^ векторов строк матрицы А таких, что векторы столбцы матрицы 2 имели бы максимальную сумму дисперсий
t t t t где q =(q 1,q 2,...,qm
— вектор интегральных
j=1
ct2(z. max,
где ст —-z) и z=—V zi.
1=1 1=1
Столбцы матрицы W есть собственные вектора ковариационной матрицы данных. Обычно вектор интегральных индикаторов qPCA = А^м> есть проекция векторов — строк матрицы унифицированных данных А на первую главную компоненту, а вектор V — первая строка матрицы W — соответствует максимальному собственному значению ковариационной матрицы. Этот метод используется для оценки статических систем в случае, если первая главная компонента хорошо приближает моделируемую ситуацию, т.е. в случае, если максимальное собственное число ковариационной матрицы дает вклад не менее 70% в сумму всех собственных чисел. Такое соотношение выполняется, если рассматривается небольшое количество признаков (п не более пяти) и одно из свойств системы доминирует над остальными. При описании социально-экономических систем такое предположение не выполняется: число переменных значительно более пяти, и структура системы не допускает простого приближения. В качестве выхода из этой ситуации рассматривается согласно [4] понижение порога информативности до 55% и деление исходной системы на блоки-подсистемы, описываемые меньшим количеством переменных, в которых выполняется необходимое условие информативности (5).
Следовательно, если предположение о том, что максимальное собственное число ковариационной матрицы дает определяющий вклад в сумму всех собственных чисел, не выполняется, то проекцию на первую компоненту нельзя считать удачной оценкой. Ситуацию можно исправить, если вместо одной компоненты выбрать I таких компонент, чтобы относительная доля разброса у1, приходящаяся на первые I (I < п) главных компонент:
Yi
= \ +Х2 +...+^ 1 2 n
(5)
была не менее определенной величины 6. Для каждого признака эффект воздействия выбранных факторов суммируем и так определяем веса в (3).
Если известны таблицы описаний объектов для
разных наблюдений А ={а.. ]п,т, t=1, 2,...,р , то каж-
\п,т
"Ч 'и>1
дого момента t вектор интегральных показателей будет иметь вид
J л^.Л
q = At wt
(6)
индикаторов, wt =(wt1,wt2, ...,wtmj — вектор весов
показателей для момента t, определенный с помощью метода главных компонент, A' — матрица предобра-ботанных данных для момента t. Разброс в описаниях объектов при изменении t вызывает проблему адекватной сравнимости объектов [5].
Решение задачи вычисления интегральной характеристики динамической системы
Чтобы иметь возможность оценивать характеристики системы в динамике, посмотрим на получаемую при работе информацию с точки зрения теории обработки сигналов как на слабый сигнал, который нужно выделить из шума. Задача распознавания сигнала при наличии помех является одной из основных проблем во многих технических системах: в радиолокации, астрономии, оптической связи, навигации, телевизионной автоматике и пр. Качество воспроизведения сигнала в таких системах наиболее полно описывает величина отношения сигнал/шум. Приемлемое качество воспроизводимого сигнала, определяемое этим отношением, задается стандартом. Минимальное отношение сигнал/шум для стандарта сотовой связи AMPS составляет 6,5 дБ, для CDMA — 6 дБ. Для телевизионной практики типичное значение примерно 7 дБ. При астрофотометрии слабых объектов необходимо, чтобы отношение сигнал/шум превышало 2,2. Следовательно, современные системы уверенно выделяют сигнал из шума, если уровень ОСШ в системе составляет около 7 дБ или, в безразмерных единицах, если ОСШ=2,238.
Измерение неизбежно связано с точностью измерительного прибора, поэтому любой полученный с помощью измерения результат неизбежно содержит случайную ошибку. Статистические данные тоже неизбежно содержат погрешность измерения. Любой результат, полученный на основании этих данных, будет содержать неустранимую ошибку. Переход к другому моменту времени означает изменение данных (сигнала), которое вызвано как изменением ситуации, так и случайными ошибками (шумом). Предполагая непрерывную зависимость вычисляемого показателя от изменения входных данных, выделим сигнал из зашумленных данных, используя метод главных компонент.
Для каждого наблюдения собственные числа определяются однозначно, а собственные вектора — с точностью до направления. Направление собственных векторов выбираем, чтобы максимизировать услышанный сигнал — сумму ОСШ у действующих переменных, т.е. у переменных, для которых отношение амплитуды сигнала к амплитуде шума превышает выбранное пороговое значение. Для этого будем менять направление выбранных собственных векторов для разных моментов наблюдений до тех пор, пока сумма ОСШ у действующих переменных (SNR(j)) не будет максимальна.
По данным для ряда наблюдений t=1, ... , p определим с учетом критерия информативности (5) чис-
T
ло I первых (наиболее весомых) главных компонент.
Эмпирические собственные вектора w 1,w 2,...,w г
определяются по всем наблюдениям по правилу:
w*k(у) =т (у), если SNRk (у)>т,
к к (7)
*
w к (у) =0 в противном случае.
При этом т (у) — среднее значение факторной на-
к
грузки переменной у по всем наблюдениям, ст (у) —
среднеквадратичное отклонение,
^ (у)=тку,
у = 1, 2, ..., п...
На рис.1 представлено определение действующих переменных для первой компоненты. Очевидно, что направление собственного вектора для 2009 г. нужно изменить для того, чтобы описание системы для разных моментов времени было корректным.
Сравнение результатов работы алгоритмов
Выбор для верификации метода демографических данных неслучаен. Это, пожалуй, единственный вид статистических данных, для которых значение интегральной оценки ожидаемо. Очевидно, что в любом субъекте России налицо одна и та же ситуация: на фоне некоторого общего улучшения демографической ситуации в рассматриваемый период имеется неравномерность положения в регионе. Центр является «пылесосом», выкачивающим из глубинки молодое активное население, из-за чего положение в центре — самое лучшее, а дальние районы представляют «кольцо смерти», окружающее благополучный центр. Ближайшие к центру районы и районы с развитой промышленностью занимают промежуточное положение между благополучным центром и неблагополучными окраинами. Именно эти соображения положим в основу верификации полученных результатов. Сформулируем эвристики.
Рис.1. Выбор направления собственных векторов для первой компоненты. Слева — исходные направления, справа — выбор направления собственных векторов, обеспечивающего максимальную сумму амплитуд действующих сигналов
При выборе эмпирических собственных векторов (7) значение интегрального показателя для каждого момента времени t определяет соотношение
Ч = а'-Ш *, (8)
где Ш* w 1,w 2,...,w г^ — матрица из I эмпирических собственных векторов, составленная по первым I компонентам с использованием всех наблюдений.
Для фиксированного момента ' интегральную оценку чаще всего записывают для объекта с номером / в виде аддитивной свертки данных с весами, определяемыми столбцами матрицы Ш п г
=^м*у 'аЬ, где ^ = Xw*(/'), / = 1, 2, . т;
у=1 ?=1
у = 1, 2, ..., п. (9)
Результаты применения алгоритма для вычисления интегральной оценки демографического развития муниципальных образований Новгородской области изложены в [6,7].
1. В наблюдаемом периоде имеется улучшение ситуации, т.е. тенденция к росту интегральной оценки демографической составляющей.
2. В центре любой территории ситуация лучше, чем на периферии. Следовательно, в центре региона — наилучшая ситуация, в каждом районном центре ситуация лучше, чем в этом районе.
Вычислим значение интегрально показателя демографического развития по трем методикам: по методике Айвазяна [8], вычислив эвклидово расстояние до наилучшего объекта согласно (4), и предлагаемой методике (9) (ОСШ-методика). Следуя методике [8], переменные следует разбить на блоки, в каждом из которых критерий информативности (5) выполняется для 6 =0,55 и 1 = 1. Далее для каждого к-го блока вычисляем частный интегральный показатель как проекцию на «модифицированную» главную компоненту блока, где весовыми коэффициентами частной интегральной характеристики будут квадраты координат собственных векторов. Затем для каждого объекта / вычисляются
Значения интегральной характеристики демографического развития, вычисленные различными способами
№ п/п Муниципальные образования Расстояние (Ш) Методика Айвазяна (Ш) Методика ОСШ
2000 2006 2008 2009 2010 2000 2006 2008 2009 2010 2000 2006 2008 2009 2010
1 По области 0,67 0,69 0,70 0,67 0,67 0,56 0,58 0,55 0,50 0,54 1,34 1,74 1,92 2,03 2,01
2 В.Новгород 0,69 0,70 0,69 0,69 0,69 0,51 0,70 0,68 0,61 0,69 1,90 2,25 2,32 2,53 2,49
3 Батецкий 0,60 0,59 0,56 0,60 0,60 0,71 0,71 0,81 0,66 0,62 0,71 0,95 0,76 1,10 1,06
4 Боровичский 0,64 0,66 0,66 0,64 0,64 0,72 0,65 0,61 0,50 0,61 1,14 1,61 1,76 1,94 1,96
5 г. Боровичи 0,67 0,68 0,68 0,67 0,67 0,63 0,61 0,58 0,46 0,61 1,49 1,77 1,91 2,02 2,04
6 Валдайский 0,65 0,71 0,70 0,65 0,65 0,64 0,51 0,55 0,52 0,54 1,29 1,84 1,86 2,03 1,86
7 Волотовский 0,74 0,65 0,68 0,74 0,74 0,29 0,48 0,40 0,51 0,39 1,16 1,07 1,36 1,41 1,49
8 Демянский 0,67 0,67 0,70 0,67 0,67 0,43 0,44 0,35 0,36 0,42 1,08 1,41 1,56 1,71 1,63
9 Крестецкий 0,63 0,70 0,70 0,63 0,63 0,71 0,50 0,54 0,68 0,54 0,96 1,55 1,56 1,56 1,68
10 Любытинский 0,58 0,56 0,61 0,58 0,58 0,78 0,75 0,76 0,86 0,75 0,57 0,54 1,10 1,10 1,19
11 Маловишерский 0,57 0,60 0,61 0,57 0,57 0,84 0,70 0,63 0,64 0,60 0,79 1,17 1,40 1,23 1,65
12 Маревский 0,65 0,60 0,66 0,65 0,65 0,64 0,65 0,57 0,70 0,78 0,92 1,14 1,55 1,49 0,93
13 Мошенской 0,62 0,57 0,60 0,62 0,62 0,57 0,75 0,66 0,74 0,70 0,80 1,03 1,04 1,17 0,97
14 Новгородский 0,67 0,74 0,85 0,67 0,67 0,60 0,56 0,52 0,50 0,45 1,17 1,62 2,11 2,00 2,01
15 Окуловский 0,60 0,63 0,65 0,60 0,60 0,68 0,56 0,45 0,43 0,49 0,86 1,30 1,63 1,66 1,75
16 Парфинский 0,70 0,74 0,75 0,70 0,70 0,53 0,36 0,45 0,53 0,51 1,22 1,52 1,80 1,89 1,59
17 Пестовский 0,63 0,71 0,73 0,63 0,63 0,60 0,47 0,36 0,36 0,38 1,01 1,68 1,70 1,87 1,89
18 Поддорский 0,60 0,54 0,65 0,60 0,60 0,70 0,69 0,65 0,59 0,53 0,82 0,42 1,24 1,22 1,61
19 Солецкий 0,66 0,64 0,68 0,66 0,66 0,50 0,50 0,46 0,49 0,46 1,07 1,37 1,92 1,73 1,56
20 Старорусский 0,68 0,67 0,65 0,68 0,68 0,53 0,60 0,71 0,60 0,63 1,25 1,74 1,67 1,93 1,79
21 Старая Русса 0,70 0,66 0,62 0,70 0,70 0,59 0,68 0,72 0,61 0,72 1,54 1,94 1,84 2,13 1,92
22 Хвойнинский 0,60 0,66 0,68 0,60 0,60 0,66 0,45 0,48 0,45 0,62 0,77 1,27 1,31 1,46 1,27
23 Холмский 0,64 0,65 0,62 0,64 0,64 0,64 0,49 0,50 0,39 0,44 0,99 1,31 1,32 1,54 1,29
24 Чудовский 0,69 0,70 0,76 0,69 0,69 0,72 0,44 0,33 0,36 0,40 1,45 1,71 2,22 2,04 2,24
25 Шимский 0,66 0,61 0,73 0,66 0,66 0,59 0,60 0,45 0,54 0,45 0,95 0,96 1,60 1,51 1,58
веса к-го блока ж как отношение выборочных дисперсий интегрального показателя к-го блока у¡к к выборочной дисперсии переменных этого блока х. и, учи-
~k
тывая значения нормированных весов ж. , определяем
значение евклидова расстояния до эталона (единицы), которое и является искомой интегральной оценкой данной категории
Р. =•
Л ~k/ к 1\2 ж (у. -1) .
(9)
к=1
Этот алгоритм совмещает два подхода — и метод главных компонент, и вычисление эвклидова расстояния до наилучшего объекта.
В таблице приведены значения интегрального показателя, вычисленные по разным методикам. Так как для евклидового расстояния наилучшим будет объект с наименьшим значением, для него приводится обратная величина. Анализ данных таблицы показывает, что эвристики справедливы только для предлагаемой методики.
Это подтверждает рис.2, где обе эвристики выполняются только для третьей методики. Значения
Рис.2. Значения интегральной характеристики демографического развития, вычисленные по трем методикам для г. Боровичи и для Боровичского района
*
\ л • •
> •л .1-____ •г ^^^^
V и' /Ч / \ * . •*/ • ■ • ■' / * / /
/ Ч/ \ Т-У
/
2000
2006
2008
2009
2010
2000
Расстояние (обратная величина)
2006
2008
* Новгородский р-н
- КрестЕцкий р-н
— Волотовский р-н
2009
2010
Методика Айвазяна (обратная величина)
2000
2006
2008
2009
Методика ОСШ, М1:3
Рис.3. Значения интегральной характеристики демографического развития, вычисленные по трем методикам для Новгородского, Крестецкого и Волотовского районов
интегральной характеристики, вычисленные по методике ОСШ, для наглядности приведены в масштабе 1:3.
Рассмотрим далее вычисление интегральных характеристик для трех районов области, для которых очевидно положение с демографической ситуацией: Новгородский, Крестецкий и Волотовский районы. Новгородский район имеет самую развитую инфраструктуру и промышленность, по его территории проходят две федеральные трассы Москва — Санкт-Петербург (железнодорожная и автомобильная). Крестецкий район расположен недалеко от областного цента, через его территорию района проходит федеральная автомобильная трасса Москва — Санкт-Петербург, и на его территории имеются некоторые промышленные предприятия. Волотовский район наиболее удален от областного центра, не имеет промышленности и расположен вдали от федеральных трасс. Следовательно, в Новгородском районе наилучшая демографическая ситуация, а в Волотовском — наихудшая. Именно такую ситуацию (с динамикой роста) отражает третья методика на рис.3.
Первые два варианта вычисления интегральной характеристики дают неправдоподобные результаты. И для всех остальных муниципальных образований непротиворечивую оценку дает только третья методика. Следовательно, методика вычисления интегральной характеристики по предлагаемому алгоритму дает корректные результаты.
Аналогичные результаты были получены и для других видов статистических данных.
Заключение
В работе рассмотрена задача построения латентных интегральных характеристик качества и важности показателей динамических систем по измеряемым статическим данным. Предложен алгоритм построения интегральных характеристик с определением неслучайных составляющих главных компонент. В отличие от традиционного метода главных компонент, результат которого зависит от случайной составляющей входных данных, в предложенном алгоритме влияние объектов-выбросов
на интегральный индикатор исключено. Предложенный алгоритм был использован для получения интегральных индикаторов демографического развития муниципальных образований Новгородской области. Исследованы свойства этого алгоритма в сравнении с другими методами построения интегральной характеристики «без учителя». Сравнительный анализ результатов позволяет сделать вывод о корректности предлагаемой методики. Следовательно, предлагаемая методика может быть использована для вычисления интегральных оценок изменения качества любой системы, в частности, для построения интегральной оценки социально-экономического развития.
1. Кузнецов М.П., Стрижов В.В. Построение интегрального индикатора с использованием ранговой матрицы описаний // Доклады 9-й междунар. конф. «Интеллектуализация обработки информации» (ИОИ-9). Будва, 16-22 сентября 2012. С.130-132.
2. Рао С.Р. Линейные статистические методы и их применения / Пер. с англ. М.: Наука, 1968. 548 с.
3. Isenmann A.J. Modern Multivariate Statistical Techniques. Regression, Classification and Manifold Learning. Series: Springer Texts in Statistics. N.Y.: Springer, 2008. 756 p.
4. Айвазян С.А. К методологии измерения синтетических категорий качества жизни населения // Экономика и математические методы. 2003. Т.39. №2. С.33-53.
5. Жгун Т.В. Моделирование интегральных показателей демографического развития на примере муниципальных образований Новгородской области [Электронный ресурс] // Фундаментальные исследования: электронный научн. журнал. 2013. № 8 (часть 6). С.1378-1382. URL: www.rae.ru/fs/?section=content&op=show_article&article_id =10001351 (дата обращения: 28.02.2014)
6. Жгун Т.В. Построения интегральной характеристики демографического развития территорий на примере муниципальных образований Новгородской области // Региональная экономика: теория и практика. 2013. №36(315). С.2-12.
7. Жгун Т.В. Вычисление интегрального показателя эффективности функционирования динамической системы на примере интегральной оценки демографического развития муниципальных образований Новгородской области // Вестник НовГУ. Сер.: Физико-математические науки. 2013. №75. Т.2. С.11-16.
8. Айвазян С.А. Эмпирический анализ синтетических категорий качества жизни населения // Экономика и математические методы. 2003. Т.39. №3. С.19-53.
References
1. Kuznetsov M.P., Strizhov V.V. Postroenie integral'nogo in-dikatora s ispol'zovaniem rangovoi matritsy opisanii [Construction of an integral indicator using order description matrix], Mezhdunarodnaia konferentsiia «Intellektualizatsiia obrabotki informatsii» (IOI-9). Doklady 9-i mezhdunarodnoi konferentsii [Proc. 9th Int. Simp. "Intellectualization of information processing" (IOI -9)]. Budva, September 16-22, 2012, pp. 130-132. (In Russ.)
2. Rao C.R., Linear Statistical Inference and its Applications (Second Edition), John Wiley, New York, 1973. 452p. (Russ. ed.: Rao S.R. Lineinye statisticheskie metody i ikh primeneniia. Moscow, "Nauka" Publ., 1968. 548 p.)
3. Isenmann A.J. Modern Multivariate Statistical Techniques. Regression, Classification and Manifold Learning. Series: Springer Texts in Statistics, Springer, New York, 2008. 756 p.
4. Aivazian S.A. K metodologii izmereniia sinteticheskikh kategorii kachestva zhizni naseleniia [The methodology for measuring synthetic categories of life quality of population]. Ekonomika i matematicheskie metody - Economics and Mathematical Methods, vol. 39, 2003, no. 2, pp. 33-53.
5. Zhgun T.V. Modelirovanie integral'nykh pokazatelei demograficheskogo razvitiia na primere munitsipal'nykh obrazovanii Novgorodskoi oblasti [Modeling of integrated indexes of demographic development by the example of the
Novgorod region municipalities]. Fundamental'nye issledovaniia: elektronnyi nauchn. zhurnal - Fundamental research: online scientific journal, 2013, no. 8, pp. 13781382. (In. Russ.) Available at: htpp:// www.rae.ru/fs/?section=content&op=show_article&article_id =10001351 (accessed : 28.02.2014)
6. Zhgun T.V. Postroeniia integral'noi kharakteristiki demograficheskogo razvitiia territorii na primere munitsipal'nykh obrazovanii Novgorodskoi oblasti [Creation of the integrated characteristics of demographic development of territories by the example of the Novgorod region municipalities]. Regional'naia ekonomika: teoriia i praktika, 2013, no. 36(315), pp. 2-12.
7. Zhgun T.V. Vychislenie integral'nogo pokazatelia effektivnosti funktsionirovaniia dinamicheskoi sistemy na primere integral'noi otsenki demograficheskogo razvitiia munitsipal'nykh obrazovanii Novgorodskoi oblasti [Calculating the integrated index of the dynamical system efficiency by the example of integral evaluation of demographic development of the Novgorod region municipalities], Vestnik NovGU - Vestnik NovSU, 2013, no. 75, vol. 2, pp. 11-16.
8. Aivazian S. A. Empiricheskii analiz sinteticheskikh kategorii kachestva zhizni naseleniia [Empirical analysis of synthetic categories of life quality in population], Ekonomika i matematicheskie metody - Economics and Mathematical Methods, 2003, vol. 39, no. 3, pp. 19-53.
