CC BY
34
УДК 519.25, 330.46
УТОЧНЕНИЕ ПОНЯТИЯ ИНФОРМАТИВНОСТИ ПРИ ВЫЧИСЛЕНИИ ИНТЕГРАЛЬНОЙ ХАРАКТЕРИСТИКИ ИЗМЕНЕНИЯ КАЧЕСТВА СИСТЕМЫ
Т.В.Жгун, А.В.Липатов
REFINEMENT OF DEFINITION OF INFORMATIVITY WHEN CALCULATING THE INTEGRAL CHARACTERISTICS OF CHANGES IN THE SYSTEM QUALITY
T.V.Zhgun, A.V.Lipatov
Институт электронных и информационных систем НовГУ, zhtv@mail.ru
Предлагается подход к определению оценки информативности характеристики изменения качества системы по зашумленным измеряемым данным при использовании ОСШ-алгоритма. Алгоритм определяет эмпирические главные компоненты согласованием направлений собственных векторов для различных наблюдений и выбор действующих переменных этих компонент на основе принятого отношения сигнал/шум. При разделении данных на полезный сигнал и шум критерий информативности, основывающийся на необходимой доле объясненной дисперсии, теряет смысл. Поэтому априорное определение информативности без учета характеристики шума в рассматриваемых данных в этом случае бессмысленно и требуется его переопределить с учетом свойств шума. В статье построены априорные и апостериорные оценки информативности решения задачи построения интегральной характеристики изменения качества на основании задаваемого отношения сигнал/шум. Полученные подходы в построении априорных и апостериорных оценок информативности проиллюстрированы на примере вычисления интегрального индикатора качества жизни.
Ключевые слова: интегральная характеристика качества, интегральные индикаторы качества жизни, шум в измеряемых данных, отношение сигнал/шум, метод главных компонент, априорная и апостеорная оценки информативности
This article offers an approach to estimation of informativity of the integral characteristics of changes in the system quality, calculated by the measured data containing noise, when using the SNR-algorithm. The algorithm determines the empirical principal components choosing the directions of eigenvectors for different observations and determines the operating variables of these components on the basis of the signal-to-noise ratio. The criterion of informativity based on the required proportion of explained variance, when splitting the data on the signal and noise, is meaningless. Therefore, the a priori determination of informativity without taking into account the noise characteristics of the data in question, in this case, is meaningless and should be overridden considering the noise properties. This paper presents the a priori and a posteriori assessment of informativity of solving the problem of constructing the integral characteristics of quality change on the basis of the specified signal-to-noise ratio. Presented approaches to the construction of a priori and a posteriori assessments of informativity are illustrated with examples of calculating the integral indicator of quality of life.
Keywords: integral characteristics of quality, integral indicators of quality of life, noise in the measured data, signal-to-noise ratio, principal component analysis, a priori and a posteriori assessments of informativity
Введение
Одной из центральных проблем при решении задач обработки информации является проблема выбора информативного подмножества признаков и оценки его пригодности. Все чаще встречаются реальные задачи (например, в генетике), в которых небольшое число (десятки) объектов выборки описывается очень большим числом характеристик (десятками тысяч). При решении этой проблемы возникают вопросы: как организовать выбор наиболее характерных признаков, по каким критериям оценивать информативность выбранной подсистемы признаков. Большой интерес к этим проблемам в различных областях науки и техники обусловлен многообразием прикладных задач, в которых используются результаты. Необходимость в обработке и анализе данных возникает при распознавании объектов, в обработке изображений, при изучении природных ресурсов Земли из космоса, в управлении движущимися объектами, при количественной оценке параметров объектов и т. п.
Большинство систем анализа данных основывается на методах построения пространства признаков меньшей размерности. Задача снижения размерности важна еще и потому, что сложность большинства алгоритмов экспоненциально возрастает с увеличением размерности изображений, а практическая реализация таких алгоритмов требует мощных вычислительных средств. Одним из широко распространенных методов сокращения размерности изображений является метод главных компонент (МГК). В настоящее время для решения задачи поиска и распознавания предлагаются множество алгоритмов, использующих МГК.
Способы понижения размерности в методе главных компонент
Метод главных компонент — один из способов понижения размерности, состоящий в переходе к новому ортогональному базису, оси которого ориентированы по направлениям максимальной дисперсии набора входных данных. Вдоль первой оси нового базиса дисперсия максимальна, вторая ось максимизирует дисперсию при условии ортогональности первой оси, и т.д., последняя ось имеет минимальную дисперсию из всех возможных. Однако направления, максимизирующие дисперсию, далеко не всегда максимизируют информативность.
Может случиться, что именно младшие главные компоненты несут необходимую смысловую нагрузку. Например, при создании цифровой модели рельефа, именно восьмая и девятая главные компоненты дают искомый рельеф, а главные компоненты 12 и 13 в методе «Гусеница» свидетельствует о наличии в анализируемых данных периодики с дробным периодом [1]. На странице сайта А^ИЬ [2] приводится пример, когда переменная с максимальной дисперсией не несет почти никакой информации, в то время как переменная с минимальной дисперсией позволяет полностью разделить классы.
Информативность в методе главных компонент основывается на дисперсионном критерии системы признаков, с помощью которого происходит отбор числа главных компонент [3]. Распространенный спо-
соб выбора числа главных компонент — оставить число главных компонент, которые объясняют заданный процент общей дисперсии:
^ о
В работах С.А.Айвазяна [4] МГК применяется для вычисления интегральной характеристики качества жизни, порог информативности 6 выбирается 55%. В анализе пожарной безопасности зданий ограничиваются первыми главными компонентами, которые объясняют более 80-90% дисперсии [5]. При исследовании показателей сердечного ритма исключают компоненты, которые учитывают менее 5% суммарной дисперсии переменных [6].
Определение информативности МГК при работе с зашумленными данными
Подходы к оценке числа главных компонент по необходимой доле объясненной дисперсии формально применимы всегда, однако неявно они предполагают, что нет разделения на «сигнал» и «шум», и любая заранее заданная точность имеет смысл. При разделении данных на полезный сигнал и шум задаваемая точность теряет смысл и требуется переопределить понятие информативности.
Рассмотрим подход к определению информативности в решении задачи построения интегральной характеристики изменения качества системы. Определяемая интегральная характеристика есть слабый полезный сигнал, который нужно распознать в за-шумленных данных (в нашем случае — в статистических данных). Решение получаем с помощью с помощью ОСШ-алгоритма [7-9]. Интегральная оценка системы из m объектов, каждый из которых характеризуется п признаками для момента t имеет вид:
(2)
дг = Лг-Ш *
г г г г д = (д 1,д 2,...,д т
— вектор интегральных индикаторов момента г, Л' — матрица предобработан-ных данных для момента г, веса показателей * / * * * \ — 1, W 2,...,^ п / определены с помощью ОСШ-
алгоритма путем суммирования эмпирических главных компонент.
При применении дисперсионного критерия информативности выбор порогового значения ОСШ определяет выбор параметра информативности 6, определяющего относительную доля разброса у, приходящуюся на первые главные компоненты (1).
Если информативность у выражается в долях единицы, величину отношения сигнал/шум можно представить как отношение полезной части используемой информации у к неиспользуемой информации 1 - у, и тогда:
SNR . 1"У
(3)
Если рассматриваемое значение отношения сигнал/шум не менее заданного порогового значения
у
6 SNR >6, то и у^-у >6, и тогда справедлива оценка информативности
у>
6
6 + 1'
(4)
Т
Соотношение (4) дает априорную оценку информативности выбранной системы признаков, которые и будут априорной оценкой информативности решения. В табл. 1 представлены некоторые значения, связывающие рассматриваемые показатели. Используемое в ОСШ-алгоритме значение 6 = 2,2 соответствует информативности около 70%, и выбор числа главных компонент нужно производить с учетом этого обстоятельства. Увеличивая используемые значения ОСШ, можно надеяться, что информативность будет выше, при этом необходимое число используемых эмпирических главных компонент для вычисления интегральной характеристики увеличивается.
Таблица 1
Связь дисперсионной информативности с используемым значением ОСШ
SNR Информативность, у
1,2 0,550
1,5 0,600
2,0 0,667
2,2 0,688
3,0 0,750
4,0 0,800
5,7 0,851
9,0 0,900
19,0 0,950
Определение
Проиллюстрируем дальнейшие рассуждения на примере вычисления интегральной характеристики качества жизни. Для этого воспользуемся переменными из исследования, выполненного под руководством С.А.Айвазяна [10]. Рассматриваются 3 блока переменных:
Блок 1: Уровень благосостояния населения (9 переменных);
Блок 2: Качество населения (14 переменных);
Блок 3: Качество социальной сферы (14 переменных).
Увеличение порогового значения сигнал/шум при определении эмпирических главных компонент возможность повышения информативности делает иллюзорной. Значение SNR = 2,2 является оптимистичной величиной для статистических данных, и увеличение этого значения хотя бы до трех единиц не позволит получить достаточного числа эмпирических главных компонент, большая их часть окажутся просто нулевыми.
В табл.2 представлены варианты определения пятой и шестой главных компонент при вычислении интегральной характеристики качества второго блока. Кажется очевидным, что пятая компонента информативнее шестой, т. к. там действующими оказались 8 из 14 переменных, а в шестой компоненте только одна переменная из 14. При увеличении параметра до 3 в пятой главной компоненте останется половина действующих переменных, а в шестой их не останется вовсе, что вряд ли информативность увеличит.
Таблица 2
их главных компонент
5 ГК Переменные
1 2 3 4 5 6 7 8 9 10 11 12 13 14
2007 0,15 -0,23 0,03 0,26 0,02 0,03 -0,73 0,12 0,06 0,02 -0,34 0,02 -0,25 0,36
2008 -0,04 -0,41 0,08 0,19 -0,03 0,05 -0,68 -0,03 -0,04 -0,13 -0,40 0,12 -0,08 0,34
2009 -0,01 -0,51 0,10 0,22 -0,03 0,05 -0,45 -0,10 0,11 -0,09 -0,51 0,16 -0,19 0,35
2010 0,07 -0,05 0,09 0,24 0,05 0,08 -0,65 0,06 0,27 0,00 -0,61 0,09 -0,11 0,17
2011 0,05 -0,29 0,10 0,23 0,03 0,05 -0,50 -0,03 0,12 -0,06 -0,67 0,13 -0,19 0,26
2012 0,05 -0,30 0,12 0,32 0,04 0,07 -0,34 0,00 0,04 0,00 -0,68 0,14 -0,28 0,32
m 0,04 -0,30 0,09 0,24 0,01 0,05 -0,56 0,00 0,09 -0,04 -0,54 0,11 -0,18 0,30
s 0,07 0,16 0,03 0,04 0,04 0,02 0,15 0,08 0,10 0,06 0,14 0,05 0,08 0,07
ОСШ 0,68 1,90 2,75 5,47 0,38 2,90 3,69 0,02 0,89 0,76 3,76 2,20 2,31 4,27
Сумма ОСШ по строке 31,99
Сумма ОСШ действующих переменных 27,36
6 ГК Переменные
1 2 3 4 5 6 7 8 9 10 11 12 13 14
2007 0,09 0,25 0,04 -0,29 0,06 0,01 -0,20 0,33 -0,19 -0,12 0,06 -0,07 -0,12 -0,14
2008 -0,19 -0,56 0,09 -0,08 0,04 0,02 0,21 0,01 -0,37 -0,04 0,45 -0,32 -0,28 0,27
2009 0,24 0,58 -0,05 -0,01 0,09 0,03 -0,50 0,16 0,08 0,08 -0,44 -0,08 0,10 -0,31
2010 0,01 0,52 0,04 -0,45 0,12 0,09 -0,31 0,13 0,14 0,04 0,06 -0,54 -0,02 -0,28
2011 0,13 0,58 -0,13 -0,24 0,09 0,21 -0,03 -0,13 0,42 0,10 -0,40 0,02 0,34 -0,20
2012 0,21 0,56 -0,03 -0,33 0,10 0,13 -0,36 0,00 0,15 0,06 -0,41 -0,30 0,09 -0,28
m 0,08 0,32 -0,01 -0,23 0,09 0,08 -0,20 0,09 0,04 0,02 -0,11 -0,33 0,02 -0,16
s 0,16 0,45 0,08 0,17 0,03 0,08 0,25 0,16 0,28 0,09 0,36 0,29 0,21 0,22
ОСШ 0,53 0,71 0,09 1,42 2,87 1,08 0,78 0,54 0,13 0,23 0,31 1,14 0,08 0,71
Сумма ОСШ по строке 10,63
Сумма ОСШ действующих переменных 2,87
Предложим способ определения информативности выбора главных компонент, когда присутствует разделение на «сигнал» и «шум». В этом случае заранее заданная точность не имеет смысла, и оценка числа главных компонент по необходимой доле объясненной дисперсии неприменима. В каждой из эмпирических главных компонент, полученных согласованием направлений собственных векторов для разных наблюдений, определим действующие переменные (для которых выполняется заданное отношение сигнал/шум) и вычислим сумму рассматриваемых величин ОСШ у действующих переменных, и сумму ОСШ у всех переменных эмпирической главной компоненты.
Таблица 3
Информативность Блока 2 «Качество населения» при вычислении интегрального индикатора качества жизни
№ ГК п/п Сумма по строке Действ. ОСШ Накопл, действ. ОСШ Накопл. %%
1 352,73 350,49 350,5 40,1
2 104,85 102,57 453,1 51,8
3 84,12 71,86 524,9 60,0
4 51,49 46,17 571,1 65,3
5 31,99 27,36 598,5 68,4
6 18,71 3,87 602,3 68,8
7 15,45 6,20 608,5 69,5
8 16,02 3,37 611,9 69,9
9 16,30 5,23 617,1 70,5
10 17,59 4,95 622,1 71,1
11 29,39 21,87 643,9 73,6
12 31,30 24,47 668,4 76,4
13 38,32 27,40 695,8 79,5
14 66,80 46,54 742,4 84,8
Сумма 875,1 742,4
В табл.3 приведены значения численной оценки «зашумленного сигнала» главных компонент — сумма отношений сигнал/шум всех переменных для согласованного положения собственных векторов, и численной оценки «выделенного сигнала» — сумма отношений сигнал/шум у действующих переменных. Для последней, четырнадцатой главной компоненты, накопленные действующие ОСШ составляют около 85% всей используемой информации. Следовательно, информативность при использовании всех главных компонент этого блока можно оценить этой величиной.
Таблица 4
Сравнение информативности выбранных главных компонент по двум критериям Блока 2 «Качество населения»
Число Информативность, %
используемых Дисперсионный ОСШ-
главных компонент критерий критерий
1 29 40
2 50 52
3 62 60
4 71 65
5 78 68
6 84 69
7 88 70
8 90 70
9 91 71
10 92 71
11 94 74
12 95 76
13 98 80
14 100 85
В табл.4 приводится сравнение оценки информативности по дисперсионному критерию и по предложенной методике. Оценка информативности по ОСШ-критерию выглядит менее оптимистичной, чем по дисперсионному критерию, т. к. информативность сигнала, в котором присутствует шум, не может быть максимальной.
Приведем в табл.5 определение характеристик информативности для другого блока переменных, характеризующих «Качество социальной сферы».
Таблица 5
Информативность 3 блока «Качество социальной сферы» при вычислении интегрального индикатора качества жизни
№ ГК п/п Сумма по строке Действующ. ОСШ Накопленные действ. ОСШ Накопл. %%
1 193,29 190,58 190,6 44,1
2 55,35 48,78 239,4 55,4
3 34,24 22,28 261,6 60,6
4 33,25 22,18 283,8 65,7
5 5,99 2,45 286,3 66,3
6 6,04 2,62 288,9 66,9
7 288,9 66,9
8 16,99 7,19 296,1 68,5
9 10,87 2,68 298,7 69,2
10 13,78 2,30 301,0 69,7
11 12,61 4,43 305,5 70,7
12 18,41 9,57 315,0 72,9
13 15,32 5,25 320,3 74,2
14 15,79 6,25 326,5 75,6
Сумма 431,9 326,5
Количество переменных для этого блока совпадает с количеством переменных второго блока, однако у него совсем другие численные характеристики — и сумма всех значений ОСШ, и сумма ОСШ у действующих переменных. Хотя информативность полу-
ченных компонент здесь сравнима с информативностью второго блока — 85% и 76% — сами блоки вносят разный вклад в определяемое значение интегрального показателя. Информативность второго блока вдвое выше, чем третьего. Следовательно, общую информативность системы с использованием всех блоков следует определять с учетом вычисленных значений суммы действующих ОСШ. В табл.6 представлены вычисленные значения весов блоков в зависимости от вычисленных характеристик. В задаче вычисления интегральных индикаторов качества жизни информативность полученного решения составила около 84%. Полученное значение согласуется с априорной оценкой (4).
Таблица 6
Определение вклада разных блоков в вычисляемое значение интегрального показателя на основе информативности
Блок 1 2 3 По всем блокам
Сумма ОСШ 373,4 875,1 431,9 1680,4
Сумма действующих ОСШ 340,6 742,4 326,5 1409,5
Вес блока 0,242 0,527 0,232
Информативность 91,2 84,8 75,6 83,9
На рисунке показано изменение поведения интегральной характеристики качества системы в зависимости от количества используемых главных компонент для Блока 3: «Качество социальной сферы». Представлены интегральные характеристики за 20072012 гг. для некоторых субъектов Российской Федерации, хорошо знакомых жителям Великого Новгорода. Хотя применение МГК является альтернативой применению экспертных оценок, тем не менее, в оценке рассматриваемой ситуации экспертом может быть практически любой: очевидно, что качество социальной сферы в столицах выше, чем на периферии. И также очевидно, что в 2012 г. в северной столице не было никакого форс-мажора, который бы обвалил качество социальной сферы, опустив его на последнее место среди рассматриваемых субъектов РФ.
Использование же для вычисления интегральной характеристики всех 14 главных компонент дает более реалистичную оценку, когда показатели для всех объектов растут, но положение субъектов друг относительно друга не изменяется. Москва при этом в бесспорных лидерах, а у Санкт-Петербурга ожидаемое второе место.
Однако вовсе не следует, что и при исследовании систем, характеризующихся значительным числом переменных, также следует использовать все главные компоненты. Увеличение числа главных компонент будет вносить вклад в вычисляемую интегральную характеристику, пока величина используемых эмпирических чисел превосходит неустранимую ошибку исходных данных. Учитывая, что дробные величины (проценты, например) имеют в статистических справочниках абсолютную погрешность 10-1 и всего три верные значащие цифры в представлении этих величин, вычисляемый результат не может иметь точность большую, чем те же три верно значащие цифры, что соответствует двум знакам после запятой в вычисляемой интегральной характеристике. Следовательно, главная компонента не изменит величину вычисляемой характеристики,
если ^ 0,5-10~2 Т .е. стоит отбрасывать те эм-
пирические главные компоненты, для которых значение эмпирического собственного числа имеют порядок Хтт «-10~5. В рассматриваемом примере
^тщ = 6 -10-2, и это собственное число дает ощутимый вклад в вычисляемую характеристику.
Заключение
Традиционные подходы к оценке числа главных компонент по необходимой доле объяснённой дисперсии предполагают, что нет разделения данных на «сигнал» и «шум», и тогда любая заранее заданная точность имеет смысл. При разделении данных на полезный сигнал и шум задаваемая точность бессмысленна, и требуется переопределить понятие информативности. Обычно, если при применении МГК используется эвристика, основывающаяся на гипотезе о наличии «сигнала» и «шума», считается, что сигнал содержится в проекции на первые главные компоненты. Однако может случиться, что именно младшие главные компоненты несут значимую смысловую нагрузку.
Изменение значения интегральной характеристики «Качество социальной сферы» в зависимости от количества используемых главных компонент
В работе предложено определение информативности метода главных компонент для решения задачи построения интегральной характеристики изменения качества системы на основе измеряемых показателей для ряда последовательных наблюдений с учетом наличия шума в измеряемых данных. Построены априорные и апостериорные оценки информативности и предложен алгоритм определения весов подсистем при вычислении интегральной характеристики с использованием апостериорных оценок информативности этих подсистем. Приведен пример определения этих характеристик при вычислении интегральной характеристики качества жизни.
Работа выполнена при финансовой поддержке проектной части государственного задания в сфере научной активности Министерства образования и науки Российской Федерации, проект №1.949.2014/К.
1. Голяндина Н.Э., Усевич К.Д., Флоринский И.В. Анализ сингулярного спектра для фильтрации цифровых моделей [Электронный ресурс] // Геодезия и картография. 2008. №5. С.21-28. Режим доступа: http://iflorinsky.narod.ru/Florinsky-2008c.pdf (дата обращения: 13.01.2015).
2. Линейный дискриминантный анализ. Alglib. Open sourse. [Электронный ресурс]. Режим доступа: http://alglib.sources.ru/dataanalysis/lineardiscriminantana lysis.php (дата обращения: 13.01.2014).
3. Rencher A.C. Methods of multivariate analysis. Wiley, 2002. 732 p.
4. Айвазян С.А. К методологии измерения синтетических категорий качества жизни населения // Экономика и математические методы. 2003. Т.39. №2. С.33-53.
5. Зикратов И.А., Техтереков С.А., Чижов В.А. Методика выбора информативных признаков для классификации объектов на основе метода главных компонент [Электронный ресурс] // Вестник Санкт-Петербургского университета МЧС России. Режим доступа: http://vestnik.igps.ru/wp-content/uploads/V63/8.pdf (дата обращения: 13.01.2015).
6. Машин В.А. Методические вопросы использования факторного анализа на примере спектральных показателей сердечного ритма // Экспериментальная психология. 2010. Т.3. №4. С. 119-138.
7. Жгун Т.В. Построение интегральной характеристики изменения качества системы на основании статистических данных как решение задачи выделения сигнала в условиях априорной неопределенности // Вестник НовГУ. Сер.: Технические науки. 2014. №81. С.10-16.
8. Жгун Т.В. Построения интегральной характеристики демографического развития территорий на примере муниципальных образований Новгородской области // Региональная экономика: теория и практика. 2013. №36(315). С.2-12.
9. Жгун Т.В. Вычисление интегрального показателя эффективности функционирования динамической системы на примере интегральной оценки демографического развития муниципальных образований Новгородской области // Вестник НовГУ. Сер.: Физ.-матем. науки. 2013. №75. Т.2. С.11-16.
10. Исакин М.А. Модификация метода ¿-средних с неизвестным числом классов // Прикладная эконометрика. 2006. Выпуск №4. С.62-70.
References
1. Goliandina N.E., Usevich K.D., Florinskii I.V. Analiz singuliarnogo spektra dlia filtratsii tsifrovykh modelei [Singular spectrum analysis for filtering of digital terrain models]. Geodeziya i kartografiya, 2008, no. 5, pp. 21-28. Available at: http://iflorinsky.narod.ru/Florinsky-2008ts.pdf. (accessed 13.01.2015).
2. Lineinyi diskriminantnyi analiz [Linear discriminant analysis]. ALGLIB (numerical analysis library, 1999-2015). Available at: http://alglib.sources.ru/dataanalysis/lineardiscriminantanalysis. php. (accessed 13.01.2015).
3. Rencher A.C. Methods of multivariate analysis. John Wiley & Sons, New York, 2002. 732 p.
4. Aivazian S.A. K metodologii izmereniia sinteticheskikh kategorii kachestva zhizni naseleniia [The methodology for measuring synthetic categories of life quality of population]. Ekonomika i matematicheskie metody -Economics and Mathematical Methods, vol. 39, 2003, no. 2, pp. 33-53.
5. Zikratov I.A., Tekhterekov S.A., Chizhov V.A. Metodika vybora informativnykh priznakov dlia klassifikatsii ob"ektov na osnove metoda glavnykh komponent [Methodology of the informative features selection for the object classification based on the principal component analysis]. Vestnik Sankt-Peterburgskogo Universiteta GPS MChS Rossii. Available at: http://vestnik.igps.ru/wp-content/uploads/V63/8.pdf (accessed 13.01.2015).
6. Mashin V.A. Metodicheskie voprosy ispol'zovaniia faktornogo analiza na primere spektral'nykh pokazatelei serdechnogo ritma [Methodological issues of application of factor analysis to psychophysiological studies]. Eksperimental'naia psikhologiia - Experimental Psychology, 2010, vol. 3, no. 4, pp. 119-138.
7. Zhgun T.V. Postroenie integral'noi kharakteristiki izmeneniia kachestva sistemy na osnovanii statisticheskikh dannykh kak reshenie zadachi vydeleniia signala v usloviiakh apriornoi neopredelennosti [Constructing the integral characteristic of the system quality changes on the basis of statistical data as a solution to the problem of signal allocation under conditions of prior uncertainty]. Vestnik NovGU. Ser. Tekhnicheskie nauki - Vestnik NovSU. Issue: Engineering Sciences, 2014, no. 81, pp. 10-16.
8. Zhgun T.V. Postroeniia integral'noi kharakteristiki demograficheskogo razvitiia territorii na primere munitsipal'nykh obrazovanii Novgorodskoi oblasti [Creation of the integrated characteristics of demographic development of territories by the example of the Novgorod region municipalities]. Regional'naia ekonomika: teoriia i praktika, 2013, no. 36(315), pp. 2-12.
9. Zhgun T.V. Vychislenie integral'nogo pokazatelia effektivnosti funktsionirovaniia dinamicheskoi sistemy na primere integral'noi otsenki demograficheskogo razvitiia munitsipal'nykh obrazovanii Novgorodskoi oblasti [Calculating the integrated index of the dynamical system efficiency by the example of integral evaluation of demographic development of the Novgorod region municipalities]. Vestnik NovGU. Ser. Fiziko-matematicheskie nauki - Vestnik NovSU. Issue: Physico-Mathematical Sciences, 2013, no. 75, vol. 2, pp. 11-16.
10. Isakin M.A. Modifikatsiia metoda fe-srednikh s neizvestnym chislom klassov [Modification of the ¿-means method with an unknown number of classes]. Prikladnaia ekonometrika -Applied Econometrics, 2006, no. 4, pp. 62-70.
