Построение интегральной характеристики изменения качества системы на основании статистических данных как решение задачи выделения сигнала в условиях априорной неопределенности Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.25, 330.46

ПОСТРОЕНИЕ ИНТЕГРАЛЬНОЙ ХАРАКТЕРИСТИКИ ИЗМЕНЕНИЯ КАЧЕСТВА СИСТЕМЫ НА ОСНОВАНИИ СТАТИСТИЧЕСКИХ ДАННЫХ КАК РЕШЕНИЕ ЗАДАЧИ ВЫДЕЛЕНИЯ СИГНАЛА В УСЛОВИЯХ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

Т.В.Жгун

CONSTRUCTING THE INTEGRAL CHARACTERISTIC OF THE SYSTEM QUALITY CHANGES ON THE BASIS OF STATISTICAL DATA AS A SOLUTION TO THE PROBLEM OF SIGNAL ALLOCATION UNDER CONDITIONS OF PRIOR UNCERTAINTY

T.V.Zhgun

Институт электронных и информационных систем НовГУ, zhtv@mail.ru

Рассмотрено решение задачи построения интегральной характеристики изменения качества системы на основании статистических данных. Статистические данные, описывающие систему в разные моменты времени, не только отражают динамику рассматриваемого качества системы (т.е. изменение полезного сигнала), но и содержат случайные компоненты (шум). Отсутствие информации о свойствах полезных сигналов и помех является существенной особенностью задачи построения интегральной характеристики изменения качества социальной системы на основании статистических данных, что дает основание отнести рассматриваемую проблему к классу задач выделения сигналов в условиях априорной неопределенности. Предложен алгоритм построения интегральной характеристики с определением неслучайных составляющих главных компонент на основе отношения сигнал/шум для ряда наблюдений. Алгоритм был использован для получения интегральных индикаторов демографического развития муниципальных образований Новгородской области. Предлагаемая методика может быть использована для вычисления интегральных оценок изменения качества социальных систем.

Ключевые слова: интегральная характеристика, изменение качества системы, метод главных компонент, погрешность статистических данных, отношение «сигнал/шум»

The paper considers the solution to the problem of constructing the integral characteristic of changes in the system quality on the basis of statistical data. Statistical data describing the system at different points in time not only reflects the system quality dynamics (i.e. the change in the useful signal) but also contains a random component (noise). The lack of information about the properties of useful signals and noise is essential for the problem of constructing the integral characteristic of changes in the social system quality on the basis of statistical data that gives rise to attribute the problem to the class of ones concerning signals allocation in conditions of prior uncertainty. For a number of observations an algorithm of constructing the integral characteristic with finding non-random elements of the principal components based on the signal-to-noise ratio is proposed. The algorithm was used to obtain integral indicators of demographic development of the Novgorod region municipalities. The proposed methodology can be used for calculating the integrated assessments of changes in the social systems quality.

Keywords: integral characteristic, change in the system quality, principal component analysis, accuracy of statistical data, signal-to-noise ratio

Введение

При решении задач управления возникает необходимость дать каждому объекту оценку его качества. Интегральные оценки качества часто используются для принятия решений при администрировании территорий и регионов Российской Федерации, объектов финансирования. Построением агрегированного интегрального индикатора активно занимается ряд международных организаций. В качестве наиболее успешных проектов можно отметить разработки ООН и Всемирного банка. Однако в силу методологических и статистических проблем и сложностей расчета интегральный индикатор, общепризнанный в мире, еще отсутствует. При формировании структуры интегрального показателя возникают серьезные затруднения, связанные с субъективностью выбора первичной информации, с достоверностью и репрезентативностью статистической информации и с методической

неопределенностью вычисления значения интегрального показателя.

Статистические данные, описывающие социальные системы в разные моменты времени, не только отражают динамику рассматриваемого качества системы, но и содержат случайные компоненты. Задача обнаружения сигналов с заданными допустимыми вероятностями ошибочных решений, обусловленных помехами, является одной из основных проблем во многих технических системах: в радиолокации, астрономии, оптической связи, навигации, телевизионной автоматике и пр. Отсутствие полной информации о свойствах полезных сигналов и помех является существенной особенностью задачи построения интегральной характеристики качества социальной системы на основании статистических данных, что дает основание отнести рассматриваемую проблему к классу задач выделения сигналов в условиях априорной неопределенности.

Постановка задачи вычисления интегральной характеристики системы

Рассмотрим построение интегральной оценки системы из m объектов, для которой известны таблицы описаний объектов для ряда наблюдений — матрицы размерностью m^n

Л' ={пг] 1 ' = 1, 2,...,р.

г, 1=1

Для каждого момента ' вектор интегральных показателей имеет вид

' Л '

q = Л •и ,

' ' ' ' \ где д =< д 1,д 2,...,д т)

(1)

вектор интегральных

индикаторов момента ', иИ =(и'\,иИ2, ...,и'т} — вектор весов показателей для момента ', Л' — матрица предобработанных данных для момента '.

Для построения интегрального индикатора требуется найти веса показателей и' для каждого момента времени. При использовании методов вычисления интегральных характеристик «с учителем» [1,2] веса для каждого наблюдения ' в (1) назначаются экспертами. Метод экспертных оценок широко используется в силу простоты получения информации. Однако не для каждой сложной системы существует достаточное количество квалифицированных

экспертов. Вдобавок экспертные услуги, как правило, являются товаром, поэтому они недешевы и не могут быть объективными. Предпочтительнее формальные методы, не использующие человеческих предпочтений для оценки. К таким методам относят метрический метод и метод главных компонент [3,4].

Выделение сигнала в условиях воздействия помех

Рассмотрим показатели, характеризующие предоставление жилья (данные Федеральной службы государственной статистики по Новгородской области):

— число семей, состоящих на учете в качестве нуждающихся в жилых помещениях;

— удельный вес семей, получивших жилую площадь, в числе семей, состоящих на учете, в процентах;

— число семей, получивших жилую площадь

за год.

Второй из этих показателей есть отношение третьего к первому, что дает редкую возможность контроля представленных значений. Расхождение статистических и вычисленных значений могут быть обусловлены неизбежными ошибками округления или описками (опечатками) (табл.1).

т

Таблица 1

Удельный вес семей, получивших жилую площадь, в числе семей, состоящих на учете, по данным статистики и по расчету (в процентах)

№ п/п Муниципальные образования По данным статистики По расчетам Разница показателей

2008 2009 2010 2008 2009 2010 2008 2009 2010

1 По области 3,4 7 9,1 3,46 6,95 9,09 0,06 -0,05 -0,01

2 В.Новгород 1,7 2,9 3,5 1,71 2,98 3,6 0,01 0,08 0,1

3 Батецкий 4,7 8,6 8,9 4,3 6,45 10,58 -0,4 -2,15 1,68

4 Боровичский 3,4 4,6 4,3 3,82 4,07 4,26 0,42 -0,53 -0,04

5 Валдайский 3,6 4,9 23,6 3,55 5,06 21,77 -0,05 0,16 -1,83

6 Волотовский 13 4,6 15,9 11,49 9,09 12,5 -1,51 4,49 -3,4

7 Демянский 9,3 11,8 12,8 10,29 10,26 10,75 0,99 -1,54 -2,05

8 Крестецкий 10,5 34,5 22 10,91 22,62 19,68 0,41 -11,88 -2,32

9 Любытинский 4 29,4 52,3 3,92 34,88 50 -0,08 5,48 -2,3

10 Маловишерский 7,4 8,3 15,6 6,92 8,22 14,44 -0,48 -0,08 -1,16

11 Маревский 16,1 13,3 33,8 16,67 11,27 34,78 0,57 -2,03 0,98

12 Мошенской 10,5 33,3 21,3 15,94 28,75 13,93 5,44 -4,55 -7,37

13 Новгородский 4,4 5,5 15,2 4,25 5,4 12,2 -0,15 -0,1 -3

14 Окуловский 2,4 4,2 3 2,56 3,71 4,17 0,16 -0,49 1,17

15 Парфинский 9,9 13 12,4 6,51 16,06 12,59 -3,4 3,06 0,19

16 Пестовский 2,3 2,8 5,9 2,34 2,87 5,87 0,04 0,07 -0,03

17 Поддорский 11,1 13,7 1,9 10,96 111,11 70,83 -0,14 97,41 68,93

18 Солецкий 3,8 10,8 39,9 3,61 13,04 30,39 -0,19 2,24 -9,51

19 Старорусский 10,4 16,2 56,5 9,17 17,13 46,92 -1,23 0,93 -9,58

20 Хвойнинский 12,8 24,2 31,1 11,9 24,07 33,07 -0,9 -0,13 1,97

21 Холмский 3 6,1 13,7 4,13 6,45 13,39 1,13 0,35 -0,31

22 Чудовский 7,6 51,8 17,3 6,43 60,08 17,44 -1,17 8,28 0,14

23 Шимский 11,7 21,3 55,2 16,25 19,54 47,52 4,55 -1,76 -7,68

Максимальная абсолютная погрешность при округлении определяется точностью представленных данных и составляет десятую долю рассматриваемой величины. Таких значений — 13 из 69 представленных. В 22 случаях разница расчетного и статистического значений составляет более двух единиц при максимальном расхождении свыше 97 единиц, что свидетельствует о большом количестве неточностей в данных. В целом по этим значениям можно судить о качестве первоначальной статистики. Однако «исправлять» значения, которые не нравятся по некоторым причинам исследователю, не представляется возможным.

Рассмотрим статистическую информацию как слабый сигнал, который нужно выделить из смеси сигнала и шума. Идеальный прием сигналов в условиях воздействия шума и помех основывается на простых и глубоких идеях, изложенных в наиболее последовательной и ясной форме Ф.М.Вудвордом [5]. Следуя этой идее, задачей идеального устройства, на вход которого поступает смесь сигнала с шумом, является полное разрушение ненужной информации, содержащейся в смеси, и сохранение полезной информации о тех параметрах сигнала, которые представляют интерес для пользователя системы.

Количественные характеристики конкретной системы, функционально связанные с ее структурными особенностями и условиями ее работы, зависят от отношения сигнала к шуму.

ОСШ — отношение сигнал/шум (англ. signal-to-noise ratio, сокр. SNR) представляет собой отношение сигнала (точнее, суммы сигнала и шума) к шуму. Величина может быть вычислена либо как безразмерное отношение амплитуды сигнала к амплитуде шума SNR = As /A , либо в децибелах SNR (dB) = 20■ log 10(As/An). В любой коммуникационной системе отношение уровня сигнала к уровню шума (S/N) является самым важным параметром.

Например, одной из характеристик аналогового стандарта сотовой связи AMPS (Advanced Mobile Phone Service), известного как «североамериканский стандарт», является отношение сигнал/шум. Минимальное отношение сигнал/шум для этого стандарта составляет 6,5 дБ. В технологии сотовой телефонии третьего тысячелетия CDMA (Code Division Multiple Access) соотношении сигнал/шум составляет 6-8 дБ [6]. Для служебной мобильной связи или для связи через ретрансляторы также обычно выбирают параметры 5-10 дБ [7].

Возможность регистрации звезд на изображении участка небесной сферы и точность определения параметров ориентации по этим снимкам зависит от отношения полезного сигнала от звезды к шуму фона. При фотометрии слабых объектов необ-

ходимо, чтобы отношение сигнал/шум (S/N) превышало 2,2 [8].

Для телевизионной практики роль параметра отношение сигнал/шум первостепенна, поскольку именно этим параметром определяется вероятность правильного опознавания изображений, потенциальная разрешающая способность и количество градаций яркости, воспроизводимых телевизионной системой. Теоретически телевизионные системы могут восстановить неповрежденную картинку даже при достаточно большом уровне шума. Однако на практике требования таковы, что уровень сигнала в этом отношении должен быть выше уровня шумов. Отношение сигнал — шум, при котором это происходит, называется пороговым. Его типичное значение около 7 дБ [9].

Рис.1. Телевизионное изображение при разных значениях ОСШ. Последнее изображение не содержит шума.

Проиллюстрируем изменение качества изображения при изменении уровня шума. Возьмем в качестве примера фрагмент телевизионной испытательной таблицы (рис.1) и будем наблюдать изменение качества изображения при увеличении уровня шума путем математического моделирования. Изображение можно распознать с некоторой вероятностью ошибки, если уровень полезного сигнала превышает уровень шума (ОСШ = 1,25), а при значении ОСШ = 2,5 изображение выделяется вполне уверенно.

Задача построения интегральной характеристики качества системы на основании статистических данных как частный случай задачи выделения сигнала в условиях априорной неопределенности

Предполагая непрерывную зависимость вычисляемого показателя качества системы от изменения входных данных, выделим сигнал из зашумлен-ных данных, используя метод главных компонент. Предположение о том, что при вариации входных данных имеется общая тенденция, иллюстрирует рис.2, где представлена типичная картина поведения собственных чисел ковариационных матриц для раз-

ных наблюдений (значения упорядочены по убыванию). В среднем значении рассматриваемых величин хорошо просматривается тенденция (сигнал) и отклонение от нее (шум).

Рис.2. Собственные значения ковариационной матрицы переменных для различных моментов наблюдения

Наличием неслучайного (т.е. значимого) вклада переменной в структуру главных компонент будем считать инвариантность факторной нагрузки при возмущениях, признаком которой будет величина отношения сигнал/шум, определяемая средними значениями переменной и среднеквадратичным отклонением. Это отношение должно быть выше некоторого порогового значения.

Для проверки этого условия нужно выбрать направления собственных векторов, которые определяются с точностью до направления, в отличие от собственных чисел, определяемых однозначно. На рис.3 представлен выбор направления собствен-

ных векторов для первой компоненты, обеспечивающего максимальную сумму амплитуд неслучайных (действующих) сигналов. Направление собственных векторов выбираем, чтобы максимизировать услышанный сигнал — т.е. сумму ОСШ у действующих переменных (переменных, для которых выполнено условие значимости ОСШ). На рис.3 (слева) видно, что направление собственного вектора для 2009 г. (линия точек) неправильно, и его нужно изменить для того, чтобы описание системы для разных моментов времени было корректным.

Построение интегральной характеристики качества системы на основании статистических данных как решение задачи выделения сигнала в условиях априорной неопределенности

Построение латентной интегральной характеристики системы на основе измеряемых показателей для ряда последовательных наблюдений на основе метода главных компонент с учетом наличия шума в измеряемых данных (ОСШ-алгоритм) включает следующие шаги:

1) задание параметров алгоритма:

— выбор значения ОСШ для рассматриваемой системы;

— выбор связанного с ОСШ параметра информативности 6;

2) определение априорного набора переменных и деление исходных переменных на блоки, исходя из содержательных соображений (на основе нормативных документов, экспертных оценок и т.д.);

3) обеспечение однородности выборки, устранение коллинеарности данных;

0,5

0,3

0,1

-0,1

-0,3

-0,5

12 3 4 Номер переменной

---- 2000

— 2006

-2008

---- 2009

-2010

■ " "среднее

Рис.3. Выбор направления собственных векторов для первой компоненты. Слева — исходные направления, справа — выбор направления собственных векторов, обеспечивающего максимальную сумму амплитуд действующих сигналов

4) определение начальных данных унификацией статистических показателей;

5) центрирование унифицированных переменных;

6) вычисление по центрированным значениям унифицированных показателей ковариационной матрицы, совпадающей в этом случае с матрицей корреляций;

7) нахождение собственных значений и собственных векторов ковариационной матрицы; вычисление эмпирических значений собственных чисел как среднего значения собственных чисел для различных выборок, упорядоченных по убыванию, и определение числа главных компонент I, отвечающих принятому значению информативности

X, +Х.+...+Х,

у,=——2->е

1 2 п

(2)

В качестве собственных чисел здесь рассматриваем эмпирические собственные числа;

8) определение апостеорных значений факторных нагрузок действующих переменных главных компонент на основе принятой величины ОСШ (эмпирических собственных векторов W*=(мч,м> 2,...,;

9) выбор направлений получившихся главных компонент, обеспечивающих максимальное значение целевой функции и нахождение весовых коэффициентов целевой функции;

10) вычисление интегрального показателя

^ = А' ■W * (3)

где W*=(мЛ,м> 2,...,м> ^ — матрица из I эмпирических собственных векторов,

Для фиксированного момента ' интегральную оценку чаще всего записывают для каждого рассматриваемого объекта с номером i в виде аддитивной свертки данных с весами, определяемыми столбцами матрицы W*, координаты которых представляют среднее значение выбранных значимых переменных:

< =Ъ

1=1

^ ■а..,

1

^ =

1

I

ъ

?=1

5 г

i = 1, 2, ... т;

1 = 1, 2, ..., п.

(4)

Вычисление интегральной характеристики демографического развития методом ОСШ

Возьмем в качестве порогового значения ОСШ величину, используемую в технических системах при выделении слабого сигнала: ОСШ = 2,2 (около 7 дБ). Это значит, что в поступающем сигнале полезная информация составляет около 69%, а, соответственно, около 31% приходится на шум. Следовательно, параметр в критерии информативности е должен с некоторым запасом обеспечивать около 70% полез-

ной информации в сигнале. Положим е = 75%. В табл.2 приведен список переменных, использованных для вычисления интегральной характеристики демографического развития муниципальных образований Новгородской области, и вычисленные по предложенному алгоритму значения весовых коэффициентов.

Таблица 2

Используемые для вычисления интегральной характеристики демографического развития переменные и веса этих переменных

№ п/п Весовой коэффициент Переменные

1 0,872 Общие коэффициенты рождаемости (число родившихся на 1000 человек населения)

2 0,823 Общие коэффициенты смертности (число умерших на 1000 чел. населения)

3 0,477 Коэффициенты младенческой смертности (число детей, умерших в возрасте до 1 года, на 1000 родившихся живыми)

4 1,077 Общие коэффициенты брачности (число зарегистрир. браков на 1000 чел. населения)

5 -1,059 Общие коэффициенты разводимости (число зарегистрир. разводов на 1000 чел. населения)

6 0 Коэффициенты миграционного прироста/убыли населения (на 1000 чел. населения)

7 0 Численность населения в возрасте моложе трудоспособного

8 0,895 Численность населения в возрасте старше трудоспособного

9 -0,21 Численность мужчин по переписям населения в общей численности населения, %

Варианты выбора направлений собственных векторов представлены в табл.3. Максимальное отношение сигнал/шум для выбранной переменной будет достигнуто, если в рассматриваемом столбце знаки переменных будут одинаковы. В этом случае амплитуда сигнала будет наибольшей, а дисперсия — наименьшей. Оценкой каждого из вариантов будет сумма значений у значимых (действующих) переменных.

Таблица 3

Определение неслучайных коэффициентов факторных нагрузок 2-й главной компоненты Максимальное значение модуля переменной 1

2 ГК Собственное число Переменные Действующие ОСШ

1 2 3 4 5 6 7 8 9

2000 1,65 0,24 -0,20 -0,27 0,22 -0,19 0,66 -0,08 -0,01 -0,55

2006 1,45 0,13 0,21 0,17 -0,35 0,29 0,25 0,22 0,32 0,70

2008 1,97 0,61 -0,17 0,34 -0,12 0,26 0,18 0,56 0,01 0,22

2009 1,76 0,47 0,02 -0,37 -0,14 0,26 0,38 0,48 0,17 0,38

2010 1,54 0,19 -0,32 -0,41 0,21 -0,46 -0,33 -0,03 -0,11 -0,55

т 1,67 0,33 -0,09 -0,11 -0,04 0,03 0,23 0,23 0,07 0,04

аЬ&'(т) 0,33 0,09 0,11 0,04 0,03 0,23 0,23 0,07 0,04

s 0,20 0,20 0,21 0,34 0,24 0,34 0,36 0,29 0,17 0,57

ОСШ 8,22 1,62 0,44 0,32 0,15 0,09 0,63 0,80 0,44 0,07 0,00

Максимальное значение модуля переменной 2

2 ГК Собственное число Переменные Действующие ОСШ

1 2 3 4 5 6 7 8 9

2000 1,65 0,24 -0,20 -0,27 0,22 -0,19 0,66 -0,08 -0,01 -0,55

2006 1,45 -0,13 -0,21 -0,17 0,35 -0,29 -0,25 -0,22 -0,32 -0,70

2008 1,97 0,61 -0,17 0,34 -0,12 0,26 0,18 0,56 0,01 0,22

2009 1,76 -0,47 -0,02 0,37 0,14 -0,26 -0,38 -0,48 -0,17 -0,38

2010 1,54 0,19 -0,32 -0,41 0,21 -0,46 -0,33 -0,03 -0,11 -0,55

т 1,67 0,09 -0,18 -0,03 0,16 -0,19 -0,02 -0,05 -0,12 -0,40

аЬ&'(т) 0,09 0,18 0,03 0,16 0,19 0,02 0,05 0,12 0,40

s 0,20 0,41 0,11 0,36 0,17 0,27 0,44 0,39 0,13 0,36

ОСШ 8,22 0,22 1,70 0,08 0,91 0,71 0,05 0,13 0,90 1,10 0,00

Максимальное значение модуля переменной 3

2 ГК Собственное число Переменные Действующие ОСШ

1 2 3 4 5 6 7 8 9

2000 1,65 0,24 -0,20 -0,27 0,22 -0,19 0,66 -0,08 -0,01 -0,55

2006 1,45 -0,13 -0,21 -0,17 0,35 -0,29 -0,25 -0,22 -0,32 -0,70

2008 1,97 -0,61 0,17 -0,34 0,12 -0,26 -0,18 -0,56 -0,01 -0,22

2009 1,76 -0,47 -0,02 0,37 0,14 -0,26 -0,38 -0,48 -0,17 -0,38

2010 1,54 0,19 -0,32 -0,41 0,21 -0,46 -0,33 -0,03 -0,11 -0,55

т 1,67 -0,16 -0,12 -0,16 0,21 -0,29 -0,10 -0,27 -0,12 -0,48

аЬ&'(т) 0,16 0,12 0,16 0,21 0,29 0,10 0,27 0,12 0,48

s 0,20 0,38 0,19 0,31 0,09 0,10 0,43 0,24 0,13 0,19

ОСШ 8,22 0,41 0,61 0,52 2,34 2,90 0,23 1,15 0,97 2,58 7,82

Рис.4. График изменения демографической интегральной характеристики

Изменение значения интегрального показателя по годам для некоторых районов Новгородской области с разным уровнем демографического развития можно увидеть на рис.4. Наилучшие характеристики имеют центральные и промышленно развитые муници-

пальные образования (здесь — В.Новгород) Близкие к центру районы (Старорусский, Парфинский) занимают промежуточное положение между Великим Новгородом и отдаленным Батецким районом с наихудшими значениям интегральной характеристики. Подробное исследование результатов приведено в [10,11].

Заключение

В работе рассмотрено решение задачи построения интегральной характеристики изменения качества системы на основании статистических данных, относящейся к классу задач выделения сигналов в условиях априорной неопределенности. Предложен алгоритм построения интегральных характеристик с определением неслучайных составляющих главных компонент. Алгоритм был использован для получения интегральных индикаторов демографического развития муниципальных образований Новгородской области. Предлагаемая методика может быть использована для вычисления интегральных оценок изменения качества социальных систем.

1. Стрижов В.В., Шакин В.В. Согласование экспертных оценок // Докл. X Всерос. конф. «Математические методы распознавания образов» (ММРО-10). М., 2001. С.137-138.

2. Кузнецов М.П., Стрижов В.В. Построение интегрального индикатора с использованием ранговой матрицы описаний // Докл. 9-й Междунар. конф. «Интеллектуализация обработки информации». М., 2012. С.130-132.

3. Айвазян С.А. Интегральные индикаторы качества жизни населения: их построение и использование в социально-экономическом управлении межрегиональных сопоставлениях. М.: ЦЭМИ РАН, 2000. 56 с.

4. Рао С.Р. Линейные статистические методы и их применения. М.: Наука. 1968. 548 с.

5. Вудворд Ф.М. Теория вероятностей и теория информации с применениями в радиолокации. М.: Сов. радио, 1955. 128 с.

6. Поколения сотовой связи [Электронный ресурс]. URL: http://kunegin.narod.ru/ref3/mob/2.htm (Дата обращения 15.05.2014)

7. Техника УКВ ЧМ связи [Электронный ресурс]. URL: http://qrx.narod.ru/arhn2/ukv-m.html. (Дата обращения 15.05.2014)

8. Аванесов Г. А., Бессонов Р.В., Куркина А.Н. и др. Разработка автономной бесплатформенной астроинерциальной навигационной системы // Сб. тр. Третьей Всерос. науч. конф. «Современные проблемы ориентации и навигации космических аппаратов». М.: ИКИ РАН, 2013. С.9-29

9. Основные показатели приема спутникового сигнала [Электронный ресурс]. URL: http://forum.ntvplus.ru/ showthread.php?t=77818 (Дата обращения 15.05.2014)

10. Жгун Т.В. Моделирование интегральных показателей демографического развития на примере муниципальных образований Новгородской области [Электронный ресурс] // Фундаментальные исследования. 2013. №8 (Ч.6). С.1378-1382. URL: http://www.rae.ru/fs/?section= content&op=show_article&artide_id=10001351 (Дата обращения 15.05.2014)

11. Жгун Т.В. Построения интегральной характеристики демографического развития территорий на примере муниципальных образований Новгородской области // Региональная экономика: теория и практика. 2013. №36(315). С.2-12.

References

1. Strizhov V.V., Shakin V.V. Soglasovanie ekspertnykh otsenok [Expert estimation agreement]. Matematicheskie metody raspoznavaniia obrazov (MMR0-10), Doklady X vserossiiskoi konferentsii [Proc. 10th Russ. Simp.' 'Mathematical methods of pattern recognition'']. Moscow, 2001, pp. 137-138. (In Russian)

2. Kuznetsov M.P., Strizhov V.V. Postroenie integral'nogo indikatora s ispol'zovaniem rangovoi matritsy opisanii

[Construction of an integral indicator using order description matrix]. Mezhdunarodnaia konferentsiia «Intellektualizatsiia obrabotki informatsii» (IOI-9). Doklady 9-i mezhdunarodnoi konferentsii [Proc. 9th Int. Simp. "Intellectualization of information processing" (IOI -9)]. Budva, September 16-22, 2012, pp. 130-132. (In Russ.)

3. Ayvazyan S.A. Integral'nye indikatory kachestva zhizni naseleniia: ikh postroenie i ispol'zovanie v sotsial'no-ekonomicheskom upravlenii i mezhregional'nykh sopostavleniiakh [Integral indicators of life quality of population: their construction and use in social and economical management and for inter-regional comparisons]. Moscow, CEMI RAS, 2000. 56 p.

4. Rao C.R., Linear Statistical Inference and its Applications (Second Edition), John Wiley, New York, 1973. 452p. (Russ. ed.: Rao S.R. Lineinye statisticheskie metody i ikh primeneniia. Moscow, "Nauka" Publ., 1968. 548 p.)

5. Vudvord F.M. Teoriia veroiatnostei i teoriia informatsii s primeneniiami v radiolokatsii [The theory of probability and information theory and their application in radio detection and location]. Moscow, "Sov. radio" Publ., 1955. 128 p.

6. Pokoleniia sotovoi sviazi [The generation of mobile communications] (In Russ.) Available at: http://kunegin.narod.ru/ref3/mob/2.htm (acessed 15.05.2014)

7. Tekhnika UKV ChM sviazi [VHF equipment for FM signal] (In Russ.). Available at: http://qrx.narod.ru/arhn2/ukv-m.html. (acessed 15.05.2014)

8. Avanesov G.A., Bessonov R.V., Kurkina A.N., Mysnik E.A., Liskiv A.S., Liudomirskii M.B., Kaiutin I.S., Iamshchikov N.E. Razrabotka avtonomnoi besplatformennoi astroinertsial'noi navigatsionnoi sistemy [Designing autonomous strapdown astro-inertial navigation system]. Tret'ia vserossiiskaia nauchnaia konferentsiia «Sovremennye problemy orientatsii i navigatsii kosmicheskikh apparatov» Sbornik trudov [Proc. 3d Russ. Simp. ''Modern problems of orientation and navigation of spacecrafts'']. Russia, Tarusa, Moscow. SRI RAS. 2013, pp. 9-29. (In Russian).

9. Osnovnye pokazateli priema sputnikovogo signala [Core indicators of satellite signal reception] (In Russ.) Available at: http://forum.ntvplus.ru/showthread.php?t=77818 (acessed 15.05.2014)

10. Zhgun T.V. Modelirovanie integral'nykh pokazatelei demograficheskogo razvitiia na primere munitsipal'nykh obrazovanii Novgorodskoi oblasti [Modeling of integrated indexes of demographic development by the example of the Novgorod region municipalities]. Fundamental'nye issledovaniia: elektronnyi nauchn. zhurnal - Fundamental research: online scientific journal, 2013, no. 8, pp. 1378-1382. (In Russ.) Available at: www.rae.ru/fs/?section=content&op= show_article&article_id= 10001351 (accessed: 15.05.2014)

11. Zhgun T.V. Postroeniia integral'noi kharakteristiki demograficheskogo razvitiia territorii na primere munitsipal'nykh obrazovanii Novgorodskoi oblasti [Creation of the integrated characteristics of demographic development of territories by the example of the Novgorod region municipalities]. Regional'naia ekonomika: teoriia i praktika, 2013, no.36(315), pp.2-12.