CC BY
41N92(10) 2008
Анна Вайнберг Аллен
Графы для анализа структурных соотношений между переменными и их приложение к изучению российских регионов (Часть 1)
Работа посвящена проблемам исследования структуры переменных. Эта проблематика имеет важное значение для многих статистических приложений, и, в частности, в межстрановом и межрегиональном сравнительном анализе. Статья состоит из двух частей, включающих (1) обзор двух методов исследования структуры переменных: краткого резюме по древообразным структурам зависимостей и более подробного представления графовых моделей с особым упором на метод выбора ковариаций Демпстера (часть 1), (2) описания предлагаемой автором модификации этого метода и (3) его применения к практическому исследованию и сравнению российских регионов (часть 2).
Избыток переменных — проблема многих сравнительных исследований. Как правило, трудно принять решение о полезности и уместности отдельной специфической переменной. В этой ситуации часто применяется экспертное агрегирование переменных в новые, более общие факторы. Но при таком подходе возникает хорошо известная проблема произвольности, и поэтому обоснован интерес к исследованию структуры многомерной случайной переменной.
Этот интерес, или лучше сказать потребность, обычная в общественных и точных науках, породила ряд методов и алгоритмов, основанных на теории графов.
В первой части статьи описываются два из возможных методов: кратко излагается метод, базирующийся на понятии «деревья зависимостей» (хорошо представленный в русскоязычной литературе), и, более подробно, алгоритм выбора ковариаций Демпстера, гораздо менее известный.
Последний метод относится к обширной и быстро развивающейся области графовых моделей. Предлагается также краткое введение в графовые модели, при этом предлагается алгоритм выбора ковариаций относительно других методов, используемых в этой области.
Во второй части статьи рассматривается модификация алгоритма Демпстера, основанная на его комбинации с деревьями зависимостей, и описывается его практическое применение к сравнительному анализу положения и развития российских регионов.
Сколько нужно гипотетических переменных, или факторов, и каких, чтобы по возможности более точно воспроизвести и объяснить наблюдаемые взаимосвязи между переменными? Каким образом мы можем провести свертку большого количества данных с минимальной потерей информации, используя возможную более простую концепцию?
Иберла [!Ьег!а (1980)]
44
№2(10) 2008
1. Древообразные структуры зависимостей
1.1. Общее представление
Традиционной формой описания зависимостей между p элементами многомерного нормально распределенного вектора является корреляционная матрица, содержащая полную информацию о взаимосвязях между координатами. В общем случае эта матрица зависит от p(p-1)/2 параметров, и в дальнейших вычислениях или интерпретациях нелегко обработать такое большое количество параметров.
Чоу и Лью [Chow and Liu (1966)], [Chow and Liu (1968)], [Chow(1970)] на основе теории графов ввели понятие древообразной структуры зависимостей, предложив новый класс распределений с более экономным описанием корреляций, используя только p-1 параметров. Дальнейшие разработки этой темы для пространств высокой размерности были выполнены Заруцким [Заруцкий (1978)] и [Заруцкий (1980)]. Практический пример использования приведен в [Прохорскас, Жюжнис и др. (1976)]. Наше представление древообразных структур зависимостей заимствовано у Айвазяна, Енюкова и Мешалкина [Айвазян, Енюков и др. (1985)], а сама идея древообразных структур зависимостей происходит из цепей Маркова.
Определение 1 (Цепь Маркова)1. Последовательность X, случайных непрерывных переменных, обладающих тем свойством, что, при данном представлении, будущее условно независимо от прошлого, называется цепью Маркова. Другими словами, для всех'1 > 2
fx, (X,- |X,-1 = х,--1) = fx, (х,\X,-1 = x,-1,..., X1 = x 1).
Определение 2 (Древообразная структура зависимостей). Случайный p-мерный вектор X можно представить в виде древообразной структуры зависимостей T, если существует по крайней мере одна перестановка а(1,..., p) = (а(1),а(2),..., аp)) координат этого вектора, удовлетворяющая условию: для каждого а (,) существует такое число j(а(,))е0,аш,...,а(,_,), что
fXa ,n (Ха
\ Xj (а (1)) = Xj (а (1))
= fXa ,„( Ха ,,)\X а ,1) = х а
:, Ха (,-1) Ха( ¡-1))
(1)
Здесь j = 0 соответствует фиктивной координате х0 = 1 и j (а (1)) = 0.
£ §
ч
L-
vo >s HQ
ч
Проиллюстрируем это описание с помощью примера Демпстера [Dempster (1972)], представленного на рис. 1 и соответствующего корреляционной матрице S с числом переменных p = 6 и числом наблюдений n = 72:
S =
'1,0000 0,3966 0,3688 0,1764 -0,4632 0,2939^
1,0000 0,0232 -0,0854 0,0193 0,2191
1,0000 0,0494 -0,1350 -0,2376
1,0000 -0,4671 0,1135
1,0000 -0,3656
V 1,0000у
(2)
1 В данном случае мы предполагаем наличие плотности распределения. Общее определение может быть найдено в книге [Ширяев (2004)], стр. 788.
-V
ф Регионы
45
№2(10) 2008
и £ 8 8
¡5
<ъ а
I
U
>s
iS
и
0 а
1
<ъ
is *
г
! §
& §
5
I
I
г
I
6
с
! 5
!
5
о
Е
о
0 и
й
1
6
£ &
и
<в «
л
<в ! <в
¿J
Рис. 1. Граф для примера Демпстера
Для шестимерного случайного вектора X = (XbX2,X3,X4,X5,X6) здесь существует перестановка
а = (ага,а(2),ага,ат,ага,а(б)) = (2,1,3,5, 4, 6), где у(а0)) = j(2) = 0, у(аи) = j(1) = 2, у(а(з)) = j(3) = 1, У(а(4)) = j(5) = 1, у(аи) = j(4) = 5 и у(а(б)) = j(6) = 5.
Для нормального распределения эта древообразная структура зависимостей единственна [Chow (1970)] и [Заруцкий (1978)]. Кроме того, нормальное распределение со свойством древообразной структуры зависимостей имеет простой вид обратной ковариационной матрицы Е-1, где верхняя треугольная часть матрицы 2-1 содержит не более р-1 ненулевых элементов. Вспомним определение частичной независимости.
Определение 3 (Частичная независимость). Две переменные частично независимы (при фиксированных всех остальных переменных) тогда и только тогда, когда соответствующий элемент в обратной ковариационной матрице равен нулю.
Таким образом, в нашем случае, за исключением p -1 пар переменных, все другие переменные частично независимы.
В этом случае справедлива следующая теорема:
Теорема 1 (Свойство цепи, [Chow (1970)]). Для р-мерного нормально распределенного вектора X с древообразной структурой зависимостей T для всех 1 < i < j < р
Р j= ПР k',
(k,l )eMVJ)
(3)
где ру — коэффициент корреляции2 между векторными координатами X, и X, а М(/, у) — простая цепь3, соединяющая вершины / и у графа Т.
2 Мы обозначаем черезру «теоретические» коэффициенты корреляции, а черезгу — выборочные коэффициенты корреляции.
3 Напомним:
Определение 4 (Простая цепь). Конечная непустая последовательность М = (х,, х 2),(х2, х 3),...,(хт, хт+,) ребер
графа называется простой цепью, соединяющей вершины х, и хт+,, если все вершины х,,____хт+, различны. Если
х, = хт+,, то мы имеем простой цикл.
46
No2(10) 2008
Далее нам потребуются следующие два определения:
Определение 5 (Вес связи). Назовем весом связи (/,}) абсолютное значение р Определение 6 (Вес графа). Вес графа — это сумма весов его ребер. Следующая ключевая теорема дает возможность практического построения граф
Теорема 2 (Чоу (Chow)). Рассмотрим невырожденный нормальный вектор с древообраз- ^ ной структурой T. Вес этого дерева зависимостей строго больше, чем веслюбого другого дерева, отличающегося, по крайней мере, одним ребром с ненулевым весом.
Доказательства теорем 1 и 2 приведены в [Айвазян, Енюков и др. (1985)]. Так, в случае известной корреляционной матрицы 2 = рпроблема поиска древообразной структуры зависимостей T эквивалентна поиску дерева с максимальным весом. Эта проблема решается с помощью алгоритма Крускала [Kruskal (1956)] поиска максимального связывающего дерева. Сложность алгоритма Крускала оценивается как0(p2log(p)) [Cormen, Leiberson, et al. (1990)].
Древообразные структуры зависимостей предоставляют полезную классификацию переменных и позволяют осуществлять неявный контроль качества данных. В частности, те переменные в структуре, которые занимают необычное, не объясняемое теорией или здравым смыслом место, требуют проведения дополнительных исследований для выяснения причин таких отклонений.
Древообразные структуры зависимостей были разработаны для бинарных, а также нормально распределенныхданных. Вдальнейшем предполагается, что наши данные распределены нормально, и что справедлива сама гипотеза присутствия структуры древообразной зависимости в рассматриваемых данных.
В следующем разделе вводятся критерии качества представления.
1.2. Критерии качества представления
Обозначим через ^выборочный коэффициент корреляции, а через Г его оценку на основе древообразной структуры зависимостей. Если ребро (,, j) принадлежит дереву с максимальным весом (корреляцией), то
?j = r,j,
в противном случае гj вычисляется, опираясь на выражение (3).
Хотим оценить, насколько хорошо древообразная структура зависимостей аппроксимирует всю корреляционную матрицу и корреляции каждой переменной со всеми другими переменными. Задаем три критерия качества представления.
Критерий 1: качество представления переменной
Для заданной переменной :
Если
а, =Z j*\ r>j- г|и b> =Z
тогда
(4)
определяет качество представления переменной ,.
ф Регионы
47
No2(10) 2008
Значение критерия с, равно 1, если и только если г = гу для всех¡, и, таким образом, значение с,, близкое к 1, указывает на хорошее качество представления. Критерий с, достигает своего наихудшего значения, равного -1, если и только если г = -гу для всех у.
и Критерий 2: качество представления переменной (робастное)
Другая возможность состоит в том, чтобы определить для данной переменной ,
= 1--, (5)
max(5, b,)
£ 8
г?
<ъ о.
| где 5 — порог индифферентности.
и
§ Вводим этот порог, чтобы ограничить влияние слишком низких корреляций. Используем
0 __2 — _
а 5 = (р -1)|г| или5 = — (р -1)|г|, где |г| — среднее значение по всем|г ¡¡ \ а р — число переменных.
1 3
| Можно использовать порог5, равный (р -1), умноженный на максимальное значение |г|, для ^ которого гипотеза р = 04для выборки соответствующего объема не отклоняется.
<ъ
I
§ Критерий 3 (глобальный): качество представления дерева
* Если А = £(<у| гу - гу |и В = £(<,| гу |
Результаты для критериев 1 и 2 близки, но определение (5) более робастно и предотвращает получение экстремальных значений.
s л
Ц тогда С = 1-л (6)
I
<ъ
i &
с
В
отражает качество представления дерева. Значения С также изменяются между-1 и 1. Значение критерия С, близкое к нулю, указывает на хорошее качество представления. По анало-. гии мы можем определить С в виде:
I А
¡1 С = 1--А-, (7)
>5 тах(5,В)
1
■3 где 5 равно р(р-1), умноженному на максимальное значение |г|, для которого гипотеза р = 0 о
Е
о
0 и
Й &
£ &
и
<в «
1
<в
! -о
Введем следующее определение, которое понадобится в дальнейшем изложении. £ _
для выборки соответствующего объема не отклоняется.
В качестве примера рассмотрим дерево зависимостей, построенное для российских областей в 1994 году и представленное на рис. 2. Применение деревьев зависимостей требует, чтобы переменные были распределены по нормальному закону, в данном примере переменные преобразованы так, чтобы получить распределения, близкие к нормальному (подробности в Приложении D2 диссертации автора [Weinberg (2007)]).
Качество представления корреляционной матрицы древообразной структурой зависимостей, представленной на рис. 2, имеет значение 0,43, что является достаточно низкой цифрой. Качество зависит от двух факторов: числа связей и абсолютныхзначений коэффициентов корреляции, выбранных для построения древообразной структуры.
Обозначаем через ртеоретическое значение r.
48
№2(10) 2008
соттипЗ
1кше4
-0,36(27)
ипетр!4
-0,46(24)
£ §
и. £
>5
со
I
Рис. 2. Дерево зависимостей для российских областей в 1994 году. На ребрах указаны значения коэффициентов
корреляции, числа в круглых скобках показывают порядок присоединения ребер. Например, 0,95(1) показывает, что ребро (ехреп$4, ^аН4) с коэффициентом корреляции, равным 0,95, было выбрано первым
Определение 7 (Степень переменной). Степенью переменной, т. е. вершины, является число исходящих ребер или, что эквивалентно, число смежных вершин.
В табл. 1 приводятся значения критериев с, качества представления переменных в этом примере. Качество представления зависит от двух факторов: числа связей и абсолютных значений коэффициентов корреляции, выбранных для построения дерева. В общем, для переменных с более высокими степенями качество представления лучше: значения с, являются большими.
Таблица 1
Качество представления переменных в древообразной структуре зависимостей для российских регионов в 1994 году
Переменная Степень Качество Переменная Степень Качество
вхрвпд$4 6 0,82 т^га!4 2 0,52
¡пу4 1 0,80 тигСегБ4 1 0,48
соттипЗ 4 0,80 !етр]ап 2 0,47
дгр4 5 0,78 netw4 3 0,43
ге!аП4 2 0,76 ¡пс2тт4 2 0,41
с1ет3 1 0,74 роог4 1 0,39
аББе!Б4 1 0,69 БШСеп!4 1 0,38
игЬап4 3 0,66 ра!г3 1 0,28
¡пС4 1 0,65 адг4 2 0,28
вхрв^4 3 0,63 ИоиБе4 1 0,27
спте4 1 0,59 ипетр14 2 0,23
пайуе 1 0,58 геБеагсИ4 1 0,19
ауЮ4 1 0,58 ¡пЛгюП:4 1 0,19
Бтеп!г4 1 0,57 репрЬ 1 0,16
оИ4 3 0,54
49
и £
Н92(10) 2008
Однако, например, переменная инвестиции на душу населения (¡пу4) имеет только одну связь, а ее качество представления равно 0,80, что обусловлено высоким коэффициентом корреляции (0,9) переменной инвестиций с узловой переменной ВРП (СВР) (дгр4). В то же самое время переменная плотности транспортной сети (netw4) с тремя связями имеет относительно низкое качество представления, равное 0,43. Это связано с тем, что коэффи-щ циент корреляции (0,65) между плотностью транспортной сети и температурой января ^етр]ап), приводящий к основному большому массиву данных и, таким образом, участвую-
¡5
<ъ
а £
щий в большинстве цепей, имеет довольно низкое значение для такой ключевой переменной, высоко коррелированной с другими переменными. (Назовем ключевой перемен-| ной переменную с большим количеством связей, но строгое определение этому понятию '! не даем).
и
0 а
1
<ъ
чиная с ключевых переменных: ^ Переменная ВРП на душу населения (дгр4) связана с переменными:
щ
I
^ 1) инвестиции на душу населения (¡пу4); § 2) промышленное производство на душу населения (¡пС4);
1.3. Интерпретация результатов
Рассмотрим структуру переменных нашей древообразной структуры зависимостей, на-
3) розничная торговля на душу населения (^аН4);
Таким образом, в дополнение ктрадиционной экономической значимости ВРП видим устойчивую географическую компоненту, обусловленную северным положением и вариацией
&
§ 4) температура января ^етр]ап).
I
I
<ъ
Ц ценового уровня по всей стране. с Расходы на душу населения (ехреп$4). Эта переменная является другой важной эконо-Ц мической переменной, которая уже по построению агрегирует расходы на потребление. Эта переменная традиционно связана с отношением дохода к прожиточному минимуму (¡пс2тт4), числом малых предприятий на душу населения (БтепМ), числом автомобилей на душу населения (ауШ4) и оборотом розничной торговли на душу населения (^аН4). Как видно, в 1994 году эта переменная также имела высокую отрицательную корреляцию с прокоммунистическим голосованием на выборах 1993 года (соттипЗ). Области с более низкими уровнями благосостояния были менее благосклонны к либеральным реформам и пере-
<ъ 5
1
5
о
Е
о о и
Й
5ё менам. *
6
и <в
Во второй части статьи продолжим описание переменных, анализируя результаты, полученные при помощи графовых моделей. Увидим, что большинство связей (ребер графа) в древообразных структурах зависимостей и соответствующих графовых моделях совпада-| ют. В целом, древообразная модель зависимостей приводит к удовлетворительным резуль-| татам, но в рамках этой модели на структуру переменных налагаются слишком строгие огра-§ ничения, в частности не допускаются циклы и изолированные переменные. Кроме того, в конце построения древообразной структуры часто добавляются недостаточно информативные ребра в ущерб более информативным. На рис. 2 порядок присоединения ребер ука-
§
<в
зан в скобках, ребра с более высокими корреляциями, а значит, как правило, наиболее важ-
ные, согласно алгоритму добавляются первыми. 50
No2(10) 2008
2. Графовые модели
Графовое моделирование — это вид многомерного анализа, ^ в котором для представления моделей применяются графы... ¡^
Эдварде [Edwards (2000)] Н»
2.1. Введение в графовые модели ®
i
Согласно Лауритцену [Lauritzen (1996)] корни графовых моделей можно проследить ^ в анализе траекторий и генетике [Wright (1921)], статистической механике [Gibbs (1902)] и анализе таблиц сопряженности [Bartlett (1935)]. Сначала графовые модели разрабатывались для построения моделей в каждой области научных интересов отдельно. Реальный интерес к графовым моделям появился в середине восьмидесятых [Borgelt, Kruse (2002)]. Структура условных отношений зависимости и независимости между переменными представлялась в виде сети или графа (отсюда названия — графовые модели и сети выводов (inference networks)) и часто называлась графом условной независимости. В таком графе каждая вершина представляет переменную, а каждое ребро— прямую зависимость между двумя переменными.
Такой граф оказывается не только полезным инструментом для представления содержания модели, но также облегчает анализ в областях c высокой размерностью, поскольку его применение позволяет свести анализ к подпространствам с более низкой размерностью.
Графовые модели часто применяются для получения выводов в экспертных системах и системах, обеспечивающих принятие решения [Castillo, Gutierrez, et al. (1997)];в этом контексте они называются сетями выводов. Вероятностные графовые модели включают в себя: 1) байесовские сети, основанные на ориентированных графах условных независимостей [Jentzen (1996)], и 2) марковские сети, основанные на неориентированных графах [Lauritzen (1996)].
При обращении к проблемам выявления экспертных знаний (путем анализа внутренних связей данных) и «информационной проходке» (способ анализа информации в данных: выявление трендов и т. п.), графовые модели имеют определенные преимущества, что привело к возрастанию их популярности в последние годы. В частности, сетевое (графовое) представление обеспечивает понятное качественное описание (в виде сетевой структуры) и количественное описание (в виде соответствующих функций распределения) анализируемой области, так что с помощью полученных результатов исследования можно оценить достоверность интуиции экспертов [Borgelt, Kruse (2002)].
В статье рассмотрим традиционное приложение графовых моделей, т. е. построение модели в конкретной области исследования. В обширной области графового моделирования классическими являются три типа моделей:
1. Логарифмически линейные модели для дискретных данных, когда попарно условная независимость эквивалентна нулевым взаимодействиям между двумя факторами. Применение графов и графовых моделей совместно с известными и широко используемыми логарифмически линейными моделями началось с [Darroch, Lauritzen, et al.];изложение с прикладной ориентацией представлено в [Edwards, Kreiner (1983)];две другие важные ссылки [Whittaker (1990)] и [Lauritzen (1996)].
51
<» Регионы
u
3
No2(10) 2008
2. Графовые гауссовские модели для непрерывных данных. В этом случае попарно условная независимость соответствует нулевым частным корреляциям. После работы Демпстера [Dempster (1972)] графические гауссовские модели чаще называют моделями выбора кова-риаций. Обзор этой темы можно найти в работе [Whittaker (1990)].
3. Смешанные модели для смешанных непрерывных и дискретных данных Для смешанных щ непрерывных и дискретных данных модели ориентированных графов, а также модели неориентированных графов (последние также называются графовыми моделями взаимодейст-
S
<ъ а
вий) впервые описаны в статье [Lauritzen, Wermuth (1989)]. Объединяя логарифмически линейные модели для дискретных переменных с графовыми гауссовскими моделями для не-| прерывных переменных, Эдвардс [Edwards (1990)] обобщает класс неориентированных моделей на более широкий класс иерархических моделей.
>s §
и
0
о.
g Резюме этихтрехтипов моделей следует изложению монографии [Edwards (2000)], кроме
jg того приводится описание программы MIM для реализации этих методов.
В статье рассматривается случай непрерывных переменных, и поэтому ограничим иссле-
^ дование вторым случаем графовых гауссовских моделей. Предположим, чтоX = (Х1,...,Xp)' —
ss р-мерная случайная переменная, подчиняющаяся многомерному нормальному распреде-
^ лению со средним ц = (ц1,..., )' и с ковариационной матрицей 2 = {а?}, и что существует
§ обратная ковариационная матрица = {а'}.
5
6
§
S ü
1
<ъ
Ü равно нулю.
щ с
Особенно интересно исследовать значения элементов обратной ковариационной матрицы в случае, когда две переменные условно независимы (независимы при фиксированных остальных переменных). Графовые гауссовские модели определяются значениями элементов обратной ковариационной матрицы. Две переменные условно независимы тогда и только тогда, когда значение соответствующего элемента обратной ковариационной матрицы
Графовые методы моделирования позволяют строить графы со всеми узлами (переменными) и с такими ребрами, для которых соответствующие элементы в обратной корреляционной матрице, а следовательно, и соответствующие частные коэффициенты корреляции не равны нулю. Главная цель состоит в поиске множества частных коэффициентов корреляции и его графового представления с тем, чтобы получить выводы об анализируемом явлении.
Предлагаемый метод основан на аппроксимации истинной корреляционной матрицы корреляционной матрицей с более низким числом ребер. Алгоритм был предложен в работе [Dempster (1972)] и называется алгоритмом выбора ковариаций или алгоритмом Демпсте-
щ
5
1 5
о
Е
о
0 и
Й
1 ра, он подробно представлен в разделе 3 данной статьи. Ц 2.2. Алгоритмы выбора модели
и <в м
л
Графовые модели задаются только прямыми взаимодействиями. В нашем случае задание нулевого прямого взаимодействия между двумя элементами соответствует приравниванию I нулю соответствующего элемента в обратной корреляционной матрице.
<в
s В литературе предлагаются три алгоритма выбора модели: ч
■fr
<в
£ • EH-процедура;
методы пошагового поиска; EH-процедура;
выбор с применением информационных критериев.
52
№2(10) 2008
iE §
ч
L-£
Эти алгоритмы кратко представлены ниже.
Пошаговый (обратный или прямой) выбор
Это возрастающая процедура поиска. Начиная с некоторой начальной модели, ребра до- н| бавляются или удаляются последовательно до тех пор, пока не удовлетворяется некоторый критерий. На каждом шаге проводится тест значимости, чтобы решить вопрос о включении или исключении предлагаемых к рассмотрению ребер. При прямом выборе начинаем с пустой модели и на каждом шаге добавляем самые значимые ребра. Напротив, в обратной процедуре выбора начинаем с полной модели и на каждом шаге удаляем наименее значимые ребра.
Оба подхода часто приводят к весьма похожим результатам и имеют свои достоинства и недостатки.
Прямой выбор начинается с пустой модели и продолжается путем перебора моделей, не согласующихся с данными, тогда как обратный метод начинается с полной модели, согласующейся с данными, который продолжается затем шаг за шагом путем перебора моделей, согласующихся с данными. С другой стороны, как отмечалось Эдвардсом [Edwards (2000)], прямой выбор имеет меньше проблем, связанных с существованием оценок максимального правдоподобия и точностью асимптотических распределений.
Алгоритм Демпстера принадлежит к классу пошаговых алгоритмов выбора, и, как показано в параграфе 3.1, его сложность равна 0(p7).
БИ-процедура
В EH-процедуре (названной в честь авторов работы [Edwards, Havranek (1987)]) применяется более сложный алгоритм поиска, позволяющий глобально подходить к самому перебору моделей и с помощью которого выбирается целый ряд моделей. Алгоритм основан на принципе согласованности в том смысле, что если отклоняется какая-либо одна модель, то также отклоняются все ее подмодели. Аналогично, если модель принимается, то все модели, которые ее содержат, также принимаются [Gabriel (1969)].
На любой стадии в процедуре поиска имеем три непересекающихся множества: множество всех слабо принятых подмоделей, которые содержат принятые модели как подмодели; множество слабо отклоненных моделей, которые являются подмоделями одной или более отклоненных моделей и поэтому могут также рассматриваться как не согласующиеся сданными^ множество всех других, еще неклассифицированных моделей.
Следующий шаг состоит из тестирования либо минимальной, либо максимальной модели в множестве еще неклассифицированных моделей. Как только эта модель отклонена или принята, списки принятых и отклоненных моделей обновляются, и процесс повторяется до тех пор, пока не будут классифицированы все модели.
Детальный анализ EH-процедуры показывает, что можно рассматривать ее как две пошаговые процедуры (прямую и обратную), которые сходятся друг к другу. Таким образом, EH-про-цедура имеет, по крайней мере, такую же сложность, что и стандартная пошаговая процедура.
В EH-процедуре применяются тесты на полное качество приближения данных моделью, а не тестирование между последовательными моделями. Модели, выбранные в соответствии с EH-процедурой, как правило, будут более простыми, чем выбранные пошаговыми методами. Тем не менее известно, что полные тесты качества приближения данных моделью
-V
ф Регионы
53
и
No2(10) 2008
часто являются менее надежными, чем тест, основанный на разностях отклонении между последовательными моделями.
Выбор с применением информационных критериев
Акаике [Ака1ке (1974)] предложил информационный критерии, полученный по принципу щ максимизации информации. Согласно этому критерию выбирается модель с наименьшим значением -2!од(^) + 2р, где Ь — максимизированная функция правдоподобия модели,
г?
<ъ а
a р — размерность (число свободных параметров) модели.
Байесовский информационный критерий Шварца [Schwarz (1978)] асимптотически соот-| ветствует выбору модели с наибольшей апостериорной вероятностью. С помощью этого критерия проводится поиск модели с наименьшим значением -2log(L) + l4n, где n — число наблюдений. В работе [Schwarz (1978)] также представлены и некоторые другие информаци-
>5 §
и
0 а
8 онные критерии.
■с Выбор, основанный на оптимизации одного из информационных критериев, концептуально прост, но в вычислительном отношении может быть невыполним для моделей с боль-
^ шим количеством переменных. щ
| 2.3. Модели с «новым алгоритмом выбора»
§ Большое количество переменных (около 20-40 переменных) — это обычное число пере-&
§
1
I
<ъ
менных в экономических исследованиях. В качестве начальной точки алгоритма выбора ко-вариациИ Демпстера предлагаются классические алгоритмы выбора, использующие древообразные структуры зависимостеи (или более точно, первые ребра древообразных структур зависимостей). Такое решение подробно представлено во второИ части статьи.
Оставшаяся часть статьи посвящена подробному изложению алгоритма Демпстера. 3. Алгоритм выбора ковариаций Демпстера
&
с |
| 3.1. Описание алгоритма
1
5
о
Е
о
0 и
й
1
6
* &
и
Как упомянуто выше, Демпстер [Dempster (1972)] предложил алгоритм выбора ковариаций, являющийся итерационным прямым алгоритмом выбора для матричной аппроксимации.
Три основных шага алгоритма представлены ниже, и они рассматриваются более детально в последующих разделах. Будем рассматривать только верхний треугольник ковариационной матрицы и элементы матрицы, связанные со взвешенными ребрами графа.
Шаг инициализации. Все переменные рассматриваются как некоррелированные. Ковариационная матрица является диагональной. Для данного распределения вычисляется логарифмическая функция правдоподобия. § Шаг I. Среди всех элементов исходной ковариационной матрицы выбирается тот еще не ¡j добавленный элемент, для которого повторно оцененная ковариационная матрица приво-« дит к максимальному значению логарифма правдоподобия.
I Шаг II. Если этот новый элемент вносит достаточный вклад5, то он добавляется и произво-
дится возврат к шагу I. В противном случае процесс останавливается.
ч
<в _
£
5 Тестируется на значимость разность между новым и старым значением логарифмической функции правдо-
подобия.
54
№2(10) 2008
Определения -g
Плотность многомерного вектора наблюдений х = (х,,х2,...,хр)' с нулевым математиче- ч ским ожиданием, принадлежащего экспоненциальному семейству распределений, можно выразить в следующем виде:
р/ с нулевым ма1ематче- j?
L-£
vo
I >S
f(x,Ф) = ехр(ф0 +1o(x) +9,f,(x) + ••• +Фrtr (x)), (8) oo
где f f(x, Ф)dx = 1. 1
J 4
Величины ф1,...,ф, называют естественными параметрами семейства распределений6.
В частности, рассматривается плотность семейства многомерных нормальных распределений
p i
f( *я' (deli] ^ (" 2 Л-у) (9)
где i = (a ), а 2-1 = {aj} — ее обратная матрица.
Особый интерес представляет обратная ковариационная матрица, поскольку, как упоминалось ранее, две переменные — частично независимые (независимые при фиксированных всех остальных переменных), если и только если соответствующий элемент aj обратной ковариационной матрицы равен нулю.
Выражение (9) можно переписать в виде (8), где:
r = p( p +1)/2,
9i = a ", ф 2 = a 12,...,фр = a1p, фр+1 =a 22,фр+2 =a 23,...,ф2Р _i = a 2р,...,ф r = app, (10)
1 2 . , , . , , J
2'
p1
10 (x) = 0, и ф0 = ~log2m — log(det i), (12)
где p — число переменных.
Отметим, что aj являются естественными параметрами модели (8), и это представление наводит на мысль, что свертку параметров можно разумно провести, задавая равными нулю некоторые из элементов aj.
Это — фундаментальная идея подхода Демпстера, и вообще графовые гауссовские модели определяются путемзадания равными нулюопределенныхэлементовобратной ковариационной матрицы, а следовательно, и соответствующих частных коэффициентов корреляции.
Кроме естественных параметров ф1,ф2,...,фr, удобно рассматривать моментные параметры 0 = (01,92,...,9r)', определяющиеся соотношением:
0, = E[t, (х)] = ft, (х )f( x, Ф)^ Для нормального распределения имеем
0 I 1 1 1 '
0 = I - 2a 11 "a 12, ..., -a 1p, -2a 22, -a 23 , ..., -a 2p, ..., -2a pp
11( x) =-r X12, 12 ( x) = -X1X 2,..., t r (x) = — х2, (11)
Эти параметры полностью характеризуют распределение вплоть до линейного преобразования.
55
-\
ф Регионы
■а
Н92(10) 2008
Таким образом, 0 — функция элементов ковариационной матрицы 2, причем дисперсии
1
умножаются на множитель -— и ковариации — на множитель -1. Определяем г х г ковариационную матрицу Г с элементами у ,,
£ где у, = С0^(Ш!(х)) = Г(г,(х)-е,){т1 (х)-е,Жх,Ф^х. (13)
8
о Матрица Г по построению является положительно определенной матрицей. Ковариа-
<Е цию у ! для t¡ (х )и tj (х) можно получить, применяя стандартную формулу а
* С0У( хкх,, хгпхп) = С1Скт а1п + С2 акп а1т, (14)
" в которой коэффициенты с1, с2 е <--1,Ц соответствуют различным комбинациям сти и атп.
Демпстер показал, что матрица Г дает частные производные параметров е по параметрам ф
8' у=де (/ дф!, (15)
I и вследствие симметрии матрицы Г имеем
I де,/ дф = деу / дф,. (16)
& Эти два свойства матрицы Г служат основанием для итерационной процедуры, описывае-^ мой ниже.
| Итерационная процедура
5
5 Рассматриваем только верхнюю треугольную часть ковариационной матрицы. На каж-
Ц дом шаге разбиваем множество Р всех пар (/,!) на два подмножества Л и В, здесь 1 < / < ! < р.
с Подмножество Л составлено из всех пар (/,!), где / = ! (диагональные элементы) плюс все
^ пары(/,!), соответствующие элементам, включенным в модель, а В — подмножество всех ос-
| тавшихся пар (/,!).
! I
0
1 Г =
Такое разделение естественно приводит к разбиению Ф = (Фл,Фв)' и 0 = (0л, 0в)'. Соответственно, матрица Г разбивается следующим образом:
глл гдв гвл гвв
и Й
¡| Вспомним уравнения (10) и тот факт, что Ф соответствует обратной ковариационной мат-
Р рице 2-1. Подбираем 0 л установкой Фв = 0. Таким образом, удовлетворяем определению 8 л л 1
¡а. оценок2 и 2 , представленному в следующем разделе.
^ В итерационной процедуре, которая строит разбиения Ф(1) = (ФЛ', ФВ)), сохраняем
| ФВ) = ФВ = 0так, чтобы с изменением / изменялась только ФЛ) таким образом, чтобы для
■с 0(') = (0Л', 0 В')величины 0Л) сходились к желаемой 0Л.
I
Следующий алгоритм можно рассматривать как приложение метода Ньютона для решения неявных уравнений. Если Фв — фиксирована, то 0л можно рассматривать как функцию 0 л) =0 л (Ф л)) на шаге /.Используя свойство (15), разлагаем 0 л в ряд Тейлора в окрестности
£ Ф л
0 л =0л > +Глл (Ф л -Фл >:
56
№2(10) 2008
Исключив члены более высокого порядка и заменив ФА на ФА+1), имеем: ¡£
§
© а —©а > +Га)(Фа+1> -Фа >)+■••. *
&
Решая линейную систему ^
г<а>(ФГ>-Ф(;>> — ©а -©а>, (17)
'-5-' Ц
получим ^
фа+1) — фа > + 5. (18)
Правило решения, определяющее выбор следующего недиагонального элемента для включения в А, состоит в том, чтобы выполнить итерацию соответствующей процедуры для всех кандидатов и выбрать кандидата, который вносит наибольший вклад в логарифмическую функцию правдоподобия.
Свойства оценки
Пусть 5 — выборочная ковариационная матрица
1 п
5 — — У(х, -х)(х, -х)'. (19)
п -
Далее продолжаем изложение уже для наблюдаемой матрицы 5 (вместо матрицы 2). Для данного разбиения (А,В) матрицы2 и2-1 вычисляются, чтобы удовлетворить определению 8, даваемому ниже.
Определение 8 (£ и £_1).
2 определяется так, чтобы быть положительно определенной симметрической матрицей, такой, что
ст¡- — 5 ¡¡, если (,, ]) е А
и
сс ¡ — 0, если (,', ]) е В. Оценки 2 и 2-1 обладают следующими свойствами.
Существование и единственность. Если имеется какая-либо положительно определенная симметрическая матрица, которая согласуется с матрицей 5 в позициях (,',¡) множества пар А, тогда существует одна и только одна матрица 2 сдополнительным свойством, что элементы 2-1 равны нулю в позициях В.
Оценивание методом максимального правдоподобия (МП). Среди всех нормальных моделей с элементами 2-1, равными нулю в позициях В, оценка 2 является МП-оценкой 2.
Правило остановки
Обозначим через ц вектор средних значений распределения. Далее рассмотрим условные логарифмические функции правдоподобия I(2;2|ц) относительно данного ц, которые можно вычислить с помощью любого из двух вариантов, основываясь на:
-V
ф Регионы
57
u £ 8 8 S
<u a
Ия2(10) 2008
вариант 1. Только на оцененной ковариационной матрице
/(£| ц) = - Р 1од(2л) - ^log(detjC) - ^ст " = " Р |о9(2л)" ^од^еЙВ)" р (20)
где р — число параметров;
вариант 2. На начальной и оцененной ковариационных матрицах
l(£; £|ц) = - - log(2m) --log(detZ) - -Yd '>, (21)
IS 2 2 2 ij
I
где c-¡j —элементы матрицы £
о Первый вариант предложен в самой статье Демпстера, а второй рекомендован Л. Д. Ме-8 шалкиным7. Основываясь на результатах проведенного сравнительного анализа, использо-
вался первый вариант вычисления логарифмической функции правдоподобия.
Определение 9. Назовем 5 к+1 вкладом оцененной ковариационной матрицы £ в аппроксимацию ковариационной матрицы £ при добавлении параметра к +1:
Согласно методу Бонферрони [Miller (1981)], предлагается скорректировать уровень значимости а на число параметров, которые еще не содержатся в модели. Предполагаем, что переменная k +1 добавляется, если вклад 5k+1 значим на уровне а/(p(p -1)/2-k).
£ 5 к+1= 2 п|/(£ к+0 -1(£ Л, (22)
0 ч
Ц гдеп — число наблюдений. с
§ Точных тестов значимости не имеется, но существует несколько приближенных тестов. ¡5 В частности, вклад 5к+1 можно рассматривать как%2 переменную с 1-ой степенью свободы.
1
<ъ
I &
с В следующем разделе представлен псевдокод алгоритма.
Л
| 3.2. Псевдокод
'! Определения
| р — число переменных;
о
Е
о о
¡5 5 = $ц — выборочная корреляционная матрица;
* £ = ау —оценка корреляционной матрицы;
^ £-1 = ст'' —оценка обратной корреляционной матрицы;
n — число наблюдений;
V = (X,U) — построенный граф;
& A = (i, j) —выбранные ребра (i, j)|1 < i < j < p и cc, = sf B = (/, j) — (/, j)|1 < i < j < p и cc/j = 0;
Au B = (/, j)|1 < i < j < p, An B = LU;
u
<s «
if -
■c l —логарифмическая функция правдоподобия £;
I
д= I-1-1 — вклад в логарифмическую функцию правдоподобия; з Ф л, © л и 0 в —векторы длины # А и# В; 1в ГАА —матрица размера #А х #А. £ _
7 Частное сообщение.
58
№2(10) 2008
Алгоритм 1. Выбор ковариаций. jg
5
А° = (/, j )|/ = 1,2.....p 3
1 2
3
4
5
6
7
8
9
10 11 12
13
14
15
16
17
18 19
X = 1,2,..., p, U = 0 &
2 = I 4E
Вычислить l° и инициализировать g1 = да оа
while g1 значимо do |
Bо = (/, j)|i < j и (/, j) £ Ао,go = о 4
for (i, j) £ B 0 do
A = Ao u (/, j), B = B о \(/, j)
Вычислить 2
Вычислить 1
gi = U — i°
if g1 > g0 then
Выбрать (/, j) end if
i° = h, g0 = g1
end for
U = U u (/, j), 2 о = 2 1
Ао = A, B о = B end while
Следующий алгоритм детализирует оператор 9 алгоритма выбора ковариаций. Алгоритм 2. Построение £ 1. Вычислить £ о1
2. Ф b = [0.....0]
3. 0 a =9( /, j v
где 6( и) =
1
—, если / = /, 2
—sj, если / ^ j.
ВычислитьГАА иГАА1 Инициализировать Д = да, 2, = 0,0001 while Д > 2, do
ф а =Ф о,/) =в 0
0 а -0°/,/v
где е
9. Решить ГааВ = (0 a — 0 А:
10. Ф А =Ф А + s
11. Вычислить2—1 и 21
12. 2о =21,2- =2-
13. Д =||ФА||2 —1|ФА||2
14. end while
j)
1
——О/, если / = /, —сО/, если / ^ j.
-V
^ Регионы
59
No2(10) 2008
Массив ГАА = у(ij)(kj) в операторе 4 алгоритма 2 строится в виде:
—(сОксс/ +ссйО/k), если i Ф j, k Ф l,
u £
8 §
5
<ъ о.
I
u
>s §
u
0
.
1
<ъ §
<Ъ
I §
6 §
s
n I
<u
I &
с
! 5
!
5
о
E
о
0
u
6
£ &
u <S M
1 <S
!
<S £
у (i, j),(k, l) =
— c^ik Ojl,
— °°ik Co^k,
U 2 —^ cyi*,
если i = j, k Ф l, если i Ф j, k = l, если i = j, k = l.
Матрица 2— строится из ФА и Фв.
И наконец, представляем вычисление числа операций (сложность) алгоритма 1.Три оператора вносят наибольший вклад в сложность этого алгоритма:
• Оператор 5 while выполняется самое большее p(p —1)/2 раз.
• Оператор 7 for выполняется самое большее p(p —1)/2 раз.
• Оператор 9, решение линейной системы уравнений имеет сложность 0(p3).
Произведение операций, включенных в эти операторы, дает полную сложность алгоритма, равную 0( p7).
Перейдем к примеру.
3.3. Численный пример
Рассмотрим корреляционную матрицу S из примера Демпстера с числом переменных p = 6 и числом наблюдений n = 72, определенную равенством (2).
Инициализация: начинаем с подмножества B°, составленного из всех недиагональных элементов, и подмножества А°, составленного из всех диагональных элементов: А° = {(1,1), (2, 2), (3,3), (4,4), (5, 5), (6, 6)}.
2 =2—1 =
1
0
0^
Итерация 1: просматриваем элементы для добавления, начиная с элемента (1,2): 512 = 0,3966.
Устанавливаем Л = Л0 и {(1,2)} и В = В0\{(1,2)}. Тогда
0(°) = ^ А
0 А =
Фа0> =
о,
—, —0,3966,
и ФB0) является нулевым вектором-столбцом длины 14.
Используя формулы (11), (13) и (14), вычисляем уц. Например,
60
и поэтому
г(0) _
1 АА
Фа
Фа»
(п 0
712 _ У(1,1),(1,2) С 11<С 22 ,
(0,5 0 0 0 0 0 0 Л
0 1 0 0
0 0 0,5 0 0
0 0 0,5 0
0 0 0,5 0 0
0 0 0,5 0
0 V 0 0 0 0 0 0,5 у
вычисляем ФА'
г (0> 1 АА -1 • (© а -©а0>
(2 0 0 0 0 0 0> ( 0 ^
0 1 0 ••• 0 0 -0,3966
0 0 2 0 0 0
0 0 2 0 0 0
0 •0 2 0 0 0
0 0 2 0 0
0 0 0 0 0 0 2 0
№2(10) 2008
£ §
ч
и. £
>5
£ СО
1 ч
Далее объединяем ФА и Фв , чтобы получить 2-1 и, таким образом, 2. Далее 2 может быть разбито на © а1' и © в1'. Вектор Ф а2) вычисляется по тем же формулам (17) и (18) и так далее.
На этом шаге максимальный вклад в аппроксимацию ковариационной матрицы 80 _ I, -10 _ 17,72 достигается для элемента (4,5). Мы устанавливаем А _ А0 и В _ В0.
Итерационная процедура сходится к
(10 0 1 0
2-1 _
1
0^
0
0
1,2791 0,5975 0 1,2791 0 1
2 _
(10 0 0 1 0 0 1 0
0^
0
0
1 -0,4671 0 1 0 1
ф Регионы
\
61
и
№2(10) 2008
Итерация2: Снова пересматриваем элементы, чтобы провести добавление, начиная, как и прежде, с элемента (1,2): 512 _ 0,3966. Имеем
и £ 8 8 г?
<ъ о.
I
и >5
8 и
0
.
1
<ъ §
<Ъ
I &
§ I
I
<ъ
8 &
с
! 5
1
5
о
Е
о
0 и
Й
6
* &
и <в м
1
<в !
<в £
©(0> _ А
©А _
©(0> _ А
0, --, 2
1 1 —, -0,3966, —, 22
—, -0,4671, 2
—, -0,4671, 2
1,
0, 1, 1,2791, 0,5975, 1,2791,
и ФВ0) является нулевым вектором-столбцом длины 13.
Продолжаем действовать так же, как и на предыдущем шаге. Максимальный вклад 8, _ 17,72 достигается для элемента (1,5). Добавляем этот элемент к А, таким образом А = {(1,1), (1,5), (2,2), (3,3), (4,4), (4,5), (5,5), (6,6)}. Результат итеративной процедуры есть
(10 0 0,2163 -0,4632 0^
2 _
1 0 1
0 0 0 0 -0,4632 0 1 0 1
Итерация 3:82 _ 17,39.
Итерация 6: А = {(1,1), (1,2), (1,3), (1,5), (2,2), (3,3), (3,6), (4,4), (4,5), (5,5), (5,6), (6,6)}, и В = {(1,4), (1, 6), (2,3), (2,4), (2,5), (2, 6), (3,4), (3,5), (4,6)}. Получаем
2-1 _
(1,6672 -0,4706 -0,4929 1,1866 0 1,2624
0 0 0
1,2790
-0,6451 0 0
0,5974 1,7564
0^ 0
0,3395 0
0,4884 1,2592
2 _
1,0000
0,3688 0,2163 -0,4632 0,0802^
0,1463 0,0858 -0,1837 0,0318
1,0000 0,0385 -0,0825 -0,2376
1,0000 0,4671 0,1708
1,0000 -0,3656
1,0000у
и
62
№2(10) 2008
Вклад 56 равен 7,10. Этого недостаточно для добавления последнего предложенного $ элемента (3,6): 536= 0,3395. |
и. &
Обращаем внимание, что граф для этого примера совпадает с графом на рис. 1.Таким об-
разом, этот граф представляет собой древообразную структуру зависимостей. ^
>5
(П
4. Заключение „
В первой части статьи было предложено два метода анализа структуры переменных при помощи моделей на графах: древообразные структуры зависимостей и графовые модели — и уделено особое внимание алгоритму выбора ковариаций Демпстера.Также были приведены примеры использования моделей на графах для изучения структуры переменных и введены критерии качества представления исходной корреляционной матрицы.
Во второй части статьи для большого числа переменных предлагается модификация алгоритма Демпстера, значительно ускоряющая вычислительный процесс. Кроме того, представлена комплексная методика анализа структуры переменных, основанная на графовых моделях, и ее применение к сравнительному анализу российских регионов для различных временных периодов.
Список литературы
Айвазян С. А., Енюков И. С., МешалкинЛ.Д. Исследование зависимостей. М.: Финансы и Статистика, 1985.
Заруцкий В. И. Классификация нормальных векторов простой структуры в пространстве большой размерности // Прикладной многомерный анализ. М.: Наука, 1978.
Заруцкий В. И. О выделении некоторых графов связей для нормальных векторов в пространстве большой размерности // Алгоритмическое и программное обеспечение прикладного статистического анализа. Серия: Ученые записки по статистике. М.: Академия наук, 1980.
Иберла К.Факторный анализ. М.: Статистика, 1980.
ПрохорскасР. П., ЖюжнисВ. Е, Мисюнене Н. Б. Применение некоторых классификаторов для прогнозирования отдаленных эффектов инфаркта миокарда // Проблемы ишемической болезни сердца. Вильнюс: Мокслас, 1976. С. 261-267.
Ширяев А. Н. Вероятность-2. М.: Изд-во МЦНМО, 2004.
Akaike H. A new look at the statistical model identification //IEEE Transactions in Automatic Control. 1974. №19.
BartlettM. Contingency Table Interactions// Journal ofthe Royal Statistical Society. Supplement 2.248-252. 1935.
Borgelt C., Kruse R. Graphical Models. Methods for Data Analysis and Mining. New York: John Wiley and Sons, 2002.
Castillo E, Gutierrez J., Hadi A. Expert Systems and Probabilistic Network Models. New York: SpringerVerlag, 1997.
Chow C. K., Liu C. N. An approach to structure adaptation in pattern recognition // IEEE Transactions on Systems Science and Cybernetics SSC. 1966. SSC-2(2). December.
ChowC. K, LiuC. N. Approximating discrete probability distributions with dependence trees// IEEETrans-actions on Information Theory. 1968. IT-14(1). May.
ChowC. K.Tree Dependence in Normal Distribution and Its Application in Pattern Recognition // The 1970 International Symposium on Information Theory. The Netherlands. 1970.
63
No2(10) 2008
Cormen T. H, Leiberson C. E, RivestR. L. Introduction to Algorithms. MIT Press, 1990. Darroch J, Lauritzen S, Speed T. Markov fields and loglinear interaction models for contingency tables // Annals of Statistics. 1990. № 8. j Edwards D. Hierarchical Interaction Models (with discussion)// Journal of the Royal Statistical Society. Seri-§ es B. 1990. №52(1).
^ Dempster A. Covariance selection // Biometrics. 1972. № 28. March.
! Edwards D. Introduction to Graphical Modelling. Second Ed. New York: Springer-Verlag. 2000.
5 Edwards D, HavanekT. A fast model selection procedure for large families of models// Journal of American Statistical Association. 1987. № 82.
se Edwards D, KreinerS. The analysis of contingency tables by graphical models // Biometrika. 1983. № 70.
'S §
u
0
a.
g Gibbs W. Elementary Principles of Statistical Mechanics. New Haven, Connecticut, USA: Yale University
1 Press, 1902.
Jentzen F. An Introduction to Bayesian Networks. London: UCL Press, 1996.
<u
I §
^ tive and some quantitative // Annals of Statistics. 1989. № 17. §
s Ü I
<u
Ü
6
e
¡3 Wright S. Correlation and Causation// Journal of Agricultural Research. 1921. №20(7).
I
5
! s
o
E
o
0
u £
6
£ &
u
<s «
1
<S !
<S £
Gabriel K. Simultaneous test procedures: Some theory of multiple comparisons// Annals of Mathematical Statistics. 1969. №40.
KruskalJ. B. On the shortest spanning tree of a graph and the traveling salesman problem// Proceedings of the American Mathematical Society. 1956. № 2.
Lauritzen S. Graphical Models. Oxford, UK: Oxford University press, 1996.
Lauritzen S., Wermuth N. Graphical models for associations between variables, some of which are qualita? and some quantitative // Annals of Statistics. 1989. № 17. Miller R. G.J. Simultaneous statistical inference. Second Ed. Berlin, New York: Springer-Verlag, 1981. SchwarzG. Estimating the dimension of a model // Annals of Statistics. 1978. №6. Weinberg A. Quantitative analysis of the situation and development of Russian regions during the transition period. These de Doctorat. Geneva: University of Geneva, 2007.
WhittakerJ. Graphical Models in Applied Multivariate Statistics. Baffins Lane, Chichester: John Wiley & Sons Ltd, 1990.
64
^-
Регионы <»
