Построение многомерных дискретных распределении с заданной корреляционной структурой Текст научной статьи по специальности «Математика»

A. V. Mayer, V. A. Simakhin

NONPARAMETRIC SENSORS FOR STOHASTIC STATIONARY PROCESS

In the article we consider an algorithm of nonparametric generator's building for stohastic stationary process. Dependency interval of stochastic process is determined with the help of nonparametric algorithms ofprognosis.

Keywords: generator, nonparametric, prognosis, process, modeling.

© Маер А. В., Симахин В. А., 2010

УДК 519.224:330.46

А. А. Новоселов

ПОСТРОЕНИЕ МНОГОМЕРНЫХ ДИСКРЕТНЫХ РАСПРЕДЕЛЕНИЙ С ЗАДАННОЙ КОРРЕЛЯЦИОННОЙ СТРУКТУРОЙ

Рассмотрены методы воспроизведения многомерного дискретного распределения с заданной корреляционной структурой и маргинальными распределениями. Для воспроизведения используются смеси базовых распределений и решение некоторых оптимизационных задач.

Ключевые слова: дискретное распределение, корреляция, копула, смесь.

Пусть заданы нормальные распределения со средними значениями ць ..., и стандартными отклонениями сь ..., сй. Для произвольной корреляционной матрицы R существует единственное многомерное нормальное распределение, обладающее такими маргинальными распределениями и корреляционной матрицей. Хорошо известный алгоритм воспроизведения соответствующего случайного вектора X = (Хь..., Х^) основан на факторизации ковариационной матрицы.

Обозначим

(г

Л =

0

0 0

диагональную матрицу со стандартными отклонениями на диагонали, тогда С = ЛКЛ является ковариационной матрицей распределения вектора X. Будучи неотрицательно определенной и симметричной, ковариационная матрица С может быть представлена в виде

С = ЛЛ (1)

с некоторой матрицей Л, причем последняя определяется не одним образом. Примерами такого представления являются разложение Холецкого и ортогональное разложение.

При наличии разложения (1) вектор X воспроизводится из стандартного нормального случайного вектора I по формуле

X = Л’1. (2)

Действительно, для I справедливо Е11’ = I, где I -единичная матрица соответствующего размера, поэтому EXX' = Е(Л'ИЛ) = Л'(ЕИГ)Л = ЛЛ = С, так

что X обладает требуемой ковариационной структурой.

В случае, когда компоненты X имеют фиксированные дискретные распределения, аналогичный метод оказывается неприменимым. Во-первых, заданным маргинальным распределениям и ковариационной матрице соответствуют, вообще говоря, многие многомерные дискретные распределения. Может оказаться и так, что подходящее многомерное распределение не существует.

Во-вторых, алгоритм вращения (2) не сохраняет дискретную решетку значений, на которой задано распределение.

В работах [1; 2] анонсированы методы воспроизведения двумерного дискретного распределения с заданными маргинальными распределениями и корреляцией, основанные на смесях некоторых базовых распределений и минимизации уклонения от независимого распределения. В настоящей работе предлагается обоснование этих методов.

Описание двумерного дискретного распределения. Пусть размерность й = 2. Обозначим К = {1,...,т} х {1,...,п}. Дискретное распределение вектора X = (XI, X?)' задается на прямоугольной сетке значений {х1Ь..., х1т}х{х21,..., х2п} в виде PX1 = хь-; X? = Х2,) = г у, (/', у) е К. Обозначим совместное распределение компонент вектора X:

Г = {Гу, 0',у) е К}. (3)

Здесь Р(^ = хи) = р, i = 1,...,т и Р^2 = Х2у) = qj,

] = 1,...,п, так что векторы

р = (р1,.,рт), q = ^1,..^п) (4)

описывают маргинальные распределения компонент.

0

а

2

Средние значения

т п

а1 = ЕХ1 = XХіРі , а2 = ^2 = XХ2jclj 5

і=1 у=1

т п

аі2 = Е (Х1Х 2) = XX ХііХ2 л ,

і =1 у=1

стандартные отклонения

Сті = ^/Е(Хі - ЕХі)2 , ст2 = ^Е(X2 - ЕХ2 )2 и коэффициент корреляции

Е(ХХ2) - ЕХіЕХ2

(5)

вычисляются как обычно.

Если маргинальные распределения (4) известны, то выполняются следующие соотношения:

X г=Чу ,у=і,-=п; і=і

п

X г=Рі ,і=і,-=т ■

у=і

(6)

(7)

Отметим, что среди т + п уравнений (6), (7) имеется лишь т + п - 1 независимых, поскольку сумма компонент любого распределения равна 1.

Если же дополнительно известен коэффициент корреляции с компонент X, то справедливо и уравнение

XX ХХ:К: = ССТ , СТ л + 2,2-

і і 2 у іу і 2 і 2

(8)

і=і у=і

Обозначим F(p, q) класс всех двумерных распределений (3) с маргинальными распределениями (4) (его еще называют классом Фреше), а Fc(p, q) его подкласс распределений с корреляцией с. Известно [3], что среди всех распределений в F(p, q) наименьшей корреляцией Стт = с^п(р, q) обладает антикомонотон-ное распределение Я (р, q), а наибольшей корреляцией Стах = Стах(р, q) обладает комонотонное распределение Я+(р, q), причем Ст1п > -1 и Стах < 1. Класс Фреше представим в виде

F(р, q) = и Fc (р, q) . (9)

се[стт ,Стах ]

Обозначим еще Я°(р, q) независимое распределение из класса Фреше F(p, q).

Пример. Пусть на сетке значений

{0, 1, 2} х {0, 1} (10)

заданы маргинальные распределения

р = (1/3, 1/2, 1/6), д = (2/5, 3/5). (11)

Основные характеристики маргинальных распре-

делений равны:

5 3 Л/Т7 лУ6

1 6 2 5 1 6 2 5

Двухпараметрическое представление класса Фре-ше имеет вид

и V 2/5 - и - V

Я = 1 І ■ (і2)

1/3- и і/2- V и + V-7/30^1

Область допустимых значений параметров задается неравенствами

0 < и < і/3,0 < V < і /2,7/30 < и + V < 2/5 (і3)

и представлена на рисунке. Окружностями на нем отмечены антикомонотонное Я (р, д)

Я~(Р,Ч) = независимое Я0(р, д)

Я0( Р, д)

0 7/30 і/6

і/3 4/і5 0

2/і5 і/5 і/і5

і/5 3/і0 і/і0

комонотонное Я+(р, д) распределение

'1/3 і/15 0

0 13/30 1/6

(14)

(15)

(16)

Допустимая область в плоскости параметров (и, и):

-------некоррелированные компоненты; О (слева направо) -

антикомонотонное, независимое и комонотонное распределения; ------------------решения задачи 1

Класс Fc(p, q) описывается в параметрическом представлении следующим уравнением:

7 л/і02

V =-------+ с-----------2и

15 30

(і7)

Некоррелированные распределения лежат на отрезке прямой, описываемом выражением

7 17 и + V — —,— < и < — .

15 15 30

Коэффициент корреляции в данном примере заключен в интервале

с є

л/і02’л/і02

(18)

Критерий близости к независимому распределению. Теперь сформулируем две задачи выбора из всего множества совместных распределений, удовлетворяющих условиям (6)-(8), единственного распределения, наименее уклоняющегося от независимого распределения в смысле критерия

с

СТ1СТ2

7

8

(19)

,_1 j_1

Задача 1. В первой задаче целевая функция (19) минимизируется при ограничениях (6)-(8).

Функция Лагранжа этой задачи имеет вид

1 т п 2 п / т

ДГ Х Ц 'О — 2 ££(Г - ) + £Х] |£ Гу - V] | +

2 1—1 ]—1 ]—1 V¿—1

(

+£ц, £Г]-р, +у ЕЕХ1Х2]г]-сст1ст2-аа

—1 V]—1 у V¿—1 ]—1 у

Дифференцируя функцию Лагранжа по всем пере менным и приравнивая производные к нулю, получа ем уравнение

дL / 3/;, — (гн - ркц,) + X, + Цк + Vх1кх2! —

— 0, к — 1,...т, I — 1,...п,

а также выражения (6)-(8). Отметим, что ввиду соот-

m n

-тК j - £ ц, - vx2 j £ Xi,. = 0, j _ 2,

.n ;

m n

Обозначив s _ £ X1,, ^2 _ £ X2 j, Í12 = £ Xi2, £ X.

_ _ .2 2 ^•'v2 j’ °12 ^^1i^ ■'v2j

i_1 j_1 ,_1 j_1

сле этих операции система уравнении запишется в виде

Лу = Ь , (25)

где неизвестные множители Лагранжа обозначены

У = 02,---Лп , ^•••, ^ V)', (26)

а матрица системы А и вектор правых частеИ имеют вид

A _

-mIn-

- Jn-1,m -S1 X 2

—ni

-s2 X1

b _ (0,...,0,сст1ст2) .

(20)

ношения £ р1 — £ qj — 1 в системе (6)-(8) одно из

¿—1 ]—1

уравнений, например первое, является следствием остальных, и его можно отбросить вместе с соответствующим множителем Лагранжа Х1. Для решения полученной системы уравнений выразим элементы матрицы г из уравнения (20) в виде функции множителей Лагранжа X, ц, V :

Г] — р,Ч] - (х] + Ц + 'ХХ])— 0,(i, ]) е К . (21)

Подставив полученное выражение в уравнения (6)-(8), имеем:

(22)

-£Хj -пц, - vX1i£x2j _ 0,i _ 1,...m ; (23)

j_1 j_1

m n

££ X1,X2 j (Pflj -(^ j + Ц, + VX1,X2 j )) _ CCT1CT2 + a1a2 .

,_1 j_1

преобразуем последнее уравнение к виду

п т

-^1 £Х ]Х2 ] - ¿2 £Ц,Х1, - ™12 — ССТ1СТ2 . (24)

]—1 ,—1

Обозначим 1п единичную матрицу размера п*п, а Зтп - прямоугольную матрицу размера т х п, все элементы которой равны 1. Далее обозначим Х2 — (х22,..., х2п)', Х1 — (хп,..., х1т)'. В системе уравнений (6)-(8), как уже отмечалось, первое уравнение является следствием остальных, поэтому его можно отбросить. Кроме того, в полученной системе т + п уравнений относительно т + п + 1 неизвестных одну из неизвестных можно выбрать произвольным образом. Мы будем полагать Х1 — 0 , что соответствует отбрасыванию первого столбца в матрице системы. По-

Квадратная система линейных уравнений (25) имеет единственное решение (26), добавляя в которое значение X = 0, из (21) вычисляем искомое распределение.

Задача 2. Целевая функция (19) минимизируется при ограничениях (6)-(8) и

rv > 0, (/, j) е K . (27)

Аналитическое решение этой задачи в общем виде недоступно, однако численные методы позволяют эффективно решать ее. Приведем решения для рассмотренного примера.

Максимальному значению c = cmax = 8/-\/102 соответствует решение

'1/3 1/15 0

0 13/30 1/6

которое, как нетрудно заметить, представляет собой комонотонное распределение (16).

Минимальному значению c = cmin = -7 / -\/102 соответствует решение

0 7/30 1/6"

1/3 4/15 0

представляющее собой антикомонотонное распределение (14).

Результаты работы позволяют эффективно строить дискретные вероятностные модели с заданной корреляционной структурой. Предложенная методика без труда обобщается на многомерный случай d > 2.

Библиографические ссылки

1. Новоселов А. А. Воспроизведение дискретных распределений с заданной ковариационной структурой // Материалы II Межрегион. конф. / КГТЭИ. Красноярск, 2009. С. 229-234.

2. Новоселов А. А. Дискретные распределения с заданной корреляцией, наименее отклоняющиеся от независимого // Тр. XIII Междунар. конф. по эвенто-логической математике и смежным вопросам / КГТЭИ ; СФУ. Красноярск, 2009. С. 126-131.

3. Nelsen R. B. An Introduction To Copulas. Springer, 1998.

v -s1 X2 -s2 X1 -s12 у

A. A. Novosyolov

CONSTRUCTION OF MULTIDIMENSIONAL DISCRETE DISTRIBUTIONS WITH PREASSIGNED CORRELATION STRUCTURE

The paper is devoted to methods of construction of multidimensional discrete distributions with preassigned correlation structure and marginal distributions. The methods are based on mixture of the basic distributions and on decision of some optimization problems.

Keywords: discrete distribution, correlation, copula, mixture.

© HoBocenoB A. A., 2010

УДК 62-50:519.224

А. А. Новоселов

ПАРАМЕТРИЗАЦИЯ МОДЕЛЕЙ УПРАВЛЯЕМЫХ СИСТЕМ

Описывается применение метода ортогональных рядов для построения моделей управляемых систем параметрического вида в условиях непараметрической неопределенности. Ключевым элементом метода является выбор длины ортогонального ряда по данным наблюдений, т. е. определение параметрической структуры модели. Продемонстрировано применение метода к оцениванию плотности распределения и функции регрессии. Предложены пути обобщения оценок на многомерный случай.

Ключевые слова: плотность распределения, функция регрессии, ортогональный ряд, непараметрическая оценка.

В классической теории управления [1] обычно используются параметрические модели, которые строятся в условиях параметрической неопределенности. Здесь предполагается известным факт принадлежности модели к некоторому заранее определенному конечномерному классу моделей. Процедура идентификации (оценивания) модели сводится при этом к оцениванию по данным наблюдений некоторого конечного набора параметров.

Столь полную априорную информацию можно считать доступной далеко не всегда, поэтому параллельно развивается и непараметрическая теория управления [2; 3], в которой априорный класс моделей предполагается бесконечномерным; при этом говорят о непараметрической неопределенности. Малое количество априорной информации приходится компенсировать при этом большим количеством статистических наблюдений.

Основными строительными блоками для создания математических моделей систем управления по наблюдениям являются оценки плотности распределения и функции регрессии [1-3]. Непараметрическая оценка плотности распределения ядерного типа была впервые рассмотрена в [4; 5], а соответствующая непараметрическая оценка функции регрессии - в работах [6; 7].

Классические параметрические оценки этих функций гораздо проще для человеческого восприятия и лучше приспособлены для анализа, чем непараметрические оценки. Поэтому постоянно предпринимаются попытки построения оценок параметрического вида в

условиях непараметрической неопределенности. Это направление можно назвать параметризацией моделей.

Одной из ветвей этого направления является использование оценок в виде отрезков ортогональных рядов, называемых еще проекционными оценками ввиду прозрачной геометрической аналогии. Оценка такого типа для плотности распределения была предложена Н. Н. Ченцовым в [8], а оценка для функции регрессии - в [9].

Проекционные оценки были подвергнуты тщательному изучению. Так, в статьях [10-13] исследовались вопросы сходимости оценок в различных смыслах, в публикациях [14; 15] проводилось сравнение различных непараметрических оценок. В [16-19] исследовались проекционные оценки в конкретных базисах. Во всех этих исследованиях длина отрезка ортогонального ряда выбиралась произвольно. В работах [20-24] предложен некий принцип оптимального выбора длины отрезка ортогонального ряда в проекционных оценках, исследованы свойства получаемых оптимальных проекционных оценок. В настоящей работе приведен обзор результатов [20-24], и представлены соображения по поводу обобщения оптимальных проекционных оценок на многомерный случай.

Проекционное приближение. Пусть LÏ1 - гильбертово пространство функций f заданных на подмножестве и вещественной оси и интегрируемых с квадратом с весом г в смысле

| f2 (х)г(x)dx < да,

и