CC BY
69
Доклады БГУИР
2014 № 2 (80)
УДК 517.2+519.2
МАТЕМАТИЧЕСКИЕ МОДЕЛИ МНОГОМЕРНЫХ ДАННЫХ
ВС. МУХА
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 10 января 2014
Дан краткий обзор современного состояния проблемы анализа многомерных данных. Рассмотрены новые математические модели многомерных данных, разработанные в БГУИР.
Ключевые слова: многомерно-матричный анализ, ортогональные полиномы многих переменных, многоиндексные задачи линейного программирования, OLAP-системы, PARAFAC.
Проблема анализа многомерных данных
Проблема анализа многомерных данных является актуальной, поскольку большинство технических, экономических и других систем и процессов характеризуется не одной, а многими переменными (факторами). Эта проблема возникает в таких областях, как хемометрика, метеорология, охрана окружающей среды, обработка изображений, векторных случайных процессов и случайных полей, построение многомерных баз данных, построение моделей бизнес-процессов и многих других. Развитие подходов к анализу многомерных данных привело к целесообразности представления многомерных данных в виде многомерных матриц (multidimensional matrix). В последнее время наблюдается растущий интерес к данной проблеме во всем мире. В зарубежной литературе многомерные данные известны как многоканальные данные или многоканальные матрицы (multiway data, multiway matrix). Публикации, посвященные многоканальным данным, стали появляться, начиная с 2000 г., преимущественно на страницах журналов «Chemometrics and Intelligent Laboratory Systems» и «Journal of Chemometrics». Однако за рубежом до настоящего времени не разработаны сколько-нибудь эффективные теоретические подходы к анализу многомерных данных. Исследователи-прикладники наряду с формулировками задач разрабатывали и использовали собственные подходы к их решению, которые трудно систематизировать. Приходится также констатировать отсутствие осведомленности зарубежных авторов о всех достижениях в этой области, в частности, об основополагающей работе Соколова Н.П. по теории многомерных матриц.
Исследования в области анализа многомерных данных активно ведутся в БГУИР. Первые результаты в этой области, полученные в БГУИР, были опубликованы в 1987 г. в работе [1]. Совокупность полученных в БГУИР результатов в области анализа многомерных данных по состоянию на 2004 г., представляющих собой оригинальный многомерно-матричный математический аппарат для анализа многомерных данных, представлена в монографии [12]. В монографии обобщены и дополнены результаты работ [2-11].
Области применения разработанного многомерно-матричного математического аппарата постоянно расширяются. В данной статье приводится обзор новых результатов, полученных после выхода из печати работы [12]. В обзоре дается краткая характеристика актуальности решаемых задач, приводятся их постановки и результаты исследований, а с деталями рекомендуется ознакомиться по имеющимся публикациям. Используются обозначения работы [12].
Ортогональные полиномы векторной переменной
Важное место в анализе многомерных данных занимает аппроксимация многомерных данных рядами. Простейшей является аппроксимация рядом Тейлора, более совершенной -рядами по ортогональным полиномам. В работе [12] представлена многомерно-матричная теория дифференцирования и рядов Тейлора для многомерно-матричных функций многомерно-матричного аргумента, систем полиномов векторного аргумента х, ортогональных в Я" с гауссовским весом (полиномов Эрмита), на основе обобщенной формулы Родрига, а также общая теории систем полиномов векторной переменной, ортогональных с произвольным непрерывным весом, и построены ряды Фурье для скалярных функций векторной переменной и Грама-Шарлье для непрерывных векторных вероятностных распределений. Аналогичным образом может быть построена общая теория систем полиномов векторной переменной, ортогональных в некотором пространстве с дискретным весом [13].
Если О - некоторая область пространства Я", I различным ее точкам х1,х2,..., х1 е Я" приписаны в качестве весов положительные числа р, I = 1,1, и мера ц этой области определена формулой ц(О) = £ рк , то такую меру будем называть вырожденной или
сО
дискретной. В случае дискретной меры интеграл от скалярной функции / (х) по области О и
мере ц(О) определяется выражением | /(х^ц = £/(хк)р^ . Функцию /(х) будем
о хк с°
называть функцией с интегрируемым квадратом на О, если интеграл
^ / 2(х^ц= £ / 2(хк) р^ существует. Совокупность всех таких функций назовем о хк С°
пространством Ь2 (О, ц) .
Начальный многомерно-матричный момент \ -го порядка V. дискретной весовой функции рд., к = 1,1, определим выражением:
V, = |0,0хгф = ^0,0(хк)'рк , I = 0,1,2,...
О хк сО
Будем считать, что имеется I попарно различных точек области Ос Я", не лежащих на гиперповерхности т -го порядка, причем I > (т + ")!/(т!"!) .
Многомерно-матричный полином Qm (х) степени т векторной переменной х е О определим следующим образом:
т т
^(х) = £ ' (С(т,к) ' х ) = £ ' ('х C(k,m)), т = 0,1,2,...,
к=0 к=0
где С(т,к) = (с*,..., ), к = 0, т, - (т + к)-мерные матрицы коэффициентов,
симметричные относительно индексов двух своих мультииндексов (,,...,/ ), (д,...,^) и
„ С* — ¡С* \Нт+к кк Г'* — (С* \Вк+т,к
удовлетворяющие условиям С(т,к) = (С(к,т)) , С(к,т) = (С(т,к)) .
Последовательность многомерно-матричных полиномов Qm (х) назовем ортогональной в (О, ц) , если выполняются условия
£ 0 0 (Qm (хк )Qr (хк ))рк (Г ° к=1 0
г = 0,1,..., т -1,
г = т.
Основным многомерно-матричным полиномом степени т в Р (О, р) будем называть
полином вида
т-1 т-1
Рт(х)=0,0хт + £0,к(С(т,к)0,0хк) = хт + £0,кГ^), т = 0,1,2,....
к=0 к=0
Основной многомерно-матричный полином р (х) назовем ортогональным полиномом 2 (
степени т в Р(О,р), если он ортогонален к однородным полиномам 1,х,0'0х2,...,0'0хт 1
£ 0-(Рт (Хк )0,0(Хк)' )А | = 0, ' = 0'т - ^ (2)
к=1 0, г = т.
Последовательности многомерно-матричных полиномов р (х) и Я (х) будем
называть вполне биортонормальными в Р (О, р), если выполняются соотношения (1), (2) и соотношение
^пп 10, г = 0,т-1,
£ 0,0(0т (Хк ) Рг (Хк ))Рк =\в ,Г__1П
к=1 [^(т,т), ' = т,
где рт,т) - 2т -мерная матрица определенной структуры [12].
Теорема. Если последовательности многомерно-матричных полиномов р (х) и Я (х) вполне биортонормальны в Р(О, р), то коэффициенты С(тк) основной последовательности р (х) определяются как решение многомерно-матричной системы линейных алгебраических уравнений
т-1
^т+Р +£0,к(С(т,к)^к+Р) = 0, т = 0,1,... , Р = 0,т-1,
к =0
а сопряженная последовательность Я (х) может быть получена с помощью соотношения
От (х) = ' (\т,т)Рт (х)) = ' (Рт (х)A(m,m)),
где
А = т\ 0'тВ-1 А(т,т) т\ Б(т,т)
т-1 т-1 т-1 т-1
В(т,т) = V2m + £ , (С(т,г)Уг+т) + £ , (Ут+гС(г,т)) + ££ , (С(т,г) ?^^ г+дС(д,т))).
г=0 г=0 г=0 д=0
Скалярная функция v(x) векторной переменной х е К" может быть представлена суммой многомерно-матричных ортогональных полиномов Я (х):
я 1 с 1
*х)~ £ 70,г (БЯ (х)), где Вг = | у(х)Р (х)ф = £ у(хк )РГ (хк )рк .
г=0 г! О к=1
Эта аппроксимация является аналогом ряда Фурье для скалярной функции v(x) по многомерно-матричным полиномам, ортогональным с непрерывным весом [12].
Аппроксимация произвольного дискретного распределения ,/2,..., ^ в О суммой
многомерно-матричных ортогональных полиномов Я (хк) имеет вид:
я 1 __I
/к ~ Рк £ (°тОт (хк )) , к = 1,1, где Dm = / Рт (х)/(х)Л = £ Рт (хк )/к .
т=0т! о к=1
Данная аппроксимация является аналогом ряда Грама-Шарлье для непрерывной весовой функции /(х) по многомерно-матричным полиномам, ортогональным с некоторым непрерывным весом р(х) [12].
Векторные многосвязные цепи Маркова
Цепи Маркова как математические модели дискретных процессов находят широкое применение в различных предметных областях. При этом в основном рассматриваются скалярные односвязные цепи Маркова. Обобщение на векторную односвязную цепь Маркова выполнено в работе [14]. Наиболее общий случай векторной многосвязной однородной цепи Маркова рассмотрен в [15].
Пусть 5(0 = (5 (^), I = 1, q, t = 0,1,2,..., - дискретная векторная случайная последовательность, каждая компонента 5(:) которой может принимать к. значений. Эта последовательность называется г -связной цепью Маркова, если условное распределение 5(5) при известных значениях траектории во все моменты времени, предшествующие я, совпадает с условным распределением 5(5) при известных значениях 5(5 — 1), 5(5 — 2),..., 5(5 — г), где г - фиксированное натуральное число.
Многосвязная (г -связная) цепь Маркова полностью определяется (г +-мерной матрицей вероятностей перехода за один шаг
Р = Р(ВД = ё /1(5 —1) = ё^ , 1(5 — 2) = ё^ ,..., 1(5 — г) = Гц ) = (р^ V), 5 > г,
где |, 12,.., 1Г, V - q -мультииндексы, и гq-мерной матрицей безусловных вероятностей состояний
П = Р(5(г — 1) = г, , 5(г — 2) = Гг—1,..., 5(0) = ) = (щ 11,12,..., г)
на тактах 5 = 0,1,..., г — 1.
Анализ цепи Маркова состоит в определении матрицы безусловных вероятностей
А(5) = Р(51(5) = eUl, 52(5) = e2,l2,..., 5q (5) = ) = (а (5)), 1 = (11,12,..., 1Ч ), 1а= 1А , а = ^ ,
на любом такте 5 = 0,1,2,... .
Для тактов 5 = 0,...,г — 1 имеем А(5) = ( £ Щ,^,...,,.) . Для расчета А(5) при
Ч,...>5 '15+2 ,...|г
5 > г рассматривается (г +-мерная матрица вероятностей перехода за п шагов
Р(") = Р(1(5) = ёу / 5(5 — ") = ё^ , 5(5 — " — 1) = \ _,,..., 5(5 — " — г) = ёк ) = (р^,...^ (")),
5 > " + г.
Можно показать, что матрица Р(") при " > 1 удовлетворяет рекуррентному соотношению
Р(п)=(г—1)q,q (РРТ (п — 1), где Тг = (Бгт, Бч ),
а матрица безусловных вероятностей состояний г -связной векторной однородной цепи Маркова на любом такте п > г определяется выражением
А(п) = (ПР(п)).
Параллельный факторный анализ
Параллельный факторный анализ (PARAFAC) активно развивается в хемометрике. PARAFAC модель, известная в зарубежной литературе, имеет следующий вид:
Ga = (jk) = ahfbj,С,/) + Vj,kX i =1 na j =1 nb, к = 1, n, (3)
f=1
где V = (v ■ k) - матрица шума. PARAFAC задача состоит в том, чтобы по имеющейся трехмерной матрице измерений Ga получить оценки матриц A = (a ■ у ) , B = (bj у ), С = (c у ) .
Для решения сформулированной задачи используется так называемый альтернирующий метод наименьших квадратов (alternating least squares, ALS). Этот метод представлен в зарубежных литературных источниках в виде PARAFAC алгоритмов различной формы. Степень формализованности данных алгоритмов представляется не достаточно полной для их безошибочной реализации. В связи с этим в работе [16] PARAFAC рассмотрен с позиций многомерно-матричного подхода. Это позволило разработать PARAFAC алгоритм, обладающий большей степенью формализованности по сравнению с известными, а также получить некоторые новые результаты относительно PARAFAC модели.
Модель вида (3) возникает в задаче флуоресценции растворов веществ, когда растворы (образцы) содержат n / веществ и анализируются с помощью спектрофлюорометра. Тогда bj, / интерпретируется как относительная эмиссия света единицей вещества f на длине волны излучения j , c - как относительное поглощение света единицей вещества f на длине волны возбуждения к и ^f означает концентрацию вещества / в i -м растворе. Элемент g матрицы G означает интенсивность эмиссии света раствором i на длине волны j при
его возбуждении на длине волны к .
Анализ PARAFAC модели (3) и испытания PARAFAC алгоритма в [16] показал, что невозможно получить однозначные значения матриц A, B , С модели (3) ввиду неоднозначности модели в указанной выше постановке задачи. В связи с этим PARAFAC в его существующем виде не может быть использован для полной идентификации модели (3). В приведенной постановке он может быть использован лишь для качественного анализа растворов, например, для определения числа веществ в растворах.
Более реалистичной и практически важной представляется задача получения оценки матрицы концентраций A по имеющимся матрицам G , B, С . Матрицы B , С могут быть известны, так как можно создать банк спектров различных веществ. В таком виде PARAFAC задача является регрессионной с неизвестным матричным параметром A . Решение этой задачи получено в работе[17].
Представим модель (3) в многомерно-матричной форме. Для этого сформируем трехмерную матрицу Da = (bj fcK/ ) = (da /,), f = 1, П/ , j = 1, nb , к = 1, nc . Тогда модель (3) принимает вид
Ga =0Д(ADa) + V .
Оценка матрицы А этой модели определяется как решение оптимизационной задачи F=°\Ga - °\ADa)f mm и имеет вид А= °>\°a(GaDTa)0>2(DaDTay) .
Дальнейший анализ многомерно-матричной PARAFAC модели может быть выполнен стандартными для регрессионного анализа приемами: проверка значимости параметров (концентраций) и отсеивание незначимых, проверка адекватности модели и ее замена в случае неадекватности путем включение в нее новых веществ.
Многоиндексные задачи линейного программирования
В исследовании операций известны так называемые многоиндексные задачи линейного программирования. К ним относятся задача об оптимальном использовании оборудования, транспортная задача, задача назначения, а также многие другие. С помощью многомерно-матричного подхода оказывается возможным разработать алгоритмы решения подобных
задач стандартным симплекс-методом с применением широко распространенных его программных реализаций. В частности, в работе [18] разработан такой алгоритм для транспортной задачи.
Транспортная задача формулируется следующим образом. Имеется т поставщиков некоторой продукции и п потребителей этой продукции. Требуется минимизировать общие затраты на перевозки
т п
f = А] ^ тт (4)
,=1 ]=1 и 1
при ограничениях
m
и = bj, j = 1,n, (5)
t=i n
Eu,j=s, i=11m, (6)
j=1
Ui,j * 0.
где и ■ — количество груза, перевозимого из пункта отправления i в пункт назначения j , ci j — затраты на перевозку единицы груза из пункта i в пункт j , bj — спрос на груз j -го потребителя, s — количество груза, имеющееся у i -го поставщика. Обычно рассматривается сбалансированная транспортная задача, когда
S1 + s2 + ... + Sm = bi + b2 + ... + bn •
Необходимым шагом в разработке алгоритма решения транспортной задачи стандартным симплекс-методом является ее многомерно-матричная формализация. Для этого рассмотрим матрицы а = (аг .) , и = (и. .), i = 1,m, j = 1, n. Тогда задачу (4) можно сформулировать в виде f=°'2(аи) ^min.
и
Для многомерно-матричной записи ограничения (5) сформируем трехмерную матрицу c = (cki ), к = 1, n, i = 1, m, j = 1, n, элементы которой определим формулой
J1' к = j,
Ск,1,} |ö, к * j,
и вектор b = (b.), j = 1, n. В этих обозначениях ограничение (5) запишется в виде 0'2(см) = b.
Для многомерно-матричной записи ограничения (6) сформируем трехмерную матрицу
d = (dki .), к = 1, m, i = 1, m, j = 1,n, элементы которой определим формулой
г _J1, к = i, dk^ =|0, к * i,
и вектор s = (s), i = 1, m. Тогда условие (6) будет иметь вид 0,2(dи) = s .
В итоге транспортная задача (4)—(6) получит следующую стандартную векторно-матричную формулировку:
0,1
(а(0,0,2)~(2,0,0)) ^ min, (7)
"(2,0,0)
0,1
0,1
(~(1,0,2)и(2,0,0)) = b , (8) (d(1,0,2) и(2,0,0)) = S , (9)
где символом ~ обозначены матрицы, ассоциированные с соответствующими многомерными матрицами. Задача (7)-(9) может быть решена, например, с помощью функции 1трго§.ш системы технических расчетов МайаЬ.
Задача учебного расписания
По проблеме компьютерного составления расписания занятий учебного заведения имеется обширная литература, в которой разрабатываются различные методы ее решения: генетические, муравьиные, графовые, эвристические и другие. Применение того или иного метода обусловлено особенностями расписаний различных учебных заведений, различиями в требованиях к расписанию, целевым функциям, а порой просто приоритетами авторов. Достаточно распространенным является подход, рассматривающий задачу расписания как задачу линейного программирования. Но даже при использовании этого подхода постановки задач различных авторов различны. Обилие публикаций, в том числе и свежих, свидетельствует о том, что задача расписания не получила полного разрешения. В связи с этим в работе [19] предложено задачу расписания рассматривать как задачу назначения с дополнительными ограничениями, и для ее решения использовать многомерно-матричный подход. Рассмотрена задача с двумя субъектами расписания - студенческими группами и аудиториями - при условии, что число студентов в группе не должно превосходить вместимости назначенной ей аудитории. В работе [20] этот подход обобщен на задачу расписания с произвольным числом субъектов.
Конструктивно расписание можно определить как р -мерную гиперпрямоугольную
матрицу и = (ы^ ,.../), /р = 1, Ир , с элементами, принимающими значения 0 или 1. Для
хранения элемента расписания достаточно соответствующий элемент матрицы расписания положить равным единице.
Составлением расписания будем называть назначение элементов матрицы расписания ы , удовлетворяющих определенным ограничениям. Оптимизацией расписания будем называть составление расписания, доставляющего минимум некоторому критерию.
Можно предложить следующий минимально необходимый упорядоченный набор координатных осей пространства расписания: преподаватель (Иванов В.В., Бокун М.П.,...), дисциплина (АМД, ООПиП,...), вид занятия (лекция, лабораторное занятие,.), группа (420601, 620601,.), аудитория (601-5, 602-5,.), день (понедельник, вторник,.), время (пара) (8.00-9.35, 9.45-11.20,.), неделя (1-я, 2-я, 3-я, 4-я).
Предположим, что каждый элемент расписания ы^,.../ имеет определенную стоимость ,.../ , и определим задачу расписания как оптимизационную:
с ограничениями следующих типов:
1) типа «назначить», жестко закрепляющее некоторые элементы расписания;
2) типа «не назначать», исключающее некоторые элементы расписания;
3) определяющими не более одной комбинации «группа-аудитория» для преподавателя в фиксированное время «неделя-день-пара»;
4) определяющими не более одного преподавателя для группы в фиксированное время «неделя-день-пара»;
5) определяющими не более одного преподавателя для аудитории в фиксированное время «неделя-день-пара».
6) определяющими не более одной группы для аудитории в фиксированное время «неделя-день-пара».
7) определяющими не более одной аудитории для группы в фиксированное время «неделя-день-пара».
п
•1 =
•р
8) определяющими, что вместимость аудитории не меньше числа студентов в направляемой в нее группе.
Сформулированная задача расписания является многоиндексной бинарной целочисленной задачей линейного программирования. Эта задача в литературе не рассматривалась, и, как следствие, не разработан алгоритм ее решения.
Методика решения данной задачи состоит в ее приведении к виду классической векторно-матричной задачи линейного программирования. Реализация методики заключается в многомерно-матричной формализации задачи с последующим переходом к векторно-матричной формулировке в терминах ассоциированных матриц. В результате оказывается возможным получение классической векторно-матричной задачи линейного программирования, которая может быть решена стандартным симплекс-методом. Следует отметить, что если многомерно-матричная формализация целевой функции / достаточно очевидна, то формализация ограничений требует определенного искусства. Данная методика детально описана и реализована программно в работе [21].
Многомерно-матричные оптимальные статистические решения
В настоящее время для решения многих прикладных статистических задач весьма плодотворным представляется подход с позиций теории статистических решений, или, иначе, байесовский подход - благодаря его оптимизационному характеру, строгой обоснованности, использованию полной априорной информации. Наиболее известным является применение этого подхода в задаче получения точечных оценок параметров распределений, которые, вообще говоря, не являются случайными. В гораздо меньшей степени он применяется в задачах оценивания (прогнозирования) случайных состояний стохастических систем. Между тем решение именно таких задач является конечной целью многих исследований. В данной статье формулируется и решается задача принятия решения о многомерной случайной матрице по наблюдению другой многомерной случайной матрицы. В литературе данная задача не формулировалась и не решалась. В работе [21] рассматривались отдельные ее аспекты, работа [22] дает достаточно целостное и полное о ней представление.
Состояние некоторой системы считается p -мерной случайной матрицей Л = (л}i,j ,...j- )
, л е S, S - пространство состояний, и известна плотность вероятности состояния f (л). Над системой выполняется эксперимент (наблюдение), в результате чего получаем q -мерную
матрицу наблюдений 5 = (5г1,г2,.../ ), 5е X, X - пространство наблюдений. Связь 5 с л определяется условной плотностью вероятности f(5 / л), которая считается известной. Задача состоит в определении плотности вероятности (решающей функции) f (Д(5)), минимизирующей средний риск r = E(W(л, Д)), где W(p, Д) - функция потерь, Д = Д(5) е D - прогнозирующая функция или предиктор, D - пространство решений.
Аналогично скалярному случаю [23] можно показать, что оптимальное решение является нерандомизированным, и оптимальный предиктор Д = Д(5) определяется из условия
г(Д) = |ж(л, Д) f (л / 5)d5^ min. (10)
S
Уравнение Эйлера для минимизации функционала (10) имеет вид dr(A)/ dД = 0 . При квадратичной функции потерь Ж(ц, Д)=0'p (л_ Д)2 оптимальный предиктор определяется как апостериорное среднее: Д* = Б(ц/ 5).
Апостериорное среднее как оптимальный предиктор может быть сравнительно легко получено для матриц 5 ил с совместным гауссовским распределением. В этом случае оптимальный предиктор является линейным по наблюдению. Он определяется следующей теоремой.
Теорема. Пусть — — (—г1^) - д -мерная случайная матрица, л — (Л^,¡2) -р -мерная случайная матрица, — и л имеют совместное гауссовское распределение с математическими ожиданиями А- — Е(—), Ал — Е(л), дисперсионными матрицами
Б— — Е(0,°(—— А- )2), — Е (°'°(Л — Ал )2) и взаимной ковариационной матрицей
/-0,0п _ 77/0,0/„ л \2>
л
= £(0'0((2, — 4 )(л _ 4л))). Тогда условные распределения этих матриц также гауссовские
с математическими ожиданиями
4/л — А— + °,р(°,р(Л—,л °,РЕл—1)(Л — Ал)), Ал/- — Ал + 0'ф(°,ф (ЛЛ,- —^ — А-)),
и дисперсионными матрицами
Б— /л — Б— — °,р(°,р (Л—,л °,РЕл—1)р,—), Ел / — — Д, — (°,ф (^,— ^Хл),
причем ^,— — г,л, где Т — +р,?.
В случае не гауссовского совместного распределения матриц л и — нет оснований рассчитывать на получение линейного оптимального предиктора, как это было выше. В этом случае можно при постановке задачи постулировать полиномиальный характер предиктора и отыскивать коэффициенты этого предиктора из условия минимума среднего риска.
Пусть /— л (X, у) - совместная плотность вероятности переменных — , л, /— (х) , /л (у)
- маргинальные плотности вероятностей, /л/ — (у / х), /— / л (X / у) - условные плотности вероятностей. Пусть предиктор является полиномом т -й степени,
т т
л — Д(—) — I (С( рМ)—к) — £ (—кС^ р)), т — °,1,2,..., (11)
к—° к—°
где С( Рккщ) - (р + кф) -мерные матрицы коэффициентов,
С(р,кд) — (с*г( р),1( к) ) , *(р) — (?1, ?2,..., ¡р ), -¡(к) — 0'(д),°, -Аду,.", ¡(д), к ), симметричные относительно д -мультииндексов ¡(ф)°, ¡(ф)1, ..., 7(?)к и удовлетворяющие условиям
С~< _ (С~< \Hp+kqkq f~< _ if< \Bp+kq,kq
C(p,kq) = (C(kq,p)) , C(kq,p) = (C(p,kq))
Сформулируем задачу минимизации среднего риска
г = £(Ж(л,Л))^ min . (12)
C(p,0) ,C(p,q) ,...C(p,mq)
Функцию вида (11), коэффициенты которой определяются как решение оптимизационной задачи (12), назовем наилучшим полиномиальным многомерно-матричным предиктором.
Можно показать, что при квадратичной функции потерь W^, Л) = ^л — Л)2
коэффициенты C( p0), C( ),..., C( pmq) оптимального полиномиального многомерно-
матричного предиктора удовлетворяют следующей системе многомерно-матричных линейных алгебраических уравнений:
I 0,kq(c(p,kq)V5-bv, X = 0m,
k=0
77/0,0 £k , , 77/0,0/ 0,0 £A,\\
где Vk+A = E( C, ), V x = E( (л С, )) - вероятностные моменты.
В работе [22] путем решения данной системы уравнений получены коэффициенты постоянного (m = 0), линейного (m = 1) и квадратичного (m = 2) предикторов.
Полученные байесовские оптимальные теоретические предикторы путем замены теоретических моментов эмпирическими превращаются в эмпирические предикторы, полученные в работе [24] на основе критерия наименьших квадратов. Ввиду сходимости эмпирических моментов к теоретическим по вероятности мы сразу можем утверждать, что полученные таким путем эмпирические предикторы сходятся по вероятности к оптимальным в смысле минимума среднего риска теоретическим предикторам.
Конечномерные моменты стационарных случайных процессов и их оценки
Понятие семейства конечномерных распределений случайного процесса является основным в теории случайных процессов. В то же время понятие конечномерных моментов случайного процесса отсутствует в литературе. Между тем конечномерные моменты находят практическое применение. Например, конечномерные моменты первого и второго порядков используются в алгоритмах линейного статистического прогнозирования векторных случайных процессов. Традиционно эти моменты определяются не непосредственно, а с помощью функции математического ожидания и ковариационной функции случайного процесса. Возникает также потребность в использовании конечномерных моментов порядков выше второго. Так, в алгоритме квадратичного статистического прогнозирования векторной случайной последовательности [25] используются конечномерные моменты 3-го и 4-го порядков. Естественным представляется желание получить эти конечномерные моменты с помощью моментных функций 3-го и 4-го порядков. Однако на этом пути возникают непреодолимые трудности, связанные с громоздкостью и плохой формализуемостью условий симметрии моментных функций случайных процессов. Работа же с конечномерными моментами непосредственно по их определению снимает все препятствия на пути получения их оценок. Понятие конечномерных моментов многомерно-матричного случайного процесса введено в работе [26]. Там же получены их статистические оценки по отдельной реализации и по набору реализаций стационарного многомерно-матричного случайного процесса.
Многомерно-матричным (р -мерно-матричным) случайным процессом 5(®- 7) назовем
организованную в виде р -мерной матрицы совокупность действительных функций 5,(р) 7) , ,(р) = ('1-'г-. .- ,р) - Р -мультииндекс, /а = 1,па , а = 1,р , которые при каждом фиксированном значении переменной 16являются измеримыми функциями юеО на вероятностном пространстве (О, Б, Р}.
Для р -мерно-матричного случайного процесса будем применять обозначение
5(0 = ^(рДО), ,(р) = ('1-'2-...-'р). (13)
Сечение р -мерно-матричного случайного процесса 5(0 в момент времени 7 ■ 6 представляет собой р -мерную случайную матрицу
Щ ) = 51 = (5,( р )(0 ))- '(р) = ('1-'2-...-,р ).
Зафиксировав , моментов времени ^-¿2-...- 7 , получим , случайных р-мерных матриц (сечений) 51-52-...- 5,.
Конечномерным (, -мерным) распределением р -мерно-матричного случайного процесса 5(7) (13) назовем совместное распределение его сечений 5 - 5г-.--5 (совокупностей случайных матриц) при любом , и любых -72-...- 7 .
Начальной моментной функцией к -го порядка р -мерно-матричного случайного процесса 5(0 (13) назовем кр-мерную матрицу 'У5к)(71-72-...-7к), являющуюся математическим ожиданием (0-0) -свернутого произведения его к сечений,
у^л-...- К) = £(0-0(5(О-5('к)))=^р)1-..,(р)к (^1-^2-...- К ))- (14)
где усреднение Е(-) выполняется по к -мерному распределению случайного процесса.
Центральная моментная функция к -го порядка )(71-72-...-7к) р -мерно-матричного случайного процесса 5(7) определяется аналогично (14), но относительно центрированного
случайного процесса 5(7) = 5(7) — у(1) (7) .
Конечномерные моменты случайного процесса - это моменты конечномерных распределений случайного процесса. При определении конечномерных моментов рассматриваются не отдельные сечения случайного процесса, а наборы его сечений. Набор из , последовательных сечений случайного процесса 5(7) (13) в моменты времени ^-...-7 будем называть , -набором и обозначать 5 (^ ), где ^ = (^-...- 7Ж) - вектор. Для р -мерно-матричного случайного процесса 5(7) (13) набор из , его сечений образует (р + 1)-мерную случайную матрицу, где дополнительный индекс пробегает значения от 1 до ,. Ограничимся случаем двух наборов сечений случайного процесса 5(7) (13): , -набором 5 (^)-
5 в ) = (5(р)-1) = (5'(р)(71))- ] = М - Г, = (71-...- 7,)- (15)
и г -набором Цг (иг) -
Пг (иг) = (П^-/) = (5'(р)(и/))- / = 1-г - щ = К-...-иг)- (16)
в которых '(р) = ( ' 1-'2-...- 'р )- 'а = 1- Па - а = I- р .
Начальным конечномерным (, -мерным) моментом к -го порядка р -мерно-матричного случайного процесса 5(7) (13) называется к(р + 1)-мерная матрица Ук)(7,) , являющаяся математическим ожиданием к -й (0-0)-свернутой степени , -набора сечений 5 (^ ) (15):
) = е(0-0 5к 7)) = (е(0-0(5^(7^)^5^ (7,к))))=)- (17)
где /(р)1-...-'(р)к - р -мультииндексы, ] -...- ]к - индексы, принимающие значения 1-2-...-, , и усреднение Е(-) выполняется по , -мерному распределению случайного процесса.
Центральный , -мерный момент к -го порядка р -мерно-матричного случайного процесса 5(7) (13) определяется аналогично (17), но относительно центрированного , -набора
сечений 5, (7,) = 5, (7,) -у£>(Г, ).
Смешанным начальным (, + г) -мерным моментом (к + -го порядка р -мерно-матричного случайного процесса 5(7) (13) назовем (к + q)(p +1)-мерную матрицу
^(7, - иг) , являющуюся математическим ожиданием (0-0)-свернутого произведения к -й степени матрицы 5 (^ ) (15) и q -й степени матрицы "Цг (иг) (16):
- иг) = Е(°Т° (7, Г ^ (иг)))=(Ук], т) =
= (Е(0-0(5( р)1 (7Л)^5'( р)к (71к )5/( р)1 (О- • (Ч))))- (18)
где ]-...-]к- - индексы, принимающие значения 1-2-...-, - т-...- т - индексы, принимающие значения 1-2-...-г, и усреднение Е(-) выполняется по (, + г)-мерному распределению случайного процесса 5(7) .
Смешанный центральный (5 + г) -мерный момент (к + ф) -го порядка р -мерно-матричного случайного процесса —(:) (13) определяется аналогично (18), но относительно
центрированных наборов сечений — (^ ) — — (^ ) — V—! (^ ) и лг (иг) — лг (иг) — (иг) .
Преимуществом конечномерных моментов случайных процессов по сравнению с моментными функциями является то, что для стационарных случайных процессов они, как и конечномерные распределения, инвариантны к сдвигу по оси времени. Это преимущество позволяет сравнительно легко получать их оценки и, как следствие, использовать в практических приложениях.
Пусть известна реализация х(]Т), ] — 1, п, Т - интервал дискретизации, р -мерно-матричной стационарной случайной последовательности —(¡Т), для которой существуют 5 -
мерные начальные и центральные моменты к -го порядка V—к) (Г5 ) , р—к) (^ ), и требуется по
этой реализации найти оценки V—(к), р—к^^) этих моментов. В работе [26] предложены оценки вида
1 П—5+1
£(х,(]Т))к, п — 5 +1 1
V? иТ)) , (19)
) = п—5
р—к) ^т I (X (¡Т))к, (2°)
]—1
где хх (¡Т) — (х(у'Т),..., х((/ + 5 — 1)Т)) - набор из 5 сечений реализации с начальным
^ П—5+1 :
п — 5 +1
сечением в момент времени ¡Т, а хх (¡Т) — хх (¡Т) — У^1). Аналогичные оценки предложены
тт(к+д) тт(к+д)
для смешанных конечномерных моментов V— ,л , р— ,л в случае примыкающих друг к другу наборов сечений — и лг (15), (16):
1 п 5—г+1
V—(кл? —-1-- 1(х, ЦТ))к (хг (Ц+5)Т))д, (21)
—5, г п — 5 — г + 1 1
1 п—5—Г+1 Ф Ф
р—к+лф) —-1-7 I (^ (¡Т))к (хг (Ц+5)Т))д , (22)
—5, г п — 5 — г + 1 1
* *
где х (¡Т) — х (¡Т) — V—(1), х ((Т+5)Т) — хг (С7+5)Т) — V—(1.
На практике встречаются случаи, когда вместо одной достаточно длинной реализации стационарной случайной последовательности имеется т более коротких реализаций длиной 1, I — 1, т, полученных в различные промежутки времени, и требуется по ним получить оценки конечномерных моментов случайной последовательности [27]. Для этого случая предлагаются следующие оценки: 1 т К-*+1
VГ=и—„иI !(х-^ • (23)
1 т /у-£+1 :
рг—11(х,. от))к, (24)
1 т /у—5—г+1
т(к+?)-_1_V ПТЛЛк(
V(k —-:--I I(х^(¡Т))к(ху,г((/ + 5)Т))д, (25)
и — т(5 + г — 1)
V—1 ¡—1
1 _т /V —5—г+1 : :
Слд} —-Т1—п I I ((Ю)к (х.г (((Т+5)Т)У, (26)
—5 и — т(5 + г — 1) 1
¡—1
т
где и =£/i - суммарная длина всех реализаций, Ху-,(]Т) = (ху(]Т)-...-Ху((] + , — 1)Т)) -
'=1
набор из , сечений у -й реализации с начальным сечением в момент времени ]Т -
Ху-, (]Т)=Ху-, (]Т)—у^дт).
В выражениях (19)-(26) все степени и произведения понимаются как (0-0)- свернутые. При выполнении определенных условий эргодичности и и ^ да оценки (19)-(26) состоятельны.
Предложенные оценки были использованы без потери точности и вычислительной сложности по сравнению с классическими оценками при программной реализации алгоритма линейного статистического прогнозирования векторной случайной последовательности. Они позволили также выполнить программную реализацию алгоритма квадратичного статистического прогнозирования векторной случайной последовательности [25]- что не представлялось возможным выполнить классическим подходом.
Многомерно-матричный метод главных компонент
Метод главных компонент находит применение для выявления скрытых закономерностей и экономизации алгоритмов обработки информации в хемометрике, биометрике, эконометрике, энвайрометрике и других областях знаний. В настоящее время этот метод разработан лишь для случайных векторов. Актуальным является его обобщение на случайные объекты более сложной структуры - обычные и многомерные случайные матрицы. Такое обобщение выполнено в работе [25], что позволило расширить области применения метода главных компонент.
Для обобщения метода главных компонент на случай многомерных матриц необходимо иметь решение задачи о собственных числах и собственных матрицах многомерной матрицы. Эта последняя задача получила дальнейшее развитие в работе [28] в направлениях применимости к гиперпрямоугольным матрицам, повышения уровня формализованности и компьютерной реализуемости.
Собственные числа а = а( Х-0) и фундаментальные собственные матрицы У = У^д^)
многомерной матрицы В(ц х ц определяются как решения многомерно-матричного уравнения
^ (С^ОаД-ц) а(ц5Л50) ^аД^^а-М)) = 0.
2р -мерную матрицу Р = Р( 0-р) назовем (р-0- р) -ортогональной, если
0-р (ррв р-р ) = ^(0- р).
Теорема (вероятностный многомерно-матричный метод главных компонент). Если Л = (Л г)- / = (/1- /2-. .- /р) - р -мерная гиперпрямоугольная случайная матрица со средним
значением ал = Е(л), то ее дисперсионная матрица ^ = Е( °'°(л Л)) - Л = Л — О,, может быть представлена в виде
^ =0-р (0-р (р Д)рВ2р.р )-
где Л - 2р -мерная матрица, составленная из (р-0-0) -собственных чисел ас матрицы ЯЛ (элементов матрицы а = а( р-0-0) = (ас)- с = (сх- с2-...- ср )) по формуле
Л = (Xс-с- ) =
(г 'Л
' |ас- с = О
[0- с Ф с\,
P - 2p -мерная (p,0, p) -ортогональная матрица, составленная из нормированных фундаментальных (p,0,0) -собственных матриц (у )с, матрицы R по формуле
P = P(p,0,p) = (Pc,c) = ((Ус)c), c = (q,C2,...,Cp), c' = (ci,c2,...,cp).
Случайная p-мерная матрица £ = (^), l = (l1,l2,...,lp), получающаяся из p-мерной
случайной матрицы л преобразованием p (P^2pp л), называется матрицей главных компонент случайной p -мерной матрицы. Дисперсионная матрица матрицы главных компонент равна Л:
R.= £(0,°Ш = Л.
Случайная матрица л представляется посредством случайной матрицы главных компонент в виде:
Л = 0,p (P^).
Очевидно, что представленную теорему можно применить к оценке R дисперсионной матрицы R p -мерной случайной матрицы л. В этом случае можно говорить о статистическом многомерно-матричным методе главных компонент.
Многомерная модель метеорологических данных и OLAP-системы
В настоящее время серьезное внимание уделяется концепциям построения и средствам реализации информационных систем, ориентированных на аналитическую обработку данных. Аналитическая обработка предполагает быстрый доступ к большим объемам данных и выполнение большого объема вычислений, причем используемые данные чаще всего должны быть упорядочены во времени. Это накладывает определенные ограничения на способы хранения данных, т.е. на базы данных. Наиболее распространенными в настоящее время являются реляционные базы данных. Несмотря на то, что существование реляционных баз данных, а также их использование, в том числе и для аналитической обработки данных, не подвергается сомнению, осуществляется поиск других подходов к организации баз данных. Одним из них является многомерный подход. Этот подход впервые был представлен для широкого обсуждения основоположником теории реляционных баз данных Э. Коддом, а также была определена категория OLAP-систем (Online Analytical Processing). Из 12 правил оценки OLAP-систем, представленных Э. Коддом, важнейшим является многомерность модели данных. В работе [29] изложены теоретические положения, лежащие в основе многомерной модели данных. Под многомерной моделью данных в OLAP-системе будем понимать организацию данных в виде многомерной матрицы, или, иначе, в виде гиперпрямоугольника. OLAP-системы, использующие многомерную модель данных, получили название MOLAP-систем, в отличие от ROLAP-систем, использующих реляционную модель данных. Для организации гиперпрямоугольника данных в MOLAP-системе необходимо определить оси координат (индексы) p -мерного пространства и данные, располагаемые в узлах сетки гиперпрямоугольника. Значения индексов будем называть также метками на осях координат. Оси выбираются таким образом, чтобы значение мультииндекса однозначно определяло данные. Данные чаще всего представляют собой строки, аналогичные строкам реляционной таблицы данных, так что мультииндекс является составным ключом этой таблицы. Выбор осей осуществляется для каждой подсистемы OLAP-системы на интуитивном уровне и не представляет трудностей. При описанном способе построения модели данных не нужно выполнять нормализацию таблиц данных, что существенно упрощает процесс проектирования многомерной базы данных по сравнению с реляционной.
Физически многомерная модель данных может состоять их двух текстовых файлов, один из которых определяет оси с их наименованиями, а другой - данные, соответствующие этим осям. В работе [29] рассмотрены также вопросы манипулирования данными в MOLAP-
системе, разработана многомерная модель данных в МОЬЛР-системе, предназначенной для аналитической обработки метеорологических данных. В частности, разработаны структуры файла осей и файла данных многомерной модели метеорологических данных. В качестве осей выбраны метеостанция, год, месяц, день и час, так как они однозначно определяют данные. Реализованное на основе многомерной модели данных программное средство статистического прогнозирования количественных характеристик погоды подтвердило свою работоспособность и успешно эксплуатируется в режиме накопления статистических данных о точности прогнозирования [30].
Заключение
Достоверность представленных в обзоре результатов подтверждена как математическими доказательствами, так и компьютерными расчетами, статистическим компьютерным моделированием, разработкой полноценно функционирующих программных средств. Наличие достаточно большого количества приложений, получивших достоверное, эффективное и завершенное разрешение в рамках разработанного многомерно-матричного математического аппарата, является подтверждением его целесообразности, достоверности и эффективности.
MATHEMATICAL MODELS OF MULTIDIMENSIONAL DATA
V.S. MUKHA
Abstract
The review of modern state of the problem of the multidimensional data analysis is given. The new mathematical models of the multidimensional data are considered.
Список литературы
1. Муха В.С. // Автоматика и вычислительная техника. 1987. Вып. 16. С. 65-71.
2. Муха В.С. // Изв. АНБ. Сер. физ.-мат. наук. 1990. № 4. С. 42-47.
3. Муха В.С. // Автоматика и вычислительная техника. 1991. Вып. 20. С. 128-133.
4. Муха В.С. // Весщ АНБ. Сер. ф1з.-мат. навук. 1993. № 2. С. 37-44.
5. Муха В.С. // Автоматика и вычислительная техника. 1993. Вып. 21. С. 65-72.
6. Муха В.С. // Весщ АНБ. Сер. ф1з.-мат. навук. 1993. № 4. С. 39-43.
7. Муха В.С. // Весщ АНБ. Сер. ф1з.-мат. навук. 1997. № 2. С. 46-53.
8. Муха В.С. // Электромагнитные волны и электронные системы. 1998. Т 3. № 4. С. 18-22.
9. Муха В.С. // Весщ НАН Беларуси Сер. ф1з.-мат. навук. 2001. № 2. С. 64-68.
10. Муха В.С. // Автоматика и телемеханика. 2001. № 4. С. 80-90.
11. Муха В.С. // Докл. БГУИР. 2004. № 1 (5). С. 38-49.
12. Муха В.С. Анализ многомерных данных. Минск, 2004.
13. Муха В.С. // Весщ НАН Беларуси Сер. фiз.-мат. навук. № 1. 2004. С. 69-73.
14. Корчиц К.С., Муха В.С. // Докл. БГУИР. 2003. Т. 1. № 3. С. 102-105.
15. Муха В.С. // Проблемы управления и информатики. 2005. № 5. С. 103-109.
16. Муха В.С. // Проблемы управления и информатики. 2006. № 5. С. 100-108.
17. Муха В.С. // Весщ НАН Беларуси Сер. фiз.-мат. навук. № 3. 2007. С.131-134.
18. Муха В.С, Маркушевский А.М. // Докл. БГУИР. 2010. № 3 (49). С. 87-91.
19. Муха В.С., Гончаренок Е.О. // Докл. БГУИР. 2010. № 7 (53). С. 59-65.
20. Муха В.С. // Междунар. научн.-техн. журнал «Проблемы управления и информатики». 2012. № 6. С. 125-136.
21. Муха В.С. // Кибернетика и системный анализ. 2007. № 3. С. 138-143.
22. Муха В.С. // Весщ НАН Беларуси Сер. фiз.-мат. навук. № 3. 2010. С. 17-24.
23. Муха В.С. Статистические методы обработки данных. Минск, 2009.
24. Муха В.С. // Весщ НАН Беларуси Сер. фiз.-мат. навук. 2007. № 1. С. 45-51.
25. Муха В.С., Козячий А.Н. // Докл. БГУИР. 2011. № 3 (57). С. 25-28.
26. Муха В.С. // Весщ НАН Беларуси Сер. фiз.-мат. навук. 2013. № 1. С. 64-70.
27. Муха В.С., Трофимович А.Ф. // Докл. БГУИР. 2009. № 1 (39). С. 93-99.
28. Муха В.С. // Весщ НАН Беларуси Сер. фiз.-мат. навук.№ 3. 2013. С. 31-37.
29. Муха, В.С., Козячий А.Н. // Докл. БГУИР. 2010. № 1 (47). С. 100-1°5. 3°. Муха В.С, Трофимович А.Ф. // Докл. БГУИР. 2011. № 8 (62). С. 14-21.
СВЕДЕНИЯ ОБ АВТОРЕ
Муха Владимир Степанович (1945 г.р.), д.т.н., профессор. В 1967 г. окончил МРТИ. В 1974 г. защитил кандидатскую, в 1994 г. - докторскую диссертацию. С 1999 г. по 2013 г. работал заведующим кафедрой ИТАС БГУИР. С 2013 г. - профессор кафедры ИТАС. Автор и соавтор 169 публикаций, среди которых 1 монография и 2 учебных пособия с грифом Министерства образования Республики Беларусь. Область научных интересов - системы обработки информации и управления: теория, методы, алгоритмы, программные средства (многомерно-матричный анализ, статистические методы оценивания, распознавания образов).
