Обобщенная модель авторегрессии высших рангов негауссовых процессов Текст научной статьи по специальности «Математика»

СИСТЕМЫ И 4^

ПРОЦЕССЫ

УПРАВЛЕНИЯ

УДК 621.396

ОБОБЩЕННАЯ МОДЕЛЬ АВТОРЕГРЕССИИ ВЫСШИХ РАНГОВ НЕГАУССОВЫХ ПРОЦЕССОВ

ТИХОНОВ В.А.________________

Предлагаются принципы обобщения моделей линейного предсказания с учетом статистических связей высших порядков стационарных негауссовых процессов. Приводится теория обобщенных моделей авторегрессии четвертого и произвольного ранга. Получаются выражения для вычисления параметров и основных характеристик этих моделей. Приводятся примеры синтеза обобщенных моделей авторегрессии с учетом статистических связей третьего и произвольного порядка.

1. Введение

Случайный процесс полностью описывается либо полным набором многомерных плотностей распределения вероятностей, либо полным набором куму-лянтных или моментных функций всех порядков. Использование для решения прикладных задач многомерной плотности распределения, за исключением гауссова, крайне затруднено. Это связано, прежде всего, с проблемой получения многомерных распределений по известным одномерным, когда между случайными величинами имеются статистические связи.

Анализ статистических связей случайного процесса, которые описываются, в частности, корреляционной функцией, позволяет решать методом линейного предсказания широкий круг задач, особенно прикладных. Использование моделей линейного предсказания дает возможность синтезировать обеляющие фильтры, решать задачу прогнозирования [1], получать параметрические спектральные оценки [2]. Несмотря на то, что корреляционные связи являются наиболее важными при описании случайных процессов, для решения ряда задач статистического анализа негауссовых процессов следует учитывать статистические связи более высоких порядков [3-8]. Поэтому остается нерешенной актуальная проблема построения моделей линейного предсказания, учитывающих негауссовы характеристики случайного процесса. Решение этой проблемы позволит повысить эффективность анализа и обработки негауссовых процессов с помощью конструктивных свойств моделей линейного предсказания.

Целью статьи является разработка принципов построения обобщенной модели авторегрессии для описания негауссовых характеристик процесса, вывод уравнений для расчета параметров модели. Обобщенная модель должна включать в себя как частный случай обычную модель авторегрессии и обладать ее конструктивными свойствами.

Негауссовы свойства случайных процессов вызваны наличием более сложных статистических связей, чем статистическая связь первого порядка, характеристикой которой является корреляционная функция. Статистические связи порядка r -1 описываются набором моментных функций порядка r [9]. Ниже изложены принципы построения моделей авторегрессии с использованием наборов моментных функций.

2. Принципы построения обобщенных моделей линейного предсказания

В отличие от обычных моделей линейного предсказания, параметры обобщенных моделей определяются не корреляционными, а моментными функциями некоторого порядка r . Принципы построения новых моделей более общие, чем у обычных моделей линейного предсказания. Для построения оптимальной обобщенной модели пришлось отказаться от принципа наименьших средних квадратов ошибки предсказания. Вместо этого оптимальная модель может быть получена только на основе известного требования статистической независимости ошибок предсказания. Следовательно, оптимальная обобщенная модель позволяет прогнозировать процесс с максимально возможной точностью, т.е. с точностью до непрогнозируемых статистически независимых отсчетов. Обычная модель линейного предсказания также оптимальна по этому критерию.

Обобщенная теория линейного предсказания удовлетворяет принципу соответствия, согласно которому частные случаи теории естественно вытекают из общих. Поэтому модель АР в обобщенной теории линейного предсказания называется обобщенной авторегрессией (ОАР). Моментным функциям r-го порядка будут соответствовать модели ОАР r-го ранга.

Стационарная модель ОАР описывает случайные негауссовы процессы с помощью моментных функций некоторых порядков. При построении ОАР моделей будем опираться на следующие положения, которые являются обобщением принципов, лежащих в основе обычных моделей линейного предсказания.

1. Статистические связи любого порядка негауссова стационарного процесса могут описываться линейными моделями ОАР с постоянными коэффициентами, рассчитанными по соответствующим моментным функциям.

2. Предсказанное текущее значение процесса, полученное в виде взвешенной суммы предыдущих его значений, отличается от истинного на некоторую ошибку предсказания, характерную только

РИ, 2003, № 4

39

для данной моментной функции с определенным набором фиксированных сдвигов.

3. Ошибки предсказания не имеют статистических связей заданного порядка, описываемых соответствующей моментной функцией, использованной для вычисления параметров модели ОАР.

Первый принцип утверждает, что не только корреляционная, но и статическая связь произвольного порядка может быть описана моделью ОАР. Её коэффициенты для каждой модели некоторого ранга будут отличными друг от друга. Отсчеты процесса связаны со своими предшествующими значениями и ошибками предсказания линейной зависимостью, определяемой значениями соответствующей моментной функции.

Согласно второму принципу, важным предположением является существование множества выборок ошибок предсказания, соответствующих разным моментным функциям и полученным по ним моделям ОАР. Для данного негауссова процесса можно построить множество моделей ОАР по разным моментным функциям с отличными ошибками предсказания.

Третий принцип утверждает, что ошибки предсказания будут иметь нулевую моментную функцию только для моделей ОАР негауссова случайного процесса, построенных для этого вида моментной функции процесса и фиксированных значений сдвигов.

3. Обобщенная модель авторегрессии произвольного ранга

Модель ОАР строится на основе наборов многомерных моментных функций r -го порядка mr[j,j -l,...,j -u]. Поэтому при построении обобщенных моделей возникает проблема выбора удобного и наглядного представления матричных выражений. Наиболее простым способом представления является использование привычных математических форм, применяемых при построении обычных моделей второго ранга. Для этого будут использоваться векторы, столбцы и двумерные матрицы. Однако при таком обозначении полагается, что уравнения получены для некоторых фиксированных значений сдвигов l,k,...,u . Значения сдвигов, равные 0,1,2, выбираются исходя из требований решаемой задачи. Максимальные значения этих индексов зависят от длины моментных функций негауссовых процессов.

Уравнение ОАР модели r -го ранга имеет вид

x[t]

Pl,k,...,u і k у ф1,к,

i=1 r

u[i]x[t -i] + ar1,k—u[t],

(1)

Здесь количество индексов 1,k,...,u на единицу меньше ранга r ОАР модели; or1’k’ . ’u[i] — коэффициенты ОАР; pik u — порядок модели; ar1,k ..,u [t] — статистически независимые ошибки предсказания. Чтобы получить уравнения, по которым можно было бы вычислять or1’k’..’u[i], необходимо левую и правую части (1) умножить на x[t - j]x[t - 1]x[t - k]...[t - u] и взять математическое ожидание

mr[j,j - 1,...,j - u] = p1,k,...,u 1k u

= 2 Фr,k,...,u[i]mr[j - i,j - 1,...,j - u] .

i=1

Моменты негауссова процесса и ошибок предсказания связаны соотношением

m

1,k,

,u

P1,k,.. = 2 i=1

u Ф^

u[i]mr[i,

i] + тЦ5

>u,

(3)

которое получается из (1) аналогичной процедурой при j = 1 = k = ... = u = 0 .

При выводе уравнений (2) и (3) использовались соотношения

E{x[t]x[t - j]x[t - 1]...x[t - u]} =

= mr[j,j - 1,...,j - u],

E{(x[t])r} = mr,

E{(ar1,k,,u[t])r} = mla^,...,u,

E{x[t - j]x[t - l]...x[t - u]arl,k,.,u[t]} =

= E{a^ [t]a^ [t - j]...ar [t - u]} = 0,

j,l,k,...,u > 0 .

Уравнение (2) может быть представлено в матрич ном виде:

l,k,...,u M,k,...,u^ l,k,...,u

где

mr

—l,k,...,u mr

= Q^'"’ иФ r

mr[1,1 -1,...,1 - u] mr[2,2 -1,...,2 - u]

mr[p,p - l,...,p - u] l,k,...,u

(4)

Ф r

l,k,...,u

Ф r

[1]

Ф rl,k,.,u[2]

Ф

l,k,...,u

[p]

r

mr[0,1 -1,...,1 -u] , mr[-1,1 -1,...,1 - u]

mr[1 - p,1 -1,...,1 - u]

Q

l,k,...,u

r

mr[1,2 -1,...,2-u] , mr[0,2-1,...,2- u]

mr[2 - p,2 -1,...,2 - u]

mr[p - 1,p - l,...,p - u] mr[p - 2,p - l,...,p - u]

mr[0,p - l,...,p - u]

РИ, 2003, № 4

40

Заметим, что размеры матриц в (4) зависят от значения порядка модели p = pi, u • В общем случае для каждого набора l,k,..., u значения pj k u разные. Решение уравнения (4) можно записать через обратную матрицу :

ф rj,k,.,u=(q i,k,.,u)-imrl,k,,u • (5)

Из (5) следует, что полное решение представляется набором коэффициентов ОАР для различных значений индексов l,k,...,u •

Модель ОАР произвольного ранга позволяет описывать процесс с помощью частной моментной функции r -го ранга. Первые два значения частной моментной функции находятся по формулам:

Ф l,k_uri „ = mr[1,1 -U,1-u] r mr[0,1 -1,...,1 -u] ’

Уравнение модели ОАР r -го ранга (1) можно представит^с помощью оператора ОАР r -го ранга: фr ’ ’ (B) =

= 1 -Фr‘-k..u[1]B -Фrl't •u[2]B2 -...

... - фД....W. (6)

Из стационарности негауссова процесса следует, что истинный процесс ОАР не зависит от сдвигов 1, к'-.-, u • Однако моделируемый реальный процесс может быть получен в результате нелинейных преобразований порождающего процесса. Поэтому для реального процесса параметры модели могут зависеть от сдвигов 1'kv..,u .

4. Обобщенная модель авторегрессии четвертого ранта

Для модели ОАР четвертого ранга, описываемой рекуррентным уравнением

x[t] =z Ф4к[1]х[1 - i] + a4к [t], (9)

i=1

необходимо потребовать, чтобы ошибка предсказания a4'k [t] имела нулевую моментную функцию

четвертого порядка при некоторых . фиксированных l'k . Параметры l,k

модели pi,k и Ф4 [i] определяются моментными функциями четвертого порядка.

Чтобы получить уравнения, по которым можно было бы вычислять Ф 4 [i] , необходимо левую и правую части (1) умножить на x[t - j]x[t - 1]x[t - k] и взять математическое ожидание.

Ф

l,k,...,u

[2,2]=

mr[2,2 -1'...,2 - u]mr[0,1 -1'---'1 - u] - mr[1,2 -1'---'2 - u]mr[1,1 -1'---'1 - u] mr[0,2 -1'---'2 - u]mr[0,1 -1'---'1 - u] - mr[-1,1 -1'---'1 - u]mr[1,2 -1,...,2 - u]

Тогда уравнение (1) в операторном виде описывается соотношением ф^К-Щ^)^] = ^''' . ^[t].

Из (6) следует, что условие стационарности ОАР процесса r -го ранга определяется характеристическим уравнением

(с)

p1,k'...,u А 1'k,...,uril/ Pl'k'-'u

- Ф

r

[1](с)

- Ф

l'k'...,^

r [2](с) 1'k'---'Ur

r [p1k,.

(7)

Для того чтобы процесс, описываемый моделью ОАР, был стационарным, корни характеристического уравнения должны лежать внутри единичного круга на комплексной плоскости.

Разностное уравнение (2) имеет решение, которое можно представить выражением

mr[j'j - I'.'j - u] =

= A1'k'---'u[l](cPl'k'---'u[l])ljl +

+ A1'k'---'u[2](cPl'k'---'u[2])jl + (8)

+... + A1'k''u[pl'k'---'u](cPl'k''u[Pl'k'---'u])j^-

В (8) с1''’."'^] — корни характеристического уравнения (7), а постоянные A1'k'---'u[i] определяются начальными условиями уравнения (2).

Уравнение для расчета коэффициентов ОАР четвертого ранга имеет вид

m4UJ -1,j - k] =

= £Ф4k[i]m4[j -i,j - 1,j -k], j > 0 . (10)

i=1

Для вычисления коэффициентов ОАР фиксируются 1, к, а затем составляется система уравнений pjk -го порядка. Когда j,1,k равны нулю, из уравнения (9) подобной процедурой получаем

pi'k 1 к 1 к

m4 = Z Ф4 [i]m4[i,i,i] + m4a ,

где m4 = E{(x[t])4}, m4a = БДа^М)4} - четвертые моменты случайного негауссова процесса x[t] и ошибки предсказания a4'k [t] соответственно.

Как видно из рекуррентных уравнений (10), мо-ментная функция может быть получена взвешенным суммированием pj, ее предыдущих значений.

Приведем несколько примеров получения уравнений для вычисления коэффициентов ОАР четвертого ранга при pj , = 1:

1. j = 1, 1 = k = 1: m4[1,0,0] = Ф^П^ .

2. j = 1, 1 = 2, k = 1: m4[1,1,2] = ф4'1[1]m4[1'1'1].

3. j = 1, 1 = k = 2 : m4[0,1,2] = Ф2'2[1]m4[0,1,1].

РИ, 2003, № 4

41

Очевидно, что модель ОАР при l = 2, к = 1 тождественна модели при l = 1, к = 2 .

Модель ОАР четвертого ранга для Рк і = 2 описывается уравнениями вида:

1) j = 1,2 , l = к = 1:

m4 [0,0,1] = ф4,1[1]т4 + ф4,1[2]т4 [1,1,1],

т4 [2,1,1] = Ф4,1[1]т4[1,1,1] + Ф4,1[2]т4[0,1,1];

2) j = 1,2 , l = 2, к = 1.

Таким образом, найденные общие выражения для модели ОАР произвольного ранга позволяют получить уравнения, описывающие модель ОАР четвертого ранга.

5. Заключение

Предложенные принципы обобщения моделей линейного предсказания позволяют построить модели ОАР любого ранга, структура которых существенно не отличается от обычных моделей АР. Такой подход дал возможность избежать усложнения уравнений при построении обобщенных моделей, вызванного, в частности, многомерностью моментных функций. На примере моделей ОАР четвертого ранга продемонстрировано применение общих уравнений моделей ОАР произвольного ранга.

Дальнейшие исследования могут быть направлены на получение обобщенныхмоделей скользящего среднего, авторегрессии—скользящего среднего. Интерес представляет анализ реальных негауссовых процессов с помощью предложенныхмоделей.

Литература: 1. Адаптивные фильтры / Под ред. К.Ф.Н. Коуэна и П.М. Гранта. М.: Мир, 1988. 392 с. 2. Бокс Дж, Дженкинс Г. Анализ временных рядов: Пер. с. англ. М.: Мир, 1974. Вып.1. 406с. 3. Марпл - мл. С. Л. Цифровой спектральный анализ и его приложения. М.: Мир, 1990. 584 с. 4. Тихонов В.И. Статистическая радиотехника. М.: Радио и связь, 1982. 624 с. 5. Бриллинджер Д.Р. Временные ряды. Обработка данных и теория. М.: Мир, 1980. 536 с. 6. Ширяев А.Н. Некоторые вопросы спектральной теории старших моментов. Теория вероятности и ее применение. 1960. № 5, 3. С. 293-313. 7. Леонов В.П. Некоторые применения старших семиинвариантов в теории стационарных случайных процессов. М.: Наука, 1964. 124 с. 8. Шелухин О.И. Беляев И.В. Негауссовские процессы. СПб.: Политехника, 1992. 312 с. 9. Малахов А.Н. Кумулянтный анализ случайных негауссовых процессов и их преобразований. М.: Сов. радио, 1978. 376 с.

Поступила в редколлегию 07.04.2003

Рецензент: д-р. физ.-мат. наук, проф. Лучанинов АН.

Тихонов Вячеслав Анатольевич, канд. техн. наук, доцент кафедры РЭС ХНУРЭ. Научные интересы: ради-локация, распознование образов, статистические модели. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 702-15-87.

УДК 519.7:007.52

МОДИФИЦИРОВАННЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ ВЕКТОРНОГО КВАНТОВАНИЯ

КОРОЛЬКОВА ЕЕ, ЛАМОНОВА Н. С.,

ЛЛИСС И.П.

Рассматриваются алгоритмы обучения искусственных нейронных сетей векторного квантования (LVQ-ANN), предлагаются их модификации, позволяющие повысить быстродействие и качество обработки информации путем соответствующего выбора шага обучения и нормировки настраиваемых синаптических весов.

1. Введение

В задачах обработки информации, связанных с ее сжатием и разбиением на компактные классы, описывающие различные состояния источника этой информации, распространены нейронные сети векторного квантования [1], так же как и широко известные самоорганизующие карты, введенные Т. Кохоненом [2]. В основе этих сетей лежит техника векторного квантования [3-6], нашедшая применение в задачах сжатия аудио- и видеосигналов [7]. Основная идея, лежащая в основе этой техники, состоит в компактном представлении больших массивов информации, заданной в виде n-мерных векторов х(к) (здесь к = 1,2,...N — либо номер конкретного вектора в массиве, либо индекс текущего дискретного времени) в форме огра-

42

ничейного набора прототипов, или центроидов wj, j = 1,2,...,т, т <<N , достаточно хорошо аппроксимирующих исходное пространство X. В результате квантования пространства X формируется так называемая кодовая книга; её кодовые слова (они же векторы реконструкции) описывают прототипы классов, число которых не задается априорно. В системах передачи информации, использующихвекторное квантование, и передатчик, и приемник снабжаются этой кодовой книгой, с помощью которой на передающем конце системы входной сигнал кодируется, а на приемном-восстанавливается. Входной сигнал х(к) сравнивается со всеми кодовыми словами книги, среди которых выбирается определенное то j, в некотором смысле ближайшее к х(к). По каналу связи передается только индекс j, с помощью которого приемник реконструирует х(к) в форме оценки то j так, как это показано на рис. 1.

Передатчик

Канал

передачи

информации

j(x(k))

Приемник

Рис. 1. Векторный квантователь

Эффективность такой системы полностью определяется способом нахождения прототипов w j, особенно, если исходные данные имеют стохастический или нестационарный характер.

РИ, 2003, № 4