Оценивание коэффициентов полиномиальной регрессии по совокупности реализаций Текст научной статьи по специальности «Математика»

СИСТЕМЫ И

ПРОЦЕССЫ

УПРАВЛЕНИЯ

УДК 519.233.5

ОЦЕНИВАНИЕ КОЭФФИЦИЕНТОВ ПОЛИНОМИАЛЬНОЙ РЕГРЕССИИ ПО СОВОКУПНОСТИ РЕАЛИЗАЦИЙ

ОМЕЛЬЧЕНКО А.В., ФЕДОРОВ А.В.____________

На основе адаптивного подхода строятся оценки коэффициентов полиномиальной регрессии по совокупности реализаций с неизвестными дисперсиями шумов наблюдений. В этих оценках вместо неизвестных дисперсий шумов наблюдений для отдельных реализаций используются их несмещенные оценки, найденные по остаткам аппроксимаций этих реализаций полиномами согласно методу наименьших квадратов. Обосновываются аналитические выражения для коэффициентов относительной эффективности предложенных оценок.

1. Введение

Полиномиальный регрессионный анализ является самым распространенным статистическим методом, используемым для построения математических зависимостей по экспериментальным данным [1-4].

Один из наиболее простых и эффективных подходов к повышению точности регрессионного анализа основан на увеличении объема наблюдаемых выборок. У величение объемов выборок путем повторения опытов приводит кзадаче оценивания параметров регрессии по совокупности реализаций. Особенностью такой задачи является статистическая независимость данных, относящихся к различным реализациям.

В ряде ситуаций под влиянием неконтролируемых факторов условия проведения эксперимента изменяются. В самом простом случае это приводит к изменению дисперсий шумов наблюдений отреализации к реализации, причем сами дисперсии шумов наблюдений для отдельных реализаций зачастую оказываются неизвестными.

Целью настоящей работы является создание эффективных оценок коэффициентов полиномиальной регрессии по совокупности реализаций с различными дисперсиями шумов наблюдений. Для достижения сформулированной цели в работе решаются следующие задачи:

1. Обосновывается оценка параметров полиномиальной регрессии по совокупности реализаций с известными дисперсиями шумов наблюдений.

2. На основе адаптивного подхода строится оценка параметров полиномиальной регрессии по совокуп-

ности реализаций с неизвестными дисперсиями шумов наблюдений.

3. Обосновываются аналитические выражения для коэффициентов относительной эффективности предложенных оценок и рассматриваются примеры, подтверждающие эффективность этих оценок.

2. Постановка задачи

Б\ дем полагать, что в моменты времени Д. к = 0, К -1 (to =0. Iк_1 =Т ) наблюдается N реализаций данных, каждая из которых представляет собой сумму детерминированной составляющей в виде полинома степени ц и случайной ошибки (шума) наблюдения:

її . ___

zv(tk) = Zai' 1L +Cv(tk). V = 1,N. (1)

i=0

Каждая из реализаций шума 2v(t) являетсяреализаци-ей случайного процесса с нулевым средним значением и дисперсией crj • Отсчеты шума Cv(tk) к = 0,К-1 полагаются статистически независимыми.

Требуется найти несмещенные оценки а; коэффициентов aj, имеющие минимальные средние квадраты отклонений относительно истинных значений:

М[а; -а;]2, i = 0, п, (2)

где М[-] - символ математического ожидания.

В целях получения компактных аналитических выражений воспользуемся векторной записью модели (1):

zv = Х-а +QV , (3)

где zv =(zv(t0),...,zv(tK_1))tr - вектор наблюдений; Cv =(Cv(t0)..Cv(tK-i))tr - вектор шума наблюдений; а = (а0.an)tr - вектор коэффициентов рег-

рессии;

1 to to ■ .. ts

X = 1 ti t? . . t?

(4)

1

tK-i

t

2

K-l

... t

n

K-l

-матрица размерности К х (n +1), называемая матрицей плана.

3. Случай однородной совокупности данных

Рассмотрим вначале случай однородной совокупности данных, когда отсчеты шума статистически неза-

7

висимы и имеют одну ту же дисперсию СТ для всех реализаций.

Решим сформулированную задачу методом наименьших квадратов (МНК). Оценку вектора а найдем из условия минимума показателя

N

S(a)= £(7.v -X-a),r -(zv -X-a) =

V = 1

28

РИ, 2009, № 1

N

= ZPv -Zv - 2 • atrXtrzv +a,rX,rXa] (5)

V = 1

Дифференцируя выражение (5) по координатам вектора а, приходим к системе нормальных уравнений

XtrX-a=^-i;Xtr5v

Nv=i

(6)

Из (6) получим, что в рассматриваемом случае оценка МНК представима в виде

а

, N.

= — £av

Nvti 4

(7)

где оценки

=(X,rxrlxtlzv. (8)

4. Случай различных дисперсий шума наблюдения для разных реализаций

Будем считать, что дисперсия шума наблюдения для v -й реализации равна а2 • В данном случае для построения оценок коэффициентов регрессии используем взвешенный метод наименьших квадратов (ВМНК) [2], согласно которому оценка параметров регрессии находится из условия минимума критерия

N і

S(a)= £ — (zv-X-a)tr -(zv-X-a) =

v=i at

N 1

= Z -T[Zv • 7v - 2atrXtrzv + a,rX,rXa] (9)

v=l Ov V ’

В рассматриваемом случае система нормальных уравнений принимает вид

N і N і

ХТГХ • а • 2 ~у = Z ~уXTrzv

v=l Ov v=l C7V

(10)

Рассмотрим теперь случай, когда дисперсии шумов наблюдений d для отдельных реализаций в модели

(I) неизвестны. В этой ситуации воспользуемся адаптивным подходом к построению оценок, в соответствии с которым сохраним вид оптимальной оценки

(II) , а вместо неизвестных дисперсий используем их несмещенные оценки [3]

CTv=—-—-(Zv-x-av),r-(zv-x-av). (13) K-n-1

При этом адаптивная оценка примет вид

. N . .

a=2>vav, (14)

V —1

где весовые множители

=

N

I

(15)

a v - оценка МНК (8) вектора av , полученная по v -й реализации.

Отметим, что в случае шума наблюдения с нормальным законом распределения оценки дисперсий d не зависят от МНК оценок av • Кроме того, величины

а • ст2 „

2 имеют X -распределениес а = К- п-1 сте-(7\,

пенями свободы [3].

5. Анализ погрешностей оценивания

Оценка наименыпихквадратов вектора а, найденная по одной реализации данных, обладает моментами первых двух порядков [3]:

Из (10) определим оценку ВМНК в виде взвешенной суммы оценок МНК av , получаемых согласно (8) для каждой из наблюдаемых реализаций в отдельности:

а — ^ X у а у ^

V = 1 '

где весовые коэффициенты

к

V

(11)

(12)

Несложно показать, что если шум наблюдения имеет статистически независимые отсчеты, то (11) является оценкой вектора коэффициентов регрессии, получаемой ПО совокупности отсчетов {Zy(tk ). V = 1,N, k = 0, К -1} обобщенным методом наименьших квадратов (ОМНК). Поэтому согласно теореме Гаусса-

Маркова ее координаты a.j. і = 0. п имеютминимально

возможные дисперсии в классе линейных несмещенных оценок [4, 5].

РИ, 2009, № 1

М[Й] = а ; М[(Й - а)(Й - a)tr ] = ст2 (XtrX)_1.

Для моментов оценки (7), найденной по совокупности реализаций, обладающих, в общем случае, разными дисперсиями, имеем

„ * * і N

М[а] = а ; М[(а — а)(а — a)tr] = (XtrX)_1—1- Уст2, ,(16)

N2 y=i

а для моментов оценки (11), полученной по совокупности реализаций с известными дисперсиями:

М[й] = а; М[(Й -а)(Й-a)tr] = (XtrX)_1 Х^ст2 =

V = 1

tr 1 N 1

= (XtrX)_1 / z —у . (17)

Покажем, что в случае шума наблюдения с нормальным распределением оценка (11) является эффективной и обеспечивает минимально возможные дисперсии без всяких ограничений на класс оценок. В рассматриваемом случае логарифм функции правдоподобия наблюдений равен (с точностью до несущественного слагаемого)

29

1 N 1 _ tr

L(a) = -- X — (zv-X-a)1 (zv-X-a) ng)

2 v=lCT^

Взяв производную (18) по координатам a;, i=0,n вектора а , придем к вектору

N і N і _

У = z ^[xtrZv -(Х,ГХ) • а] = Е ^Х,г • Cv . v=i av v=ictv

Информационную матрицу Фишера определим как

[6] '

N і _ N і _

і = м[у • уtr ] = м[ е —x,r -;v £ -^1;х|

v=i av v=i crv

Учитывая некоррелированность векторов “v , получаем

t N і

і = xtrx у -V ^ 2 . v—1 CJV

(19)

Поскольку для оценки (11) согласно (17) и (19)

М[(Й — а)(3 — a)tr ] = Г1, (20)

то оценка (11) является эффективной [6].

Коэффициентэффективности среднеарифметической оценки (7) относительно оценки (11) определим как отношение

ке

1

N

N

N V = 1 v=l^v

(21)

Рассмотрим пример, показывающий эффективность среднеарифметической оценки (7) относительно оптимальной оценки (11). Будем полагать, что дисперсии ст2 принимают два значения: D] и D2. При этом половина реализаций имеет дисперсию шума D|, а другая половина - D2 . Согласно (21) коэффициент эффективности ке в данном случае равен

к, =-

4

D 2 D і

—- +—- + 2. D] D2

(22)

Таким образом, согласно (22) величина ке в рассматриваемом случае зависит только от отношения D2 / D|. Зависимость ke от отношения D2 / Dj. рассчитанная согласно (22), изображена на рис. 1.

К

Рис. 1. Зависимость коэффициента эффективности ке от отношения D2/D,

Из анализа данной зависимости следует, что применение оптимальной оценки (11) вместо среднеарифметической оценки (7) актуально для соотношения дис-

персий 0,8 <

D,

Dt

или —— > 1,25 . Dl

Получим аналитическое выражение для коэффициента эффективности оценки с известными дисперсиями шума (11) относительно адаптивной оценки (14).

Для моментов адаптивной оценки (14), найденной по совокупности реализаций с нормальным законом распределения шума, имеем

М| а 1 = а : М[(а — а) - (а — a)tr] =

= (X,rX)-1i;M[X2v].a2 (23)

V=1

Коэффициент эффективности оценки с известными дисперсиями шума относительно адаптивной оценки определим как

N „ N і

e = (£M[A,2v].a2).(2;—) (24)

v=l v = iryv,

После подстановки (15) в (24) имеем

N a* 7 7 N 1

е = [ЕМ[(1^)2].а2Н£— ]

V = 1

v=l<T,

=1СТ:

1

(25)

Утверждение. Если шум наблюдения в модели (1) имеет нормальный закон распределения, то адаптивная оценка (14) асимптотически эффективна в том смысле, что

lim е = 1 • (26)

К—»сс

Доказательство. При К—>оо оценки a2.v = l.N сходятся по вероятности к соответствующим дисперсиям ст2 . Кроме того, функции

1

gy(x) = (-

z—

j=l x.i

(27)

фигурирующие в (25) под символом математического ожидания, являются ограниченными (принимают значения только из области [ОД]) и непрерывными функциями векторного аргумента х в области определения (х : х; > 0}. Поэтому 1

N ст2

Иш

k-»00 V=1 V 1

^ 2 J |f7.l

2 2 N 1

-У2-^]-[Z—] = i

v=iav

(28)

Рассмотрим вопрос об аппроксимации коэффициента эффективности (24) при конечном числе отсчетов к в наблюдаемых реализациях.

30

РИ, 2009, № 1

Для этого введем векторы дисперсий р = (а?.а2-)

и их оценок р = ..О2) и представим выражение

(25) в следующем виде:

где функция

e = [E^]-M[f(P)]

V=l<Tv

f(P) = [Z(

V = 1

N ^2

v___^2

N і v 1

^ л 2 j=1CTj

^2-

V

(29)

(30)

Разложив функцию (ЗО) в ряд Тейлора по аргументу (З в окрестности истинного значения р и ограничившись первыми членами, получим

M[f(P)]«c+£bv-M(Pv-pv)

V = 1

(31)

где с, bv, v = 1, N - некоторые постоянные.

После подстановки (31) в (29) получим

e«c+i;Bv-M(pv-pv)25 (32)

V —1

где постоянные

N ] N і ___

С = с- , Bv =bv • 'Z—. v = 1.N V=1CJV V=1<TV

У читывая в (3 2), что для шума с нормальным законом

Л 2 2 4

распределения M(PV ~PV) =—aV; придем к выра-

a

жению

е

с + °

(33)

_ N 4

где величина D - 2 X В v ' CTv ; a = K- n- l-B силу

V —1

сходимости (26) для (33) получим приближение

, D

с~1 + —. (34)

a

Таким образом, если шум наблюдений имеет нормальный закон распределения, то имеет место приближение (34), точность которого повышается с ростом a.

(36)

Из выражения (36) следует, что значение коэффициента эффективности адаптивной оценки ке определяется значением параметра a . На рис. 2 кружочками отображены результаты вычислений согласно формулам (25), (35), которые получены с использованием метода статистического моделирования по выборке из 100 реализаций. При этом значения <j2 , v = 1,100 моделировались как случайные величины

СТ.,

Ха

а

где у ^ - случайная величина, которая имеет у2 -распределение с a = К - п -1 степенями свободы. На рис. 2 сплошной линией изображена зависимость коэффициента ке от параметра a, рассчитанная согласно (36), при значении показателя D = 2 .

ке

Рис. 2. Зависимость коэффициента эффективности ке от параметра a

Проведенныеисследованияпоказали,чтопри a > 250 коэффициент эффективности ке > 0,99 , т.е. эффективность адаптивной оценки (14) лишь незначительно уступает оптимальной оценке (11), которая в случае неизвестных дисперсий а2 нереализуема.

Выводы

Обоснованы оценкикоэффициентов полиномиальной регрессии по совокупности реализаций с разными дисперсиями шумов наблюдений.

В результате выполненных исследований сделаны следующие выводы.

В ряде случаев вместо показателя е удобнее пользоваться обратной к нему величиной

kg=l/e, (35)

которая может трактоваться какэффекгивность адаптивной оценки относительно оценки коэффициентов регрессии при известных дисперсиях шума наблюдения. Согласно (35) при достаточно больших значениях a

1. На основе взвешенного метода наименьших квадратов обоснованы оценки параметров полиномиальной регрессии по совокупности реализаций с известными дисперсиями шумов наблюдений, обладающие минимально возможными дисперсиями в классе линейных несмещенных оценок.

2. На основе адаптивного подхода построены оценки параметров полиномиальной регрессии по совокупности реализаций с неизвестными дисперсиями шумов наблюдений. В этих оценках вместо неизвестных

РИ, 2009, № 1

31

дисперсий шумов наблюдения для отельных реализаций используются их несмещенные оценки, найденные по остаткам аппроксимаций этих реализаций полиномами согласно методу наименьших квадратов.

3. Обоснованы аналитические выражения для коэффициентов относительнойэффективности предложенных оценок. Показано, что коэффициент эффективности адаптивных оценок определяется параметром а = К - п -1, где к - число отсчетов в реализации данных; п -степень полиномарегрессии. Установлено, что при а > 250 коэффициент ке > 0,99 , т.е. эффективность адаптивных оценоклишь незначительно уступает оптимальным оценкам.

Дальнейшие исследования планируется посвятить разработке адаптивных оценок параметров полиномиальной регрессии на фоне коррелированного шума наблюдения и исследованию свойств таких оценок.

Литература: 1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ, 3-є изд.: Пер. с англ. М.: Издательский

УДК621.396 "

ИСПОЛЬЗОВАНИЕ ИМИТАТОРОВ ДЛЯ

ОТЛАДКИ АЛГОРИТМИЧЕСКО ГО

ОБЕСПЕЧЕНИЯ РАДИОЛОКАТОРОВ

НЕКОГЕРЕНТНОГО РАССЕЯНИЯ

БЕЛОЗЁРОВ Д.П., ПУЛЯЕВВ.А.,

РОЕОЖКИН Е.В._________________________

Предлагаются к реализации варианты имитаторов псевдослучайного сигнала не когерентно го рассеяния. Описываются алгоритмы работы таких устройств и оцениваются методические погрешности.

Введение

В рамках мониторинга окружающей среды, когда в качестве объекта исследований выступает ионизиро-ваннаячасть верхней атмосферы-ионосфера, активно используются радиолокаторы некогерентного рассеяния (HP). Однако в процессе их функционирования имеют место трудности, связанные с интерпретацией результатов наблюдений, и связаны они с тем, что сигнал рассеяния по своей природе носит случайный, квазишумовойхарактер. К тому же он поступает на вход радиоприёмной системы на фоне космических и тепловых шумов, уровень которых для высот выше максимума ионизации значительно превышает уровень полезного сигнала - сигнала HP. Вдобавок, приём сигнала рассеяния сопровождается импульсными помехами естественного и промышленного происхождений.

Процедура обработки принятого сигнала в процессе ионосферных измерений представляет собой получение и анализ данных в виде информационных масси-

дом “Вильямс”, 2007. 912 с. 2. Румшиский Л. 3. Математическая обработка результатов экспериментов. М.: Наука, 1971. 192 с. 3. Королюк В.С., Портенко И.И., Скороход А.В., Турбин А.Ф. Справочник по теории вероятностей и математической статистике. М.: Наука, 1985. 640 с. 4. Север Дж. Линейный регрессионный анализ. М.: Мир, 1980. 456 с. 5. Андеросон Т. Статистический анализ временных рядов. М.: Мир, 1976. 755с. 6. Закс Ш. Теория статистических выводов. М.: Мир, 1975. 776 с.

Поступила в редколлегию 03.07.2009

Рецензент: д-р техн. наук, с.н.с. Баранник В.В.

Омельченко Анатолий Васильевич, канд. техн. наук, доцент кафедры «Сети связи» ХНУРЭ. Научные интересы: методы обработки сигналов, регрессионный анализ и распознавание образов. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. (057)7021-429.

Федоров Алексей Валерьевич, ассистент кафедры «Сети связи» ХНУРЭ. Научные интересы: математическое моделирование и планирование эксперимента в статистической теории распознавания образов. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. (057)7021-429.

вов (сеансов) короткой длительности. При этом за счёт фильтрации этого сигнала в большинстве случаев удается снизить негативное влияние шумов и помех. Но взамен начинают проявлять себя ошибки другого плана - методические, которые зачастую не позволяют получить достаточную точность оценок локальных параметров среды из-за характерных особенностей строения и динамики ионосферной плазмы.

Существующая теория некогерентного рассеяния радиоволн в плазме, представленная в работах, к примеру, [1-3], и развитая для случая импульсного зондирования ионосферы в [4,5], позволяет решать прямую задачу электродинамики. При теоретическом анализе с её помощью можно по заданным локальным параметрам ионосферной плазмы рассчитать автокорреляционные функции (АКФ) сигнала рассеяния. В случае же экспериментальных исследованиях остро стоит проблема в реализации процедуры, обратной по отношению к прямой задаче и носящей название «обратная задача рассеяния». С помощью такой процедуры необходимо уметь производить по измеренным АКФ сигнала HP (или его спектрам) расчёт параметров рассеивающей среды.

Целью работы является оценка погрешностей решения обратной задачи рассеяния, когда в помощь привлекаются сигналы, имитирующие сигнал некогерентного рассеяния, синтезируемые с учётом как различных ионосферных ситуаций, так и состояния измерительного радиолокационного комплекса.

1. Постановка проблемы

С учётом реальных параметров импульсного радиолокатора АКФ сигнала HP рассчитывается на выходе радиоприёмного устройства с применением матричной модели сигнала рассеяния [5]

Z=AxUxG.

32

РИ, 2009, № 1