обобщенное неравенство Крамера–РАО для моментов плотности распределения ошибки оценивания Текст научной статьи по специальности «Физика»

Доклады БГУИР

2018, № 8 (118) УДК 519.2

Doklady BGUIR

2018, No. 8 (118)

ОБОБЩЕННОЕ НЕРАВЕНСТВО КРАМЕРА-РАО ДЛЯ МОМЕНТОВ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ ОШИБКИ ОЦЕНИВАНИЯ

А.В. ОВСЯННИКОВ1, В.М. КОЗЕЛ2

1 Белорусский государственный университет, Республика Беларусь 2Белорусский государственный университет информатики и радиоэлектроники, Республика Беларусь

Поступила в редакцию 19 апреля 2018

Аннотация. В работе, при дополнительных условиях регулярности статистического эксперимента, выведена система неравенств, являющаяся обобщением известного неравенства Крамера-Рао. Система таких неравенств позволяет находить нижние границы произвольных четных моментов ошибок оценок неизвестных параметров. Найдены соотношения, позволяющие аппроксимировать и численно рассчитать плотность распределения ошибки оценивания при ограниченном наборе кумулянтных коэффициентов.

Ключевые слова: регулярный статистический эксперимент, обобщенное статистическое неравенство, информация Фишера.

Abstract. In this paper it's obtained a generalized system of statistical inequalities under additional conditions of regularity of the statistical experiment, which is a generalization of the Cramer-Rao inequality. The resulting system of inequalities allows to find the lower bounds of arbitrary even error moments of estimates of unknown parameters. It's found relations which allow one to approximate and numerically calculate the distribution density of the estimation error with a limited set of cumulant coefficients.

Ключевые слова: regular statistical experiment, generalized statistical inequality, Fisher information. Doklady BGUIR. 2018, Vol. 118, No. 8, pp. 42-48

Generalized Kramer-Rao inequality for the moments of distribution of estimation error A.V. Ausiannikau, V.M. Kozel

Введение

Одной из наиболее распространенных задач статистической обработки данных является задача оценивания неизвестных параметров. Важный элемент этой задачи - оценка качества результатов применительно к сравнению методов и алгоритмов, используемых для оценивания, а также определению лучших по точности оценок [1-4]. В этой связи существенные результаты в области теории оценивания связываются с понятиями достаточности, состоятельности и эффективности. Применение достаточных статистик для нахождения несмещенных оценок с минимальной дисперсией исследовано в работах Фреше, Крамера, Сэвиджа, Рао и др. Обширная литература, посвященная этой тематике, приведена, например, в [1, 2].

При регулярном статистическом эксперименте наиболее известным, с ясным физическим смыслом является неравенство Крамера-Рао [1, 3], определяющее нижнюю границу дисперсии ошибки оценки неизвестного информационного параметра. Цель статьи -показать, что при более сильных условиях регулярности неравенство Крамера-Рао может быть обобщено для произвольных четных моментов ошибок оценок.

Общее неравенство Крамера-Рао

Пусть имеется однородная выборка независимых данных г = гп}, с плотностью

f=f (г | Э), где Э - неизвестный скалярный параметр со значением, принадлежащем интервалу действительной оси. Выборочным пространством в этом случае является п-мерное пространство R = ^, на котором определена плотность f .

Рассмотрим задачу оценивания скалярного параметра & в стандартных условиях регулярности статистического эксперимента (СЭ) [1], полагая, что: f=f (г | Э) - непрерывна

на г; f' = с/ / - производная существует, непрерывна на г; 1фп = М [ f'/ f ] - информация Фишера существует и конечна. Здесь и далее М - символ математического ожидания.

Обозначим ДЭ = Э* - &, где Э* = (г) - оценка параметра & по результатам п наблюдений. Рассмотрим функцию смещения, которую определим как

ь(Э) = \дэifdr, Ьо(Э) = {fdr = 1. я я

К стандартным условиям регулярности [1] добавим следующие: 1) f(7) = / дЭ7 существует V 7 = 0, т ;

(1)

2) Ц,п = М

/(7 V

2

существует и конечно V 7 = 0, т .

Величину Цп можно охарактеризовать как обобщенную информацию Фишера 7-го

порядка относительно информационного параметра Э .

Заметим, для однородной выборки с независимыми данными при 7 = 1 величина 11п представляет собой информацию Фишера о параметре Э, которая вычисляется по формуле

1\,п=п1ц /1,1 = 1ф,1.

Дифференцирование функции смещения (1) по параметру Э 7 раз дает

(2)

Ь() = (Э) / 5Э7 = £ аи] | ДЭ 1) dr, 1=0 я

где коэффициенты а, определяются системой рекуррентных соотношений

а^ = 0, V 7<

а^,1 = 1, V 7=7, ]'= 0,т, а70 = (—1)77!, V 7= 1,т,

а, = у! \_а1-1,Я(1 —1)!— !]' V 7=1,т' 1=1,7-

Матрица А = ^ является нижней треугольной матрицей размерностью

Причем обратную матрицу А—1 образуют элементы | а7 у |, т. е. [а^- ^ = [| а^ V 7,1=0, Примеры матриц А, А 1 размером 6 х 6 приведены ниже.

(3)

т х т

т.

А =

1

0

0

0 0 0"

—1 1 0 0 0 0

2 —4 1 0 0 0

—6 18 —9 1 0 0

24 —96 72 —16 1 0

—120 600 —600 200 —25 1

А—1 =

1

0 0 0 0 0"

1 1 0 0 0 0

2 4 1 0 0 0

6 18 9 10 0

24 96 72 16 10

120 600 600 200 25 1

Используем указанное выше свойство матрицы А для решения системы линейных уравнений (2). Получим

{лэ'/^г = £ \а^\ ьу\ '=0, 1=0

т .

(4)

R

Преобразуем левую часть равенства (4). Умножив и разделив подынтегральное выражение равенства (4) на / , возведем его в квадрат и далее применим неравенством Коши-Буняковского-Шварца [5], получаем

{ ЛЭ'/ 2 /('/~2 йг

<

{лэ/ {[/«//

2

Ж .

(5)

И J R R

Откуда в компактной форме записи следует обобщенное неравенство

2

I а^ЬУ) 1=0

< МЛЭ2' м

/(1)//

2

, '=0,т .

(6)

1 + Ь(1)

Для ' = 1 из обобщенного неравенства (6) получаем неравенство Крамера-Рао

2 2 ч2

/ 1\п < МЛЭ = DЛЭ . Для ' = 2 из неравенства (6) следует

2 + 4Ь« + Ь22) а в случае ' = 3 -

< МЛЭ4 м

6 + 18Ь1(1) + 9Ь22) + ь33)

/(2)//

< МЛЭ6 м

/(3)//"

(7)

(8)

Величины МЛЭ2' характеризуют четные моменты ошибки оценивания ЛЭ. При этом классическое неравенство Крамера-Рао определяет только нижнюю границу дисперсии ошибки оценки. Для несмещенных оценок из выражения (6) получаем

МЛЭ2' > -

'!

'!2

М

/(1)//

= — = тт ръ (п) .

(9)

Для вычисления информации Фишера '-го порядка можно воспользоваться рекуррентной формулой М2/+ = М (2/)2 - 2М2/2г- 21 + М2221, 2 = -/(') / /.

Для оценок, у которых смещение задано, эффективная оценка будет удовлетворять равенству в формуле (6), а для несмещенных - равенству в формуле (9). Равенство в выражениях (6)-(9) для любых индексов ' обеспечивается при условии

/(')// = К'(г,Э)ЛЭ'',

(10)

где К' (г, Э) - функция, не зависящая от оценки Э .

Сделаем ряд важных замечаний, следующих из (6), (9), (10). Во-первых, нетрудно убедиться, что для произвольных значений ' > 2 уравнения (10) гауссовская плолтность распределения / не является его решением. Во-вторых, не существует такого единственного распределения/ которое являлось бы решением (10) для всех или нескольких значений '.

Исходя из сказанного, можно сделать вывод о том, что эффективная оценка может существовать лишь для конкретного значения ' уравнения (10) при выполнении для остальных ' неравенств (9). Так, в случае ' = 1 под эффективной оценкой неизвестного параметра Э понимается та, при которой минимизируется дисперсия ошибки оценки

2

2

2

2

2

г.п

2

MAO = min (n) =

1 + if1)'

/ If n и для остальныех моментов MAO2' выполняются

неравенства (6)-(9). В случае /—2 под эффективной оценкой следует понимать ту, при которой минимизируется четвертый момент распределения ошибки оценивания

/12 п и справедливы неравенства (6)-(9) для всякого

MAO4 = min ц4 (n) =

2 + 4/f + b22)

/ Iq n и справедливы неравенства (6)-(9) для всякого

значения i Ф 2. В общем случае для произвольного значения i = q эффективной будет считаться та оценка, для которой выполняется равенство

Г п2

MAO2q = min^2q(n) = ^ Kjl bj)

U'=0

значения i Ф q .

Нижние границы моментов плотности распределения ошибки оценивания

Полученные выше неравенства (6)-(9) позволяют рассчитать нижние границы для моментов плотности распределения ошибки оценивания при известном, заданном вероятностном законе распределения шума СЭ. Однако представляется целесообразным анализировать приведенные выше неравенства не для отдельных законов распределения шума, а для их классов. Реализация современных алгоритмов обработки результатов СЭ должна ориентироваться на: существенное разнообразие аналитических моделей распределений шумов; продвижение идей устойчивых и непараметрических методов в прикладной статистике.

В связи с этим, далее, конкретизируем полученные теоретические выражения для классов распределений шумов, используемых при построении алгоритмов устойчивого (робастного)

оценивания [6, 7]. Устойчивость оценки неизвестных информационных параметров на классе

* *

распределений шумов СЭ гарантирует, что D[AO, f ] < D[AO, f ] = max DAO , где f, f e ^ , ^ -

*

класс распределений, j - «наихудшая» в смысле приведенного неравенства плотность распределения в этом классе.

В табл. 1 приведены результаты расчетов для двух наиболее практически значимых классов распределений [6]. Первый класс ^ = {ff : ff (0) > в > 0} - класс всех невырожденных

распределений с «наихудшим» в классе лапласовским распределением (первая строка табл. 1).

Г 2 2

Второй класс = {f1: I х fd < d } - класс распределений шумов с ограниченной

дисперсией с «наихудшим» в классе гауссовским распределением (вторая строка табл. 1). Здесь f - одномерное распределение.

В случае однородной выборки с n независимыми данными наблюдений при i = 2 из неравенства (9) может быть получено неравенство для четвертого момента ошибки оценки: 4 4

MAO4 >-= min ц4(п), (11)

12,n

где величина I2 n определяется через информационные количества Фишера первого и второго порядка:

12,n = nI2,1 + 2n(n - 1)I121. (12)

В табл. 1 приведены значения величин обобщенной информации Фишера I\n, I\n, 12 n, значения min Ц4 (n), min ^i (1) нижних границ моментов распределения ошибки

оценивания математического ожидания O, а также значения моментов одномерного распределения, являющегося «наихудшим» в классе. В табл. 1 обозначено: Г(x) - гамма функция.

2

Класс Распределение / * Параметры распределения f

распределений I/,1 I1,n 12,n min Ц4(n) M(r—e)2i min ^2i (1)

J'' Г 2 Y 2n 4n(2n — 1) d 2 (2i)! di i!2 di

I d J d d 2 n(2n — 1) 2i 2i

4ld

^2 (r—S)2 e 2d i! di n d 2n2 d 2 2d 2 n2 (2d )ir Г 2 + i ) i!di

yj2nd vn

Пример. Пусть / = 1. Для существования эффективной оценки параметра математического ожидания & плотность распределения шума должна удовлетворять дифференциальному уравнению , где ^ - одномерное распределение. Этому

—С AS2

уравнению удовлетворяет решение f = Ce 1 с параметром K = — 2Q . Постоянные

—1/2 Г

коэффициенты С = (2nd) и Q = 1 / 2d находим из уравнений: I fid AS = 1 - условие

2 Г 2 —1

нормировки, MAS = IAS f1dAS = /ц = d - равенство второго момента ошибки оценки (9)

нижней границе (см. вторую строку табл. 1). Также замечаем, что остальные неравенства (9)

. . . „2/ Г . n2ir,in (2d )1 Г (1/2 + i) для / > 1 выполняются, поскольку M AS = I AS ^dAS =--r=-

J Vn

> i!di.

Плотность распределения ошибки оценивания

Полученная система неравенств (6), (9) с нижними границами моментов обобщает неравенство Крамера-Рао. В рамках теории оценивания принято ориентироваться на обеспечение минимальной дисперсии ошибки оценки, опираясь на эффект нормализации процесса обработки. В то же время представляет интерес исследование распределения ошибки оценивания, определяемого нижними границами моментов (9).

На основании системы неравенств (9), используя нижние границы моментов ошибки оценивания, можно построить аппроксимацию плотности распределения модельным распределением [8]. Характеристическая функция, выраженная через кумулянты

распределения, имеет вид Ф(jt) = exp

ю К

jt У

V=1v!

Оборвав ряд кумулянтов, можно

приближенно представить неизвестное одномерное вероятностное распределение ошибки оценивания f (Д&) модельным распределением ^го порядка:

С

fk (AS) = I Фк (jt) exp(—jtAS)dt:

2n •>—<»

где Фk (jt) = exp

(13)

,К

Z v-( Jt)

i v!

v=1

- модельное приближение характеристической функции k-го

порядка, Ck - нормирующая константа. В частности, модельное приближение второго порядка является гауссовым приближением, а модельное приближение четвертого порядка -эксцессным приближением, соответствующим эксцессному распределению [8]. Оно учитывает отличие от нуля первых четырех кумулянтов и представляет собой простейшее негауссовское приближение. В нашем случае эксцессное приближение плотности распределения ошибки оценивания будет определяться характеристической функцией четвертого порядка

Ф4 (Р) = ехр

К2 2 4 --21 + —1

2 24

. Выразив кумулянты через моменты распределения ошибки

оценивания с использованием их нижних границ (9), получим

( \

1 1 4

Ф4 (Р) = ехр

1

21

-X2 +

1,и

61

2,и

81\™

X

(14)

Воспользовавшись результатами, приведенными в табл. 1 (величины 1т, п, 12 и),

на основании формулы (14) получаем следующие выражения характеристических функций ошибки оценивания для случая гауссовского и лапласовского распределения шума СЭ:

Флапл( Р) = ехР

Фгаус( Р) = ехР

_^2 _ (4и - 3^2 4

4п

d 2

--X2 _

2и

48и2(2и _ 1) 2

d

24и

4

(15)

(16)

Результаты расчета модельной плотности распределения ошибки оценивания с параметром d = 1 в зависимости от и данных СЭ приведены на рис. 1-3. На рис. 1 приведены результаты численного расчета (13) для характеристической функции (16) и различных значений и (кривые 2-4) в сравнении с одномерным гауссовским распределением шума (кривая 1). На рис. 2 приведены результаты численного расчета (13) для характеристической функции (15) и различных значений и (кривые 2-4) в сравнении с одномерным лапласовским распределением шума (кривая 1). На рис. 3 представлено сравнение модельных распределений ошибки оценки при различных одномерных распределениях шума (кривые 1,2- гауссовское; кривые 3,4- лапласовское) и различных значениях п.

Результаты численного расчета модельной плотности распределения ошибки оценивания дают представление о ее форме и изменении в зависимости от объема данных п.

/1 4 1.4

и - ■ 3 1.2

1

..... 1 0.6

2 0.4

У \ 0.2

0

.. - 4_______

г

6

к

4 1—...... ......... 2

Д9

Рис. 1. Одномерное гауссовское распределение (1); характеристики, полученные в результате

Рис. 2. Одномерное лапласовское распределение (1); характеристики, полученные в результате

численного расчета при п= 1 (2), п = 5 (3), п = 10 (4) численного расчета при п = 1 (2), п = 5 (3), п = 10 (4)

У1 - 4

/ 7

// \\ 3

\

п Ц ^ , 1

у»\

/У!

де

де

Рис. 3. Модельные распределения ошибки оценки: 1 - гауссовский шум, и = 5; 2 - гауссовский шум, и = 10; 3 - лапласовский шум, и = 5; 4 - лапласовский шум, и = 10

Заключение

В работе получена система статистических неравенств для случая расширенных условий регулярности статистического эксперимента, которая обобщает известное неравенство Крамера-Рао. Определенная система неравенств позволяет находить нижние границы произвольных четных моментов ошибок оценок неизвестных параметров. Определение нижних границ моментных значений ошибок высших порядков дает возможность теоретически и численно рассчитывать плотность вероятности ошибки оценивания при ограниченном наборе кумулянтных коэффициентов.

Список литературы

1. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979. 528 с.

2. Крамер Г. Математические методы статистики. М.: Мир, 1975. 648 с.

3. Овсянников А.В. Статистические неравенства в сверхрегулярных статистических экспериментах теории оценивания // Весп нацыянальнай акадэмй навук Беларусь Сер фiз-мат. навук. 2009. № 2. С. 106-110.

4. Орлов А.И. Современное состояние непараметрической статистики // Научный журнал КубГАУ. 2015. № 106 (02). С. 239-269.

5. Маршалл А., Олкин И. Неравенства: Теория мажоризации и ее приложения. М.: Мир, 1983. 576 с.

6. Цыпкин Я.З. Информационная теория идентификации. М.: Наука. Физматлит, 1995. 336 с.

7. Овсянников А.В. Робастно-адаптивный усилитель-ограничитель // Радиотехника. 2011. № 3. С. 85-89.

8. Малахов А.И. Кумулянтный анализ случайных негауссовых процессов и их преобразований. М.: Сов. радио, 1978. 376 с.

References

1. Ibragimov I.A., Has'minskij R.Z. Asimptoticheskaja teorija ocenivanija. M.: Nauka, 1979. 528 s. (in Russ.)

2. Kramer G. Matematicheskie metody statistiki. M.: Mir, 1975. 648 s. (in Russ.)

3. Ovsjannikov A.V. Statisticheskie neravenstva v sverhreguljarnyh statisticheskih jeksperimentah teorii ocenivanija // Vesti nacyjanal'naj akadjemii navuk Belarusi. Ser fiz-mat. navuk. 2009. № 2. S. 106-110. (in Russ.)

4. Orlov A.I. Sovremennoe sostojanie neparametricheskoj statistiki // Nauchnyj zhurnal KubGAU. 2015. № 106 (02). S. 239-269. (in Russ.)

5. Marshall A., Olkin I. Neravenstva: Teorija mazhorizacii i ejo prilozhenija. M.: Mir, 1983. 576 s. (in Russ.)

6. Cypkin Ja.Z. Informacionnaja teorija identifikacii. M.: Nauka. Fizmatlit, 1995. 336 s. (in Russ.)

7. Ovsjannikov A.V. Robastno-adaptivnyj usilitel'-ogranichitel' // Radiotehnika. 2011. № 3. S. 85-89. (in Russ.)

8. Malahov A.I. Kumuljantnyj analiz sluchajnyh negaussovyh processov i ih preobrazovanij. M.: Sov. radio, 1978. 376 s. (in Russ.)

Сведения об авторах

Овсянников А.В., к.т.н., доцент кафедры информационных технологий Белорусского государственного университета.

Козел В.М., к.т.н., доцент кафедры информационных радиотехнологий Белорусского государственного университета информатики и радиоэлектроники.

Information about the authors

Ausiannikau A.V., PhD, associate professor of information technologies department of Belarusian state university.

Kozel V.M., PhD, associate professor of information radiotechnologies department of Belarusian state university of informatics and radioelectronics.

Адрес для корреспонденции

220030, Республика Беларусь, г. Минск, пр. Независимости, 4, Белорусский государственный университет тел. +375-17-209-58-94; e-mail: andovs@mail.ru Овсянников Андрей Витальевич

Address for correspondence

220030, Republic of Belarus, Minsk, Nezavisimosti av., 4, Belarusian state university tel. +375-17-209-58-94; e-mail: andovs@mail.ru Ausiannikau Andrei Vital'evich.