CC BY
42
УДК 519.233.22
В. В. Гарбарук, В. Н. Фоменко
УЧЕТ АПРИОРНОЙ ИНФОРАЦИИ О ПАРАМЕТРЕ В МЕТОДЕ НАИБОЛЬШЕГО ПРАВДОПОДОБИЯ
Дата поступления: 15.05.2016 Решение о публикации: 16.06.2016
Цель: Создать вероятностную модель, в которой параметры распределения рассматриваются как компоненты случайного вектора, в рамках этой модели построить состоятельные статистические оценки параметров распределения генеральной совокупности, которые учитывали бы априорную информацию об исследуемых величинах. Методы: Применены такие теории вероятностей и математической статистики, как апостериорная оценка гипотез по методу Байеса, метод наибольшего правдоподобия, частные и условные распределения, теория статистического оценивания параметров распределения. Все исследование проводится в рамках стандартной системы аксиом теории вероятностей. Результаты: Даны точечные оценки параметров, обладающие большей эффективностью, чем стандартные оценки. Под эффективностью оценки в работе понимается отношение среднего квадрата отклонения предложенной статистики и стандартной эффективной статистики от оцениваемого параметра. Получены общие выражения, определяющие как локальную (при заданном значении параметра), так и интегральную (средневзвешенную по априорному распределению параметра) эффективность полученных оценок. На примере математического ожидания нормально распределенной генеральной совокупности вычисляется эффективность при априорном нормальном и гамма-распределении математического ожидания. Показано, что полученные оценки имеют более высокую точность, чем стандартные «эффективные» оценки. Результаты, относящиеся к эффективности оценок, проиллюстрированы графически. Практическая значимость: Повышается точность статистических методов исследования в случае, когда объем эмпирических данных невелик. В частности, предложенный подход может оказаться полезным при проведении дорогостоящих экспериментов, некоторых видов опросов внутри небольших групп населения.
Математическая статистика, параметр распределения, точечная оценка, нормальное распределение, гамма-распределение, байесовская оценка, априорная информация.
Viktor V. Garbaruk, Cand. Sci. (Eng.), professor, vmkaf@pgups.ru; *Viktor N. Fomenko, Dr. Sci. (Phys.-math.), professor, vfomenko1943@gmail.com (Petersburg State Transport University) TAKING INTO ACCOUNT A PRIORI INFORMATION ON PARAMETER IN MAXIMUM LIKELIHOOD METHOD
Objective: To create a probability model in which distribution parameters are considered as components of random vector, to build consistent statistical estimates for statistical population distribution parameters within the framework of this model capable of accounting for a priori information on parameters under study. Methods: Probability and mathematical statistics theories were applied, including a posteriori hypothesis estimate by Bayes' method, maximum-likelihood method, marginal and conditional distributions, distribution parameter estimation theory. The entire study is being carried out within the framework of standard axioms system of probability theory. Results: Point estimates of parameters were provided, possessing higher degree of efficiency than standard estimates. In this study, estimate efficiency is understood as mean-square ratio of deviation of proposed statistics and standard efficient statistic from the estimated parameter. Common expressions were obtained, determining both local
(with set parameter value) and integral (weighted average by a priori distribution of a parameter) efficiency of estimates obtained. On the example of mathematical expectation of normally distributed statistical population, efficiency is calculated for a priori normal and gamma-distribution of mathematical expectation. The estimates obtained were demonstrated to be more accurate than standard "efficient" estimates. Results concerning estimate efficiency were graphically illustrated. Practical importance: Accuracy of statistical study methods is increased in case when the size of empirical data is small. The proposed approach can be useful when conducting expensive experiments or certain types of polls amongst small groups of population.
Mathematical statistics, distribution parameter, point estimate, normal distribution, gamma-distribution, Bayes estimate, a priori information.
При статистическом оценивании параметров априорная информация о них, как правило, не принимается во внимание [5, 7-9]. Это не очень существенно, если оценка основывается на выборке большого объема, которая содержит достаточную информацию о параметре, и сама может использоваться для создания или уточнения базы априорной информации. Однако при малом объеме опытных данных учет априорных знаний может существенно увеличить надежность и точность оценки. Важность данного аспекта подчеркивалась в нескольких работах в области математической статистики (см., например, [1, 2]). Изложенный подход основывается на байесовской оценке апостериорных вероятностей событий, причем в качестве последних рассматриваются события, предполагающие, что параметр распределения принимает некоторое значение. При этом вероятностное пространство никак не переопределяется. Очевидно, такая трактовка параметра распределения как случайной величины некорректна.
В данной работе мы вводим вероятностное пространство случайных векторов, одной из компонент которого является параметр распределения. Основной объект рассмотрения в нашем подходе - двумерный случайный вектор 5 = (у, £). Плотность распределения вектора 2 задается функцией Ь(%,х), где g рассматривается как параметр распределения Функция р(g) = | Н(g, х^х устанавливает распределение параметра в отсутствие результатов измерений ^ (априорное распределения параметра).
Введем в рассмотрение плотность условного распределения [9, 14, 15]
h( g, x)
f ( xlg) =
P( g )
Результат серии п измерений вектора 5 представляется совокупностью из п + 1 случайной величины:
С^ ^ ^ X
где •.., Ъ,п - взаимно независимые случайные величины с той же плотностью распределения /(х|у), что и у генеральной совокупности у играет роль параметра распределения случайной величины
Точечная оценка параметра
Если ф (х1, ..., хп; g) - плотность распределения выборки [11-15], то
п
Ф(х^ •, хп; g) = р( g )П /(х-1 g);
i=1
lnçfo,..., xn ; g ) =
n
= In p(g) + Z ln f (x, | g).
i=1
(1)
Определим условную плотность распределения выборки при заданном параметре
o>(xi,..., Xn ; g ) =
fe^ = п/ ( x,|g )
p(g) i=1
(2)
и условную плотность распределения параметра у при заданной выборке
vfa,..., xn; g) =
фС-д^.....xn; g)
{ф^,..., Xn; g Vg'
Пусть gn - стационарная точка плотности ф(хр ..., хп; g) или, что то же самое, величины 1пф(х1, ..., хп; g) относительно g, т. е. корень уравнения
д In ФCx1,., xn; gn)
= 0.
(3)
Тогда апостериорные вероятности гипо-
тез
Р(Нк | X1,., xn ) =
Р (Нк ) Р (-1,., Xn | Нк ) .
£Р( Hm ) P (Xi,. , XnlHm )
m=1
(5)
Для независимой выборки
gк+1
| / (х I g) .К g ^
Р(-1,., Xn | Нк ) = П
gk
(=1
gk+1
j p(g)dg
gk
и
gk+1
Можно показать, что статистика g - состоятельная (смещенная) оценка параметра g, что является ее необходимым и достаточным обоснованием. Однако доказательство этого факта выходит за рамки данной статьи и будет опубликовано в отдельной работе.
Для дальнейшего изложения уравнение (3) удобно записать следующим образом:
д lnp(gn) + jr д ln f (x 1 gn) = 0. (4)
dgn (=1 dgn
Байесовский подход к точечной оценке
Отметим, что уравнение (3) может рассматриваться как байесовская оценка гипотезы о значении параметра [2-4]. Действительно, разобьем область изменения параметра g на К частей с точками деления gk, (?к+1^к). Введем гипотезы
Нк = {иеП 1 g(ю) е[gk,gk+1)}.
Р(Н ) = \ p(gШ
gk
Переходя к пределу 8 = шах^^ - gk)^•0, получаем из (5)
Р( g 1 xl,..., хп ) =
= 11ш-РН1_ =
gk+1 - gk
Р( g )П/ ()
=_(=1_=
I Р( g ')И/ (№'
(=1
= У( g 1 X1,•••, хп ).
Критерий Байеса состоит в выборе гипотезы с максимальной апостериорной вероятностью. Таким образом, оценка параметра принимается в виде
gn = а^ шах ^ | х^..., хп ). (6)
g
В случае дифференцируемости плотности ¥ ..., хп) выражение (6) эквивалентно уравнениям (3) и (4).
Эффективность точечной оценки параметра
Прежде всего, отметим, что в асимптотическом пределе [11, 12] п^ю уравнение (3), определяющее оценку g , переходит в обычное уравнение метода наибольшего правдоподобия. Отсюда вытекает, что оценка gn асимптотически эффективна и нормально распределена [13-15].
n
Минимально возможная (в регулярном дисперсии к дисперсии исследуемой оцен-
случае) дисперсия несмещенной точечной ки. Однако в данном случае этот критерий
оценки, согласно неравенству Рао - Крамера, неприменим, так как оценка gn является сме-
равна 1 / п где J = 1(31/(х^) / дg)2 х щенной.
х /(x|g)dg - информация Фишера [6, 10, 14, В этой работе под эффективностью оценки
15]. Несмещенная оценка с такой дисперсией мы понимаем квадрат отношения среднеква-
обычно называется эффективной и под эф- дратических ошибок для стандартной «эффек-
фективностью какой-либо оценки часто по- тивной» оценки g (е) и оценки g , полученной
нимается отношение минимально возможной в данном подходе:
E =
J dgp(g g )/П П=1 f ( x,lg )
dX;
J dgp( g )Jn П=1 f ( x,lg )[ g
Величину Е0 мы называем интегральной эффективностью. Так как
Щ п=1 / (xi\g )( g - gn{ е))2 ^ = Б gn(е) = п (g ))-1,
для эффективности получаем
/ ^ dg
Е =_н / J(g) _ . (7)
п/ ^р( g) Щ п=1/ (х- \ g)[ g
Эффективность оценки при фиксированном значении параметра g определяется выражением
Е0 =-}-1-2-• (8)
nJ(g)/Пп=1 /(х-1 ^)[g
Примеры точечных оценок для некоторых законов распределения
В этом разделе приведем точечные оценки математического ожидания в случае, когда исследуемая величина имеет нормальное распределение (т, а) при заданной дисперсии а2. Предположим, что априорное распределение математического ожидания имеет либо нормальное, либо у-распределение. Параметры априорного распределения снабжаются нижним индексом 0.
Априорная плотность распределения параметра и плотность распределения значений выборки для нормального закона равны
p( g) = pn ( g) =
1
>/2П(
exp
пап
( g - то)2 2а2
f (x 1 g) = fN ( x) =
1
л/2гс(
exp
па
( x - g ) 2а2
(9)
Априорная плотность для у-распределения имеет вид
p( g) = pY ( g) =
Г(го)
V то J
gr0-1 exp
.10. т
g
о J
(1 о)
Параметр формы г0 связан с математическим ожиданием и дисперсией соотношением г0 = т02/о02. Ниже мы рассматриваем только случай г0 > 1.
Уравнение (4) приводит к следующим выражениям для оценок:
NN: gn =■
1
n
2 . 2 m - • ~
а + na,
,a +ao XX ; (11а)
o V
(=1
N Y: gn = ^
1 v roG
"X X - 0
2
n i=1
nm.
o
1 ^
-Xxi- 0
n i=1
2
nm.
a
+— (r -1).
o
j с g) = -m
д 2ln f (^ | g) 1
a
2
mo ~ ao mo =—; ao = —
a
a
Тогда формула для интегральной эффективности принимает вид
(116)
Введем удобные обозначения - приведенные априорные математическое ожидание и дисперсию:
Eo = 1 + -
1
na
2
Локальная эффективность задается выражением
2ao -
E (g) = 1 + -
g Va
- т.
Исследуем эффективность полученных оценок согласно критериям (7) и (8). Информация Фишера для нормального распределения в случае, когда в качестве параметра рассматривается математическое ожидание, равна
1 +
nan
g Va
2
- mm,
Рис. 1 и 2 представляют интегральную и локальную эффективности для нормального априорного распределения. На рис. 2 т0 = = а0 = 1. Подъем при а0 ^ 0 объясняется тем, что при малой априорной дисперсии априорная информация почти полностью определяет параметр.
Обратимся теперь к случаю априорного у-распределения. Из (11б) и (10) получаем для интегральной эффективности оценки
Рис. 1. Интегральная эффективность оценки математического ожидания при нормальном априорном распределении
Рис. 2. Локальная эффективность оценки математического ожидания при нормальном априорном распределении при т0 = а0 = 1
Ео _
n
г( т2)
а о
f ~ \ т о ~ 2 Vе7 о J
то ~ 2
—— m о ,
а 2 ж —-1
ао Р а 2
' ¿¿о
x exp
m,
о
а 2 Y
V а о J
J Yа
ф n ( Y, m 0, а о)d Y
(12)
Эффективность при определенном значении параметра определяется формулой
Е ( g ) =
| П п=1/(х- \ g) [ g - gn(е)(• • •, хп )] 2 ^
J Пn=1f (xi 1 g)[g - gn (• • • , xn )]2 dxi _ 1
ф n ( а, m о, а о) а
(13)
В уравнениях (12) и (13) мы ввели обозначение
фn(^mо,ао) _JJ eXP[-n(t-Y)2
dt.
На рис. 3 приведена интегральная эффективность Е0 (см. (12)) как функция а0 для случая а0 = т0 (показательное распределение) при двух объемах выборки. Эффективность при учете априорной информации, по меньшей мере, в два раза превышает стандартную эффективную оценку. Рис. 4 показывает, как учет априорной информации влияет на локальную эффективность оценки. Оценка вычислена по формуле (13) при а0 = т0 = 1.
Заключение
Исследования на примере математического ожидания нормально распределенной генеральной совокупности показывают, что использование априорной информации об изучаемом параметре может существенно (в несколько раз) уточнить его статистическую оценку. Это особенно полезно при выборке малого объема, когда точность стандартной оценки низка и эффект от априорной информации наибольший.
Следующим шагом в направлении использования априорных знаний могло бы стать построение оценок для нескольких параметров одновременно, принимая во внимание их корреляционные свойства, известные заранее.
Рис. 3. Интегральная эффективность оценки
Рис. 4. Локальная эффективность оценки
математического ожидания при показательном математического ожидания при показательном
априорном распределении
априорном распределении при т = 1
x
Библиографический список
1. Айвазян С. А. Байесовский подход в экономе-трическом анализе / С. А. Айвазян // Прикладная эконометрика. - 2008. - № 9. - С. 93-108.
2. Буре В. М. Байесовский подход / В. М. Буре, Л. В. Грауэр. - СПб. : ШАД, 2013. - 36 с.
3. Вентцель Е. С. Прикладные задачи теории вероятностей / Е. С. Вентцель, Л. А. Овчаров. - М. : Радио и связь, 1983. - 365 с.
4. Вентцель Е. С. Теория вероятностей / Е. С. Вентцель. - М. : Наука, 1969. - 564 с.
5. Ивченко Г. И. Математическая статистика / Г. И. Ивченко, Ю. И. Медведев. - М. : Высш. шк., 1984. - 352 с.
6. Кибзун А. И. Лекции по теории вероятностей / А. И. Кибзун, А. В. Наумов. - М. : МАИ, 2000. - 100 с.
7. Кожевников Ю. В. Введение в математическую статистику / Ю. В. Кожевников. - Казань : КГТУ, 1996. - 250 с.
8. Колемаев В. А. Теория вероятностей и математическая статистика / В. А. Колемаев, О. В. Староверов, В. Б. Турундаевский. - М. : Высш. шк., 1991. - 400 с.
9. Крамер Г. Математические методы статистики / Г. Крамер. - М. : Мир, 1975. - 648 с.
10. Лавренченко А. С. Лекции по математической статистике и теории случайных процессов / А. С. Лавренченко. - М. : МАИ, 1974. - 140 с.
11. Пугачев В. С. Введение в теорию вероятностей / В. С. Пугачев. - М. : Наука, 1968. - 368 с.
12. Пугачев В. С. Теория вероятностей и математическая статистика / В. С. Пугачев. - М. : Наука, 1979. - 496 с.
13. Розанов Ю. А. Лекции по теории вероятностей / Ю. А. Розанов. - М. : Наука, 1968. - 324 с.
14. Севастьянов Б. А. Курс теории вероятностей и математической статистики / Б. А. Севастьянов. -М. : Наука, 1982. - 255 с.
15. Чистяков В. П. Курс теории вероятностей / В. П. Чистяков. - М. : Наука, 1987. - 255 с.
References
1. Ayvazyan S. A. Prikladnaya ekonometrika - Applied Econometrics, 2008, no. 9, pp. 93-108.
2. Bure V. M. & Grauer L. V. Bayyesovskiy podk-hod [Bayes' Approach]. St. Petersburg, ShAD, 2013. 36 p.
3. Ventsel Ye. S. & Ovcharov L. A. Prikladnyye zadachi teorii veroyatnostey [Applied Tasks for Probability Theory]. Moscow, Radio i svyaz, 1983. 365 p.
4. Ventsel Ye. S. Teoriya veroyatnostey [Probability Theory]. Moscow, Nauka, 1969. - 564 c.
5. Ivchenko G. I. & Medvedev Yu. I. Matematiches-kaya statistika [Mathematical Statistics]. Moscow, Vys-shaya shkola, 1984. 352 p.
6. Kibzun A. I. & Naumov A. V. Lektsii po teorii veroyatnostey [Lectures on Probability Theory]. Moscow, MAI, 2000. 100 p.
7. Kozhevnikov Yu. V. Vvedeniye v matemat-icheskuyu statistiku [Introduction to Mathematical Statistics]. Kazan, KGTU, 1996. 250 p.
8. Kolemayev V.A., Staroverov O. V. & Turun-dayevskiy V. B. Teoriya veroyatnostey i matemat-icheskaya statistika [Probability Theory and Mathematical Statistics]. Moscow, Vysshaya shkola, 1991. 400 p.
9. Kramer G. Matematicheskiye metody statistiki [Mathematical Mathods in Statistics]. Moscow, Mir, 1975. 648 p.
10. Lavrenchenko A. S. Lektsii po matematicheskoy statistike i teorii sluchaynykh protsessov [Lectures on Mathematical Statistics and Theory of Random Processes]. Moscow, MAI, 1974. 140 p.
11. Pugachev V. S. Vvedeniye v teoriyu veroyat-nostey [Introduction to Probability Theory]. Moscow, Nauka, 1968. 368 p.
12. Pugachev V. S. Teoriya veroyatnostey i matemat-icheskaya statistika [Probability Theory and Mathematical Statistics]. Moscow, Nauka, 1979. 496 p.
13. Rozanov Yu.A. Lektsii po teorii veroyatnostey [Lectures in Probability Theory]. Moscow, Nauka, 1968. 324 p.
14. Sevastyanov B. A. Kurs teorii veroyatnostey i matematicheskoy statistiki [Probability Theory and Mathematical Statistics Course]. Moscow, Nauka, 1982. 255 p.
15. Chistyakov V. P. Kurs teorii veroyatnostey [Probability Theory Course]. Moscow, Nauka, 1987. 255 p.
ГАРБАРУК Виктор Владимирович - канд. техн. наук, доцент, профессор, vmkaf@pgups.ru; *ФОМЕНКО Виктор Николаевич - доктор физ.-мат. наук, профессор, профессор, vfomenko1943@gmai1.com (Петербургский государственный университет путей сообщения Императора Александра I).
