CC BY
3
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2024 Управление, вычислительная техника и информатика № 66
Tomsk State University Journal of Control and Computer Science
Научная статья УДК 369:519.2 doi: 10.17223/19988605/66/4
Комбинированные оценки линейного функционала с априорной догадкой о параметрическом классе распределений
Юрий Глебович Дмитриев1, Геннадий Михайлович Кошкин2
12 Национальный исследовательский Томский государственный университет, Томск, Россия
1 dmit@mail.tsu.ru
2 kgm@mail.tsu.ru
Аннотация. Рассматривается задача оценивания линейного функционала от неизвестного распределения, который выражает некоторую числовую характеристику наблюдаемой случайной величины. Предполагается, что исследователь на основании своего опыта и знаний может высказать предположение о допустимости конкретного параметрического класса распределений при оценивании функционала. Такое предположение принято называть априорной догадкой. Предлагаются адаптивные оценки линейного функционала, учитывающие априорную догадку о параметрическом классе распределений. Полученные асимптотические распределения таких оценок позволили изучить влияние априорной догадки на точность оценивания аналитически.
Ключевые слова: линейный функционал; параметрический класс распределений; априорная догадка; адаптивные оценки; асимптотическое распределение оценки; СКО.
Для цитирования: Дмитриев Ю.Г., Кошкин Г.М. Комбинированные оценки линейного функционала с априорной догадкой о параметрическом классе распределений // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2024. № 66. С. 36-43. doi: 10.17223/19988605/66/4
Original article
doi: 10.17223/19988605/66/4
Combined estimates of linear functional with a priori guess on the parametric class of distributions
Yury G. Dmitriev1, Gennady M. Koshkin2
12 National Research Tomsk State University, Tomsk, Russian Federation
1 dmit@mail.tsu.ru
2 kgm@mail.tsu.ru
Abstract. The problem of estimating a linear functional from an unknown distribution, which expresses a certain numerical characteristic of an observed random variable, is considered. It is assumed that the researcher, based on his experience and knowledge, can make an assumption about the admissibility of a particular parametric class of distributions when estimating the functional. This assumption is usually called an a priori guess. This article proposes adaptive estimates of the linear functional that take into account an a priori guess about the parametric class of distributions. The resulting asymptotic distributions of such estimates made it possible to study the influence of an a priori guess on the accuracy of estimation analytically.
Keywords: linear functional; parametric class of distributions; a priori guess; adaptive estimates; asymptotic distribution; MSE.
For citation: Dmitriev, Yu.G., Koshkin, G.M. (2024) Combined estimates of linear functional with a priori guess on the parametric class of distributions. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitelnaja tehnika i informatika - Tomsk State University Journal of Control and Computer Science. 66. pp. 36-43. doi: 10.17223/19988605/66/4
© Ю.Г. Дмитриев, Г.М. Кошкин, 2024
Введение
Многие задачи статистической обработки результатов эксперимента сводятся к статистическому оцениванию линейного функционала от неизвестного распределения, который выражает некоторую числовую характеристику наблюдаемой случайной величины. Уровни априорной неопределенности о классе возможных распределений могут изменяться от непараметрического до параметрического класса. Требования сокращения объема дорогостоящих экспериментальных данных или повышение точности оценивания при фиксированном объеме наблюдений приводят к поиску и разработке методов использования дополнительной априорной информации в задаче оценивания функционала. Дополнительная информация может быть чрезвычайно разнообразной и иметь различные источники поступления.
В данной работе рассматривается ситуация, когда исследователь на основании своего опыта и знаний может высказать предположение о допустимости конкретного параметрического класса распределений при оценивании функционала. Такое предположение принято называть априорной догадкой. Данный термин был введен в [1] и использовался рядом авторов в задачах непараметрического оценивания (см., напр.: [2-11]). Естественно, возникает желание каким-то разумным способом учесть априорную догадку при оценивании функционала с целью увеличения точности оценки или надежности вывода. В работах [4-6] предложены статистические оценки с априорной догадкой о значении искомого функционала и приведены их свойства. В отличие от этих работ в данной статье предлагаются адаптивные оценки линейного функционала, учитывающие априорную догадку о параметрическом классе распределений. Полученные асимптотические распределения таких оценок позволяют изучить влияние априорной догадки на точность оценивания аналитически.
1. Комбинированные оценки с оптимальным весовым коэффициентом
Пусть Х1, ..., Хп - независимые наблюдения объема п над случайной величиной Х с неизвестной функцией распределения ¥(х) на прямой, т.е. хе Я1. Многие задачи статистической обработки экспериментальных данных сводятся к оцениванию линейного функционала на некотором классе распределений Г:
J(¥) = МР [ф(Х)] = } ф(л^(л), ¥е Г. (1)
Здесь ф - заданная вещественная функция. Априорная информация о классе распределений может быть различной и изменяться от полной неопределенности (непараметрический случай) до задания параметрического класса распределений (параметрический случай). Непараметрические оценки функционала (1) получим методом подстановки:
1 п
J = J(¥)=- £ ф(X),
Пи
1 п
где ¥ (х) = — £1(X < х) - эмпирическая функция распределения, 1(А) - индикатор события А.
п =
Предположим, что ¥ может принадлежать параметрическому классу ¥ = {¥0 (х), 0 е ©} . В этом случае
да
J(¥ (х)) = | ф(х)ё¥ (х) = ¥(0), 0 е 0 с Ят.
—да
Параметрическую функцию ¥(0) также будем называть априорной догадкой, она выступает в качестве априорной оценки (возможного значения) функционала J на заданном параметрическом классе распределений. Задача состоит в построении оценки функционала (1), учитывающей совместно непараметрическую оценку J и априорную догадку ¥ = ¥(0).
Следуя работам [4-6], рассмотрим комбинированную оценку вида:
J = (1 - X)J + XT = J - X (J-T), (2)
где весовой коэффициент X выбран из условия минимума среднеквадратической ошибки (СКО)
S2(X) = MP (Jx - J)2
и определяется выражением
X = X(P) =—Ц- =—Ц-. (3)
( ) ! + «Ар 1 + bp К )
а2
Здесь А = A(F) = J(F - T - величина отклонения априорной догадки от истинного значения J(F), а2 = а2 (P) = DF [ф( Х)] - дисперсия ф( Х), а нормированное отклонение
b = Ь,(P) = ^(0 . (4)
а(Р )
Минимум СКО удовлетворяет соотношению
S2(X) = DJ--= (1 -X)— . Р DJ + А2 n
Весовой коэффициент X изменяется в пределах 0 < X < 1 и показывает, какое влияние на точность оценивания оказывает каждая из величин J и T в комбинированной оценке (2). Его значение определяется величиной нормированного отклонения (4), которое зависит от трех компонент n, А и о. Так, при А = 0 и фиксированном n имеем Ьп = 0, X = 1, S^ (1) = 0, и в качестве оценки функционала J(F) следует взять априорную догадку T . При А Ф 0 с ростом объема наблюдений (n ^ да) Ьп ^ да, X ^ 0, nS2 (X) ^ а2, и влияние априорной догадки на точность оценивания убывает. В случае, когда наряду с увеличением n уменьшается и А, причем так, что Ьп стремится к некоторому пределу b:
limЬ = Ь е[-да,да], (5)
имеем: X ^
1 + Ъ2
и
S2(X) Ъ2
"iH^- (6)
Формулу (2) можно записать как
Л = ¥+(1 - Х)( У-¥).
Данное выражение можно интерпретировать следующим образом: исходной оценкой является априорная догадка ¥, а У выступает как дополнительная информация, содержащаяся в экспериментальных данных, тогда как в (2) исходной является оценка У, а априорная догадка ¥ выступает в качестве дополнительной информации, которой располагает исследователь до проведения эксперимента. Исходя из этого минимум СКО записывается следующим образом:
S2P(Х) = М[¥-У]2- [М(¥-У)2]\ = А2--^^ = ХА2.
р( ) [ ] вУ + (У-¥)2 ВУ + А2
Здесь А2 характеризует точность оценивания (в смысле СКО), когда оценкой выступает коэффициент X показывает, во сколько раз уменьшается СКО комбинированной оценки за счет привлечения У .
Если в (2) положить ¥ = 0, то Ух = (1 - Х )У, и задача сводится к выбору весового коэффициента, на который нужно умножить выборочную оценку У , чтобы получить оценку с наименьшим СКО.
1
В такой постановке задача рассматривалась в [12. Пример 17.4] при оценивании генерального среднего (ф( х) = х) с помощью выборочного среднего. В этом случае
(1 — X) = -
32
У2 +
п
и (2) является обобщением такой задачи.
2. Адаптивные комбинированные оценки
Оптимальный коэффициент X зависит от неизвестной функции распределения и, как правило, его значение неизвестно. Это обстоятельство затрудняет использование формулы (2) на практике. Выходом из такого положения является замена весового коэффициента X на какую-либо статистическую оценку X. Полученные таким способом оценки функционала (1) будем называть адаптивными. Заметим, что в [12] адаптивные оценки не рассматривались.
Предположим, что параметр 8 задан, и значение ¥ = ¥(0) известно. Если отношение
А 2( ¥)
а2 (¥)
этому рассмотрим возможные оценки X и соответствующие им адаптивные оценки функционала (1).
Подставим в формулу (3) вместо А ее эмпирическую оценку А = 3 — ¥ , а вместо а2 выборочную дисперсию
да ^ да
с2 = | ф2 (х)ёР(х) — I | ф(х)ёР(х)
—да \ —да у
которые построены методом подстановки по исходной выборке. Получим оценку коэффициента X в виде:
X = 1 1
в = в(¥) = ^ч известно, то в качестве оценки 3(¥) следует взять (2). Обычно в неизвестно, по-
, пА2 1 + б2'
1+пт
где Ь =-^П— - оценка нормированного отклонения. Заменяя в (2) X на X, получаем адаптивную о
комбинированную оценку
У = 3 — X (У — ¥) . (7)
Построим другую адаптивную комбинированную оценку. Заменим в (3) А на А, а о2 на ее априорную догадку
да /да \2
| ф2(х)<я¥0 (х) — I | ф(х)<а¥0(х)
2
О0 =
—да
В результате получим оценку весового коэффициента
г 1 г 4пА
X =-, где 6 =-.
1 + 6 сг0
Эта оценка приводит к адаптивной комбинированной оценке
^ =У-Х(У-¥). (8)
Изучим асимптотическое поведение приведенных оценок.
3. Асимптотические свойства комбинированных оценок
Представляет интерес асимптотическое поведение комбинированных оценок (2), (7), (8) функционала Рассмотрим нормированные разности
Sn =
4n ( J - j ) д 4n ( J. - j ) _ 4n ( J - J )
-, Sn =
Обозначим
и запишем
4n ( J - J )
_ 0
т_ T, т0 = 00
Sn = Пп -
n + b n b2 - b
In n _ In n n
1+bl
1+bl
S„ = Пп -
n„ + b„
1+( n„ + ь„ )2f2
n„ + ь„
1 + {л„+Ъп)2т1
( n„ + b„ )3 1+( n„ + b„ )2
( n„ + b„ )3 1 + ( n„ + b„ )2
(9) (10)
(11)
где Ъп определено в (4). Асимптотическое поведение величин (9)-(11) характеризует следующая теорема.
Теорема. Пусть для каждого ¥ е ¥ дисперсия 0 < а^ < да и выполнено (5) (последовательность Ъ стремится к Ь при п ^ да). Тогда 1) при |Ъ| < да и п ^ да
S „ ^ Z 0 =-
b n b2
1 + b2 1 + b2'
S „ ^ Z =-b +
(n+b)3 1 + (n + b)2
(n+b)3
1+(n+b)2
2) при \Ъ\ = да
Со = С: = = П,
где знак « ^ » означает сходимость по распределению, п - стандартная нормальная случайная величина.
Доказательство. Поскольку при п ^ да отношение т = 6 стремится по вероятности к 1,
6
а цп ^ ^ на основании центральной предельной теоремы, то первое утверждение теоремы вытекает из теоремы непрерывности [13. Глава 6]. Второе утверждение следует из первых равенств в (9)-(11) и слабой сходимости к нулю вторых слагаемых в них при \Ъп | ^ да .
При увеличении т2 (бе ^ 0) величина стремится к ^, а при уменьшении т2 (бе ^ да) величина стремится к -Ъ .
о
о
о
n
n
о
0
т
0
4. Интерпретация результатов
Назовем величины МС,2, МС^, М С,\ асимптотическими нормированными среднеквадратиче-скими ошибками (СКО) комбинированных оценок (2), (7), (8) соответственно. Приведенная теорема позволяет вычислить асимптотические нормированные СКО (проведя усреднение по стандартному нормальному закону) и через их значения сравнить точность оценивания адаптивных комбинированных оценок (7), (8) с оптимальной (2). Отметим, что согласно формуле (6)
V" (л - у )1^¡(1)
м ъ;п = м
= п-
1 + b
2 '
при усреднении по стандартному нормальному закону получаем аналогичный результат:
м $ =
1 + b
2 '
Для адаптивной комбинированной оценки (8) имеем
1
м z 2 -5; <тb)-Тй)
\2
-b -
(X + b)3
1
( x + b)2
exp
2
X
dx.
(12)
Полагая в (12) т = 1, получаем асимптотическую нормированную СКО оценки (7) - М СЦ.
Результаты вычислений зависимости асимптотических нормированных СКО оценок от параметра Ь приведены на рис. 1 (МС,2 - синяя сплошная линия, МСЦ - синяя пунктирная линия, остальные линии соответствуют СКО М С,2 при значениях параметров т = 0,5; 1,5; 3).
Рис.1. Зависимости асимптотических нормированных СКО оценок S2(х,b) от параметра b для т = 0,5; 1; 1,5; 3 Fig.1. Dependences of asymptotic normalized MSEs of estimates S2(x,b) on parameter b for = 0,5; 1; 1,5; 3
Согласно рис. 1 имеются области значений нормированного отклонения Ь, в которых точности адаптивных комбинированных оценок (7), (8) выше по сравнению с обычной эмпирической У с асимптотической нормированной СКО, равной 1. В такой области точность оценки (8) выше при сте > а (красная линия) и ниже при сте < а (зеленая линия), при сте = а оценка (8) имеет такую же асимптотическую нормированную СКО, что и оценка (7) (синяя пунктирная линия). Вне этой области
наблюдается обратная картина. Наименьшие значения асимптотических нормированных СКО достигаются у всех трех оценок при b = 0, у комбинированной оценки (2) с оптимальным весовым коэффициентом (синяя сплошная линия) оно равно нулю.
Отметим, что согласно формуле (12) S2 (да, b) = 1 для любых b. Этот факт иллюстрирует линия при т = 3 (график S 2(3, b)), которая показывает тенденцию приближения к S2 (да, b) =1.
Снижение точности оценок (7), (8) по сравнению с (2) обусловлено наличием погрешности в оценках весового коэффициента X. Для некоторых значений b погрешность «съедает» повышение точности от привлечения априорной догадки и делает оценки (7), (8) менее точными по сравнению с эмпирической J .
Заключение
В данной работе рассмотрена задача оценивания линейного функционала от неизвестного распределения, который выражает числовую характеристику случайной величины. При этом исследователь может предположить допустимость конкретного параметрического класса распределений при оценивании функционала. Предлагаются адаптивные оценки функционала, учитывающие априорную догадку о параметрическом классе распределений. Полученные асимптотические распределения предложенных оценок позволили изучить влияние априорной догадки на точность оценивания аналитически. Найдены асимптотические нормированные СКО, усредненные по стандартному нормальному закону, что позволило сравнить точность оценивания адаптивных комбинированных оценок (7) и (8) с оптимальной (2).
Список источников
1. Ferguson T.S. A Bayesian Analysis of Some Nonparametric Problems // The Annals of Statistics. 1973. V. 1 (2). P. 209-230.
2. Albers C.J., Schaafsma W. Estimating a density by adapting an initial guess // Computational Statistics & Data Analysis. 2003.
V. 42. P. 27-36.
3. Tarima S.S., Dmitriev Yu.G. Statistical estimation with possibly incorrect model assumptions // Вестник Томского государ-
ственного университета. Управление, вычислительная техника и информатика. 2009. № 3 (8). C. 87-99.
4. Дмитриев Ю.Г., Тарасенко П.Ф. Использование априорной информации в статистической обработке экспериментальных
данных // Известия вузов. Физика. 1992. № 9. С. 136-142.
5. Dmitriev Yu.G., Tarassenko P.F., Ustinov Yu.K. On Estimation of Linear Functional by Utilizing a Prior Guess // ITMM 2014,
CCIS 487 / A. Dudin et al. (eds.). 2014. P. 82-90.
6. Dmitriev Yu.G., Tarassenko P.F. On Adaptive Estimation Using a Prior Guess // Proc. of The International Workshop. Applied
Methods of Statistical Analysis. Nonparametric Approach. Novosibirsk, Russia. Novosibirsk, 14-15 September, 2015. Novosibirsk : NSTU publisher, 2015. P. 49-55.
7. Abu-Dayyeh W.A., Ahmed M.S., Ahmed R.A., Muttlak H.A. Some estimators of a finite population mean using auxiliary
information // Applied Mathematics and Computation. 2003. V. 139. P. 287-298.
8. Al-Omari A.I. Ratio estimation of the population mean using auxiliary information in simple random sampling and median ranked
set sampling // Statistics and Probability Letters. 2012. V. 82. P. 1883-1890.
9. Haq A., Shabbir J. An improved estimator of finite. population mean when using two auxiliary attributes // Applied Mathematics
and Computation. 2014. V. 241. P. 14-24.
10. Vishwakarma G.K., Singh H.P. A general procedure for estimating the mean using double sampling for stratification and multi-auxiliary information // Journal of Statistical Planning and Inference. 2012. V. 142. P. 1252-1261. doi: 10.1016/j.jspi.2011.12.007
11. Arcos A., Rueda M., Martinez M.D., Gonzalez S., Roman Y. Incorporating the auxiliary information available in variance estimation // Applied Mathematics and Computation. 2005. V. 160. P. 387-399. doi: 10.1016/j.amc.2003.11.010
12. Кендалл М., Стьюарт А. Статистические выводы и связи. М. : Наука, 1973. 900 с.
13. Боровков A.A. Математическая статистика. М. : Наука, 2007. 704 с.
References
1. Ferguson, T.S. (1973) A Bayesian Analysis of Some Nonparametric Problems. The Annals of Statistics. 1(2). pp. 209-230.
2. Albers, C.J. & Schaafsma, W. (2003) Estimating a density by adapting an initial guess. Computational Statistics & Data Analysis.
42. pp. 27-36.
3. Tarima, S.S. & Dmitriev, Yu.G. (2009) Statistical estimation with possibly incorrect model assumptions. Vestnik Tomskogo gosu-
darstvennogo universiteta. Upravlenie vychislitelnaya tekhnika i informatika - Tomsk State University Journal of Control and Computer Science. 4(8). pp. 87-99.
4. Dmitriev, Yu.G, & Tarassenko, P.F. (1992) Use of a priori information in statistical processing of experimental data. Izvestiya
vuzov. Fizika - Russian Physics Journal. 9. pp. 136-142.
5. Dmitriev, Yu.G., Tarassenko, P.F. & Ustinov, Yu.K. (2014) On Estimation of Linear Functional by Utilizing a Prior Guess.
In: Dudin, A. et al. (eds) ITMM2014, CCIS 487. pp. 82-90.
6. Dmitriev, Yu.G. & Tarassenko, P.F. (2015) On Adaptive Estimation Using a Prior Guess. Proc. of The International Workshop.
Ap-plied Methods of Statistical Analysis. Nonparametric Approach. Novosibirsk, Russia. Novosibirsk, September 14-15, 2015. NSTU. pp. 49-55.
7. Abu-Dayyeh, W.A., Ahmed, M.S., Ahmed, R.A. & Muttlak, H.A. (2003) Some estimators of a finite population mean using auxiliary
information. Applied Mathematics and Computation. 139. pp. 287-298.
8. Al-Omari, A.I. (2012) Ratio estimation of the population mean using auxiliary information in simple random sampling and median
ranked set sampling. Statistics and Probability Letters. 82. pp. 1883-1890.
9. Haq, A. & Shabbir, J. (2014) An improved estimator of finite population mean when using two auxiliary attributes. Applied
Mathematics and Computation. 241. pp. 14-24.
10. Vishwakarma, G.K. & Singh, H.P. (2012) A general procedure for estimating the mean using double sampling for stratification and multi-auxiliary information. Journal of Statistical Planning and Inference. 142. pp. 1252-1261. DOI: 10.1016/j.jspi.2011.12.007
11. Arcos, A., Rueda, M., Martinez, M.D., Gonzalez, S. & Roman, Y. (2005) Incorporating the auxiliary information available in variance estimation. Applied Mathematics and Computation. 160. pp. 387-399. DOI: 10.1016/j.amc.2003.11.010
12. Kendall, M. & Stuart, A. (1973) Statisticheskie vyvody i svyazi [Statistical Inferences and Relationships]. Translated from English. Moscow. Nauka.
13. Borovkov, A.A. (2007)Matematicheskaya statistika [Mathematical Statistics]. Moscow. Nauka.
Информация об авторах:
Дмитриев Юрий Глебович - доцент, доктор физико-математических наук, профессор кафедры системного анализа и математического моделирования Института прикладной математики и компьютерных наук Национального исследовательского Томского государственного университета (Томск, Россия). E-mail: dmit@mail.tsu.ru
Кошкин Геннадий Михайлович - профессор, доктор физико-математических наук, профессор кафедры системного анализа и математического моделирования Института прикладной математики и компьютерных наук Национального исследовательского Томского государственного университета (Томск, Россия). E-mail: kgm@mail.tsu.ru
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
Information about the authors:
Dmitriev Yury G. (Doctor of Physical and Mathematical Sciences, Professor, National Research Tomsk State University, Tomsk, Russian Federation). E-mail: dmit@mail.tsu.ru
Koshkin Gennady M. (Doctor of Physical and Mathematical Sciences, Professor, National Research Tomsk State University, Tomsk, Russian Federation). E-mail: kgm@mail.tsu.ru
Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.
Поступила в редакцию 19.10.2023; принята к публикации 05.03.2024 Received 19.10.2023; accepted for publication 05.03.2024
