НЕПАРАМЕТРИЧЕСКИЕ ММП ОЦЕНКИ В ЗАДАЧАХ СОГЛАСОВАНИЯ РЕЗУЛЬТАТОВ ИЗМЕРЕНИЙ ВЗАИМОСВЯЗАННЫХ ВЕЛИЧИН Текст научной статьи по специальности «Математика»

Список литературы

1.Больщиков В.А., Семенов К.К. Кластеризация сигналов измерительной информации с учетом их метрологических характеристик. // Сборник научных трудов 6-ой Всероссийской научно-практической конференции «Измерения в современном мире - 2017». Санкт-Петербург, 6 - 7 июня 2017 года. - СПб: Изд-во Политехн. унта. - С. 130-134.

2. Semenov K.K., Bolschikov V.A. The metrologically reasonable clustering of measurement results. // Joint IMEKO TC1-TC7-TC13-TC18 Symposium 2019, 2-5 July 2019, St. Petersburg, Russia. Journal of Physics: Conference Series. - 2019. -Vol. 1379. No 1. - Paper 012054.

3. Vourlaki I., Balas C., Livanos G., Vardoulakis M., Giakos G., Zervakis M. Bootstrap clustering approaches for organization of data: Application in improving grade separability in cervical neoplasia. // Biomedical Signal Processing and Control. - 2019. -Vol. 49. - Pp. 263-273.

4. Сивоголовко Е.В. Методы оценки качества четкой кластеризации. // Информационные системы. - 2011. - № 4. - С. 14-31.

УДК 53.088

ёо1:10.18720^РВРи/2М21 -403

Гаранин Владимир Александрович1,

ассистент

НЕПАРАМЕТРИЧЕСКИЕ ММП ОЦЕНКИ В ЗАДАЧАХ СОГЛАСОВАНИЯ РЕЗУЛЬТАТОВ ИЗМЕРЕНИЙ ВЗАИМОСВЯЗАННЫХ ВЕЛИЧИН

1Россия, Санкт-Петербург, Санкт-Петербургский Политехнический университет Петра Великого,

garanin_va@spbstu.ru

Аннотация. Настоящая работа содержит обзор методов непараметрической статистики в контексте решения задачи согласовании между собой совместных измерений взаимосвязанных физических величин. Под согласованием измерений подразумевается получение таких оценок методом максимального правдоподобия (ММП) значений искомых величин, которые не противоречат априорным сведениям о функциональных зависимостях между результатами измерений. Под непараметрическими понимаются методы, свободные от распределения, в основе которых лежат методы оценки плотности распределения вероятностей: проекционные методы и методы ядерной оценки.

Ключевые слова, измерения, статистическая оценка, функциональные взаимосвязи, непараметрическая статистика, проекционная оценка плотности, ряд Грама-Шарлье А, ядерная оценка плотности.

Vladimir A. Garanin1,

Professor Assistant

NON-PARAMETRIC MLE-ESTIMATORS IN DATA RECONCILIATION PROBLEMS

1 Peter the Great St. Petersburg Polytechnic University, St. Petersburg, Russia,

garanin_va@spbstu.ru

Abstract. This is a work on the nonparametric statistical methods in the context of solving the problem of reconciling joint measurements of interrelated physical quantities. By reconciliation of measurements, we mean obtaining the maximum likelihood (MLE) estimates of dependent quantities which do not contradict the prior information about the functional dependencies between measurands. Distribution-free methods are considered to be nonparametric such as Gram-Charlier A series expansion and kernel density estimation-based methods.

Keywords: measurements, statistical estimator, functional relationships, nonparametric statistics, projection density estimation, Gram-Charlier A series, kernel density estimation.

Введение

Одним из способов улучшения метрологических характеристик измерительной системы является учет априорных сведений об измеряемых величинах, в частности — информации о функциональных взаимосвязях между измеряемыми величинами. Учет такого рода информации позволяет повысить робастность алгоритмов обработки результатов прямых измерений и уточнить получаемых результаты за счет снижения влияния случайных отклонений на результаты измерения.

Операция учета функциональных связей сводится к такому перерасчету результатов совместных измерений, чтобы получающиеся значения не противоречили математической модели объекта, на котором эти измерения получены. Погрешности параметров используемой модели могут учитываться или не учитываться; последнее может привести к огрублению, а не уточнению согласуемых данных, если параметры модели известны со сравнительно большой погрешностью.

В англоязычной литературе комплекс методик и алгоритмов обработки результатов измерений зависимых величин друг от друга обобщенно называют Data Reconciliation (DR), в переводе — согласование данных. Другое распространенное название области — Data Reconciliation and Parameter Estimation (DRPE), т. е. согласование данных и оценка параметров. Говоря о данных в контексте их согласования, имеют в виду результаты измерений характеристик объекта, входящих в его математическую модель в качестве переменных. Эта модель впоследствии используется для согласования получаемых в процессе экс-

плуатации результатов измерений между собой (и с моделью) с тем чтобы:

- повысить достоверность получаемой измерительной информации,

- улучшить метрологические характеристики измерительной управляющей системы.

Общим местом всех общепринятых алгоритмов согласования измерений является применение принципа максимального правдоподобия для получения эффективных оценок искомых величин. В свою очередь для применения метода максимального правдоподобия необходимо знать (иметь обоснованно предположение), какому закону распределения подчинены случайные отклонения результатов совместных измерений, подлежащих согласованию. Как правило, в измерительных задачах случайные отклонения возникают вследствие множества независимых случайных факторов и потому, в силу центральной предельной теоремы, предполагается, что их вероятности распределены по нормальному закону. Отчасти такое допущение является вынужденным: общепринятые методы согласования построены именно в предположении нормальности распределения случайных погрешностей измерений. Если же закон распределения погрешностей не определен, может быть полезно обратиться методам непараметрической статистики, суть которых — получение ММП оценок параметров случайных величин (СВ), не зависящих от вида закона распределения. Здесь и далее под непараметрическими методами подразумеваются методы, свободные от распределения.

Использование методов непараметрической статистики позволяет получить статистически обоснованные, эффективные не противоречащие друг другу оценки совместно измеряемых величин в случае, когда измерительная ситуация не позволяет выдвинуть обоснованное предположение о виде закона распределения случайных отклонений согласуемых результатов измерений.

1. История вопроса

Описание предметной области

Становление области согласования измерений напрямую связано с разработкой и внедрением в практику аналитических и численных методов отыскания условного оптимума. Первой реализацией согласования результатов измерений в промышленной задаче обычно называют работу Kuehn, DR и Davidson, H. [1], опубликованную в 1961 году. Авторами было получено аналитическое решение задачи согласования результатов измерений в линейной стационарной системе для случая, когда измерены все согласуемые величины. В качестве модели объекта выступали уравнения материального баланса в производственных процессах химической промышленности.

Для решения был применен обобщенный метод наименьших квадратов. Помимо химической промышленности согласованию данных также нашлось применение на предприятиях обогащения минерального сырья, где источником априорных сведений о взаимосвязях между измеряемыми величинами также служили уравнения материального баланса. Характерными являются работы Wiegel [2] от 1972 года, Hodouin and Everell [3] от 1980 года, Simpson et al. [4] от 1991 года, and Heraud et al. [5] от 1991 года.

Постепенно стандартным инструментом для согласования измерений стали численные методы отыскания условного оптимума: методы линейного, квадратичного, нелинейного программирования и модификации. В силу производственной необходимости с середины 70-ых началась разработка и внедрение программного обеспечения, реализующего согласование данных для нужд предприятий добывающей и обрабатывающей промышленности. В 1991 году Tjoa и Biegler применили в промышленном согласовании последовательное квадратичное программирование [6], одновременно отыскивая и устраняя из выборок статистические выбросы (gross error detection). В 1994 году Ravikumar, V., S. R. с соавторами внедрил их идею [7], разработав программный инструмент RAGE для автоматического согласования измерений и распознавания и исключения из выборок статистических выбросов. В дальнейшем методы согласования результатов измерения совместных величин были встроены в большинство систем мониторинга и управления промышленных систем. При этом используемые методы все также основываются на предположении, что случайные отклонения согласуемых измерений распределены нормально; мало проработанным остается вопрос применения методов непараметрической статистики в задачах согласования измерений: к настоящему моменту опубликовано лишь несколько работ [8-10].

2. Постановка задачи

Пусть выполняется совместное измерение взаимосвязанных величин x = (х1, x2, .., xN) . Априорная информация о взаимосвязях между измеряемыми величинами x формализована в виде некоторого функционала

f(x) = 0. Законы распределения jj (Xj, 0j), j = 1, 2, ..., N, вероятностей

^ Л / /У /У A. \

возникновения результатов измерений x = (x1,x2,...,xN) не определены,

параметры (01, 02, .., 0N) неизвестны.

В таком случае задача согласования измерений х сводится к отысканию эффективных оценок ц параметров математического ожидания цу, таких, чтобы выполнялось равенствоДц ) = 0.

Если бы законы ф, (х,, 0,) были известны, тогда в соответствии с

принципом максимизации правдоподобия оценка ц может быть найдена путем максимизации вероятности [11]

N

Р(х е31 п.^2 е32 п...пXN е JN) = Пф, (,0;)-Лх/, (1)

7=1

возникновения выборки х по параметрам ц при выполнении условия Дц ) = 0. Подразумевается, что ц = (ц15 ..., цлг)г является одним из столбцов матрицы (0Ь 02, .., ©д)

Известно, что максимум (1) совпадает с максимумом логарифмической функции правдоподобия

( N Л N , >

¿(ж,0) = 1п Пф (х,0) =11п(ф, (X,0; ))>

^7=1 ) 7=1

Следовательно,

N I \\

ц* = Х1п (ф;( х;,0)). (2)

Так задача отыскания эффективных оценок измеряемых величин, таких, что не будут противоречить известным зависимостям между результатами измерений, сводится к задаче отыскания условного оптимума целевой функции ¿(х, 0). Решение данной задачи для типовой измерительной ситуации, когда измерения независимы, а погрешности распределены по нормальному закону, тривиально. Однако если закон распределения величин х отличается от нормального, и данное обстоятельство необходимо учесть, тогда нужно обратиться к методам непараметрической статистики.

3. Методы непараметрической статистики

3.1. Проекционные методы оценки плотности распределения вероятности

Суть проекционных методов состоит в разложении искомой плотности в ряд по ортогональной системе функции около опорной плотности распределения вероятностей.

Проекционные методы применяются, когда имеются некоторые априорные предположения о виде закона распределения результатов измерений, при этом необходимо учесть сравнительно небольшие отклонения действительного закона от априорно выдвинутого предположения. В качестве примера можно привести случай, когда закон распределения близок к нормальному, однако присутствует небольшая асимметрия и/или мера остроты пика отлична от нуля.

Рассмотрим, каким образом осуществляется оценка плотности распределения проекционным методом [12]. Обозначим ф0 (х) как опорную

плотность распределения результатов измерения величины х.

Пусть имеется ортонормированная система функций {ик}, таких что

| ц(х\и](х)-фо(х)йх = ъч.

-да

Тогда искомую плотность ф( х) можно записать:

да

ф( х )=фо (х)-е ск •ик (х)>

к=0 где

да

Ск =| ик (х)-ф(х^х.

-да

Фактически, значение Ск представляет собой математическое ожидание случайной величин Ук = фк(х). Имея выборку х = (х1,х2,...,хп)из п

результатов измерений величины х значение Ск можно численно оценить, как

Л 1 п

с=п ик (х )•

п г=1

Тогда приближенная оценка искомой плотности распределения может быть записана в виде

т Л

ф (х )=Фо (х)-Е ск •ик (х )>

к=0

где т — ограничение на число ортогональных функций, используемых для восстановления (идентификации) искомой плотности распределения проекционным методом.

3.2. Ядерные методы оценки плотности распределения вероятности

Метод ядерной оценки (восстановления) плотности также называют методом окна Парзена-Розенблатта, по фамилиям впервые сформулировавших его в современном виде Фрэнка Розенблатта [13] и Эмануэля Парцена [14].

Ядерный оценщик плотности записывается следующим образом:

1 п

г'=1 V у

где х1, х2,..., хсп — выборка значений, по которым стоится ядерная оценка

плотности, К — некоторая сглаживающая функция, называемая ядром (в качестве оглаживающего ядра используются различные функции, характерный пример — Гауссова функция, h — параметр, определяющий

х х •

степень сглаживания, также называемый шириной сглаживающего окна, п — объём выборки, по которой строится оценка, то есть число точек на оси ох, к которым «прикрепляются» суммируемые ядра К(х).

4. Примеры

4.1. Проекционный метод

Далее рассмотрен пример семи-параметрической ММП оценки математического ожидания взаимосвязанных величин с использованием усеченного ряда Грамма-Шарлье. В качестве реперной плотности ф0 выбрано нормальное распределение.

Рассмотрим частный случай задачи согласования результатов измерений взаимосвязанных величин. Пусть результаты х = ( хх, х2,..., хм) совместного измерения взаимосвязанных величин х = (х^ х2, .., х^) распределены по закону, близкому к нормальному, с параметрами математиче-

Т 2 Т

ского ожидания ц = (ц1Ь ц12, .., цщ) и дисперсии о = (сь о2, .., сдт) . В таком случае для получения эффективных оценок при согласовании результатов совместного измерения можно использовать один из видов проекционных методов — метод Грамма-Шарлье. Суть данного метода в следующем.

Пусть искомое распределение ф(х) близко к нормальному, тогда ик представляет собой к-й полином Эрмита, получаемый процедурой орто-гонализации Гильберта-Шмидта из условия [12]

ю

| щ(х)-ы]■(х)-ф0(х)к = 50■ ,

-ю

где

1 (х-^1)2 Ф0 (хь /. 2 ■ * ,

л/2 ■^■а2

а 5 — Дельта-функция.

Искомая плотность записывается в виде

ю

ф( х )=фо (ск ■ик (х),

к=0

где ик — полином Эрмита степени к:

к

ик (х )=£ а] ■х]^

]=о

ак] — коэффициенты данного полинома. Так как

ю

С = 1, Ск =| ик (х)ф(х)dx,

-ю

получим, что

к к Ск = Е ак 1 х ■ Фо (х)& = Е ак • Д1 '

1=0 —да 7=0

где Цу — 1-й начальный момент случайной величины х.

Так как начальные моменты неизвестны, необходимо заменить их значения оценками:

п

A j =2 xi'

i=1

где п — число равноточных измерений величины х, по которым выполняется оценка.

Тогда оценка искомой плотности распределения величины х проекционным методом Грамма-Шарлье может быть определена как

т ^

ф (x) = фо (Ск -ик (x),

к=0

где

Ck = 2 akj -A j

u,

1

(x )=~in' Hek(x)'

Vk!

Для нормированной случайной величины (x - a 1)/s получим:

ф (x ) =1 (ф 0

f

x 1

Л

V s У

где

ф 0 (x ) = фо

1 ^ с u {x_al ^

v 2 C0kuk

к=0

V s У

C0k = 2 akj '11 j,

k=0

Ц — нормированный центральный момент у-го порядка, Д1 — оценка нормированного центрального момента, ^ — оценка среднеквадратиче-ского отклонения величины х.

Таким образом, если неизвестная функция распределения ф( х) случайной величины х близка к нормальному закону, ее можно приближенно описать как [12]

Л ( т 1 . ^

ф (x ) = (0

x-|1

V-s У

1

1 + 2 ijC0kHek

k=3

x — a1

уУ

где Ивк ((х — Д1) / ^) — к-й полином Эрмита (вероятностное определение),

равный

He,

/ л \ Tk/2

x—ц 1

V s У

= 2 2_ •(—1)г

k!

i ^ \ x — |1

k-2-i

V * У

7=0 /!(к — 2 ■ /)!

а к — степень этого полинома.

Оценки коэффициентов Ск для нормального закона:

Соз = А3, с:04=А4 - 3, с = д5 -10 -д3, с=|6 -15 -д4 +30,

где ^ - 1-й нормированным центральный момент, определяемый как

А

№

т, I = М

(х 1 )'

где М[у] — математическое ожидание величины у.

Тогда задачу условной оптимизации (2) можно переписать, учтя малое отклонение закона распределения совместно измеряемых величин от нормальности:

ц* = агё ЛЙ0 I1п 1 (х1, I7, - )) =

У/(ц)=0 I

= ащ тах

ц/ (ц )=0

N

N

-I

1=1

/= 2 -

1 + а,

х1 ■

V 1 Уу

(3)

где

(

а

]

х ■

Л

V 1 У

= 11 - Ск •

к=3 к !

' х1 Л

V 1 У

^ 1 /V

= Е к!'С:к

к=3 к !

[к/2]

!2-' -(-1)'-7

к!

(

'=0

'!(к - 2-')!

X -А1

л

к-2-' \

V 1 У

Решение задачи (3) может быть найдено из системы:

дЬ (ц, ) =

дц

дЬ (ц, ) =

= 0,

(4)

где Ь (ц, Л1) —Лагранжиан вида:

N

Ь (ц, О, Л^ | Х1, ХХ2,..., XXN ) = Х 1п

1 =1

1 + а

дЛ,

= 0.

+ Л1 - / (Д11, Д12,..., ),

уУ

а Л1 — множитель Лагранжа.

^ /Ч /V /ч /V

Стоит отметить, что так как с3 = А -, С4 = Ех - 3, где А - — оценка коэффициента асимметрии СВ X, Ех — оценка коэффициента эксцесса, если при разложении плотности в ряд ограничиться первыми четырьмя моментами (задать т = 4), тогда выражение (3) может быть записано в терминах оценок по выборке коэффициентов асимметрии и эксцесса искомой плотности распределения — то есть при согласовании совместных измерений будет учитываться возможная асимметричность и недостаточная/избыточная острота пика распределения случайных отклонений результатов измерений.

4.2. Ядерная оценка плотности

В настоящем примере изложена методика построения непараметрической ММП оценки параметров математического ожидания взаимосвязанных случайных величин с использованием метода ядерной оценки плотностей распределения вероятностей совместно измеряемых величин. В качестве весовой функции использовано Гауссово ядро.

Чтобы оценить параметры некоторой случайной величины х, пользуясь ядерной оценкой плотности, полученное выражение необходимо параметризировать — то есть ввести в ядерную функцию искомые параметры в виде переменных. При согласовании совместных измерений искомыми являются параметры математического ожидания измеряемых величин.

Для многомерного случая независимо полученных результатов Х15Х2,...,Хм измерения величин х15х2,...,хм параметризация выполняют

А

следующим образом. Пусть ф0 — ядерная оценка плотности распределения вероятностей величины х с математическим ожиданием равным 0, то

есть <ф

0А\х.

ц,) / о,) = ф ■ (х ■ | ц ., о.), где ф — ядерная оценка плотно-

сти случайной величины х с ненулевым математическим ожиданием и единичным среднеквадратическим отклонением 5..

В таком случае функция правдоподобия может быть записана [15]:

Ь (ц, о |

х2 х N ' =

N

) = ПФ 0.

.=1

х,-

Тогда

Ь (ц, о | х1, х.

1, х2,...,хN

) = 11Ф 0,

у=1

Г - _ х ^

N

Пф .

у=1

х

_(х. )

О,

где х. — оценка математического ожидания случайной величины

х среднеарифметическим (сделано традиционное допущение о равноточ-ности многократных измерений одной и той же величины), Sj — оценка среднеквадратического отклонения результатов измерения величины х., N — число совместно измеряемых величин.

Таким образом, непараметрическая ММП оценка ц* действительного значения измеряемой величины может быть найдена как

ц* = а^тах (1п Ь (ц,

о | х1, х

1, х2,...,хN

argmax

N

Е1п ф.

.=1

(х. _(х. ))■

О:

Эффективная оценка параметра математического ожидания ц может быть найдена путем решения уравнения:

д( 1п Ь (ц, о | х1, х2,..., ^))

Зц

0,

где 1п Ь — логарифмическая функция правдоподобия, построенная на основе ядерных оценок ф1, ф2, ..фм плотностей распределения вероятностей величин.

В качестве К при оценке плотностей ф1, ф2, фN используют различные ядра. Например, если выбрано Гауссово ядро вида

К (х) = ехр

Х2 ^

V 2 У

получим, что

д( 1п Ь (ц, о | Х1, х2,..., хN)) а

] '»=1

^ -- лх, -х, + ^ -х)• XЛ

h •а/

V у

Е к

•(х] -х] + ^ ] -х»)

1]

1

(

п 1=1

Е к

(х]- х]+]- х )•

h •а,

0.

Пользуясь методом множителей Лагранжа можно переписать функцию правдоподобия таким образом, чтобы ее максимум по ц не противоречил некоторой функциональной зависимости между измеряемыми величинами/(цп, ц12, ..., цш) = 0:

Е 1пФ] (х]-(х-Ц1 ]Ь' '

* 7"/ л \

ц = Ь(ц,о^x2,...,) = тах

]=1

+ Х •/( ц)

Аналогично предыдущему примеру эффективная оценка ц может быть найдена из системы уравнений (4), с тем отличием, что в данном случае

-(х])ь

Ь (ц, о, | Х1, Х2,..., Хм ) = Е 1п ф ]

]=1

х,

+

• / (М-11, М"12,..., М-Ш ).

При правильном выборе значения h и значений хх,х2,...,хп решение системы (4) будет стремиться к эффективной статистической оценке: дисперсия может не совпадать с нижней гранью Крамера-Рао, однако численно все равно будет меньше, чем у параметрической оценки, построенной в неверном предположении вида закона распределения случайной величины.

Заключение

В работе рассмотрены методы построения непараметрических оценок максимального правдоподобия, основанные на проекционных и ядерных методах восстановления плотности распределения вероятностей. На примере Гауссова ядра для метода окна Парзена-Розенблатта и ряда Грамма-Шарлье для проекционного метода показано, как получить аналитические выражения для свободной от распределения оценки математического ожидания случайной величины. Рассмотрено, как полученные аналитические выражения могут быть использованы для согласования результатов совместного измерения нескольких зависимых величин для случая, когда зависимости формализованы в виде одного уравнения.

Список литературы

1. Kuehn D. R., Davidson H. Computer control. // Chem. Engng Prog. - 1961. Vol. 57. - Pp. 44-47.

2. Wiegel R. L. Advances in mineral processing material balances. // Canadian Metallurgical Quarterly. - 1972. - Vol. 11(2). - Pp. 413-424.

3. Hodouin D., Everell M. D. A hierarchical procedure for adjustment and material balancing of mineral processes data. // International Journal of Mineral Processing. - 1980. - Vol. 7(2). - Pp. 91-116.

4. Simpson D.E., Voller V.R., Everett M.G. An efficient algorithm for mineral processing data adjustment. // International Journal of Mineral Processing. - 1991 - Vol. 31(1-2). - Pp. 73-96.

5. Heraud N., Maquin D., Ragot J. Multilinear balance equilibration: Application to a complex metallurgical process. // Mining, Metallurgy & Exploration. - 1991. - Vol. 8(4). -Pp. 197-204.

6. Tjoa I. B., Biegler L. T. Simultaneous strategies for data reconciliation and gross error detection of nonlinear systems. // Computers & chemical engineering. - 1991. -Vol. 15(10). - Pp. 679-690.

7. Ravikumar V. et al. RAGE-A Software Tool for Data Reconciliation and Gross Error Detection. Foundations of computer-aided process operations. - CACHE/Elsevier Amsterdam, 1994. - Pp. 429-436.

8. Wang D., Romagnoli J. A. A framework for robust data reconciliation based on a generalized objective function. // Industrial & engineering chemistry research. - 2003. -Vol. 42 (13). - Pp. 3075-3084.

9. Wang D., Romagnoli J. A. Robust data reconciliation based on a generalized objective function. // IFAC Proceedings Volumes. - 2002. - Vol. 35(1). - Pp. 191-196.

10. Garanin V., Semenov K. Semi-nonparametric approach for measured data reconciliation based on the Gram-Charlier series expansion. // Measurement: Sensors. - 2021. -Vol. 18. - Paper 100351.

11. Солопченко Г. Н. Теория вероятностей и математическая статистика. - СПб: изд-во Политехи. ун-та, 2016. - 210 с.

12. Крянев А. В., Лукин Г. В. Математические методы обработки неопределенных данных. - М.: Физматлит, 2003. - 214 с.

13. Rosenblatt M. Remarks on Some Nonparametric Estimates of a Density Function. // The Annals of Mathematical Statistics. - 1956. - Vol. 27. - Pp. 832-837.

14. Parzen E. On estimation of a probability density function and mode. // The annals of mathematical statistics. - 1962. - Vol. 33(3). - Pp. 1065-1076.

15. Jaki T., West R. W. Maximum kernel likelihood estimation. // Journal of Computational and Graphical Statistics. - 2008. - Vol. 17(4). - Pp. 976-993