Научная статья на тему 'Оценка качества измерительной информации при наличии аномальных наблюдений'

Оценка качества измерительной информации при наличии аномальных наблюдений Текст научной статьи по специальности «Математика»

CC BY
275
41
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СЛОЖНЫЕ ТЕХНИЧЕСКИЕ СИСТЕМЫ / ОБРАБОТКА ИЗМЕРИТЕЛЬНОЙ ИНФОРМАЦИИ / COMPLEX TECHNICAL SYSTEMS / MEASUREMENT INFORMATION PROCESSING

Аннотация научной статьи по математике, автор научной работы — Есиков Олег Витальевич, Бортников Андрей Александрович, Пафиков Евгений Анатольевич

Предложены две общие модели аномальных наблюдений, определены наиболее часто применяемые статистики для вычисления аномальных наблюдений и ситуации, в которых они применяются. Введены ограничения, при рассмотрении критериев аномальности наблюдений. Исследованы оценки экпериментальных данных, которые имеют высокую эффективность для широкого класса распределений, что связано с концепцией робастности, т.е. слабой чувствительностью к отклонениям от стан-дартныхусловий. Доказана состоятельность, асимптотическая несмещенность этих и ряда других оценок, их асимптотическая нормальность, вычислены эффективности робастных оценок относительно выборочного среднего.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

QUALITY ASSESSMENT MEASUREMENT INFORMATION \N THE EXISTENCE OF ANOMALOUS OBSERVATIONS

Two general models of anomalous observations are proposed, the most frequently used statistics for calculating anomalous observations and the situations in which they are applied are determined. Restrictions were introduced when considering the criteria for anomalous observations. The estimates of experimental data that are highly effective for a wide class of distributions, which is associated with the concept of robustness, i.e. weak sensitivity to deviations from standard conditions. The consistency is proved, the asymptotic unbiasedness of these and a number of other estimates, their asymptotic normality, and the effectiveness of robust estimates relative to the sample mean.

Текст научной работы на тему «Оценка качества измерительной информации при наличии аномальных наблюдений»

АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ ТЕХНОЛОГИЧЕСКИМИ ПРОЦЕССАМИ И ПРОИЗВОДСТВАМИ

УДК 519.254

ОЦЕНКА КАЧЕСТВА ИЗМЕРИТЕЛЬНОЙ ИНФОРМАЦИИ ПРИ НАЛИЧИИ АНОМАЛЬНЫХ НАБЛЮДЕНИЙ

О.В. Есиков, А. А. Бортников, Е.А. Пафиков

Предложены две общие модели аномальных наблюдений, определены наиболее часто применяемые статистики для вычисления аномальных наблюдений и ситуации, в которых они применяются. Введены ограничения, при рассмотрении критериев аномальности наблюдений. Исследованы оценки экпериментальных данных, которые имеют высокую эффективность для широкого класса распределений, что связано с концепцией робастности, т.е. слабой чувствительностью к отклонениям от стандартных условий. Доказана состоятельность, асимптотическая несмещенность этих и ряда других оценок, их асимптотическая нормальность, вычислены эффективности робастных оценок относительно выборочного среднего.

Ключевые слова: сложные технические системы, обработка измерительной информации.

В процессе испытаний сложных технических систем (СТС) различного назначения широко используются методы статистической обработки измерительной информации, что связано с совершенствованием техники экспериментальных исследований и повышением требований к качеству измерений. В силу наличия ошибок измерений и случайного характера экспериментальных данных способы обнаружения и парирования аномальных наблюдений должны быть статистическими.

Поэтому необходимо иметь модель систематических искажений и определить ее параметры. Только после этого можно ставить задачу определения соответствия предлагаемой модели экспериментальным данным

[1, 2 - 4].

Обнаружение аномальных наблюдений может производиться для того, чтобы, во-первых, провести сортировку данных перед их анализом и либо полностью исключить аномальные наблюдения из рассмотрения, ли-

бо придать им меньший вес при дальнейшем анализе. Во-вторых, выявить наличие аномальных наблюдений и тем самым указать на необходимость более тщательного проведения измерений в натурном эксперименте.

Поставим задачу выявления аномальных наблюдений более строго: пусть х1, ..., хп - наблюдения, которые независимы и распределены по нормальному закону. Возможны две общие модели аномальных наблюдений.

1. Гипотеза отличия в сдвиге (модель 1) предполагает, что (п - к) величин имеют одинаковое распределение N(^ о), а оставшиеся к (заранее неизвестно, какие именно) имеют математическое ожидание m +1 s (i = 1, к) и общую дисперсию о2.

2. Гипотеза отличия в масштабе (модель 2) предполагает, что к случайных величин имеют закон распределения n (m, 1 s), li. Нулевой гипотезой в каждой модели является к = 0.

Поскольку аномальное наблюдение трактуется, как экстремальное по величине, то многие критерии их выявления используют порядковые статистики и их распределения. Другие критерии основаны на вычислении величин, чувствительных к отклонениям от нормальности. Так, выборочная асимметрия и выборочный эксцесс, зависящие соответственно от третьей и четвертой степеней величин вида (xi - x), подобным свойством обладают и используются при анализе аномалий.

Даже ограничивая рассмотрение критериев выявления аномальных наблюдений случаем выборок из нормальной совокупности, можно видеть, что возможны различные постановки задачи в зависимости от информации в параметрах распределения. Пусть Х(1) < Х(2) <...< Х(п)- вариационный ряд для выборки x1, ..., xn, юп = X(n) - Х(1) - выборочный размах. Укажем часто применяемые статистики для вычисления аномальных наблюдений и ситуации, в которых они применяются [2,5]:

а) известны ц и о;

О О О

А = (х(п)-m)/s, ^2=maxlXi-m|/s, A3 =%2 = x(xi -m) /s ;

i

б) известно только о:

B = (X(n) -X)/s, B2 = тах|хг- -x|/s, B3 = (x(n) -X(n-1))/s, B4 = wn /s,

i

B5 =%П-1 = Z(xi -x)2/s2;

в) значения ц и о неизвестны, но имеются независимые оценки Sv

Q = (x(n) -x)/Sv, C2 = max|xi -x|/Sv, C3 = wn /Sv,

i

y _tt max xi x

Г =_x(n) x_ r '

C4 =---—TTTT , C =

2

для о2:

(Z(xi -x)2 + vS2)1/2 ' (Z(xi -x)2 + vSv2)1/2

476

г) ^ и о неизвестны:

О = (х(п) -X)/5, £>2 = шах|х1 -X/5, £ = шп /5, О4 = 4п Е(Х „ Х)

' 53

'х. - х)4 1 п-2 _ 2 _ 1 п-2 —4-, О6 = £ (х1 - х, п -1) , хп, п-1 =-Г £ х

54 52 1=1 п - 2 1=1

1=1

Процентные точки этих и других статистик приведены в [6]. Обращаясь к применению этих статистик, отметим, что статистики А1, В1, В3, С1, С4, О1, О4 главным образом односторонние, позволяющие обнаружить аномально большие наблюдения, а статистики А2, А3, В2, В4, В5, С2, С3, С5, О2, О3, О5, О6, Хп п-1 - это статистики двухсторонних критериев, обнаруживающих и слишком большие, и слишком малые значения наблюдаемых величин. Статистика А2 фактически приводит к проверке неравенства

шаХ Х1 - т < 7 2 о, 1

где уа выбирается для данного уровня значимости из таблиц нормального

распределения, т.е. как решение уравнения

1 ¥ 2 1 г а

2I ехР(-^^ = -.

л/2тс 2 п

Уа 2 п

Эта статистика используется в форме "правила трех сигм": поскольку для нормальной случайной величины вероятность отклонения на 3о от ^ около 0,001.

Отклонения, превышающие эту границу (при числе наблюдений порядка нескольких десятков), характеризуются как аномальные, и соответствующие наблюдения исключаются из рассмотрения с основной массой данных и анализируются особо.

При неизвестных ^ и о критерий, основанный на О4, является в модели 1 локально наиболее мощным против односторонней альтернативы И\: 1оД > 0. Для двухсторонней альтернативы И[: А Ф 0 локально наиболее мощным является критерий О5, основанный на выборочном эксцессе. Однако эти оптимальные свойства не очень важны для практики, поскольку выявляются наблюдения, резко выделяющиеся, т.е. А сильно отличается от 0. В модели 1 с не более чем одним аномальным наблюдением вероятность правильно его выявить максимизируется, если использовать стью-дентизированное экстремальное отклонение О2 (О1 для односторонней альтернативы А > 0, О = (X - Х(1))/ 5 для А < 0). Оптимальность этого критерия доказана и в модели 2 при наличии не более одного аномального наблюдения [7]. Однако в случае двух выбросов, имеющих распределение ^(т + 1о, о) при X ^ да вероятность обнаружения их стремится к нулю ("маскирующий эффект") [1].

Рассмотрим статистику d2. Для определения е-процентной критической точки статистики d2, используется уравнение:

/ _ \

е _ 1 _£ хеУп -2

2п ~ " П_2 ^П _ 1 _ х2 ,

Получение функции мощности критерия, основанного на d2, показано в [8].

Остановимся теперь на выявлении аномальных наблюдений в модели 2. Рассмотрим задачу выявления аномальной группы наблюдений из к групп. Пусть имеются к групп независимых наблюдений по т наблюдений

2 2

в каждой и пусть £1 ,...,Як - соответствующие выборочные дисперсии. Ес-

2 2 2 2 2 ли все к групп однородны, т.е. дисперсии 01 _02 _...Ок, то £1 ,...,Як -

взаимно независимые и одинаково распределенные случайные величины.

Есть подозрение, что одна из групп имеет отличающуюся дисперсию. В

случае справедливости нулевой гипотезы но об однородности групп все

2 - 2 2

Б; ( _ 1, к) распределены как о %т_1/(т -1). Составим отношения

г2 /

2 к 2

О\ _ Я; / X Я/ (* _ 1, к) и положим О _ тах О^ / _1

Гипотеза Н0 отвергается, если О > ше, где юе - решение уравнения кР{О1 >юе}_е.

О1 подчиняется в - распределению: О1~В(р^) с параметрами р _ (т _ 1)/2, р _ (т _ 1)(к _ 1)/2 [3].

До сих пор мы рассматривали выявление резко выделяющихся наблюдений в выборке для одномерной случайной величины. В экспериментах нередко исследуется зависимость некоторой величины от контролируемого параметра При получении зависимостей в автоматизированном режиме регистрации и накопления информации аппаратурный дрейф приводит к согласованным изменениям в соседних точках, т.е. к появлению корреляционных связей.

В [9] предложен критерий, основанный на вычислении отношения определителей выборочных ковариационных матриц

ёе1

«V

det Q

1 N _ _ T 1 N _ _T гДе Q =— Z (xa- x)(xa - x) , Qv=^-T Z (xa - x)(xa- x) •

N a=1 N -1 a=1

a^v

Критерий имеет вид w = min wv £ we, где ю8 - критическое значение

v

для 8-процентного размера критерия. Применение данного критерия требует большого объема вычислений; кроме того, функция мощности его не исследована.

Отметим ограничения, сделанные при рассмотрении критериев аномальности наблюдений.

1. Предполагался нормальный закон распределения совокупности, если верна нулевая гипотеза, причем параметры его одинаковы для всех наблюдений. Если же нулевая гипотеза ошибочна, основная часть наблюдений распределена нормально с одинаковыми параметрами, а аномальные наблюдения имеют другое математическое ожидание (модель 1) или дисперсию (модель 2), однако тоже нормальны.

2. Аномальных наблюдений немного, в идеале - одно на выборку. В противном случае сказывается "маскирующий эффект" и эффективность критериев обнаружения аномалий резко падает.

Однако те соображения, которые обычно приводятся при обосновании нормальности, по меньшей мере, спорны. Так, гипотеза о суммировании большого числа "элементарных" погрешностей практически непроверяемая. Второй фактор, приводящий к нормальности, - асимптотическое поведение распределений - также обычно не действует в чистом виде.

Таким образом, априорные соображения о нормальности регистрируемых величин представляются сомнительными. Проверка закона распределения наблюдаемых величин с помощью опыта показывает, что обычно нормальность не имеет места [4].

Устранение резко выделяющихся наблюдений, изменяя форму "хвостов" распределения, оставляет нетронутой среднюю часть. Поэтому ненормальность сохраняется даже после выявления и устранения сбоев и приводит к тому, что оптимальные для нормального закона методы, критерии и оценки не являются таковыми при обработке обычных в экспериментальной практике выборок [10]. Точечная оценка 0 параметра 0 (случайная величина 0(xi,...,xn)) должна удовлетворять требованиям несме-

/V /V

щенности E 0 = 0о и состоятельности P - lim 0 = 0о. Эти требования

могут и не выполняться для используемых оценок. Так, оценка х1 для математического ожидания несмещенная, но несостоятельная. Оценка дис-

221 П — 2 2 2 персии о (S*) = _ Z (Х1 - x) состоятельная, но E(S*) = (n -1) о / n.

ni=1 2

Поэтому (S*) - смещенная оценка. Однако при n ^ да ее смещение стремится к нулю, следовательно, она несмещенная асимптотически.

Даже ограничиваясь несмещенными и состоятельными оценками, можно указать множество таких оценок. Так, математическое ожидание ^ нормального распределения можно оценить через выборочное среднее х и выборочную медиану m, причем обе оценки состоятельные и несмещенные. Этими же свойствами обладает оценка xp = (1 -ß) x + ßm, 0 < ß < 1.

Встает вопрос о выборе оптимальной в каком-то смысле оценки. При про-

чих равных условиях лучше та оценка, которая "в среднем" ближе к истинной величине оцениваемого параметра, т.е. функция распределения которой "плотнее" локализована около ©о. Однако задача вычисления функции распределения решена лишь для некоторых распределений и оценок. В то же время ряд оценок имеет при п ^ да нормальное распределение, для которого плотность локализации обратна корню из дисперсии. Поэтому за меру качества оценки можно применять ее дисперсию: чем меньше дисперсия оценки, тем она лучше. Вместе с тем показано, что дисперсия несмещенной оценки не может быть произвольно малой [4].

+Г ( Э 1п й¥ ] - ар

-¥ V Э© /0=0о

причем необходимое и достаточное условие равенства записывается в виде

D© >

n

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Э ln dF (xj; ©)

Э©

с вероятностью 1.

К(©)(© -©о) = I I=1

Если © - несмещенная оценка ©0 с конечной дисперсией и при этом не существует другой несмещенной оценки с меньшей дисперсией, то © - эффективная оценка для ©0. Так, оценивание математического ожидания ^ нормального распределения, если дисперсия о2 известна

Э ln f (x; m) Эт

_Э_ Эт

const -

(x -m)

2s2

2

x-m

так что

ОД >о

r\

n J (x -m) dF (x; m)

s

s

n

Поскольку для выборочного среднего Ох =

о

n

1 п

/\ _ А \—'

то | = х = — I XI п1=1

является эффективной оценкой. Для произвольного распределения может не быть эффективной оценки параметра, однако для некоторых оценок неравенство Крамера-Рао переходит в равенство при п ^ да. Такие оценки являются асимптотически эффективными. Обычно они могут быть получены для распределений, описывающих результаты наблюдений, по методу максимального правдоподобия (МП). МП - оценки являются решением уравнения

п

I Э 1п ар(X,; ©).

I=1

Поскольку для измеряемых величин нормальность обычно не имеет места, в принципе, возможно, предложить закон, описывающий их распределение и оценить параметры по методу максимального правдоподобия (МП) для данной функции распределения р. Вместо того чтобы, отказыва-

n

1

оо

ясь от нормальности, искать оценки, настроенные на данное конкретное распределение, можно поступить иначе. Не будем искать эффективных для данного закона оценок, а исследуем оценки, которые имеют высокую эффективность для широкого класса распределений. Такая позиция связана с концепцией робастности, т.е. слабой чувствительностью к отклонениям от стандартных условий. Можно говорить о робастности по отношению к неоднородности дисперсий, к отсутствию независимости, к нарушению нормальности и т.д. Различают робастность к предпосылкам - терпимость к ненормальности распределений на "хвостах", например - стьюдентово11, используемое при построении доверительных интервалов, проверке гипотез. Пример неробастной к предпосылкам статистики %2 и робастность к эффективности - высокую эффективность, несмотря на ненормальность "хвостов".

Рассмотрим робастность на примере оценивания параметра сдвига. Для него имеется большое количество оценок.

Предположим, что производятся многократные измерения интенсивности © некоторого процесса, причем отсутствует систематические ошибки. Тогда, если распределение случайных ошибок унимодально, © является центром распределения, описывающего ошибки, т.е. функция плотности вероятности / (х -0) симметрична относительно вертикальной прямой х = ©. Величина © является параметром сдвига.

Так, если существует математическое ожидание, то + ¥ + ¥ + ¥ ЕХ = Щ = | xdF(x) = | (х-0)й¥(х-0) + 0 { й¥(х-0) = 0. — ¥ —¥ —¥ Однако для распределения Коши с функцией плотности вероятностей

/У ч 1 1

f(х) =--2,

Р1 + (х-0)2

© - параметр сдвига, но конечного первого момента не существует. Если наблюдаемые величины нормальны, то выборочное среднее х - эффективная оценка математического ожидания Если же нормальность не имеет места, эффективность выборочного среднего сильно падает. Так, для смеси нормальных распределений с функцией плотности вероятности

г -а \ ( , г\\2 ^

f (х, 0) = (1 ехР

V

(х -0У 2

+ ,— ехр л/2ро

(х -0)' 2а2

(1)

.2

_ 1 ■

дисперсия х возрастает квадратично с ростом о: Эх = — [(1 -е) + еа" , в то

п

время как нижняя граница примерно постоянна и равна п"1. В этих условиях использование даже такой неэффективный для нормального закона

2

оценки, как выборочная медиана т (ее эффективность равна — = 0,637),

р

выгоднее, чем применение х, если только о достаточно велико, потому что т робастна к отклонениям от нормальности.

В практике испытаний СТС необходимо иметь робастные оценки, почти столь же устойчивые, как выборочная медиана, но высокоэффективные (90 % и выше) для выборок из нормального распределения.

Многие робастные оценки вычисляются по части членов вариаци-

онного ряда х(1) £ х(2) £ кх(п), в частности т = х((п+1)/2) для нечетных п и

для четного п. Часто используется

m

= (x(n/2) + x(n/2+1))/2

а-" обрубленное" среднее

xT (a)

а- винзорированное" среднее

1 n-[na]

- Z xfr,

n - 2[na] k=[na]+1

(2)

x,

w(a)

1

n

([na]) + x(n-[na]+1),

n-[na] ,

Z xk + [na] (x( k=[na]+1

оценка Ходжеса - Лемана

xH-L = median (xj + x j) / 2. 1<i < j < n

М-оценка Хубера получается при минимаксном подходе: для выборки, являющейся смесью распределений с функцией плотности вероятности,

f (x) = (1 -e)^= ехР

(x -Q) 2

2

+ ej (x -Q),

(3)

где ф(х - ©) унимодальна, симметрична относительно 0 и имеет более "тяжелые" хвосты, чем нормальная N(0, 1), строится оценка МП-параметра ©. Рассматривая ее как функционал от ф и найдя "наихудшую" функцию плотности вероятности ф, при которой дисперсия МП-оценки максимальна, Хубер построил минимаксную оценку Т параметра ©, которая получается для распределений, имеющих конечный первый момент а1 при

ф( х -©) = ~ехР {- |х -©}. Тогда М-оценка Хубера находится минимизацией функционала

F= Z Р (xj - T), i=1

где p(t)

t2/2, t < k (e), kltl - k2/2, It > k (e)

а k = k(s) - решение уравнения

k

(2p)-1/2 J exp -k

Г о \

dt = e

n

t

Доказана состоятельность, асимптотическая несмещенность этих и ряда других оценок, их асимптотическая нормальность, вычислены эффективности робастных оценок относительно выборочного среднего (если 0 -робастная оценка, ее эффективность относительно Xeff (0/ х) = DX / D0). Оценки хТ(а) и хЮ(а) имеют при а = 0,1-0,25 эффективности 0,87-0,95 для е = 0 в (1), а при о = 3 и е = 0,05; 8 = 0,1 и 8 = 0,3 относительные эффективности равны 1,20; 1,43 и 1,64 для хн-ь, 1,12; 1,36 и 1,77 для хТ(0,25), 1,21; 1,46 и 1,59 для хТ(од) и т.д.

Однако рассмотренные оценки имеют недостаток: для их оптимального использования требуется знать величину "загрязнения" е (для выбора параметра а, для задания ^е) в М-оценке), обычно в практике неизвестную. Поэтому перспективным представляется использование адаптивных робастных оценок. Для а-"обрубленных" оценок (2) а можно выбирать из условия минимума а-"винзоризованной" оценки дисперсии или в зависимости от значения выборочного эксцесса. Можно использовать также итеративные робастные оценки. Так, в [11] предложен способ последовательного построения оценок математического ожидания и дисперсии,

используя функцию плотности вероятности нормального закона: если 0 и

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

л 2

£ - робастные оценки сдвига и дисперсии на 1-м шаге, то на (1 + 1)-м шаге оценки вычисляются как

1 п

( -Т-1 ю- (х- -е)2

(п - 1)ю,=1 (4)

1 п

0' =-X ЩХ,

пю,=1

Я'2 =

где ю,

1

ехр

(х- -0)

2Я:

2

1

ю = X Ю-; X характеризует быстроту -=1

спадания весовых множителей с удалением от центра. На первом шаге

л _ л 2 2

0 = х , Я = Я . При X ~ 1,5 процедура обычно сходится после 3 - 5 итераций.

Может быть использована также бивес-оценка сдвига [12]

Х*

п

V-!

X ю-

V-=1

п

X ю-х,, -=1

где ю, =

1 -

/ й; Л 2

I у . _ -V* *

•Л-, .Л-

СЯ 0

если |х- - х *| / С8 < 1 в противном случае, а

Я = швй-аПхх - х *| или Я есть половина межквартильного размаха, а кон-1</<п

станта С берется равной 6 и 9.

п

2

Другая трудность при применении робастных оценок вызвана тем, что, поскольку механизм появления аномальных наблюдений, "загрязнения" иной, чем у основной массы наблюдений, центр загрязняющего распределения обычно не совпадает с центром основного. В этих условиях, например, М-оценка Хубера, полученная для модели (3) с совпадающими центрами, не очень эффективна для оценивания положения центра, а адаптивные и итерационные оценки обнаруживают свое преимущество.

Свойства робастных оценок многомерного параметра сдвига исследованы меньше, чем одномерного. Однако для оценок по компонентам типа (3), для хт(а) и хю(а) исследования показали, что в случае к > 3 для

к-мерного нормального распределения с корреляционной матрицей р эффективность робастных оценок относительно х произвольно мала при ёй р ^ 0. Итерационная оценка (4) может быть обобщена на многомерную ситуацию, если в юг- использовать функцию плотности вероятности к-мерного нормального распределения. Проведенные исследования показали ее высокую эффективность. Вместе с тем следует подчеркнуть, что вопрос о парировании многомерных "загрязнений" требует дальнейших исследований [2].

Выводы

Флуктуационные помехи в каналах обмена данными имеют, как правило, нормальное распределение. Однако утверждение о нормальном распределении выходного шума справедливо только для больших отношений сигнала к помехе по мощности для линейных каналов связи. Для нелинейных каналов связи флуктуационный «нормальный» шум приводит к выходной помехе с распределением, отличным от нормального. Отличие проявляется в присутствии, наряду с малыми ошибками, имеющими нормальный закон распределения на выходе приемного устройства канала обмена, аномальных ошибок, распределение которых близко к равномерному закону. Интервалы времени между аномальными выбросами подчинены распределению Пуассона. Этот вид помех можно отнести к классу аддитивных.

1. При получении зависимостей в автоматизированном режиме регистрации и накопления информации аппаратурный дрейф приводит к появлению корреляционных связей. При этом техника выявления одномерных резко выделяющихся наблюдений не является эффективной. При редуцировании данных резко выделяющиеся наблюдения целесообразно не отбрасывать, а учитывать с меньшим весом, чем основную массу измерений. В многомерном случае необходимо учитывать не только уклонения, но и ковариации компонент измерений.

2. Исправленные данные не образуют популяции с нормальным законом распределения, даже если исходные «неиспорченные» данные были нормально распределены. Такая ситуация характерна не только при обработке наблюдений с выявлением среди них аномальных выбросов, но ти-

484

пична в задачах анализа и обработки экспериментальных данных измерений. Эти особенности приводят к необходимости видоизменения или полной замены оптимальных статистических методов при обработке экспериментальных данных.

3. Получен важный теоретический результат, представляющий большую практическую ценность при проведении оперативного анализа результатов экспериментальных испытаний. Оценки показали, что устранение резко выделяющихся (аномальных) наблюдений, изменяя форму «хвостов» распределения оставляют нетронутой среднюю часть. Поэтому «ненормальность» сохраняется даже после выявления и устранения сбоев и приводит к тому, что оптимальные для нормального закона методы, критерии и оценки не являются таковыми при обработке обычных в экспериментальной практике выборок. В этой связи в практике испытаний СТС необходимо использовать оценки, которые имеют высокую эффективность для широкого класса распределений- адаптивные робастные оценки. Эти оценки имеют важное преимущество- их можно использовать при обработке наблюдений в реальном времени проведения летного эксперимента.

Список литературы

1. Дементьева М.А., Самойлов В.К., Сергеев Л.В. Приборы и установки для научных исследований. М.: Энергия, 1980.

2. Иванющенко А.С., Козлов Н.Н., Соколюк В.Л. Методологические основы испытаний сложных систем. Кн. I. Математическое обеспечение испытаний летательных аппаратов. М.: Технологии информационных систем, 2002.

3. Иванющенко А.С. Построение эталонных траекторий летательных аппаратов. М.: Изд-во ФВА РВСН, 2001.

4. Крамер Г. Математические методы статистики. М.: Мир, 1975.

5. Методологические основы испытаний сложных систем. Кн. V. Оперативный анализ характеристик летательных аппаратов / Е.В. Гаври-лин, А.И. Иванов, А.С. Иванющенко, И.С. Мироненко, А.М. Московский. М.: Изд-во Технологии информационных систем, 2004.

6. Большев Л.Н. Теория вероятностей и ее применение. 1961. № 6.

7. Кендал М.Дж., Стюарт А. Статистические выводы и связи. М.: Наука, 1973.

8. Дейвид Г. Порядковые статистики. М.: Наука, 1979.

9. Шеффе Г. Дисперсионный анализ. М.: Физматгиз, 1961.

10. Тихонов А.Н., Уфимцев М.В. Статистическая обработка результатов экспериментов. М.: Изд-во МГУ, 1988.

11. Мешалкин Л. Д. Параметризация многомерных распределений. Прикладной многомерный статистический анализ. М.: Наука, 1978.

12. Большев Л.Н. О критериях исключения резко выделяющихся наблюдений // Труды ИПМ ТГУ. Тбилиси: Изд-во ТГУ, 1969.

Есиков Олег Витальевич, д-р техн. наук, профессор, главный специалист, cdbaea cdbae.ru, Россия, Тула, АО «Центральное конструкторское бюро аппарато-строения»,

Бортников Андрей Александрович ведущий инженер, infacdhae.ru, Россия, Тула, АО ««Центральное конструкторское бюро аппаратостроения»

Пафиков Евгений Анатольевич канд. техн. наук, начальник отдела, niri-opaii@mail.ru Россия, Пенза, Филиал Военной академии материально-технического обеспечения

QUALITY ASSESSMENT MEASUREMENT INFORMATION IN THE EXISTENCE OF ANOMALOUS OBSERVATIONS

O. V. Esikov, A.A. Bortnikov, E.A. Pafikov

Two general models of anomalous observations are proposed, the most frequently used statistics for calculating anomalous observations and the situations in which they are applied are determined. Restrictions were introduced when considering the criteria for anomalous observations. The estimates of experimental data that are highly effective for a wide class of distributions, which is associated with the concept of robustness, i.e. weak sensitivity to deviations from standard conditions. The consistency is proved, the asymptotic unbi-asedness of these and a number of other estimates, their asymptotic normality, and the effectiveness of robust estimates relative to the sample mean.

Key words: complex technical systems, measurement information processing.

Esikov Oleg Vitalievich, doctor of technical sciences, professor, chief specialist, cdbaea cdbae.ru, Russia, Tula, JSC «Central Design Bureau of Apparatus Engineering»

Bortnikov Andrey Aleksandrovich, leading engineer, infacdbae.rH, Russia, Tula, JSC Central Design Bureau of Apparatus Engineering,

Pafikov Evgeniy Anatolievich, candidate of technical science, head of the department, niriopaiia mail. ru, Russia, Penza, Branch of the Military Academy of Material and Technical Support

i Надоели баннеры? Вы всегда можете отключить рекламу.