CC BY
9ISSN 1814-1196
http://journals. nstu. ru/vestnik Science Bulletin of the NSTU Vol. 58, No. 1, 2015, pp. 76-93
Научный вестник НГТУ том 58, № 1, 2015, с. 76-93
ОБРАБОТКА ИНФОРМАЦИИ
INFORMATION PROCESSING
УДК 519.233.22
0 свойствах условно оптимальных оценок
Д.В. ЛИСИЦИН1, КВ. ГАВРИЛОВ2
1 630073, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет, доктор технических наук, профессор. E-mail: [email protected]
2 630005, РФ, г. Новосибирск, ул. Достоевского, 58, офис 508, ООО «Научно-производственное предприятие "Логос-Плюс"», инженер-программист, кандидат технических наук. E-mail: [email protected]
Работа посвящена теоретическому исследованию свойств условно оптимальных М-оценок в рамках подхода А.М. Шурыгина к задаче устойчивого оценивания скалярного параметра распределения одномерной случайной величины. В основе подхода лежит использование двух критериев качества оценок - асимптотической дисперсии и неустойчивости, представляющей собой квадрат £2-нормы функции влияния Ф. Хампеля. Условно оптимальные оценки определяются в результате оптимизации одного из критериев при ограничении сверху на величину другого. Рассматриваемая задача является важным частным случаем ранее изученной задачи устойчивого оценивания векторного параметра по неоднородным многомерным неполным данным с использованием критерия качества в виде квадрата весовой £2-нормы функции влияния. В частности, условно оптимальные оценки определяются там с использованием двух указанных критериев с разными весами. В настоящей работе рассматриваются два варианта параметризации условно оптимального семейства оценок. Их использование позволило найти ряд соотношений между основными характеристиками оценок. Показано, как меняются эти характеристики в пределах семейства. В частности, показана монотонность асимптотической дисперсии и неустойчивости как функций параметра, задающего семейство, доказана теорема о единственности оценок. Исследованы также ранее введенные сверхустойчивые условно оптимальные оценки, которые являются расширением семейства в область отрицательных значений параметра, задающего семейство. Для этих оценок оказываются справедливыми те же связи между основными характеристиками, что и для условно оптимальных оценок, получены аналогичные результаты о свойствах этих характеристик. Введено расширенное условно оптимальное семейство как объединение условно оптимальных и сверхустойчивых условно оптимальных оценок. Доказана теорема о единой оптимизационной формулировке для оценок расширенного семейства и их единственности. Для иллюстрации полученных в работе результатов рассмотрены условно оптимальные оценки для параметров сдвига и масштаба распределения Коши. Найдены аналитические выражения для соответствующих оценочных функций и основных характеристик оценок, произведено сравнение с медианными оценками.
Ключевые слова: оценивание параметров, М-оценка, устойчивое оценивание, робаст-ность, функция влияния, параметр сдвига, параметр масштаба, распределение Коши, асимптотическая дисперсия оценки
БО!: 10.17212/1814-1196-2015-1-76-93
Статья получена 15 сентября 2014 г.
ВВЕДЕНИЕ
В последнее время получили развитие и продолжают активно развиваться методы устойчивого (робастного) оценивания параметров статистических моделей. В отличие, например, от такого известного классического метода оценивания, как метод максимального правдоподобия [1], робастные методы [1-4] направлены на обеспечение устойчивости оценок к отклонению распределения наблюдений от модельного.
Рассматриваемая в настоящей работе теория является развитием локально устойчивого подхода А.М. Шурыгина [2, 5-7], основанного на оптимизации L -нормы функции влияния Ф. Хампеля [3]. Предложенное в [2] условно оптимальное семейство оценок обеспечивает компромиссную оптимизацию двух важных критериев оптимальности - неустойчивости и асимптотической дисперсии оценок. Однако, несмотря на очевидную прикладную полезность условно оптимального семейства оценок, его свойства к настоящему времени недостаточно изучены. В работе получен и проинтерпретирован ряд результатов, касающихся свойств указанных оценок.
Теория устойчивого оценивания на базе подходов Ф. Хампеля и А.М. Шурыгина развивается нами в [5, 7-13]. В частности, рассматриваемая задача оказывается важным частным случаем общей задачи, изученной в [5].
В настоящей работе установлен ряд связей между основными характеристиками условно оптимального семейства оценок; показано, как меняются эти характеристики в пределах семейства; доказана теорема о единственности условно оптимальных оценок. Исследованы также введенные в [5] сверхустойчивые условно оптимальные оценки, которые представляют собой распространение семейства в область отрицательных значений параметра, позволяющего управлять устойчивостью. Поскольку эти оценки формально принадлежат условно оптимальному семейству (точнее, его продолжению c той же функциональной формой), для них оказываются справедливыми основные соотношения, полученные для данного семейства, что удобно на практике. Сверхустойчивые оценки обеспечивают качественно более высокую устойчивость, чем максимально устойчивая оценка в подходе А.М. Шурыгина. Для иллюстрации полученных результатов изучаются условно оптимальные и медианные [8, 14] оценки для параметров сдвига и масштаба распределения Коши.
1. УСЛОВНО ОПТИМАЛЬНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
Пусть xj,...,xm - наблюдения случайной величины имеющей распределение с модельной плотностью f (x, 9), где f (x, 9) > 0 при x е X с R, и параметром 9е0сR. Заметим, что реальное распределение наблюдаемой случайной величины может отличаться от модельного. М-оценка неизвестного параметра 0 распределения может определяться [4] как решение оптимизационной задачи
m
9 = argmin Ур( x, 9), 9 ,-=1
где p(x, 9): X х 0 ^ R - непрерывная, дифференцируемая почти всюду функция, называемая функцией потерь. Условие равенства нулю производ-
ной по 0 оптимизируемой функции называется оценочным уравнением, которое также может служить альтернативной формулировкой задачи М-оце-нивания:
т
!у( , е) = о,
г=1
где функция
у(х,0) = с(0) р(х,0) (1)
называется оценочной функцией для параметра 0, с(е) - произвольная непрерывная функция, не равная нулю для всех ее© . Здесь и далее точкой сверху обозначено дифференцирование по оцениваемому параметру. Оценочные функции, различающиеся только сомножителем с(е), образуют семейство эквивалентных оценочных функций, которым соответствуют одинаковые решения оценочного уравнения.
Необходимым условием состоятельности оценки является условие асимптотической несмещенности [14]:
Еу(^, е) =| у( х, е) / (х, е)ёх = о, (2)
X
где Е - оператор математического ожидания по плотности распределения
/ (х, е).
Допуская возможность изменения порядка дифференцирования и интегрирования, можно записать следующие равенства [2]:
а/ д N (е) =--Е 1) д1
= = | у(х,0)/(х,0)Л. (3)
г=е х
Потребуем, чтобы все три выражения в (3) совпадали, функция ^е) была непрерывной и не равной нулю для всех ее© [10]. Функция влияния [3] для М-оценок может быть определена выражением
ш( х, е) = у( х, е)/N (е)
и является, таким образом, оценочной функцией, эквивалентной у(х, е) .
Для сравнения различных оценок между собой в подходе А.М. Шурыги-на используются такие характеристики, как неустойчивость и асимптотическая дисперсия оценки [2]. Они определяются, соответственно, следующим образом:
Ж (у, /) = N ~2 (е) | у2 (х, е)Л = | Ш2 (х, е)ёх;
X X
г (у, /)=N-2 (е) | у2 (х, е)/(х, е^ = Е ш2 (х, е).
X
Оценка и соответствующая оценочная функция в данном подходе называются устойчивыми, если Ж (у, /) <да [2]. Эффективностью и устойчивостью оценки называются соответственно относительные характеристики
ей1у = Г(уомп,/)/V(у,/); ^Ьу = Ж(уому,/)/Ж(у,/),
где Уомп соответствует оценке максимального правдоподобия (ОМП), минимизирующей V (у, /), у ому - оценке максимальной устойчивости (ОМУ) [2], минимизирующей Ж (у, /) .
Определение 1. Условно оптимальными называются оценки, имеющие минимальную неустойчивость при ограничении сверху на величину асимптотической дисперсии либо минимальную асимптотическую дисперсию при ограничении сверху на величину неустойчивости.
Заметим, что в [2] ограничение на оценки определяется иначе, а именно: там предлагается фиксировать значение асимптотической дисперсии или неустойчивости, однако рассматривается лишь часть решений, возможных при такой формулировке (см. теорему 4' ниже). Мы приводим формулировку условия, которое определяет данное семейство оценок, в виде, дающемся в [5] (см. также [6, 7]).
Семейство условно оптимальных оценок задается оценочной функцией [5]:
-1
у( X, 0, Я) = с(0, Я)
¿1и / (х, 0) + Р(0, Я)
ш
1я
/ (X, 0)
Я> 0, (4)
где функция с(0, Я) имеет тот же смысл, что и в (1), величина р(0, Я) определяется из условия (2). Значение параметра Я = 0 в (4) соответствует ОМП, значение Я = да - ОМУ.
Проведем в выражении (4) репараметризацию, введя параметр у = 1/Я :
у(х,0,у) = с(0,у)
¿1п/(х,0) + Р(0,у) ш
/(х'в) У> о, (5)
1+т / (XX, 0)
где с(0,у) = с(0,Я)/Я = ус(0,Я) . Выражение (5) задает то же семейство оценочных функций, что и (4), но значение у = 0 соответствует ОМУ, значение
у = да - ОМП.
Далее для краткости будем опускать аргументы функций. Так, выражения (4) и (5) можно записать в виде
¥=д±м=а/±м
>• + / 1+у/
Для обеспечения корректности приводимых ниже рассуждений потребуем, чтобы, во-первых, характеристики V и W были непрерывными по Я и у функциями на области их определения; во-вторых, для выписанных ниже интегралов было допустимо, где это необходимо, внесение операции дифференцирования по параметрам Я и у под знак интеграла.
Теорема 1. Для условно оптимальной оценочной функции справедливо
дЯ N ду N
Доказательство. Учитывая (2), воспользуемся представлением Ы= [м/(/~ + В= + = + ™ сЬс.
X 1 1 1 1+т/
Отсюда получаем
дЯ N N дЯ с N х (Я + /)2 N дЯ| Я + /
= -1- | у2^ - 2-^-^ | ш/ ёх = Ж. N2 | N
дуТУ Л^2 ду с Ы2 Зх (1 + у/) Ы2 Зх 1 + у/
N 2 ^ N2 ду ^
Теорема доказана.
Следствие 1 из теоремы 1. Для условно оптимальной оценочной функции, совпадающей с функцией влияния, справедливо
дХ ду
Доказательство. Нетрудно видеть, что для функции влияния N = 1. Следствие доказано.
Следствие 2 из теоремы 1. Для условно оптимальной оценочной функции справедливо
Ш + Г = с/И; у¥ + Ж = с/М. (6)
Доказательство. Первое равенство следует из цепочки
д с д с сГк ( 1 с 1 д с ~ ду N ~ дХ ХИ йу ~ [ \21я"Г\д\]Я
1
7
= — -ЯЖ.
N
Второе равенство в утверждении следствия получается умножением первого равенства на у. Следствие доказано.
Заметим, что равенства (6) также являются частными случаями следствия из теоремы 2 в [10].
Следствие 3 из теоремы 1. Для условно оптимальной оценочной функции справедливо
Доказательство. Выписанные равенства получаются в результате дифференцирования равенств (6) соответственно по Я и у.
Лемма 1. Для условно оптимальной оценочной функции справедливо
откуда следует утверждение леммы.
Теорема 2. Неустойчивость условно оптимальной оценки есть убывающая функция параметра Я и возрастающая функция параметра у.
Доказательство. Не уменьшая общности рассуждений, в теореме 1 можно положить с = 1. Тогда
Определим знак производной
еж _ 2 т__1_
еЯ = ^ еЯ N2 еЯ2
при конечных значениях Я. Для этого рассмотрим знаки величин в этом выражении, используя условие (2) и лемму 1:
е V _ х е ж еж - _ ^ еЯ еЯ ' еу еу
Доказательство. Согласно условию (2) имеем
Ж =
__^
еЯ N " N2 еЯ .
ёх =
Действительно, последнее неравенство можно записать в виде
| У / ф йх < | у2 ф йх | /2 ф йх ,
V X
X X
где ф = 1/(Я + /). Это частный случай неравенства Коши-Буняковского. Равенство в нем достигается только при у = с/, однако такая функция у не может быть оценочной функцией из-за несоблюдения условия (2).
Таким образом, еж/еЯ<0 при Я<да, т. е. выполнено достаточное условие убывания функции по Я. Точка Я = да включается в промежуток убывания.
Возрастание функции W по параметру у следует из условия
еж еж йя 1 еж Л
> 0 при 0 < у < да.
еу ея йу у2 ея
Граничные точки у = 0 и у = да включаются в промежуток возрастания функции. Теорема доказана.
Теорема 3. Асимптотическая дисперсия условно оптимальной оценки есть возрастающая функция параметра Я и убывающая функция параметра у.
Доказательство. Воспользуемся теоремой 2 и следствием 3 из теоремы 1:
е V еж
— = —Я-> 0 при 0 <Я<да;
ея ея еv 1 еж Л
-=---< 0 при 0 < у < да.
еу у еу
Таким образом, выполнены соответствующие достаточные условия строгой монотонности функции V. Граничные точки Я = 0, Я = да и у = 0, у = да включаются соответственно в промежутки возрастания и убывания функции. Теорема доказана.
Теорема 4. Пусть задана верхняя граница ж неустойчивости W или верхняя граница V) асимптотической дисперсии V оценки, так что соответственно жОму - ж — ж0 или ^МП - V — V). Тогда в рамках принятых условий регулярности каждое такое ограничение однозначно определяет условно оптимальную оценку, которой соответствуют некоторые неотрицательные значения параметров Я и у.
Доказательство. Покажем, используя определение 1, что каждому ж отвечает единственная условно оптимальная оценка. Если ж > жОмп, то, очевидно, минимальное значение асимптотической дисперсии достигается для единственной оценки, являющейся ОМП (Я = 0, у = да). Пусть теперь
жОму — ж) < жОмп . В силу теорем 2 и 3 неустойчивость и асимптотическая дисперсия являются непрерывными строго монотонными функциями параметров Я и у, поэтому минимальное значение V достигается для единствен-
2
ных значений Я и у, которым соответствует W = Wq . Аналогично доказывается единственность условно оптимальной оценки при ограничении ^ОМП - V - Vq . Теорема доказана.
В результате можно сформулировать следующую структуру условно оптимального семейства оценок, заданного определением 1. Для ограничения вида V - Vq , где Vq > ^Омп : в случае ^Ому < Vq решением является ОМУ; в остальных случаях решением является условно оптимальная оценка, для которой соответствующее ограничение обращается в равенство V = Vq . Для ограничения вида W - WQ, где WQ > Жму: в случае Жмп < Wq решением является ОМП; в остальных случаях решением является условно оптимальная оценка, для которой соответствующее ограничение обращается в равенство W = Wq .
3. СВЕРХУСТОЙЧИВЫЕ УСЛОВНО ОПТИМАЛЬНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
Утверждения теоремы 1 и ее следствий остаются справедливыми, если множество значений параметра Я в выражении (4) дополнить отрицательными значениями
Я<-max f (x,0) . (7)
xeX
Для семейства (5) соответствующее условие имеет вид
-1/max f (x,0) <у<0. (8)
/ xeX
Указанные ограничения на значения параметров у и Я обеспечивают регулярность модели. Хотя оценки из семейств (4) и (5) могут оказаться состоятельными и при нарушении условий (7) или (8), мы такие случаи не будем рассматривать ввиду того, что они не носят общий характер. Величина
max f (x, 0), вообще говоря, зависит от оцениваемого параметра 9.
xeX
Определение 2. Оценки, которым соответствуют оценочные функции вида (4) или (5), удовлетворяющие соответственно ограничениям (7) или (8), называются сверхустойчивыми условно оптимальными оценками [5].
Заметим, что сверхустойчивые условно оптимальные оценки, строго говоря, не принадлежат условно оптимальному семейству, поскольку не являются решением исходной оптимизационной задачи. В случае использования параметра у для получения сверхустойчивых оценок следует изменить формулировку задачи [5], а именно необходима минимизация неустойчивости с ограничением-равенством на асимптотическую дисперсию V = Vq (как это сделано при определении условно оптимальных оценок в [2]) при Vq > ^Ому . В случае использования параметра Я сверхустойчивые оценки не могут быть формально получены в рамках теории, изложенной в [5], но могут быть получены в результате репараметризации. Кроме того, заметим, что понятие сверхустойчивости выходит за рамки локально устойчивого подхода
А.М. Шурыгина [2], поскольку самой устойчивой оценкой в нем считается ОМУ, а показатель W для сверхустойчивых оценок не может служить подходящей мерой неустойчивости. Тем не менее формальное распространение условно оптимального семейства на область отрицательных значений параметров у или X позволяет получить оценочные функции качественно более устойчивые, чем ОМУ.
С другой стороны, можно показать [5], что сверхустойчивые условно оптимальные оценки доставляют минимум функционалу
Uy (у, f) = { IF2(х,0)[1 + у f (х,9)] dx = W(у, f) + Y V(y, f),
X
который при любых допустимых отрицательных значениях у может служить мерой неустойчивости более «жесткой», чем W, а сам критерий W с этой точки зрения может рассматриваться как промежуточный (компромиссный)
между Uy и V:
W (y,f) = Uy (y,f) + kV (y,f),
где k = -y > 0.
На практике сверхустойчивые оценки могут оказаться полезными, когда специфика засорения наблюдений такова, что робастных свойств ОМУ недостаточно, а выбор подходящей «жесткой» меры неустойчивости затруднен. Эти оценки удобны тем, что для них остаются справедливыми основные соотношения, полученные для членов условно оптимального семейства.
Определение 3. Условно оптимальное семейство, дополненное сверхустойчивыми условно оптимальными оценками, назовем расширенным.
Для сверхустойчивых условно оптимальных оценок имеют место аналоги теорем 2 и 3.
Теорема 2'. Неустойчивость сверхустойчивой условно оптимальной оценки есть возрастающая функция параметра X и убывающая функция параметра у.
Доказательство. Пусть c = 1. Согласно теореме 1 определим знак производной
dW 2 dN 1 д2N
дЯ N3 дЯ N2 дЯ2
при —<»<Я< —тах /(х, е) . Для этого рассмотрим знаки величин в этом вы-
хеХ
ражении, используя условие (2) и лемму 1:
X Я+/
»=_г </±М>1 Л+, <шпи- </±М>1Л<о: дЯ X (я+/ дЯ X я+/ X (Я+//
d2N _2 f(/ + P/)2 ая2 1 (я+/)3
J
ер г (/+Р/)/
^ X (я+f )2
¿¿Г =
XX (я +f )3
..X (я+f )2 .
f dx < 0. |я+f
Действительно, последнее неравенство можно записать в виде
J у f ф dx < J у2 ф dx J f2 ф dx,
Vx .J X X
где ф = — 1/(Я + f) . Это частный случай неравенства Коши-Буняковского.
Таким образом, 5W/0 при —<»<Я< —max f (x,0) , т. е. выполнено
xeX
достаточное условие возрастания функции по Я. Убывание функции W по параметру у при условии (8) следует из соотношения
aw aw dя
l aw
ay ая dy у2 ая
< о.
Теорема доказана.
Теорема 3'. Асимптотическая дисперсия сверхустойчивой условно оптимальной оценки есть возрастающая функция параметра Я и убывающая функция параметра у.
Доказательство. Воспользуемся теоремой 2' и следствием 3 из теоремы 1:
av aw
— = —Я->0 при —да<Я<—maxf (x,0);
aя aя xeX
av l aw
— =---< 0 при — 1/max f (x, 0) < у < 0.
ay у ay / xeX
2
2
Таким образом, выполнены соответствующие достаточные условия строгой монотонности функции V. Теорема доказана.
Перейдем к формулировке теоремы об оптимальности и единственности оценок расширенного условно оптимального семейства. Она не вполне аналогична теореме 4 и, кроме того, вводит единую оптимизационную формулировку расширенного условно оптимального семейства. Подчеркнем, что в рамках этой единой формулировки сверхустойчивые оценки выступают уже не как эвристическое дополнение, а как равноценные (первоначально введенным) условно оптимальным оценкам.
Теорема 4'. Пусть решается задача минимизации неустойчивости W при условии, что асимптотическая дисперсия оценки V = Vо, где ^ОМП - V} < ^ах, Vmax - предел асимптотической дисперсии оценки при
y ^ -1/max f (х, 9) или X ^ - max f (х, 9). Тогда в рамках принятых условий
/ xeX хеХ
регулярности решением задачи является расширенное условно оптимальное семейство оценок, причем каждое значение V0 однозначно определяет оценку из данного семейства.
Доказательство. Применяя рассуждения из [5] к одномерному случаю, можно показать, что минимизация W при ограничении вида V = Vo, где Vo > ^ому , приводит к сверхустойчивым условно оптимальным оценкам. В случае VoMn - V) - VoMy ограничение V = Vo эквивалентно ограничению
V — Vo, поскольку в этом случае решение задачи при ограничении V — Vo принадлежит условно оптимальному семейству и удовлетворяет условию
V = Vo . В силу теорем 3 и 3' асимптотическая дисперсия является непрерывно убывающей функцией параметра у всюду для расширенного условно оптимального семейства, поэтому каждому значению Vo соответствует единственное значение у, а следовательно, и X. Теорема доказана.
4. ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ КОШИ
Рассмотрим распределение Коши с плотностью
9 1
f (х, Ц, 9) = - --j , 9 > 0, х g R,
п 92 + (х -ц)2
где ц - параметр сдвига, 9 - параметр масштаба. Будем строить оценочные функции вида (5), так как для наших целей они удобнее по сравнению с семейством (4). Для данного распределения
max f (х, ц, 9) = 1/ (п 9),
xeR
поэтому должно выполняться условие у > — 710 . Кроме того, будем использовать значение с = 1. Для упрощения формул введем обозначение у = 7/(710). Для сравнения также рассмотрим медианные оценки параметров [8, 14]. Ро-бастное оценивание параметров распределения Коши рассматривалось также в [2], в частности там приведена ОМУ.
Пусть оценивается параметр ц. Поскольку это параметр сдвига, справедливо Р = 0 [11]. Для условно оптимальной оценки имеют место следующие равенства:
1 + у/ 7t03[l + (x-|a)2/e2][l + (x-|a)2/e2+y]' '
N =
4
Г1 1 | уГТу-0
тг03[8у 2у2 у3 1
при у Ф 0;
4л 03
при у = 0.
Заметим, что функция N является непрерывной по у:
V =
59 /2 при у = 0; 292у2 (у + бд/ГТ^ - 4у ^/ГТ - 6)
[(у-4)Л/ГТ^ + у + 4]2
при у Ф 0, у < со;
292
при у = <
47г93 при у = 0;
Ж = <-————--—— при у ^ 0, у < со;
[8 — 8Л/1+У — у2 + 4у]2
87Г0 при у = СО.
Для медианной оценки параметра ц имеют место равенства: Ш = лesgn(х— ц)/2; V = л292/4 ; Ж = ;
= 8/ л2 « 81,06%; ЙЬ = 0 .
Медианная оценка параметра сдвига является неустойчивой, при том что ее асимптотическая дисперсия и эффективность оказались близки к соответствующим показателям ОМУ (592/2 и 80 %).
Рассмотрим графики основных характеристик условно оптимальных оценок. На рис. 1 показана зависимость величины N от у при 9 = 1. Функция является положительной, непрерывно убывающей для всех у > — п. Это согласуется с условиями регулярности на величину N и теоремой 1 (так как V > 0).
На рис. 2 показаны графики зависимостей эффективности и устойчивости оценок от параметра к = у/(у + У0), где У0 = 3 л е - значение параметра у, соответствующее равнооптимальной оценке [10, 12]. Данная оценка характеризуется одинаковыми значениями эффективности и устойчивости и потому может играть роль условного центра семейства. Кроме того, нетрудно видеть, что
у = ^0К, — 1 <к-1.
1 — к 2
Использование параметра к вместо у делает графики нагляднее, в частности устраняет зависимость от параметра масштаба 0. Графики на рис. 2 демонстрируют одновременное увеличение показателей эффективности и устойчивости сверхустойчивых оценок (случай отрицательных значений к), тогда как для к > 0 показатели устойчивости и эффективности меняются в разных направлениях.
Рис. 1. Величина N для оценок Рис. 2. Эффективность и устойчивость
параметра сдвига оценок параметра сдвига
На рис. 3 и 4 показаны соответственно графики асимптотической дисперсии и неустойчивости в зависимости от у при е = 1. Промежутки возрастания и убывания функций соответствуют утверждениям теорем 3, 3' и 2, 2'.
Рис. 3. Асимптотическая дисперсия Рис. 4. Неустойчивость оценок
оценок параметра сдвига параметра сдвига
На рис. 5 показаны графики функций влияния ОМП, ОМУ, сверхустойчивой оценки, соответствующей значению параметра у = —2,5, и медианной оценки параметра сдвига. График медианной оценочной функции подписан как «med». При построении графиков использовались значения ц = 0, 0 = 1. Характерной чертой распределения Коши является то, что ОМП параметра сдвига является устойчивой оценкой (stb Уомп = 50 %). Как следствие, оценочная функция ОМП имеет асимптотой ось абсцисс. Также на графике видно, что сверхустойчивая оценочная функция обеспечивает меньшее влияние на оценку отдаленных наблюдений, чем ОМУ, поскольку она быстрее стремится к нулю при увеличении модуля аргумента. С другой стороны, чем меньше у, тем больше максимальное возможное значение модуля смещения оценки, определяемое по максимуму модуля функции влияния [3], а наименьшее значение последнего показателя, согласно теории [3], имеет медиана.
У = -2,5
у = 0 (ОМУ)
у = да (ОМП) med
е = 1 ц = 0
N = 1
Рис. 5. Функции влияниядля оценок параметра сдвига
Пусть оценивается параметр 0 модели. Для условно оптимальной оценки данного параметра имеют место следующие равенства:
0у
(х-ц)2-е2 , уГТУ-1
у = с
/+Р/_ +е
1+у/ ле2[1 + (х-ц)2/е2+у] 1-20(3 1/2 - (лДТТ ~ 1) /у
, у >-1;
N =
2лу0
71 у0
при у^О;
8л е3
при у = 0.
Заметим, что функция N является непрерывной по у.
V =
49 при у = 0;
2у9
1 + У-Л/Г
при у Ф 0, у < со;
■у
Ж =
29 при у = со,
8л93 при у = 0;
2л03[(2 + у)Д/1 + у+2] при у ^ 0, у <со; со при у = СО.
На рис. 6 показаны графики зависимостей эффективности и устойчивости условно оптимальных оценок от параметра к = у/(у + У0) , где У0 = 8л е - значение параметра у, соответствующее равнооптимальной оценке, —17 <к< 1. Заметим, что ОМП параметра масштаба, в отличие от ОМП параметра сдви-
У
1
га, является неустойчивой с точки зрения рассматриваемой теории, хотя обе оценки устойчивы в смысле 5-робастности [3].
Рис. 6. Эффективность и устойчивость оценок параметра масштаба
Для медианной оценки параметра 0 имеют место равенства
Ш = л0sgn(|x-ц | -0)/2; V = л2е2/4 ; Ж = <ю; eff = 8/л2 « 81,06 %; йЬ = 0 .
Характеристики медианных оценок для параметров сдвига и масштаба оказались одинаковыми.
Y = -2,5 2 >0) = 0 (ОМУ)
1
-3 -2 -1 х\\-1 - о // 1 2 x 3
е = 1 ц = о med Vl^— / Y = ю (ОМП)
N = 1 -7 -
Рис. 7. Функции влияния для оценок параметра масштаба
На рис. 7 показаны графики функций влияния ОМП, ОМУ, сверхустойчивой оценки, соответствующей значению параметра у = —2,5, и медианной оценки параметра масштаба. График медианной оценочной функции подписан как «med». При построении графиков использовались значения ц,= 0, 0 = 1. Как и в случае оценивания параметра ц, графики демонстрируют увеличение скорости приближения к оси абсцисс с уменьшением у (в случае у = ж оценочная функция стремится к отличной от нуля константе) при одновременном увеличении максимального возможного модуля смещения оценки.
ЗАКЛЮЧЕНИЕ
В работе получены теоретические результаты, являющиеся дальнейшим развитием подхода А.М. Шурыгина к задаче устойчивого оценивания параметров статистических моделей. Полученные результаты позволили показать единственность условно оптимальных оценок и установить ряд свойств данного семейства. Найденные соотношения между основными характеристиками оценок позволяют упростить процедуру их построения и исследования. Так, свойства условно оптимальных оценок использовались при исследовании модели распределения Коши в п. 4. В работе также исследованы свойства сверхустойчивых условно оптимальных оценок, являющихся расширением семейства.
СПИСОК ЛИТЕРАТУРЫ
1. Боровков А.А. Математическая статистика. - Новосибирск: Наука, 1997. - 772 с.
2. Шурыгин А.М. Математические методы прогнозирования: учебное пособие для вузов. - М.: Горячая линия-Телеком, 2009. - 180 с.
3. Робастность в статистике: подход на основе функций влияния: перевод с английского / Ф. Хампель, Э. Рончетти, П. Рауссеу, В. Штаэль. - М.: Мир, 1989. - 512 с.
4.ХьюберП. Робастность в статистике. - М.: Мир, 1984. - 303 с.
5. Лисицин Д.В. Устойчивое оценивание параметров модели по многомерным неоднородным неполным данным // Научный вестник НГТУ. - 2013. - № 1 (50). - С. 17-30.
6. Shevlyakov G., Morgenthaler S., Shurygin A. Redescending M-estimators // Journal of Statistical Planning and Inference. - 2008. - Vol. 138, iss. 10. - P. 2906-2917. - doi: 10.1016/j.jspi.2007.11.008.
7. Lisitsin D.V. Robust estimation of mixed response regression models // Applied Methods of Statistical Analysis. Applications in Survival Analysis, Reliability and Quality Control -AMSA'2013, Novosibirsk, Russia, 25-27 September, 2013: proceedings of the International Workshop. - Novosibirsk, 2013. - P. 139-144.
8. Лисицин Д.В. Устойчивые методы оценивания параметров статистических моделей: учебное пособие. - Новосибирск: Изд-во НГТУ, 2013. - 76 с.
9. Лисицин Д.В., Гаврилов К.В. Оценивание параметров финитной модели, устойчивое к нарушению финитности // Сибирский журнал индустриальной математики. - 2013. - Т. 16, № 2 (54). - С. 109-121.
10. Лисицин Д.В., Гаврилов К.В. Об устойчивом оценивании параметров модели при асимметричном засорении данных // Научный вестник НГТУ. - 2008. - № 1 (32). - С. 33-40.
11. Лисицин Д.В., Гаврилов К.В. О некоторых свойствах М-оценок // Сборник научных трудов НГТУ. - 2011. - Вып. 2 (64). - С. 61-68.
12. Лисицин Д.В., Гаврилов К.В. Устойчивое оценивание параметров модели при асимметричном засорении данных // Известия Международной академии наук Высшей школы. -2006. - № 1 (35). - С. 60-73.
13. Лисицин Д.В. Свойства инвариантности при оценивании параметров модели в условиях байесовского точечного засорения // Доклады Академии наук высшей школы Российской Федерации. - 2010. - № 1 (14). - С. 18-25.
14. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: (статистическая обработка неоднородных совокупностей). - М.: Статистика, 1980. - 208 с. - (Математическая статистика для экономистов).
Лисицин Даниил Валерьевич, доктор технических наук, профессор кафедры теоретической и прикладной информатики Новосибирского государственного технического университета. Основное направление научных исследований - методы построения многофакторных моделей по статистическим данным. Имеет более 90 публикаций, в том числе одну монографию. E-mail: [email protected].
Гаврилов Константин Викторович, кандидат технических наук, инженер-программист НПП «Логос-Плюс». Основное направление исследований - устойчивые методы статистической обработки данных. Имеет 14 публикаций. E-mail: [email protected].
On properties of conditionally optimal estimates
D. V. LISITSYN1, K. V. GAVRILOV2
1 Novosibirsk State Technical University, 20 K. Marx Prospekt, Novosibirsk, 630073, Russian Federation, D.Sc. (Eng.), professor. E-mail: [email protected]
2 Logos-Plus company, Ltd, office 508, 58 Dostoyevsky St., Novosibirsk, 630005, Russian Federation, engineer-programmer, PhD (Eng.). E-mail: [email protected]
The paper is devoted to theoretical research of properties of conditionally optimal M-estimates by using A. M. Shurygin's approach to the robust estimation problem for a scalar parameter of one-dimensional random variable distribution. The approach is based on two criteria of the estimation quality: asymptotic variance and instability which is a square of the L2-norm of F. Hampel's influence function. Conditionally optimal estimators are defined by optimizing one of the two criteria with the second criterion value bounded from above. The problem in question is an important special case of the previously considered problem of stable estimation of a vector parameter under nonhomogeneous multivariate incomplete data where conditionally optimal estimators are defined by using two quality criteria represented by squares of the weighted L2-norm of the influence function with different weights. In particular, conditionally optimal estimators are defined there with the use of the above two criteria with different weights. In the present paper two versions of the parameterization of a conditionally optimal family are considered. Their use has allowed us to discover a number of relations between base characteristics of estimates. It is shown how these characteristics change within the family. In particular, the monotony of asymptotic variance and instability as functions of the parameter defining the family is shown and the theorem of the uniqueness of estimators is proved. Previously introduced superstable conditionally optimal estimates which are the extension of the family to the range of negative values of the parameter defining the family are also investigated. The same relations between basic characteristics as for conditionally optimal estimates are valid for these estimates.. Similar results about the properties of these characteristics are obtained. An extended conditionally optimal family of estimates as a combination of conditionally optimal and superstable conditionally optimal estimates is introduced. The theorem of a unified optimization statement for estimators of the extended family and their uniqueness is proved. To illustrate the results obtained in the paper we consider conditionally optimal estimates for the location and scale parameters of the Cauchy distribution. Analytical expressions for the corresponding score functions and basic estimate characteristics are obtained and compared with median estimators.
Keywords: parameter estimation, M-estimation, stable estimation, robustness, influence function, location parameter, scale parameter, Cauchy distribution, asymptotic variance of estimate
DOI: 10.17212/1814-1196-2015-1-76-93
Received 15 September 2014.
REFERENCES
1. Borovkov A.A. Matematicheskaya statistika [Mathematical statistics]. Novosibirsk, Nauka Publ., 1997. 772 p.
2. Shurygin A.M. Matematicheskie metody prognozirovaniya [Mathematical methods of prediction]. Moscow, Goryachaya liniya-Telekom Publ., 2009. 180 p.
3. Hampel F.R., Ronchetti E.M., Rousseeuw P.J., Stahel W.A. Robust Statistics: The approach based on influence functions. Wiley, 1986. 502 p. (Russ. ed.: Khampel' F., Ronchetti E., Rausseu P., Shtael' V. Robastnost' v statistike: podkhod na osnove funktsii vliyaniya. Translated from English. Moscow, Mir Publ., 1989. 512 p.).
4. Huber P.J. Robust Statistics. John Wiley & Sons, 1981. 308 p. (Russ. ed.: H'yuber P. Robastnost' v statistike. Translated from English. Moscow, Mir Publ., 1984. 303 p.).
5. Lisitsin D.V. Ustoichivoe otsenivanie parametrov modeli po mnogomernym neodnorodnym nepolnym dannym [Robust estimation of model parameters in presence of multivariate nonhomoge-neous incomplete data]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Science Bulletin of the Novosibirsk State Technical University, 2013, no. 1 (50), pp. 17-30.
6. Shevlyakov G., Morgenthaler S., Shurygin A. Redescending M-estimators. Journal of Statistical Planning and Inference, 2008, vol. 138, iss. 10, pp. 2906-2917. doi: 10.1016/j.jspi.2007.11.008
7. Lisitsin D.V. Robust estimation of mixed response regression models. Proceedings of the International Workshop "Applied Methods of Statistical Analysis. Applications in Survival Analysis, Reliability and Quality Control" - AMSA'2013, Novosibirsk, Russia, 25-27 September, 2013, pp. 139-144.
8. Lisitsin D.V. Ustoichivye metody otsenivaniya parametrov statisticheskikh modelei [Stable methods of a parameter estimation of statistical models]. Novosibirsk, NSTU Publ., 2013. 76 p.
9. Lisitsin D.V., Gavrilov K.V. Otsenivanie parametrov finitnoi modeli, ustoichivoe k narusheniyu finitnosti [Estimation of the parameters of a compactly-supported model stable under the violation of compact supportedness]. Sibirskii zhurnal industrial'noi matematiki - Journal of Applied and Industrial Mathematics, 2013, vol. 16, no. 2 (54), pp. 109-121.
10. Lisitsin D.V., Gavrilov K.V. Ob ustoychivom otzenivanii parametrov modeli pri asimmet-richnom zasorenii dannykh [On stable estimation of models parameters in presence of asymmetric data contamination]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Science Bulletin of the Novosibirsk State Technical University, 2008, no. 1 (32), pp. 33-40.
11. Lisitsin D.V., Gavrilov K.V. O nekotorykh svoystvakh M-otzenok [About some properties of M-estimations]. Sbornik nauchnyh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university, 2011, no. 2 (64), pp. 61-68.
12. Lisitsin D.V., Gavrilov K.V. Ustoichivoe otsenivanie parametrov modeli pri asimmetrich-nom zasorenii dannykh [Stable parameter estimation of model at the asymmetric contamination of the data]. Izvestiya Mezhdunarodnoi akademii nauk vysshei shkoly - Proceedings of the International higher education academy of sciences, 2006, no 1 (35), pp. 60-73.
13. Lisitsin D.V. Svoistva invariantnosti pri otsenivanii parametrov modeli v usloviyakh baie-sovskogo tochechnogo zasoreniya [Invariance properties under estimating model parameters in presence of Bayesian dot contamination]. Doklady Akademii nauk vysshei shkoly Rossiiskoi Federatsii -Proceedings of the Russian higher school Academy of sciences, 2010, no. 1 (14), pp. 18-25.
14. Smolyak S.A., Titarenko B.P. Ustoichivye metody otsenivaniya: (statisticheskaya obrabot-ka neodnorodnykh sovokupnostei) [Stable methods of an estimation: (statistical handling of the non-homogeneous populations)]. Moscow, Statistika Publ., 1980. 208 p.
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 58, No.1, 2015, pp. 76-93
