Устойчивые распределения и оценивание параметров регрессионных зависимостей Текст научной статьи по специальности «Математика»

делает его более громоздким, чем в представлении (4), но при этом более удобным для вычислений.

В частном случае из ^-оператора целочисленных порядков (4) (или (16)) легко получить для порядка 5=1 формулы дифференцирования и интегрирования степенных функций из стандартного анализа, что подтверждает принцип соответствия

^ X : X - X --;

йх

й1 х: х" - \х"йх - — X"+1 + С,;

•> " +1 1

СПИСОК ЛИТЕРАТУРЫ

1. Самко С.Г., Килбас А.А., Маричев О.И. Интегралы и производные дробного порядка. - Минск: Наука и техника, 1987. -687 с.

2. Нахушев A.M. Дробное исчисление и его применение. - М.: Физматлит, 2003. - 272 с.

3. Учайкин В.В. Метод дробных производных. - Ульяновск: Артишок, 2008. - 512 с.

4. Чуриков В.А. Дополнительные главы анализа. Дробное интегрирование и дробное дифференцирование на основе d-опера-тора. - Томск: Изд-во ТПУ, 2010. - 118 с.

Устойчивые распределения упоминаются еще в работах П. Леви, датированных 1925 г. Они вводятся как предельные (имеется в виду сходимость по распределению) для суммы одинаково распределенных случайных величин. Наиболее известным представителем данного семейства является нормальное распределение. На нем основано целое множество методов прикладного статистического анализа. В частности, классическая теория регрессионного анализа предполагает существование достаточно большого числа малых случайных величин, интерпретируемых как разного рода

d1 x : x 1 — ^x 1dx — ln j x j +C,.

В результате d-оператор (1) (или (2)) распадается на d-оператор нецелочисленных порядков (3) и d-оператор целочисленных порядков (4) (или (16)). Каждый из этих операторов лежит в основе двух основных направлений дробного анализа, а именно, дробного анализа нецелочисленных порядков и дробного анализа целочисленных порядков. Эти направления качественно отличаются друг от друга и требуют отдельного и глубокого рассмотрения.

5. Hadamar J. Essai sur 1'е tude des fonctions donn¿ es par leur de' ve-lopment de Taylor // J. math. pures et appl. - 1892. - V. 8. -Ser. 4. - P. 101-186.

6. Чуриков В.А. Дробный анализ на основе оператора Адамара // Известия Томского политехнического университета. - 2008. -Т. 312. - № 2. - С. 16-20.

Поступила 17.12.2010 г.

ошибки, присущих рассматриваемой ситуации. При этом в центральной предельной теореме [1] утверждается, что при некоторых дополнительных предположениях сумма этих ошибок есть нормально-распределенная величина.

Однако практически реализуемые распределения далеко не всегда являются нормальным, что неоднократно отмечалось разными авторами. Тем не менее предположение о существовании определенного числа одинаково распределенных составляющих может оставаться верным. Именно в таком случае следует обратиться к устойчивым ра-

УДК 519.213;519.23

УСТОЙЧИВЫЕ РАСПРЕДЕЛЕНИЯ И ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ

В.И. Денисов, В.С. Тимофеев

Новосибирский государственный технический университет E-mail: [email protected]

Работа посвящена задаче оценивания параметров регрессионных уравнений. Используя устойчивые распределения, авторы предлагают новый алгоритм, обеспечивающий максимально правдоподобное оценивание даже в ситуациях, когда распределение случайных ошибок имеет большую дисперсию. Проведенные вычислительные эксперименты подтвердили работоспособность разработанного алгоритма и позволили дать ряд рекомендаций о практическом использовании.

Ключевые слова:

Регрессия, метод максимального правдоподобия, устойчивые распределения, характеристическая функция, преобразование

Фурье.

Key words:

Regression, maximum likelihood method, stable distributions, characteristic function, fourier transformation.

спределениям. Важной особенностью данного семейства можно считать наличие в нём распределений, имеющих бесконечную дисперсию, например, распределение Коши. Это позволяет говорить о возможности построения алгоритмов оценивания при наличии ошибок, имеющих распределения с тяжелыми «хвостами».

Класс устойчивых распределений достаточно широк, что обеспечивает возможность представления в нем большого числа практически реализуемых распределений, включая ситуации с сильно засоренными выборками. При этом отсутствие аналитического представления для функции плотности (исключение составляют уже упомянутые нормальное распределение, распределение Коши и еще одно распределение, функцию плотности которого можно найти в [2]) позволяет работать со всем многообразием форм данного семейства без априорного выбора наиболее подходящего аналитического представления функции плотности. В монографии В.В. Золотарева [2] показано, что все устойчивые распределения могут быть определены через характеристическую функцию, которая, как известно, является полным аналогом распределения [2, 3].

В связи с этим предлагается расширить предположение регрессионного анализа о распределении случайных ошибок на весь класс устойчивых распределений. При этом для оценивания неизвестных параметров воспользоваться ранее разработанным подходом [3], основанном на применении характеристической функции [4].

Постановка задачи и основные предположения

Рассмотрим регрессионное уравнение вида

У = ге + £, (1)

где

Z =

f( z„)

f 1( ZN 1)

f p ( Z1 p )

f p ( ZNp )

- матрица значе-

Характеристическая функция и устойчивые распределения

Хорошо известно [4, 5], что характеристическая функция некоторой случайной величины £ с плотностью ф(х) определяется следующим образом:

p(t) = E[eilx ] = ] в"хф( x)dx,

где te R; /=Vl - мнимая единица. Поскольку |eix|=l, VteR, то характеристическая функция существует для любой действительной случайной величины. Данная функция содержит всю информацию о распределении и обладает рядом важных свойств [4].

Весь класс устойчивых распределений можно ввести через характеристическую функцию [2], логарифм которой имеет следующий вид [6, 7]:

lnp(t) =

ißt -\а t

1 + ißsign(t )tg ^

а Ф1

ißt -a |t| | 1 + iß sign(t)—ln t n

, (2)

а = 1

ний регрессионных функций, имеющая полный столбцовый ранг, т. е. rg(Z)=p, 6=(6h...,6p)T - вектор неизвестных параметров, подлежащих оцениванию; p - количество неизвестных параметров; N - количество проведенных экспериментов; f(z) - известные действительные функции; Zj- заданные значения входных факторов в наблюдениях; y=(yb...,yN)T - вектор значений отклика; e=(e1,.,eN)T - вектор ошибок наблюдений.

Будем предполагать, что ошибки наблюдений являются независимыми одинаково распределенными случайными величинами с унимодальной плотностью у/(х), представимой в классе устойчивых распределений, для которых верно, что

E(et) = 0, D(Si) = а2.

Задача состоит в том, чтобы по исходным данным (значениям отклика и входных факторов) оценить вектор неизвестных параметров уравнения регрессии (l).

где 0<а<2, -1<^<1, а>0, - неизвестные

параметры.

Для идентификации характеристической функции (2) предложено несколько подходов [6, 7]: на основе квантилей эмпирического распределения, по методу максимального правдоподобия (ММП), с помощью эмпирической характеристической функции. В данной работе был использован последний подход в соответствии с [7].

На основе имеющейся реализации xb...,xN случайной величины £ можно определить выборочную оценку характеристической функции [5, 6]:

P (t) = N ite'tXj = N Î (cos(tXj ) + i sin( tXj )). (3)

Отметим, что в соответствии с законом больших чисел [1] оценка (3) состоятельна.

Далее из определения устойчивых распределений для аф1 можно записать Rep(t) =

па

= exp(-|at| )cos| ßt +\at\ ßsign(t)tgI

(4)

Imç(t ) =

па

= exp(-|at| )sin|^ßt + pt| ßsign(t)tg-^-J. (5)

Тогда справедливо следующее соотношение [7]

ln(- ln( |p(t)|2)) = ln(2a2) +aln( |t).

Очевидно, что данное соотношение зависит только от а и а и его можно представить в виде простейшего регрессионного уравнения

где m=ln(2a); wk=ln\tk\; Vk=ln(-ln(|^(4)|2)); tkeR; s'k -случайная ошибка.

Оценив а и а, например, по методу наименьших квадратов (МНК) [8], можно оценить два других параметра по следующему регрессионному уравнению

arctan

( Rep (tk )Л ImP (tk ) у

/V сХ I |а

= + Ра ^ти—ъщти^)ук\ +ек".

Отметим, что непосредственному применению данной двухшаговой процедуры предшествует стандартизация данных, описанная в [7]. Кроме этого существует итерационный вариант данной процедуры (до выполнения стандартного условия сходимости), однако как показано в [7], выигрыш в точности такой процедуры минимален. Исследования авторов подтвердили данный факт.

Обратный переход от характеристической функции к функции плотности осуществлялся посредством преобразования Фурье [4, 9]

1 " 1 T

ф(xj) =— [р^е'^ж ~—YjP(tk)е

2п _i 16 k=0

(6)

распределения y/(uh0). Тогда для оценивания параметров уравнения (1) можно воспользоваться ММП [8]. Учитывая, что остатки наблюдаемы, запишем логарифмическую функцию правдоподобия

l (е,..., eN ,в ) = ln |П ¥(е,, в) | = X Щ¥(е„ в)). (8)

где (p(t)=Reф(t)+iImф(t); Reф(t), 1ш^(0 определены в (4) и (5) соответственно (в работе были использованы значения 4=(1/16)як; к=1,...,Т; Т- заданное число).

Практика показывает [9], что непосредственное вычисление (6) особенно при больших объемах выборки будет сопряжено с большими затратами машинного времени (даже на современных компьютерах). Поэтому авторами был использован алгоритм быстрого преобразования Фурье [9], который приводит к сокращению объема вычислений. После простых преобразований выражение (6) можно представить в виде:

1 т

ф( х) = ~X )с0Ф1сх) + 1тФ( 4 Чх)\ (7)

2Л к=0

Основная идея быстрого преобразования состоит в изменении порядка суммирования в (7) и использовании свойства периодичности синусов и косинусов, а также хорошо известных формул для выражения «долговычисляющихся» тригонометрических функций через вычисленные на предыдущих этапах значения. При этом следует ожидать не только сокращение времени выполнения, но и повышение точности. Дело в том, что тригонометрические формулы точные и при их использовании не происходит накопления вычислительных погрешностей.

Поскольку характеристическая функция существует для любых случайных величин и однозначно определяет функцию плотности, авторами разработан алгоритм оценивания параметров регрессионных зависимостей, использующий идеи ММП. В силу предположения о независимости случайных ошибок уравнения (1) значения остатков е =у-100 (г, - 1-я строка матрицы 2из (1)) также будут статистически независимыми величинами с плотностью

Итерационный алгоритм оценивания неизвестных параметров уравнения регрессии состоял в следующем.

Шаг 1. Определение начального приближения (к:=0) для вектора неизвестных параметров ур. (1), в качестве которого была использована оценка метода наименьших квадратов, что позволило сократить число итераций и время вычислений.

Шаг 2. Вычисление остатков регрессионного уравнения.

Шаг 3. Идентификация устойчивого распределения.

Шаг 4. С использованием алгоритма быстрого преобразования Фурье восстановление искомой функции плотности у/(и,в) в точках, соответствующих вычисленным значениям остатков е.

Шаг 5. Вычисление значения логарифмической функции правдоподобия (8).

Шаг 6. Поиск очередного значения оценки вектора неизвестных параметров 0 к+1

Л к+1 Л

0 = а^шах 1(е1,е2,..., еы,0 ).

Шаг 7. Если ||0к+'-0к||<е, то завершение процесса, в противном случае к:=к+1 и переход на шаг 2 (е - заданная погрешность вычисления).

Результаты вычислительных экспериментов

Для исследования разработанного алгоритма оценивания вектора неизвестных параметров 6 уравнения (1) авторами проводились многочисленные вычислительные эксперименты. Приведем лишь некоторые из полученных результатов. В качестве исследуемой зависимости рассмотрим следующее уравнение регрессии

у = 0О + 0 г + 02 г2 + е, (9)

где количество регрессоровр=3, значения входных факторов г выбирались из отрезка [-1,1], истинные значения неизвестных параметров 0о=5О, 00=25, 0о=1О. Случайные ошибки е моделировались независимыми и одинаково распределенными с функцией распределения вида

^ (х) = (1 - X) х, 0, стО + х, 0, а2), (10)

где ^(х,0,а;) - функция нормального распределения с нулевым математическим ожиданием и дисперсией а2, -=1,2, Ае[0,1] - параметр смеси.

Представление (10) позволяет моделировать ошибку с различной степенью отклонения от нормального распределения, в том числе появление довольно грубых засоряющих наблюдений - «выбросов». Параметр X определяет соответствующие доли наблюдений с дисперсиями а12 и а22 в выбор-

Таблица. Точность оценивания при разном объеме выборки

Метод оценивания Объем выборки, N

100 | 200 | 500 100 | 200 | 500

S

МНКА 0,0187 0,0128 0,0083 0,4053 0,2775 0,1773

Уст. распределение 0,0255 0,0212 0,017 0,5497 0,4517 0,3713

Характер. функция 0,0243 0,0173 0,0107 0,5161 0,3775 0,2593

Из табл.1 видно, что с увеличением объема выборки точность оценивания всеми рассмотренными алгоритмами увеличивается, что естественно. На малых выборках алгоритмы оценивания, основанные на использовании характеристической функции, несколько уступают МНК. Это можно объяснить тем, что при небольшом количестве наблюдений уверенная идентификация распределения ошибки затруднена. В таких условиях на первый план выходят априорные предположения, при справедливости которых можно получить более качественный результат. Поскольку в данном случае ошибка моделировалась нормально распределенной, то МНК, который, как известно, эквивалентен ММП для нормальной функции плотности, дает оптимальные оценки.

С увеличением объема выборки форма распределения становится более определенной и алгоритмам, работающим с характеристической функцией, удается к ней адаптироваться, что сразу приводит к увеличению точности.

Также проведено исследование точности оценивания вектора неизвестных параметров при разной степени отклонения распределения случайной ошибки от нормального распределения. Для этого изменению подвергался параметр смеси Я. При малых значениях Я в выборке будет появляться небольшое число выбросов, а при значениях Я, близких к 0,5, можно говорить о существенном изменении формы распределения. Было зафиксировано Рх=5 %, р2=50 %, а доля выбросов Я изменялась от 0 до 0,5 с шагом 0,02. Результаты оценивания представлены на рис. 2, где показано изменение показателя ¿2 для предложенного алгоритма, алгоритма, основанного эмпирической характеристической функции и МНК. Объем выборки составлял 200 элементов.

Рис. 2. Точность оценивания в зависимости отХ (N=200)

Из рис. 2 видно, что алгоритм, основанный на идентификации устойчивого распределения, при малой степени засорения выборки грубыми ошибками несколько превосходит алгоритм, основанный на использовании эмпирической характеристической функции. При большой степени засорения, а именно начиная с Х=0,28, наблюдается обратная картина. Видимо, это связано с потерей унимодальности эмпирического распределения случайных ошибок при большом уровне засорения. Устойчивые распределения, как показано в [2], унимодальны, что является большим преимуществом с точки зрения использования ММП. Однако очевидно, что качественно описать неунимодальное распределение унимодальным проблематично. В этих условиях алгоритм, основанный на эмпирической характеристической функции, показывает лучшие результаты. Дело в том, что потеря унимодальности при увеличении доли выбросов связана с появлением у эмпирической функции плотности дополнительных «пиков» на «хвостах». В этом случае ММП может найти глобальный экстремум только при хорошем начальном приближении.

Следует также отметить, что с увеличением степени отклонения моделируемого распределения случайной ошибки от нормального превосходство предложенного алгоритма над МНК увеличивается.

Выводы

Рассмотрена задача адаптивного оценивания параметров регрессионных зависимостей. Для решения данной задачи авторы предлагают алгоритм, осуществляющий одновременную идентификацию параметров уравнения регрессии и распределения случайной компоненты. Переход в частотную область, связанный с оцениванием характеристической функции семейства устойчивых распределений в соответствии с подходом I.A. Koutrouvelis [7], дал возможность использовать максимально полный объем информации о фактическом распределении случайной компоненты модели. Следовательно, можно говорить об адаптации моделируемого внутри алгоритма распределения к имеющимся данным в том числе и к наличию в выборке определенной доли выбросов.

Наличие свойства унимодальности устойчивых распределений способствует получению оптимальных результатов при использовании идей метода максимального правдоподобия. Исследование работоспособности предложенного метода проводилось с помощью вычислительных экспериментов. Показано, что идентификация устойчивого распределения внутри предложенного алгоритма в условиях засоренных выборок помогает нивелировать влияние грубых ошибок наблюдений.

Работа выполнена в рамках проекта № П 263 ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг.

СПИСОК ЛИТЕРАТУРЫ

1. Гихман И.И., Скороход А.В., Ядренко М.И. Теория вероятностей и математическая статистика. - Киев: Вища школа, 1979. - 408 с.

2. Золотарев В.М. Одномерные устойчивые распределения. - М.: Наука, 1983. - 304 с.

3. Тимофеев В.С. Оценивание параметров регрессионных зависимостей на основе характеристической функции // Научный вестник НГТУ. - 2010. - № 2 (39). - С. 43-52.

4. Гнеденко Б.В. Курс теории вероятностей. - М.: Едиториал УРСС, 2001. - 320 с.

5. Feuerverger A., Mureika R.A. The empirical characteristic function and its applications // The annals of statistics. - 1977. - V. 5. -№1.- P. 88-97.

6. Paulson A.S., Holcomb E.W., Leitch R.A. The estimation of parameters of the stable laws // Biometrica. - 1975. - № 62. -P. 163-170.

7. Koutrouvelis I.A. Regression-type estimation of the parameters of stable laws // Journal of the American statistical association. 1980. -V. 75. - № 372. - P. 918-928.

8. Дрейпер Н., Смит Н. Прикладной регрессионный анализ. -М.: Статистика, 1973. - 392 с.

9. Оппенгейм А.В., Шафер Р.В. Цифровая обработка сигналов. -М.: Связь, 1979. - 416 с.

10. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. - Киев: Наукова думка, 1985. - 216 с.

Поступила 04.10.2010 г.

УДК 629.7.018.4:534.1.015.1

О ПОСТРОЕНИИ РАСЧЕТНЫХ МОДЕЛЕЙ ДИНАМИЧЕСКИХ СИСТЕМ ПО РЕЗУЛЬТАТАМ ИСПЫТАНИЙ

В.А. Бернс

ФГУП «Сибирский научно-исследовательский институт авиации им. С.А. Чаплыгина», г. Новосибирск

E-mail: [email protected]

Расчетные модели динамических систем имеют, как правило, меньшее число степеней свободы, чем исходная система. Это число степеней свободы равно числу собственных векторов, разложением по которым представляют колебания системы в исследуемом диапазоне частот Работа посвящена расчетным исследованиям погрешностей моделирования динамических систем по результатам испытаний.

Ключевые слова:

Расчетная динамическая модель, обобщенные динамические характеристики, резонансные испытания. Key words:

Calculated dynamic model, generalized dynamic characteristics, resonance testing.

Введение

Одним из этапов создания летательного аппарата является разработка его расчетной динамической модели для решения задач аэроупругости, на-груженности и т. д. Первоначально такие модели строятся на основе технической документации, а затем по результатам резонансных испытаний опытного образца изделия. Резонансные испытания производятся в режиме вынужденных колебаний. Целью испытаний является определение обобщённых масс, собственных частот, форм и коэффициентов демпфирования собственных тонов колебаний или, по-другому, модальная идентификация конструкций.

Методика построения расчетной динамической

модели по результатам испытаний

При построении расчетной модели динамической системы с распределенными параметрами или модели, имеющие меньшее число степеней свободы, чем исходная система, полагается, что в исследуемом диапазоне частот колебания системы можно с достаточной точностью представить в виде разложения по некоторому числу собствен-

ных векторов. Это число и является числом степеней свободы модели. Используя преобразования нормальных координат в физические, параметры модели определяются по результатам измерения характеристик вынужденных колебаний в ограниченном числе точек системы [1-4]. Движение остальных точек не контролируется и в расчетах не участвует. В этом случае собственные частоты системы определяются по достижению нуля действительных составляющих вынужденных колебаний в точках регистрации, колебания считаются собственными, если они являются таковыми только в данных точках, что может привести к погрешностям в определении собственных частот, обобщенных масс и обобщенных коэффициентов демпфирования исследуемых тонов.

Исходными данными для нахождения собственных частот, обобщенных масс и обобщенных коэффициентов демпфирования собственных тонов являются величины действительной и мнимой составляющих перемещений точек конструкции для ряда частот вынужденных колебаний при известных силах возбуждения. Для определения обобщенной массы а и обобщенного коэффици-