Анализ и синтез систем многомерных ортогональных полиномов Чебышева в задачах регрессионного анализа Текст научной статьи по специальности «Математика»

© А.Б. Исаев, H.H. Ковальчуков, И.А. Савельев, 2013

УДК 681.51.02

А.Б. Исаев, Н.Н. Ковальчуков, H.A. Савельев

АНАЛИЗ И СИНТЕЗ СИСТЕМ МНОГОМЕРНЫХ ОРТОГОНАЛЬНЫХ ПОЛИНОМОВ ЧЕБЫШЕВА В ЗАДАЧАХ РЕГРЕССИОННОГО АНАЛИЗА

Математически строго исследована проблема синтеза многомерных ортогональных полиномов Чебышева, для применения их с целью повышения устойчивости аппроксимируемых регерссионных зависимостей. Доказаны теории о свойствах линейных оболочек, пространств параболичеких регрессий и устойчивости ортогональных базисов полиномов Чебышева, образуемых с помощью алгоритма Грамма-Шмидта.

Ключевые слова: аппроксимация, интерполяция, многомерные ортогональные полиномы Чебышева, параболическая регрессия, изоморфорные пространства.

В настоящее время, благодаря широкому использованию приближенных математических моделей и методов для описания разнообразных физических процессов и вытекающей отсюда необходимости решения задач аппроксимации и интерполяции, возникает интерес к использованию систем ортогональных полиномов (как одномерных, так и многомерных) как приближенных математических моделей изучаемых процессов. Естественно, в задачах эконометрики, в спектральных задачах ядерной физики, как правило, многомерных, многофакторных, интерес к применению различных ортогональных полиномов, объединяемых своими системам, стабильно увеличивается.

Впервые, задачи построения систем многомерных полиномов Чебышева была рассмотрена в [1]. Однако в этой и других ранних работах, на наш взгляд не были достаточно строго и полно исследованы ряд вопросов методов построения систем ортогональных полиномов, например, формальное описание процедур перехода от одной системы к другой, вопросы полноты этих систем и ряд других. Данная работа на наш взгляд, отчасти восполняет и дополняет затронутые задачи и проблемы, предлагая математический аппарат для исследования полноты, свойств построенных нами систем при их практическом применении, в частности в задачах регрессионного анализа.

Введение ортогональных полиномов позволяет с успехом решить разные производственные вопросы. Так, в [2] ортогональные полиномы были успешно применены для аппроксимации экспериментальных зависимостей различной физической природы: рассматривались задачи из области физики твердого тела, полупроводникового детектирования и др. Были получены удовлетворительные описания спектров сложной формы - с резкой несимметричностью, с несколькими минимумами и т.д. Во всех случаях в качестве критерия оптимальности описания был взят минимум взвешенной остаточной суммы квадратов невязок [3, 4, 5].

Перейдем к вопросу о построении различных базисных систем ортогональных полиномов Чебышева, используя алгоритм Грамма-Шмидта.

Рассмотрим уравнение параболической регрессии: У = а0 + а1 х + а2х2 +... + апхп (1)

Для этого случая Чебышевым была предложена система ортогональных полиномов {Ч. (х)}. 1 , которые получаются при разложении функции У = Е (х) в непрерывную дробь и являются знаменателями "подходящих" дробей, полученных при разложении Е = (х) в соответствующую непрерывную дробь. Параболическая регрессия (1), представленная в ортогональных полиномах, принимает вид У = А1о (х) + А1 (х) +... + Ап¥п (х),

где коэффициенты Ai - нормированные скалярные произведения наблюдений

у1 и соответствующего полинома = (у. )Ц) = ()/||^||2 , где || -знак нормы.

Для регрессии (1) Чебышев предложил следующую систему ортогональных полиномов (следуя [1], будем обозначать ее как Т -систему):

1о (х) = 1;

| (х ) = х - Тю!о (х);

| (х) = х2 - Т2о1о (х)- Т21 (х); ^(Т.)

| (х) = хП - Тпо1о (х) - Тп1 (х) - ... - Тп,п-1-1 (х),

Нетрудно видеть, что равенства Т описывают процесс последовательной ортого-нализации системы линейно независимых векторов {1, х, х2,..., хп}, составляющих базис

(что нетрудно доказать) в Еп+1, (п +1) - мерном евклидовом пространстве многочленов от одного независимого переменного X, с вещественными коэффициентами и степенью, не превосходящей к (к = о,1,...,п) . Скалярное произведение двух поли-

ь

номов / (х) и g (х) может быть введено с помощью (/, g) = | /(х)g (х)ск либо в

а

п

виде ^/(х.)g (х.), либо другим образом, обеспечивающим выполнение аксиом ска-

.=1

лярного произведения в метрике евклидова пространства.

Опишем процесс последовательной ортогонализации базисной системы

{1,х,...,хп}, известный в литературе как процесс ортогонализации Грамма-

Шмидта, заключающийся в построении каждого последующего вектора, ортогонального ко всем предыдущим. При этом из к -го неортогонального вектора вычитаются его "проекции" на к -1 предыдущих уже ортогонализованных векторов. Ортогональные векторы будем обозначать ei, пологая, как обычно, ео = 1:

ео = 1

= (х, ео) = _ Т .

е1 х ( \ео х мо^о' (ео> ео)

е п (( 'ео )е - (х"' е1 )е - - (( ' еп-1 ) е =хп - Т ш - Т ш - - Т ш

еи Л ( \ о ( \ е1 ••• ( \еи-1 Л 1 пот о «1г 1 ••• 1 п,п-1Т п-У

(ео, ео ) (е1 , е1 ) (eв_1, еп-1 )

(*)

Равенства (*) констатируют факт тождественного совпадения знаменателей

подходящих дробей, полученных при разложении в непрерывную дробь, или полиномов Чебышева, с соответствующими базисными ортогональными полиномами процесса ортогонализации Грамма-Шмидта, примененного к базису 1,х,х2,...,хп (при соответствующем способе введения скалярного произведения).

Обратимся к многофакторной регрессии У — ао + а1 х1 + а2х2 +... + апхп, (2)

полученной из (1) с помощью замены переменных х — , х — х^,..., х — х .

1 ' 2' ' п

Принципиальная возможность применения формул Т -системы для разложения (2) по этому базису становится очевидной после формулирования и доказательства теоремы, которая в целях удобства изложения материала приведена ниже совместно с другими теоремами. Следовательно, для разложения (1) по полиномам Т -системы необходимо везде заменить х ^ х1,х2 ^ х2,...,хп ^ хх и далее поступать в соответствии с обычной процедурой. Мы приходим к Т -системе Немчинова [1]:

¥ =1; ( т )

ШТ = х т Ш — х 1х1, ¥о > т .

¥1 = х1 - т 10 = х1 — 7-Т\ ¥о;

\¥о,¥о )

....................................................................................................?

Т ГТ1 Т ГТ1 Т ГТ1 Т ГТ1 т 1хп, ¥0 / \т/Т 1хп,¥1/ Т ¥„ = хп - Тпо¥о - Тп¥ - Т„г¥2 -...- Тп,п-1¥п-1 = хпШо -\ ¥1 -...

(п • ¥ п I) ¥Т

I ¥п-1

(¥о • ¥о) о (¥1 • ¥1V

(¥п-1 • ¥п-1 V

Перейдем к вопросу о различных способах построения систем, аналогичных Т -системе, т.е. к установлению числа различных способов построения базисных полиномов Т . Если зафиксировать вектор ¥о — 1, то в качестве второго

ортогонального может быть выбран любой из {х1,х2,...,хп}. Получим п базисов

{1,х1,х2,...,хп},...,{1,хп,...,х1} . Начиная процесс отбора с 3-го вектора, с 4-го и

т.д., приходим к тому, что общее число всех базисных Т -систем полиномов N — п!.

Поскольку каждая Т -система порождает К -систему [1], то число К -систем равно п! . Чтобы узнать, каким образом выражается любой из Т базисов через первоначальный {1,х1,х2,...,хп} , следует разложить ¥Т по базису {1,х1,х2,...,хп} т.е. получить К -систему. Матрица перехода Зл получается известными методами линейной алгебры. Она будет содержать координаты разложения базиса ШТ по базису {xi},— х8л . Например, для п=2

5 (1) =

1 -

0 0

(Х¥ )Уо (фоЖо )

1

0

(х2 Х1 )

(Х2 Х1 )

(¥¥)

(Х2 Х1 ) —(Х2 Х1 ) (¥¥) 1

1 ^10 ^20

0 1 (3)

0 0 1

Начиная процесс ортогонализации с Х2 приходим к матрице, получающейся из (3), где необходимо поменять местами индексы 1 и 2:

__ _ _ (Х2 ) (»^1 ~Х 2 )

1 Х2 | Х2 2 \

(^1^1 )

5 (2) =

0 1 0 0

(х1 Х2 ) (х1 Х2 ) (¥¥) 1

Таким образом, класс матриц перехода - верхние треугольные с единичной главной диагональю (но, как легко видеть, не ортогональные). Выпишем Т - систему:

¥0 =1;

Т гр Т

¥1 = Х1 - Тю¥о;

= Хп - Тп^1 - Тш¥1Т - ••• - Тп,п-Уп-1

(4)

Нетрудно получить, что система (4) имеет эквивалентное матричное представление:

(5)

1 0 0 • • 0 " " 1 " "¥0"

Х1 -'10 0 • • 0 ¥0 ¥1

Х2 1 20 1 21 • 0 ¥1 = ¥2

Хп ± п0 1п1 Т п,п-1 _¥п -1 _ _¥п _

или

Т (п+1)(п+1)ш(п+1)1 = ш(п+1)1 1 Т 0,п-1 Т 0,п

(6)

Из этих равенств видно, что Т - система наиболее удобна для получения рекуррентного уравнения между ортогональными полиномами в виде, аналогичном уравнению, полученному Чебышевым для одномерного случая: ¥еТ+1 =а¥Те + в¥Т+1 , где а и в -коэффициенты.

Как уже упоминалось, К -система описывает разложение базиса \\ по базису {1,х15х2,...,хп} :

¥ = 11 0

¥к = х - к -Т 1 _ Л1 Л10'

¥к = х - к - к х ;

2 2 20 21 1

¥к — х - к 0 - к, х -... - к , х ,

п п п0 п1 1 п,п -1 п-1

(7)

Из (7) легко получить ее представление в форме, аналогичной (4) и (5), которое не приводим.

Сами коэффициенты ке являются довольно сложными знакопеременными

функциями от Тт например: кз0 = Т30 - Г31Г10 + Тз2Т20 + Т32Т21Т10 ; к20 = Т20 - Т21Т10 \

к = Т - Т Т

31 31 32 21

Если скалярное произведение базисных многочленов (рассматриваемых как векторы в п - мерном евклидовом пространстве Еп ввести в виде ( ' ) = 1 А 'II В008(А А В) , то как показано, каждый из коэффициентов кр описывает различную последовательность аффинных преобразований - поворот, сжатие (растяжение). Например:

\с = 1

\ = х1 - к10 = х1 - РГхп х1 -

\п = хп

Р\ х Р\хп Р\ х

\ п г \ п

хп-1

к 2 к

\1

1К

\п-11

II2 п-1

где рг - операция проектирования. Введя аффинные коэффициенты преобразования, описывающие последовательность поворота на угол \ А\ (растя-

/■■ II?

жение или сжатие),

хи = Р\х> \

получим,

что,

например,

— х2 [ х^20 х2 1 х10 ] х2 1 х1 и т.д.

Таким образом, К -система описывает различную последовательность аффинных преобразований над первоначальным базисом {1, х1;х2,..., хп}.

Рассмотрим некоторые теоремы о свойствах базисных ортогональных полиномов Чебышева.

Теорема 1. Линейные оболочки базисов пространств одинакового ранга параболических и множественных регрессий совпадают. Пусть {1, х, х2,..., хп} -

базис в пространстве Еп+1 параболических регрессий ранга п +1;

2

2

{1, x1, x2,..., x„} - базис в пространстве множественных регрессий того же ранга EM+1 ; L (l, X, X2,..., xn ) и L (1, x1, x2,..., xn ) - их линейные оболочки. Теорема утверждает, что L(l,x,x2,...,xn) = L(l,x1,x2,...,xn) . Доказательство приводится по индукции.

Теорема 2. Пространства Eep и EeM изоморфны. Доказательство приводится непосредственной проверкой постулатов изоморфности.

Теорема 3. Ортогональный базис {Чj} о устойчив. Пусть некоторый вектор Y е E1'M . Тогда, если {Fi} - его некоторый ортогональный базис, то Y = L) . Теорема утверждает, что при наличии вектора возмущений

г

s = [s0,...,sn] , ||)|| < 1 базис + s0,Y1 +s1,..,yn + s„}по-прежнему линейно независим и ортогонален, базис же {1 + г0,x + ),...,x„ +s„}становится линейно

зависим. Доказательство проводится методом от противного.

В заключение укажем на одну из областей применения ортогональных полиномов - обработку результатов измерений с целью получения регрессионной зависимости в условиях временного дрейфа коррелированности факторов. При этом влияние дрейфа на факторы сводится к минимуму при помощи планирования эксперимента ортогонально дрейфу.

- СПИСОК ЛИТЕРАТУРЫ

1. Немчинов B.C. Полиномы Чебышева и математическая статистика. М.: Статистика, 1946.

2. Гаджоков В., Богданова Н. Аппроксимация измеренных на опыте зависимостей ортогональными полиномами. - ОИЯИ. -Р-11-80-122. - 1980.

3. Forsuthe G.E. //J. Soc. Indust. Appl. Math. - 1957. - V.5 - P.74.

4. Hayes D.G. // Comput. J. - 1969. - V.12. - P.148.

5. Некоторые устойчивые методы вычисления полиномов Чебышева, ортогональных на равномерной сетке, и их приложения - Из-во: Южный математический институт Владикавказского научного центра РАН и Правительства Республики Северная Осетия-Алания (Владикавказ) - 2011 - Т.:5 - С. 159-163 5333

КОРОТКО ОБ АВТОРАХ -

Исаев Андрей Борисович - кандидат технических наук, доцент, кафедры кибернетики и ме-хатроники,

Ковальчуков Никита Николаевич - ассистент кафедры кибернетики и мехатроники, шИк[email protected]

Российский университет дружбы народов,

Савельев Иван Андреевич - кандидат технических наук, доцент, Финансовый университет при Правительстве РФ, [email protected]