Метод вычисления индикаторов полиномиальной зависимости Текст научной статьи по специальности «Физика»

Оригинальная статья / Original article УДК: 519.233.5

DOI: 10.21285/1814-3520-2016-6-82-88

МЕТОД ВЫЧИСЛЕНИЯ ИНДИКАТОРОВ ПОЛИНОМИАЛЬНОЙ ЗАВИСИМОСТИ © А.В. Петров1

Иркутский национальный исследовательский технический университет, 664074, Россия, г. Иркутск, ул. Лермонтова, 83.

Резюме. Цель. Целью исследования является нахождение методов оценивания нелинейных вероятностных зависимостей. Методы. Основные методы исследования - теоретический вероятностный анализ и численные методы. Результаты. Представлен новый (более эффективный по вычислительным затратам) метод расчета индикаторов полиномиальной регрессионной зависимости. Расчет использует зависимости между поликорреляционными моментами и позволяет проводить вычисления индикаторов через начальные моменты закона распределения независимой переменной регрессионного полинома. Заключение. Объединение вычислений поликорреляционных моментов через начальные моменты и рекуррентных соотношений для вычисления индикаторов позволяет получить общие выражения для расчета коэффициентов регрессионного полинома и определения его порядка.

Ключевые слова: регрессионный анализ, полином, порядок полинома, моментные функции, индикаторы, метод вычисления.

Формат цитирования: Петров А.В. Метод вычисления индикаторов полиномиальной зависимости // Вестник ИрГТУ. 2016. № 6. С 82-88. DOI: 10.21285/1814-3520-2016-6-82-88

POLYNOMIAL DEPENDENCE INDICATOR CALCULATION METHOD A.V. Petrov

Irkutsk National Research Technical University, 83 Lermontov St., Irkutsk, 664074, Russia.

Abstract. Purpose. The purpose of the study is to find the estimation methods of nonlinear probabilistic dependencies. Methods. The main research methods are numerical methods and a theoretical probabilistic analysis. Results. А new method for calculating polynomial regression dependence indicators is presented. The calculation uses the dependences between polycorrelational moments and enables the calculation of indicators via the initial moments of the distribution law of the independent variable of the regression polynomial. The method is more efficient in terms of computational costs. Conclusion. Combination of calculations of polycorrelational moments via the initial moments and recurrent correlations for indicator calculation provides general expressions for the calculation of the coefficients of the regression polynomial and its order determination.

Keywords: regression analysis, polynomial, polynomial order, moment function, indicators, calculation method

For citation: Petrov A.V. Polynomial dependence indicator calculation method. Proceedings of Irkutsk State Technical University. 2016, no. 6, pp. 82-88. (In Russian) DOI: 10.21285/1814-3520-2016-6-82-88

Введение

Проведенный в [1, с. 99-121] анализ обобщил известные (например, из [2]) результаты, устанавливающие зависимости между смешанными моментами (поликорреляционными моментами) высших порядков и аналогичными моментами, имеющими более низкие порядки. Этот результат крайне важен, так как он указывает на «вложенность» зависимостей: поликорреляционные моменты отражают и зависимости более низкого порядка. На наличие этой «вложенности» указывают и результаты, полученные с использованием аппарата конечных разностей [3]. Взаимодействие поликорреляционных моментов различных порядков нашло практически значимое отражение при решении задачи полиномиального регрессионного анализа.

В [1, с. 122-130] представлены результаты, доставляющие автоматическое определение порядка полинома и параллельное вычисление его коэффициентов. Это позволяет избе-

Петров Александр Васильевич, доктор технических наук, профессор кафедры автоматизированных систем, e-mail: petrov@istu.edu

Petrov Alexander, Doctor of Engineering, Professor of the Department of Automated Systems, e-mail: petrov@istu.edu

жать не только рутинной методики Т. Андерсона [4, с. 48-52] определения порядка регрессионного полинома, но и обеспечивает объективности решения задачи полиномиальной регрессии. Введенное при этом понятие индикаторов основано на исчислении поликорреляционных моментов.

Таким образом, исследование взаимозависимостей поликорреляционных моментов с индикаторами открывает новые возможности решения задачи нелинейной (полиномиальной) регрессии.

Поликорреляционные моменты

В [1, с. 89-90, 116-119] приведены техника нахождения и конечные выражения, определяющие взаимодействие поликорреляционных моментов с начальными моментами закона распределения вероятностей независимой переменной и коэффициентов регрессионного полинома.

Поликорреляционный момент порядка (т,к) для независимой переменно определяется формулой

^mt)=vm,k = m\[ xm - m

\Xm - M (Xm )) • (Xk - M (xk )) = M [Xm+k-am-Xk-ak-Xm +am -a*

(1)

= M

X

m+k

-a„ ■ M

Xk

-ak ■M

Xm

+ am ■ak =

= am+k am ■ ak'

где а у - начальный момент порядка } закона распределения независимой переменной Х.

Поликорреляционный момент порядка (1,к), связывающий зависимую (У) и независимую (X) переменные регрессионного полинома порядка п, имеют вид:

№ = Vo,k = M [(Y - M (Y)) ■ (Xk - M (Xk )) 54 ■ Xj-54-aj]■(X*-ak)

= M

\ j

= M

J =n

Y

5 bj ■ XJ ++ v J =i

J

J =n

J =n

J =n

-ak -5 bJ ■ XJ - Xk -5 bJ ■a j +ak b J=i J=i J=i

J a J =

О=n

л

5 bj-a j+k

V J=1 J

J =n J =n J =n

-ak■ 5 bj■a j-ak■ 5 bj■a J+ak■ 5b

J=I J=I J=I

j=n

j a J =

X Ъу -(ау + к ~ау ак ) . У=1

Отметим, что формулы (1) и (2) справедливы и для значений т и к больших п.

(2)

Индикаторы

Известно, что для полинома 1-го порядка

Y = b0 + brX,

регрессионные коэффициенты определяются выражениями:

b -r .Co

bi - yx '

Ci

b0 -щ-ai ■ ryx • — -ao -ai • bi,

а1

где а0 - начальный момент порядка j закона распределения зависимой переменной Y; а1 -начальный момент порядка j закона распределения независимой переменной Х; гух - коэффициент корреляции (в дальнейшем будем обозначать г01); о0 - среднеквадратическое отклонение закона распределения переменной Y; а1 - среднеквадратическое отклонение закона распределения переменной Х,

Здесь и далее все вероятностные характеристики представлены своими статистическими оценками.

Аналогично для полинома 2-го порядка:

Ъ2 ^ • А, (3)

а

где

Для n = 3:

h - — ■(roi -ri2 ■ A), Ci

bo -ao-ai ■ bi -a2 ■ b2,

„ _ Vo,i _ M[Y ■ X]-ao-ai

ro,i- - , (4)

Ho 'Ci Ho 'Hi

Vo2 _M[Y ■ X2]-ao ■a2

ro,2 ----

Ho C2 Ho C2

„ _ Vi,2 _M[Xi ■ X2]-ai -a2 _

ri 2 ----, (6)

Ci C2 Ci C2

A - r°2 r°V^ 2. (7)

i - rh

b3-Co. С, 8)

C3

b2-^L. ( A - B.C ), C2

bi-Cl ■ ( roi - ri2■ ( A - B.C )-Гц ■ C ),

Cj

bo -ao -ai-bi -a2-b2 -a3 ■ b3,

где

D r2, 3 r1 , 2 ■ r1 , 3

B =-2-'

1 - r¿

r0,3 - r0,1 ■ r13 r0,2 - r0,1 ■ r1 22 r2 ,3 - r1 22 ' r13

С =

1-r

2

1 3

1-r

2

1 2

1-r

2

1 3

1-

r2,3 - r1,2 ' r1,3 r2,3 - r1,2 ' r1,3

1 - rh 1 - rr

(9)

(10)

'1,2 1 - '1,3

Конструкции вида (3)-(6), (9)-(10) и подобные им, представленные в [1] в общем виде для произвольного порядка п регрессионного полинома, назовем индикаторами.

Отметим структурное подобие индикаторов A, B и C с коэффициентами корреляции г.

Вычисление индикаторов для Ь^] > п

Обратим внимание на утверждение [1, с. 128] и сопутствующее ему обоснование, говорящее о том, что обращение в нуль индикатора при коэффициентах регрессии Ь],] > п. Это и является основанием для автоматического определения порядка п регрессионного полинома.

Найдем индикатор А:

»0,2 »0,1 Н-1,2

A =

r0,2 - r0,1 • r1,2 _ Oo-O2 OO■ Ol Ol■ O2 _ °2 O1 ' Н0,2 - Н0,1 ' Н1,2

1 - r

1 2

1-

) a0 O2- O2 -(»1 2 2 )

(11)

Используя (1) и (2), получаем:

»0,2 = by (a3-al ■a2) + b2-(a4-a2),

»01 = br( a4-a2) + b2-( a3-al-a2),

(12) (13)

и, подставляя (12) и (13) в (11) и учитывая, что »12 = (a3 -a1 ■a2) , имеем:

A = °А. (bl

■ (bl-Ca3 -al ■ a2) + b2 - (a4 - al)) -(b1'(a4 -a2) + b2 - (a3 -a1 ■ a2)) -»1,

O

0

2 2 O1 O2 -

(»1, 2 У

02 Oo

b1 -(a2r( a3 -a1 ■ a2) -a2r( a3 -a1 ■ a2)) + b2■ (01 ■o2 - ( a3 -a1 ■ a 2)2 )

a1 ■o2 -(a3 -a1 ■a2 )2

(14)

(rf ■02 -(a3 -a1 ■a2 )2)

02 b2 M02 ■ a2-(a3-a1 ao a] ■a22 -(aa3 -a1 ■a2)

= 02.b O

2

что соответствует (3).

Найдем индикатор С (10) при коэффициенте Ь3, если бы он имел место в регрессионном полиноме. В этом случае

»0 З = b1'(a4 -a1 ■a3) + b2-(a5 -a2 ■a3).

(15)

2

Подставляя (12), (13) и (15) в (10), получаем:

r0,3 r0,1 • r1,3 r0,2 r0,1 • r1,2 r2,3 r1,2 • r1,3

C-

1-r

1,3

1-r

1,2

1-r

1,3

1-

ir2,3 r1,2 • r1,3 )

{l - r¡,2 ){l - rl23 )

(1б)

22 a1 •a2 -

{Мц )

a1 • M0,3 - M0,1 • M1,3 \ -\°1 • M*0,2 - M0,1 • M1,2

2

a1 • M2,3 - M1,2 • M1,3

i1 - r1,2 ) • i1 - r1,3 )- ir2,3 - r1,2 • r1,3 )

Преобразовываем числитель (16) с учетом, что

M12 - (a3-a1 •a2) , м1 3 = (a4-a1 •a3) и м13 = (a5-a2 •a3) :

C

22 о1 о2 -

{mi,2 )

a1 • M0,2 - M0,1 • M1,2

;1 • M0,3 - M0,1 • M1,3

71 • M2,3 - M1,2 • M1,3

22 о1 о2

1,2

a1 • ibl-Сa4 -al •a3) + b2 • (a5 -a2 •a3))-

-Ml,3 • ib1 • (a4 -a2) + b2 • (a3 -a1 • a2))

a1 • M2,3 - M1,2 • M1,3

о12

i bl •( a3 -al •a2) + b2-( a4 - a2))

-Ml ,2 • ib1 • (a4 -a2) + b2 • (a3 -a1 • a2))

a1 •°2 -i(a3 -a1

al •ib1'(a4 -a1 •a3) + b2-(a5 -a2 •a3))-

— f

(a4 -a1 •a3)• ib1-(a4 -a22) + b2-(a3 -a1 •a2))

о

о2 •(a5 -a2 •a3) - (a3 -a1 •a2)^(a4 -a1 •a3)

ibr(a3 -al • a2) + b2 • (a4 -a2))-

-(a3 -al •a2)• ibr(a4-a2) + b2 • (a3-al •a2))

о12

- 0.

Если полином имеет порядок n = 3, то

(17)

C-^.Ьз, ao

что совпадает с результатами (4.1.17) из [1, с. 125].

(18)

Для n = 3

M04 - b1 •( a5 -a1 •a4) + b2-( a6 -a2 •a4 ) + b3-(a7 -a3 -a4)

(19)

2

2

и соответствующий индикатор при коэффициенте b4 имеет вид

_а4 P1 -D2-D3

D = 1 2 3, (20)

Go 1 - D4D3 ( )

где

D, =

r0 4 - r0,1 1 - Г?4

'1,4

r0 , 2 - r0 , 1'r1,2 1 - 'u

r2 , 4 - r1 , 2 1 - 'h

r1 4

1-

(

r2 4 - r1,2 ' '1

¿L

{1 - rl ).(1 - '14 )

(21)

r0,3 - r0,1 • r1,3 r0,2 - r0,1 • r1,2 r2,3 - r1 ,2 ' r1,3

1 - rh 1 - r?i 1 - r,2:; D2 =-13--,-13-, (22)

1-

(r2,3 - r1 ,2 ' r1 ,3 )

(1 - r22 )■(! - r23 )

r3 ,4 - r1,3 • r1,4 r2,3 - r1,2 • r1,3 r2,4 - r1,2 ' r1,4

1 - rh 1 - rh ' 1 - rh

D3 =-14---^^--2-(23)

(r2,4 - r1 ,2 ' r1,4 ) -(1 - r22 ).(! - r24 )

r3 4 - r1 3 r1 4 r2 4 - r1 2 r1 4 r2 3 - r1 2 r1 3

1 - r2 1 - r2 1 - r2

D4 =-13-12-,-13-. (24)

( r2 ,3 - r1 , 2 ' r1 ,3 ) -{1 - é ){1 - rj23 )

Проведя преобразования, аналогичные выше перечисленным, получим D = 0, то есть

Ь4 = 0.

Выражения (17) и аналогично полученные результаты для других порядков регрессионного полинома подтверждают обращение в нуль индикаторов при коэффициентах ь,} > п. Отметим, что здесь использовался другой способ исчисления индикаторов - через начальные моменты закона распределения вероятностей независимой переменной Х, а не через поликорреляционные коэффициенты г,.

Выводы

Таким образом, использование зависимостей между поликорреляционными моментами вида (1) и (2) позволяет проводить вычисления индикаторов типа A, ^ D через начальные моменты закона распределения независимой переменной регрессионного полинома, что, очевидно, эффективнее хотя бы по вычислительным затратам. В [1] представлены общие выражения зависимостей типа (1) и (2) - см. формулы (3.4.21) и (3.4.30) в [1, с. 117,121] - и рекуррентные соотношения для вычисления индикаторов - см. формулы (4.1.30)-(4.1.39) в [1, с. 127-128]. Их соединение и является новым методом исчисления индикаторов полиномиальной регрессионной зависимости.

Библиографический список

1. Петров А.В. Основы теории полиномиальных стохастических взаимосвязей // Иркутск, Изд -во ИРНИТУ, 2016.

2. Митропольский А.К. Техника статистических вычислений. М.: Наука, 1971. 576 с.

3. Петров А.В. Конечные разности как инструмент анализа поликорреляция // Вестник ИрГТУ. 2016. № 5 (112). С. 87-94.

4. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976. 757 с.

1. Petrov A.V. Osnovy teorii polinomial'nykh stokhasticheskikh vzaimosvyazei [Fundamentals of the theory of stochastic polynomial relationships]. Irkutsk, Izd-vo IRNITU Publ., 2016, 170 p.

2. Mitropol'skii A.K. Tekhnika statisticheskikh vychislenii [Statistical calculation technique]. Moscow, Nauka Publ., 1971, 576 p.

3. Petrov A.V. Konechnye raznosti kak instrument analiza polikorrelyatsiya Konechnye raznosti kak instrument ayaliza polykorreliyciiy [Finite differences as a tool to analyze polycorrelation]. Vestnik IrGTU - Proceedings of Irkutsk State Technical University, 2016, no. 5 (112), pp. 87-94.

4. Anderson T. Statisticheskii analiz vremennykh ryadov [Statistical analysis of time series]. Moscow, Mir Publ., 1976, 757 p.

170 с.

References

Конфликт интересов

Автор заявляет об отсутствии конфликта интересов.

Статья поступила 23.03.2016 г.

Conflict of interest

The author declare no conflict of interest.

The article was received 23 March 2016