CC BY
14
Оригинальная статья / Original article УДК: 519.233.5
DOI: 10.21.285/1814-3520-2016-7-102-108
О ВЗАИМОСВЯЗИ ИНДИКАТОРА БАЗОВОГО УРОВНЯ С ПОРЯДКОМ РЕГРЕССИОННОГО ПОЛИНОМА
© А.В. Петров1
Иркутский национальный исследовательский технический университет, 664074, Россия, г. Иркутск, ул. Лермонтова, 83.
Резюме. Целью исследования является нахождение методов оценивания нелинейных вероятностных зависимостей. Методы. Основными методами исследования являются теоретический вероятностный анализ и численные методы. Результаты. Исследуется поведение индикаторов, рассчитанных по статистическому материалу, предположительно содержащему полиномиально связанные независимую и зависимую переменные. Особое внимание уделено базовым индикаторам, служащим основой для расчета индикаторов высших уровней, через которые вычисляются регрессионные коэффициенты полинома и точно определяется его порядок. Заключение. Базовый индикатор может успешно применяться на этапе предварительного, оценочного статистического анализа для приближенной оценки порядка регрессионного полинома.
Ключевые слова: регрессионный анализ, полином, порядок полинома, моментные функции, индикаторы, метод вычисления.
Формат цитирования: Петров А.В. О взаимосвязи индикатора базового уровня с порядком регрессионного полинома // Вестник Иркутского государственного технического университета. 2016. № 7. С. 102-108. DOI: 10.21.285/1814-3520-2016-7-102-108
ON BASE LEVEL INDICATOR AND REGRESSION POLYNOMIAL ORDER RELATIONSHIP A.V. Petrov
Irkutsk National Research Technical University, 83 Lermontov St., Irkutsk, 664074, Russia.
Abstract. The purpose of the study is to find the estimation methods for nonlinear probabilistic dependencies. Methods. The main methods of the research are the theoretical probabilistic analysis and numerical methods. Results. The behavior of indicators calculated by statistical material presumably containing polynomially related independent and dependent variables has been studied. Special attention has been given to the basic indicators serving as a basis for the calculation of higher level indicators through which polynomial regression coefficients are calculated and polynomial order is accurately determined. Conclusion. The basic indicator can be successfully used at the stage of preliminary and estimated statistical analysis for the approximate estimation of the regression polynomial order. Keywords: regression analysis, polynomial, polynomial order, moment functions, indicators calculation method
For citation: Petrov A.V. On base level indicator and regression polynomial order relationship. Proceedings of Irkutsk State Technical University. 2016, no. 7, рp. 102-108 (in Russian). DOI: 10.21.285/1814-3520-2016-7-102-108
Введение
В работах [1, 2] и ряде других, изложены новые подходы к решению задач полиномиального регрессионного анализа. Получены результаты, обеспечивающие не только исчисление коэффициентов регрессионного полинома, но и (что крайне важно с практической точки зрения) автоматическое объективное определение порядка этого полинома.
В основу этого инструментария положены специально сконструированные вероятностно-статистические характеристики, названные индикаторами. Индикаторы построены на основе поликорреляционных моментов, связывающих зависимую Y и независимую X переменные регрессионного полинома порядка n:
1
Петров Александр Васильевич, доктор технических наук, профессор кафедры автоматизированных систем, e-mail: [email protected]
Petrov Alexander, Doctor of Engineering, Professor of the Department of Automated Systems, e-mail: [email protected]
Vo,k = M
(:Y - M (Y ))•( Xk - M ( Xk ))
либо связывающих независимые переменные в различных степенях:
= M
( X* - M ( X* ))•( XJ - M ( XJ ))
(1)
(2)
Поликорреляционные коэффициенты получают нормированием поликорреляционных моментов соответствующими среднеквадратическими отклонениями:
^0] ... Т0,](3)
ги = (4)
__
'h] g(X) •<J(Xj )
Индикаторы
Индикаторы вычисляются с помощью коэффициентов вида (3) и (4). Назовем коэффициенты (3) и (4) индикаторами базового или (-1)-го уровня и в соответствии с [2, с. 127-128] обозначим их соответственно В(-1,1,0,]) и В(-1,1,1,]). В обозначениях индикатора
В (к,ь,1,]) приняты следующие наименования: к - уровень индикатора, к=-1,0,1, ..., п;
з - номер регрессионного коэффициента, в расчете которого участвует индикатор, з=2,.,п;
/ - индекс первой переменной поликорреляционного момента или индикатора (0 указывает на зависимую переменную), /=0,...,з;
} - индекс второй переменной поликорреляционного момента или индикатора, у=0,...,з. Здесь под поликорреляционным моментом или индикатором понимается момент или индикатор, стоящий первым в числителе расчетной формулы.
Для полинома первого порядка имеет место только один индикатор В (-1,1,0,1) =
01 .
Для полинома второго порядка существуют два индикатора (-1)-го уровня:
В (-1,1,0,1) = го1; (5)
В(-1,1,1,2) = Г12, (6)
и один индикатор нулевого уровня:
, , Т, - Т, ■ В (-1,1,0,2 )-В (-1,1,0,1)-В (-1,1,1,2) В (0,2,0,2) = 0(0,2) = 0—01~12 -^ ' ' ' ' } ' ' ' '. (7)
1 -(Г12)2 1 -[_В(-1,1,1,2)\2
Для полинома третьго порядка добавляются индикаторы базового или (-1)-го и нулевого уровней:
В(-1,1,0,3) = Г03, В(-1,1,1,3) = Г13, В(-1,1,2,3) = т^, (8)
-т, ■ Г,? В(-1,1,0,3)-В(-1,1,0,1)-В(-1,1,1,3) В(0,3,0,3) = 0(0,3) = 03 Т01 13 -V ' } ', (9)
( ) 1 -ы2 1 -[_В{-1,1,1,3)\2
В (0 2 13) = Т23 - Т12 ■ Т13 =В (-1,12,3) - В (-1,112) ■В (-1,113) (10)
( , , , ) 1 -(Т12)2 1 -[В(-1,1,1,2)]2 '
В(0 32 3\ = 2 - 1 ■ Т13 =В (-1,1,2,3) - В (-1,I12) ■В (-1,113)
( , , , ) 1 -Ы2 1 -[В(-1,1,1,3)]2 .
Они позволяют рассчитать индикатор первого уровня:
В{,.30.3) ВВ)•В(°'3'1'3). (12)
1 -[ В {0,3,1, 3)]
Аналогичные действия можно произвести и для других степеней регрессионного полинома. Несмотря на вынужденную громоздкость обозначений, удалось получить рекуррентные соотношения для исчисления индикаторов [ 2, с. 127-128].
Используя выражения (4.1.30) и (4.1.31) из [2, с. 127], можно вычислить коэффициенты регрессионного полинома.
Если обрабатываемый статистический материал действительно содержит полиномиальную зависимость между зависимой и независимой переменными, то индикаторы вида В{5-2,з,0,s) при 5 > п будут обращаться в ноль. Такое обращение обеспечивает объективное определение порядка п регрессионного полинома.
Обратим внимание, что все возможные индикаторы в конечном итоге вычисляются через базовые индикаторы В{-1,1 ,0,-) = r0j и В{-1,1 ,г,-) = г-. Их поведение в значительной
степени определяет поведение индикаторов более высокого уровня.
Исследование свойств базовых индикаторов
В работе [1] получено выражение, определяющее поликорреляционный момент ,
являющийся числителем индикатора г01:
г=п
Ц0- = Е |_Ъг • {а«+- - аг • а- )], (13)
г =1
где аг, а - - начальные моменты порядков / и } соответственно независимой переменной регрессионного полинома порядка п.
Нормируя (13) среднеквадратическими отклонениями а(Г) и о(Х]), получаем индикатор г0j (с учетом [2, с. 79]):
__^0/__
0 ^П(Г) • Б(ХП
г =п
Ъг • {аг+ / - аг 'а/)] (14)
_ г=1
V
Е Ъ2 • {а2г -а2 )] + Е Ък • Ъг • {аг+к -аг 'ак ) ' {а2/ -а2 )
_г=0 г*к ]
Таким образом, поведение базового индикатора г определяется начальными моментами независимой переменной. Аналогичные рассуждения можно провести и для другого индикатора г..
Начальные моменты законов распределения вероятностей в зависимости от значения их порядков изменяются по-разному. Например, для равномерного закона начальные моменты с ростом их порядка стремятся к нулю, для экспоненциального закона - показательно возрастают, а для бернуллиевского закона распределения вероятностей - постоянны. Учитывая, что при расчете базовых индикаторов вида (14) начальные моменты входят и в числитель, и в знаменатель формулы, возможно предположение о их взаимной компенсирующей роли.
Для подтверждения этой гипотезы проведены численные эксперименты. Суть их состояла в генерации пары наблюдений {х-,у-), / = 1,2, ..., N. Независимая переменная х-изменялась линейно от 0 до 999 с шагом 0,01 (иными словами, объем выборки N=1000). Рассчи-
тывались значения хк, к = 1,2, ..., п; п < 50 и вычислялось значение полинома по формуле
к=п
У} = Е хк. (15)
к=1
После этого на каждое значение yj накладывалась аддитивная помеха б^. Помеха
представляет собой некоррелированное случайное число с одним из трех законов распределения вероятностей - равномерным в интервале [а, 6], нормальным с параметрами т, о и экспоненциальным с параметром А. Параметры задаются исследователем. Выбор экспоненциального закона распределения вероятностей помехи обусловлен его положительной определенностью и, главное, асимметричностью относительно математического ожидания. Эта асимметричность предположительно обеспечивает возможность выявления влияния вероятностных свойств помехи на индикаторы.
На рис. 1 представлены результаты численных экспериментов - вычисленные значения индикаторов r0j и г^ при нормально распределенной помехе с нулевым математическим
ожиданием и среднеквадратическими отклонениями о=0,1; 1; 10 и 100 (ясно, что чем больше а, тем меньше проявляется полиномиальная зависимость). Выбор индикаторов r0j и г^ обусловлен тем, что они участвуют в расчетах индикаторов нулевого и всех последующих уровней, использующих информацию о поведении зависимой переменной. Поэтому на рис. 2 представлены индикаторы нулевого уровня, полученные расчетом через соответствующие индикаторы базового уровня, отображенные на рис. 1.
В работе [1] показано, что индикатор уровня 2-п обращается в ноль при } > п. Это и является объективным указанием порядка регрессионного полинома, отражаемого обрабатываемым статистическим материалом.
а = 10 а = 100
Рис. 1. Базовые индикаторы r0j и rjj при нормальном законе распределения
помехи с параметрами 0, а Fig. 1. Basic indicators roj and r1j under the normal distribution law
of the interference with the parameters 0, а
a = 0,1
a = 1
a = 10 a = 100
Рис. 2. Индикаторы нулевого уровня D(0,j) при нормальном законе распределения
помехи с параметрами 0, a Fig. 2. Zero level indicators D(0,j) under the normal distribution law of the interference with the parameters 0, a
Особо отметим, что значимого влияния вероятностных свойств помехи на индикаторы не зафиксировано. На рис. 3 приведены фрагменты реализации полиномов (по 100 значений), по которым проводился расчет индикаторов (см. рис. 1 и 2).
На рис. 4 и 5 приведены экспериментальные значения индикаторов r0j, rlj и D(0,j)
при тех же, что и ранее, вероятностных свойствах помехи, но только при о=1 и различных порядках регрессионного полинома. Эти результаты свидетельствуют о том, что характер поведения индикаторов не зависит от порядка полинома.
(0; 0,1)
(0; 1)
(0; 10) (0; 100) Рис. 3. Фрагменты реализации полиномов при нормальном распределении помехи
с параметрами m, о
Fig. 3. Fragments of polynomials implementation under the normal distribution of the interference
with the parameters m, о_
n=30 n=40
Рис. 4. Базовые индикаторы r0j и rjj при различных порядках регрессионного полинома Fig. 4. Basic indicators roj and r1j under various orders of the regression polynomial
n=10
n=20
n=30 n=40
Рис. 5. Индикаторы нулевого уровня D(0,j) при различных порядках регрессионного полинома Fig. 5. Zero level indicators D(0,j) under various orders of the regression polynomial
Выводы
Анализ полученных результатов позволяет сделать вывод о том, что базовый индикатор r0j, рассчитанный по статистическому материалу, предположительно содержащему полиномиально связанные переменные пар наблюдений {xj'yj)' j = 1>2> ■■■Nдостигая значения
«единица», может служить показателем, определяющим порядок регрессионного полинома. Он не позволяет исчислить регрессионные коэффициенты полинома и точно определить его порядок. Но r0j может успешно применяться на этапе предварительного оценочного статистического анализа для приближенной оценки порядка регрессионного полинома.
Библиографический список
1. Петров А.В. Метод вычисления индикаторов полиномиальной зависимости // Вестник ИрГТУ. 2016. № 5 (112). С. 87-94.
2. Петров А.В. Основы теории полиномиальных стохастических взаимосвязей. Иркутск: Изд-во ИРНИТУ, 2016. 170 с.
References
1. Petrov A.V. Metod vychisleniya indikatorov polinomial'noi zavisimosti [Polynomial dependence indicator calculation method]. Vestnik IrGTU [Proceedings of Irkutsk State Technical University]. 2016, no. 5 (112), pp. 87-94 (in Russian).
2. Petrov A.V. Osnovy teorii polinomial'nykh stokhasticheskikh vzaimosvyazei [Fundamentals of the theory of stochastic polynomial relationships]. Irkutsk, IRNITU Publ., 2016, 170 p. (in Russian)
Критерии авторства
Петров А.В. сформулировал задачу, провел исследования, подготовил статью к публикации и несет ответственность за плагиат.
Authorship criteria
Petrov A.V. formulated the objective, conducted the study, prepared the article for publication and bears the responsibility for plagiarism.
Конфликт интересов
Автор заявляет об отсутствии конфликта интересов.
Conflict of interests
The author declares that there is no conflict of interests regarding the publication of this article.
Статья поступила 16.05.2016 г. The article was received on 16 May 2016
