CC BY
9
Оригинальная статья / Original article УДК 519.233.5
DOI: http://dx.d0i.0rg/l0.21285/1814-3520-2018-5-97-104
ИНДИКАТОРЫ ПЕРВОГО УРОВНЯ В ПОЛИНОМИАЛЬНОМ РЕГРЕССИОННОМ АНАЛИЗЕ © А.В. Петров1
Иркутский национальный исследовательский технический университет, 664074, Российская Федерация, г. Иркутск, ул. Лермонтова, 83.
РЕЗЮМЕ. ЦЕЛЬЮ исследования является нахождение методов оценивания нелинейных вероятностных зависимостей. МЕТОДЫ. Основными методами исследования являются теоретический вероятностный анализ и численные методы. РЕЗУЛЬТАТЫ. Исследуется поведение индикаторов, рассчитанных по статистическому материалу, предположительно содержащему полиномиально связанные независимую и зависимую переменные. Рассматриваются индикаторы, служащие основой для вычисления регрессионных коэффициентов полинома и точного определения его порядка. Особое внимание уделено индикатору первого уровня, отражающему вклад линейной составляющей в оцениваемую полиномиальную зависимость. ЗАКЛЮЧЕНИЕ. Индикаторы могут успешно применяться на этапе предварительного, оценочного статистического анализа для приближенной оценки порядка и вида регрессионного полинома.
Ключевые слова: регрессионный анализ, полином, порядок полинома, моментные функции, индикаторы, метод вычисления.
Информация о статье. Дата поступления 26 марта 2018 г.; дата принятия к печати 24 апреля 2018 г.; дата он-лайн-размещения 31 мая 2018 г.
Формат цитирования: Петров А.В. Индикаторы первого уровня в полиномиальном регрессионном анализе // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 5. С. 97-104. DOI: 10.21285/ 1814-3520-2018-5-97-104
INDICATORS OF THE FIRST LEVEL IN POLYNOMIAL REGRESSION ANALYSIS A.V. Petrov
Irkutsk National Research Technical University, 83, Lermontov St., Irkutsk, 664074, Russian Federation
ABSTRACT. The PURPOSE of the study is to find the methods for estimating nonlinear probability dependencies. METHODS.The main research methods are theoretical probabilistic analysis and numerical methods. RESULTS. The behavior of indicators calculated according to the statistical material that presumably contains polynomially connected independent and dependent variables is investigated. The indicators that serve as the basis for calculating the regression coefficients of the polynomial and accurate determination of its order are considered. Particular attention is given to the indicator of the first level, which reflects the contribution of the linear component to the estimated polynomial dependence. CONCLUSION. Indicators can be successfully applied at the stage of preliminary, evaluative statistical analysis for an approximate evaluation of the order and type of a regression polynomial.
Keywords: regression analysis, polynomial, polynomial order, moment functions, indicators, calculation method
Information about the article. Received March 26, 2018; accepted for publication April 09, 2018; available online May 31, 2018.
For citation: Petrov A.V. Indicators of the first level in polynomial regression analysis. Vestnik Irkutskogo gosudarstven-nogo tehnicheskogo universiteta = Proceedings of Irkutsk State Technical University. 2018, vol. 22, no. 5, pp. 97-104. DOI: 10.21285/1814-3520-2018-5-97-104. (In Russian).
1
Петров Александр Васильевич, доктор технических наук, профессор кафедры автоматизированных систем, e-mail: [email protected]
Alexander V. Petrov, Doctor of technical sciences, Professor of the Department of Automated Systems, e-mail: [email protected]
Введение
Обработка результатов измерений является одним из ключевых этапов в подавляющем числе сфер научных исследований. Качество проведения этого этапа в значительной степени определяет и качество последующего анализа объекта исследования. К сожалению, достаточно часто можно видеть, что серьезный статистический анализ подменяется набором ритуальных предположений вида «будем считать, что данные подчиняются нормальному закону распределения вероятностей». При этом никаких обоснований, ну хотя бы на уровне проверки гипотез, не приводится. Да и нескольких десятков известных в теории вероятностей законов распределения как бы не существует [1, 2]. Например, мы определяем размеры частиц кофе после помола. Известно, что этот параметр (размер частицы) подчиняется логарифмически нормальному закону распределения вероятностей [3]. А вот ошибки измерения -суть гауссовские случайные величины, хотя бы в силу центральной предельной теоремы.
Не меньшее влияние на качество формируемых выводов оказывают и такие значимые вероятностные свойства экспериментальных наблюдений, как стационарность и периодичность. Суть проблемы состоит в том, что используемый традиционный статистический анализ предназначен для анализа стационарных случайных явлений,не содержащих периодических составляющих [4]. При этом известны две достаточно простые процедуры оценки стационарности в широком смысле и периодичности. И только оценив эти свойства и исключив нестационарности и периодичности, можно использовать простейший аппарат статистической обработки. К сожалению, эти важнейшие действия пропускаются.
Таким образом, прежде чем применить традиционные методы статистического анализа, необходимо идентифицировать и исключить из наборов экспериментальных данных тренды, которые в них могут содержаться.
Методы идентификации трендов
Задача идентификации тренда состоит в определении параметров функции или функций, описывающих с максимально возможной точностью анализируемые экспериментальные данные. Методов и методик решения этой задачи существует достаточно много.
Исторически первым можно считать метод наименьших квадратов, лежащий, в принципе, в основе регрессионного анализа [5].Если речь идет об аппроксимации линейной функции, то исчисление коэффициентов этой линии при условии минимума ошибок не составляет труда. Но как только аппроксимирующая функция не является линейной, решение задачи регрессионного анализа существенно усложняется. И «виной» тому является бесконечное число нелинейных функций. Решают эту проблему в регрессионном анализе тремя путями.
Первый состоит в использовании классического метода наименьших квадратов. Речь идет о минимизации среднеквадратической погрешности:
11=^ - Я*/)) , (1)
где - независимая переменная; у;- - зависимая переменная; /(х;) - аппроксимирующая функция; п - количество пар наблюдений.
И если нелинейная функция /, минимизируя (1), «позволит» найти коэффициент в функции /, то задачу можно считать решенной. Реализация этого подхода требует серьезных аналитических затрат и не гарантирует получения приемлемого результата (здесь не учитываются численные методы). Примером такой «неудобной» функции может служить тривиальная экспоненциальная функция
у = еах. (2)
Второй способ заключается в сведении нелинейной функции к линейной, нахождении коэффициентов полученной линейной функции известным в линейном регрессионном анализе способом (1) и реализацией обратного перерасчета коэффициентов. Этот способ носит название линеаризации [6], но, к сожалению, число нелинейных функций, позволяющих реализовать этот способ, крайне ограничено. К числу таких линеаризуемых функций относится, например, функция (2).
Третий подход носит универсальный характер и состоит в том, что аппроксимирующая функция есть полином известного порядка п. В литературе, посвященной нелинейному регрессионному анализу, например [5], описана методика решения так называемых систем нормальных уравнений. При этом, если для полинома п-й степени
у = 1]=0(р]^х1), (3)
система нормальных уравнений
+ + •■■ + =1х} •У; ,
(4)
А^у + + ■■■ + = •У]
обеспечивает нахождение регрессионных коэффициентов .
Помимо регрессионного полиномиального анализа поиск аппроксимирующей экспериментальные данные функции осуществляется посредством так называемых сплайн -аппроксимаций [7].
В соответствии с [7] суть этого аппарата аппроксимации состоит в следующем. Полиномиальным сплайном порядка п называют функцию 5(ь), определенную и непрерывную на отрезке [а,Ь] с узлами х^(а < х0 < ••• <хт< Ь), если на каждом из отрезков эта функция полином есть полином степени, не превышающий п. Множество точек х¡,] = 1,2, ...,т называют узлами или точками склейки. Иными словами, экспериментальные данные описываются набором аппроксимирующих функций, параметры которых отыскиваются для каждого из отрезков [Х]-ЬХ]).
Помимо сугубо математических проблем, связанных с необходимостью обеспечения непрерывности в узлах х), имеют место и другие, например, задача выбора степени полинома, «работающего» на отрезке [х^-1,х^).
Очевидно, что вместо полинома могут использоваться и другие функции, но это не решает главной проблемы - проблемы интерпретации результатов обработки экспериментальных данных. Используя сплайны, можно добиться исключительно высокой точности аппроксимации экспериментальных данных. Но если не решается задача построения высокоточного математического инструментария, а необходимо найти такую функцию, описывающую исследуемый объект, чтобы по ней можно было составить адекватное представление о свойствах функционирования объекта, то сплайны только усложнят задачу понимания природы объекта изучения. Здесь математика, создавая инструменты типа сплайна, вступает в противоречие с практическим применением математических методов [8].
Но в регрессионном полиномиальном анализе и сплайн-аппроксимации через полиномы проблема нахождения коэффициентов аппроксимирующих функций решается только в случае, если известен порядок полинома п. Его можно назначить исходя из разных соображе-
ний, в том числе и из стремления обеспечить интерпретацию влияния коэффициентов полинома на функционирование объекта изучения. Однако имеет право на существование и гипотеза о том, что в самих экспериментальных данных содержится информация о порядке полинома. Надо только уметь извлечь эту информацию.
Индикаторы
В работе [9] представлен подход, основанный на использовании нового класса вероятностных числовых характеристик, названных индикаторами, который обеспечивает решение задачи полиномиального регрессионного анализа (нахождения коэффициента и порядка полинома). Структурно подобные коэффициенту корреляции индикаторы находятся из рекуррентных соотношений [9]:
ß0 = aY-£as ■ßs,
(б, a)
s=1
a in _
ßjj^^-B (j,j,0,j)-^ £ aXk-B (j,j,j,k)-ßk,j = 1,2,..,n - 1;j < n, (б, b)
xj
XJ k=j+1
B ( k,s,i,j ) =
B(k-1,s,0,j)-B(k- 1,k- 1,0,k-1)-B(k- 1,s,k- 1,j)
1 - B(k - 1,k-1,k - 1,j)• B(k - 1,s,k - 1,j) B ( k-1, s, i, j )-B ( k -1, k-1, k -1, i )• B ( k -1, s, k -1, j )
1 - B ( k-1, k -1, k -1, j )• B ( k -1, s, k -1, j ) B(k-1, s, i,j)-B(k-1, k-1, k-1, j)• B(k-1, s, k-1, i) ._ 1-B ( k-1,k - 1,k-1,i )• B ( k - 1,s,k - 1,i )
i = 0,
0 < i < s,
i = s,
(б, c)
В(-1,1,/,7) = гх,х: = = Мхах , (5, Ь)
а X' ' ах] °'X' ' ах]
где а - оценка начального момента; а - оценка среднеквадратического отклонения; п - порядок регрессионного полинома (п= 1,2,...); 5 - номер регрессионного коэффициента (5= 2,3,. п); I - степень первой переменной^ = 0,1,.5); - степень второй переменной () = к,...,п); к- уровень коэффициента В (к = -1,., п).
В [9] показано, что индикатор В( к,Б,0^) обеспечивает нахождение порядка регрессионного полинома, аппроксимирующего экспериментальные данные. При этом исследователь не задействован в определении порядка регрессионного полинома. Эта информация извлекается из обрабатываемых данных, которые являются ее объективным носителем. Это подтверждает выдвинутую гипотезу. И, конечно, этот метод более эффективен, чем рутинный перебор статистических гипотез, предложенный Т. Андерсоном [10].
Индикаторы как вероятностные характеристики основаны на использовании так называемых моментных функций [11, 12]. При этом следует иметь в виду, что посредством индикаторов исследуются экспериментальные данные, содержащие тренды, не являющиеся стационарными. Последнее накладывает отпечаток на восприятие индикаторов как способа отражения вероятностных свойств взаимозависимости в нестационарных данных.
В работах [9, 13, 14] представлены результаты исследования моментных функций ин-
дикаторов. Например, статья [14] посвящена изучению индикаторов базового уровня:
B (-1,1,G,j ) = rXj =
- а - а
YX
Y 'aXJ
œy-axj
(б)
Сделаны выводы, что индикаторы базового уровня не позволяют найти коэффициенты регрессионного полинома, но указывают на порядок полинома на стадии предварительного статистического анализа.
Если гТХ] ^да при увеличении объема обрабатываемых экспериментальных данных, то порядок полинома п =При этом индикатор базового уровня В (-1,1,0,7) служит основой
для нахождения коэффициентов линейной регрессии.
С целью поиска пути изучения индикаторов как вероятностных числовых характеристик были проведены численные эксперименты: изучалось поведение индикатора вида
B ( G,j,G,j ) = rYXJ =
rYYj rYX1 ' rX 1Xj
YX
1 -( r
( rX lXJ )2
(7)
На функцию заданного вида накладывался шум-реализация некоррелированного нормального случайного процесса с нулевым математическим ожиданием и задаваемой дисперсией. Затем производился расчет индикаторов В (0,7,0,7).
На рис. 1 приведены графики поведения индикатора В(0,7,0,7) при одинаковой дисперсии шума и девяти различных видах трендов.
Рис. 1. Индикатор B (0, j, 0, j) при различных видах трендов Fig. 1. Indicator B(0,j,0,j) under different types of trends
Представленные результаты экспериментов показывают, что рассматриваемый индикатор близок к нулю для линейного тренда и явно отражают нелинейность для иных видов трендов. При этом объяснимо стремление к нулю индикаторов при 7 ^да.
Рис. 2 отражает изменение индикатора В(0,7,0,7) при линейном тренде различного
вида.
Следует обратить внимание на диапазон изменения индикаторов: от -0,1865 до 0,0072 при } = 2. Конечно, это экспериментальные данные и ограниченный по разнообразию набор линейных функций. Но, тем не менее, это позволяет поставить задачу исследования чувствительности индикатора на поведение коэффициентов линейного тренда.
Рис. 2. Индикатор B (0, j,0, j) при различного вида линейном тренде Fig. 2. Indicator B (0, j, 0, j) under the linear trend of a different type
На рис. 3 представлены результаты численных экспериментов с линейным трендом вида y = x, но накладываемые шумы здесь - это нормально распределенные числа с нулевым математическим ожиданием, но разными дисперсиями.
Рис. 3. Индикатор B (0, j, 0, j) при линейном тренде с различными дисперсиями
накладываемых шумов
Fig. 3. Indicator B (0, j, 0, j) under the linear trend with different dispersions of superimposed noises
Результаты, представленные на рис. 3, подтверждают ранее высказанную мысль: чем значительнее разброс значений относительно их среднего (у нас о), тем менее чувствительны многие традиционные инструменты исследования вероятностных свойств.
Выводы
Таким образом, основываясь на [13] и выше представленных результатах, справедливо сделать вывод, что индикаторы вида (5) являются приемлемым инструментом и показателем не только зависимости, они могут применяться для идентификации формы зависимости. Последнее утверждение требует более тщательного теоретического и экспериментального изучения.
Библиографический список
1. Корн Г., Корн Т. Справочник по математике (для научных работников и инженеров); 4-е изд. М.: Наука, 1977. 832 с.
2. Хастингс Н., Пикок А. Справочник по статистическим распределениям; пер. с англ. М.: Статистика, 1980. 95 с.
3. Колмогоров А.Н. О логарифмически нормальном законе распределения при дроблении // Доклады АН СССР. 1941. Т. 31. № 2. С. 99-101.
4. Бендат Дж., Пирсол А. Измерение и анализ случайных процессов / пер. с англ. Г.В. Матушевского, В.Е. При-вальского; ред. Г.Я. Мирской. М.: Наука, 1974. 399 с.
5. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: в 2 кн.; 2 изд., перераб. и доп.; пер. с англ. М.: Финансы и статистика, 1986. Кн. 1 - 366 с.
6. Закс Л. Статистическое оценивание; пер. с нем. М.: Статистика, 1976. 598 с.
7. Математическая энциклопедия; в 5 т. / гл. ред. И.М. Виноградов. М.: Советская энциклопедия. Т. 5. Случайная величина - ячейка. 1985. 623 с.
8. Петров А.В. «Иная и забытая» теория вероятностей / Вестник ИрГТУ. 2013. № 11 (82). С. 36-38.
9. Петров А.В. Основы теории полиномиальных стохастических взаимосвязей. Иркутск: Изд -во ИРНИТУ, 2016. 170 с.
10. Андерсон Т. Статистический анализ временных рядов / пер. с англ. И.Г. Журбенко, В.П. Носко; под ред. Ю.К. Беляева. М.: Мир, 1976. 756 с.
11. Мирский Г.Я. Характеристики стохастической взаимосвязи и их измерения. М.: Энергоиздат, 1982. 320 с.
12. Чупров А.А. Основные проблемы теории корреляции. М.: Госстатиздат СССР, 1966. 176 с.
13. Петров А.В. Метод вычисления индикаторов полиномиальной зависимости // Вестник ИрГТУ. 2016. Т. 20. № 6. С. 82-88. https://doi.org/10/21285/1814-3520-2016-6-82-88
14. Петров А.В. О взаимосвязи индикатора базового уровня с порядком регрессионного полинома// Вестник ИрГТУ. 2016. Т. 20. № 7. С. 102-108. https://doi.org/10/21285/1814-3520-2016-7-102-108
References
1. Korn G., Korn T. Spravochnik po matematike (dlya nauchnykh rabotnikov I inzhenerov) [Handbook on Mathematics (for scientists and engineers)]. Moscow: Nauka Publ., 1974, 832 p. (In Russian)
2. Hastings N., Peacock A. Spravochnik po statisticheskim raspredeleniyam [Handbook on statistical distributions]. Moscow: Statistics Publ., 1980, 95 p.
3. Kolmogorov A.N. O logarifmicheski normal'nom zakone raspredeleniya pri droblenii [On the logarithmically normal distribution law in the case of fragmentation]. Dokladi AN SSSR [Proceedings of the USSR Academy of Sciences]. 1941, vol. 31, no. 2, pp. 99-101. (In Russian).
4. Bendat J., Pirsol A. Izmereniye i analiz sluchainykh protsessov [Measurement and analysis of random processes]. Moscow: Mir Publ., 1974, 464 p.
5. Draper N., Smith G. Prikladnoi regressionnyi analiz [Applied regression analysis]. In 2 books. Book. 1. Moscow: Finance and Statistics Publ., 1986, 366 p.
6. Zaks L. Statisticheskoe otsenivanie [Statistical estimation]. Moscow: Statistics Publ., 1976, 598 p.
7. Matematicheskaya entsiklopediya [Mathematical Encyclopedia] in 5 volumes / Ed. I.M. Vinogradov. Moscow: Soviet Encyclopedia Publ., vol. 5, 1984, 623 p.
8. Petrov A.V. "Other and forgotten" theory of probability. Vestnik IrGTU [Proceedings of Irkutsk State Technical University]. 2013, по. 11 (107), рр. 36-38.(In Russian)
9. Petrov A.V.Osnovy teorii polinomial'nykh stokhasticheskikh vzaimosvyazei [Fundamentals of the theory of polynomial stochastic relationships]. Irkutsk: Irkutsk Technical University Publ., 2016, 170 p. (In Russian)
10. Anderson T. Statisticheskii analiz vremennykh ryadov [Statistical analysis of time series]. Moscow: Mir Publ., 1976, 757 c.
11. Mirskii G.J. Kharakteristiki stokhasticheskoi vzaimosvyazi i ikh izmereniya [Characteristics of stochastic relationships and their measurement]. Moscow: Energoizdat Publ., 1982. 320 p. (In Russian).
12. Chuprov A.A. Osnovnye problemy teorii korrelyatsii [The main problems of the theory of correlation]. Moscow: Goss-tazdat of the USSR Publ., 1966, 176 p. (In Russian).
13. Petrov A.V. Polynomial dependence indicator calculation method. Vestnik IrGTU [Proceedings of Irkutsk State Technical University]. 2016, vol. 20, no. 6, pp. 82-88. (inRussian). https://doi.org/10/21285/1814-3520-2016-6-82-88
14. Petrov A.V. On base level indicator and regression polynomial order relationship. Vestnik IrGTU [Proceedings of Irkutsk State Technical University]. 2016, vol. 20, no. 7, рр. 102-108. https://doi.org/10/21285/1814-3520-2016-7-102-108
Критерии авторства
Петров А.В. полностью подготовил статью и несет ответственность за плагиат.
Authorship criteria
Petrov A.V. fully prepared the article for publication and bears the responsibility for plagiarism.
Конфликт интересов
Автор заявляет об отсутствии конфликта интересов.
Conflict of interests
The author declares that there is no conflict of interests regarding the publication of this article.
