CC BY
11ESTABLISHING THE SIGNIFICANCE OF THE COEFFICIENTS OF THE QUASI-LINEAR EQUATION OF N-FACTOR
AUTOREGRESSION
M.S.A. Abotaleb
South Ural State University 454080, Chelyabinsk, Russia
DOI: 10.24412/2073-0667-2024-3-5-28 EDX: TIKBLU
This article conducts a thorough analysis of the Generalized Least Deviation Method (GLDM) applied to time series forecasting. The study concentrates on establishing the optimal model order and identifying conditions that lead to zero coefficients. Central to this analysis is the GLDM Estimator, which determines the coefficients [ajby minimizing an objective function F(a), expressed as the sum of the arctangents of the absolute deviations from the time series data [yt}J=i which belongs to R. The adaptability of GLDM to capture complex dataset interactions is examined, highlighting how it adjusts to different model orders. It is shown that the appropriate model order depends not only on the dataset size but also on the inherent data characteristics, which govern the model's complexity. For example, the data for temperature, with its significant seasonal variations and autocorrelations, requires a fifth-order model, whereas wind speed and COVID-19 death counts in Russia are suitably modeled by a second-order framework. The paper also explores the subtleties of higher-order models and suggests a custom strategy for model selection that enhances the accuracy and interpretabilitv of time series forecasting predictions.
Key words: Time series forecasting, Generalized Least Deviation Method, predictive modeling coefficients.
References
1. Panvukov A., Tvrsi, A. Stable parametric identification of vibratory diagnostics objects /7 ■Journal of Vibroengineering, 2008. V. 10(2), ID 350.
2. Tvrsin A. Robust construction of regression models based on the generalized least absolute deviations method /7 .Journal of Mathematical Sciences, 2006. V. 139. P. 6634 6642.
3. Sirotin D. V. Neural network approach to forecasting the cost of ferroalloy products. Izvestiva. Ferrous Metallurgy. 2020;63(l):78-83. (In Russ.) [El. Res.]: https://doi.org/10.17073/0368-0797-2020-1-78-83.
4. Yakubova D. Econometric models of development and forecasting of black metallurgy of Uzbekistan /7 Asian .Journal of Multidimensional Research (A.JMR), 2019. V. 8(5). P. 310 314.
5. Panehal R., Kumar B. Forecasting industrial electric power consumption using regression-based predictive model /7 Recent Trends in Communication and Electronics: Proceedings of the International Conference on Recent Trends in Communication and Electronics (ICCE-2020), Ghaziabad, India, 28 29 November, 2020. 2021. ID 135.
© M. S. A. Abotaleb, 2024
6. Makarovskikh T., Panvukov A., Abotaleb M. Using general least deviations method for forecasting of crops yields // International Conference on Mathematical Optimization Theory and Operations Research,' 2023. P. 376-390. DOI: 10.1007/978-3-031-43257-6^28.
7. Panvukov A., Makarovskikh T., Abotaleb M. Forecasting with Using Quasilinear Recurrence Equation // Advances in Optimization and Applications. OPTIMA 2022. Communications in Computer and Information Science. 2022. V. 1739. P. 183-195. Springer, Cham. DOI: 10.1007/978-3-031-22990-9^13.
8. Panvukov A.V., Mezaal Y. A. Improving of the Identification Algorithm for a Quasilinear Recurrence Equation // Advances in Optimization and Applications. OPTIMA 2020. Communications in Computer and Information Science. 2020. V. 1340. P. 15-26, Springer, Cham. DOI: 10.1007/978-3-030-65739-0^2.
9. Ma G., Y. Zhang Y., Liu M. A generalized gradient projection method based on a new working set for minimax optimization problems with inequality constraints // Journal of inequalities and applications. 2017. V. 2017. N 1. P. 1-14.
10. Antonau I., Hojjat M., Bletzinger K.-U. Relaxed gradient projection algorithm for constrained node-based shape optimization // Structural and Multidisciplinarv Optimization. 2021. V. 63. N 4. P. 1633-1651.
11. Loris I., Bertero M., De Mol C., Zanella R., Zanni L. Accelerating gradient projection methods for 1-constrained signal recovery by steplength selection rules // Applied and computational harmonic analysis. 2009. V. 27. N 2. P. 247-254.
12. Pan J., Wang H., Yao Q. Weighted least absolute deviations estimation for ARMA models with infinite variance // Econometric Theory. 2007. V. 23. N 5. P. 852-879.
13. Panvukov A., Mezaal Ya. Stable identification of linear autoregressive model with exogenous variables on the basis of the generalized least absolute deviation method // Bulletin of the South Ural State University. Series: Mathematical Modeling and Programming. 2018. V. 11. N 1. P. 35-43.
14. Abotaleb M.S. A., Makarovskikh, T. The Research of Mathematical Models for Forecasting Covid-19 Cases // Mathematical Optimization Theory and Operations Research: Recent Trends. MOTOR 2021. Communications in Computer and Information Science. 2021. V. 1476. Springer, Cham. P. 301-315. DOI: 10.1007/978-3-030-86433-0^21.
15. Panvukov A.V., Golodov V. A. Computing Best Possible Pseudo-Solutions to Interval Linear Systems of Equations // Reliable Computing. 2013. V. 19. P. 215-228.
16. Storchak I. G. Forecast of winter wheat yield using the NDVI vegetation index for the conditions of the Stavropol Territory: dissertation of Candidate of Agricultural Sciences: 06.01.01 / Storchak Irina Gennadievna; [Place of defense: Stavropol State Agrarian University, un-t]. Stavropol, 2016.
17. Oikolab. Temperature Dataset for Germany. Available online at https://oikolab.com. Accessed on May 11, 2024.
18. Isen, Berker. WTind Turbine SCADA Dataset. [El. res.]: https://www.kaggle.com/datasets/ berkerisen/wind-turbine-scada-dataset. Accessed on May 11, 2024.
19. Center for Systems Science and Engineering (CSSE) at Johns Hopkins University. COVID-19 Data Repository. [El. res.]: https://arcg.is/0fHmTX. Accessed: 2022-04-07.
20. Makarovskikh T. A., Abotaleb M.S. A., Maksimova V. N., Dernova O.A. Forecasting agricultural land productivity using a quasi-linear equation of N-factor autoregression // Applied Informatics. 2023. V. 18. N 6 (108). P. 5-19.
УСТАНОВЛЕНИЕ ЗНАЧИМОСТИ КОЭФФИЦИЕНТОВ КВАЗИЛИНЕЙНОГО УРАВНЕНИЯ ГЧ-ФАКТОРНОЙ
АВТОРЕГРЕССИИ
М. С. А. Аботадеб
Южно-Уральский государственный университет 454080, Челябинск, Россия
УДК 51-77
DOI: 10.24412/2073-0667-2024-3-5-28 EDX: TIKBLU
В этой статье проводится анализ обобщенного метода наименьших отклонений (GLDM), применяемого при анализе временных рядов. Исследование посвящено установлению оптимального порядка модели и определению коэффициентов модели. Центральное место в этом анализе занимает программа оценки GLDM, которая определяет коэффициенты. Рассматривается адаптивность GLDM для анализа сложных процессов. Показано, что соответствующий порядок модели зависит не только от размера набора данных, но и от присущих характеристик данных, которые определяют сложность модели. Например, данные о температуре с ее значительными сезонными колебаниями и автокорреляцией требуют модели пятого порядка, тогда как скорость ветра и количество смертей от COVID-19 в России достаточно моделируются с помощью модели второго порядка. В документе также исследуются тонкости моделей более высокого порядка и предлагается специальная стратегия выбора модели, которая повышает точность и интерпретируемость прогнозов временных рядов.
Ключевые слова: прогнозирование временных рядов, обобщенный метод наименьших отклонений, коэффициенты модели.
Введение. В настоящее время множество исследований посвящено изучению различных динамических процессов: от технологических приложений до социальных наук и здравоохранения. В связи с этим одним из наиболее актуальных направлений является повышение точности и скорости определения диагностических признаков. Сказанное относится, в частности, к уникальным высоконагруженным механическим системам, рассмотренным, например, в 11—21, Решение этой задачи во многих случаях может быть получено с помощью динамических характеристик механических систем. Определение этих характеристик значительно облегчается за счет правильного выбора диагностической математической модели, устанавливающей связь между пространством состояний объекта и пространством диагностических признаков. В качестве них рассматриваются динамические модели, представленные в виде разностных уравнений, феноменологических, структурных, регрессионных моделей и т. д. Выбор конкретной модели зависит от определенных характеристик и характера анализируемого процесса.
Несмотря на то, что идентификация с использованием различных статистических методов, нейронных сетей или математических моделей уже давно используется в различных
© М. С. А. Аботалеб, 2024
сферах, большинство прогнозов, особенно для больших данных, составляются с использованием различных моделей нейронных сетей (например, [3-4] и многие другие работы). Тем не менее, все подобные модели выглядят как черный ящик, позволяющий получить подходящий ответ для фиксированной категории входных данных, анализировать которые он обучен.
Поскольку большинство перечисленных выше моделей работают для краткосрочного прогнозирования, актуальной является задача разработки математического подхода, позволяющего в явном виде получать качественные квазилинейные разностные уравнения (адекватно описывающие рассматриваемый процесс). Известны некоторые исследования в этой области, такие как [5], где предлагаемая модель включает очистку данных, сглаживание данных и окончательные данные после предварительной обработки, которые вводятся в регрессионную модель для прогнозирования потребляемой мощности в промышленности,
В наших исследованиях [6-7] предложен метод определения параметров одного квазилинейного разностного уравнения, который в дальнейшем используется для решения задачи регрессионного анализа со взаимозависимыми наблюдаемыми переменными. Эта модель, в отличие от нейронных сетей, позволяет использовать детерминированный алгоритм высокого порядка, позволяющий явно получать адекватные квазилинейные разностные уравнения,
В данной статье приведены результаты вычислительного эксперимента для оценки коэффициентов модели,
1. Описание модели. Напомним, что квазилинейное уравнение — тип дифференциального (разностного) уравнения, в котором функция является линейной относительно всех производных (разностей) неизвестной функции. Такое уравнение имеет вид
ди ди
А1(х,и) + ... + Ап(х,и) = В (х,и).
Модели на основе квазилинейных уравнений используются для решения задачи регрессионного анализа с взаимозависимыми наблюдаемыми переменными, В частности, это позволяет реализовать метод наименьших отклонений (СЫЭМ) [8], который во многих случаях позволяет получить долгосрочный прогноз, В данном случае разумно использовать принцип максимума энтропии, т, е, «черного лебедя».
Теория черного лебедя или теория событий черного лебедя — это метафора, описывающая событие, которое становится неожиданностью, имеет большое влияние и часто неуместно рационализируется постфактум с выгодой задним числом. Этот термин основан на древнем высказывании о том, что черных лебедей якобы не существует.
Теория была разработана Нассимом Николасом Талебом, начиная с 2001 года, чтобы объяснить:
— Несоразмерную роль громких, труднопрогнозируемых и редких событий, выходящих за рамки обычных ожиданий в истории, науке, финансах и технологиях,
— Невычислимость вероятности последовательных редких событий с использованием научных методов (из-за самой природы малых вероятностей),
— Психологические предубеждения, которые слепят людей, как индивидуально, так и коллективно, к неопределенности и огромной роли редкого события в исторических делах.
Использованный для построения алгоритмов метод проекции градиента подробно рассмотрен в работе [9] для задач минимаксной оптимизации с ограничениями-
неравенствами. Разработанный алгоритм строит свертки частных критериев, В [10] представлен релаксированный метод проекции градиента, В этом методе используются модификации, которые показывают хорошее улучшение значений целевой функции. Рассмотренный в [10] метод не требует точной настройки параметров; поэтому он используется в практических расчетах, В [11] обсуждается новый алгоритм проецирования градиента. Этот метод использует линейный поиск в допустимом направлении и адаптивный выбор длины шага, основанный на стратегиях чередования хорошо известных правил Барзилая-Борвейна, Авторы этой работы обсуждают и сходимость своего подхода. Тем не менее, большинство рассмотренных подходов не учитывает возможности появления «черного лебедя», Следовательно, разработка нового подхода для этой ситуации является актуальной задачей,
В качестве прототипа используется модель, рассмотренная в работах Панюкова А, В, и Мезаала Я. А. [8], в которой рассматривается алгоритм определения коэффициентов а1,а2,а3 ... ,ат € К квазилинейной авторегрессионной модели порядка т
п(т)
У* = 5^ а3Зэ ({У-Ук
3 = 1
а, д3 ({у— }т=1) + t =1,2,... ,Т, (1)
используя информацию о значениях переменных состояния {у1 € К}^.т в моменты времени Ц где дз : ({уг-к}т=1) ^ К, .)=1>2,- ■ ■ п(т) — заданные функции п(т), а {ег € К}?=1 — неизвестные ошибки.
Алгоритм СЬБМ [8] в качестве исходных данных принимает вектор {у1 € т
длины Т + т > (1 + 3т + т2) и определяет факторы а1 ,а2,а3 ... ,ат € К при решении задачи оптимизации
т
агс1ап
Распределение Коши
4=1
п(т)
аз9з({У— }т=1) - Уг
3 = 1
^ шт (2)
К К^Ск
Р а) = 1 агс!ап(£) + 1 ж 2
имеет максимальную энтропию среди распределений случайных величин, не имеющих математического ожидания и дисперсии. Поэтому для данного исследования применяется функция агс1ап(*),
В дальнейшем рассмотрим модель т-го порядка с квадратичной нелинейностью, поэтому базовый набор функций д^ содержит
д(к)({Уь-к }т=1) = У—, д(ы)({У1-к}т=1) = Уг-к • Уг-ь к =1,2,...,т; I = к,к + 1,...,т.
Очевидно, в этом случае
п(т) = 2т + Ст = т(т + 3)/2, (3)
а нумерация функций д* может быть произвольной. Имеем:
— т линейных коэффициентов, соотносящих каждое предыдущее значение с последующим прогнозируемым значением,
—С^ коэффициентов для перекрестных произведений: попарные комбинации,
— т коэффициентов для квадратичных значений, используемых для учета нелинейных тенденций.
Предиктор формирует индексированное семейство разностных уравнений т-го поряд-
ка
п(т)
Ё ^ (Мт>2=1)
3 = 1
т = ^ + м + 2,ь + з,...,т -\,т,т +1,
(4)
для решетчатых функций уЩ со значениями у\Ъ\т, которые интерпретируются как построенный в момент времени Ь прогноз для ут. Для нахождения значений функции у\Ъ
(4)
виях
1 = 2 =
г-т = У*-
г = 1,2,... ,Т - 1,Т (5)
т
_ возможных прогнозов значения ут можно
1 4=1
Таким образом, множество Ут = использовать для оценки вероятностных характеристик величины ут.
2. Алгоритм идентификации параметров квазилинейного рекуррентного уравнения. Рассмотрим алгоритм идентификации параметров квазилинейного рекуррентного уравнения. Данный метод использует обобщенный метод наименьших модулей с подбором весов, (2)
зации, СЬБМ-оценки устойчивы к наличию корреляции значений в ^ € т и (при
соответствующих настройках) лучше всего подходят для вероятностных распределений ошибок с более тяжелыми (чем у нормального распределения) хвостами [1]. Все вышеиз-
(1)
(2)
(2)
(П.ПМ-оненкн.мп и оценками взвешенного метода наименьших отклонений [12] (\\'1.1)М-оценки).
Алгоритм оценки по \YI.D\I [8] в качестве исходных данных получает временной ряд {уг € т и весовые коэффицненты ^ € и вычисляет коэффициенты
а1,а,2,а3 ... ,ап(т) € [
с помощью решения задачи оптимизации
г *лп(т)
НЬ=1 = аг§
Ш1П
К ^^Ш^™)
Т
4=1
п(т)
Ё аз({У*-к}1к=1) - Ш
3 = 1
(6)
Эта задача представляет собой задачу выпуклой кусочно-линейной оптимизации, а введение дополнительных переменных сводит ее к задаче линейного программирования
т
т
y^PtZt ^ min (7)
(ai,«2,...,a^m))eRm, (2;i, Z2,..., zt )€RT
n(m)
-zt < ^ [а3 Qj ({yt-k }m=1)] - yt < zt, t =1,2,...,T, (8)
j=i
Zt > 0, t = 1,2,... ,T (9)
Задача (7)-(9) имеет канонический вид с n(m) + Т переменными и 3п ограничениями-неравенствами, включая условия неотрицательности переменных Zj, j = 1,2,... ,Т. Задача, двойственная к (7) -
т
(ut - vt) yt ^ max , (10)
u,v €RT
t=1
т
^dj9j({yt-k}m=i) (ut - Vt) = 0,3 = 1,2,... ,n(rn), (11)
=1
ut + vt = 'Pt, ut,vt > 0, t = 1,2,... ,T. (12)
Введем переменные wt = ut - vt, t = 1,2,... ,T. Из (12) следует Pt + Wt pt - Wt
ut = —2—, vt = —2—, - pt < wt < pt, t =1,2,...,т.
Поэтому оптимальное значение задачи (10)—(12) равно оптимальному значению задачи
т
y^wt • yt ^ max, (13)
лелт t=i
т
£9j({yt-k}m=i) • Wt = 0,3 = 1,2,... ,n(rn), (14)
=1
-'Pt < wt < pt,t = 1,2,... ,T. (15)
Ограничения (14) определяют (T - п(т))-мерное линейное подпространство С с (n(m) х Т)-матрпцей
5
9i({yi-k}m=i) ^i({^2-k}m=i) ... ^({ут+i-k}m=i)
^2({yi-k}m=i) ыь-k}m=i) ... ^2({^T+i-k}m=i)
9n(m)({yi-k }m=i) ^n(m)({yi-k}m=i) ... 9n(m) ({^i-k }m=i)
Ограничения (15) определяют Т-мерный параллелепипед Т.
Простая структура допустимого множества задачи (13)—(15) пересечение (Т — п(т))-мерного линейного подпространства С (14) и Т-мерпый параллелепипед Т (15) позволяют найти его решение с помощью алгоритма, использующего проекцию градиента целевой функции (13) (т, е, вектор V = ^ }1[=\ ) допустимую область СП Т, определяемой ограничениями (14)-(15), Матрица оператора проектировапия па С имеет вид
= Е — БТ • {Б • Бт) 1 • 5,
а проекция градиента на £ равна Ус = Б с •У, Если внешняя нормаль на какой-либо грани параллелепипеда образует острый угол с проекцией градиента У с, то перемещение по этой грани равно нулю.
Алгоритм ВиаЩГЪВМЗок^ег [7] для решения задачи (13)-(15) начинает поиск опУс
на грань параллелепипеда Т, то соответствующая координата в направлении движения принимается равной О,
Вычислительная сложность алгоритма не превышает 0(Т2) благодаря простой структуре допустимого множества: пересечение Т-мерного кубоида (15) и (Т — п(т))-мерное линейное подпространство (14),
Если (т*, Я*) — результат выполнения алгоритма построения проекции градиента, то и)* — оптимальное решение задачи (13)-(15), а оптимальное решение задачи (10)—(12) равно
и+
Рг + <
рь — ю*
г = 1,2,...,Т.
2 ' 1 2
Это следует из условия дополнительности пары взаимно двойственных задач (7)-(9) и (10)-(12) такие, что
Уг
Уг
п(т)
Ш = Е [сч 9з ({уъ-к }т=1)] V /К*,
3 = 1
п(т)
= Е [а393({ш-к}т=1)]+ VI е К* : ш
3 = 1
п(т)
^ К-д3({у—}т=1)] — V е д* : гю* = —р<.
3=1
(16)
(17)
(18)
Фактически решение ({а*}П-т), г*) системы линейных алгебраических уравнений (16)-(18) представляет собой двойственное оптимальное решение задачи (13)-(15) и оптимальное (6)
Теорема 1. Пусть из* — оптимальное решение задачи (13)-(15),
({а*}П-т)> _ решение системы линейных алгебраических уравнений (16)-(18), то ({а*}™—!1 — оптимальное решение задачи (6).
Вышеизложенное позволяет нам предложить алгоритм оценки \YI.D\I [7]. Основной проблемой при использовании алгоритма оценивания параметров \YI.D\I является отсутствие общих формальных правил выбора весовых коэффициентов. Следовательно, этот подход требует дополнительных исследований. Установленные в [7-8, 13] результаты позволяют свести задачу определения (П.ПМ-оненкп к итерационной процедуре с \YI.D\I-оценками,
(2)
СЬБМ-оценки устойчивы к наличию корреляции значений в : £ = 1,2,...,Т; ] =
1,2,... ,М}, и (с соответствующими настройками) как лучшая задача для вероятностных
распределений ошибок с более тяжелыми (чем V нормального распределения) хвостами [!]■
Установленные результаты позволяют свести задачу определения оценки (11.1) I к итерационной процедуре с оценками \Yi.P\I (см, алгоритм 1),
Алгоритм 1, СЬВМ-еаШш^ог
Require: :
5 = {St Е Rn}teT
vl
ivt е R+}h {yt Е R+}J=l_m Ensure: :
Е Rra(m) z* e RT
> Матрица линейного подпространства С > Проекция градиеита па С > Весовые коэффициенты
>
>
>
1 2
3
4
5
6
7
8 9
10 11 12
13
14
15
р ^{Pt = 1: t = 1,2,... ,Т}
(A(1),z(1)) ^ WLDMSoluter (S, Vс, Mti, MLi_J ; for all (t = 1,2,... T) dо
Pt ^ (1/ (1 + fe(1))2)) end for
(A(2),z(2)) ^ WLDMSoluter (S, Vc, {pt}ti, ;
к ^ 2
while (A(k) = A(k-1)) do for all (t = 1,2,... T) do
# ^ (1/ (1 + (^)2)) end for
(A(k+1),z(k+1)) ^ WLDMSoluter (s, Vc, {p?}Li, {yt}I=i_m) ;
к ^ (k + 1) end while
z* ^ z(k), (A*) ^ A(k) return (A*,z*)
>
Теорема 2. [Ц] Последовательность {(уА(к"> построенная по алгоритму
СЬОМ-оценки, (см,. Теорем,у 1) сходится к глобальному минимуму (а*, г*) задачи, (2).
Доказательство. Из выпуклости вверх и дифференцируемое™ функции агс1ап следует, что
аг^ап ^| > аге1ап Ы--1 I +--1 , г = гг. (19)
1 + 1 +
Рассмотрим два последовательно решаемых варианта и 'Рк+1 задачи (7)-(9) (см, строку 13 алгоритма 1), Варианты и 'Рк+1 отличаются только наборами весовых коэффициентов, Оптимальное решение Тк является правильным, то не оптимальным решением 'Рк+1, и мы имеем
*=1
поскольку 'Рк+1 веса являются
(см, строки 9-12 алгоритма ), Из (19) и (20) следует, что
^ 1 + (г(к)')2 1 + (г(к)')2 (20)
^ к) 1 + (1-(к))2 }
Т Т
^ агс1ап |4 к) | > ^ агс1ап |4к+1) | (21)
=1 =1
Таким образом, последовательность
Т
У^ агс1ап
=1
п(т)
у* — (к)9з {У4-к }т=1
=1
к=0,1,
монотонно убывает и ограничена снизу нулем, поэтому можно заключить, что эта последовательность имеет единственную предельную точку. Существование предельной точки последовательности
а1(к),а2(к),аз(к)... ,ап(т)(к), к = 1,2,...
следует из непрерывности и монотонности функции агс1ап(*) ,
Докажем, что предельная точка (а1*,а2*,а3*,... ,ап(т)*), построенная по алгоритму 1, является точкой глобального минимума.
Предположим противное: а = (а1,а2,а3,..., С1п(т)) — глобальный минимум функции (2)
Т Т
У^ агс1ап | а* | < ^^ агс1ап | г** |, =1 =1
Очевидно, точка (а,а) является некоторой предельной точкой последовательности, построенной по алгоритму 1, то из (19) следует, что для г* = а
N к*|
агс1ап Ш — агс1ап I гЛ > 0 0
| | *| 1 + а*2 1 + а2
С другой стороны
поэтому
агс1ап Iа*I — агс1ап I=-|—,—\—-, Ь = 1, 2, ,... ,Т,
| 4| | *| 1 + |а*| ■ |^, , " , ,
—к*| > |а*| —
1 + |а*|-|г*| 1 + а
следовательно,
о = (1*|-к'|) ' 1 1
(1 + ^ЦгН 1+1
1 + ^Цг* | 1 + ¿2 4 11 \,1 + 1 + ¿2
(|^| —М)2
г = 1,2, ...,т.
(1 + ¿2) ■ (1 + г*2)
По этой причине > 0 для всех £ = 1, 2, ... ,Т. Но это противоречит предположению о том, что [а\*,а2*,а3*,... ,ап(т)*) является глобальным минимумом.
Теорема доказана, □
Описание алгоритма GLDM-oii.cnка показывает, что его вычислительная сложность пропорциональна вычислительной сложности алгоритма решения прямой и/или двойственной задачи \VLDM (6), Многократные вычислительные эксперименты показывают, что среднее число итераций алгоритма С Ь Ю М- о це 11 ка равно количеству коэффициентов в идентифицированном уравнении. Если эта гипотеза верна, то вычислительная сложность решения практических задач не превышает 0((п(т))3 Т + п(т) ■ Т2), Необходимо учитывать, что поиск и нахождение уравнения авторегрессии высокого порядка имеют свои специфические условия. Одним из таких условий, в частности, является высокая чувствительность алгоритма к ошибкам округления. Чтобы исключить возможность ошибки в вычислениях, необходимо точно выполнять основные арифметические действия над полем рациональных чисел [15] и дополнить их распараллеливанием.
Предиктор формирует индексированное Ь = 1,2,..., Т — 1,Т семейство разностных уравнений т-го поряд ка (4) для решетчатых фу нкций уЩ со значения ми уЩТ., что интерпретируется как построенный в момент времени £ прогноз для ут. Воспользуемся решением задачи Коши для ее разностного уравнения (4) при начальных условиях (5) для нахождения значений функции у[Ь]. Итак, имеем множество Ут = |у[£]т| возможного предсказания значения ут. В дальнейшем используем этот набор для оценки вероятностных характеристик величины ут.
3. Анализ коэффициентов модели, В контексте прогнозирования временных рядов с использованием моделей более высокого порядка часто наблюдается, что ряд коэффициентов может быть равен нулю. Данную ситуацию можно объяснить несколькими математическими и статистическими причинами, которые имеют решающее значение при оптимизации точности прогнозирования модели и эффективности вычислений.
Существуют временные ряды определенной структуры, при которой модель будет иметь нулевые коэффициенты. Такое происходит, если ряд значений не вносит существенного вклада в прогнозирование будущих значений.
Обнуление коэффициента можно обосновать математически путем анализа градиента целевой функции по отношению к каждому коэффициенту в контексте обобщенного метода наименьших отклонений ((11Л) \ I). Рассмотрим целевую функцию
т
^(а) = ^ аге1ап ^ — f (х,, а)| , (22)
4=1
где у, — реальные значения, х, — вектор временных отсчетов ¿, а $(х,, а) — модельные
(1)
Чтобы определить, в каких случаях коэффициент обращается в ноль, исследуем частную производную функции Р(а) по а^.
dF ^ fi
— = Е -Q-arctan 1 yt - /(xt, а)1 . (23)
J í=i J
Данную производную можно записать как
ОТ"! ^ 1 О
fiT = Е т-7-^ ■ (Уt - f(x*> а)). (24)
1=1 1 + (yt - f(xt, a))2
Если она равна нулю, это означает, что т
1 fi
Е ТП-7,-■ о- (Ш - f(xt, а)) = 0. (25)
7=1 1 + (Vt - f(xt, а))2 да,
Условие (25) укрывает на то, что вклад коэффициента aj в значение ошибки пренебрежимо мал, следовательно, aj может быть установлен равным нулю без существенного влияния на качество модели. Данный подход не только упрощает модель за счет сокращения числа активных параметров, но и повышает эффективность вычислений и интерпретируемость модели.
Такое заключение имеет решающее значение для понимания структуры и поведения моделей временных рядов высокого порядка, что определяет правило выбора моделей и интерпретацию их результатов,
3,1, Выбор оптимального порядка м,одели для, заданного временного ряда. Выбор оптимального порядка построения модели при прогнозировании временных рядов с использованием обобщенного метода наименьшего отклонения (GLDM) имеет решающее значение для обеспечения баланса между сложностью модели и ее способностью обобщаться для прогнозирования новых значений. Приведенные ниже рассуждения описывают методологию определения оптимального порядка т модели путем минимизации функции потерь, которая учитывает компромисс между смещением, дисперсией и вычислительной слож-
(22)
т
ей отображать временные ряды более сложной структуры. Однако повышенная сложность может привести к возникновению переобучения, особенно когда не достаточно данных для поддержания большего числа параметров. Ожидаемая ошибка прогнозирования (Expected Prediction Error, ЕРЕ) теоретически выражается следующим образом:
ЕРЕ = Е2в (т) + Ev (т) + Е1Е, (26)
где Ев -0- ошибка смещения, Ev (т) -0- ошибка отклонения, Eie -0- неенижаемая ошибка,
т
стрирует критический компромисс.
Оптимальный порядок т* модели определяется как порядок, который минимизирует
а
т* = argminmin{£(rn, а)}. (27)
т a
Процесс оптимизации порядка модели включает в себя вычисление значения С(т, а) для
т
чивает наилучший баланс между точностью и сложностью. Оптимальный порядок моде-
т*
модели и ее соответствие данным, руководствуясь функцией потерь. Этот метод гарантирует, что выбранная модель является статистически надежной и эффективной, способной давать надежные прогнозы, оставаясь при этом устойчивой к изменениям в невидимых данных,
3,2, Алгоритм обнаружения коэффициентов модели. Алгоритм 2 определяет и выделяет незначимые коэффициенты.
Алгоритм 2, Поиск коэффициентов модели
Require: Временной ряд {yt} длины Т, порядок модели т, функции — базисные функции ()
Ensure: Вектор коэффициентов a 1: function GLDMFlT({yt}, т)
/ \ , m(m+3)
п(т) <--—-
0 г
10 11 12
13
14
15
16
a
1,п(т) a
F(a) = Y1 t=i arctan
> Число коэффициентов > Инициализация
у);
yt -ЕП^ ^93({ш-ь}Г= i)
while |F(a)| > e do for j = 1 to n(m) do
> Значение целевой функции > Проверка сходимости
д
т
VFoj = arctan
ч t=
t=i
n(m)
yt ak9ь({yt-i}m=i)
fc=i
if |VF0. | < e then
a,j ^ 0
end if end for end while return a end function
> Вычисление градиента
> е — пороговое значение градиента > Обнуление коэффициентов
> Вывод результата
Алгоритм состоит из следующих этапов,
1) Инициализация: алгоритм вычисляет п(т) коэффициентов. Он обнуляет эти коэффициенты и определяет целевую функцию Р(а), которая минимизирует суммарный арктангенс модулей разностей между фактическими данными временных рядов {у,} и модельными значениями,
2) Вычисление градиента: для каждого коэффициента рассчитывается значение градиента целевой функции по , Этот градиент показывает, насколько мало приращения значения а^ влияют на приращение значения Р(а),
3) Обнуление коэффициентов: если абсолютное значение градиента коэффициентов ниже небольшого порогового значения б, этот коэффициент полагается равным нулю, поскольку влияние коэффициента с минимальным значением градиента на модель незначительно, и его обнуление упростит модель, не оказывая существенного влияния на ее эффективность,
Таблица 1
Перечень используемых наборов данных и их длина
№ Набор данных Длина
1 ШУ1 15
2 Температура 9 999
3 Скорость ветра 50 530
4 Случаи СОУШ-19 в РФ 882
4) Проверка сходимости: алгоритм повторяется, обновляя коэффициенты, до тех пор, пока изменения в целевой функции (а) | не станут незначительными, т.е. меньше е, что указывает на сходимость,
5) Вывод результата: после завершения цикла алгоритм выводит оптимизирован-
а
соответствует потенциально более простой и поддающейся интерпретации модели.
Приведенный алгоритм может быть особенно полезен в тех случаях, когда решающее значение имеет баланс между сложностью и функциональной совместимостью модели и точностью, что позволяет создать оптимизированную модель, которая эффективно отражает существенную динамику данных,
4. Вычислительные эксперименты,
4,1, Описание тестовых наборов данных и построенных для них моделей. Рассмотрим вычислительные эксперименты для наборов данных разного объема и структуры из различных областей, В таблице приводится краткий перечень используемых наборов данных и количество измерений в каждом их них. Отметим, что наборы 2 и 3 имеют достаточно большой объем, чтобы обеспечить надежную основу для статистического анализа и проверки модели.
Приведем краткое описание каждого из рассмотренных наборов данных,
1) >ГОУ1. Данные этого набора получены по графикам из работы [16] и отражают значение вегетационного индекса для полей с пшеницей в Ставропольском крае,
2) Температура, Один из рядов лаборатории 01коЬаЬ [17], который содержит почасовые климатические данные рядом с университетом Монаш, Клейтон, Виктория, Австралия, с 01 января 2010 г, по 31 мая 2021 г,
3) Скорость ветра. Набор данных из комплексного набора данных системы ЯСЛРЛ (диспетчерского управления и сбора данных) для ветряной турбины, размещенного в открытом доступе на К১1е по адресу [18], Этот набор данных содержит рабочие данные высокой точности, полученные от ветряной турбины, активно вырабатывающей электроэнергию в Турции,
4) Случаи СО\ГГО-19 в РФ: количество кумулятивных случаев заражения ('о\ч<1-19 по Челябинской области; количество инфицированных Со\чс1-19 на июль 2022 года по четырем регионам РФ (Москва, Санкт-Петербург, Челябинская и Свердловская области); случаи смерти в РФ, Данные получены из открытых источников [19],
В таблице 2 представлены результаты вычисления ошибок моделирования для моделей 1-5 порядков для временного ряда 1,
Анализ таблицы показывает, что лучшие результаты получены при помощи моделей 4-5 порядка, что позволяет предположить идеальную подгонку и учесть всю вариабельность данных. Тем не менее, модель второго порядка также позволяет получить хорошие показатели. Что касается моделей 1 и 3 порядка, для данного набора они дают менее качественную подгонку.
Таблица 2
Таблица ошибок для количественного анализа динамики вегетационного индекса (временной ряд 1) для моделей 1-5 порядков
Порядок модели ВМ8Е Е2 МАРЕ МАЕ МЭЕ
1 0.08 0.68 10.80 0.05 0.01
2 0.02 0.96 2.16 0.01 0.00
3 0.88 0.04 82.09 0.50 0.78
4 0 1.00 0 0 0
5 0 1.00 0 0 0
Таблица 3
Таблица ошибок для количественного анализа динамики температуры в Австралии (временной ряд 2) для моделей 1-5 порядков
Порядок модели ВМ8Е Е2 МАРЕ МАЕ МЭЕ
1 1.10 0.96 4.63 0.65 1.21
2 1.05 0.97 4.43 0.62 1.10
3 2.82 0.77 14.31 2.05 7.98
4 0.95 0.97 4.20 0.59 0.91
5 0.94 0.97 4.12 0.58 0.88
Таблица 4
Таблица ошибок для количественного анализа скорости ветра в Великобритании (временной ряд 3) для моделей 1-2 порядков
Порядок модели ВМ8Е Е2 МАРЕ МАЕ МЭЕ
1 0.75 0.97 9.98 0.52 0.56
2 0.74 0.97 9.50 0.52 0.55
Таблица 5
Таблица ошибок для количественного анализа случаев смерти от Соу1с1-19 в РФ (временной ряд 4) для моделей 1-3 порядков
Порядок модели ВМ8Е Е2 МАРЕ МАЕ МЭЕ МЕ
1 33.78 0.9896 11.12 22.24 1141.25 0.074
2 33.31 0.9898 10.96 22.22 1109.29 0.43
3 41.43 0.9843 13.47 29.37 1716.66 —2.79
Аналогичные результаты можно получить и для других рассматриваемых временных рядов (см, табл. 3-5),
Так для временного ряда 2 (температурные показатели) (табл. 3) лучшей является модель пятого порядка. Эта модель позволяет получить для данного ряда наименьшую среднеквадратичную ошибку (НМЯЕ). что свидетельствует о минимальном отклонении от наблюдаемых значений. Кроме того, значение В2 = 0,97, означает, что модель отражает 97 % вариабельности данных, что свидетельствует о ее надежности. Средняя абсолютная процентная погрешность (МАРЕ) и средняя абсолютная ошибка (МАЕ) также находятся на самом низком уровне в этом порядке, что свидетельствует о высокой точности модели, Среднеквадратичная ошибка (МНЕ) подтверждает это наблюдение, подтверждая, что оптимальной из рассмотренных является модель 5 порядка.
Однако существуют временные ряды, содержащие на порядок больше значений, например, временной ряд 3 (данные о скорости ветра), для которых не удается в силу огра-
Таблица 6
Результаты расчета коэффициентов модели для временного ряда 1 (динамика вегетационного индекса)
Коэффициент Значение для моделей разного порядка
1 2 3 4 5
а\ 1.7073 3.4694 -9.6495 -21.8416 0.0000
(12 -1.0511 -2.1864 -16.2326 52.4809 -29.0004
а3 _ -5.5924 29.1697 30.7212 64.0513
а4 _ -2.5635 76.3993 -48.3575 -44.3069
а 5 _ 7.7299 122.9467 -132.0576 10.2588
ав _ _ -71.5312 -177.0664 1.7283
а7 _ _ -229.9915 4.7422 -23.5562
а8 _ _ 98.9790 -2.5712 -90.7331
ад _ _ 0.0000 273.2420 30.3171
а 10 _ _ _ -66.8228 -6.6379
an _ _ _ 83.1160 -2.0578
ai2 _ _ _ 0.0000 90.0347
Û13 _ _ _ 0.0000 0.0000
ai4 _ _ _ 0.0000 0.0000
ai5 _ _ _ _ 0.0000
aie _ _ _ _ 0.0000
air _ _ _ _ 0.0000
ai8 _ _ _ _ 0.0000
aig _ _ _ _ 0.0000
Û20 _ _ _ _ 0.0000
ниченноети вычислительных ресурсов исследовать модели порядка 3-5, Для рассмотренного временного ряда лучшей оказывается модель второго порядка (см, табл. 4), которая незначительно уступает линейной модели, В данном случае В2 = 0,97 для моделей обоих порядков, что свидетельствует об их высокой объяснительной способности.
Применение моделей обобщенного метода наименьших модулей ((11.1) \ I) к анализу динамики смертности от Со\чс1-19 в России позволяет провести анализ последствий пандемии, Полученные модели первого и второго порядков показали близкие значения среднеквадратичной ошибки (КМБЕ), равные 33,78 и 33,31 соответственно (см, табл. 5), что свидетельствует об их эффективности, однако более высокое значение НМЯК для модели третьего порядка может указывать на переобучение модели. Таким образом, повышенная сложность модели не обязательно увеличивает точность прогноза,
В табл. 6 представлены коэффициенты полученных моделей для временного ряда 1 (динамика вегетационного индекса), В каждой таблице, соответствующей порядку построения модели, перечислены коэффициенты, полученные в результате подгонки модели (11.1) I к имеющемуся набору данных.
Коэффициенты для других рассмотренных временных рядов приведены в следующих таблицах: временной ряд 2 (температура) — в таблице 7, временной ряд 3 (скорость ветра) — в таблице 8, временной ряд 4 (смертность от Со\чс1-19 в РФ) — в таблице 9,
Заметим, что в таблице 7 большинство полученных коэффициентов в моделях высших порядков отличны от нуля, в то время как в таблице 6 для короткого временного ряда имеется большое число нулевых коэффициентов, что позволяет сделать выбор в пользу моделей более низкого порядка.
7
Результаты расчета коэффициентов модели для временного ряда 2 (температура в Австралии)
Коэффициент Значение для моделей разного порядка
1 2 3 4 5
а\ 1.0159 1.0498 -0.1658 1.1661 0.0000
(12 -0.0009 -0.0302 0.0395 -0.3931 1.0667
а3 _ 0.0229 1.1547 1.6191 -0.4329
а4 _ 0.0098 0.0362 -1.2894 1.4878
а5 _ -0.0340 0.0298 -0.0031 -0.7536
аб _ _ 0.0175 0.1141 -0.2734
а7 _ _ -0.0489 -0.1237 0.0154
а8 _ _ -0.0365 -0.0320 0.0804
ад _ _ 0.0000 -0.0594 0.0679
аю _ _ _ 0.1424 0.0827
an _ _ _ -0.0881 0.0083
ai2 _ _ _ -0.2193 -0.0745
Û13 _ _ _ 0.1068 -0.0029
Û14 _ _ _ 0.1502 0.0609
ai5 _ _ _ _ -0.0092
ai6 _ _ _ _ -0.1386
air _ _ _ _ 0.0510
ai8 _ _ _ _ 0.0560
aig _ _ _ _ -0.1933
Û20 _ _ _ _ 0.0442
Таблица 8
Результаты расчета коэффициентов модели для временного ряда 3
(скорость ветра)
Коэффициент Значение для моделей разного порядка
1 2
ai 1.0092 0.9300
Й2 -0.0011 0.0764
аз _ 0.0248
а4 _ 0.0241
Ü5 _ -0.0499
Данные этого временного ряда 3 распределены равномерно, поэтому использование моделей 3-5 порядка оказалось нецелесообразным. Кроме того, для получения коэффициентов моделей более высоких порядков требуется использование более мощных вычислителей, что является темой отдельного исследования,
4,2, Выбор лучшей модели. При выборе оптимального порядка модели для каждого рассмотренного случая учитывались сложность модели и ее способность фиксировать соответствующую динамику без переобучения. Лучшие модели для каждого из рассмотренных случаев отмечены в таблицах коэффициентов жирным шрифтом. Для всех рассмотренных временных рядов, кроме ряда 2, оптимальным порядком является 2, Для ряда
Таблица 9
Результаты расчета коэффициентов модели для временного ряда 4 (смертность от Соу1ё-19 в РФ)
Коэффициент Значение для моделей разного порядка
1 2 3
а\ 1.0000 0.7265 -0.1658
й2 0.0000 0.2610 0.5970
а3 _ 0.0020 -0.3694
а4 _ 0.0016 0.7396
а5 _ -0.0036 0.0101
ав _ _ -0.0009
а7 _ _ -0.0185
а8 _ _ 0.0010
ад _ _ 0.0000
2 оптимальный порядок модели — 5, Выбор обусловлен внутренними характеристиками данных и показателями производительности соответствующих моделей,
4.3, Анализ значимости коэффициентов м,одели. Как было отмечено выше, коэффициенты в этих моделях позволяют получить представление о влиянии прошлых значений на будущие. Обратим внимание на наличие нулевых коэффициентов, которые зачастую указывают на избыточные или не влияющие на прогноз факторы в модели. Математически каждый коэффициент щ устанавливается равным нулю, когда его градиент в целевой функции
дР дщ
пренебрежимо мал. Здесь Р — целевая функция. Нулевые коэффициенты уменьшают сложность модели и повышают эффективность вычислений, что потенциально повышает обобщаемость модели. Данный факт указывает на то, что некоторые взаимодействия более высокого порядка существенно не влияют на построение модели,
4.4, Влияние длины временного ряда. Длина набора данных является определяющим фактором при обучении модели. Достаточная длина данных гарантирует, что модель будет отражать важные тенденции и сезонность без переобучения. Данные о длине рассматриваемых наборов приведены в табл. 1, Обратим внимание, что длина временного ряда напрямую влияет на возможность построения моделей более высокого порядка. Например, данные о температуре и скорости ветра (содержащие порядка 104 — 105 значений) поддерживают модели более высоких порядков. Напротив, небольшая длина временного ряда (данные о вегетационном индексе) ограничивает возможную сложность модели, В данном случае оптимальным является второй порядок модели.
Заметим также, что, несмотря на больший объем доступных данных о скорости ветра (50 530 точек) по сравнению с температурой (9 939), оптимальный порядок модели, выбранный для данных о температуре, — пятый, а для скорости ветра — второй. На это решение влияют несколько ключевых факторов, включая характер набора данных, лежащую в его основе динамику и степень присутствующей нелинейности.
На выбор порядка построения модели влияет не только размер исходного временного ряда, но и его структура. Решающее значение при выборе подходящего порядка модели для эффективного прогнозирования процесса играет сложность динамики, которую отражает модель, а не количество данных.
4,5, Заключительные замечания. Таким образом, анализ, представленный в предыдущих разделах, иллюстрирует важность выбора подходящего порядка построения моделей на основе конкретных характеристик и характера динамики каждого набора данных, В данном разделе описан подбор оптимальных порядков моделей для определения вегетационного индекса, температуры, скорости ветра и анализа эпидемических процессов. При выборе порядка модели учитывались как сложность получаемой модели, так и возможность фиксировать соответствующие закономерности без переобучения. Полученные результаты показывают: несмотря на то, что более длинные наборы данных могут поддерживать более высокие порядки модели, присущая имеющимся данным структура и закономерности в первую очередь определяют наиболее подходящую сложность. Наличие нулевых коэффициентов в этих моделях также говорит об эффективности обобщенного метода наименьших отклонений ((11.1) \ I) в устранении факторов, не влияющих на результаты прогнозирования, тем самым оптимизируя модели для повышения производительности и интерпретируемости. Такой подход гарантирует, что каждая модель является не только статистически обоснованной, но и практически актуальной, предоставляя надежные инструменты для прогнозирования и дальнейшего анализа.
Коэффициенты модели для временного ряда 2 (температура) пятого порядка, в частности, за исключением а1 = 0, отражают существенные взаимодействия между запаздывающими переменными исходного ряда. Нулевое значение параметра а1 может указывать на его незначительный вклад в модель. Разреженность коэффициентов является преимуществом, поскольку она может повысить интерпретируемость модели и потенциально повысить эффективность обобщения за счет уменьшения чрезмерной сложности,
5. Обоснование, В этом разделе рассматриваются теоретические обоснования выбранных порядков модели для различных наборов данных, обсуждается роль нулевых коэффициентов в повышении эффективности модели и рассматриваются потенциальные направления будущих исследований.
Как было показано ранее, выбор порядка построения модели существенно влияет на способность модели точно отражать динамику данных.
Теорема 3. [Выбор оптимальной модели] Пусть _ временной ряд, и функция
потерь Р(а) определена, как:
т
F(а) = arctan lyt - f (a, xt) | , t=i
где функция f зависит от параметров а. Тогда оптимальный порядок модели га* равен:
arg min (min F (а, гам . т V a /
*
га
Доказательство. Рассмотрим дифференцируемую функцию Р(а) и ее первые производные:
= V -1 д£ ( )
даг ¿1 1 + (У; - f (а, х; ))2 даг[ , Х ^
которые равны нулю в критических точках ао, где УР(а) = 0,
Гессиан функции Р(а), матрица вторых производных, задается как:
Н (а)
д2Р
дагда
т £
4=1
_2
дщ да^
+
д2/ да^да^
(! + (!* - /(а, х))2)2 1 + (Уг - Ла, X))
(28)
Рассмотрим дифференцируемую функцию Р(а), определенную на множестве параметров а, и пусть а0 — критическая точка этой функции, где градиент V Р(а0) = 0,
Гессиан функции Р(а), который представляет собой матрицу вторых производных, в а0
Н (ао)
д2Р дагда,
Ы
т
£
=1
_2 9£Э1_ да1 да^
+
д2/ да^да^
(1 + (у, - /(ао, х))2)2 1 + (Ш - Лао, X))2
Матрица Гессе функции Р(а), определяемая как матрица вторых производных в точке а0, имеет вид:
Н11 Н12 . . . Н1п Н21 Н22 . . . Н2п
Н (ао)
Нп1 Нп2 . . . Нп
где каждый элемент определяется следующим образом:
Н
т
£
=1
_2
да1 да^
+
д2f да .¡дал
(1 + (уг - /(ао, х))2)2 1 + (Ш - /(ао, X))2
Для анализа положительной определенности матрицы Н(ао), рассмотрим квадратичную форму:
т
ЧТн(ао)V = Е ЪЩ I Е
г, 3=1
=1
_2 9£Э1_ да1 да^
+
да^да^
(1 + (Уг- /(ао, х))2)2 1 + (Ш - Лао, X))2
где V = (V1,..., ьп) — произвольный ненулевой вектор.
Положительная определенность Н (ао) означает, что для всех не нулевых V выражение
vтН(ао^ строго больше нуля. Это достигается, если сумма положительных слагаемых,
д2/
связанных со вторыми производными да.да., превышает сумму отрицательных слагаемых,
г 3 дГ дГ
возникающих из-за члена с произведением первых производных и -тО^,.
Таким образом, можно заключить, что если vтН(ао^ > 0 для всех ненулевых векторов V, то матрица Н(ао) положительно определена, и, следовательно, ао является точкой локального минимума функции Р(а),
В этой теореме сформулированы условия определения оптимального порядка модели т* для временного ряда {г^}^ с использованием функции потерь Р(а) Функция Р(а) вычисляется как сумма арктангенсов абсолютных разностей между фактическими значениями у1 и значениями, предсказанными моделью /(а, х),
а,
могут быть обнулены без потери точности прогнозирования. Если производная Р(а) по
а, а,
а,
2
Теорема 4. [Условия наличия, нулевых коэффициентов модели] Если для, коэффициента, ау.
дР(а) ^ д
= Ъ Щ агс^п ^ - ?(а,х;)| = 0,
3 4=1 3
то аз не влияет на функцию потерь Р(а) и может быть обнулен.
Доказательство. Доказательство фокусируется иа анализе чувствительности Р(а) к изменениям в а^ Рассмотрим чувствительность Р(а) к изменениям аДля этого используем разложение Тейлора до второго порядка:
^ Л -2 (й42
Е
да? ^ (1 + (у; - /(а, х))2)2'
Поскольку ^ = 0 и Г2^ « 0 т0 влияние а^ на Р минимально. Таким образом, значение коэффициента аз можно считать нулевым без потери точности модели.
Приведенные теоремы 3 и 4 описывают основные аспекты обобщенного метода наименьшего отклонения ((11.1) \ I) для анализа данных временных рядов. Они определяет метод определения эффективной структуры модели и определения избыточных коэффициентов модели,
6. Сходимость, устойчивость и согласованность. Рассмотрим динамическое поведение модели квазилинейной регрессии, применяемой к данным временных рядов, с акцентом на адаптацию параметров модели с помощью итеративного алгоритма оптимизации, В частности, параметры а € обновляются итеративно таким образом, что величина их ошибок, обозначаемая как б, обеспечивает наличие всех трех критических аспектов: (1) сходимость оценок параметров к их оптимальным значениям, (2) согласованность параметров оценки по мере неограниченного расширения ряда данных и (3) устойчивость полученных прогнозов модели на последующих итерациях.
Утверждение 1. Пусть {У;}^[=1 — временной ряд, смоделированный с помощью квазилинейной регрессии с параметрами а € Пусть алгоритм итеративной оптимизации обновляет параметры с а до а' на каждой итерации таким обр азом, что ||а' — а|| < б, где е — это малый положительный скаляр. Эти обновления предназначены для обеспечения сходимости оценок параметров, согласованности параметров модели от Т ^ то и устойчивости выходных прогнозов на каждой итерации,
1) Сходимость демонстрируется путем систематического уменьшения целевой функции Р(а), которая количественно определяет соответствие модели исходным данным, В доказательстве описываются условия, при которых функция убывает, тем самым подтверждая эффективность обновления параметров. Если изменения параметров не уменьшаются, как ожидалось, рассматриваются корректировки параметров оптимизации или структуры алгоритмов.
Сведение целевой функции.
Определим целевую функцию Р(а) для измерения расхождения между прогнозами модели и фактическими значениями данных. Если алгоритм гарантирует, что:
Р(а(й+1)) < Р(а(к)) - 7\\а(к+1) - а(к)\\2,
где 7 — положительная константа, тогда целевая функция монотонно уменьшается, что гарантирует эффективное обновление параметров, В противном случае требуется повтор-
Сходимость оценок параметров.
Если \\а( к+1) - а(к)\\ < е, положим е уменьшается по мере того, как возрастает к, приводящий к сходимости а(к) к а*. В противном случае, если сходимость не наблюдается, рассмотреть возможность корректировки критерия сходимости или изучения других факторов, влияющих на сходимость, таких как скорость обучения или шум в данных,
2) Согласованность проверяется при условии корректной спецификации модели и независимых, одинаково распределенных ошибок. Она подтверждается приближением вероятности оценок параметров к истинным значениям по мере увеличения набора данных. Также обсуждаются альтернативные сценарии, связанные с неправильной спецификацией модели или ошибками, не связанными с идентификацией, которые предполагают дополнительные аналитические или методологические корректировки для поддержания согласованности.
Спецификация модели и условия возникновения ошибок.
Если модель задана правильно и ошибки являются допустимыми, стандартные оценки подтверждают, что:
а(к) А ао ав Т А то,
гарантируя, что а(к) согласованы, В противном случае, если модель не задана должным образом или ошибки не учтены, могут потребоваться дополнительные исправления или применение более надежных методов для обеспечения согласованности оценок,
3) Анализ устойчивости основан на липшицевой непрерывности модельной функции, гарантирующей, что небольшие изменения параметров приводят к пропорционально малым изменениям выходных данных, В этой части доказательства рассматриваются условия, при которых модель устойчива относительно выходных данных, и обсуждаются возможные корректировки, если модельная функция не удовлетворяет условию Липшица,
В каждом разделе доказательства используются условия «если-иначе» для изучения различных сценариев, что обеспечивает изучение поведения модели в различных теоретических и практических условиях. Такой подход не только проясняет условия, необходимые для каждого свойства модели, но и повышает надежность применения модели к реальным данным.
Условие Липшица для модельной функции.
Положим, что /(X; а) — Липшиц непрерывная функция с постоянной величиной Ь, тогда небольшие изменения параметров приведут к небольшим, ограниченным изменениям выходных данных:
№ (а') -У4(а)|<Ь\\а' - а\\.
нить другие условия ограниченности или меры устойчивости для понимания и контроля чувствительности выходных данных.
Заключение, На основе анализа временных рядов с данными из различных областей с помощью обобщенного метода наименьших отклонений (СЬБМ) был определен оптимальный порядок построения моделей для прогнозирования. Полученные результаты
показывают, что порядок прогнозирующей модели в значительной степени зависит от характеристик набора данных (характер данных, лежащая в их основе динамика и наличие нелинейных закономерностей, количество доступных данных).
Результаты проведенных вычислительных экспериментов показали, что в большинстве случаев для воссоздания уравнения, описывающего динамику временного ряда, достаточно использовать модель второго порядка. Тем не менее, для рядов, характеризующихся значительными сезонными колебаниями и автокорреляциями (например, данные о десятилетних колебаниях температуры) модели более высоких порядков дадут более точные результаты.
Кроме того, наличие нулевых коэффициентов в моделях более высокого порядка свидетельствует об эффективности метода исключения факторов, не влияющих на прогнозирование, что упрощает модели и повышает их интерпретируемость. Это исследование подтверждает ключевую роль выбора оптимального порядка построения модели и интерпретации коэффициентов модели в контексте прогнозирования временных рядов.
Будущие направления исследований включают изучение интеграции методов машинного обучения для сравнения их производительности с приведенными в статье моделями GLDM, изучение влияния различных параметров регуляризации и применение этих методологий к другим сложным наборам данных временных рядов. Это позволит в дальнейшем совершенствовать модели прогнозирования, повышать их прогностическую способность, что позволит иметь существенное значение для процессов принятия решений, основанных на данных, в различных секторах.
Список литературы
1. Panvukov A., Tvrsi, A. Stable parametric identification of vibratory diagnostics objects // Journal of Vibroengineering, 2008. V. 10(2), ID 350.
2. Tvrsin A. Robust construction of regression models based on the generalized least absolute deviations method // Journal of Mathematical Sciences, 2006. V. 139. P. 6634-6642.
3. Сиротин Д. Нейросетевой подход к прогнозированию стоимости ферросплавной продукции // Известия высших учебных заведений. Черная металлургия. 2020. Т. 63(1). С. 78-83. DOI: 10.17073/0368-0797-2020-1-78-83.
4. Yakubova D. Econometric models of development and forecasting of black metallurgy of Uzbekistan // Asian Journal of Multidimensional Research (AJMR), 2019. V. 8(5). P. 310-314.
5. Panchal R., Kumar B. Forecasting industrial electric power consumption using regression-based predictive model // Recent Trends in Communication and Electronics: Proceedings of the International Conference on Recent Trends in Communication and Electronics (ICCE-2020), Ghaziabad, India, 28-29 November, 2020. 2021. ID 135.
6. Makarovskikh T., Panvukov A., Abotaleb M. Using general least deviations method for forecasting of crops yields // International Conference on Mathematical Optimization Theory and Operations Research, 2023. P. 376-390. DOI: 10.1007/978-3-031-43257-6^28.
7. Panvukov A., Makarovskikh T., Abotaleb M. Forecasting with Using Quasilinear Recurrence Equation // Advances in Optimization and Applications. OPTIMA 2022. Communications in Computer and Information Science. 2022. V. 1739. P. 183-195. Springer, Cham. DOI: 10.1007/978-3-031-22990-9^13.
8. Panvukov A.V., Mezaal Y. A. Improving of the Identification Algorithm for a Quasilinear Recurrence Equation // Advances in Optimization and Applications. OPTIMA 2020. Communications in Computer and Information Science. 2020. V. 1340. P. 15-26, Springer, Cham. DOI: 10.1007/978-3030-65739-0 2.
9. Ma G., Y. Zhang Y., Liu М. A generalized gradient projection method based on a new working set for minimax optimization problems with inequality constraints // Journal of inequalities and applications. 2017. V. 2017. N 1. P. 1-14.
10. Antonau I., Hojjat M., Bletzinger K.-U. Relaxed gradient projection algorithm for constrained node-based shape optimization // Structural and Multidisciplinary Optimization. 2021. V. 63. N 4. P. 1633-1651.
11. Loris I., Bertero M., De Mol C., Zanella R., Zanni L. Accelerating gradient projection methods for 1-constrained signal recovery by steplength selection rules // Applied and computational harmonic analysis. 2009. V. 27. N 2. P. 247-254.
12. Pan J., Wang H., Yao Q. Weighted least absolute deviations estimation for ARMA models with infinite variance // Econometric Theory. 2007. V. 23. N 5. P. 852-879.
13. Panyukov A., Mezaal Ya. Stable identification of linear autoregressive model with exogenous variables on the basis of the generalized least absolute deviation method // Bulletin of the South Ural State University. Series: Mathematical Modeling and Programming. 2018. V. 11. N 1. P. 35-43.
14. Abotaleb M.S. A., Makarovskikh, T. The Research of Mathematical Models for Forecasting Covid-19 Cases // Mathematical Optimization Theory and Operations Research: Recent Trends. MOTOR 2021. Communications in Computer and Information Science. 2021. V. 1476. Springer, Cham. P. 301-315. DOI: 10.1007/978-3-030-86433-0_21.
15. Panyukov A.V., Golodov V. A. Computing Best Possible Pseudo-Solutions to Interval Linear Systems of Equations // Reliable Computing. 2013. V. 19. P. 215-228.
16. Сторчак И. Г. Прогноз урожайности озимой пшеницы с использованием вегетационного индекса NDVI для условий Ставропольского края: диссертация кандидата сельскохозяйственных наук: 06.01.01 / Сторчак Ирина Геннадьевна; [Место защиты: Ставроп. гос. аграр. ун-т]. Ставрополь, 2016.
17. Oikolab. Temperature Dataset for Germany. Available online at https://oikolab.com. Accessed on May 11, 2024.
18. Isen, Berker. Wind Turbine SCADA Dataset. [El. res.]: https://www.kaggle.com/datasets/ berkerisen/wind-turbine-scada-dataset. Accessed on May 11, 2024.
19. Center for Systems Science and Engineering (CSSE) at Johns Hopkins University. COVID-19 Data Repository. [El. res.]: https://arcg.is/0fHmTX. Accessed: 2022-04-07.
20. Макаровских Т. А., Аботалеб M.C. А., Максимова B.H., Дернова О. А. Прогнозирование урожайности сельскохозяйственных угодий с помощью квазилинейного уравнения N-факторной авторегрессии // Прикладная информатика, 2023, т. 18. № 6 (108), с. 5-19. DOI: 10.37791/26870649-2023-18-6-5-19.
Аботалеб Мостафа Са-лахелдин Абделсалам — ас/ \ пирант и преподаватель кафедры системного программирования Южно-Уральского государственного университета. Контактные данные: — abotalebm@susu. ги; телефон: +79227175245. Количество опубликованных научных работ более 100. Область научных интересов: математическое моделирование, про-
гнозирование, статистическое моделирование, анализ данных, статистический анализ, программирование.
Abotaleb Mostafa Salaheldin Abdelsalam — postgraduate student and lecturer at the Department of Computer Science of South Ural State University. Contacts: [email protected]; phone: +79227175245. The number of publications is more than 100. Research interests: mathematical modelling, forecasting, statistical modelling, data analysis, statistical analysis, programming.
Дата поступления — 15.05.2024
