CC BY
1
0 математическое моделирование i и информационные технологии
УДК 519.6
DOI 10.18822/byusu20240119-21
оценивание параметров простой вложенной кусочно-линейной регрессии с линейной составляющей
Носков Сергей Иванович
доктор технических наук, профессор,
Иркутский государственный
университет путей сообщения,
Иркутск, Россия
Предмет исследования: задача оценивания параметров простой вложенной кусочно-линейной регрессии с линейной составляющей.
Цель исследования: применить эффективный аппарат линейно-булевого программирования для решения этой задачи.
Методы и объекты исследования: объектом исследования является минимизация ошибок аппроксимации простой вложенной кусочно-линейной регрессии с линейной составляющей, методами - линейный регрессионный анализ и аппарат математического программирования.
Основные результаты исследования: описан подход к определению оценок параметров простой вложенной кусочно-линейной регрессии с линейной составляющей посредством применения метода наименьших модулей, что позволяет свести эту задачу к задаче линейно-буле-вого программирования. Решен численный пример.
Ключевые слова: простая вложенная кусочно-линейная регрессия с линейной составляющей, метод наименьших модулей, функция потерь, задача линейно-го-булевого программирования, подвыборка.
estimating the parameters of simple nested piecele-linear regression with a linear component
Sergey I. Noskov
Doctor of Technical Sciences, Professor,
Irkutsk State Transport University,
Irkutsk, Russia
Subject of research: the problem of estimating the parameters of a simple nested piecewise linear regression with a linear component.
Purpose of research: to apply an effective linear-Boolean programming apparatus to solve this problem.
Methods and objects of research: the object of research is the minimization of approximation errors of simple nested piecewise linear regression with a linear component, methods - linear regression analysis and mathematical programming apparatus.
Main results of research: an approach to determining parameter estimates for simple nested piecewise linear regression with a linear component is described using the least modulus method, which allows us to reduce this problem to a linear-Boolean programming problem. A numerical example has been solved.
Keywords: simple nested piecewise linear regression with a linear component, least absolute deviation method, loss function, linear-Boolean programming problem, subsampling.
ВВЕДЕНИЕ
При построении регрессионной модели исследуемого объекта характер его функционирования может вызвать необходимость в использовании не какой-либо одной модельной конструкции, а некоей составной, комбинированной ее формы. Так, в работе [1] разработана многовариантная регрессионная модель прогнозирования профиля водной поверхности для различных сложных русел с непризматической поймой. Модели нелинейной регрессии разработаны с использованием соответствующих экспериментальных данных, полученных в ходе лабораторных экспериментов. Было проведено три серии экспериментов для выявления берегового стока в сходящихся поймах. В [2] разнородные регрессионные модели используются для изучения связи между индексом абразивности в горнодобывающей промышленности и гражданском строительстве и химическими соединениями и петрографическими свойствами андезитовых пород центральной части Эквадора. Статья [3] посвящена исследованию общей модели непараметрической регрессии, называемой также составной моделью. В качестве особых случаев она включает в
себя разреженную аддитивную регрессию и непараметрическую (или линейную) регрессию со многими ковариатами, но, возможно, с небольшим количеством соответствующих ковариат. Составная модель характеризуется тремя основными параметрами: параметром структуры, описывающим «макроскопическую» форму составной функции, параметром «микроскопической» разреженности, указывающим максимальное количество соответствующих ковариат в каждом компоненте, и обычным параметром гладкости, соответствующим сложности сочленения. При этом определяется неасимптотическая минимаксная скорость сходимости оценок в такой модели, как функция этих трех параметров. Показано, что эта скорость может быть достигнута адаптивным путем. В работе [4] предлагается иерархическая, или многоуровневая, версия регрессионных моделей со структур и рован-ным аддитивным предиктором, в которой коэффициенты регрессии конкретной нелинейной составляющей могут зависеть от другой модели регрессии со структурированным аддитивным предиктором. В этом смысле модель состоит из иерархии сложных структурированных моделей аддитивной регрессии. Предложенную модель можно рассматривать
ВЕСТНИК ЮГОРСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА У V 19 Том 20, выпуск 1 (2024) > г
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ESTIMATING THE PARAMETERS OF SIMPLE NESTED PIECELE-LINEAR REGRESSION WITH A LINEAR COMPONENT
Sergey I. Noskov
как расширенную версию многоуровневой модели с нелинейными ковариатными членами на каждом уровне иерархии. Структура модели также является основой для обобщенного моделирования случайных наклонов, основанного на мультипликативных случайных эффектах. Вывод является полностью байесовским и основан на методах моделирования цепей Маркова. Дается подробное описание нескольких высокоэффективных схем формирования выборки, которые позволяют оценить сложные модели с несколькими уровнями иерархии и большим количеством наблюдений за малое время. В [5] предлагается новая модель нейронной сети ансамблевой свертки на основе регрессии для определения чувствительности лекарств на основе множественных фармацевтических данных и устранения гетерогенности при выборе характеристик для субфармакогеномных параметров. Сеть свертки ансамбля описывает значимость метрик, связанных с т. н. соседскими зависимостями, связанными с отношениями лекарственной терапии. В работе [6] рассматривается новая модель квантильной регрессии, объединяющая несколько наборов несмещенных уравнений. Этот подход может учитывать корреляции между повторными измерениями и давать более эффективные оценки. Поскольку целевая функция является дискретной и невыпуклой, предлагается индуцированное сглаживание для быстрого и точного вычисления оценок параметров, а также их асимптотической ковариации, используя метод Ньютона-Рафсона.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
В работе [7] введены вложенные кусочно-линейные регрессионные модели двух типов:
ук=тт{тт.11{а1.хк},..., тт.^р{а°хк},
тах^/р/ хк},...,тах.^{вН х^+г^Т^
и
ук=тах{тт.11{а1.хк},..., тгх.е1о{а°хк},
тах^1{в/ хк},...,тах^{вн хк}}+£к,к=1^.
Здесь у - зависимая, а х. — г'-ая независимая переменные, к - номер наблюдения, п - длина выборки, индексные множества 1',1=1,0,31,1=1,И являются подмножествами исходного множества номеров независимых переменных {1,2,..,т} и могут иметь непустые попарные пересечения, ар/ - подлежащие оценке параметры.
В работе [8] решена задача идентификации с помощью метода наименьших модулей (МНМ) параметров простой формы вложенной кусочно-линейной модели:
yk=mix{min.El{a.xJ,maxiEj{ß.xj}+£k,\k=1,n. (1)
Эта задача сводится к следующей задаче линейно-булевого программирования (ЛБП): hk<at xki, k = m, tel, (2)
a, xki - h<(1 - su )M, k = ТП, tel, (3)
= 1,k = Tï. (4)
xki, k = Tn, teJ, (5)
ßt xki - gt>(pki -1)M, k = Tn, teJ, (6)
ZjPki = h k = ТП, (7)
tk<hk, k = Tn, (8)
^ k = ^ (9)
hk - tk+Mrk<M, k = Tn, (10)
gk- tk - Mrk<0, k = ТП, (11)
tk+uk- vk = y^ k = ^ (12)
uk> 0,vk> 0,hk> 0,gk> 0,tk> 0, k = ТП, (13)
skie{0,1}, k = ТП, tel, (14)
pkie{0,1}, k = т, teJ, (15)
rke{0,1}, k = ЦП, (16)
ZUuk+vk ) ^ mm. (17)
По аналогии с рассмотренной в работе [9] комбинированной кусочно-линейной моделью введем в рассмотрение некоторое расширение модели (1) - простую вложенную кусочно-линейную регрессию с линейной составляющей:
У= ZteD ^Ы + mtx{mtniEI{axki},
maxiJei xJ} + Ч^1".
Поставим задачу оценивания параметров модели (18) также с помощью МНМ, т. е. посредством минимизации функции потерь (суммы модулей ошибок аппроксимации):
Zü=1\tk\ ^ mtn. (19)
Это может быть сделано путем соответствующей корректировки задачи ЛБП (2)-(17). Действительно, изменим ограничения (12) следующим образом:
(18)
^ieDdiXki + h +Uk - Vk = yk>k = 1,n-
(20)
Скорректируем также целевую функцию (17) с тем, чтобы исключить множественность решений задачи (19), воспользовавшись приемом, описанным в [10]:
) + 52,7у, a, - SZjr, ß, ^ min. (21)
Здесь 5 - малая положительная константа, а числа у. отражают масштаб независимых переменных, например, следующим образом:
ВЕСТНИК ЮГОРСКОГО 20 /Ч ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА > ' Том 20, выпуск 1 (2024)
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ОЦЕНИВАНИЕ ПАРАМЕТРОВ ПРОСТОЙ ВЛОЖЕННОЙ КУСОЧНО-ЛИНЕЙНОЙ РЕГРЕССИИ С ЛИНЕЙНОЙ СОСТАВЛЯЮЩЕЙ
Носков С.И.
Y i =
, i = 1, m
maXk=ïn Xki
Таким образом, решение задачи (19) сводится к решению задачи ЛБП (2)-(11), (20), (13)-(16), (21).
Рассмотрим численный пример, скорректировав исходные данные из [9] путем изменения значений зависимой переменной:
Г2 4 3^ Г 2 >
71 9 8
, У =
б 5B 3
v 3 B 4 J v 7 ,
(22)
X =
Поставим задачу оценивания параметров простой вложенной кусочно-линейной регрессии с линейной составляющей:
Уk=do + dl хы + тт{тт.е1{а.
max.jp. хк}} + гк,к=14,
где множества I и / имеют вид:
I = {1,2}, / = {2,3}.
После решения задачи ЛБП (2)-(11), (20), (13)-(16), (21) получим следующие результаты:
ук= -8 + 0.463 + тт{тт{4.53хк1,12.7хк2}, тах{ 2.27хк2,1.42хк3}, к = (9, 12.7, 27, 13.6), Е = (9, 2.3, 11.3, 18), t = (9, 12.7, 11.3, 13.6),
Е Ы=3-12-
к=1
ЗАКЛЮЧЕНИЕ И ВЫВОДЫ
В работе на основе применения полученных ранее результатов автора описан алгоритмический способ идентификации параметров простой вложенной кусочно-линейной регрессии с линейной составляющей методом наименьших модулей, сводящийся к решению задачи линейно-булевого программирования приемлемой при анализе реальных объектов размерности.
СПИСОК ЛИТЕРАТУРЫ
in Ecuador from chemical compounds and petrographical properties using regression analyses // Bulletin of Engineering Geology and the Environment. - 2019. - V. 78. - P. 2331-2344.
3. Dalalyan A., Ingster Y., Tsybakov A.B. Statistical inference in compound functional models // Probability Theory and Related Fields. - 2014. - V. 158. - P. 513-532.
4. Lang S., Umlauf N., Wechselberger P., Harttgen K., Kneib T. Multilevel structured additive regression // Statistics and Computing. - 2014. - V. 24. - P. 223-238.
5. Gadde S., Charkravarthy A. S. N., Satyanarayana S., Murali M. Automatic identification of drug sensitivity of cancer cell with novel regression-based ensemble convolution neural network model // Soft Computing. - 2022. - V. 26. - P. 5399-5408.
6. Leng C., Zhang W. Smoothing combined estimating equations in quantile regression for longitudinal data // Statistics and Computing. - 2014. - V. 24. - P. 123-136.
7. Носков, С. И. Подход к формализации вложенной кусочно-линейной регрессии / С. И. Носков. - Текст : непосредственный // Международный журнал гуманитарных и естественных наук. - 2023. - № 1-2 (76). - С. 218-220.
8. Носков, С. И. Идентификация параметров простой формы вложенной кусочно-линейной регрессии. - Текст : непосредственный // Ученые записки Комсомольско-го-на-Амуре государственного технического университета. - 2023. - № 3 (67). - С. 57-61.
9. Носков, С. И. Идентификация параметров комбинированной кусочно-линейной регрессионной модели / С. И. Носков. - Текст : непосредственный // Вестник Югорского государственного университета. - 2022. - № 4 (67). - С. 115-119.
10. Носков, С. И. Уточнение способов идентификации параметров некоторых кусочно-линейных регрессий / С. И. Носков, М. С. Жукова, Т. К. Кириллова, Ю. О. Купит-ман, А. А. Хоняков. - Текст : непосредственный // Электронный сетевой политематический журнал «Научные труды КубГТУ». - 2023. - № 2. - С. 75-81.
Naik B., Khatua K. K. Water Surface Profile Computation for Compound Channels with Narrow Flood Plains // Arabian Journal for Science and Engineering. - 2017. - V. 42. - P. 941-955.
Torrijo F. J., Garzón-Roca J., Company J., Cobos J. Estimation of Cerchar abrasivity index of andesitic rocks
1
ВЕСТНИК ЮГОРСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА У V 21 Том 20, выпуск 1 (2024) > г
