CC BY
7
Информатика, вычислительная техника и управление
DOI 10.36622^Ти.2022.18.2.001 УДК 519.852
ВЫЧИСЛИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ С НЕПРЕРЫВНОЙ ФОРМОЙ МЕТОДА МАКСИМАЛЬНОЙ СОГЛАСОВАННОСТИ В РЕГРЕССИОННОМ АНАЛИЗЕ
С.И. Носков, Ю.А. Бычков Иркутский государственный университет путей сообщения, г. Иркутск, Россия
Аннотация: рассмотрены особенности оценивания параметров линейной регрессионной модели с применением непрерывной формы метода максимальной согласованности (НММС) между расчетными и фактическими значениями зависимой переменной. При этом дискретная форма такой согласованности формально выражается суммой числа совпадений знаков приращений этих значений на всех парах номеров наблюдений выборки. Проведены вычислительные эксперименты с четырехфакторной и пятью трехфакторными вариантами модели протяженности магистральных газопроводов и газопроводов-отводов в однониточном исчислении. В качестве независимых переменных использованы: объем производства стабильного газового конденсата и нефти, разведанные и доказанные запасы природного газа, разведанные запасы газового конденсата. В ходе проведенных экспериментов изучались вопросы: выяснения влияния значений параметра компромисса между НММС-оценками параметров и оценками, полученными методом наименьших модулей, на критерии адекватности модели: суммы модулей ошибок и величин рассогласованности, среднюю ошибку аппроксимации; выявления диапазонов изменения точки нетривиальности в задаче линейного программирования, реализующей НММС; оценки адекватности вариантов модели. Весьма низкие значения перечисленных критериев адекватности всех вариантов моделей указывают на их высокое качество при описании исследуемого объекта
Ключевые слова: регрессионная модель, функция потерь, критерий согласованности поведения, метод максимальной согласованности, метод наименьших модулей, вычислительные эксперименты
Введение
Регрессионный анализ - гибкий и эффективный инструмент, позволяющий исследователю анализировать сложные объекты вне зависимости от их природы. Так, в работе [1] регрессионный анализ применяется для минимизации усилий, прикладываемых исследователями для решения задач с громоздкими и многомерными вычислениями. В ряде работ [2-4] раскрывается возможность применения регрессионного моделирования как способа прогнозирования динамики сложных процессов. В [3] показывается, как, обладая большими объемами информации о людях и их привычках, за счёт использования инструментария регрессионного анализа, маркетологи могут предсказывать поведенческие факторы и предугадывать, какие продукты и товары выберет среднестатистический покупатель в той или иной ситуации. В [5] рассматриваются взаимосвязи, позволяющие дать количественную оценку концептуальным моделям затрат на получение медицинских услуг, тем самым создавая основу для объяснения: почему одни люди несут чрезвычайно высокие расходы на здравоохранение, а
© Носков С.И., Бычков Ю.А., 2022
другим такие услуги почти ничего не стоят.
В рамках регрессионного анализа разработано значительное количество критериев адекватности моделей. Одним из наиболее часто используемых из них является критерий множественной детерминации. В [6] на его основе предлагается новый метод оценивания силы нелинейной статистической связи. В [7] критерий множественной детерминации задействован для определения наиболее важных признаков чистой прибыли организации и определения факторов, оказывающих существенное отрицательное влияние на моделируемый объект. Другими популярными критерия определения адекватности модели служат критерий Фишера, Стьюдента и Дарбина-Уотсона. В работе [8] для оценки адекватности построенных регрессионных моделей, используемых при составлении прогнозов производственных потребностей промышленных предприятий на примере потребления электрической энергии на территории Республики Северная Осетия - Алания, использованы именно эти критерии.
Все традиционные критерии оценки адекватности регрессионных моделей, в том числе упомянутые выше, на формальном уровне базируются на их ошибках аппроксимации. Настоящая работа основана на разработанном и
развитом С.И. Носковым критерии согласованности поведения (КСП) наблюдаемых и расчетных значений зависимой переменной (см., в частности, [9-12]) и его непрерывной версии НКСП [13, 14]. Использование КСП позволяет лучше оценить «объясняющие» качества модели. В работах [15, 14] описан базирующийся на КСП метод максимальной согласованности (ММС) в его дискретной и непрерывной формах.
Непрерывная форма метода максимальной согласованности
Рассмотрим линейную регрессионную модель (уравнение)
ук = ;™1а1хы + £к,к = 1,п, (1)
где у — зависимая, а X; — ья независимая переменные, а; — ьй подлежащий оцениванию параметр, — ошибки аппроксимации, к — номер наблюдения, п - их число (длина выборки).
Представим уравнение (1) в векторной форме:
у = Ха + £, (2)
где У = (У1,-,УП)Т, а = (аг, ...,ат)т, £ = (ег, ...,£п)т, X — (п X т) - матрица с компонентами х^.
Заметим, что уравнение (1) имеет детерминированный характер.
В случае, если оно содержит свободный член, первый столбец матрицы Х будет состоять из единиц.
Модель (1) можно представить в виде:
Ук = Ук + Ек, к = 1,п,
где Ук и у^ - соответственно фактические и расчетные (вычисленные по модели) значения зависимой переменной у.
Рассмотрим следующую ситуацию [15]. Пусть после построения модели (1) для произвольных номеров наблюдений s и h обрабатываемой выборки окажется справедливым неравенство
Оъ-УлХ У* -Ул) < 0.
Это означает, что на паре номеров наблюдений модель (1) плохо «объясняет» исследуемый процесс, что не может быть компенсировано малостью величин |е5| и |е^|. Ука-
занное обстоятельство особенно пагубно при исследовании с помощью методов моделирования динамических процессов. Подобные ситуации формализуются с помощью КСП, обобщенная форма представления которого (ОКСП) имеет вид [11]:
= , (3)
где
а =(1, (Уь-У*)( ук-у5) ^ 0 кБ (0, в противном случае.
Предложенный в работе [15] метод максимальной согласованности позволяет свести задачу максимизации функции Ф(а) к задаче ли-нейно-булевого программирования, поскольку и КСП, и ОКСП имеют дискретный характер. В работе [14] предложена их непрерывная форма НКСП:
жа)= (4)
где
1 = {\9к - М (Ук - Уз)(Ук - Уз) < 0 кБ (0, в противном случае.
Очевидно, что, в отличие от КСП или ОКСП, значение НКСП тем лучше, чем оно меньше. При ^а)=0 поведение расчетных и фактических значений зависимой переменной следует считать вполне согласованным. Минимизация функции ^а) представляет собой непрерывную форму ММС (НММС). Дадим ее краткое описание, следуя [14].
Введем в рассмотрение матрицу ^^^йЛ, к=1,п-1, 5 =/с-I-1,п следующим образом
(1, Ук-Уз >0 Ыкз = )-1, Ук -Уз < 0 Ы Ук-Уз = 0.
Введем также положительные
Р,и и отрицательные у, V части векторов а и £ соответственно:
(аг , аь > 0
(0, в противном случае,
_ (-аI , аг < 0
(0, в противном случае,
и ={£к , £к > 0 к (0, в противном случае,
v = Mfc , ^к < 0
к (0, в противном случае
так, что выполняются соотношения:
а = ß - Y, ßi Yi = 0, (5)
£ = И - V, Ufe vk =0. (6)
Тогда задача минимизации НКСП (4) представима в виде следующей задачи линейного программирования (ЛП):
г ZLiK + Vu) + (1 - Г) ТТЛ Tns=k+1 iks+
+öir=i(ßi+Yi)^ min, (7)
X(ß-Y) + и - v = y, (8) vks - Yi) (*ki - xsi) +
+ lks > 0, k=1,n- 1, s = к + l,n, (9) и >0, v >0, ß >0, у >0, /feS >0. (10)
Здесь г е (0,1] - заранее выбранное число, гарантирующая справедливость равенств ukvk =0, k=1,?i и выполняющая также функцию недопустимости получения тривиального решения задачи, S - малая положительная константа. При этом третье слагаемое в (7) гарантирует выполнение соотношений (5). Легко видеть, что при г = 1 задача ЛП (7) - (10) реализует метод наименьших модулей (МНМ), а при значении г, близком к 0, она позволяет определить оценки параметров модели (2), обеспечивающие максимальную согласованность поведения расчетных и фактических значений выходной переменной в смысле представления
(4).
Параметр г будем считать в дальнейшем мерой компромисса между НММС- и МНМ-оценками.
Численные эксперименты с НММС по отношению к регрессионным моделям
протяженности газопроводных сетей
Займемся теперь выяснением того, как влияют различные значения г в целевой функции (7) на оценки параметров регрессионной модели (1) и на значения величин M, L, E, где M=Tfe=ikfc| — показатель точности модели в соответствии с МНМ, L=Tfc=ÍZ"=fc+i lks - показатель точности модели в соответствии с НММС, Е=100%Т£=1 kfc/yj- средняя относительная ошибка аппроксимации.
Важен также вопрос, какое значение для каждой модели примет величина г*, которую будем называть точкой нетривиальности задачи
(7) - (10), то есть такую, что для всех г е (0, г*) при наличии в модели (1) свободного члена а0 он становится равным среднему на выборке значению зависимой переменной и, кроме того, оказываются справедливыми равенства L= =0, ¿=1,771. Если же свободный член в уравнение (1) не входит, для тривиальных решений задачи будут справедливы только последние равенства нулю.
Для проведения численных экспериментов используем данные по газификации России по группе компаний «Газпром» за 2005 - 2020 годы [16].
Будем строить одну четырехфакторную
Уь = ао+хг-2,1 + а2хг-2,2 + азхг-2,з + + «4^-2,4+ ^, 1= 2007, ¡2020 (11)
и четыре трехфакторных моделей
Уь = ао+а1хг-2,2 + а2хг-2,з + азхг-2,4+ + £1, 1= 20077, 2020 , (12)
Уь = ао+а1хг-2,1 + а2хг-2,з + азхг-2,4+ + £1, 1= 20077, 2020 , (13)
Уь = ао+а1хг-2,1 + а2хг-2,2 + азхг-2,4+ + еи 1= 2007,2020, (14)
Уь = ао+а1хг-2,1 + а2хг-2,2 + азхг-2,з+ + еи 1= 2ШУ7"Г2020". (15)
Здесь:
У{- протяженность магистральных газопроводов и газопроводов-отводов в однониточ-ном исчислении, тыс. км;
хг- объем производства стабильного газового конденсата и нефти, тыс. т.;
х2- разведанные запасы природного газа, млрд. м3;
х3- доказанные запасы природного газа, млрд. м3;
х4- разведанные запасы газового конденсата, млн. т.
Исходя из естественных содержательных соображений модели (11) - (15) содержат независимые переменные с двухлетним временным лагом, поскольку большие его значения не позволяет установить длина выборки данных.
Численные эксперименты с НММС по отношению к регрессионным моделям (11) - (15) будем проводить следующим образом. Вначале с помощью специально разработанной программы посредством перебора узлов равномер-
ной сетки, заданной на полуинтервале (0, 1] и с использованием метода деления отрезка пополам найдем значения г* для каждой модели с точностью до четвертого знака после запятой. Соответствующую г* оценку вектора параметров а и следует считать НММС-оценкой. Затем определим число гЛ, представляющее собой округление г* в большую сторону до ближайшего десятичного разряда. После этого постро-
Анализ содержащейся в таблице информации позволяет сделать следующие выводы:
1. Значения г* весьма малы и расположены в диапазоне от 0.0143 до 0.0276.
2. На отрезке [гЛ, 1] расположено от 4 до 8 значений г, которым соответствуют различные вектора параметров а.
им модели (11) - (15) со значениями г, равными узлам равномерной сетки на отрезке [гЛ,1] с шагом 0.1.
Результаты расчетов приведены в таблице. При этом в ней размещены только не повторяющиеся вектора параметров моделей а и соответствующие им значения М, L, Е.
3. Оценки параметров модели (13) со значениями г, равными 0.7, 0.8, 1 и модели (15) со значениями г, равными г*, 0.1, 0.2 следует считать неприемлемыми из-за отрицательности некоторых компонент, что не согласуется со смыслом независимых переменных.
Результаты численных экспериментов с моделями (11) - (15)
г а L М Е
Модель (11)
0.0143 (156.47, 0.00061, 0.000054, 0.000015, 0.0058) 0.35 44.26 1.94
0.1 (101.21, 0.0010, 0.00032, 0.0013, 0.019) 1.10 18.06 0.76
0.2 (98.79, 0.00071, 0.00064, 0.00086, 0.020) 1.35 16.11 0.68
0.7 (99.79, 0.00084, 0.00072, 0.00083, 0.017) 1.55 15.99 0.67
Модель (12)
0.0252 (129.94, 0.00041, 0.00048, 0.012) 0.8 37.88 1.65
0.1 (91.55, 0.00078, 0.00080, 0.026) 1.62 17.77 0.75
0.2 (91.55, 0.00075, 0.00059, 0.029) 1.77 17.02 0.72
0.6 (90.32, 0.00062, 0.00085, 0.030) 1.87 16.95 0.72
0.8 (91.47, 0.00044, 0.00091, 0.032) 2.03 16.90 0.72
0.9 (93.03, 0.00019, 0.00099, 0.036) 2.41 16.84 0.71
Модель (13)
0.0145 (156.88, 0.0006, 0.000032, 0.0066) 0.36 44.49 1.95
0.1 (96.80, 0.00075, 0.0018, 0.025) 1.12 19.02 0.81
0.3 (95.49, 0.00053, 0.0016, 0.028) 1.28 18.63 0.79
0.5 (82.70, 0.00065, 0.0022, 0.029) 1.29 18.62 0.79
0.6 (91.73, 0.00020, 0.0011, 0.040) 2.24 17.84 0.75
0.7 (91.18, -0.000041, 0.0011, 0.041) 2.97 17.51 0.74
0.8 (90.58, -0.00030, 0.0011, 0.048) 3.89 17.28 0.73
1 (90.64, -0.00028, 0.0011, 0.043) 3.79 17.19 0.73
Модель (14)
0.0147 (156.11, 0.00061, 0.00010, 0.0051) 0.37 44.08 1.93
0.1 (112.0069, 0.00075, 0.00089, 0.016) 1.37 18.73 0.80
0.2 (103.86, 0.00061, 0.0010, 0.019) 1.55 17.56 0.74
0.4 (101.63, 0.00040, 0.0010, 0.022) 1.66 17.34 0.74
Модель (15)
0.0276 (161.41, 0.00090, 0.00010, -0.00000016) 0.67 44.99 1.97
0.1 (135.40, 0.0017, 0.00080, -000018) 1.99 25.48 1.10
0.2 (125.42, 0.0017, 0.0011, -0.00028) 2.73 21.67 0.92
0.3 (114.86, 0.0018, 0.0011, 0.00037) 3.46 19.55 0.83
0.4 (110.00, 0.0018, 0.0010, 0.00075) 3.95 18.75 0.79
0.5 (107.69, 0.0015, 0.0012, 0.00069) 4.65 18.05 0.76
4. Соответствующая r = г* НММС-оценка параметров характеризуется максимальным для всех моделей значением свободного члена а0, что вполне согласуется с характером критерия
(4).
5. Вектора оценок параметров, соответствующие значениям г £ [гЛ, 1) в таблице, следует считать компромиссными между НММС-и МНМ-оценками.
6. Низкие значения критерия Е для всех вариантов моделей указывают на их адекватность исследуемому объекту.
Заключение
В работе рассмотрены особенности вычисления оценок параметров линейной регрессионной модели с использованием непрерывной формы метода максимальной согласованности между расчетными и фактическими значениями зависимой переменной.
Получены следующие результаты.
1. С использованием НММС построено пять вариантов модели протяженности магистральных газопроводов и газопроводов-отводов в однониточном исчислении с различными значениями параметра г.
2. Дан краткий анализ результатов вычислительных экспериментов с каждым из этих вариантов.
Литература
1. Putcha C., Dutta S., Gupta S.K. Reliability and Risk Analysis in Engineering and Medicine. Springer. Cham, 2021.
2. Guerard J.B., Saxena A., Gultekin M. Quantitative Corporate Finance. Springer. Cham, 2021.
3. Research Methods and Data Analysis for Business Decisions / Sallis J.E., Gripsrud G., Olsson U.H., Silkoset R. Springer. Cham, 2021.
4. Multivariate Analysis / Backhaus K., Erichson B., Gensler S., Weiber R., Weiber T. Springer Gabler, Wiesbaden, 2021.
5. Etzioni R., Mandel M., Gulati R. Statistics for Health Data Science. Springer. Cham, 2020.
6. Бахрушин В.Е. Методы оценивания характеристик нелинейных статистических связей // Системные технологии. 2011. № 2(73). С. 9-14.
7. Фадеева Е.П., Титов А.Н., Тазиева Р.Ф. Построение модели множественной регрессии прибыли и декомпозиция риска её получения на коммерческую, производственную и финансовую составляющие // Вестник Технологического университета. 2018. Т. 21. № 5. С. 165-173.
8. Лапинский Г.С., Майрансаев З.Р. Однофакторные регрессионные модели прогнозирования электропотребления промышленных предприятий // Известия ЮФУ. Технические науки. 2013. № 5(142). С. 241-246.
9. Носков С.И. Построение эконометрических зависимостей с учетом критерия «согласованность поведения» // Кибернетика и системный анализ. 1994. №1. С. 177-180.
10. Носков С.И. Критерий «согласованность поведения» в регрессионном анализе // Современные технологии. Системный анализ. Моделирование. 2013. №1. С. 107- 111.
11. Носков С.И. Обобщенный критерий согласованности поведения в регрессионном анализе // Информационные технологии и математическое моделирование в управлении сложными системами. 2018. № 1 (1). С. 14-20.
12. Базилевский М.П., Носков С.И. Программный комплекс построения линейной регрессионной модели с учетом критерия согласованности поведения фактической и расчетной траекторий изменения значений объясняемой переменной // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 9 (128). С. 37-44.
13. Носков С.И. Технология моделирования объектов с нестабильным функционированием и неопределенностью в данных. Иркутск, 1996. 320 с.
14. Носков С.И. Применение непрерывного критерия согласованности поведения при построении регрессионных моделей // Известия ТулГУ. Технические науки. 2021. № 6. С. 74-78.
15. Носков С.И. Метод максимальной согласованности в регрессионном анализе // Известия Тульского государственного университета. Технические науки. 2021. № 10. С. 380-385.
16. Отчетность ПАО «Газпром» за 2021 год URL: https://www.gazprom.ru/investors/disclosure/reports/2021 (дата обращение 23.01.2022)
Поступила 01.02.2022; принята 18.04.2022 Информация об авторах
Носков Сергей Иванович - д-р техн. наук, профессор кафедры информационных систем и защиты информации, Иркутский государственный университет путей сообщения (664074, Россия, г. Иркутск, ул. Чернышевского, д. 15), e-mail: sergey.noskov.57@mail.ru, тел. +7 (914) 902-24-94, ORCID: https://orcid.org/0000-0003-4097-2720
Бычков Юрий Александрович - аспирант кафедры информационных систем и защиты информации, Иркутский государственный университет путей сообщения (664074, Россия, г. Иркутск, ул. Чернышевского, д. 15), e-mail: bychkov_ya@internet.ru, тел. +7 (924) 708-66-34, ORCID: https://orcid.org/0000-0002-7243-8445
COMPUTATIONAL EXPERIMENTS WITH THE CONTINUOUS FORM OF THE MAXIMUM CONSISTENCY METHOD IN REGRESSION ANALYSIS
S.I. Noskov, Yu.A. Bychkov Irkutsk State Transport University, Irkutsk, Russia
Abstract: we considered the features of estimating the parameters of a linear regression model using the continuous form of the maximum consistency method (CMCM) between the calculated and actual values of the dependent variable. At the same time, the discrete form of such consistency is formally expressed by the sum of the number of coincidences of the signs of increments of these values on all pairs of sample observation numbers. We carried out computational experiments with four-factor and five three-factor versions of the model for the length of main gas pipelines and gas pipeline branches in a single-line calculation. The independent variables used were the volume of production of stable gas condensate and oil, explored and proven reserves of natural gas, explored reserves of gas condensate. As a result of the experiments, we studied the following questions: elucidating the influence of the values of the compromise parameter between the CMCM -estimates of the parameters and the estimates obtained by the method of least modules; identifying the ranges of change of the nontriviality point in a linear programming problem that implements CMCM; assessing the adequacy of model options
Key words: regression model, loss function, behavior consistency criterion, maximum consistency method, least modulus method, computational experiments
References
1. Putcha C., Dutta S., Gupta S.K. "Reliability and risk analysis in engineering and medicine", Springer, Cham, 2021.
2. Guerard J.B., Saxena A., Gultekin M. "Quantitative corporate finance", Springer, Cham, 2021.
3. Sallis J.E., Gripsrud G., Olsson U.H., Silkoset R. "Research methods and data analysis for business decisionsSpringer, Cham, 2021.
4. Backhaus K., Erichson B., Gensler S., Weiber R., Weiber T. "Multivariate analysis", Springer Gabler, Wiesbaden, 2021
5. Etzioni R., Mandel M., Gulati R "Statistics for health data science", Springer, Cham, 2020
6. Bakhrushin V.E. "Methods for estimating the characteristics of nonlinear statistical relationships", System Technologies (Sistemnye tekhnologii), 2011, no. 2 (73), pp. 9-14.
7. Fadeeva E.P., Titov A.N., Tazieva R.F. "Building a model of multiple regression of profit and decomposing the risk of its receipt into commercial, industrial and financial components", Bulletin of Technological University (Vestnik Tekhnologicheskogo universiteta), 2018, vol. 21, no. 5, pp. 165-173.
8. Lapinsky G.S., Mayransaev Z.R. "One-factor regression models for forecasting the power consumption of industrial enterprises", Izvestiya SFedU. Technical science (Izvestiya YUFU. Tekhnicheskie nauki), 2013, no. 5 (142), pp. 241-246.
9. Noskov S.I. "Construction of econometric dependencies taking into account the criterion of "consistency of behavior"", Cybernetics and System Analysis (Kibernetika i sistemnyy analiz), 1994, no. 1, pp. 177-180.
10. Noskov S.I. "The criterion of "consistency of behavior" in regression analysis", Modern Technologies. System Analysis. Modeling (Sovremennye tekhnologii. Sistemnyy analiz. Modelirovanie), 2013, no. 1, pp. 107-111.
11. Noskov S.I. "Generalized criterion for consistency of behavior in regression analysis", Information Technologies and Mathematical Modeling in the Management of Complex Systems (Informatsionnye tekhnologii i matematicheskoe modelirovanie v upravlenii slozhnymi sistemami), 2018, no. 1 (1), pp. 14-20.
12. Bazilevsky M.P., Noskov S.I. "Software complex for constructing a linear regression model taking into account the criterion for the consistency of the behavior of the actual and calculated trajectories of changing the values of the explained variable", Bulletin of Irkutsk State Technical University (Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta), 2017, vol. 21, no. 9 (128), pp. 37-44.
13. Noskov S.I. "Technology of modeling objects with unstable functioning and uncertainty in data" ("Tekhnologiya mod-elirovaniya ob"ektov s nestabil'nym funktsionirovaniyem i neopredelennost'yu v dannykh"), Irkutsk, 1996, 320 p.
14. Noskov S.I. "Application of a continuous criterion for the consistency of behavior in the construction of regression models", Izvestiya TulGU. Technical sciences (Izvestiya TulGU. Tekhnicheskie nauki), 2021, no. 6, pp. 74-78.
15. Noskov S.I. "The method of maximum consistency in regression analysis", Bulletin of Tula State University. Technical science (Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki), 2021, no. 1, pp. 380-385.
16. Reports of PJSC "Gazprom" for 2021, available at: https://www.gazprom.ru/investors/disclosure/reports/2021 (date of access 23.01.2022)
Submitted 01.02.2022; revised 18.04.2022 Information about the authors
Sergey I. Noskov, Dr. Sc. (Technical), Professor, Irkutsk State University of Communications (15 Chernyshevsky str., Irkutsk 664074, Russia), e-mail: sergey.noskov.57@mail.ru, tel.: +7 (914) 902-24-94, https://orcid.org/0000-0003-4097-2720 Yuriy A. Bychkov, graduate student, Irkutsk State University of Communications (15 Chernyshevsky str., Irkutsk 664074, Russia), e-mail: bychkov_ya@internet.ru, tel.: +7 (924) 708-66-34, https://orcid.org/0000-0002-7243-8445
