CC BY
1
УДК 519.852
DOI: 10.24412/2071-6168-2024-4-298-299
ВЫЧИСЛЕНИЕ КОМПРОМИССНОЙ ОЦЕНКИ ПАРАМЕТРОВ ПРИ ИСПОЛЬЗОВАНИИ МНОГОКРИТЕРИАЛЬНОГО МЕТОДА НАИМЕНЬШИХ МОДУЛЕЙ
С.И. Носков
В работе поставлена задача точечной характеризации множества паретовских оценок параметров линейной регрессионной модели при использовании многокритериального метода наименьших модулей. Этот метод предполагает использование векторной функции потерь, каждая компонента которой задана на некоторой подвы-борке исходной выборки данных. Построение указанной характеризации, или компромиссной оценки параметров, осуществляется в три этапа. Вначале рассчитываются паретовские оценки, являющиеся вершинами специальным образом сформированного многогранника. При этом решается серия задач линейного программирования. Затем определяется центр тяжести множества Парето, являющийся выпуклой комбинацией этих вершин с равными весовыми коэффициентами. Наконец, реализуется так называемая программа отсутствия мажорирования, описанная в фундаментальной работе Yu L. и Zeleny M., в результате чего и рассчитывается искомая компромиссная оценка Решен численный пример.
Ключевые слова: регрессионная модель, функция потерь, многокритериальный метод наименьших модулей, задача линейного программирования, точечная характеризация, компромисс.
При оценивании неизвестных параметров регрессионных моделей весьма эффективен метод наименьших модулей (МНМ) (в англоязычной литературе используется термин «least absolute deviation» (LAD)), особенностям применения которого посвящено значительное число работ. Так, в [1] показывается, что оптимизацию, необходимую для решения проблемы построения регрессии с помощью МНМ, можно рассматривать как последовательность оценок максимального правдоподобия. Соответствующий алгоритм сводится к итерационной процедуре, в которой простое преобразование координат применяется на каждой итерации. Он может быть легко сделан модульным для аппаратной реализации, в отличие от большинства других существующих способов реализации МНМ, которые требуют сложных операций, таких, как манипуляции с элементами матрицы. Единственным исключением является алгоритм прямого спуска Веселовского, который среди лучших алгоритмов также основан на взвешенных медианных операциях. Эксперименты показывают, что новый алгоритм превосходит по скорости алгоритм Веселовского, который также прост по структуре. Он обеспечивает лучший компромисс между скоростью сходимости и сложностью реализации. В [2] исследуются асимптотические свойства сглаженной оценки наименьших абсолютных отклонений в нелинейной параметрической модели с несколькими точками разладки, возникающими в неизвестные моменты времени с независимыми и одинаково распределенными ошибками. В работе [3] используются два основанных на критерии наименьшего абсолютного отклонения подхода для обработки выбросов в данных. Один основан на базовой взвешенной регрессии, а другой - на ее некотором локальном приближении. Предлагаемые методы могут автоматически уменьшить влияние выбросов на оценки коэффициентов регрессии и легко реализованы с помощью современных компьютерных программ для решения задач линейного программирования. Статья [4] посвящена описанию способа улучшения МНМ в рамках его взвешенного варианта со штрафом. Основная идея состоит в том, чтобы связать каждое наблюдение с весом, отражающим степень выброса, и одновременно адаптивно получить как оценку веса, так и вектора коэффициентов. Предлагаемый подход способен обеспечить высокую надежность оценки коэффициентов регрессии и одновременно выполнять обнаружение выбросов, даже если случайная ошибка не имеет конечной дисперсии. Представлены достаточные условия, при которых описанный подход может последовательно идентифицировать истинные выбросы. В [5] описывается применение МНМ для почасового прогноза потребления природного газа.
Интересные результаты, связанные с исследованием вычислительных аспектов МНМ, приводятся в работах Тырсина А.Н. с соавторами (см., например, [6-9]).
Многокритериальный метод наименьших модулей. Рассмотрим линейное регрессионное уравнение (модель) вида:
Ук = ÜT=iaixki + £к, к = Цп, (1)
где у - эндогенная (зависимая), а xt - г'-ая экзогенная (независимая) переменные; at - г'-ый оцениваемый параметр; Ек - ошибки аппроксимации, к - номер наблюдения, п - число наблюдений. Будем полагать модель (1) детерминированной.
Уравнение (1) представимо в векторной форме:
у = Ха + £, (2)
где у = (у1,...,уп)Т, а = (а1,..., am)т, е = (E1t..., еп)т,X - (п х т) -матрица с компонентами хк1.
Пусть, исходя из некоторых важных соображений, которые могут иметь как формальный, так и содержательный характер, исследователь при конструировании регрессионной модели (1) сложного объекта или процесса, учитывая его отличительные особенности или природу сформулированной при моделировании задачи, может разбить исходную выборку на s непересекающихся частей (подвыборок, групп номеров наблюдений) Pt, i = 1, s:
s
U^ ={1,2.....П), P^Pj = 0, i^j.
i=i
В основу подобных соображений может быть положен, в частности, поиск ответа на следующий вопрос: каким образом соотносятся оценки параметров модели (1) в первой и второй половинах ретроспективного периода для исследуемого процесса? В этом случае s=2. Или в каждой его трети? Наконец, в каких-то конкретных группах наблюдений по отношению к каким-то конкретным другим?
В работе [10] сформулирована задача оценивания параметров уравнения регрессии (1) посредством минимизации заданной на группах наблюдений исходной выборки данных векторной функции потерь 1(a) = (lv (a),lv (a),...,lv (а)), каждая компонента которой задана на «своей» подвыборке: 1 2 S 298
/v,(a)= ^ ,1, i = 1, s.
В работе [11] описан многокритериальный метод наименьших модулей в регрессионном анализе, при реализации которого v¡ = 1, í = 1, s.
Как показано в [11], оценивание параметров модели (1) при использовании многокритериального МНМ сводится к решению многокритериальной задачи линейного программирования (ЛП), для решения которой (т.е. построения множества паретовских оценок параметров) могут быть использованы два способа, основанных на подходах, описанных в фундаментальной работе Yu L. и Zeleny M. [12].
Введем в рассмотрение неизвестные переменные ufc, fe = 1, п следующим образом:
и = fe, если £fc >0 k (0, в противном случае,
v = (-£fe, если <0
k (0, в противном случае.
Тогда модель (1) можно представить в виде линейных ограничений-равенств:
E^i«;*,« + Mfc-^ = ЛД = (3)
> 0, > 0, fe = 1, n. (4)
Задача минимизации векторной функции потерь I(a) примет вид:
/v¡(а, и, v) = SfcEP¡(ufc + ) ^ i = 1, s. (5)
Обозначим через В множество векторов, задаваемое ограничениями (3), (4):
В = {(а,и, v)| + - = yfc, > 0, > 0,fe = 1,n).
Тогда множество Парето N в многокритериальной задаче ЛП (3) - (5) имеет вид:
N = {с1 е B|(Vc2 ЕВ, с2 Ф c1)c2fic1},
где R - отношение Парето.
Первый способ формирования паретовских вершин многогранника В основан на использовании так называемого многокритериального симплекс-метода. Второй, более просто реализуемый в вычислительном отношении, предполагает перебор узлов достаточно мелкой у-сети s-мерного открытого единичного куба Г:
Г = {У = (У1, У2.....ys)i Yi >0, i = Zf=iXí = 1)
и решение для каждого узла у' Е Г задачи ЛП с ограничениями (3), (4) и целевой функцией
Ef=i y\ ¿fcep¡(Mfc + vfe) ^ mín. (6)
Для формирования на основе множества всего множества Парето N в [12] предлагается проверять на паретовость каждую грань В, задаваемую выпуклой комбинацией векторов из с использованием соответствующего вычислительного приема.
Использование в качестве основного метода наименьших модулей, основанного на так называемом городском расстоянии между расчетными и фактическими значениями зависимой переменной, позволяет, в отличие от методов наименьших квадратов (евклидово расстояние) и антиробастного оценивания (расстояние Чебышева), игнорировать наблюдения (выбросы), не согласующиеся со всей выборкой в целом. Такие ситуации на практике встречаются достаточно часто.
Точечная характеризация множества Парето N. Заметим, что со всем множеством Парето N работать трудно, поскольку оно содержит бесконечное число возможных оценок параметров, каждая из которых может быть использована в модели (2). Специалисту же по моделированию для реализации требуется, как правило, какая-то одна оценка.
Возможный способ, позволяющий выделить для реализации лишь один вектор оценок параметров из N и не требующий привлечения дополнительных соображений субъективного характера, предложен в работе [13]. Разумеется, следует отдавать себе отчет в том, что существуют и другие эффективные методы решения многокритериальных задач, предполагающие обоснованное привлечение в том числе субъективной информации (см., например, [14, 15]).
Прежде всего заметим, что каждая паретовская оценка из N равноправна по отношению к другим паре-товским оценкам (не лучше, но и не хуже них). Следовательно, при выделении единственной (компромиссной) оценки из N (то есть при точечной характеризации множества Парето N,) для реализации должно быть учтено (пусть и неявно) все множество N. Отметим далее, что такая характеризация - обозначим ее через z - должна отражать конфигурацию множества N, в значительной мере задаваемую множеством №х . Основанная на учете этих двух соображений идея поиска оценки z EN состоит в следующем.
Необходимо, считая каждый вектор из равноправным по отношению к другим, найти выпуклую комбинацию всех векторов из равными весами. Обозначим её через z* :
«_i v z -p¿zewex2,
где p - число элементов (мощность) множества z*= (a*, u*, V*).
Ясно, что в общем случае вектор г*не является паретовским. Поэтому естественным представляется выделить в множестве N вектор (ранее обозначенный через z), в максимальной степени «улучшающий» z* по всем s критериям. Воспользуемся для этого так называемой программой отсутствия мажорирования из [15] и решим задачу ЛП с ограничениями (3), (4),
£fcep¡(Mfc + + e¡ < + ),' = (7)
e¡ > 0, í = 1,s, (8)
и целевой функцией
£f=1e¡^max. (9)
Если при этом окажется, что на оптимальном решении задачи (7) - (9) значение е1 строго положительно, значит вектор z* удалось улучшить по í-му критерию на величину е1.
Полученное решение и будет искомой характеризацией z множества N.
Численный пример. Пусть задана выборка данных:
/5 49 '
Х =
(3
У =
7
13 29
\57/
9 37 19 26 23 17 38 8 \ 41 7 )
Требуется с помощью многокритериального МНМ построить линейное регрессионное уравнение:
Ук=а1хк1+а2хк2+£к, к = 16 (10)
Разобьем выборку с номерами {1,2,...,6} на две подвыборки:
Р1 ={1,2,3} и Р2 ={4,5,6},
т.е. 8=2.
Для вычисления паретовских оценок параметров модели (10) воспользуемся соответствующей компьютерной программой [16]. В табл. 1 представлены неповторяющиеся оценки вектора параметров модели (8), полученные для узлов у -сети с шагом 0.01, т.е. у1=0.99, у-^0.98,..., у1=0.01 (соответственно у2=0.01, у2=0.02, ..., у2=0.99), а также значения средней относительной ошибки аппроксимации Е для каждого вектора:
'°-П = 1 \ £к/Ук\.
Е=100% V6
Параметры модели, соответствующие множеству паретовских вершин многогранника В
№ ал а2 Е Yi
1 0.697877653 -0.009987 24.3 0.99
2 0.90625 -0.03125 17.9 0.89
3 1.095202399 -0.077211 21.3 0.82
4 1.314779271 -0.072936 22.4 0.53
5 1.366762178 -0.1432664 34.1 0.51
6 1.429104478 -0.22761194 60.2 0.04
Заметим, что пятый вектор параметров в таблице соответствует обычному МНМ.
Средневзвешенный вектор а* оценок параметров, соответствующий паретовским вершинам многогранника В, имеет вид:
а* = (1.102317, -0.593513).
Решение задачи ЛП (3), (4), (7) - (9) позволяет вычислить оценку параметров а, являющуюся точечной характеризацией множества Парето N
а = (1.10061, -0.05108).
При этом е = (0, 0.4946).
Заметим, что оценка а не совпадает ни с одной паретовской вершиной, а, значит, является внутренней точкой одной из граней многогранника В.
Заключение. В работе поставлена задача точечной характеризации множества паретовских оценок параметров линейной регрессионной модели при использовании многокритериального метода наименьших модулей. Эта задача сведена к задаче линейного программирования, реализующей программу отсутствия мажорирования, описанную в фундаментальной работе Yu L. и Zeleny М. Решен численный пример.
Список литературы
1. Li Y, Arce G.R. A Maximum Likelihood Approach to Least Absolute Deviation Regression // EURASIP Journal on Advances in Signal Processing. 2004, 948982.
2. Ciuperca С. Penalized least absolute deviations estimation for nonlinear model with change-points // Statistical Papers. 2011. V. 52. Р. 371-390.
3. Zhang Н., Mei С. Local least absolute deviation estimation of spatially varying coefficient models: robust geographically weighted regression approaches // International Journal of Geographical Information Science. 2011. V. 25. 2011. № 9. P. 1467-1489.
4. Xiaoli Gao, Yang Feng. Penalized weighted least absolute deviation regression // Statistics and Its Interface. 2018. V.11. №1. P. 79 - 89.
5. Vazler I., Sabo К., Scitovski R. Weighted Median of the Data in Solving Least Absolute Deviations // Problems Communications in Statistics - Theory and Methods. 2012. V. 41. № 8.
6. Панюков А.В., Тырсин А.Н. Взаимосвязь взвешенного и обобщенного вариантов метода наименьших модулей // Известия Челябинского научного центра УрО РАН. 2007. № 1. С. 6-11.
7. Сурин В.А., Тырсин А.Н. Применение обобщенного метода наименьших модулей в задачах обработки и анализа изображений // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2020. № 2. С. 45-55.
8. Тырсин А.Н. Алгоритмы спуска по узловым прямым в задаче оценивания регрессионных уравнений методом наименьших модулей // Заводская лаборатория. Диагностика материалов. 2021. Т. 87. № 5. С. 68-75.
9. Тырсин А.Н., Азарян А.А. Точное оценивание линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым // Южно-Уральского государственного университета. Серия: Математика. Механика. Физика. 2018. Т. 10. № 2. С. 47-56.
10. Носков С.И. Постановка задачи оценивания параметров регрессии посредством минимизации заданной на группах наблюдений векторной функции потерь // Информационные технологии и математическое моделирование в управлении сложными системами. 2022. № 3 (15). С. 58-60.
11. Носков С.И. Многокритериальный метод наименьших модулей в регрессионном анализе // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2023. № 1. С. 28-36.
12. Yu L., Zeleny M. The set of all nondominated solutions in linear cases and multicriteria simplex method //J. of Math. Anal. and Applic, 1975. V.49. №2. P.430-460.
13. Носков С.И. Точечная характеризация множества Парето в линейной многокритериальной задаче // Современные технологии. Системный анализ. Моделирование. 2008. №1. С. 99-101.
14. Зак Ю.А. Прикладные задачи многокритериальной оптимизации. М.: Экономика. 2014. 455 с.
15. Бродецкий Г.Л., Гусев Д.А., Шидловский И.Г. Оптимизация решений по многим критериям в исследованиях логистики. М.: ИНФРА-М, 2020. 284 с.
16. Свидетельство о государственной регистрации программ для ЭВМ № 2021613936 Программа определения паретовских оценок параметров линейной регрессии посредством применения многокритериального метода наименьших модулей / С. И. Носков, А. А. Хоняков (Россия); Правообладатель: Федеральное государственное бюджетное образовательное учреждение высшего образования «Иркутский государственный университет путей сообщения» (ФГБОУ ВО ИрГУПС); заявка № 2022680313 28.10.2022; дата регистр. 10.11.2022.
Носков Сергей Иванович, д-р техн. наук., профессор, [email protected], Россия, Иркутск, Иркутский государственный университет путей сообщения
CALCULATION OF A COMPROMISE ESTIMATE OF PARAMETERS USING THE MULTI-CRITERIA METHOD OF LEAST MODULES
S.I. Noskov
The paper poses the problem ofpointwise characterization of a set of Pareto estimates of the parameters of a linear regression model using the multicriteria method of least moduli. This method involves the use of a vector loss function, each component of which is specified on some subsample of the original data sample. The construction of this characterization, or a compromise estimate of parameters, is carried out in three stages. First, Pareto estimates are calculated, which are the vertices of a specially formed polyhedron. In this case, a series of linear programming problems are solved. The center of gravity of the Pareto set is then determined, which is a convex combination of these vertices with equal weights. Finally, the so-called non-majorization program, described in the fundamental work of Yu L. and Zeleny M., is implemented, as a result of which the desired compromise estimate is calculated. A numerical example is solved.
Key words: regression model, loss function, multicriteria least moduli method, linear programming problem, point characterization, compromise.
Noskov Sergey Ivanovich, doctor of technical sciences, professor, sergey.noskov.57@mail. ru, Russia, Irkutsk, Irkutsk State Transport University
