CC BY
24
was developed for assessing the completeness of non-coordinate information about space objects, obtained by onboard optical means for monitoring near-earth space, based on the calculation of the amount of lost information.
Key words: monitoring of near-earth space, optoelectronic device, space object, non-coordinate information.
Zakutaev Alexander Alexandrovich, head of laboratory of military institute (research), [email protected], Russia, Saint-Petersburg, Military Space Academy of Mozhaisky
УДК 330.4
DOI: 10.24412/2071-6168-2021-10-380-386 МЕТОД МАКСИМАЛЬНОЙ СОГЛАСОВАННОСТИ В РЕГРЕССИОННОМ АНАЛИЗЕ
СИ. Носков
В статье рассматривается новый метод оценивания неизвестных параметров линейного регрессионного уравнения, отличающийся от традиционных методов тем, что базируется не на минимизации ошибок аппроксимации в заданной метрике, а на максимизации согласованности в поведении расчетных и фактических значений выходной переменной. Формально такая согласованность выражается в максимизации числа совпадений знаков приращений этих значений на всех парах номеров наблюдений выборки. Предлагаемый метод основан на работах автора, в которых предложен критерий оценки адекватности регрессионных моделей - критерий согласованности поведения (КСП), - приведены его различные модификации и способы применения.
Ключевые слова: линейная регрессия, ошибки аппроксимации, методы наименьших квадратов и модулей, метод максимальной согласованности, критерии адекватности.
Рассмотрим линейное регрессионное уравнение
Ук = а1 хк1 + £к, к = 1,п, (1)
где у — объясняемая (зависимая, выходная), а хг — 7-ая объясняющая (независимая, входная) переменная; аг — 7-ый подлежащий оцениванию параметр; £к — ошибки аппроксимации, к— номер наблюдения, п— число наблюдений (длина выборки).
Представим уравнение (1) в векторной форме:
у = Ха + £, (2)
где у = (уъ ..., Уп)Т, а = (а-^,..., ат)Т, £ = (£г,..., £п)т, X— (пхт) — матрица с компонентами Хк1.
За последние два века, начиная со знаменитых работ А.Лежандра и К.Гаусса, которые независимо друг от друга изобрели метод наименьших квадратов (МНК, подробное описание изложено, например, в фундаментальных монографиях [1-5]), в рамках анализа данных разработано огромное количество методов оценивания вектора параметров а уравнения (2). К числу наиболее популярных можно, по-видимому, отнести, наряду с МНК, такие методы, как:
- метод наименьших модулей (МНМ) [3,7,10] и другие различные робастные процедуры [3,7];
- метод антиробастного оценивания (МАО) [3,9-11];
- методы вычисления ^-оценок [3, 8, 12, 13];
- метод максимального правдоподобия [14-16].
Для перечисленных выше и других методов разработано множество их модификаций и приложений, в частности: гребневая регрессия, различные так называемые шаговые процедуры [3], структурные методы [17], метод группового учета аргументов [18, 19], сплайн-функции [20] и другие.
Кроме того, в последние годы разработаны подходы, основанные на одновременном совместном применении методов идентификации вектора параметров а, что приводит к множественности оценок (см., например, [21-23].
Наконец, появились подходы к оцениванию параметров, предполагающие использование разных методов на различных участках выборки (см, в частности, [24]).
Весьма серьезным преимуществом регрессионного анализа перед другими подходами к моделированию сложных систем является разработанная в его рамках ёмкая система критериев оценки адекватности моделей. Эти критерии позволяют всесторонне оценивать самые различные качественные стороны модельного описания исследуемого объекта и достаточно подробно описаны в упомянутых выше источниках. Это, прежде всего, критерии множественной детерминации, Фишера, Стьюдента, Дарбина-Уотсона, смещения, средние относительные ошибки аппроксимации и прогноза, информационные критерии [25, 26].
Сделаем одно важное замечание - все упомянутые методы оценивания параметров уравнения (2) и критерии выявления степени его адекватности на формальном уровне предполагают оперирование ошибками аппроксимации е, связанное, как правило, с минимизацией соответствующих функций потерь. Действительно, регрессионная модель тем точнее, чем эти ошибки меньше в заданном смысле. Вместе с тем, даже при малых ошибках поведение расчетной и фактической траекторий моделируемого процесса может быть не вполне согласовано. Формально это может быть выражено следующим образом.
Введем в рассмотрение расчетные (вычисленные по модели с уже найденными оценками параметров) значения ук зависимой переменной:
=Ук~£к, к = 1,п.
Пусть для произвольных номеров наблюдений s и h обрабатываемой выборки справедливо неравенство
(У* -УК)( у:-Ун) < 0. (3)
Это означает, что на паре номеров наблюдений ^ модель (1) плохо «объясняет» исследуемый процесс, что не может быть компенсировано малостью величин |£5|, и |£Л|. Указанное обстоятельство особенно пагубно при исследовании с помощью методов моделирования динамических процессов. Предлагаемый в настоящей работе метод максимального согласования как раз и направлен на повышение «объясняющих» возможностей модели.
Критерий согласованности поведения (КСП). Этот критерий впервые введен в работе автора [27], его уточнение, применение и обобщение описаны в последующих публикациях [28-32]. КСП построен на иных по отношению к перечисленным выше традиционным критериям адекватности принципах и в своей обобщенной форме может быть представлен в виде:
Ф(а)=н::г,„.и^, (4)
где „., = {>■ <Л - ЛИ ЯЕ-ЗО* о
(.и, в противном случае.
Таким образом, максимальное значение КСП в случае полной согласованности в поведении расчетных и фактических значений зависимой переменной в регрессионной модели (1) равно п(п-1)/2, минимальное, при их полной несогласованности - 0.
В работах [27-32] не предлагается рассматривать КСП в качестве альтернативного по отношению к функциям потерь и другим перечисленным выше критериям показателя качества регрессии, поскольку наиболее важной интегрирующей характеристикой адекватности модели исследуемому объекту или процессу является все-таки точность аппроксимации. Вместе с тем, в этих работах КСП используется в качестве вспомогательного, дополнительного критерия для корректировки уже рассчитанного путем минимизации соответствующей МНМ функции потерь (обозначим ее /х(«)) вектора параметров. Такая корректировка производится следующим образом.
Пусть - найденное с помощью МНМ минимальное значение функции для регрессии (1), а а - соответствующая ему оценка параметров. Предположим, что исследователь (разработчик модели) может назначить некоторую величину А/1, на которую допустимо увеличение значения без существенного ухудшения качества аппроксимации с тем, чтобы повысить согласованность векторов у и у*. Тогда задача повышения согласованности поведения может быть сведена к задаче частично-целочисленного линейного программирования (ЧЦЛП). Воспользуемся для этого приемом, описанным, например, в [9], который позволяет свести задачу с альтернативными условиями в контексте рассматриваемой проблемы к задаче математического программирования с частью булевых переменных.
Введем неотрицательные вещественные переменные ик, ик, представляющие собой соответственно положительные и отрицательные части ошибок аппроксимации £к в (1):
и = [Ук _ а1хк1, Ук > £¿^1 а1хк1
к (0, в противном случае. у —\~Ук + а1хк1, Ук < а1хк1 к (0, в противном случае. При этом £к = ик — и^и,^ = 0, | £к + Ук.
Поскольку компоненты а^ вектора а могут принимать любые значения, введем также их положительные и отрицательные части а* и а?:
>0
а" - ' - 1
1 («¿,
1 (0, в противном случае, а2 = \~ai, ai<0 1 (0, в противном случае,
при этом «(= af — af,ajaf = 0.
Тогда указанная задача ЧЦЛП примет вид:
- Efc=i I"=fc+1 Oks + r Zfc=i(ufc + mm, (5)
I™ i(a* ~a?)iXki +uk -vk = yfc, k = 1, n, (6)
(yfc 1 «i + Mgfcs >M, (7)
0< CTfcs < 1, к = 1, n - 1, s = к + 1, п, (8)
S2=i(ufc + ufc)^/iA+ д/;,__(9)
ufc >0, nfc >0, k = 1, n, a} >0, a? >0, i = 1, m, aks - целые. (10)
Здесь М - заранее выбранное большое отрицательное число, г -положительная константа, гарантирующая справедливость равенств ufenfc = 0, к = 1, п и выполняющая также функцию недопустимости получения тривиального решения задачи.
Неизвестными в задаче ЧЦЛП (5)-(10) являются вектора a^af, и, у, ст с общей размерностью + + —. Здесь u = (u1,u2,.. , u„),v = (v1,v2,---, vn), = (ст12,--,о'1„,
ст23, — , °2па(п-1),п).
Для того, чтобы иметь возможность сравнения по критерию согласованности поведения (4) регрессий, построенных на различных по объему выборках, ему можно придать относительный характер посредством введения величины Ф(а), рассчитываемой по формуле:
Ф(а) =
v у п(п-1)
Очевидно, что имеет место включение Ф(а) £[0,1].
Необходимость решения задачи ЧЦЛП (5)-(10) при корректировке МНМ-оценки по КСП-критерию (4) не является существенным препятствием вследствие наличия для современных ЭВМ соответствующих эффективных программных средств. Можно, в частности, воспользоваться размещенной в Internet в свободном доступе и весьма хорошо себя зарекомендовавшей программой LPSolve [33].
Метод максимальной согласованности. Рассмотренный выше способ уточнения оцененного с помощью МНМ вектора параметров а линейной регрессии (2) по критерию КСП посредством решения задачи ЧЦЛП (5)-(10) предполагает его вспомогательный, второстепенный характер. Вместе с тем, изложенные выше соображения относительно крайней важности достижения наибольшей согласованности в поведении расчетных и фактических значений зависимой переменной наводят на мысль придания этому критерию главенствующей роли при построении модели.
Формально ее реализация осуществляется следующим образом. Сначала решается задача ЧЦЛП (5)-(8), (10). Пусть оптимальное значение ее целевой функции достигается на векторах aA, uA, vA, стА. Тогда максимальное значение КСП (4) ФА=Ф(аА). В общем случае оно может достигаться на множестве векторов параметров A:
A = {a£ Rm| Ф(а) = ФА}.
Будем называть его множеством максимальной согласованности. При решении практических задач с ним работать затруднительно, необходимо вводить некое правило выделения из множества А единственного вектора параметров. Поэтому дальнейшая реализация метода максимальной согласованности (ММС) состоит в следующем. Вначале исследователь определяется с выбором так называемого комбинанта (франц. wmbinant - объединение) по отношению к ММС - метода оценивания параметров, основанного на минимизации на множестве А соответствующей функции потерь, например, одного из перечисленных выше методов. Пусть это МНМ c функцией потерь (a):
= Ife=i|^fe|.
После этого решается задача:
min /хСа). (11)
аед ^^
Задача (11) может быть сведена к задаче ЧЦЛП с целевой функцией
2fc=i("fc + vk) ^min, (12)
ограничениями (6)-(8), (10) и
Yrkl\Tls=k+1oks = фл. (13)
Нетрудно видеть, что если при построении с помощью МНМ линейной регрессии (2) для некоторой конкретной выборки (Х0,у0) значение КСП (4) будет равным n(n-1)/2 (имеет место полная согласованность в поведении расчетных и фактических значений зависимой переменной), то полученная при этом оценка параметров а0 совпадет с решением задачи (11).
Если исследователем в качестве указанного комбинанта выбран метод антиробастного оценивания с функцией потерь (а):
1т(а) = тах\ек |,
к=1,п
необходимо решать задачу
min Im(a), (14)
аед
которая тоже сводится к задаче ЧЦЛП с целевой функцией
r^ min, (15)
ограничениями (6)-(8), (10), (13) и
ик +vk ~г ^ 0, к = 1, п. (16)
Задачи (11) и (14) могут быть поставлены и в более «мягких» постановках. Пусть, по аналогии с рассмотренным выше способом применения КСП, исследователь может назначить некоторую величину ДФ, на которую допустимо уменьшение значения Ф без существенного снижения согласованности поведения расчетных и фактических траекторий изменения зависимой переменной модели (1) с тем, чтобы улучшить значения соответствующих функций потерь. Тогда указанные постановки могут быть реализованы посредством замены ограничения (13) в задачах ЧЦЛП (12), (6)-(8), (10), (13) и (15), (6)-(8), (10), (13), (16) на следующее:
ITAl^Oks > ФЛ- ДФ. (17)
Применение ММС особенно важно при разработке регрессионных моделей, предназначенных для решения широкого круга задач прогнозного характера, в которых необходимо не столько точно рассчитывать будущие значения зависимых переменных (хотя, безусловно, и это очень важно), сколько предсказывать знаки их приращений. Одна из подобных задач рассмотрена в монографии [11] для моделирования курса валют и может быть применена при планировании операций на товарных, фондовых и валютных биржах.
Следует отметить одно важное обстоятельство - если в качестве возможных комбинатов по отношению к ММС использовать не МНМ или МАО, а другие методы оценивания параметров линейной регрессии (1) с функциями потерь, отличными от а) или /га(а), это приведет к необходимости решения в общем случае весьма сложных в вычислительном отношении задач нелинейного программирования с булевыми переменными.
Заключение. В настоящей работе предложен новый подход к оцениванию параметров регрессионных моделей, отличающийся от традиционных методов идентификации тем, что базируется не на минимизации ошибок аппроксимации, а на максимизации согласованности в поведении расчетных и фактических значений выходной переменной. Такая согласованность формально выражается числом совпадений знаков приращений этих значений на всевозможных парах номеров наблюдений обрабатываемой выборки. Это в значительной мере повышает «объясняющие» возможности моделей, поскольку позволяет неявным образом полнее отражать в них тенденции, свойственные исследуемым объектам.
Работа выполнена в рамках аппроксимационного (логико-алгебраического) подхода к анализу данных, поэтому в ней не изучаются традиционные для вероятностного подхода свойства ММС-оценок параметров - состоятельность, несмещенность и эффективность. Хотя для последнего подхода, в рамках которого в в уравнении (2) - случайная величина, - проведение такого исследования было бы весьма интересным.
Достоинством предлагаемого подхода является то важное обстоятельство, что его реализация сводится к простым в вычислительном отношении задачам частично целочисленного линейного программирования.
Безусловно, в настоящей работе изложена, по существу, лишь идея метода максимальной согласованности, сам же он требует дальнейшей глубокой проработки.
Список литературы
1. Айвазян С.А., Енюков И.С, Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. М.: Финансы и статистика. 1985. 488 с.
2. Афифи А., Эйзен С. Статистический анализ: подход с использованием ЭВМ. М.: Мир. 1982. 486 с.
3. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика. 1981. 302с.
4. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Финансы и статистика, 1981. Т. 1. 366 с.
5. Себер Дж. Линейный регрессионный анализ. М.: Мир. 1980. 456с.
6. Поллард Дж. Справочник по вычислительным методам статистики. М.: Финансы и статистика. 1982. 344с.
7. Мудров В.И., Кушко В.А. Методы обработки измерений. Квазиправдоподобные оценки. М.: Радио и связь. 1983. 304 с.
8. Хьюбер П. Робастность в статистике. М.: Мир. 1984. 304с.
9. Носков С.И. Технология моделирования объектов с нестабильным функционированием и неопределенностью в данных. Иркутск: Облинформпечать. 1996. 320с.
10. Носков С.И. Метод антиробастного оценивания параметров линейной регрессии: число максимальных по модулю ошибок аппроксимации // Южно-Сибирский научный вестник, 2020. № 1 (29). С. 51-54.
11. Носков С.И., Базилевский М.П. Построение регрессионных моделей с использованием аппарата линейно-булевого программирования. Иркутск: ИрГУПС. 2018. 176 с.
12. Fletcher R. The calculation of linear lest Lp-approximations // Computer Journal, 1971. Vol. 14. № 3.
13. Hogan W.W. Norm minimization and unbiasedeness // Econometrica, 1976. Vol. 44.
№ 3.
14. Фаддеенков А.В. Оценивание параметров регрессионных моделей методом усеченного максимального правдоподобия // Научный вестник НГТУ. 2016,.т. 65. № 4. С. 135145.
15. Быханов К.В., Попов А.А. Использование метода максимального правдоподобия для оценивания параметров нечетких систем // Сборник научных трудов НГТУ. 2008. №1 (51). С. 29-34.
16. Русин А.Ю., Абдулхамед М.А. Исследования точности оценок параметров двух законов распределения: экспоненциального, Вейбулла, полученных методом максимального правдоподобия по сформированным выборкам случайных величин // Вестник ВГУ. 2016. №4. С. 56-60.
17. Пирогов Г.Г., Федоровский Ю.П. Проблемы структурного оценивания в эконометрии. М.: Статистика. 1979. 327 с.
18. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. Киев: Нау-кова Думка. 1985. 216 с.
19. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь. 1987. 120 с.
20. Пуарье Д. Эконометрия структурных изменений (с применением сплайн-функций). М.: Финансы и статистика. 1981. 215 с.
21. Каменев Г.К. Многокритериальный метод множеств идентификации // Ж. вычисл. матем. и матем. физ., 2016. т.56. №11. С.1872-1888.
22. Каменев Г.К. Многокритериальный метод идентификации и прогнозирования // Математическое моделирование. 2017. №8. С.29-43.
23. Носков С.И., Баенхаева А.В. Множественное оценивание параметров линейного регрессионного уравнения // Современные технологии. Системный анализ. Моделирование, 2016. № 3. С.133-138.
24. Носков С.И. О методе смешанного оценивания параметров линейной регрес-сии//Информационные технологии и математическое моделирование в управлении сложными системами, 2019. №1. С. 14-20.
25. Akaike H. A new look at the statistical model identification / H. Akaike. -IEEE Transactions on Automatic Control. 1974, Vol. 19. P. 716-723.
26. Schwarz G.E. Estimating the dimension of a model / G.E. Schwarz. - Annals of Statistics, 1978. Vol. 6. P. 461-464.
27. Носков С.И. Коррекция параметров регрессионных уравнений по критерию согласованности поведения // Материалы Всесоюзной конф. «Информатизация и моделирование территориальных социально-экономических объектов». Тезисы докл. ч. 2, Новосибирск. 1990. С. 12-14;
28. Носков С.И. Построение эконометрических зависимостей с учетом критерия «согласованность поведения» // Кибернетика и системный анализ, 1994. № 1. С. 177-180.
29. Носков С.И. Критерий "согласованность поведения" в регрессионном анализе/современные технологии. Системный анализ. Моделирование. 2013. № 1 (37). С. 107-110.
30. Носков С.И., Базилевский М.П., Носков С.И. Программный комплекс построения линейной регрессионной модели с учетом критерия согласованности поведения фактической и расчетной траекторий изменения значений объясняемой переменной // Вестник ИрГТУ. 2017. т. 21. № 9. С. 37-44.
31. Носков С.И. Обобщенный критерий согласованности поведения в регрессионном анализе//Информационные технологии и математическое моделирование в управлении сложными системами, 2018. № 1 (1). С. 14-20.
32. Носков С.И., Базилевский М.П. Множественное оценивание параметров и критерий согласованности поведения в регрессионном анализе//Вестник Иркутского государственного технического университета. 2018. т. 22. № 4 (135). С. 101-110.
33. Описание программного обеспечения LPSolve IDE 5.5 [Электронный ресурс] URL: https://lpsolve-ide.software.informer.eom/5.5 (дата обращения: 10.05.2021).
Носков Сергей Иванович, д-р. техн. наук, профессор, sergey. noskov. 5 7@,mail ru, Россия, Иркутск, Иркутский государственный университет путей сообщения
MAXIMUM CONSISTENCY METHOD IN REGRESSION ANALYSIS
S.I. Noskov
The article discusses a new method for estimating unknown parameters of a linear regression equation, which differs from traditional methods in that it is based not on minimizing approximation errors in a given metric, but on maximizing consistency in the behavior of the calculated and actual values of the output variable. Formally, this consistency is expressed in maximizing the number of coincidences of the signs of the increments of these values on all pairs of observation numbers in the sample. The proposed method is based on the author's works, in which a criterion for assessing the adequacy of regression models is proposed - the criterion of consistency of behavior (CCB), - its various modifications and methods of application are given. A numerical example is considered.
Key words: linear regression, approximation errors, least squares and modulus methods, maximum consistency method, adequacy criteria.
Noskov Sergey Ivanovich, doctor of technical sciences, professor, [email protected], Russia, Irkutsk, Irkutsk State Railway University
