CC BY
283
УДК 551.24.02
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ (ИСТОРИЯ И РАЗВИТИЕ)
Владимир Абрамович Падве
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент кафедры прикладной информатики и информационных систем, тел. (383)343-18-53, e-mail: evdapav@mail.ru
Борис Тимофеевич Мазуров
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, доктор технических наук, профессор кафедры физической геодезии и дистанционного зондирования, тел. (383)343-29-11, e-mail: btmazurov@mail.ru
В статье обсуждаются вопросы истории возникновения технологии метода наименьших квадратов (МНК), как варианта решения проблемы компенсации случайных погрешностей наблюдений в астрономии и геодезии. Освещается успешное использование МНК при анализе и интерпретации данных в динамических системах с известной структурой. В порядке дискуссии затрагивается вопрос об ограниченности использования технологии, опирающейся на МНК, в ситуациях с неизвестной структурой объекта изучения.
Ключевые слова: метод наименьших квадратов (МНК), МНК-оптимизация, МНК-поправки, функционал, случайные погрешности наблюдений, структура объекта.
THE LEAST-SQUARES METHOD (HISTORY, DEVELOPMENT)
Vladimir A. Padve
Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Ph. D., associate professor, Department of Applied Information Science and Systems, tel. (383)343-18-53, e-mail evdapav@mail.ru
Boris T. Mazurov
Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., D. Sc., Professor, Department of Physical Geodesy and Remote Sensing, tel. (383)343-29-11, e-mail: btmazurov@mail.ru
The article discusses the history of technology is the method of least squares (LS), as a solution to the problem of compensation of random errors of observations in astronomy and Geodesy. Its highlights the success of LS-adjustment in the analysis and interpretation of data in dynamic systems with known structure. In the order of discussion addressed the issue of the limited use of technology based on LS, in situations with unknown structure of the object of study.
Key words: least squares (LS), LS-optimizing, LS-corrections, functionality, random errors of observations, the structure of the object.
Метод наименьших квадратов (МНК) был изобретён в первом десятилетии XIX века практически одновременно тремя учёными, два из которых - это математики А.М. Лежандр (1752-1833) [1] и К.Ф. Гаусс (1777-1855) [2]. В том же десятилетии на другом берегу Атлантики третий автор изобретения Р.А. Эд-рейн (1775-1843) напечатал свой вывод нормального закона распределения ве-
роятностей ошибок измерений и применил его «к установлению принципа наименьших квадратов» [3].
В 1806 году А. М. Лежандр опубликовал [1] алгоритм МНК и небольшой пример его реализации, не дав обоснования возникновению идеи метода, а привёл алгебраическое решение задачи и пример «о применении способа к меридианному измерению во Франции», наложив на искомые поправки ограничение в форме
Xv?=min. (1)
i
К.Ф. Гаусс в 1809 году публикует свою работу «Теория движения небесных тел ... » [4], в которой он вначале даёт вероятностное обоснование МНК, а далее указывает, что «принцип ... может рассматриваться следующим образом, даже независимо от теории вероятностей». Несколько ниже, в том же разделе, Гаусс отмечает, что «наш принцип, которым мы пользуемся с 1795 г., ещё недавно был изложен известным Лежандром в его труде [1], где приведено много других свойств этого принципа.
Учёт неравноточности с помощью «весов», введение которых впервые было предложено Р. Котсом (1682-1716) [16] до разработки МНК, проводился «графически» [5]. «Веса» Котса отличались, по сути, от «меры точности» h, использовавшейся Гауссом. В последствие, мера неравноточности наблюдений p, как величина обратно пропорциональна квадратам этих ошибок, сохранила за собой название «вес». Это привело к усложнению ограничения (1) до вида
J^ptf =[рЩ = тт. (2)
7
Важно подчеркнуть, что изначально МНК не использовался для подбора функциональной основы математической модели параллельно с оцениванием её параметров.
П.С. Лаплас (1749-1827) оценил достоинство МНК и занимался вопросом вероятностного обоснования метода на основе нормального закона, который называют законом Лапласа-Гаусса. Лаплас позднее пришёл к выводу, что при неограниченном увеличении числа наблюдений МНК даёт наилучшие результаты при законе распределения, отличном от нормального. В 1821 году Гаусс опубликовал «Сообщения (Anzeigen)» [2], в которых он «исходил из такой же точки зрения, как и Лаплас, но ... не приблизительно, но со всей математической строгостью, причём функция вероятности может быть какой угодно, и число наблюдений может быть большим или малым». Этим самым Гаусс вновь подтвердил свою мысль о самодостаточности МНК «независимо от теории вероятностей».
Двухвековая история применения МНК в астрономии и геодезии, использовавших этот метод для аппроксимации (точностной оптимизации) данных
наблюдений в моделях с известной функциональной структурой, демонстрирует его вычислительную простоту и универсальность. Метод успешно применяется как для обработки и анализа фиксированных в пространстве данных, так и для свободных геодезических построений. Технологии спутникового позиционирования (GPS, ГЛОНАС и другие) так же успешно опираются на алгоритм МНК-оптимизации данных.
Направления систематизации в изложении теории метода наименьших квадратов изложены в работе [6]. Это переход от простого параметрического моделирования (статика) к оцениванию стохастических и динамических моделей. Также сделано авторское понимание того, как соединить с традиционной концепцией МНК современные методы стохастического анализа. А, именно среднеквадратическую коллокацию (СКК) и фильтрацию Калмана, имеющих с МНК общее основание. Обобщение теории МНК непосредственно влияет на повышение точности и достоверности результатов обработки.
Метод СКК в применении к задачам физической геодезии подробно изложен в [7]. Главным отличием коллокации от МНК является учет неустойчивой (стохастической) связи между причиной и следствием через описание ковариационной функцией. В то время как при уравнивании по МНК учитываются только функциональные связи. Главный смысл обобщения МНК в случае СКК заключается в ведении более расширенной математической модели измерения. Если для параметрического способа МНК линейное уравнение наблюдений l
В уравнениях (3) и (4) АХ - простая, регулярно меняющаяся функция параметров X (линейная или линеаризированная). Например, если эта функция полином, то его коэффициенты и составляют вектор параметров X, 5- случайная ошибка в точках наблюдения (дискретная). Сигнал я нерегулярно «осциллирует» относительно нуля. Таким образом, АХ+я состоит из «систематической части» АХ (тренд) и «случайной части» я. Согласно [7] модель (4) комбинирует уравнивание, фильтрацию и прогноз, и может иметь применения в различных областях геодезии.
Для фильтра Калмана [8] объектом исследований являются динамические системы с меняющимся состоянием во времени. Собственно, в этом заключается основное дополнение к идее МНК. Выполняется оценивание состояния системы - совместная математическая обработка двух уравнений:
I = AX + 5,
(3)
то для СКК
l = AX + s + 5.
(4)
x(t +1) = F (t) x(t) + w(t), y(t) = H (t) x(t) + v(t).
В (5) х(:), х(: +1) - вектор состояния на моменты ? и ^ +1) (прогноз), ) - наблюдение (выходной сигнал), Н ) - матрица плана, w(t), ) - независимые случайные величины.
Первое уравнение называют моделью состояния системы. Второе уравнение отражает модель наблюдения системы. Уравнения (5) описывают простейшие линейные динамические системы. И если матрица Г (¿) постоянна, имеем частный случай стационарной динамической системы. Рекуррентный алгоритм фильтра Калмана описан неоднократно в различной литературе, например [9]. Рекуррентность алгоритма позволяет его использовать на практике, когда свойства системы меняются со временем. Методы рекуррентного оценивания, в частности фильтр Калмана все чаще используется в различных геодезических приложениях. Например, при мониторинге объектов инженерной геодинамики [10], вулканизма [11] и прогноза землетрясений [12].
В Х1Х-ХХ веках МНК внедрился в математическую статистику, или, лучше сказать математическая статистика взяла на вооружение МНК. Оценки, а правильнее «оценивающие функции» (ОФ) [13] генеральной совокупности, как это определяется в математической статистике, должны быть состоятельными и несмещёнными, Для одного и того же параметра можно построить несколько несмещённых ОФ. Предпочтение отдаётся той ОФ, дисперсия которой минимальна. При этом ОФ должна быть эффективной, то есть использовать всю информацию (согласно условию Р. Фишера), имеющуюся в выборке, а это происходит лишь для тех МНК-оценок, которые получены по выборке из нормальной генеральной совокупности [6, 14, 15].
Разработанный Р. Фишером [16] «метод максимального правдоподобия» (ММП), который «восходит ещё к Даниилу Бернулли и К.Ф. Гауссу» [17], предполагает максимум плотности вероятности вектора выборки:
Ь = /(хь х2,..., хп,) = тах. (3)
Метод дал новый импульс теории оценивания в математической статистике. Принцип максимума плотности вероятности для многомерного нормального распределения привёл к тому, что МНК стал рассматриваться [24] как частный случай ММП. Функционал наименьших квадратов приобрёл новую форму:
^ = ^1пК_п^п1 = тт , (4)
где Кпп - это ковариационная матрица результатов наблюдений. Знак « ~ » (тильда), стоящий над именем оценки поправки, удовлетворяющей ограничениям (1)-(3), подчёркивает тот факт, что из этих (да и вообще любых!) вычислений мы не можем получить истинных значений погрешностей наблюдений. Ограничение (4) - это квадратичная форма, матрицей которой является обратная ковариационная матрица К_^.
Этот факт понимали и Лаплас и Гаусс [4], естественно не пользуясь принципами «системного подхода», который в то время ещё не был сформулирован, а Лежандр вообще не касался вероятностной стороны вопроса, предлагая MНK как простой и удобный способ обработки результатов измерений.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Legendre A.M. Nouvelles méthodes pour la détermination des orbites des cometes; avec un supplément contenant divers perfectionnemens de ces methodes et lauf application aux deux comètes de 1803. Paris, Courcier, 180б.
2. Гаусс К.Ф. Избранные геодезические сочинения. т.1. Под редакцией, с введением и комментариями Г.В.Багратуни. - M., Геодиздат, 1958. - 152 с.
3. Adrian R. Research concerning the probabilities of the errors which happen in making observations. - The analyst or mathematical museum. - Philadelphia, 1908, V. 1, N 4, p. 93 - 109.
4. Гаусс (Gauss C.F.). Theoria motus corporum coelestium. Hamburg. - 1809.
5. Cotes, Rodger. Aestimatio errorum in mixta mathesi. Cambr. - 1722.
6. Губанов В.С. Обобщённый метод наименьших квадратов. Теория и применение в астрометрии. - Санкт-Петербург. «Наука», 1997. - 318 с.
7. Mориц Г. Современная физическая геодезия. - M., Недра, 1983 г. - 392 с.
8. Kalman R., Bucy R. New results in linear filtering and prediction theory. J/ Basic. Ehgr. (ASME Trans.) - 1961. - V. 83. - P. 95-108.
9. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ./ Под ред. Я.З.Цыпкина. - M. : Наука, 1991. - 432 с.
10. Крамаренко А. А., Mазуров Б. Т., Панкрушин В. К. Вычислительный эксперимент идентификации движений и напряженно-деформированного состояния сооружений и объектов инженерной геодинамики по геодезическим наблюдениям // Изв. вузов. Геодезия и аэрофотосъемка. - 2005. - № б. - С. 3-14.
11. Mазуров Б. Т. Совместная математическая обработка и интерпретация нивелирных и гравиметрических наблюдений за вертикальными движениями земной поверхности и изменениями гравитационного поля в районе действующего вулкана // Изв. вузов. Геодезия и аэрофотосъемка. - 2007. - № 4. - С. 11-21.
12. Mазуров Б. Т., Панкрушин В. К., Середович В. А. Mатематическое моделирование и идентификация напряженно-деформированного состояния геодинамических систем в аспекте прогноза природных и техногенных катастроф // Вестник СГУГиТ. - 2004. - Вып. 9. -С. 30-35.
13. Пятницын Б. Н. Философские проблемы вероятностных и статистических методов. - M., Наука, 197б. - 33б с.
14. Линник Ю. В. Mетод наименьших квадратов и основы математико-статистической теории обработки наблюдений. - M. : Физматгиз, 1958. - 334 с.
15. Коугия В. А. Избранные труды : монография ; под ред. M. Я. Брыня. -СПб. : Петербургский государственный университет путей сообщения, 2012. - 448 с.
16. Фишер Р. А. Статистические методы для исследователей. - M., Госстатиздат, 1958. - 2б7 с.
17. Падве В. А. Элементы теории вероятностей и математической статистики. - Новосибирск : СГГА. - 2013. - 209 с.
18. Эльясберг П. Е. Определение движения по результатам измерений. - M., Наука, 1976. - 41б с.
© В. А. Падве, Б. Т. Мазуров, 2017
