CC BY
565
УДК 551.24.02
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ (СТАТИКА, ДИНАМИКА, МОДЕЛИ С УТОЧНЯЕМОЙ СТРУКТУРОЙ)
Борис Тимофеевич Мазуров
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, доктор технических наук, профессор, кафедра физической геодезии и дистанционного зондирования, тел. (383)343-29-11, e-mail: btmazurov@mail.ru
Владимир Абрамович Падве
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент, кафедра прикладной информатики и информационных систем, тел. (383)343-18-53, e-mail: evdapav@mail.ru
В статье обсуждаются вопросы истории возникновения технологии метода наименьших квадратов (МНК) как варианта решения проблемы компенсации случайных погрешностей наблюдений в астрономии и геодезии. Рассматривается эволюция МНК-функционала от
суммы квадратов МНК-поправок [w] = mm до квадратичной формы ^ = V\nKnnVrn1 =min,
учитывающей предполагаемую коррелированность и неравноточность данных. Освещается успешное использование МНК при анализе и интерпретации данных в стационарных и динамических системах с известной структурой. В порядке дискуссии затрагивается вопрос об ограниченности использования технологии, опирающейся на МНК, в ситуациях с неизвестной структурой объекта изучения.
Ключевые слова: метод наименьших квадратов, МНК-функционал, МНК-поправки, случайные погрешности наблюдений, структура объекта.
Введение
Метод наименьших квадратов (МНК) был изобретен в первом десятилетии XIX в. практически одновременно тремя учеными, два из которых - это широко известные математики А. М. Лежандр (1752-1833) [1] и К. Ф. Гаусс (1777-1855) [2]. В том же десятилетии на другом берегу Атлантики третий автор изобретения Р. А. Эдрейн (1775-1843) (рисунок) опубликовал свой вывод нормального закона распределения вероятностей ошибок измерений и применил его «к установлению принципа наименьших квадратов» [3].
Авторы не берут на себя ответственность в определении приоритета по данному вопросу. На русском языке имеется ряд публикаций, в которых приводятся сведения как о хронологии первых научных сообщений о методе, так и о содержании этих публикаций [4-12].
Очевидно, как это было не раз, проблема поиска оптимального решения задачи математической обработки результатов измерений, необходимо искажаемым разного рода неопределенностями, была реализована практически одновременно. Ее предыстория насчитывала века, она созрела и была решена.
Математики, создатели метода наименьших квадратов (слева направо) А. М. Лежандр, К. Ф. Гаусс и Р. А. Эдрейн
Статика
В 1806 г. А. М. Лежандр опубликовал [1] алгоритм метода наименьших квадратов и небольшой пример его реализации, не дав де-юре обоснования возникновению идеи метода, а де-факто он привел алгебраическое решение задачи и пояснение «о применении способа к меридианному измерению во Франции», наложив на искомые поправки ограничение в форме
Z =min. (1)
i
Лежандр представил «метод наименьших квадратов» как вычислительный прием и предложил использовать его всем исследователям. По этому поводу можно процитировать слова Горация: «Я сделал все, что мог, Если ты знаешь что-либо лучшее - бесхитростно поделись, если нет - пользуйся этим». Это был вариант обработки равноточных, некоррелированных результатов измерений по способу условий, так сейчас называется этот способ компенсации ошибок наблюдений.
Небольшое замечание. В русскоязычной и зарубежной научной литературе для отражения факта связи случайных событий и величин, особенно результатов измерений, используется термин «зависимость». Это не вполне корректно. Совершенно очевидно, что данные измерений, будучи результатами некоторого повторяющегося статистического эксперимента, необходимо «зависят» от истинного значения измеряемой величины. Это детерминированная, функциональная связь явлений. А вот неопределенности, то есть погрешности, таких результатов могут быть связаны между собой стохастически. Данная связь называется кор-релированностью. Она может быть парной, тройственной и ... в совокупности. Чаще всего используется парная корреляционная связь в форме парных корреляционных моментов (ко-вариаций) или парных коэффициентов корреляции, которые формируют ковариационную или корреляционную матрицы, соответственно. Такой подход к этому вопросу уже встречается в научной литературе, например, в работах [12-14].
К. Ф. Гаусс в 1809 г. публикует свою работу «Теория движения небесных тел ... » [15], в которой он вначале дает вероятностное обоснование МНК, а далее, в разделе 186 этой работы, указывает, что «принцип ... может рассматриваться следующим образом, даже независимо от теории вероятностей». Несколько ниже, в том же разделе, Гаусс отмечает, что «наш принцип, которым мы пользуемся с 1795 г., еще недавно был изложен известным Лежандром в его труде, где приведено много других свойств этого принципа».
Учет неравноточности данных с помощью «весов», введение которых впервые было предложено Р. Котсом (1682-1716) [16] до разработки МНК, проводился «графически» [5]. «Вес» Котса отличался, по сути, от «меры точности» h, использовавшейся Гауссом. В последствие, мера неравноточности наблюдений p, как величина обратно пропорциональна квадратам этих ошибок, сохранила за собой название «вес». Это привело к усложнению ограничения (1) до вида
£ Pi~ = [p~~] = min. (2)
i
Первопроходцы, создатели МНК [1, 2], полагали, что имеют дело только со случайными погрешностями. Они считали, что систематические ошибки должны изучаться предварительно и исключаться из обрабатываемых материалов. Это первое важнейшее условие применимости МНК для оптимизации данных. Первые применения МНК, упоминаемые в предыдущих абзацах, были реализованы для уточнения параметров орбит малых планет. В такой ситуации функциональная составляющая математической модели (эллиптическая форма орбиты) была известна с точностью до определяемых параметров этой орбиты. Это один из законов Кеплера. Само уравнение эллипса («коническое сечение» [15]) сомнению не подвергалось. Это было второе условие применимости МНК. Таким образом, важно подчеркнуть, что изначально МНК не использовался для подбора функциональной основы математической модели параллельно с оцениванием ее параметров.
П. С. Лаплас (1749-1827), французский гигант науки, известный своей приверженностью к детерминизму, наряду с огромным вкладом в космологию, астрономию, физику и математику, уделял большое внимание математической обработке наблюдений и особенно закону распределения ошибок измерений. Имея свой взгляд на эту проблему, он впоследствии оценил достоинство МНК и занимался вопросом вероятностного обоснования метода на основе нормального закона, который справедливо называют законом Лапласа - Гаусса.
Углубляя свои исследования по МНК и закону распределения ошибок наблюдений, Лаплас позднее пришел к выводу, что при неограниченном увеличении числа наблюдений МНК дает наилучшие результаты при законе распределения, отличном от нормального. В 1821 г. Гаусс опубликовал «Сообщения (Anzeigen)» [2], в которых он «исходил из такой же точки зрения, как и Лаплас,
но ... не приблизительно, но со всей математической строгостью, причем функция вероятности может быть какой угодно, и число наблюдений может быть большим или малым» [2, с. 144]. Этим самым Гаусс вновь подтвердил свою мысль о самодостаточности МНК «независимо от теории вероятностей» [15]. Таково третье условие, с одной стороны, не отменяющее два первых, а с другой - расширяющее область применения МНК для оптимальной по точности компенсации случайных погрешностей наблюдений.
Разработанный в начале ХХ в. Р. Фишером [17] «метод максимального правдоподобия» (ММП), который «восходит еще к Даниилу Бернулли и К. Ф. Гауссу» [9], предполагает максимум плотности вероятности вектора выборки:
Ь = /(хь х2, ... хп) = тах. (3)
Метод дал новый импульс теории оценивания в математической статистике. Принцип максимума плотности вероятности для многомерного нормального распределения привел к тому, что МНК стал рассматриваться [18] как частный случай ММП. Функционал наименьших квадратов приобрел новую форму:
^ = = тш, (4)
где Кпп — это ковариационная матрица результатов наблюдений. Знак « ~ » (тильда), стоящий над именем оценки поправки, удовлетворяющей ограничениям (1)—(3), подчеркивает тот факт, что из этих (да и вообще любых!) вычислений мы не можем получить истинных значений погрешностей наблюдений. Абсолютная истина не познаваема.
Ограничение (4) — это квадратичная форма, матрицей которой является обратная ковариационная матрица К,,. Исходная ковариационная матрица Кпп представляет собой (с позиций системного подхода [19]) второй информационный уровень, уровень числовых характеристик о случайном векторе Уп1 истинных поправок к измерениям. Первый информационный уровень — это закон распределения вероятностей истинных поправок к наблюдениям. Переход с первого уровня на второй выполняется однозначно для любого закона: Ку = Е((Хг--Е(Хг-) • (Xj-E( Ху)). Однако восстановить закон распределения
вероятностей, то есть вернуться на первый уровень, в общем случае не возможно. Таким образом, хотя форма МНК-функционала (4) связана с многомерным нормальным законом распределения, содержательно он включает в себя числовые характеристики второго уровня: дисперсии и ковариации. Следовательно, такой функционал является условием второго информационного уровня и не предполагает знание закона распределения погрешностей наблюдений. Этот факт понимали и Лаплас, и Гаусс [15], естественно, не пользуясь принципами «системного подхода», который в то время еще не был сформулирован, а Ле-
жандр вообще не касался вероятностной стороны вопроса, предлагая МНК как простой и удобный способ обработки результатов измерений.
Вопрос о геометрической интерпретации воздействия МНК-функционала на вектор истинных случайных погрешностей ¥„\ рассматривался в научной литературе в аспекте его проецирования на плоскость МНК-решений [9, 20].
С другой стороны, функционал (4) представляет собой гиперповерхность второго порядка (гиперэллипсоид) в п-мерном пространстве. Когда соответствующие элементы вектора (вектора МНК-поправок в результаты наблюдений) и элементы ковариационной матрицы Кпп выражены в единицах одной и той же размерности, одинаковой дольности или кратности, квадратичная форма ¥ будет представлять собой безразмерное число [21].
Очевидно, что минимизация ограничения (4) без учета функциональной
зависимости элементов вектора , дает тривиальное решение Уп1 = 0п1, которое не согласуется с уравнениями связи, моделирующими их зависимости.
Элементы вектора объединяются в систему с помощью уравнений связи (УС), моделирующих такую систему и представленных ниже в линейной форме:
а) условные УС - Вгп¥п1 + Жг1 = 0г1 (5)
или
б) параметрические УС - А^Х^ - Ьп1 = ¥п1. (6)
Минимизируя «площадь» функционала мы воздействуем тем самым на компоненты вектора Уп1, преобразуя их в компоненты вектора ^1, которые продолжают удовлетворять уравнениям связи (5) или (6). Это означает, что МНК-оптимизация случайных погрешностей измерений, независимо от закона распределения их вероятностей, дает совокупность векторов, реализующих алгоритм МНК-оптимизации измерений, в общем случае коррелированных и неравноточных, которые всегда обладают следующими числовыми характеристиками (на примере коррелатного способа, таблица) [22].
Вектор Математические ожидания Ковариационные матрицы Комментарии
измерения у Е(у) = & * ^ Ку = К * Отсутствие в коррелированных, неравноточных измерениях систематических погрешностей
истинные поправки V Е(¥) = 0* ^ ^ = К * Остаются непознанными N << У/| V/
Окончание табл.
Вектор Математические ожидания Ковариационные матрицы Комментарии
невязки W E(W) = 0* ^ K II * тт Допуски для невязок: жг = ^
коррелаты Л Е(Л) = 0* ^ 1 II * тт Допуски для коррелат: лдоп=к-1
МНК-поправки V E( ~) = 0* E(~) ф V** K~ =KBTN-1BK * Допуски для МНК-поправок: Vдоп ** оценки V смещены!
уравненные измерения Y ( Y ) = Y * Ky = K — K~ * Несмещённость уравненных значений Y
Статистические свойства векторов-оценивателей коррелатной версии МНК-оптимизации измерений
Двухвековая история применения МНК в астрономии и геодезии, использовавших этот метод для аппроксимации (точностной оптимизации) данных наблюдений в моделях с известной функциональной структурой, демонстрирует его вычислительную простоту и универсальность. Метод успешно применяется как для обработки и анализа фиксированных в пространстве данных, так и для свободных геодезических построений. Технологии спутникового позиционирования (GPS, ГЛОНАС и другие) вполне успешно опираются на алгоритм МНК-оптимизации данных.
Динамика
Объем информации, содержащейся в системах уравнений связи (5) или (6), всегда был и остается значительным. Задача последовательного или раздельного решения таких больших систем возникла с самого начала обработки результатов геодезических измерений, разделенных пространством-временем. Гаусс, Бессель, Крюгер и Гельмерт успешно вводили групповые методы обработки объемной информации.
Вычислительные технологии до конца первой половины ХХ в. эволюционировали медленно. В середине 20-х гг. этого века появилась работа C. R. Rao [23], положившая начало рекуррентному решению систем линейных алгебраических уравнений (СЛАУ) по методу наименьших квадратов. При этом важно отметить, что изучаемый объект предполагался статичным во времени.
После окончания Второй мировой войны стала бурно развиваться электроника и, как естественное следствие, электронно-вычислительная техника. Появилась возможность выполнять математическую обработку результатов радиоэлектронных измерений сразу после их выполнения и принимать соответст-
вующие решения. В таких условиях стало доступным отслеживать эволюции динамичных объектов [24], вектор состояний которых Хп1 менялся во времени
Х+1 =ф,+1,, • X, + Wt, (7)
где Ф,+1, - матрица, описывающая динамику вектора Хп1 во времени, а Ж, -
вектор погрешностей этой динамической модели. Дополнительно состояние вектора Хп1 отслеживается внешними наблюдениями
У = А, • X, + V,, (8)
где Уг - вектор результатов измерений, выполненных на момент А, - матрица плана этих измерений; V, - вектор погрешностей измерений. Системы (7) и (8) решаются под расширенным условием МНК:
(Vт Vт )•
'КЖ 0 >
0 К-1 J
'жЛ
= шт. (9)
Детально рекуррентный алгоритм фильтра Калмана описан неоднократно в различной литературе, например [25]. Методы рекуррентного оценивания, в частности фильтр Калмана, все чаще используются в различных геодезических приложениях. Например, при мониторинге объектов инженерной геодинамики [26], вулканизма [27] и прогноза землетрясений [28].
В эти же годы стало наблюдаться качественно другое воздействие на математическую модель изучаемого явления - проникновение в ее стохастическое расширение, ковариационную матрицу. Возникшая технология обработки и анализа данных получила название «средняя квадратическая коллокация» (СКК). Она подробно изложена в работе Г. Морица «Современная физическая геодезия» [29]. Автор представляет «среднюю квадратическую коллокацию» как метод определения значений гравитационного поля Земли путем комбинации геодезических измерений различных видов. При этом МНК-ограничение накладывается одновременно как на погрешности наблюдений, так и на «сигнал», информация о котором задается с помощью ковариационной функции.
В случае алгоритма СКК с параметрами, Мориц [29], опираясь на предлагаемый им вариант модели
У = АХ + ^ + п,
(10)
обосновывает следующее МНК-решение задачи: - параметры
Х = (АтК-1 А)-1 • АтК-1Ь, (11)
- сигналы
5 = К^К -1 • (Ь-ЛХ), (12)
где К - общая ковариационная матрица, учитывающая ковариации погрешностей измерений и сигналов.
Модели с уточняемой структурой
В Х1Х-ХХ вв. МНК внедрился в математическую статистику, или, лучше сказать, математическая статистика взяла на вооружение МНК. Он стал одним из важнейших методов построения «оценок» параметров генеральной совокупности наблюдений по материалам выборки из такой совокупности.
Оценки, а правильнее - «оценивающие функции» (ОФ) [14] генеральной совокупности, как это определяется в математической статистике, должны быть состоятельными и несмещенными, Для одного и того же параметра можно построить разные несмещенные ОФ. Предпочтение отдается той ОФ, дисперсия которой минимальна. При этом ОФ должна быть эффективной, то есть использовать всю информацию (согласно условию Рао - Фишера), имеющуюся в выборке, а это происходит лишь для тех МНК-оценок, которые получены по выборке из нормальной генеральной совокупности. Данный вопрос достаточно освещен в отечественной научной литературе, например в [9, 11, 12].
Эконометрика широко применяет в своих исследованиях средства и методы математической статистики. Упомянутые методы используются для построения математических моделей изучаемых экономических процессов. Важнейшим аппаратом таких исследований является регрессионный анализ, поддержанный дисперсионным анализом исходных данных, промежуточных преобразований и окончательных результатов. Простейшим видом математических моделей в эконометрике служит парная линейная регрессионная модель, с рассмотрения которой обычно начинается конкретное изложение материала в литературе по этой тематике. Примером могут служить такие хорошо известные книги, как «Статистические выводы и связи» [30], «Прикладной регрессионный анализ» [31], «Введение в эконометрику» [32], «Эконометрика» [33] и многие другие источники.
Хорошо известно МНК-решение такой проблемы для случая парной линейной регрессии. Предполагаемая зависимость отражается системой уравнений, линейных относительно неизвестных параметров р0 и р1:
Уп1 = хп2 -Р21 +8и1. (13)
Однозначное решение системы (13) относительно вектора в21 достигается по методу наименьших квадратов:
Г Ьо Л
К Ь1 У
1
2 2 п[х ] - [х]
Г[х2] -[х]|Г [у]Л
-[х] п ) К[хУ1
Получаемое уравнение регрессии
у = ¿0 + ¿1 • X (15)
обычно [30-34] дополняется оценкой коэффициента корреляции р^ и анализом его на незначимость. Используя массивы данных х1, ... хп и у1, ... уп, оценивают их выборочную «ковариацию» и выборочные «дисперсии»:
кху = [ху] / п - X • у; (16)
Л = [х2] / п - X2; /у = [у2] / п - у2. (17)
По этим числам находят «оценку коэффициента корреляции»:
Гху = кху / С • Sy). (18)
Формулы (16)-(18) имеют в качестве аргументов коэффициенты и свободные члены тех же нормальных уравнений, по которым найдены оценки параметров Ь0 и Ь1. Комбинируя эти формулы и формулу коэффициента регрессии
Ь = [ ху ] - п • х •у , (19)
[х2] - п • X2
устанавливают зависимость между «коэффициентом корреляции» гху и угловым коэффициентом уравнения регрессии Ь1, оценивающим величину 01:
с
Гху = (20)
Следующим шагом исследования предполагается анализ коэффициента «корреляции» (18) на незначимость, а также вычисление и анализ коэффициента «детерминации» [31, 34]:
к 2 = М-2Й, (21)
[(у - у )2]
численно равного квадрату коэффициента «корреляции» (18) или (20).
Позволим себе усомниться в целесообразности таких действий по следующим соображениям. Величины с2х и с2у, определяемые по формулам (17), оценивают не дисперсии наблюдений, а разбросы массивов данных, представляющих собой не элементы спектров случайных величин Х и У, а эмпирические значения х и у функционально зависимых величин X7 и искаженных случайными данными, 5х и 5у. Эти же величины с2х и с2у используются при построении
регрессионной модели (15), откуда элементы вектора уУп1 попадают в формулу коэффициента детерминации (21).
Резюмируя все вышеизложенное, считаем целесообразным при построении линейной регрессионной модели ограничиваться только оценками ее параметров Ь0 и Ь1, самим уравнением регрессии у = Ьо + Ь • х и дисперсионным анализом модели на адекватность и значимость коэффициентов. Вычисление «коэф-
2
фициента корреляции» гху и «коэффициента детерминации» Я и, тем более их последующий анализ, является, на наш взгляд, некорректной процедурой, так как аргументами данных формул являются не случайные величины, а функционально зависимые данные, лишь несколько искаженные погрешностями 5х и 5у сбора информации.
Функциональная зависимость массивов х1, ... хп и у1, ... уп неумолимо устремляет «коэффициенты» |гху| и Я к их предельным значениям «единица». Отклонение от единицы тем сильнее, чем больше погрешности 5х и 5у в информации, но истинная корреляция г,ху массивов х1, ... хп и у1, ... уп остается непознанной и, по нашему убеждению, не познаваемой в подобных обстоятельствах. Какой можно проводить, в таком случае, анализ и давать заключения?
Заключение
Подведем итоги.
Во-первых, метод наименьших квадратов предназначен его изобретателями для компенсации влияния только случайных погрешностей наблюдений.
Во-вторых, структура наблюдаемого явления, процесса должна быть известна априори как для функциональной составляющей математической модели, так и для ее стохастического расширения в форме ковариационной матрицы измерений.
В-третьих, функционал МНК является ограничением на уровне числовых характеристик, и не связан ни с каким конкретным законом распределения вероятностей случайных ошибок наблюдений.
В-четвертых, МНК доставляет исследователю состоятельные, несмещенные оценки с минимальными дисперсиями, когда функциональная модель - линейная. Это хорошо известная теорема Гаусса - Маркова. Если при этом погрешности наблюдений подчиняются нормальному закону (а это всегда вопрос, ответ на который характеризуется некоторой вероятностью), оценки будут дополнительно эффективными, то есть из выборки будет получена максимально возможная информация.
В-пятых, использование МНК в ситуациях, когда на него возлагаются дополнительные задачи нахождения функциональной составляющей математической модели, требует от исследователя осторожности в выводах и рекомендациях.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Legendre A. M. Nouvelles méthodes pour la détermination des orbites des comètes. Sur la methode des moindres carrés. - Paris : Appendice, 180б. - P. 72-80.
2. Гаусс К. Ф. Избранные геодезические сочинения. Т. 1 I Под редакцией, с введением и комментариями Г. В. Багратуни. - M. : Геодезиздат, 1957. - 152 с.
3. Adrian R. Research concerning the probabilities of the errors which happen in making observations II The analyst or mathematical museum. - Philadelphia, 1908. - Vol. 1, No 4. -P. 93-109.
4. Mарков А. А. Исчисление вероятностей. - M. : Государственное издательство физ.-мат. лит-ры, 1924. - 589 с.
5. Идельсон H. И. Способ наименьших квадратов и теория математической обработки наблюдений. - M. : Геодезиздат, 194V. - 358 с.
6. Иордан В. Руководство по геодезии. Том 1. Уравнительные вычисления по способу наименьших квадратов. - M. : РЕДБЮРО ГУГК при СЖ СССР, 1939. - б39 с.
V. Шилов П. И. Способ наименьших квадратов. - M. : ГУГК при СЖ СССР, 1941. -
40б с.
8. Колмогоров А. H. К обоснованию метода наименьших квадратов II Успехи математических наук. - 194б. - Т. 1, Вып. 1. - С. 57-70.
9. Линник Ю. В. Mетод наименьших квадратов и основы математико-статистической теории обработки наблюдений. - M. : Физматгиз, 19б2. - 352 с.
10. Чеботарёв А. С. Способ наименьших квадратов с основами теории вероятностей. -M. : Геодезиздат, 1958. - 475 с.
11. Коугия В. А. Избранные труды. Исследования по теории математической обработки результатов измерений : монография. - СПб. : ПГУПС, 2012. - 447 с.
12. Губанов В. С. Обобщенный метод наименьших квадратов. Теория и применение в астрометрии. - СПб. : Шука, 1997. - 318 с.
13. Пятницын Б. H. Философские проблемы вероятностных и статистических методов. - M. : Шука, 197б. - 33б с.
14. Падве В. А. Элементы теории вероятностей и математической статистики. - ^во-сибирск : СГГА, 2013. - 209 с.
15. Gauss C. F. Theoria motus corporum coelestium in sectionibus conicis Solem ambientium. - Hamburg, 1809.
16. Cotes Rodger. Aestimatio errorum in mixta mathesi. - Cambr., 1722.
17. Фишер Р. А. Статистические методы для исследователей. - M. : Госстатиздат, 1958. - 2б7 с.
18. Эльясберг П. Е. Определение движения по результатам измерений. - M. : Главная редакция физико-математической литературы издательства «Яаука», 197б. - 41б с.
19. Сачков Ю. В. Введение в вероятностный мир. - M., 1971 - 207 с.
20. Боррель Эм., Дельтейль Р., Юрон Р. Вероятности, ошибки. - M. : Статистика, 1972. - 17б с.
21. Падве В. А. Показатель точности геопространственных данных II Геодезия и картография. - 2005. - № 1. - С. 18-19.
22. Падве В. А. Mатематическая обработка и анализ результатов геодезических измерений. Ч. 1. Основы теории погрешностей измерений и фундаментальные алгоритмы точностной MHК-оптимизации результатов измерений. - ^восибирск : СГУГиТ. 2015. - 1б2 с.
23. Rao C. R. Linear Statistical Inference and its Applications. - New York : Wiley, 1973.
24. Kalman R., Busy R. New results in linear filtering and prediction theory II J. Basic. Ehgr. (ASME Trans.) - 19б1. - Vol. 83. - P. 95-108.
25. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. I Под ред. Я. З. Цыпкина. - M. : Шука, Гл. ред. физ.-мат. лит., 1991. - 432 с.
26. Крамаренко А. А., Мазуров Б. Т., Панкрушин В. К. Вычислительный эксперимент идентификации движений и напряженно-деформированного состояния сооружений и объектов инженерной геодинамики по геодезическим наблюдениям // Изв. вузов. Геодезия и аэрофотосъемка. - 2005. - № 6. - С. 3-14.
27. Мазуров Б. Т. Совместная математическая обработка и интерпретация нивелирных и гравиметрических наблюдений за вертикальными движениями земной поверхности и изменениями гравитационного поля в районе действующего вулкана // Изв. вузов. Геодезия и аэрофотосъемка. - 2007. - № 4. - С. 11-21.
28. Мазуров Б. Т., Панкрушин В. К., Середович В. А. Математическое моделирование и идентификация напряженно-деформированного состояния геодинамических систем в аспекте прогноза природных и техногенных катастроф // Вестник СГГА. - 2004. - Вып. 9. -С.30-35.
29. Мориц Г. Современная физическая геодезия / Пер. с англ. - М. : Недра, 1983. -
392 с.
30. Кендалл М., Стьюарт А. Статистические выводы и связи. Т. 2. - М. : Наука, 1973. -
500 с.
31. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Кн. 1. - М. : Финансы и статистика, 1986. - 366 с.
32. Доугерти Кристофер. Введение в эконометрику : университетский учебник. - М. : Инфра-М, 1999. - 402 с.
33. Эконометрика : учебник / под ред. чл.-корр. РАН И. И. Елисеевой. - 2-е изд. - М. : Финансы и статистика, 2008.- 576 с.
34. Вальтух К. К. Теория стоимости: статистическая верификация, информационное обобщение, актуальные выводы // Вестник РАН. - 2005. - Т. 75, № 9. - С. 793-817.
Получено 05.04.2017
© Б. Т. Мазуров, В. А. Падве, 2017
THE METHOD OF LEAST SQUARES (STATICS, DYNAMICS, AND MODELS WITH UPDATED STRUCTURE)
Boris T. Mazurov
Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Dr. Sc., Professor, Department of Physical Geodesy and Remote Sensing, phone: (383)343-29-11, e-mail: btmazurov@mail.ru
Vladimir A. Padve
Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Asociate Professor, Department of Applied Information Science and Systems, phone: (383)343-18-53, e-mail: evdapav@mail.ru
The authors discuss the origin and the technology of the least squares method (LSM) as a solution to the problem of compensating random errors of observations in astronomy and geodesy. The evolution of the LSM functionality from the sum of the squares of the imposed LSM corrections [w ] = mm to the quadratic form ^ = V1nKnnVn1 = min is described, considering the anticipated correlation of data and different degrees of their pre cision. The use of LS-adjustment is highlighted by analyzing and interpreting data in dynamic systems with known structure. The authors address the issue of the limitations of using the LSM-based technologies, in situations with unknown structure of the object under study.
Key words: least squares method, LS-corrections, functionality, random errors of observations, structure.
REFERENCES
1. Legendre, A. M. (1806). Nouvelles méthodes pour la détermination des orbites des comètes. Sur la methode des moindres carrés (pp. 72-80). Paris: Appendice.
2. Gauss, K. F. (1958). Izbrannye geodezicheskie sochineniya: T. 1 [Selected geodetic works: Vol. 1]. G. V. Bagratuni (Ed.). Moscow: Geodesisdat [in Russian].
3. Adrian, R. (1908). Research concerning the probabilities of the errors which happen in making observations. The analyst or mathematical museum, 1(4), 93-109.
4. Markov, A. A. (1924). Ischislenie veroyatnostey [Calculus of probability]. Moscow: The State Publ. of Physical and Mathematical Literature [in Russian].
5. Idelson, N. I. (1947). Sposob naimen'shikh kvadratov i teoriya matematicheskoy obrabotki nablyudeniy [Method of least squares and the theory of mathematical treatment of observations] . Moscow: Geodesist [in Russian].
6. Jordan V. (1939). Rukovodstvo po geodezii [The Manual of surveying]: Vol. 1, Compensating computations by the method of least squares]. Moscow: REDBURO, GUGK SNK [in Russian].
7. Shilov P. I. (1941). Sposob naimen'shikh kvadratov [Method of least squares]. Moscow: GUGK SNK [in Russian].
8. Kolmogorov, A. N. (1946). On justification of the method of least squares. Uspekhi matematicheskikh nauk [Russian Mathematical Surveys], 1(1), 57-70 [in Russian].
9. Linnik, Yu. V. (1962). Metod naimen'shikh kvadratov i osnovy matematiko-statisticheskoy teorii obrabotki nablyudeniy [The least-squares method and foundations of mathematical-statistical theory of processing observations]. Moscow: The State Publ. of Physical and Mathematical Literature [in Russian].
10. Chebotarev, A. S. (1958). Sposob naimen'shikh kvadratov s osnovami teorii veroyatnostey [Method of least squares with the basics of probability theory]. Moscow: Geodesist [in Russian].
11. Kougija, V. A. (2012). Izbrannye trudy. Issledovaniya po teorii matematicheskoy obrabotki rezul'tatov izmereniy [Selected works. Research on the theory of mathematical processing of measurement results]. Saint-Petersburg: PGUPS [in Russian].
12. Gubanov, V. S. (1997). Obobshchennyy metod naimen'shikh kvadratov. Teoriya i primenenie v astrometrii [Generalized method of least squares. Theory and applications in astrom-etry]. Saint-Petersburg: Nauka [in Russian].
13. Pyatnicyn, B. N. (1976). Filosofskie problemy veroyatnostnykh i statisticheskikh metodov [The philosophical issues of the probabilistic and statistical methods]. Moscow: Nauka [in Russian].
14. Padve, B. A. (2013). Elementy teorii veroyatnostey i matematicheskoy statistiki [Elements of probability theory and mathematical statistics]. Novosibirsk. SSGA [in Russian].
15. Gauss, C. F. (1809). Theoria motus corporum coelestium. Hamburg.
16. Cotes, Rodger. (1722). Aestimatio errorum in mixta mathesi. Cambridge.
17. Fisher, R. A. (1958). Statisticheskie metody dlya issledovateley [Statistical methods for research workers]. Moscow: Gosstatizdat [in Russian].
18. Elyasberg, P. E. (1976). Opredelenie dvizheniya po rezul'tatam izmereniy [The definition of motion by the results of measurements]. Moscow: Nauka, Main Editorial Board of Physical and Mathematical Literature [in Russian].
19. Sachkov, Yu. V. (1971). Vvedenie v veroyatnostnyy mir [Introduction to the probabilistic world]. Moscow [in Russian].
20. Borel, Em., Deltheil, R., & Huron, R. (1972). Veroyatnosti, oshibki [Probabilités, erreurs]. Moscow: Statistika Publ. [in Russian].
21. Padve, V. A. (2005). The indicator of precision of geospatial data. Geodeziya i kartografiya [Geodesy and Cartography], 1, 18-19 [in Russian].
22. Padve, V. A. (2015). Matematicheskaya obrabotka i analiz rezul'tatov geodezicheskikh izme-reniy [Mathematical processing and interpretation of the results of geodetic measurements]: Part 1., Fundamentals of the theory of measurement errors and the fundamental algorithms of the precision OLS optimization measurements. Novosibirsk: SSUGT [in Russian].
23. Rao, C. R. (1973). Linear Statistical Inference and its Applications. New York: Wiley.
24. Kalman, R., & Busy, R. (1961). New results in linear filtering and prediction theory. J. Basic. Ehgr. (ASME Trans.), 83, 95-108.
25. Leung, L. (1991). Identifikatsiya sistem. Teoriya dlya pol'zovatelya [Identification of systems. Theory for the user]. Ya. Z. Tsypkina (Trans. & Ed.). Moscow: Nauka, Main Editorial Board of Physical and Mathematical Literature [in Russian].
26. Kramarenko, A. A., Mazurov, B. T., & Pankrushin, V. K. (2005). A computing experiment on identification of motion and of the stressed and deformed state of buildings and structures engineering geodynamics by geodetic observations. Izvestia vuzov. Geodeziya i aerofotos"emka [Izvestia Vuzov. Geodesy andAerophotography], 6, 3-14 [in Russian].
27. Mazurov, B. T. (2007). Joint mathematical processing and interpretation of levelling and gravimetric observations over vertical motions of the Earth surface and changes of the gravitation field in the area of an erupting volcano. Izvestia vuzov. Geodeziya i aerofotos"emka [Izvestia Vuzov. Geodesy and Aerophotography], 4, 11-21 [in Russian].
28. Mazurov, B. T., Pankrushin, V. K., & Seredovich, V. A. (2004). Mathematical modeling and identification of the stressed and deformed state of geodynamic systems in the aspect of forecasting natural and anthropogenic disasters. VestnikSGGA [VestnikSSGA], 9, 30-35 [in Russian].
29. Motitz, H. (1983). Sovremennaya fizicheskaya geodeziya [Advanced physical geodesy]. (Trans.). Moscow.
30. Kendall, M. (1973). Statisticheskie vyvody i svyazi: T. 2. [Statistical inference and relationship: Vol. 2]. Moscow: Nauka [in Russian].
31. Draper, N., & Smit, G. (1986). Prikladnoy regressionnyy analiz: Kn.1 [Applied regression analysis: Vol. 1]. Moscow: Finansy I Statistika Publ. [in Russian].
32. Daugherty, Christopher. (1999). Vvedenie v ekonometriku [Introduction to econometrics]. Moscow: Infra-M [in Russian].
33. Ekonometrika [Econometrics] (2008). Corresponding member of RAS I. I. Eliseeva (Ed.). (2nd ed.). Moscow: Finansy I Statistika Publ. [in Russian].
34. Val'tukh, K. K. (2005). Theory of value: statistical verification, generalization of information, relevant conclusions. Vestnik RAN [Bulletin of the Russian Academy of Sciences], 75(9), 793-817 [in Russian].
Received 05.04.2017
© B. T. Mazurov, V. A. Padve, 2017
