CC BY
18
РОССИЙСКИЙ ЖУРНАЛ НАУК О ЗЕМЛЕ, ТОМ 1, N 4, ИЮНЬ 1999
Аппроксимационный подход к решению задач гравиметрии и магнитометрии.
I. Основная вычислительная проблема — регуляризация систем линейных алгебраических уравнений
В. Н. Страхов, А. В. Страхов
Объединенный институт физики Земли им. О. Ю. Шмидта РАН
Введение
Данная работа, состоящая из четырех частей, посвящена центральной, по глубокому убеждению авторов, для гравиметрии и магнитометрии проблеме
- разработке современной теории интерпретации потенциальных полей, адекватной реальной вычислительной практике, на базе фундаментальных методообразующих идей аналитической аппроксимации, алгебраизации и распознавания образов. Короче говоря, речь идет об изложении тех фундаментальных основ теории интерпретации, которые должны составить третью парадигму в этой теории, о чем неоднократно писал первый из авторов настоящей статьи, [см. Страхов, 1995а, 1995Ь, 1995с, 1996а, 1996Ь, 1996с, 1997а, 1997Ь, 1997с, 1998а, 1998Ь, 1998с, 1998(1, 1998е].
Говоря о единой аппроксимационной основе всех методов, развиваемых в рамках третьей парадигмы, естественно поставить следующие вопросы:
1) каким образом решение задач редуцируется к решению задач аппроксимации?
2) какие типы аппроксимаций имеют для гравиметрии и магнитометрии определяющее значение?
3) какова та вычислительная задача, которая имеет при решении задач построения аппроксимаций центральное значение?
4) каковы методы решения той вычислительной задачи, которая играет центральную роль при построении аппроксимаций?
©1999 Российский журнал наук о Земле.
Статья N КЛЕ99020.
Онлайновая версия этой статьи опубликована 25 июня 1999. 1ЖЬ: Ы^р://eos.wdcb.rssi.ru/rjes/RJE99020/RJE99020.htm
Это может показаться парадоксальным, но вся наука подчинена идее аппроксимации.
Бертран Рассел
Умный начинает с конца, дурак кончает в начале.
Дьердь Пойа
Памятуя изречение знаменитого венгерского математика Д. Пойа, вынесенное в эпиграф, в первых двух частях работы, настоящей и следующей, рассматривается последний из четырех приведенных вопросов, исходя из следующих ответов на второй и третий вопросы:
2) важнейший класс аппроксимаций, используемый при решении задач гравиметрии и магнитометрии - это линейные аппроксимации глобального характера;
3) центральная вычислительная проблема, возникающая при построении линейных аппроксимаций глобального характера - это проблема нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с приближенными данными (или по другому - проблема регуляризации систем линейных алгебраических уравнений с приближенными данными).
При этом очевидными являются следующие факты:
а) смысл термина “глобальная линейная аппроксимация” таков - речь идет о линейной аппроксимации, позволяющей описывать внешнее аномальное поле во всем априорно заданном объеме пространства и находимой по всей экспериментальной информации о поле в заданном объеме пространства;
б) в общем случае системы линейных алгебраических уравнений, устойчивые приближенные решения которых надо отыскивать, имеют приближенно заданные правые части и матрицы;
в) в настоящее время в повестке дня стоит проблема нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с плотно заполненными матрицами, большой и даже сверхбольшой размерности, в которых число подлежащих определению неизвестных имеет порядок 104 (большая размерность) и 105 (сверхбольшая размер-
ность); это с очевидностью обусловлено тем, что в настоящее время все задачи требуется решать в трехмерной (пространственной) постановке;
г) особо актуальной является проблема редуцирования задач гравиметрии и магнитометрии к решению систем линейных алгебраических уравнений с очень сильно разреженными матрицами, число неизвестных в которых можно брать весьма большим (порядка 106-107); эта проблема естественно приводит к использованию методов решения задач гравиметрии и магнитометрии, основанных на теориях дискретных физических полей (гравитационного, магнитного);
д) при постановке задач нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с приближенными данными с очевидностью должна использоваться априорная информация об искомом решении и помехах (в задании правой части и матрицы); априорная информация должна быть адекватна реальной геофизической практике.
Как уже сказано выше, детальное рассмотрение первого, а также второго и третьего вопросов будет сделана в третьей части работы. В четвертой части будет приведено описание разработанных компьютерных технологий и примеры их использования.
Что касается настоящей - первой - части работы, то в ней рассматриваются классические постановки задач нахождения устойчивых приближенных решений линейных систем, дается классификация и краткое описание разработанных методов, при этом более подробно рассматриваются: 1) основной вариационный метод А. Н. Тихонова и 2) связанный с ним метод расширенных систем 2-го рода. Далее в первой части работы рассматриваются основы разработанной В. Н. Страховым, частично с соавторами, (см. [Страхов, 1990а, 1990b, 1991а, 199 lb, 1991с, 1992а, 1992b, 1995b, 1997d, 1997е, 1997f, 1997g, 1997h, 1998d; Страхов, Страхов, 1998, 1999а, 1999b, 1999с, 1999d; Страхов, Тетерин, 1991а, 199lb, 1991с, 1993; Strakhov et al., 1995]) новой теории регуляризации систем линейных алгебраических уравнений с приближенными данными (третий раздел статьи), и дается классификация созданных в рамках этой теории методов регуляризации, в случае чисто аддитивной помехи в правой части - четвертый раздел первой части.
Во второй части работы приводится более подробное описание методов регуляризации линейных систем, разработанных в рамках новой теории.
1. Краткая характеристика классической теории регуляризации систем линейных алгебраических уравнений с приближенными данными
§ 1. Проблема нахождения приближенных решений систем линейных алгебраических уравнений с приближенными данными имеет, по существу, длительную историю, см., например, [Альберт, 1977; Лоусон, Хенсон, 1986]. Но громадный прогресс в решении этой проблемы был обусловлен созданием общей теории некорректно поставленных задач, основоположником которой является академик А. Н. Тихонов, и существенный вклад в которую внесли член-корреспондент В. К. Иванов и академик М. М. Лаврентьев и затем их ученики [Алифанов и др., 1998; Воеводин, 1969; Иванов, 1962, 1966, 1977; Иванов и др., 1978; Лаврентьев, 1955, 1959, 1962; Лисковец, 1981; Морозов, 1973, 1974, 1987; Танана, 1981; Тихонов, 1943, 1963а, 1963Ь, 1965; Тихонов, Арсенин, 1979; Тихонов и др., 1985]. Ниже излагаются те результаты этой общей теории, которые относятся к проблеме регуляризации линейных систем с аддитивной помехой в задании правой части.
§ 2. Пусть требуется найти “достаточно хорошее” (“разумное”) приближенное решение (псевдорешение) системы линейных алгебраических уравнений
Ах = /, (1)
по заданной аппроксимации этой системы
Ах = /6=/ + 8/. (2)
В (1)-(2) А суть (МхМ)-матрица с вещественными элементами а^-, 1 < г < N, 1 < $ < М, N - число неизвестных (в общем случае 1Ч^М), х есть искомый
М-вектор, - заданный 1Ч-вектор, / есть вектор полезного сигнала, 6/ - вектор помехи (которая предполагается случайной).
В классической теории регуляризации систем линейных алгебраических уравнений (I)1 всегда принимается, что векторы х и /, для которых выполняется соотношение (1), существуют. Одновременно предполагается, что правая часть в неравенстве
1А фактически — линейных операторных уравнений
Ах = /$ = / + &}, где х и ~ элементы некоторых банаховых (полных нормированных) пространств X и У, а А — ограниченный линейный оператор, действующий из X в У; при этом чаще всего рассматриваются случаи, когда X и У суть гильбертовы пространства.
т
(3)
известна .
В классической теории регуляризации систем (1) ставится вопрос о построении приближенных решений системы (2), в форме
*<5 = %7<Ь
где % есть (МхМ)-матрица, таких, что
\Х — х$\
(4)
(5)
где (5 есть величина, фигурирующая в (3).
Алгоритмы, основанные на нахождении приближенных решений (4) со свойством (5), именуются регуляризующими или регулярными3. Для построения регуляризующих алгоритмов центральное значение имеет оценка абсолютной погрешности приближенного решения, так называемая схема Лаврентьева-Джона [Лисковец, 1981; Морозов, 1987; Танана, 1981]:
Е —
\х — х$ = ж — %/<5
< || (Е — %К)х||е+<£||% |
(6)
(Е- %А)ж
%
Е <5-
0.
>0
(7)
(8)
§ 3. Исторически первые методы регуляризации задачи нахождения приближенных решений систем (1)
по заданным их аппроксимациям (2) были построены для систем с М=М и симметричными положительно полуопределенными матрицами А:
А = А1 > 0;
(9)
именно, М. М. Лаврентьевым был предложен [Лаврентьев, 1959] метод регуляризации, в случае (9) состоящий в переходе от системы (2) к системе
(«8 + А)ха = /г,
(10)
где а = а((5) > 0 есть параметр, именуемый параметром регуляризации, а 8 есть (МхМ)-матрица со свойством
8 = 8і > 0,
(П)
и достаточно хорошо обусловленная. При этом М. М. Лаврентьев [Лаврентьев, 1959] установил регулярность метода, основанного на переходе от (2) к (10), на основе чисто спектральных соображений, не апеллируя к какой-либо вариационной постановке. Однако нетрудно найти, что система (10) возникает при рассмотрении условной экстремальной задачи:
При этом ||Ж|| обозначает произвольную норму матрицы -К, согласованную с эвклидовой нормой векторов, например эвклидова или спектральная.
Из (6) следует, что (5) будет иметь место, если одновременно будут выполняться соотношения
(Бж, х) = тіп,
(Аж, х) - 2(7,5, х) = А,
(12)
где А - заданная величина. Действительно, условной экстремальной задаче (12) методом множителей Лагранжа ставится в соответствие семейство безусловных экстремальных задач
«(Яж, х) + (Аж, х) — 2(7,5, х) = тіп,
(13)
2Тот факт, что в (3), равно как во всех последующих соотношениях, фигурирует именно эвклидова норма вектора, не является определяющим. С равным основанием можно пользоваться и другими нормами векторов, а также согласованными с ними нормами матриц. Однако с точки зрения геофизических приложений (прежде всего с точки зрения свойств помех в данных), равно как и с точки зрения использования свойств конечномерных гильбертовых — эвклидовых — пространств, использование именно эвклидовой нормы векторов предпочтительнее всего.
3В подавляющем большинстве работ 60—70-х годов А. Н. Тихоновыми его последователями, [см. Воеводин, 1969; Иванов, 1962, 1966, 1977; Иванов и др., 1978; Лаврентьев, 1955, 1959; Морозов, 1973, 1974; Тихонов, 1943, 1963а, 1963Ь, 1965; Тихонов, Арсенин, 1979], использовался термин регу-ляризирующий алгоритм. Термином регуляризующий впервые воспользовался В. Н. Страхов в работах [Страхов, 1968а, 1968Ь]; постепенно и другие ученые начали его использовать.
где а > 0 - параметр (величина, обратная множителю Лагранжа). Экстремаль задачи (13) как раз и удовлетворяет уравнению (10).
Для нахождения значения параметра регуляризации позже было предложено использовать условие невязки
/<5 - Ажс
= <52
(14)
где ха есть решение уравнения (10). Было доказано, что если
Р < 1, (15)
V2 =
/<5
то решение уравнения (14) существует и единственно. Далее А. Н. Тихоновым был предложен метод, ныне именуемый вариационным методом А. И. Тихонова, который применим к любым системам (2), и который основан на постановке условной вариационной задачи
Е
Е
Е
£1(ж) =
/д Аж
Ріж
= шш,
Е X
(16)
=
где
8=8/ - заданная постоянная.
Е
Ясно, что кроме основной экстремальной задачи (16) можно рассматривать и двойственную к ней
/б Аж £!(ж) =
= тт,
Е X 2
(17)
Ріж
= С
/в - Аж(2) то из неравенства
/«5 - Аж(1)
0(;
Д2)Л _
Ріж
(2)
<
РІЖ
(1)
РІЖ
/б Аж
РІЖ
/б Аж
= тт;
Е X
(21)
невырожденной матрицей
(аР1тР1 + АтА)ж„ = Ат/(5 = срд. (22)
Очевидно, для нахождения значения айв данном случае может быть использовано уравнение (14), решение которого опять-таки существует и единственно, если выполняется неравенство (15).
Ясно, что величина а > 0 является множителем Лагранжа в случае условной вариационной задачи (17), и обратной к множителю Лагранжа - в случае условной вариационной задачи (16).
Заметим, наконец, что уравнение (22) можно рассматривать как регуляризованное по М. М. Лаврентьеву уравнение
где С2 - заданная постоянная. В (16)—(17) Р1 суть заданная матрица, размера РхМ, где в общем случае Р^М, которая именуется матрицей-регуляризато-ром, соответственно функционал £!(ж) именуется функционалом, задающим отношение предпочтения на множестве приближенных решений системы (2). ГРоследнее означает следующее: если ж1-1) и ж1-2) суть приближенные решения (2), для которых
А Аж« = А /д=<рд,
(23)
которое возникает в рамках решения классического метода наименьших квадратов, основанного на постановке экстремальной задачи:
fs А_х
= тт.
Е х
(24)
(18)
Действительно, при регуляризации по М. М. Лаврентьеву системы (23) достаточно принять
(25)
'=П(ж^) (19)
следует, что приближенное решение ж1-2) предпочтительнее приближенного решения Ж1-1). ГРри этом предполагается, что матрица Р1ТР1 является невырожденной и достаточно хорошо обусловленной. ГРод-черкнем, что понятие “функционал, задающий отношение предпочтения на множестве приближенных решений системы (2)”, введено В. РР. Страховым, основоположник же метода А. РР. Тихонов именовал функционал £!(ж) стабилизирующим [Тихонов, Арсенин, 1979]. Соответственно функционал, сопоставляемый любой из условных экстремальных задач (16) и (17),
чтобы получить систему (10).
Отметим еще, что в методе наименьших квадратов (24) выполняется характеристическое уравнение этого метода:
(Аж, /$ — Аж) = 0.
(26)
РРо в случае регуляризованного уравнения (22) данное соотношение не выполняется. Действительно, имеем
(Аж„, /$ Аж„) — (ж„, А /$ А Аж„)
2 (27)
= (ха, аР1 Р1жа) = а
Р1жп
> 0.
(20)
А. РР. Тихонов именовал “сглаживающим параметрическим функционалом”, а параметр а > 0, фигурирующий в (20) - параметром регуляризации.
Ясно, что в вариационном методе регуляризации решение ж = ха ищется из условия
решение ха существует, единственно и удовлетворяет системе линейных алгебраических уравнений с
§ 4. В рамках классического вариационного метода А. РР. Тихонова возникает система линейных алгебраических уравнений (22) с матрицей размера (МхМ). Ясно, что в случае систем (2) с ЇЧ>М это является вполне приемлемым. Однако в случае систем (2) с ЇЧ<М переходить к регуляризованным системам размера (МхМ) нежелательно. Желательно было бы иметь регуляризованную систему размерности (МхМ). Чтобы лучше уяснить возможность получения подобных регуляризованных систем, вспомним, что система (23), возникающая при
Е
Е
Е
Е
Е
Е
Е
Е
Е
использовании метода наименьших квадратов (24), представляет собой ту, которая возникает при использовании первой трансформации Гаусса исходной системы (2). Следовательно, искомую регуляризо-ванную систему с матрицей размера (Мх1Ч) можно получить, сначала переходя к системе, возникающей при второй трансформации Гаусса исходной системы (2):
А А г = /і, х = А. г,
(28)
а затем регуляризуя данную систему с симметричной положительно полуопределенной матрицей по М. М. Лаврентьеву:
(а£ + АА )га — ;
имеем далее
при этом в (29)
х„ = А гп
(29)
(30)
(31)
есть достаточно хорошо обусловленная матрица размера (Мх1Ч). Значение параметра айв данном случае целесообразно находить из условия (14); решение задачи опять-таки существует и единственно, если выполняется неравенство (15).
Ясно, что матрицу £ целесообразно выбирать в виде
£ = Шт, (32)
где -К есть (Мх(^)-матрица. Очевидно, -К также можно трактовать как матрицу-регуляризатор.
Как это не покажется парадоксальным, но конструкция, описанная в данном параграфе - новая.
§ 5. Методы, описанные в §§ 3-4, являются наиболее типичными для классической теории регуляризации систем линейных алгебраических уравнений. Но в рамках данной теории были предложены и разработаны (правда, с различной степенью детальности) еще по крайней мере четыре метода:
1) метод, основанный на переходе к так называемой “расширенной регуляризованной системе” линейных алгебраических уравнений;
2) метод, основанный на нахождении сингулярного разложения матрицы А системы (2) и “проекционной регуляризации” [Иванов и др., 1978; Лисковец, 1981; Морозов, 1974];
3) метод итеративной регуляризации, основанный на некотором итерационном процессе - для системы (2), либо (что используется гораздо чаще) для систем (23) или (28), получаемых из (2) с помощью первой или второй трансформаций Гаусса; правило останова процесса в рамках итеративной регуляризации - центральная (регуляризующая) процедура,
[см. Алифанов и др., 1998; Иванов и др., 1978; Морозов, 1974, 1987; Танана, 1981; Тихонов и др., 1985];
4) метод, основанный на использовании градиентных процедур поиска минимума квадратичных функционалов, при использовании соответствующего правила останова в процедуре спуска; важнейший частный случай здесь тот, когда применяется метод сопряженных градиентов, см. [Алифанов и др., 1998].
Первый из указанных методов регуляризации будет достаточно подробно описан в следующем разделе настоящей статьи, второй - в следующем параграфе. Что же касается третьего и четвертого методов (точнее - групп методов), то они очень кратко описываются в предпоследнем § 7 данного раздела. Наконец, в заключительном § 8 делаются некоторые дополнительные замечания по основным методам вариационного типа.
§ 6. Суть метода проекционной регуляризации в следующем. Пусть А есть (МхМ)-матрица, и пусть существуют такие ортогональные по столбцам матрицы V и и, размером (Мх1Ч) и (МхМ), что:
А) в случае ]Ч>М
УтАи =
£а 1- м 4-
Т
0 ]Ч- м
і
(33)
Б) в случае М=М
В) в случае Г^Г<М УтАи =
V АГІ = £а;
(34)
(35)
N
М - N
Во всех трех случаях £д есть диагональная матрица:
£а = diag<7г', 1 < г < тіп(Ж, М), (36)
где а і = <г8-(А) суть сингулярные числа матрицы А, упорядоченные по невозрастанию:
(Ті > <т2 > ... > <тп > 0, п = тіп(Ж, М). (37)
При этом, если А - невырожденная матрица, то <тг'тах > 0, где гтах = тіп(Ж, М), в вырожденном же случае (Ті > 0 только при всех г < г’о, 1 < г'о < тіп(Ж, М).
Очевидно, если даже А невырожденная (в общем случае прямоугольная) матрица, она может быть
сколь угодно плохо обусловленной, то есть отношение
где
СопсіА =
(Тп
(38)
где
ЕА№ = ф$,
їй = итж,
а вектор ф{5 определен разложением
Ф,5 = V /«5 =
"С
Фд м
4
т
Фд N - М
4
Ясно, что вектор ф$ представим в форме
фё = ф + 6ф,
и при этом
6 ф
Фё
= А2.
Е й<д3
*’ = *гр + 1
ЛГ
Е й >
В этом случае принимается
ирег
и) %гр
4
. Ї .
0 ^шах %гр
4
далее используется соотношение
%рег — и Юрег.
и) = и х, фї = V /«5.
может быть сколь угодно велико.
Итак, пусть сингулярное разложение А найдено, то есть получено одно из трех соотношений - (33), (34), (35), где Ед есть диагональная матрица (36).
Ясно, что в случае (33) получаем систему с диагональной матрицей
(39)
(40)
(41)
(42)
(43)
В этом случае опять-таки находится номер г = ггр, такой, что имеют место неравенства типа (44) - в последних надо только заменить ф,^ на ф(^, а значение А2 на значение 62. Дальнейшее, то есть соотношения (45) и (46), остается в силе.
§ 7. Метод итеративной регуляризации по существу был разработан уже на начальном этапе развития теории некорректно поставленных задач, в 60-е годы (см., например, работы [Алифанов и др., 1998; Алифанов, Румянцев, 1978, 1980; Бакушин-ский, 1977; Бакушинский, Страхов, 1968; Вайникко, 1982; Васильев, Якимович, 1980; Гилязов, 1980; Емелин, Красносельский, 1978; Оганесян, Старостенко, 1978; Румянцев, 1985; Рязанцева, 1978; Савр, 1984; Страхов, 1973а, 1973Ь]). Его суть очень проста. Пусть задан какой-либо итерационный процесс (процесс построения последовательных приближений х1'п\ п = 0,1,2,...), относительно которого известно, что в случае точных данных, т.е. системы (1), он сходится к решению этой системы. Тогда этот процесс может быть применен и к системе (2), но с одним отличием - после того, как для некоторого Х1'П'> впервые оказалось
Основная процедура вариационного метода состоит в том, что находится наибольший из номеров г (этот номер обозначается ігр) сингулярного числа <т8-, такой, что выполняются два неравенства
(49)
(44)
(45)
(46)
В случаях же (34) и (35) эквивалентная система с диагональной матрицей имеет вид
Е Аи) = ф,5,
(47)
где 62 - постоянная, фигурирующая в неравенстве (3) (см. также (14)), итерационный процесс останавливается, и приближение х1'п'> принимается за искомое. Далее ясно, что поскольку наиболее полно и глубоко теория итерационных процессов разработана для систем с квадратными матрицами А = Ат > 0, то и регуляризованные итерационные процессы (с правилом останова по невязке) чаще всего используются применительно к системам, получаемым из исходной (2) с помощью первой или второй трансформаций Гаусса. На подробностях здесь нет возможности останавливаться.
Аналогичным образом устроены и регуляризованные алгоритмы, в основу которых положены так называемые методы сопряженных направлений (чаще всего - методы АТА- и ААт-сопряженных градиентов, [см. Воеводин, Кузнецов, 1984; Марчук, Кузнецов, 1972; Уилкинсон, Райнш, 1976; Фаддеев, Фад-деева, 1963]), а также другие градиентные методы минимизации функционалов. И здесь реализуется та же схема:
1) используемый метод должен обеспечивать сходимость к решению (к одному из решений или псевдорешений) в случае системы (1) с точными данными;
Е
п
Е
2) в случае системы (2) с приближенными данными регуляризация обеспечивается правилом останова по критерию невязки.
§ 8. В заключение раздела остановимся еще на четырех важных вопросах:
во-первых, на вопросе о порядке величины параметра регуляризации а, находимого из уравнения невязки, в случае вариационных методов;
во-вторых, на вопросе о фактическом решении ре-гуляризованных уравнений, возникающих в вариационных методах;
в-третьих, на вопросе регуляризации в ситуации, когда с погрешностью заданы и правая часть, и матрица системы;
в-четвертых, о трудоемкости вариационных методов и путях ее снижения.
Первый вопрос. Классическое правило А. Н. Тихонова (см. [Иванов и др., 1978; Лисковец, 1981; Морозов, 1974, 1987; Танана, 1981; Тихонов, 1963а; Тихонов, Арсенин, 1979]) для оптимального значения параметра регуляризации а (при котором выполняется уравнение невязки (14)) таково
= о(*2).
(50)
Это правило в дальнейшем было уточнено В. Н. Страховым [Страхов, 1973Ь]
= 0(г]2), if =
S2
fs
(51)
Предлагались и иные правила. Но, по-видимому, наибольшее практическое значение имеет правило В. Н. Страхова, относящееся к случаю, когда спектры помехи и полезного сигнала в существенном разделены:
а = 0(Араза), (52)
где Храэд - постоянная разделения спектров полезного сигнала и помехи; при этом рассматриваются все три метода - М. М. Лаврентьева (9)-(14), А. Н. Тихонова (18)—(22), (14) и новый метод (28)-(32), (14). Принимается, что А - вещественная переменная, А8- - собственные значения соответствующей симметричной положительно полуопределенной матрицы (А - в методе М. М. Лаврентьева, АТА -в методе А. Н. Тихонова, ААТ - в новом методе), удовлетворяющие неравенствам:
Ai > А2 > ... Аг-
> 0,
(53)
*'о < *тах- Пусть Кег(•) - ядро соответствующей матрицы (А, АТА, ААТ), и пусть е8- суть соответствующие ненулевым А; ортонормированные собственные векторы.
Пусть
/ = ^2ci(f)ei i = 1
Sf = Sof + J2ci{6f)e
i = 1
(54)
(55)
суть разложения полезного сигнала и помехи по ор-тонормированным собственным векторам еа-, £о/ Е Кег(*). Спектры полезного сигнала и помехи считаются в существенном разделенными, если существует такое число Аа- = Аразд, что одновременно выполняются два неравенства:
i = 1
£ с*2(я i = 1
« 1,
(56)
£
cl(Sf)
І — Аразд + 1
> 1.
(57)
£
cKf)
І —Аразд + 1
Именно постоянная разделения спектров Храэд, а не величины S2 или г/2, определяют оптимальное значение а в ситуации существенной разделенности спектров полезного сигнала / и помехи Sf.
Второй вопрос. Наиболее простой способ найти оптимальное значение а = aopt и соответствующий вектор xaopt во всех трех методах вариационного типа (М. М. Лаврентьева, А. Н. Тихонова и новом) состоит в том, что задается последовательность значений а = ак, к = 1,2,..., кшах, и для каждого из них решается соответствующее регуля-ризованное уравнение - на основе использования алгоритма Холецкого. Например, в случае уравнения (10) имеем
akS + A = L(S-,ak)LT(S-,ak), (58)
где L(S;«fe) суть нижняя треугольная матрица размера МхМ. После этого решаются два уравнения с треугольными матрицами
где гтах = М в случае матриц А и АТА, и гтах = N в случае матрицы ААТ. Если матрица вырожденная, то отличными от нуля являются лишь Аг- при г < г’о,
L(S, схк)wak — ,
L (S,d^)xafc — wak.
(59)
(60)
и
Далее вычисляется величина
/б А.Х 0
Е
(61)
где
Ад X — f(5,
Ад — А + АА, /і — / + 6/,
(62)
(63)
/б А.х 0
<
/<5 - Аджс
+А
где А определена неравенством
АА
< А.
(64)
(65)
Поэтому оптимальным следует считать то (наибольшее из возможных) значение а, при котором одновременно выполняются два неравенства
/<5 - Аджс
< (5, А
< <5.
(66)
Если подобное значение а не существует, то оптимальным является то, для которого
/«5-АдЖа +А Ха = ШІП .
Е Е а
(67)
0(М2М), N < М,
и сравнивается с 62. Суть поискового алгоритма очевидна. В случае методов А. Н. Тихонова и нового все обстоит совершенно аналогично.
Третий вопрос. Итак, пусть для уравнения (1) задана не аппроксимация (2), в которой правая часть задана с погрешностью, а аппроксимация
т.е. приближенно заданы и правая часть, и матрица системы.
Ясно, что в этом случае можно использовать все три описанных выше вариационных метода (М. М. Лаврентьева, А. И. Тихонова и новый), при этом основная проблема состоит в задании оптимального значения параметра а.
С очевидностью имеем неравенство
но при этом постоянные, фигурирующие в символах порядка О, как правило весьма велики - 10 и более.
Естественно, что трудоемкость итерационных методов и методов сопряженных направлений (сопряженных градиентов) оценить наиболее трудно - здесь все зависит от спектров полезного сигнала и помехи, а также от выбора начального приближения. Но в целом это наиболее перспективные, с точки зрения их трудоемкости, методы.
Весьма трудоемкими являются все три вариационных метода, но из них привлекательнее всего выглядит метод М. М. Лаврентьева, в котором отсутствует процедура перемножения матриц. Принимая, что при реализации разложения Холецкого используется аккуратный алгоритм счета скалярного произведения (в котором отдельно суммируются положительные и отрицательные частные произведения) и что используется п различных значений а = ак, найдем, что в главном члене (без учета операций при счете эвклидовых норм невязок) трудоемкость метода составляет
Г)
(70)
II о
Р = -М3
4
арифметических операций; при этом обычно п колеблется от 24 до 48.
В случае методов А. Н. Тихонова и нового (см. (28)-(32)) к числу Р по (70) должны быть добавлены числа операций, затрачиваемых на нахождение произведений матриц:
Кі = (Р + М)М2
(71)
Четвертый вопрос исключительно важен в связи с тем, что в настоящее время в гравиметрии и магнитометрии остро стоит вопрос о решении систем большой (число неизвестных порядка 104) и сверхбольшой (число неизвестных порядка 105 и более) размерности.
Ясно, что наиболее трудоемким является проекционный метод (см. § 6), основанный на нахождении сингулярного разложения матриц; его трудоемкость оценивается числами арифметических операций, по порядку равными:
где (РхМ) размерность матрицы II, и
К2 = {Ц + М)^2, (72)
где (Мх(5) - размерность матрицы -К.
Таким образом, трудоемкость всех вариационных методов достаточно велика, при этом главный источник больших объемов арифметических операций - многократное использование разложений Холецкого - при всех значениях а = ак, к = 1/2, ... ,п.
В связи с этим В. В. Воеводиным [Воеводин, 1969; Воеводин, Кунецов, 1984] было предложено - для случая, когда в (10) 8 = Е, в (22) II = Е, в (28) 3? = Е, использовать операцию приведения основной матрицы (А - в методе М. М. Лаврентьева, АТА - в методе А. Н. Тихонова, ААТ - в новом методе) к трехдиагональной форме.
Именно, в случае (10) при 8 = Е используется ортогональное преобразование
0(ММ2
N > М
(68)
УТАУ = Т,
(73)
а/с
X
Е
Е
Е
Е
X
Е
Е
где V - ортогональная по столбцам матрица размера МхМ, Т = Тт > 0 - трехдиагональная матрица, и система редуцируется к такой:
(аЕ + Т )уа —
уа = Утха, / 5 = Ут/«5.
(74)
Соответственно в случае (22) при 11=Е используется аналогичное ортогональное преобразование
2-го рода безусловно имеет определенную историю (см. работы [Альберт, 1977; Лоусон, Хенсон, 1986]), однако он до самого последнего времени находился как бы в “тени”, во всяком случае он не подвергался достаточно глубокому изучению и различным обобщениям.
Отправной пункт в методе - введение вектора невязки
г = /г - Ах (79)
и объединение уравнений (23) и (79) в одну систему4
итАтАи = Т,
(75)
где и - ортогональная по столбцам (МхМ)-матрица, Т = Тт > 0 - трехдиагональная (МхМ)-матрица, и система редуцируется к виду
Яи) =
Е А Г /<5
—Ат 0 X 0
= Ег. (80)
(аЕ + Т)га = фі,
— и Хп
Фб — и (р6.
(76)
Наконец, в случае (28), (32), при -К = Е используется ортогональное преобразование
ФТААТФ = Т, (77)
где Ф - ортогональная по столбцам (Мх ^-матрица, 0 °т
Т = Т > 0 - трехдиагоналы система редуцируется к виду
Тот факт, что из (80) следует и (23) и (79), легко проверяется непосредственно.
Регуляризация системы (80) осуществляется исключительно просто - необходимо нулевой блок в правом нижнем углу матрицы 8 (которую не следует путать с матрицей-регуляризатором в методе М. М. Лаврентьева, см. (10)—(13)) заменить на матрицу а11т11, где II - матрица-регуляризатор, фигурирующая в методе А. Н. Тихонова, см. (21)—(22). Таким образом регуляризованная система имеет вид:
(Мх ^-матрица, и Е А
—Ат а11т11
/<5
О
= Рг. (81)
(аЕ + Т )и)а = р{5,
О гр
юа = Фга, <р6 = Ф /г.
(78)
Из вида матрицы которая представляет собой сумму симметричной и кососимметричной матриц,
Ясно, что системы с трехдиагональными матрицами решаются очень эффективно, и что числа арифметических операций, затрачиваемых на приведение к трехдиагональной форме, существенно меньше числа Р по (70). Однако следует иметь в виду, что при больших значениях N и М, т.е. при большой и сверхбольшой размерности системы, процедуры приведения к трехдиагональному виду не всегда обеспечивают получение необходимой точности
- ибо ошибки округления с неизбежностью накапливаются. Поэтому применение приема предварительного приведения к трехдиагональной форме в случае систем большой и сверхбольшой размерности рекомендовано быть не может.
2. Метод регуляризованных расширенных систем линейных алгебраических уравнений 2-го рода и некоторые свойства метода вариационной регуляризации
§ 1. Рассматриваемый в данном разделе первой части работы метод регуляризованных расширенных систем линейных алгебраических уравнений
=
Е 0 + 0 А
0 а11т11 —Ат 0
(82)
причем симметричная матрица невырожденная, следует, что при любом а > 0 матрица определенная по (82), является невырожденной.
§ 2. Ясно, что переход к регуляризованной расширенной системе (81) имеет то достоинство, что не нужно находить произведение матриц АТА; ясно также, что в случае II = Е имеем 11т11 = Е и второе произведение матриц находить также не надо. Кроме того, если 1Ч^М, то при любом а система (81) есть система с блочно-стреловидной матрицей и здесь может быть эффективно использована компактная схема разложения матрицы на треугольные множители.
4 Введение расширенной системы может быть осуществлено различными способами; здесь мы придерживаемся способа, предложенного В. Н. Страховым [Страхов, 1998с1], см. также работы [Страхов, Страхов, 1999с, 1999с1].
г
X
§ 3. Однако главные достоинства перехода к расширенной регуляризованной системе в другом:
во-первых, возникает возможность более глубокого и детального анализа свойств вариационного метода А. Н. Тихонова;
во-вторых, возникает возможность глубокого обобщения вычислительных алгоритмов на случай наличия дифференцированной информации о векторе помехи.
В данном параграфе осуществляется нахождение ряда принципиально важных соотношений, имеющих место в вариационном методе А. Н. Тихонова.
Прежде всего, если исключить из системы (81) вектор Г а,
'Г'а — /д Аха,
то получим определяющее соотношение метода А. Н. Тихонова
(аИ II-1-А А)ха = А /я = <рб-
(84)
(85)
(86)
(87)
(88)
Свойства 1) и 2) решений, получаемых в рамках вариационного метода А. Н. Тихонова, свидетельствуют о возможности возникновения в нем эффектов заглаживания; не имея возможности подробно останавливаться на этом моменте, отметим лишь необходимость проведения спектрального анализа, основанного либо на сингулярном разложении матрицы В,
В = А1Г1, (91)
либо на сингулярном разложении пары матриц (А,
II), см. [Лоусон, Хенсон, 1986].
§ 4. Свойства 4) и 5) требуют более глубокого проникновения в суть конструкций (85)—(87), что в конечном итоге позволит более глубоко осознать вариационную природу нового метода (28)-(32).
Именно, пусть сначала 1Ч<М; рассмотрим условную экстремальную задачу
Далее - если, наоборот, исключать из системы (81) вектор ха, то получим следующую совокупность формул:
ха = ц(ЯтЩ~1Атга,
/а = Аха = /иА(11т11)_1АтгС(,
(Е + /2А(ЯтЩ-1Ат)га = П.
При этом в (85)-(87) принято
1
V = -•
ІІЖ
Е
Ах — .
(92)
Как обычно, используем стандартную процедуру редукции условной экстремальной задачи (92) к семейству безусловных экстремальных задач с помощью множителей Лагранжа А8-, 1 < г < N :
Ііж
, N
г2ИА,'((“И’г) - Д«)=пііп>
і = 1
(93)
Из (85)—(88) следуют такие принципиально важные факты:
1) вектор ха выражается через га, иначе - искомое регуляризованное решение выражается линейно через вектор невязки для регуляризованного решения;
2) вектор = Аха, представляющий собой приближенное описание вектора полезного сигнала /, выражается линейно через вектор невязки регуляризованного решения;
3) в выражениях ха и через га фигурирует величина цу которая при (5 —У 0 стремится к бесконечности;
4) вектор невязки регуляризованного решения в методе А. И. Тихонова удовлетворяет независимому уравнению (22);
5) в выражении через гаив уравнении для га фигурирует симметричная положительно определенная матрица
АДГ = А(11Т11)-1АТ, (89)
которая в случае, когда II суть квадратная (МхМ)-матрица, может быть записана в форме
здесь а(г) суть г-ая вектор-строка матрицы А. Используя классическое правило экстремума, найдем, что возникает соотношение для х :
11т11ж = АТА
(94)
откуда, вместе с линейными условиями в (92), следует, что вектор А = (А1, А2, • • •, Адг)т удовлетворяет уравнению
\¥А = А(ІІ II) А А = /<5.
(95)
Осуществим далее регуляризацию методом М. М. Лаврентьева уравнения (95) для вектора А :
(с*Е + АУ)Аа = /г.
(96)
Соответственно введем регуляризованное решение ха, сделав очевидные замены в (94):
АУ= (АІІ )(А11 ) = ВВ
(90)
КтКж„ = АТА„.
Ясно далее, что если принять
су Аа — га,
(97)
(98)
т
то соотношение (97) перейдет в соотношение (85), а соотношение (96) - в соотношение (87). Ясно также, что условие 1Ч<М не является, вообще говоря, необходимым; конструкция, получаемая в рамках условной экстремальной задачи (92), остается в силе и при М>М.
Из сказанного вытекают три принципиальных вывода:
во-первых, что условная экстремальная задача (92), в которой ищется минимум квадратичного функционала при линейных ограничениях, оказывается существенно отличной от условной экстремальной задачи (16), в которой фигурирует одно квадратичное ограничение-равенство; именно, во втором случае всегда возникает невырожденная система с симметричной положительно определенной матрицей, а в первом случае система хотя и имеет симметричную положительно полуопределенную матрицу, но последняя может быть и вырожденной;
во-вторых, использование “принудительной регуляризации” системы (95) по М. М. Лаврентьеву (которая, как мы видели в предыдущем разделе статьи, см. § 3, представляет собой процедуру, основанную на решении некоторой условной вариационной задачи) с выбором Б=Е, приводит к пониманию физического смысла множителей Лагранжа А8- - это суть приближения к величинам А8 а, которые просто
Гп,
равны компонентам вектора цга = га - вектор невязки для решения ха, получаемого в рамках вариационного метода А. И. Тихонова;
в-третьих, очевидно, что обобщение конструкции “принудительной регуляризации” состоит в том, чтобы вместо (96) использовать
гШтШ + Ш)Ха= /ё,
(99)
А = УеаХ, В, = Щ]КХ,
(100)
где V и и суть ортогональные по столбцам матрицы размеров (Мх]Ч)- и (МхМ)-, соответственно, а X есть невырожденная (МхМ)-матрица; при этом
£а = N I
0,
N < М
(101)
и Ед, суть диагональные матрицы с элементами <т8 = <т8(А, II), і = 1,2,..., N, и а і = <т8(А, II), і = 1,2, ..., М, соответственно.
Очевидно, из (100) следует
АИ”1 = (УЕАх)-(Х-1£^1ит) = У2А2к1ит (102)
и поэтому
АУ= (АІГ1) (АІГ1) =У£а(£к1) ЇЇУт. (103)
Отсюда следует, что система (95) редуцируется к следующей:
Т>і' = Фі, (Ю4)
где
(105)
V = УТА, фв= Ут/«5. (106)
Ясно, что Б есть диагональная (Мх^-матрица, с элементами
сI; =
і(А, И))5
1 < і < N.
(107)
где -К - заданная ((^х ^-матрица; суть этого обобщения в том, что здесь возникает конструкция регу-ляризованной системы с двумя матрицами-регуляри-заторами - II (которая “скрыта” в матрице А¥, см. (95)) и Ш.
§ 5. Подход, основанный на введении условной экстремальной задачи (92) с линейными ограничениями, с дальнейшей “принудительной регуляризацией” системы (95), заслуживает более глубокого изучения, которое и проводится в настоящем и следующем параграфах.
Первый принципиальный факт состоит в том, что системой (95) (случай 1Ч<М) обеспечивается мультипликативная регуляризация системы (2). Смысл этой конструкции раскрывается, если воспользоваться сингулярным разложением пары матриц (А,II) (о понятии сингулярного разложения пары матриц [см. Лоусон, Хенсон, 1986]):
МА,11)Г
Следовательно, поскольку без ограничения общности можно принять, что
1 = <71 (А, II) > (72 (А, II) > . . . > <7М(А, II) > 0, (108)
то отсюда вытекают неравенства
й8 > <78(А, Б,), і = 2,3, (її = <7і(А, II).
(109)
Отсюда следует, что если матрица ААТ невырожденная, то матрица ВВТ = (АД-1)(АД-1)Т лучше обусловлена, чем ААТ. Но если А Ат вырожденная, то ВВТ также вырожденная. Улучшение обусловленности ВВт по сравнению с ААТ, достигаемое за счет умножения А на II-1, и составляет суть мультипликативной регуляризации, которая однако, полностью проблемы не решает - необходима дополнительная “принудительная регуляризация”, достигаемая переходом от (95) к (96).
т
§ 6. В настоящем параграфе будет рассмотрена важная сторона классического вариационного метода регуляризации - наличие так называемых двойственных соотношений.
Заметим, прежде всего, что если II - невырожденная (т.е. обратимая) (МхМ)-матрица, то система (22) может быть переписана в такой форме:
(аЕ + ВТВ) Яха = Вт/(5,
(110)
откуда
= БТ1 (аЕ + ВтВ) Вт/(5. (111)
Одновременно ясно, что из (85) и (88) следует
ха = 11-1Вт (аЕ + ВтВ)“1/<5. (112)
Но из линейной алгебры известно соотношение (см. [Воеводин, Кузнецов, 1984], стр. 214, упр. 29.9), которое в принятых обозначениях записывается так:
Вт(аЕ + ВтВ) ^(«Е + ВТВ) 1ВТ.
(ИЗ)
*1(а0 = тій,
4 ' х
Аж = /«5 = / + £/•
(114)
Поэтому получаем, что выражения (111) и (112) дают для вектора ха одно и то же значение. В этом и состоит факт наличия для решений ха, получаемых в рамках классического вариационного метода А. Н. Тихонова, двух внешне различных, но фактически тождественных, представлений - получаемых из решения системы (22) и из соотношений (85) и (87), то есть, как мы убедились выше, из “принудительной регуляризации” системы (95), возникающей при решении условной экстремальной задачи (92) с линейными ограничениями.
§ 7. В заключение данного раздела, в котором получены принципиально новые аналитические результаты, относящиеся к классическому вариационному методу А. Н. Тихонова, заметим следующее. В целой серии работ 70-х-80-х годов А. И. Кобру-нов развивал так называемый “критериальный подход” к решению задач гравиметрии и магнитометрии, см. [Кобрунов, 1978, 1979, 1982, 1983, 1985]. Суть этого подхода состоит в том, чтобы находить решения любых задач, возникающих в гравиметрии и магнитометрии, как решение следующей условной экстремальной задачи:
банахова пространства У, А - линейный ограниченный оператор, действующий из X в У. По мнению
А. И. Кобрунова, использование постановки (114) в случае, когда ,1(ж) - строго выпуклый функционал, обеспечивает как единственность, так и устойчивость решения - определения X.
Однако разобранный выше частный случай, в котором X = 11м, У = IIм, ]Ч<М, т.е. X и У суть конечномерные эвклидовы пространства, ,1(ж) = 11ж
II - невырожденная матрица, т.е. ,1(ж) есть неотрицательный строго выпуклый функционал, и А есть (МхМ)-матрица, опровергает утверждение А. И. Кобрунова. Именно, в этом случае устойчивость решения не обеспечивается, если матрица ААТ является вырожденной, следовательно, вырожденной является и матрица = (А11-1) (А11-1) . Таким образом, как было показано выше, даже в данном простейшем случае необходимо использовать дополнительную “принудительную регуляризацию” , т.е. переход к системе (96). Система же (95) реализует специфическую “мультипликативную регуляризацию”, которая в случае вырожденных систем недостаточна.
3. Новая теория регуляризации систем линейных алгебраических уравнений с приближенными данными
§ 1. Изложенные в двух предыдущих разделах статьи основные положения и конструкции классической теории регуляризации (нахождения устойчивых приближенных решений, согласованных с имеющейся априорной информацией о помехе во входных данных и искомом решении) систем линейных алгебраических уравнений, с однозначностью свидетельствуют о том, что эта теория неадекватна реальной геофизической практике. Это однозначно следует из таких фактов:
1) в классической теории рассматривается только ситуация чисто аддитивных помех (в векторе правой части и матрицы), тогда как на практике достаточно часто встречаются и ситуации более общих мультипликативно-аддитивных помех;
2) в случае чисто аддитивных помех в задании правой части классическая теория основывается на
что известной является величина 62 =
квадрата эвклидовой нормы вектора помехи; тактически же эта величина никогда не бывает известна точно, в лучшем же случае бывают известны лишь постоянные в неравенствах
допущении 2
<*/
Здесь %) - некоторый неотрицательный функционал, определенный на элементах х некоторого банахова (полного линейного нормированного) пространства X, - заданный элемент некоторого другого
<
<*/
и неравенство
&■ >
тт
х Е IIм
(115)
(116)
Е
3) в подавляющем большинстве реальных геофизических ситуаций при наличии чисто аддитивной помехи в векторе правой части даже знание постоянных в неравенствах (115), если только имеет место ситуация,в которой
(117)
оказывается недостаточным для нахождения приближенного решения удовлетворительного качества;
4) наиболее эффективные алгоритмы, порожденные классической теорией, оказываются весьма трудоемкими и не могут быть использованы для нахождения устойчивых приближенных решений систем большой размерности;
5) приемы уменьшения трудоемкости основных алгоритмов, порождаемых классической теорией, основаны на использовании ортогональных преобразований, построенных на аннулировании основной части элементов симметричных положительно полу-определенных матриц; однако такие преобразования в случае систем большой размерности “отказывают” из-за влияния ошибок округления.
Понимание всей совокупности указанных фактов с очевидностью свидетельствует о том, что нужна новая теория регуляризации (нахождения устойчивых приближенных решений) систем линейных алгебраических уравнений с приближенными данными, существенно более адекватная реальной геофизической практике, которая порождала бы методы (алгоритмы), более эффективные - по показателям точности и быстродействия - в случае систем большой размерности.
Подобная теория была разработана на протяжении последнего десятилетия В. Н. Страховым, [см. Страхов, 1991а, 199 lb, 1991с, 1992а, 1992b, 1997d, 1997е, 1997f, 1997g, 1997h; Страхов, Тетерин, 1991а, 199lb, 1991с, 1993; Strakhov et al, 1995]; в последние годы в разработке этой новой теории и ее практической реализации принял участие и А. В. Страхов [Страхов, Страхов, 1998, 1999а, 1999b, 1999с, 1999d]. Изложению основных позиций этой новой теории и посвящены настоящий и следующий разделы статьи.
§ 2. В классической теории регуляризации исходной системе (1) сопоставляется ее аппроксимация (2) (чисто аддитивная помеха только в правой части) и (62)—(63), (65) (аддитивная помеха в правой части и матрице). В рамках новой теории кроме указанных рассматриваются ситуации задания аппроксимаций
где фактически задан вектор , и Ад X — /,5,
Ад = (Е + Б)Ад,и, (119)
и = (Е + £)Д£,
где фактически заданы матрица Ад в и вектор /$,£■ Здесь Е - единичная (Мх ^-матрица, а £ и О - диагональные матрицы,
при этом
£ = diag Єі , D = diag ді
max І є,-1 < 1, і
1 < і < N,
1 < і < N,
max І Зі I < 1, і
(120)
(121)
так что матрицы (Е + £) и (Е + О) являются невырожденными.
Ниже будет показано, что случаи аппроксимаций
(118), (120) и (119), (120) при условиях (121) в определенном смысле редуцируются к случаю аппроксимации (2), т.е. наличию чисто аддитивной помехи в задании правой части системы (1). Поэтому изложение основ новой теории целесообразно начать с рассмотрения основного частного случая задания аппроксимации (2) системы линейных уравнений (1).
§ 3. Основой новой теории в случае чисто аддитивной помехи в векторе правой части системы являются следующие четыре положения.
1. Основная вычислительная процедура в любом методе - алгоритме - состоит в нахождении последовательности приближенных решений х(к\ к = 1, 2, . . ., и соответствующих им векторов невязок
р(к) =fs- Ах™
и величин
Vk =
(к)
(122)
(123)
При этом каждое приближение х^ характеризуется некоторым набором (вектором) параметров счета, то есть величин, по которым находится приближенное решение; обычно размерность вектора параметров счета - от одного до трех. Желательно (хотя это и не всегда может быть гарантировано), монотонное убывание величин ь>к '■
vk+i <Vk, к = 1, 2,
(124)
Ax = fs = (E + £)fSie,
(118)
Следует подчеркнуть, что нахождение последовательности приближенных решений отнюдь не
означает, что используется какой-то итерационный
Е
процесс. Например, речь может идти о нахождении решений уравнения
(акЯтЯ + АТА) хак = Ат/«5 = щ (125)
для последовательности значений а&, к = 1,2,... ; в этом случае х^ = хак и суть параметр счета (единственный).
2. В каждом методе (алгоритме) присутствует некоторый вектор показателей качества решения; в этом векторе выделяются основные показатели качества решения (обычно - от одного до трех), и дополнительные показатели. С помощью основных показателей качества решений выделяются, среди всех приближенных решений х(к\ так называемые пробные решения, с помощью же дополнительных показателей качества решений множество пробных решений сокращается до множества допустимых решений.
Ясно, что с помощью основных показателей качества решения формируется и правило останова процесса нахождения приближенных решений. Ясно также, что в процессе счета должны запоминаться все пробные решения - и далее, после сужения множества пробных решений до множества допустимых решений, все допустимые решения.
В ситуации, когда известны постоянные в неравенствах (115), используется обычно один показатель качества - величина
#)
2
Е .
61:
(126)
при этом пробными являются все те приближенные решения, для которых
61,
> 1.
(127)
Процесс построения приближенных решений останавливается, коль скоро оказывается
»к < 1-
(128)
Кроме основного показателя качества (126) могут использоваться и другие основные показатели, например:
1к =
«(к„
2 •
Е
где Сг^ - априорно заданная величина.
Что касается дополнительных показателей качества, то в рассматриваемом случае это могут быть различного рода числовые величины, порождаемые априорной информацией о векторе помехи 6/.
Принципиально важно, что если имеет место ситуация, в которой выполняется неравенство (117), то именно последняя информация должна использоваться для задания основных показателей качества решения. Эта ситуация подробнее рассматривается ниже. В ней по существу нахождение множеств пробных и допустимых решений осуществляется с помощью эвристических процедур типа распознавания образов.
3. После того, как найдено множество допустимых приближенных решений системы (2), возникает проблема нахождения искомого - или окончательного, или оптимального - устойчивого приближенного решения. Эта проблема в рамках новой теории решается на основе принципа усреднения допустимых решений:
х = ^2 РкХ(к\ (131)
к £ Л /с
где весовые коэффициенты Ри имеют свойства
Рк > о, кеЗк, ''^2,Рк = 1- (132)
к Е Л /с
Здесь ^ - подмножество значений индекса к для допустимых решений.
Ясно, что здесь возникает новая проблема - задания весовых множителей рк- Эта проблема детально обсуждается ниже, но сразу же подчеркнем тот факт, что и здесь основное значение имеют различного рода эвристические процедуры, и в конечном итоге - технологии распознавания образов.
4. Все три предыдущих положения относились к так называемой нормальной ситуации, в которой:
а) в последовательности приближенных решений х^ всегда содержатся пробные приближенные решения, а останов процедуры построения приближенных решений осуществляется по значениям основных показателей качества приближенных решений;
б) число находимых допустимых решений, усреднением которых, см. (131)—(132), находится окончательное решение, достаточно велико:
(129)
сІіт,Іь > Рад
(133)
Здесь - пробное решение с наименьшим зна-
чением к; при этом используется правило останова процесса построения последовательных приближений
7к > СгИ, (130)
где Ко - заданная величина.
Однако на практике, как это показали достаточно многочисленные расчеты (описание которых будет дано в четвертой части работы), кроме нормальной, может встречаться и аномальная ситуация, в которой:
а) либо число найденных допустимых решений меньше Ко (см. (133));
б) либо вообще не находятся пробные (тем более -допустимые) приближенные решения.
В указанных ситуациях алгоритмы должны обеспечивать:
- в случае а) (число допустимых решений меньше Ко) нахождение дополнительных допустимых решений;
- в случае б) (отсутствие пробных или допустимых решений) нахождение некоторого - единственного!
- приближенного решения, которое и принимается за окончательное.
Здесь следует сразу же акцентировать внимание читателя на том обстоятельстве, что в рамках классической теории некорректно поставленных задач (по существу не адекватной реальной геофизической практике) никакие аномальные ситуации (обусловленные погрешностями округлений) по существу не принимались во внимание и не обсуждались.
В заключение параграфа подчеркнем, что практическая реализация установок новой теории требует создания принципиально новых компьютерных технологий, в которых в некотором смысле определяющее значение имеют управляющие подпрограммы, с помощью которых формируются последовательности векторов параметров счета - для нахождения последовательных приближений, а также осуществляется анализ получаемых приближенных решений - по значениям показателей качества решения, в целях, по существу, ответа на вопрос - “что такое хорошо, и что такое плохо”. Эта управляющая программа одновременно должна обеспечивать перестройку вычислительного процесса в случае аномальных ситуаций.
§ 4. В рамках новой теории регуляризации систем линейных алгебраических уравнений, ориентированной на создание компьютерных технологий, полностью адекватных реальной геофизической практике, и на решений систем линейных алгебраических уравнений большой и сверхбольшой размерности, используется ряд принципиально новых математических объектов и конструктивных идей. Обсуждению конструктивных идей посвящен последний раздел настоящей статьи и вторая часть работы, поэтому здесь остановимся лишь на некоторых новых математических объектах.
Первая группа объектов связано с оценками предельной относительной погрешности любых приближенных решений систем (1), заданных аппроксимациями (2), при использовании представлений
г = (134)
здесь -К суть (Мх ^-матрица, заданная либо опреде-
ляемая некоторыми условиями.
Оценочный функционал в случае аппроксимации (2) имеет вид
и)(А, 6; -К) = вир
Аж = /,
(135)
т
Ясно, что к числу новых объектов первой группы принадлежит и сама матрица -К, и функционал и>(А,<5;-Й), и другие подобного рода функционалы, и следующие из оценок предельной относительной погрешности приближенных решений новые постановки безусловных и условных экстремальных задач, и многие другие объекты.
Вторая группа объектов связана с идеей более глубокого понимания метода наименьших квадратов и соответственно - перенесения ряда важных свойств решений, получаемых в методе наименьших квадратов, на регуляризованные решения.
Здесь прежде всего следует отметить характеристическое уравнение метода наименьших квадратов (26) и тот факт, что в вариационном методе А. Н. Тихонова оно не выполняется. Но легко показать, что если ж есть некоторое приближенное решение, для которого
(Аж, /«5 - Аж) Ф О, то приближенное решение
в котором принято
(/<5, Аж)
Ах
2 ’
(136)
(137)
(138)
уже удовлетворяет характеристическому уравнению метода наименьших квадратов
(Ажт, /г - Ажт) = 0.
При этом
/<5 Ах7
<
(139)
(140)
Все эти факты легко получаются, если рассмотреть задачу
/<5 - тАх Ясно, что соотношение
= пип. Е т
ІШП
т
/<5 - тАх
(141)
(142)
Е
X
Е
Е
Е
где S2 - априорно заданная величина, эквивалентно соотношению
fs
-S'
Ах
-(fs, Ах)2=0.
(143)
(/,<*/) = 0.
(144)
М
м
-У
М ^
8 = 1
DaAt [fb - Aж)
а^\ (fs - Ах)
(147)
где
Da = diag ■
II IIЕ
для которого имеет место оценка
(х) <
fs Ах
(148)
(149)
В = YTAU,
(150)
и которые представимы в форме произведений элементарных матриц плоского вращения, либо вида
Выполнение же характеристического уравнения метода наименьших квадратов имеет принципиальное значение в тех (весьма часто встречающихся на практике) случаях, когда априорно известно, что полезный сигнал f и помеха Sf ортогональны:
А — Ао,
Ak=VjAk_1XJk, к= 1,2,...,
(151)
Далее. Из основного уравнения в методе наименьших квадратов следует, что (хо - решение системы (23)):
Ат^ё - Ахо)=0. (145)
Отсюда, как нетрудно найти, следует, что имеют место равенства
(«(•'), /г - А*о)=0, г = 1,2,...,М, (146)
где асуть векторы-столбцы матрицы А, т.е. что вектор невязки для решения, найденного по методу наименьших квадратов, ортогонален ко всем столбцам матрицы А. Далее естественно ввести и использовать квадратичный функционал
и который при х = хо (решению, получаемому по методу наименьших квадратов) обращается в ноль.
Третья группа объектов, культивируемых в новой теории регуляризации систем линейных алгебраических уравнений, это новые ортогональные преобразования. Точнее, речь идет об ортогональных преобразованиях вида
в которых V/; и Щ суть ортогональные по столбцам матрицы указанного выше вида. Так вот, речь идет о том, что параметры (cosy и sin ip, где у имеет соответствующие индексы) матриц элементарных плоских вращений выбираются совсем по-иному, чем в широко используемых в настоящее время процедурах. В последних (приведение к треугольной или двухдиагональной формам, к трехдиагональной или диагональной формам) параметры вращения выбираются из условия аннулирования некоторого элемента матрицы. В новых процедурах, разработанных В. И. Страховым и А. В. Страховым (см. [Страхов, 1997d, 1997е, 1998d; Страхов, Страхов, 1999b, 1999с, 1999d; Страхов, Тетерин, 1993; Strakhov et al., 1995]), параметры преобразований выбираются из иных условий.
Наиболее важными новыми ортогональными преобразованиями являются:
1) процедура выметания одного столбца в другой;
2) процедура выметания одной строки в другую;
3) процедура раскорреляции данного столбца с данным вектором - за счет преобразования данного столбца с некоторым третьим (опорным);
4) процедура максимизации коэффициента корреляции некоторого (опорного) столбца с заданным -за счет преобразования этого столбца с некоторым третьим,
и ряд других, которые здесь обсуждать не будем, ибо эта тема будет подробно рассмотрена во второй части работы.
Значимость для вычислительной алгебры в целом, а не только для новой теории регуляризации систем линейных алгебраических уравнений, аппарата ортогональных преобразований видна из следующего примера. Пусть ортогональное преобразование (150) при V=E осуществлено таким образом, что выполняются условия
(b{t),fs)= 0, і = 2,3,
,М
(152)
в которых V и и суть ортогональные по столбцам матрицы размеров (Мх]Ч) и (МхМ), соответственно,
(V1), = 0, * = 2,3,.. .,М, (153)
где - векторы-столбцы матрицы В. В этом случае получаем (для системы (2))
С,=ВТВ z=^1\fs)e, г = \]Тх, (154)
Е
X =
а
Е
где
1-
1 1
4
-с
0 М - 1
4
и матрица С = ВТВ имеет следующую структуру
С =
си 0
0 АС
1-
21 ,а 1
4
Т
0 М - 1
4
, ха = Ш.
первая - найти ортогональные по столбцам матрицы V и и, размеров (Мх1Ч) и (МхМ), соответственно, из условия
(155)
УТА и
= тах Е(л) V є Ом, и Є Ом
(160)
где Ом и Ом - множества всех ортогональных по столбцам матриц размеров (МхМ) и (МхМ), со-
(156)
ответственно,
Е(Л)
эвклидова норма матрицы,
Ясно, что решение системы (154) редуцируется к одному уравнению с одним неизвестным
Сц21 = , (157)
которое элементарным образом регуляризуется
(сц + 21,а = /г) , (158)
где а > 0 - параметр. Далее используются соотношения
определенная по элементам, имеющим пары индексов принадлежащих подмножеству 3;
вторая - найти те же самые ортогональные по столбцам матрицы V и \] из условия
УТА и
= тт
Е(СЛ) у є Ом,
и Є Ом
(161)
Поскольку, как хорошо известно [см. Воеводин, Кузнецов, 1984; Марчук, Кузнецов, 1972; Уилкинсон, Райнш, 1976; Фаддеев, Фаддеева, 1963]);
УТА и
А
(162)
(159)
то задачи (160) и (161) эквивалентны; ими определяются такие ортогональные преобразования, которые осуществляют перераспределение эвклидовой нормы матрицы А или выметание А в ,1. Очевидно, наиболее важным является тот случай, когда
Таким образом, использование подходящих ортогональных преобразований позволяет получить весьма эффективный по быстродействию алгоритм, ибо считать матрицу АС вовсе не нужно!
Далее необходимо указать, что в построении целого ряда новых ортогональных преобразований матриц центральную роль играет сформулированная В. Н. Страховым концепция выметания матриц [Страхов, 1997е]. Ее суть в следующем: пусть в множестве всех пар индексов (г,./), 1 < * < N, 1 < j < М; выделено некоторое подмножество J пар индексов (г,]), которое является односвязным 5; через Ш обозначается подмножество пар индексов (г,]), получаемое из полного множества удалением подмножества J (ясно, что ^ уже может не быть связным множеством).
Рассматриваются две задачи:
УТА и
Е(7)
УТА и
А
(163)
т.е. когда осуществляется полное выметание матрицы А на подмножество ,1, так что если УТА11 = В И суть элементы В, то
= (164)
Ясно, что всегда можно выбирать матрицы V и и в форме
у = Пт^,ы.
р
и = Пт*.,ДМ
1 <ір < Зр < ^ (165)
1 < Ч < Зч < М) (166)
5 Множество пар индексов («,.?) можно изображать графически в виде совокупности узлов целочисленной решетки на плоскости. Ясно, что подмножество узлов этой решетки односвязно, если в нем нет изолированных узлов, т.е. таких, что все узлы решетки, смежные к заданному, данному подмножеству не принадлежат.
гДе r^ip,jp{iPp) и СУТЬ матрицы элементар-
ных плоских вращений; при этом параметры вращения у этих матриц определяются в соответствии с основной постановкой - (160) или (161).
Во второй части работы будет подробно рассмотрен ряд конкретных ортогональных преобразований подобного типа.
е =
Е
Е
=
Е
Е
Четвертая группа объектов - итерационные процессы нового типа, порождаемые последовательностями ортогональных преобразований матриц. Здесь существует большое разнообразие возможностей, которые будут подробно рассмотрены во второй части работы.
Наконец, пятая группа объектов - это различного рода функционалы, определяемые:
а) на векторах невязок р^ = /д — Ах^]
б) на приближенных решениях х^к\
§ 5. Обсудим теперь более подробно один из принципиальных элементов новой теории - оценки предельной относительной погрешности приближенных решений х, получаемых по соотношению (134), в котором -К есть некоторая заданная матрица размера (Мх1Ч) (в общем случае 1Ч^М). Предполагается при этом, что точное решение х системы (1) существует.
Элементарные выкладки, в которых сначала используется схема Лаврентьева-Джона (6), с заменой % на -К, и далее очевидные неравенства
|(Е-Э£А)ж|| < ЦЕ-ЖА
\х\
ІАII /у
5 11А1К 11А115
N1 “ ІІ/ІІЕ “ Ц/аЦр-^ 1_??
її =
т\в
приводят к следующему результату
ЦА,£;Э£) < \\Е- Э?А|| +
,2 24 !/2
ИН|< л/2(\\Е -т\\
(168)
<У2(
где
Е-Ш || А || /у
< V* =
ЦАЦе7?
1 — Г)
2x1/2
Е/ ’
(169)
ш(АД Д;Э?) =
вир Ах = /,
*/||Е< <*> Ила11е— л
Очевидно, имеем
ш(АДД;Э?) < ||Е-ЗгА||+1/||зг||< < ||Е — ^ (Ад - ДА) Н+ИМ
= ||Е-э?Ад||+(д + г/)||э?|| = ||Е-згАд||+і/*||зг||
< л/2 (||е-ЖАд||2+(^*)2||*||2)
< У2 (||Е-*Ад||2+(г?*)2||ж||^
1/2
1/2
где положено
IА|| ?7 + (1 - Г])
I Ад || 6 + Д
1 — Т]
<
1 — Т]
1 Ад |
(172)
,<* + А
1 — Т]
Из неравенства (171) следует, что в случае задания аппроксимации (62) системы (1) можно принять, что матрица Ад есть точная матрица, но правая часть /<5 задана с помехой 6/ большей нормы, а именно
М1Е=*'>
(167) гДе
= Ш\
/ V V =
1 + X
> Т]
д
X =
А/
(173)
(174)
(175)
1 — Г)
При этом в (167) и (168) ||-|| суть спектральные нормы матриц, а ||-||Е - эвклидовы нормы матриц.
Далее - пусть известна лишь аппроксимация (62) уравнения (1), т.е. с погрешностью заданы и правая часть, и матрица системы. В этом случае вводится оценочный функционал
Изложенная схема редукции задач нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с приближенно заданными правыми частями и матрицами (помехи чисто аддитивные) к случаю задания аддитивной помехи только в правой части системы безусловно является принципиальной частью новой теории регуляризации систем линейных алгебраических уравнений.
Отметим здесь еще одно важное следствие оценки (171). Ясно, что если матрица А - квадратная, М=М, но вырожденная или очень плохо обусловленная, то тогда разумно перейти от матрицы А к матрице Ад = А + ДА с помощью искусственно введенного возмущения ДА, введенного таким образом, чтобы матрица ДА была уже разумным образом обусловлена. В таком случае, очевидно, разумно выбрать
(176)
(170)
в этом случае оценка предельной относительной погрешности примет вид
и;(А, 6, А; Ж) < //СопсІАд ,
где
Сопеі Ад = II Ад II * IIА
-і I
(177)
(178)
Е
Е
Е
Е
X
Е
г] + Х
1 — Т]’
X =
А
ІАІ
(179)
Cx = ips, С = A A, (ps = A fs,
Bz = fs, В = A R
-і
z = R*,
(181)
(182)
Cz = fs, С = АА
х = A Tz,
(183)
гр
Э?= Э?АТ, а случай систем (183) - если принять
Ш. = ATih
(184)
(185)
Е - 5RA
= mm,
Е ж
(186)
л-1 Ад 2
— min, Е <i Е А 5 Е АА
= А
(187)
Очевидно, в оценке (177)-(179) могут фигурировать либо спектральные, либо эвклидовы норма матриц Ад и Ад1. Ясно, из общих соображений (значение которых будет подробно рассмотрено во второй части работы), что целесообразно ввести следующее условие на вариацию АА матрицы А (в тех случаях, когда вариация осуществляется в целях регуляризации):
||Ад||= ||А||; (180)
при этом наиболее важным практически будет случай, когда в (178), (180) фигурирует эвклидова норма матриц.
Далее ясно, что подобного рода оценки могут быть (и даже обязательно должны быть) использованы и в том случае, когда рассматриваются системы линейных уравнений
и т.д. Расписывание соответствующих оценок предоставляется читателю. При этом ясно, что случай систем (181), равно как и систем
где А2 - априорно заданное число (см. соотношения (62), (65), и (177)—(179)).
Введение новых постановок безусловных и условных экстремальных задач - одна из отличительных черт новой теории регуляризации систем линейных алгебраических уравнений с приближенными данными.
§ 6. Переходим к рассмотрению еще одной принципиальной стороны новой теории регуляризации систем линейных алгебраических уравнений - постановок задач построения регуляризованных алгоритмов в ситуации мультипликативно-аддитивных помех, в простейшем случае - в задании правой части системы, в более общем - в задании как правой части, так и матрицы системы, см. (118), (120)—(121); в этой связи см. работы [Страхов, 1991с1, 1991е, 19911", 199^, 1991Ь, 199Н].
Начнем со случая задания аппроксимации (118), (120)—(121) системы (1). Наша основная цель состоит в том, чтобы установить факт принципиальной редукции задачи к нахождению устойчивого приближенного решения системы типа (2), т.е. к случаю чисто аддитивной помехи.
Пусть, как сказано выше, е8 - суть компоненты диагональной матрицы £. Рассмотрим задачу
является с точки зрения практики особенно важным, о
ибо матрицы С и С - квадратные, размеров (МхМ)
о °
и (МхМ), соответственно, и С = Ст, С = Ст > 0.
Ясно одновременно, что случай систем (181) вписывается в изложенную выше схему, если просто принять в (134)
(Е + £)Д£-Аж е- 7 ^е82 +(^8)
1 = 1
М 2 + С1 + е*')Д<5,г) =
1 = 1
где 7 > 0 - параметр (который, вообще говоря, не имеет смысла параметра регуляризации), а - г-ая вектор-строка матрицы А. Выполняя элементарные дифференцирования по е8 и приравнивая производные нулю, с очевидностью получаем следующие соотношения:
в (185) есть (МхМ)-матрица, а в (134) -К есть (МхМ)-матрица.
Забегая вперед (подробно этот вопрос будет рассматриваться во второй части работы), отметим также, что полученные оценки предельной относительной погрешности позволяют ввести в рассмотрение новые постановки безусловных и условных экстремальных задач, например
Єі =
(a^yX^j
7 + fh.
(189)
и при этих значениях е8
1N
Х)((а«’*)_(1 + Єі)Л-г-е)
І = 1
Р7 (fs.e ~ Аж)
Е
Е
Оу(/і,є - А*)||*, (191)
где Р7 и суть диагональные матрицы с элементами р8-(7) и <^(7), соответственно равными:
Рг(і) =
<иЬ) =
7
1/ь
* = 1,2.........М,
і = 1,2.........N.
Р ,Р{к)
,(*)
2
Е
2
Е
Де - Аї(*) Де - Аї^))
(д,е - аї^))
р
при этом, если величина
є2 =
;=£«?
г = 1
0 < г
шш < £шах < + °°>
г = 1
части системы легко понять, что более общий случай задания и правой части, и матрицы системы с мультипликативно-аддитивной помехой редуцируется к случаю чисто аддитивных помех в задании правой части и матрицы. Это следует из простейшего преобразования аппроксимации (119) к виду
(192)
(193)
где
Ад Вг = ( Е + £ ) /<5
Е + £ = (Е + Б) ^Е + г)
Из (189)—(191) и (192), (193) следует, что если задана аппроксимация (118) системы (1), то фактически имеет место редукция к случаю задания аппроксимации (2), но с одним важным изменением. Именно, и в случае (118) для нахождения устойчивых приближенных решений системы (1) можно использовать алгоритмы, разработанные для аппроксимации (2), но при этом:
а) необходимо иметь априорную информацию как о векторе помехи 6/, так и о диагональной матрице помехи £]
б) в числе основных показателей качества приближенных решений должны использоваться величины:
и £ есть диагональная матрица с элементами
о _ 1 + £,’ 1 + ді
1 + Єі — ді
£і
(199)
(200)
(201)
(194)
(195)
(196)
(197)
априорно известна, то по ней должно определяться, в соответствии с (191), значение 7 = 7& для каждого приближения х^к\ Если же величина е2 неизвестна, а известны лишь оценки для нее сверху и снизу
(198)
то ситуация сложнее - здесь необходимо использовать технику распознавания образов, основанную на совокупности множества показателей качества решения.
Можно, однако, ставить задачу построения оптимальных решений и в случае, когда вообще отсутствует информация о величинах ||<^/||Е и ||£||Е-
Далее. После всего сказанного о случае мультипликативно-аддитивной помехи в задании правой
Все остальное, в свете сказанного в данном параграфе относительно редукции аппроксимации (118) к аппроксимации (2), должно быть читателю достаточно очевидно.
§ 7. Остается лишь высказать некоторые дополнительные соображения по поводу использования методов (алгоритмов) распознавания образов в процессе нахождения искомого устойчивого приближенного решения системы (1), заданной какой-либо аппроксимацией. Признание того, что без использования процедур распознавания в задаче нахождения устойчивых приближенных решений систем линейных алгебраических уравнений большой (тем более -сверхбольшой) размерности обойтись нельзя - принципиально важный элемент новой теории регуляризации, адекватной реальной геофизической практике.
Выше уже по существу было сказано, что распознавание образов может быть (и практически -должно!) использоваться в трех вариантах:
а) в анализе ситуации - нормальная она или аномальная;
б) при нахождении множеств пробных и допустимых приближенных решений;
в) при нахождении искомых - окончательных -приближенных решений на основе использования “принципа усреднения” допустимых решений, в специальной процедуре нахождения весовых коэффициентов Рк.
Фактически процедуры распознавания образов реализуются в двух формах:
1) в форме рангового распознавания;
2) в форме эвристических процедур проверки некоторой совокупности логических условий, обычно - типа равенств и неравенств.
Ранговое распознавание используется в процедурах назначения весов и выделения множеств допу-
£
Е
О
О
о
£
стимых решений. Его суть в следующем. Пусть задано некоторое множество приближенных решений и для него необходимо указать совокупность некоторых характеристических числовых показателей. Например, в задаче сокращения множества пробных решений до множества допустимых решений такими показателями являются числа 1 и 0, 1 - для допустимых решений, 0 - для тех, которые не включаются в число допустимых. Равным образом в задаче нахождения весовых коэффициентов в правиле усреднения (131)—(132) допустимых решений эти коэффициенты и представляют собой характеристические числовые показатели.
Процедура рангового распознавания состоит в том, что вводится так называемое “признаковое пространство”; при этом роль “признаков” выполняют значения различных функционалов на приближенных решениях; обозначим эти функционалы шд,д = 1,2,..., С^, а значения (неотрицательных) функционалов на приближенных решениях х^к\ к = &тт 7 &тт ~\~ 17 • • • 7 ^тах 7 Через СОд (х^ )) = Шд^ • Принимается, что все признаки (функционалы и>д) введены так, что чем меньше значение > О,
тем приближенное решение по данному при-
знаку лучше. Совокупность приближенных решений {х{к)}к-к^ ранжируется по каждому признаку; соответствующие ранги гд изменяются от 1 до
к = (&тах) —^тт 1 • При этом ранг 1 приписывается тому приближенному решению х(к\ для которого
Шд^ = тш, ранг 2 - тому, для которого и>д к = тт ’к ’к из всех остальных приближенных решений, и т.д., смысл процедуры назначения рангов по д-му признаку ясен. Таким образом определяются ранги приближенных решений х(к\ &т;п < к < кшах, по всем признакам д, 1 < д < С^. Далее осуществляется процедура определения для каждого приближенного решения суммарного ранга,
<3
(202)
9=1
Далее по найденным суммарным рангам и осуществляется нахождение характеристических числовых показателей. В задаче выделения допустимых решений назначается некоторое число Сгй, и если выполняется неравенство
Яд^2(к) <СгИ, (203)
то данному приближенному решению сопоставляется характеристический числовой показатель 1, т.е. £(*) считается допустимым решением; если же неравенство (203) места не имеет, то приближенному решению £(*) сопоставляется характеристиче-
ское число 0, т.е. это приближенное решение допустимым не считается.
В задаче же определения весовых множителей в принципе усреднения пробных решений используется формула
-, (204)
Чк
в которой
qk = Rg^2(k). (205)
Теперь относительно процедур распознавания образов, основанных на использовании эвристических процедур проверки совокупности логических
условий. Эти процедуры поясним на важнейшем
примере выделения множеств пробных решений в ситуации, когда либо постоянные в неравенствах (115) неизвестны, либо нарушается условие достаточной близости (^in к <^ах, см. (117). В данных процедурах также используется набор функционалов Sip (ж) > 0, р = 1,2,...,Р, при этом вводятся условия в форме неравенств, выделяющие пробные решения; если
о < C'LAp) < ^р(х{к))< С'Іах(р) < +ОС, (206)
где С^т(р) и С^ах(р) суть заданные постоянные, то приближенное решение £(*) является кандидатом в пробные решения по функционалу Sip (ж). Принимается, что если данное приближенное решение х^ является кандидатом в пробные по заданной доле всех функционалов £!р(ж) (например, оно является кандидатом в пробные не менее чем по 3/4 от общего числа функционалов), то оно причисляется к числу пробных. Критерии останова процедуры нахождения пробных решений с помощью проверки логических условий могут быть различными:
а) уже найдено априорно заданное число пробных решений;
б) подряд для заданного числа приближенных решений ни одно из них не оказалось принадлежащим к числу пробных (после того, как некоторое число пробных решений было уже найдено);
- и т.д., и т.п.
Во второй части работы оба основных подхода к использованию методов распознавания образов в компьютерных алгоритмах нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с приближенными данными будут дополнительно обсуждены.
§ 8. И самое последнее в данном разделе, посвященном изложению основных положений новой теории регуляризации систем линейных алгебраических уравнений с приближенными данными. В § 2 раздела
Рк =
дк
£
1 статьи было проведено классическое определение регуляризующего алгоритма по А. Н. Тихонову, [см. Иванов и др., 1978; Лисковец, 1981; Морозов, 1974, 1987; Танана, 1981; Тихонов, Арсенин, 1979; Тихонов и др., 1985]. В течение достаточно длинного периода (по крайней мере в 60-е-70-е годы) главным в теории линейных некорректных задач было именно доказательство регулярности различных конкретных алгоритмов, [см. Алифанов и др., 1998; Воеводин, 1969; Иванов, 1962, 1966, 1977; Иванов и др., 1978; Лаврентьев, 1955, 1959, 1962; Лисковец, 1981; Лоусон, Хенсон, 1986; Морозов, 1973, 1974, 1987; Танана, 1981]. Однако в дальнейшем было понято, что теоретического обоснования регулярности недостаточно, ибо наличие ошибок округления при реализации регулярных методов на практике может радикально изменять ситуацию. Именно по этой причине в данной статье доказательства регулярности различных обсуждаемых алгоритмов не приводятся6.
В новой теории регуляризации систем линейных алгебраических уравнений с приближенными данными упор делается на других моментах:
1) нахождения достаточно точных и устойчивых приближенных решений систем в условиях большой априорной неопределенности в информации об искомом решении и полезном сигнале, а также помехах;
2) эффективности алгоритмов по быстродействию (что принципиально важно в случае систем большой и сверхбольшой размерности);
3) использовании распознавания образов для выделения допустимых решений и назначении коэффициентов в принципе усреднения допустимых решений.
По указанным причинам во второй части работы при описании конкретных методов проблема собственно регулярности алгоритмов нахождения допустимых решений рассматриваться не будет; этот аспект в рамках новой теории не имеет сколько-нибудь определяющего значения.
4. Классификация основных конструктивных идей, используемых при построении регуляризации систем линейных алгебраических уравнений, разработанных в рамках новой теории
§ 1. В рамках новой теории регуляризации систем линейных алгебраических уравнений с приближен-
6 Например, нетрудно получить следующий результат: если все допустимые решения получены с помощью некоторого регулярного алгоритма, и если при *тах---------► 0 выполня-
ется неравенство
52.
> с > о,
^шах
то тогда алгоритм, основанный на нахождении пробных решений и правиле их усреднения, является регулярным.
ными данными, основные положения которой описаны в предыдущем разделе статьи, было разработано значительное количество конкретных методов (алгоритмов) нахождения приближенных решений систем (1), заданных аппроксимациями (2). При этом разработка методов осуществлялась с учетом следующих основных требований:
1) экономичности, т.е. возможности решения систем большой размерности за приемлемое время на современной персональной вычислительной технике (типа Реп1лит-2 с оперативной памятью размером 256 мегабайт и тактовой частотой 400 мегагерц);
2) устойчивости, т.е. минимального влияния тех ошибок округления, которые с неизбежностью возникают при проведении вычислений.
Совершенно очевидно, в свете всего сказанного в предыдущем разделе, что понятие метод (соответственно - алгоритм) нахождения устойчивого приближенного решения системы (1) по заданной ее аппроксимации (2) включает три основные составные части:
A) метод (алгоритм) нахождения приближенных решений системы (2) по заданным значениям параметров счета;
B) метод (алгоритм) управления процессом нахождения последовательности приближенных решений х(к\ формирование множества пробных и допустимых решений в “нормальных” ситуациях, нахождение итогового решения в таких ситуациях;
C) метод (алгоритм) формирования множеств пробных и допустимых решений в “аномальных” ситуациях, нахождение итогового решения в таких ситуациях.
Ясно, что в некотором смысле определяющим (формирующим) является метод (алгоритм) А.
На первый взгляд кажется, что необходимо дать классификацию отдельно: 1) методов А); 2) методов
В); 3) методов С). Однако гораздо лучше классифицировать не методы, а методообразующие идеи, или конструктивные, на что неоднократно указывал В. Н. Страхов, [см. Страхов, 1996а, 1996Ь, 1996с, 1998а, 1998Ь]. Суть дела здесь в том, что конструктивных (методообразующих) идей существенно меньше, чем методов, ибо последние всегда представляют собой реализацию определенных комбинаций конструктивных идей. Выделение конструктивных идей поэтому можно назвать “анатомией методов”. По указанным соображениям ниже приводится именно классификация конструктивных (методообразующих) идей из методов класса А (нахождения приближенных решений при заданных значениях параметров счета).
§ 2. Конструктивные идеи, комбинации которых образуют методы (здесь рассматриваются только
методы класса А)) можно вводить, исходя их различных соображений. Авторам представляется, что наиболее полезны и понятны три классификации:
I) основанная на степени близости новых конструктивных идей к тем, которые уже давно эксплуатируются в рамках классической теории регуляризации линейных некорректных задач;
II) основанная на оценке степени перспективности (по соображениям полноты учета априорной информации, быстродействия и устойчивости вычислений) ;
III) основанная на том, используются или не используются ортогональные преобразования, и если используются, то какого типа.
§ 3. Начнем с краткого изложения классификации
I). В ней содержится три раздела: 11), 12), 1з).
Конструктивные идеи группы 11) - наиболее близкие по смыслу к тем, которые используются уже много лет в классической теории линейных некорректных задач (см. раздел 1 настоящей статьи). Это суть следующие идеи:
111) использования постановок условных экстремальных задач, основанных на оценках предельной относительной погрешности приближенных решений; здесь искомыми величинами являются элементы матрицы -К, фигурирующие в представлениях (134) приближенных решений, см. § 2 предыдущего раздела статьи;
112) использования расширенных систем линейных алгебраических уравнений 1-го рода; это конструктивная идея кратко описывается ниже, см. следующий параграф;
11 з) использования новых итерационных методов классического типа; здесь речь идет о методах, основанных на допущении о существенной разделенности спектров полезного сигнала и помехи, см. § 8 раздела 1-го статьи; эти методы кратко описываются во второй части работы;
114) использования мультипликативно-аддитивной регуляризации; здесь речь идет о тех конструктивных приемах, которые изложены в § 6 третьего раздела статьи;
115) использования приема получения решений, удовлетворяющих характеристическому уравнению метода наименьших квадратов; здесь речь идет о приеме, описанном в § 4 предыдущего раздела статьи;
116) использования приема введения в классические (и новые) конструкции дополнительного параметра с целью получения возможности использования различных “принципов сохранения”, о которых коротко было сказано в § 5 предыдущего раздела статьи; этот прием коротко описывается в следую-
щем параграфе настоящего раздела.
Конструктивные идеи группы I2) принципиально отличны от идей группы II), они предложены
В. Н. Страховым или совместно В. Н. Страховым и А. В. Страховым в последние 5-6 лет, см. работы [Страхов, 1990а, 1990b, 1991а, 199 lb, 1991с, 1992а, 1992b, 1997d, 1997е, 1997f, 1997g, 1997h; Страхов, Страхов, 1998, 1999а, 1999b, 1999с, 1999d; Страхов, Тетерин, 1991а, 199lb, 1991с, 1993; Strakhov et aL, 1995]. Это суть следующие идеи:
121) использования приема построения последовательности систем малой размерности - на основе процедур ортогональных преобразований исходной системы; это исключительно важная и плодотворная идея подробно описывается во второй части работы;
122) использования приема авторегуляризации; это также очень важная и плодотворная идея, суть которой в том, чтобы в процессе ортогональных преобразований (по ходу процесса преобразований) осуществлять приближенные процедуры выметания матриц; подробно эта идея рассматривается во второй части работы;
123) использования фильтрации системы - удаления из нее, по ходу процесса ортогональных преобразований, неинформативных (либо наименее информативных) строк и столбцов; эта очень важная идея подробно рассматривается во второй части работы;
124) использования так называемой “непараметрической регуляризации” (этот не самый удачный термин введен В. Н. Страховым, впервые предложившим эту идею); в рамках этой конструктивной идеи, в основном относящейся к системам с симметричными положительно полуопределенными и треугольными матрицами, осуществляется процедура уменьшения внедиагональных элементов с одновременным увеличением диагональных элементов; данная идея кратко описывается в следующем параграфе данного раздела статьи;
125) использования приема регуляризации разложения матрицы на треугольные множители; это одна из важнейших конструктивных идей, она рассматривается во второй части работы;
126) использования специального приема регуляризации систем с треугольными матрицами, так называемой “треугольной регуляризации”; эта идея также рассматривается во второй части работы;
127) использования приема ускорения сходимости последовательности приближенных решений; данная конструктивная идея рассматривается во второй части работы;
128) использования приема нахождения устойчивого приближенного решения системы большой размерности на основе построения устойчивого приближенного решения подсистем существенно меньшей
размерности; эта исключительно важная конструктивная идея подробно рассматривается во второй части работы;
12э) использования приближенных линейных аналитических аппроксимаций вектора неизвестных, в которых число параметров существенно меньше размерности искомого вектора; эта конструктивная идея также рассматривается во второй части работы.
Наконец, конструктивные идеи группы 1з) являются в максимальной степени отличными от тех, которые используются в классической теории линейных некорректных задач; эти идеи были предложены В. Н. Страховым и А. В. Страховым в ряде работ, выполненных в 1997-1998 гг., [см. Страхов, Страхов, 1998, 1999а, 1999Ь, 1999с, 1999(1]. Это суть следующие идеи, детальное описание которых дается во второй части работы:
1з1) использования редукции исходной системы к системе с вектором правой части, содержащим всего одну ненулевую компоненту (первую или последнюю), при этом редуцирование в обязательном порядке включает ортогональное преобразование либо исходной, либо вспомогательной матрицы, на которую потом умножаются обе части исходной системы;
1зг) использования редукции исходной системы к последовательности двух уравнений с одним неизвестным; данная редукция также в существенном основывается на использовании ортогональных преобразований;
133) использование приема редукции исходной системы к одному уравнению с одним неизвестным; эта идея в сжатой форме изложена в § 4 предыдущего раздела данной статьи, и из этого изложения ясно, что здесь также основную роль играют ортогональные преобразования;
134) использования итерационных процессов нового типа,основанного на корреляционных преобразованиях столбцов матрицы А;
1зб) использования итерационных процессов нового типа, основанных на ортогональных преобразованиях, изменяющих некоторое отношение эвклидовых норм парциальных векторов первого столбца матрицы.
Итак, общее число новых конструктивных идей класса А), используемых в рамках новой общей теории регуляризации систем линейных алгебраических уравнений с приближенно заданной правой частью (случай чисто аддитивной помехи) равно 20, из них только 6 имеют достаточно очевидную связь с конструктивными идеями классической теории регуляризации линейных некорректных задач. В следующей части работы будет приведено достаточно детальное описание 14 из этих идей.
§ 4. Итак, приведем краткие описания трех новых конструктивных идей: I12), lie) и I24) по первой классификации.
Конструктивная идея I12) - использование расширенных регуляризованных систем первого рода. Ее суть в том, что система (22), возникающая в классическом вариационном методе регуляризации А. И. Тихонова, может рассматриваться как первая трансформация Гаусса следующей системы:
где
г„ =
А
л/аТ1
t
N
4
Fs =
t
Р
4
fs t N 4
t
0 Р
4
(207)
(208)
Иначе говоря, система (22) порождается следующей задачей наименьших квадратов:
2
F s Faxc
= mm
Е Ха
(209)
- при фиксированном значении параметра а.
Из сказанного следует два вывода: во-первых, вариационный метод А. Н. Тихонова действительно представляет собой реализацию некоторого варианта метода наименьших квадратов - для расширенной системы (207), которую естественно назвать расширенной регуляризованной системой 1-го рода;
во-вторых, решение системы (207) при заданном а > 0 может быть найдено большим числом методов (алгоритмов), как прямых, так и итерационных.
При нахождении решений систем (207) возможно использование различного рода ортогональных преобразований, приводящих ее к максимально простому виду. Читателю рекомендуется рассмотреть возникающие возможности самостоятельно.
Конструктивная идея lie) - введения дополнительных параметров в целях использования тех или иных “законов сохранения” для возмущенных матриц.
Простейший пример реализации этой идеи: переход от уравнения (10) к уравнению
А-афХа,{3 — -)- Da -Ь (l /3) (А ^ — f$.
0*10)
Здесь /3, 0 < [3 < 1, суть новый (дополнительный) параметр, Da - диагональная матрица, элементы которой di = ац - диагональным элементам матрицы А. Ясно, что:
1) система (210) эквивалентна более простой, в вычислительном плане, системе
“ -S + -Н—;Da + А]ха = (211)
1-/3 1-/3
1-/3’
2) возможно использовать следующие соотношения между характеристиками матриц Аа>р и А:
А
а,(3
М
А
м
(212)
(213)
І = 1
І = 1
АТА
(1-/3)
А А - Б
АТА
Т
(214)
= (р,5 = А /«5
А.
а,(3%а,(3
— и 1 + а)Од + А^
/З I сх,(3
= /<Ь (215)
где а > 0 параметр, Од = diagaг' А/з = А £,
(216)
и А^з есть матрица с нулевой диагональю, элементы которой определены через внедиагональные элементы aij матрицы А и параметр /3, 0 < /3 < 1 :
;(/?) =
(217)
а также некоторых других. Соотношения (212) и (213) и выражают “законы сохранения”.
Ясно, что “законы сохранения” позволяют фактически сократить число параметров счета с двух (а,/3) до одного - а или /3; при этом могут возникнуть некоторые дополнительные условия на допустимые значения параметров а и /3.
Ясно, что подобного рода конструкции могут быть использованы и в случае уравнения (22); имеется в виду переход к уравнению
(1 -Р)с
если а8-^ > (1 — /3) тах ,
і,3,
і Ф 3
о-і^, если іфо,
/^тах | I ^ К,і|< (1 /3) Шах |
ьз, і Ф 3
О, если і ф і, І а* ^ I < /3 тах І аг- ^ I.
і,3,
і Ф 3
Ясно, что и в рамках данной конструкции возможно использование “законов сохранения”:
А
а,(3
А
а также и в других методах. Более подробное рассмотрение этих возможностей предоставляется читателю.
Конструктивная идея 124) - идея использования “непараметрической регуляризации” . (Как уже сказано выше, предложенный В. Н. Страховым термин “непараметрическая регуляризация” [Страхов, 19971], которым подчеркивается отличие данной конструкции от классических, в котором вводимый параметр возникает при решении некоторой условной экстремальной задачи методом множителей Лагранжа, не является очень удачным; но он достаточно краток, уже экплуатируется и неясно, каким кратким термином его заменить.)
Отправная позиция идеи “непараметрической регуляризации” в случае систем (1)-(2) с А = Ат > О та же, что и в методе М. М. Лаврентьева - необходимо усилить диагональные элементы системы. Поэтому в методе непараметрической регуляризации используются два взаимодополняющих приема:
во-первых, уменьшения внедиагональных элементов;
во-вторых, усиления диагональных элементов.
В случае систем (2) с А = Ат > 0 “непараметрическая регуляризация” состоит в переходе к регуля-ризованной системе
ЪрАаф = БрА,
(218)
(219)
позволяющие переити от двух параметров счета (а,/3) к одному - а или /3, с возможным введением дополнительных ограничений на значения параметров.
Практически весьма важно, что описанная конструкция “непараметрической регуляризации” элементарным образом переносится на случай систем линейных уравнений (1) и (2) с треугольными матрицами А - верхней или нижней, при ац > 0.
Действительно, соотношения (217) и (218)—(219) и в этом случае (в (217) следует принимать i — j > 0) могут быть оставлены в силе. При этом мотивация идеи непараметрической регуляризации в случае треугольной А основывается на хорошо известной оценке эвклидовой нормы обратной матрицы, см. [Лоусон, Хенсон, 1986], стр. 197. В случае верхней треугольной А эта оценка имеет вид:
А
-і
„ м
Р - ^ а2 ’
Е ,-=1 аа
(220)
где Ці выражаются соотношениями
ц\ — 1 ? — (1-І-сг'_і) Ці—і 2Сі—і,
г = 2, 3......М, (221)
Е
Е
а
Е
Е
причем
max а*
j,j>i
(222)
§ 5. В § 3 данного раздела была приведена первая из трех возможных классификаций 20 новых конструктивных идей. В настоящем, заключительном, параграфе раздела кратко описываются две другие классификации этих 20 конструктивных идей.
Вторая классификация (II). Напомним, что это классификация по степени перспективности (эффективности) конструктивных идей. Она включает подразделение идей также на три группы:
- Hi) наиболее перспективных идей;
- II2) перспективных идей;
- Из) наименее перспективных идей.
К группе Hi) относятся идеи (по первой классификации) :
113), I21), I22), I25), I33), I35)•
К группе II2) относятся идеи:
I12), I15), I23), I24), 1гв)j I29), I31), I32), I34)•
Наконец, к группе Из) относятся идеи:
111); Il4), lie)j I26)7 I27)-
Третья классификация (III) (основанная на том, используются в реализации этой идеи ортогональные преобразования, или нет). Она, естественно, включает подразделение идей на две группы:
1111) ортогональные преобразования используются;
1112) ортогональные преобразования не используются.
К группе IIIi) относятся идеи (по первой классификации) :
114), I21), I22), I23), I31), I32), I33), I34), I35)•
К группе III2) относятся идеи:
In), I12), I13), I15), lie)j I24), I25), 1ге)j I27), 1гв)j I29) -
Читатель безусловно обратит внимание на тот факт, что в группе IIIi) число наиболее перспективных и перспективных идей больше, чем в группе ш2 ), хотя их общие численности одинаковы. Здесь четко просматривается тот уже упоминавшийся факт, что в новой теории регуляризации систем линейных алгебраических уравнений ортогональные преобразования играют существенно большую роль, чем в классической.
Заключение
Главная цель настоящей статьи (первой части работы) состоит в том, чтобы изложить основы классической теории регуляризации систем линейных алгебраических уравнений с приближенными данными - с одной стороны, и основы новой теории
регуляризации линейных систем (созданной трудами В. Н. Страхова, частично в соавторстве, см. [Страхов, 1990а, 1990b, 1991а, 199 lb, 1991с, 1992а, 1992b, 1997с, 1997d, 1997е, 1997f, 1997g, 1997h, 1998d, 1998e; Страхов, Страхов, 1998, 1999a, 1999b, 1999c, 1999d; Страхов, Тетерин, 1991a, 1991b, 1991c, 1993; Strakhov et al., 1995]) - с другой, и продемонстрировать тот факт, что новая теория существенно более адекватна реальной геофизической практике, что она гибче и богаче классической теории. Вместе с тем материал данной статьи является сугубо вводным, только в следующих частях будет в полном объеме продемонстрирована суть основных новых методов (алгоритмов) построения пробных и допустимых решений, а также важнейшая, с точки зрения гравиметрии и магнитометрии, общая идея использования аппроксимационного подхода в целом, и конкретно - методов редуцирования аппрок-симационных постановок к нахождению устойчивых приближенных решений систем линейных алгебраических уравнений с приближенными данными, и к демонстрации эффективности аппроксимационного подхода на модельных и практических примерах.
Литература
Алифанов О. М., Румянцев С. В., Об устойчивости итерационных методов решения линейных некорректных задач, Докл. АН СССР, 242, (6), 1289-1291, 1978.
Алифанов О. М., Румянцев С. В., Регуляризирующие итерационные алгоритмы для решения обратных задач теплопроводности, Инж.-физ. журн., 39, (2), 253258, 1980.
Алифанов О. М., Артюхин Е. А., Румянцев С. В., Экстремальные методы решения некорректных задач, 286 с., Наука, Москва, 1998.
Альберт А., Регрессия, псевдоинверсия и рекуррентное оценивание, Наука, Москва, 1977.
Бакушинский А. Б., Методы решения монотонных вариационных неравенств, основанные на принципе итерационной регуляризации, Журн. выч. математики и мат. физики, 176, 1350-1362, 1977.
Бакушинский А. Б., Страхов В. Н., О решении некоторых интегральных уравнений 1-го рода методом последовательных приближений, Журн. выч. математики и мат. физики, 8, (1), 181-185, 1968.
Вайникко Г. М., Методы решений линейных некорректных задач в гильбертовых пространствах, 111 с., Изд-во Тартус. ун-та, Тарту, 1982.
Васильев Ф. П., Якимович М. Д., Об итеративной регуляризации метода условного градиента и метода Ньютона при неточно заданных исходных данных, Докл. АН СССР, 250, (2), 165-269, 1980.
Воеводин В. В., О методе регуляризации, Журн. выч. математики и мат. физики, 9, (3), 673-675, 1969.
а =
а
Воеводин В. В., Кузнецов Ю. А., Матрицы и вычисления, 318 с., Наука, Москва, 1984.
Гилязов С. Ф., Об устойчивом решении линейных операторных уравнений 2-го рода методом наискорейшего спуска, Вестн. МГУ, сер. Выч. .математика и кибернетика, 4, (3), 26-37, 1980.
Емелин И. В., Красносельский М. А., Правило останова в итерационных процедурах решения некорректных задач, Автоматика и телемеханика, (2), 59-63, 1978.
Иванов В. К., О линейных некорректных задачах, Докл. АН СССР, 145, (2), 270-272, 1962.
Иванов В. К., О приближенном решении операторных уравнений первого рода, Журн. выч. математики и мат. физики, 6, (6), 1089-1094, 1966.
Иванов В. К., Некоторые вопросы оценок устойчивости при решении некорректных задач, Неклассические методы в геофизике, с. 45-53, Новосибирск, 1977.
Иванов В. К., Васин В. В., Танана В. П., Теория линейных некорректных задач и ее приложения, 206 с., Наука, Москва, 1978.
Кобрунов А. И., О методе оптимизации при решении обратной задачи гравиразведки, Нзв. АН СССР, Физика Земли, (8), 73-78, 1978.
Кобрунов А. И., К вопросу об интерпретации аномальных гравитационных полей методом оптимизации, Нзв. АН СССР, Физика Земли, (10), 67-78, 1979.
Кобрунов А. И., О классах оптимальности решения обратной задачи гравиразведки, Нзв. АН СССР, Физика Земли, (2), 100-107, 1982.
Кобрунов А. И., Разрешимость и эквивалентность в обратной задаче гравиразведки для нескольких плот-ностных границ, Нзв. АН СССР, Физика Земли, (5), 67-75, 1983.
Кобрунов А. И., Экстремальные классы в задачах гравиметрии и их использование при построении плот-ностных моделей геологических сред, Дне. ... д-ра физ.-мат. наук, 439 с., Ивано-Франковск, 1985.
Лаврентьев М. М., О задаче Коши для уравнения Лапласа, Докл. АН СССР, 102, (2), 205-206, 1955.
Лаврентьев М. М., Об интегральных уравнениях первого рода, Докл. АН СССР, 127, (1), 31-33, 1959.
Лаврентьев М. М., О некоторых некорректных задачах математической физики, Наука, Новосибирск, 1962, 91с.
Лисковец О. А., Вариационные методы решения неустойчивых задач, 343 с., Наука и техника, Минск, 1981.
Лоусон Ч., Хенсон Р., Численное решение задач метода наименьших квадратов, 232 с., Наука, Москва, 1986.
Марчук Г. И., Кузнецов Ю. А., Итерационные методы и квадратичные функционалы, Наука, Новосибирск, 1972.
Морозов В. А., Об устойчивых методах решения систем линейных алгебраических уравнений, Вычислительные методы линейной алгебры, с. 57-62, Изд-во СО АН СССР, Новосибирск, 1973.
Морозов В. А., Регулярные методы решения некорректно поставленных задач, 360 с., МГУ, Москва, 1974.
Морозов В. А., Регулярные методы решения некорректно поставленных задач, 239 с., Наука, Москва, 1987.
Оганесян С. М., Старостенко В. И., О корректности по-
становок задач геофизики, представленных в виде систем уравнений, и итерационных методах их решения, Нзв. АН СССР, Физика Земли, (8), 54-64, 1978.
Румянцев С. В., Способы учета априорной информации в регуляризирующих градиентных алгоритмах, Ннж,-физ. журн., 49, (6), 932-936, 1985.
Рязанцева И. П., Регуляризация уравнений с аккретив-ными операторами методом последовательного приближения, Сиб. мат. журн., 21, (1), 223-226, 1978.
Савр Л. Э., Класс итерационных методов для линейных некорректных самосопряженных задач в гильбертовом пространстве, Докл. АН СССР, 278, (5), 10661070, 1984.
Страхов В. Н., Теория приближенного решения линейных некорректных задач в гильбертовом пространстве
и ее использование в разведочной геофизике, I, Нзв АН
СССР, Физика Земли, (8), 1968а.
Страхов В. Н., Теория приближенного решения линейных некорректных задач в гильбертовом пространстве и ее использование в разведочной геофизике, II, Нзв АН СССР, Физика Земли, (9), 1968Ь.
Страхов В. Н., О методе последовательных приближений для линейных уравнений в гильбертовом пространстве, Журн. выч. математики и мат. физики, 13, (4), 1041-1044, 1973а.
Страхов В. Н., К вопросу о скорости сходимости в методе простой итерации, Журн. выч. математики и мат. физики, 13, (6), 1602-1606, 1973Ь.
Страхов В. Н., Об устойчивых методах решения линейных задач геофизики, Ч. I, Постановки и основные конструктивные идеи, Нзв. АН СССР, Физика Земли, (8), 1990а.
Страхов В. Н., Об устойчивых методах решения линейных задач геофизики, Ч. II, Основные алгоритмы, Нзв. АН СССР, Физика Земли, (9), 1990Ь.
Страхов В. Н., Алгебраические методы в линейных задачах гравиметрии и магнитометрии. Основные идеи, Докл. АН СССР, 319, (1), 143-146, 1991а.
Страхов В. Н., Алгебраические методы в линейных задачах гравиметрии и магнитометрии. Постановки экстремальных задач, Докл. АН СССР, 319, (2), 342-346, 1991Ь.
Страхов В. Н., Метод фильтрации систем линейных алгебраических уравнений - основа для решения линейных задач гравиметрии и магнитометрии, Докл. АН СССР, 320, (3), 595-600, 1991с.
Страхов В. Н., Обработка геофизической информации при мультипликативно-аддитивных помехах, Докл. АН СССР, 319, (3), 599-603, 1991с1.
Страхов В. Н., Решение линейных задач геофизики при мультипликативно-аддитивных помехах, Докл. АН СССР, 319, (4), 845-848, 1991е.
Страхов В. Н., Решение линейных задач гравиметрии и магнитометрии вариационным и структурно-параметрическим методами при мультипликативно-аддитивных помехах в экспериментальной информации, Докл. АН СССР, 319, (6), 1361-1365, 1991Г
Страхов В. Н., Обработка геофизической информации в случае мультипликативно-аддитивных помех при неизвестной дисперсии мультипликативной компоненты,
Докл. АН СССР, 320, (1), 82-84, 1991^.
Страхов В. Н., Решение задач геофизики редуцируемых к линейным интегральным уравнениям первого рода при мультипликативно-аддитивных помехах во входных данных, Докл. АН СССР, 320, (2), 307-310, 199111.
Страхов В. Н., Решение линейных задач гравиметрии и магнитометрии при мультипликативно-аддитивных помехах, Докл. АН СССР, 320, (5), 1114-1116, 19911.
Страхов В. Н., О линейных некорректных задачах гравиметрии и магнитометрии, Условно-некорректные задачи математической физики и анализа, с. 176-204, Наука, Новосибирск, 1992а.
Страхов В. Н., Алгоритмы редуцирования и трансформации аномалий силы тяжести, заданных на физической поверхности Земли, Интерпретация гравитационных и магнитных полей, с. 4-82, Наукова думка, Киев, 1992Ь.
Страхов В. Н., Основные направления развития теории и методологии интерпретации геофизических данных на рубеже XXI столетия, Ч. 1, Геофизика, (3), 9-18, 1995а.
Страхов В. Н., Основные направления развития теории и методологии интерпретации геофизических данных на рубеже XXI столетия, Ч. 2, Геофизика, (4), 10-20, 1995Ь.
Страхов В. Н., Геофизика и математика, Изв. РАН, Физика Земли, (12), 4-23, 1995с.
Страхов В. Н., Методологические проблемы теории и практики интерпретации данных в прикладной геофизике, Вопросы методологии интерпретации геофизических данных в прикладной геофизике, с. 4-20, ОНФЗ РАН, Москва, 1996а.
Страхов В. Н., Методологические особенности интерпретации данных гравиразведки и магниторазведки, Вопросы методологии интерпретации геофизических данных в прикладной геофизике, с. 110-123, ОНФЗ РАН, Москва, 1996Ь.
Страхов В. Н., Развитие общей теории интерпретации геолого-геофизических данных, Основные достижения ОИФЗ РАН за 1992-1996 гг., Т 1, с. 48-53, ОНФЗ РАН, Москва, 1996с.
Страхов В. Н., Общая схема и основные итоги развития теории и практики интерпретации потенциальных полей в СССР и России в XX веке, Развитие гравиметрии и магнитометрии в XX веке, с 98-120, ОИФЗ РАН, Москва, 1997а.
Страхов В. Н., Третья парадигма в теории и практике интерпретации потенциальных полей (гравитационных и магнитных аномалий), Ч. I, Вестн. ОГГГГН РАН, #1(1), с. 163-198, 1997Ь.
Страхов В. Н., Третья парадигма в теории и практике интерпретации потенциальных полей (гравитационных и магнитных аномалий), Ч. II, Вестн. ОГГГГН РАН, #2(2), с. 55-82, 1997с.
Страхов В. Н., Общая теория нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с приближенно заданными правыми частями и матрицами, возникающих при решении задач геофизики, Вопросы теории и практики геологической интерпретации гравитационных и магнитных
и электрических полей, с. 38-42, ОИФЗ РАН, Москва, 1997(1.
Страхов В. Н., Математический аппарат, используемый при конструировании алгоритмов нахождений устойчивых приближенных решений систем линейных алгебраических уравнений, возникающих в задачах гравиметрии и магнитометрии, Вопросы теории и практики геологической интерпретации гравитационных и магнитных и электрических полей, с. 43-75, ОИФЗ РАН, Москва, 1997е.
Страхов В. Н., Экстремальные задачи, непараметрическая регуляризация и фильтрация теории нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с приближенно заданными правыми частями и матрицами, Вопросы теории и практики геологической интерпретации гравитационных и магнитных и электрических полей, с. 76-86, ОИФЗ РАН, Москва, 1997Г
Страхов В. Н., Обобщенные (^К-алгоритмы нахождения устойчивых приближенных решений систем линейных алгебраических уравнений с приближенно заданной правой частью, возникающие при решении линейных задач гравиметрии и магнитометрии, Вопросы теории и практики геологической интерпретации гравитационных и магнитных и электрических полей, с. 87-89, ОИФЗ РАН, Москва, 1997g.
Страхов В. Н., Линейные задачи гравиметрии и магнитометрии в постановках, адекватных геофизической практике, Вопросы теории и практики геологической интерпретации гравитационных и магнитных и электрических полей, с. 89-104, ОИФЗ РАН, Москва, 199711.
Страхов В. Н., Современное состояние и перспективы развития теории интерпретации гравитационных и магнитных аномалий, Вопросы теории и практики геологической интерпретации гравитационных, магнитных и электрических полей, с. 4-35, Воронеж, 1998а.
Страхов В. Н., Взгляд в будущее (перспективы развития теории интерпретации геофизических данных в начале XXI века), III Междунар. конф. “Новые идеи в науках о Земле”, Избр. докл., МГГА, с 39-50, Москва, 1998Ь.
Страхов В. Н., Г. А. Гамбурцев - один из основоположников гравиразведки, Григорий Александрович Гамбурцев: Воспоминания, очерки, статьи, с 153-176, ОИФЗ РАН, 1998с.
Страхов В. Н., Третья парадигма в теории и практике интерпретации потенциальных полей (гравитационных и магнитных аномалий), Ч. III, Вестн. ОГГГГН РАН, #1(3), с. 100-152, 1998(1.
Страхов В. Н., Что делать? (О развитии гравиметрии и магнитометрии в России в начале XXI века), 24 с., ОИФЗ РАН, Москва, 1998g.
Страхов В. Н., Страхов А. В., О регуляризации метода наименьших квадратов, Геофиз. журн., (6), 18-38, 1998.
Страхов В. Н., Страхов А. В., О нахождении устойчивых приближенных решений систем линейных алгебраических уравнений большой и сверхбольшой размерности,
возникающих в линеиных задачах гравиметрии и магнитометрии, с. 194-213, Наст, сб., 1999а, (в печати).
Страхов В. Н., Страхов А. В., О решении линейных задач гравиметрии и магнитометрии, Геофиз. журн., 1999Ь, (в печати).
Страхов В. Н., Страхов А. В., Обобщения метода наименьших квадратов и регуляризованные алгоритмы нахождения устойчивых приближенных решений систем линейных алгебраических уравнений, возникающих при решении задач геофизики, I, Геофиз. журн., 1999с, (в печати).
Страхов В. Н., Страхов А. В., Обобщения метода наименьших квадратов и регуляризованные алгоритмы нахождения устойчивых приближенных решений систем линейных алгебраических уравнений, возникающих при решении задач геофизики, II, Геофиз. журн., 1999с1, (в печати).
Страхов В. Н., Тетерин Д. Е., Линейные трансформации гравитационных и магнитных аномалий в случае многоэлементных съемок при произвольных сетях наблюдений, Докл. АН СССР, 318, (3), 572-576, 1991а.
Страхов В. Н., Тетерин Д. Е., Метод авторегуляризации при решении задач линейных трансформаций гравитационных и магнитных аномалий, Докл. АН СССР, 318, (4), 867-871, 1991Ь.
Страхов В. Н, Тетерин Д. Е., О методе авторегуляризации для решения линейных задач гравиметрии и магнитометрии, Докл. АН СССР, 318, (4), 871-874, 1991с.
Страхов В. Н., Тетерин Д. Е., О методах сингулярных разложений матриц, Деи. в ВИНИТИ, ф 1915-93, 1993.
Танана В. П., Методы решения операторных уравнений, 155 с., Наука, Москва, 1981.
Тихонов А. Н., Об устойчивости обратных задач, Докл. АН СССР, 39, (5), 195-198, 1943.
Тихонов А. Н., О решении некорректно поставленных задач и методе регуляризации, Докл. АН СССР, 151, (3), 501-504, 1963а.
Тихонов А. Н., О решении некорректно поставленных задач и методе регуляризации, Докл. АН СССР, 153, (1), 49-52, 1963b.
Тихонов А. Н., О некорректных задачах линейной алгебры и устойчивом методе их решения, Докл. АН СССР, 163, (3), 591-594, 1965.
Тихонов А. Н., Арсенин В. Я., Методы решения некорректных задач, 286 с., Наука, Москва, 1979.
Тихонов А. Н., Гончарский А. В., Степанов В. В., Яго-ла А. Г., Регуляризующие алгоритмы и априорная информация, 198 с., Наука, Москва, 1985.
Уилкинсон Дж., Райнш К., Справочник алгоритмов на языке Алгол, Линейная алгебра, 248 с., Машиностроение, Москва, 1976.
Фаддеев Д. К., Фаддеева В. Н., Вычислительные методы линейной алгебры, Изд. 2-е, 734 с., Физматгиз, М.;Л., 1963.
Strakhov V. N., Vorontsov S. V., Seku Т., Linear inv er-sions in helio-seismology: testing new regularisation techniques for linear algebraic equations, Cong’94 Helion- and Astero-Seismology, ASP Conf. Ser., Vol. 76, 1995.
(Поступила в редакцию 15 апреля 1999.)
