Решение задачи наименьших квадратов на основе метода расширенной системы уравнений с разреженной матрицей Текст научной статьи по специальности «Математика»

УДК 517.929

РЕШЕНИЕ ЗАДАЧИ НАИМЕНЬШИХ КВАДРАТОВ НА ОСНОВЕ МЕТОДА РАСШИРЕННОЙ СИСТЕМЫ УРАВНЕНИЙ С РАЗРЕЖЕННОЙ МАТРИЦЕЙ

© 2008 О. В. Зотеева Самарский государственный аэрокосмический университет

Рассматривается решение задачи наименьших квадратов. Проводится постановка собственно задачи наименьших квадратов, ее решение с помощью прямого проекционного метода (МММ) и предлагается преобразование ее к эквивалентной задаче решения расширенной системы линейных уравнений (СЛАУ) с применением соответствующих модификаций МММ. А также проводится сравнение МММ и метода нормальных уравнений - сравниваются затраты объема оперативной памяти и количества арифметических операций для обоих методов. Рассматривается использование методов для разреженной матрицы общего вида и приводится сравнительная таблица затрат.

Разреженная матрица, расширенная система, прямой проекционный метод, заполнение

Введение

Мостроение математических моделей многих практических задач приводит к возникновению СЛАУ с матрицами больших размерностей, причем зачастую большинство элементов этих матриц - нулевые. Наглядный пример этого - решение уравнений с частными производными методом конечных разностей.

Лри наличии большого количества нулевых элементов очевидна целесообразность хранения только ненулевых элементов, что ведет к сокращению затрат, а именно: объема памяти, количества арифметических операций и, следовательно, общего времени выполнения задачи. Сведение к минимуму вышеперечисленных затрат обеспечивает наибольшую эффективность и наименьшую стоимость задачи в целом.

Для решения СЛАУ с разреженной матрицей чаще всего используются как прямые, так и итерационные методы. В данной статье предлагается использовать МММ и преобразовать задачу наименьших квадратов к эквивалентной задаче решения расширенной СЛАУ.

Постановка задачи наименьших квадратов

Рассмотрим произвольную СЛАУ.

Ax = Ь ,

где A е RnXm, n > m , rank(A) = m, x e Rm, b e Rn.

Решение (1) находится как x* = Arg min || Ax - bl2, (2)

где x* e Rm , II!2 - евклидова норма вектора.

Таким образом, фактически целью решения задачи наименьших квадратов является получение наименьшей невязки, что обеспечивает наибольшую точность решения.

Метод нормальных уравнений

Задачу наименьших квадратов решают обычно методом нормальных уравнений.

Метод нормальных уравнений состоит из следующих двух этапах:

- левая и правая части равенства (1) домножаются на AT слева, находится матрица ATA. Производится разложение полученной матрицы методом Холесского:

ATA = UTU, (3)

где U - верхнетреугольная матрица.

После получения ATA положим:

ATAx = ATb (4)

ATA = C (5)

(1) ATb = f, (6)

Тогда, подставив (5) и (6) в (4), полу-

+1 - СмУ г )

чим

Сх = /.

(7)

(1 А1 (у 1 ' ьЛ

АТ V о ^ 1 х0 0 V /

Р+, = Р -

г£1 с1Р

Р0 = Е

ю,

(11)

г+1

, Уо = 0

(12)

Разложив матрицу С на множители Холесского, получим

С = иТи, (8)

где и - верхнетреугольная матрица.

Модставим (8) в (7) и решим систему

иТих = /, (9)

для чего представим, что их = У, иТУ = /, то есть решим полученную систему (9) методом прямой подстановки и обратной подстановки.

Мреимуществом метода является то, что работа ведется не со всей матрицей, а только с ее частью, полученной путем разложения.

Заполнение - это появление новых ненулевых элементов в матрице коэффициентов.

Основной недостаток метода нормальных систем - в большинстве случаев происходит заполнение, что ведет к дополнительным затратам оперативной памяти и арифметических операций. А также недостаток заключается в том, что число обусловленности матрицы А возводится в квадрат.

Прямой проекционный метод

Рассмотрим систему

(10)

где

Е - единичная матрица размера п хп,

А - исходная матрица, у - невязка решения, х - вектор решения,

Ь - вектор правых частей уравнений,

О - нулевая матрица размера т х т .

Вычислительные формулы для МММ приводятся ниже:

где Р =[^1(г)...^^]е □ рхр, р = п + т,

Ю+1 = ^¿+1, г = 0,1...р - ^ СГ+1 - строки матрицы С .

Модификация ППМ для решения задачи наименьших квадратов

Мреобразование задачи наименьших квадратов к расширенной СЛАУ с разреженной матрицей приводит к увеличению размерности исходной задачи, а увеличение размерности влечет в свою очередь трудности вычислительного характера. Мо-этому разработана соответствующая модификация МММ.

Благодаря специальной структуре матрицы расширенной СЛАУ и векторов МММ в расширенной системе из р = п + т уравнений п решаются аналитически. Это означает, что удается заранее вычислить значения первых п векторов и указать структуру векторов на последующих шагах алгоритма.

Мредположим, что для главных миноров матрицы С выполняются условия:

ёйС, Ф 0, "г = 1,2,...,р , р = п + т .

Обозначим V? =( ™)Т, у,=( г„ х, )Т е □ р,

где д(г), г, е □ п, 1, х, е □ т, г = 0,1,...р - 2,

ок0 =~ак, 40) = ек, к = 0,1,...т, У0 = 4.

Молученный вариант алгоритма МММ для решения регуляризованных задач наименьших квадратов реализуется в формулах (13) и (14):

а +1)

,(г+1) ,0) ,+1ч 1 Л,)

1

г+1 ’

(13)

г+1

где

хг+1 = аТ+10(г+1), г = 0,1,...т - 2,

1 = г + 2,г + 3,...т ,

Уг+1 = У

а+1Гг у(г) г+15

(14)

где г = 0,1,...т -1.

Рассмотренные формулы применительно к методу расширенных систем позволяют избежать ненужных п первых шагов, что существенно сокращает число операций, затрачиваемых на решение задачи, а также объем оперативной памяти, затрачиваемый на промежуточные действия.

Таким образом, в разреженной матрице хранится наименьшее число элементов, отличных от нуля. Очевидно, затраты памяти и вычислительных операций еще более сократятся, что повлечет уменьшение затрачиваемой памяти и времени на выполнение работы.

Пример применения ППМ и сравнение его с методом нормальных систем

Рассмотрим матрицу А :

^х х х х хЛ х х х х х х х х х х х х х х х

У

А =

содержащую определенные элементы.

На первом этапе метода нормальных уравнений получим верхнетреугольную матрицу и размером т хт :

и

х х х х х

х х х х

х х х

х х х

/

а, решая задачу МММ для расширенных матриц, получим матрицу г размером т хт , но следующего вида:

х х х х г = х х

х х х

В таблице 1 сравниваются объемы затрат памяти и число арифметических операций двух рассмотренных в работе методов.

Мы видим, что заполнение для таких матриц в методе расширенных систем гораздо меньше, чем в методе нормальных уравнений. Таким образом, можно сделать вывод, что метод расширенной системы уравнений гораздо эффективнее метода нормальных уравнений.

Таблица 1

Метод Число арифметических операций Оперативная память

Метод нормальных уравнений т3 _ + 2пт 3 т +1 т 2

МММ для решения расширенных СЛАУ т3 3 2 2 +—пт -т 3 2 т +1 т 4

Заключение

В статье рассмотрен прямой проекционный метод применительно к задаче наименьших квадратов. Его модификация для данной задачи с учетом разреженности расширенной системы позволяет существенно сократить количество шагов алгоритма, а

также уменьшить объемы затрачиваемой оперативной памяти и арифметических операций. Этот факт существенно упрощает решение задачи и уменьшает время поиска ее решения, что является довольно существенным преимуществом, так как чаще всего на практике требуется решить задачу АХ = В, где А, X, В - это матрицы, а задача

Ах = Ь - это часть задачи нахождения неизвестной матрицы Х.

Сравнение прямого проекционного метода с методом нормальных уравнений показало, что МММ требует для решения задачи объемы затрат в разы меньше, чем метод нормальных уравнений.

Таким образом, можно сделать вывод о том, что прямой проекционный метод, модифицированный для решения задачи наименьших квадратов, обладает неоспоримыми преимуществами по сравнению с другими часто используемыми методами.

Благодарности

Работа выполнена при поддержке гранта для молодых исследователей НОЦ №14

«Математические основы дифракционной оптики и обработки изображений».

Список литературы

1. Голуб, Дж., Ван Лоун, Ч. Матричные вычисления [текст] / Дж. Голуб, Ч. Ван Лоун - М.: Мир, 1999. - 548 с.

2. Жданов А.И. Прямой последовательный метод решения систем линейных алгебраических уравнений [текст] / А.И. Жданов // Докл. РАН. - 1997. - Т. 356, N 4. -С. 442-444.

3. Лоусон Ч. Численное решение задач методом наименьших квадратов. [текст] / Ч. Лоусон, Р.Хенсон - М.: Наука, 1986. - 230 с.

4. Bjork A. Handbook of numerical analysis. V. 1. [текст] / A. Bjork - North-Hol-land: Elsevier. 1990.

References

1. Golub, Dg., Van Lown, Ch. Matrix Calculation / Dg. Golub, , Ch. Van Lown, -Moscow: “Mir” (Science), 1999. - 548 p. - [in Russian].

2. Gdanov, A.I. Direct consecutive method of the decision of the linear algebraic equations systems / A.I. Gdanov // Reports the

Russian Academy of Sciences, 1997. - V. 356, N 4. - P. 442-444. - [in Russian].

3. Louson, Ch. The numerical decision of problems by least squares method / Ch. Louson, R. Henson - Moscow: “Nauka” (Science). -1986. - 230 p. - [in Russian].

4. Bjork A. Handbook of numerical analysis. V. 1. North-Holland: Elsevier. 1990.

SOLVING THE LEAST SQUARES PROBLEM USING THE METHOD OF AN EXTENDED SET OF EQUATIONS WITH SPARSE MATRIX

© 2008 O. V. Zoteeva Samara State Aerospace University

The solution of the least squares problem is discussed. The proper least squares problem is formulated and solved using the straightforward projection method (SPM). We propose that it should be reduced to an equivalent problem of solving an extended set of linear equations (ESLE) using the corresponding SPM’s modifications. We compare the SPM and the normal equations method in terms of the RAM space utilized and the number of arithmetic operations needed. The use of the methods for the general sparse matrix is discussed and a table of comparative computational efforts is given.

Sparse matrix, extended set, direct projection method, completing

Сведения об авторе

Зотеева Ольга Владимировна, Самарский государственный аэрокосмический университет имени академика С.П. Королева, студентка, e-mail: zoteeva [email protected] . Область научных интересов - математическое моделирование.

Zoteeva Olga Vladimirovna, S. P. Korolyov Samara State Aerospace University, student, email: zoteeva [email protected] . Area of research: mathematical modeling.