Научная статья на тему 'Метод расширенных нормальных уравнений для задач регуляризации Тихонова с дифференцирующим оператором'

Метод расширенных нормальных уравнений для задач регуляризации Тихонова с дифференцирующим оператором Текст научной статьи по специальности «Математика»

CC BY
240
55
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СПЕКТР МАТРИЦЫ / SPECTRUM OF MATRIX / РАСШИРЕННЫЕ РЕГУЛЯРИЗОВАННЫЕ НОРМАЛЬНЫЕ СИСТЕМЫ / EXTENDED REGULARIZED NORMAL EQUATIONS SYSTEM / ЧИСЛО ОБУСЛОВЛЕННОСТИ / CONDITION NUMBER

Аннотация научной статьи по математике, автор научной работы — Жданов Александр Иванович, Михайлов Иван Александрович

Рассматривается новый метод решения плохо обусловленных линейных алгебраических систем с применением дифференцирующего оператора. Такого вида задачи возникают при решении интегральных уравнений Фредгольма первого рода. Основная сложность данного метода состоит в том, что матрица дискретного аналога оператора дифференцирования является матрицей неполного ранга. Для решения подобного класса задач используются методы, основанные на обобщенном сингулярном разложении. Этот подход имеет очень высокую вычислительную сложность, а также приводит к возникновению дополнительной погрешности в вычислениях. Предложенный в данной работе метод основан на преобразовании исходной задачи регуляризации к эквивалентной расширенной регуляризованной нормальной системе уравнений с применением дискретного аналога оператора дифференцирования. Весьма актуальной является проблема исследования спектра матрицы расширенной регуляризованной нормальной системы уравнений с матрицей дискретного оператора дифференцирования неполного ранга. Исследование точного спектра собственных значений для данной задачи не представляется возможным, поэтому в статье получены оценки границ спектра матрицы. Оценка границ спектра матрицы основана на известной теореме Куранта-Фишера. Показано, что полученные оценки границ спектра матрицы расширенной системы являются достаточно точными. Производится сравнение предложенного метода со стандартным методом, основанным на решении нормальной системы уравнений. В работе показано, что число обусловленности матрицы метода, основанного на нормальной системе уравнений, имеет намного большую величину, чем число обусловленности матрицы метода расширенных нормальных уравнений. В заключении приводится описание тестовых задач, подтверждающих результаты теоретических исследований, полученных в работе.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

A method of extended normal equations for tikhonov’s regulatization problems with differentiation operator

This article is devoted to a new method of ill-conditioned linear algebraic systems solving with the help of differentiation operator. These problems appear while solving the first kind integral Fredholm equations. The most difficult thing about this method is that differential operator discrete analogue matrix is rank deficiency matrix. The generalized singular value decomposition methods are used to solve those problems. The approach has high computational complexity. This also leads to additional computational error. Our method is based on the original regularized problem transformation into equivalent augmented regularized normal equation system using differential operator discrete analogue. The problem of spectrum matrix investigation of augmented regularized normal equation system with rank deficiency differential operator discrete analogue matrix is very relevant nowadays. Accurate eigenvalue spectrum research for this problem is impossible. That is why we estimated spectrum matrix bounds. Our estimation is based on a wellknown Courant-Fisher theorem. It is shown that estimated spectrum matrix bounds are rather accurate. The comparison between the proposed method and standard method based on the solving of normal system of equations is done. As shown in the paper, the condition number of normal method matrix is bigger than the condition number of augmented normal equations method matrix. In conclusion test problems description is given which proves our theoretical background.

Текст научной работы на тему «Метод расширенных нормальных уравнений для задач регуляризации Тихонова с дифференцирующим оператором»

Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2014. № 3 (36). С. 132—142

ISSN: 2310-7081 (online), 1991-8615 (print) doi: http://dx.doi.org/10.14498/vsgtu1342

Вычислительная математика

УДК 519.612

МЕТОД РАСШИРЕННЫХ НОРМАЛЬНЫХ УРАВНЕНИЙ ДЛЯ ЗАДАЧ РЕГУЛЯРИЗАЦИИ ТИХОНОВА С ДИФФЕРЕНЦИРУЮЩИМ ОПЕРАТОРОМ

А. И. Жданов, И. А. Михайлов

Самарский государственный технический университет,

Россия, 443100, Самара, ул. Молодогвардейская, 244.

Аннотация

Рассматривается новый метод решения плохо обусловленных линейных алгебраических систем с применением дифференцирующего оператора. Такого вида задачи возникают при решении интегральных уравнений Фредгольма первого рода. Основная сложность данного метода состоит в том, что матрица дискретного аналога оператора дифференцирования является матрицей неполного ранга. Для решения подобного класса задач используются методы, основанные на обобщенном сингулярном разложении. Этот подход имеет очень высокую вычислительную сложность, а также приводит к возникновению дополнительной погрешности в вычислениях. Предложенный в данной работе метод основан на преобразовании исходной задачи регуляризации к эквивалентной расширенной регуляризованной нормальной системе уравнений с применением дискретного аналога оператора дифференцирования. Весьма актуальной является проблема исследования спектра матрицы расширенной ре-гуляризованной нормальной системы уравнений с матрицей дискретного оператора дифференцирования неполного ранга. Исследование точного спектра собственных значений для данной задачи не представляется возможным, поэтому в статье получены оценки границ спектра матрицы. Оценка границ спектра матрицы основана на известной теореме Куранта—Фишера. Показано, что полученные оценки границ спектра матрицы расширенной системы являются достаточно точными. Производится сравнение предложенного метода со стандартным методом, основанным на решении нормальной системы уравнений. В работе показано,

© 2014 Самарский государственный технический университет.

Образец для цитирования: Жданов А. И., Михайлов И. А. Метод расширенных нормальных уравнений для задач регуляризации Тихонова с дифференцирующим оператором // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2014. № 3(36). С. 132-142. doi: 10.14498/vsgtu1342.

Сведения об авторах: Александр Иванович Жданов (д.ф.-м.н., проф.; zhdanovaleksan@ yandex.ru), декан, факультет дистанционного и дополнительного образования. Иван Александрович Михайлов (mikhaylovivan90@mail.ru; автор, ведущий переписку), аспирант, каф. высшей математики и прикладной информатики.

132

Метод расширенных нормальных уравнений для задач регуляризации ...

что число обусловленности матрицы метода, основанного на нормальной системе уравнений, имеет намного большую величину, чем число обусловленности матрицы метода расширенных нормальных уравнений. В заключении приводится описание тестовых задач, подтверждающих результаты теоретических исследований, полученных в работе.

Ключевые слова: спектр матрицы, расширенные регуляризованные нормальные системы, число обусловленности. doi: http://dx.doi.org/10.14498/vsgtu1342

1. Постановка задачи. Рассмотрим задачу решения системы линейных алгебраических уравнений (СЛАУ)

Au = f, A е Rmxn, f e Rm. (1)

Если система вида (1) является результатом дискретизации интегрального уравнения Фредгольма первого рода [1—4], то в этом случае известно, что она является плохо обусловленной. Для решения таких задач используется метод регуляризации Тихонова [5-10]. Регуляризованное решение СЛАУ (1) определяется выражением

u* = arg min {||Au - f ||2 + allLull2} , (2)

где a > 0 — параметр регуляризации, а L e R(n-p)xn, p = 1,2,... — дискретный аналог оператора дифференцирования для случая p = 1 (оператор дифференцирования первого порядка)

1 -1 0. .0 0

L = 0 1 -1 . .0 0 е R(n-l)xn.

0 0 0. .1 -J

(оператор дифференцирования второго порядка), то

1 -2 1 0. .0 0 °\

L = 0 1 -2 1. .0 0 0 е R(n-2)xn.

0 0 0 0. .1 -2 .1

В случае L = E, где E — единичная матрица порядка п, мы имеем стандартную задачу регуляризации Тихонова. Если L е R(n-p)xn, то матрица L не имеет обратной. Известные приемы основаны на преобразовании (2) к стандартной задаче регуляризации Тихонова [3, 11]. Однако в этом случае требуется вычислять псевдообратную матрицу L+. Возможно вычислить решение в (2), как и для любой задачи наименьших квадратов, с помощью следующей регуляризованной системы нормальных уравнений:

(ATA + aLTL)u = ATf. (3)

Однако такой подход невыгоден, как будет показано в данной работе, в силу большого числа обусловленности матрицы данной системы.

133

Жданов А.И., Михайлов И.А.

В данной работе предлагается подход к решению исходной задачи (2) на основе её приведения к задаче решения эквивалентной нормальной расширенной регуляризованной системы. Этот подход не требует дополнительных преобразований исходных данных [12].

2. Регуляризация на основе расширенных систем. Регуляризованную нормальную систему уравнений (3) можно записать в виде

ATr — aLT Lu = 0,

где r = f — Au, или

a-1/2AT r — a1/2LT Lu = 0. (4)

Объединяя r + Au = f и (4), получаем систему

r + Au = f, a-1/2ATr — a1/2LT Lu = 0

или

a1/2Em A \ fa1/2A = [A

AT —a1/2LTL/ V u ) V0y .

Если обозначить y = a-1/2r и ш = a1/2, то (5) можно записать в виде

(5)

шЕт A \ (y

AT —шLTL/ \ u

f

& A. x

f,

(6)

где

A.

шЕт A

AT —шLTL

x

y

u

f

f

Систему расширенных нормальных уравнений (6) удобно использовать на практике, так как матрица LTL довольно просто вычисляется аналитически. Для оператора p-того порядка она имеет 2p + 1 диагональную структуру, так для оператора первого порядка матрица LTL

имеет следующий вид:

1 —1 0 0 .. .0 0 0

—1 2 —1 0 .. .0 0 0

LTL = 0 —1 2 —1 . . .0 0 0 е Rnxn,

0 0 0 0 .. . —1 2 —1

0 0 0 0 .. .0 —1 1

а для оператора второго порядка — следующий:

1 —2 1 0 0 .. .0 0 0 0

—2 5 —4 1 0 .. .0 0 0 0

1 —4 6 —4 1 .. .0 0 0 0

LTL = 0 1 —4 6 —4 . . .0 0 0 0 е R

0 0 0 0 0 .. . —4 6 —4 1

0 0 0 0 0 .. .1 —4 5 —2

0 0 0 0 0 .. .0 1 —2 1

nxn

134

Метод расширенных нормальных уравнений для задач регуляризации ...

Обозначим

LTL(p = 1) = L\, LTL(p = 2) = L2, тогда в аналитическом виде данные матрицы будут иметь вид

L'i(M) = 1, Li(i,i + 1) = -1,

Li(i, i - 1) = -1, L[(i, i) = 2, L[(i, i + 1) = -1, Li(i,i - 1) = -1, L[(i,i) = 1,

если i = 1;

если i = 2 ... n - 1;

если i = n,

Li(i, i) = 1, Li(i, i + 1) = -2, Li(i, i + 2) L'i(i,i - 1) = -2, L[(i,i) = 5,

Li(i, i + 1) = -4, Li(i, i + 2) = 1,

L'i(i, i - 2) = 1, Li(i, i - 1) = -4, Li(i, i) Ll(i, i + 1) = -4, Li (i, i + 2) = 1,

Li(i, i - 2) = 1, Li(i, i - 1) = -4,

Li(i,i) = 5, Li(i,i + 1) = -2, kLi(i, i - 2) = 1, Li(i, i - 1) = -2, Li(i, i)

1, если i = 1; если i = 2;

6,

если i = 3 ... n - 2;

если i = n - 1;

1, если i = n.

Таким образом, разреженная структура матрицы LTL позволяет достаточно просто решать систему (6), например, с помощью метода исключения Гаусса.

Найдём верхнюю границу для числа обусловленности матрицы Аш. Собственные значения матрицы Аш определяются из уравнения

wEm А \ / Z

AT -wLtm U

Z

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Л

v

1

где z e Rm, v e Rn. Тогда

wz + Av = Лz, ATz — wLTLv = Лv.

Выражая z = (Л - w) :Av, получаем

(Л-w)-iATAv-wLTLv = Лv^^ ATA + (w2 - Лш)^^ - E) v = (Л2-w2)v.

Точно вычислить спектр матрицы Аш невозможно, поэтому получим оценки сверху и снизу значения |Л|. Для некоторых встречающихся на практике частных случаев матрицы Аш возможно и точное нахождение спектра матрицы, а также её собственных векторов [13].

Обозначим

В

ATA + (w2 - Лw)(LTL - E)

и найдём верхнюю границу |Л| для матрицы Аш. Для этого определим верхнюю границу для Лmax матрицы Вш, так как этому значению будет соответствовать максимум выражения Л2

- w2 и, соответственно, максимум для | Л| .

135

Жданов А.И., Михайлов И.А.

По минимаксной теореме Куранта—Фишера [14]

rT [ATA + (w2 — Aw)(LTL — E)] r

^max(Bw) — ШЙХ

0=r€Rn

— max

0=r€Rn

rTATAr ^ rT(w2 — Aw)(LTL — E)r

<

rTATAr rT (w2 — A w)(LTL — E )r

< max ----=p----+ max ----------===-------

0=r€Rn r1r 0=r€Rn r1r

— Amax(A-TA) + Amax (w2 — Aw)(L ' L — E)

Ti

Рассмотрим два случая.

1. Если A > 0, тогда (w2 — Aw) < 0 и

A

max

(w2

Aw)(LTL — E)

(w2 — Aw) (V„(LTL) — l) ,

где an обозначает n-ное сингулярное число матрицы.

Так как LTL — вырожденная матрица, an(LTL) — 0 и

A

max

(w2

Aw)(LTL — E)

Aw — w2.

Следовательно,

Amax(Bw) — A2 — w2 < Aw — w2 + a]2(A), где ai —первое (максимальное) сингулярное число матрицы;

ai ^ ^2 ^ ... ^ an.

Решая неравенство A2 — Aw — a2 (A) < 0, окончательно получаем

|A| < w + Vw2 + 4a2(A)

2. Если A < 0, то (w2 — Aw) > 0 и

Amax (w2 — Aw)(LTL — E) — (w2 — Aw) (a2(L) — 1) .

Получаем

Amax(Bw) — A2 — w2 < (w2 — Aw) (a2(L) — 1) + a2(A). Решая это неравенство, окончательно находим

w (a2(L) — ^ + 1Jw2{ai(L) + ^ +4ai(A)

|A| < -----------------Й--------------------.

(7)

136

Метод расширенных нормальных уравнений для задач регуляризации ...

Видно, что в (8) граница для |А| больше, чем в (7), поэтому окончательно

И <

ш (o2(L) - 1) +J w2(af(L) + 1)2 + 4 of (A) 2

Найдём нижнюю границу |А| для матрицы Аш. Для этого определим нижнюю границу для Amin матрицы (Бш ), так как этому значению будет соответствовать минимум выражения А2 — ш2 и, соответственно, минимум для |А|. По минимаксной теореме Куранта—Фишера [14]

Amin (Бш ) = min

o=res

rT [АтА + (ш2 — Аш)(ЬтL — E)] r

min

0=r€Rn

”тАтАг rT (ш2 — А ш)(LтL — E )r

+

„т

> min

o=res

АтАг . rT (ш2 — А ш)(LтL — E)r

+ min —------- yv '

n ГтГ 0=r€Rn гтГ

= Amin (Ат А) + Amin (ш2 — Аш)^ ' L — Е)

Т;

При |А| < ш ш2 — Аш > 0, поэтому

Ат

(ш2 — Аш)^^ — Е) = (ш2 — Аш) ^ow^L^) — 1^ = Аш — ш2

А min (Бш ) = А2 — ш2 > Аш — ш2 + on (А). Решая это неравенство, получаем

|А| > /ш2 + 4оП(а) — ш

n

и

Так как Аш —симметричная матрица, о^(Аш) = |А^(Аш)| Vi = 1,2,...,n. Таким образом, получаем верхнюю границу для спектрального числа обусловленности матрицы Аш:

МАШ )

о(Аш) < ш (°2(l) — 1) + \/ш2(°1 (l) + !)2 + 4о2(а) о„(Аш) ^ /ш2 + 4о2(А) — ш

(9)

Таким же образом можно получить верхнюю границу для спектрального числа обусловленности матрицы в (3). Обозначим Ai = АтА + ш2LтL. Тогда верхняя граница для спектрального числа обусловленности матрицы А1

МА1) <

о2(А) + ш2о^)

от

(10)

Вычислим отношение границ для спектральных чисел обусловленности матриц Аш и Ai. С учётом (9) и (10) получаем

^(А1) (°2(а) + ^°2(l)) (/ш2 + 4оП(а) — ш)

--~^ -------Т-------------- S .

^(Аш) оП(а) ^ш (°2(l) — 1) + \jw2(°2(l) + !)2 + 4о2(а)J

137

Жданов А.И., Михайлов И.А.

Рассмотрим случай, когда выполняются условия an(A) ^ ш, ш ^ ai(A) и (Г\ (L) ^ ai(A), тогда предыдущее выражение принимает вид

MAi) _ ai(A)

KA) ~ ш

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

(11)

Данная оценка хотя и получена при определенных условиях, к тому же не для отношения самих чисел обусловленности, а только их верхних границ, тем не менее, как будет видно из тестовых исследований, хорошо аппроксимирует отношение спектральных чисел обусловленности матриц Ai и Аш.

Чтобы показать, насколько велика оценка (11), выберем параметр регуляризации следующим образом [5]:

а

8 • ai(A)

II/lli + ^

где 8 — погрешность задачи. Так как ш — Да, имеем

MAi) _ o~i(A) = ai(A)

ААш) ш / (A)

V №+^

II/lli + 8

8

ГЧ»/

II/II2 8

Полученное отношение в реальных задачах велико, так как норма вектора правой части матричного уравнения намного больше погрешности задачи; если бы эти величины были сопоставимы, то задачу не имело бы смысла решать из-за слишком большого шума в исходных данных.

Из полученных результатов можно определить, при каком условии верхний предел для ai(Au), а также нижний предел для an(Aw) достигаются. Так как в выражении

Аша х(Вш) — шах

Q=r€Rn

rT [ATA + (ш2 - Аш)(ЬтЬ — E)] r

шах

Q=r€Rn

rTATAr ^ rT(ш2 — Аш)(ЬтL — E)r

<

rTATAr rT (ш2 — А ш)(LTL — E )r

^ шах -----=p---+ шах ----------===-------

Q=r€Rn r1r Q=r€Rn r1r

— Amax(A A) + Ашах (ш Аш)(L L E)

Ti

максимум достигается, когда r является собственным вектором, соответствующим наибольшему собственному значению, неравенство превращается в равенство при совпадении собственных векторов, соответствующих наибольшим собственным значениям матриц AT A и [(ш2 — A^>)(LTL — E)], а так как собственные векторы этих матриц равны правым сингулярным векторам матриц A и L, верхний предел для ai(Aw) достигается, когда совпадают первые правые сингулярные векторы матриц A и L. Аналогично, нижний предел для ап(Аш) достигается, когда совпадают n-ные правые сингулярные векторы матриц A и L.

138

Метод расширенных нормальных уравнений для задач регуляризации ...

Условия достижения верхнего предела для 04 (Ai), а также нижнего предела для an(Ai) аналогичны условиям для матрицы Аш, что подтверждает правильность оценки (11).

3. Тестовые исследования и выводы. В ходе тестовых исследований генерировались плохо обусловленные матрицы из М10х6. Первые пять столбцов матрицы задавались случайно, а шестой являлся линейной комбинацией первых пяти столбцов и дополнительного столбца погрешностей, норма которого была в 100 раз меньше, чем у первых пяти столбцов. Из миллиона сгенерированных таким образом тестовых матриц максимальное число обусловленности матрицы Аш составило 6% от полученной в данной работе верхней границы (9). Это говорит о том, что хотя эта граница теоретически достижима, на практике число обусловленности реальных задач много меньше данной границы. Отношение спектральных чисел обусловленности матриц Ai и Аш в тестовых исследованиях в среднем составило 95, при этом оценка (11) была в среднем больше истинного значения в 1.23 раза, что говорит о том, что эта оценка хорошо аппроксимирует отношение спектральных чисел обусловленности матриц Ai и Аш.

Таким образом можно сделать вывод, что метод расширенных нормальных уравнений можно использовать для решения задачи (2), а метод (3) невыгодно использовать для вычисления регуляризованного решения из-за большого значения числа обусловленности данной системы.

Благодарности. Работа выполнена при поддержке РФФИ (проект № 13-01-12014-офи-м). ORCID

Alexander Zhdanov: http://orcid.org/0000-0001-5787-2035

Ivan Mikhaylov (mikhaylovivan90): http://orcid.org/0000-0002-2360-1787

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Abdelmalek N. N. A program for the solution of ill-posed linear systems arising from the discretization of the Fredholm integral equation of the first kind // Computer Physics Communications, 1990. vol. 58, no. 3. pp. 285-292. doi: 10.1016/0010-4655(90)90064-8.

2. Delves L. M., Mohamed J. L. Computational Methods for Integral Equations. Cambridge: Cambridge University Press, 1985. 376+xii pp.. doi: 10.1017/CB09780511569609.

3. Hansen P. C. REGULARIZATION TOOLS: A Matlab package for analysis and solution of discrete ill-posed problems// Numerical Algorithms, 1994. vol. 6, no. 1. pp. 1-35. doi: 10. 1007/BF02149761.

4. Bouhamidi A., Jbilou K., Reichel L., Sadok H. An extrapolated TSVD method for linear discrete ill-posed problems with Kronecker structure // Linear Algebra and Its Applications, 2011. vol. 434, no. 7. pp. 1677-1688. doi: 10.1016/j.laa.2010.06.001.

5. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. М.: Наука, 1979. 286 с.

6. Phillips D. L. A technique for the numerical solution of certain integral equations of the first kind// JACM, 1962. vol. 9, no. 1. pp. 84-97. doi: 10.1145/321105.321114.

7. Bjorck A., Elden L. Methods in numerical algebra for ill-posed problems: Technical Report LiTH-MAT-R33-1979. Linkoping, Sweden, 1979. 267 pp.

8. Wing G. M. A Primer on Integral Equations of the First Kind/ Other Titles in Applied Mathematics. Los Alamos, New Mexico: Los Alamos National Laboratory, 1991. 141+xiv pp.. doi: 10.1137/1.9781611971675.

9. Bauer F., Lukas M. A. Comparingparameter choice methods for regularization of ill-posed problems // Mathematics and Computers in Simulation, 2011. vol. 81, no. 9. pp. 1795-1841. doi: 10.1016/j.matcom.2011.01.016.

139

Жданов А. И., Михайлов И. А.

10. Liu C.-S. A dynamical Tikhonov regularization for solving ill-posed linear algebraic systems // Acta Applicandae Mathematicae, 2013. vol. 123, no. 1. pp. 285-307. doi: 10.1007/ s10440-012-9766-3.

11. Hansen P. C. Regularization Tools version 4.0 for Matlab 7.3// Numer. Algor., 2007. vol. 46, no. 2. pp. 189-194. doi: 10.1007/s11075-007-9136-9.

12. Жданов А. И. Метод расширенных регуляризованных нормальных уравнений // Ж. вычисл. матем. и матем. физ., 2012. Т. 52, №2. С. 205-208.

13. Stor N. J., SlapniCar I., Barlow J. L. Accurate eigenvalue decomposition of real symmetric arrowhead matrices and applications// Linear Algebra and its Application, 2015. vol. 464, no. 1. pp. 62-89, arXiv: 1302.7203 [math.NA]. doi: 10.1016/j.laa.2013.10.007.

14. Demmel J. W. Applied Numerical Linear Algebra/ Other Titles in Applied Mathematics. Berkeley: University of California, 1997. 416+xi pp.. doi: 10.1137/1.9781611971446.

Поступила в редакцию 20/VII/2014; в окончательном варианте — 27/VIII/2014; принята в печать — 10/IX/2014.

Vestn. Samar. Gos. Techn. Un-ta. Ser. Fiz.-mat. nauki. 2014. Issue 3 (36). Pp. 132—142 [J. Samara State Tech. Univ., Ser. Phys. & Math. Sci. 2014. Issue 3 (36). Pp. 132—142]

ISSN: 2310-7081 (online), 1991-8615 (print) doi: http://dx.doi.org/10.14498/vsgtu1342

MSC: 65F15, 65F22

A METHOD OF EXTENDED NORMAL EQUATIONS FOR TIKHONOV’S REGULATIZATION PROBLEMS WITH DIFFERENTIATION OPERATOR

A. I. Zhdanov, I. A. Mikhaylov

Samara State Technical University,

244, Molodogvardeyskaya st., Samara, 443100, Russian Federation.

Abstract

This article is devoted to a new method of ill-conditioned linear algebraic systems solving with the help of differentiation operator. These problems appear while solving the first kind integral Fredholm equations. The most difficult thing about this method is that differential operator discrete analogue matrix is rank deficiency matrix. The generalized singular value decomposition methods are used to solve those problems. The approach has high computational complexity. This also leads to additional computational error. Our method is based on the original regularized problem transformation into equivalent augmented regularized normal equation system using differential

© 2014 Samara State Technical University.

How to cite Reference: Zhdanov A. I., Mikhaylov I. A. A Method of Extended Normal Equations for Tikhonov’s Regulatization Problems with Differentiation Operator, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2014, no. 3(36), pp. 132-142. doi: 10.14498/vsgtu1342. (In Russian)

Authors Details: Alexandr I. Zhdanov (Dr. Phys. & Math. Sci.; zhdanovaleksan@yandex.ru), Dean, Faculty of the Distance and Additional Education. Ivan A. Mikhaylov (mikhaylovivan90@ mail.ru; Corresponding Author), Postgraduate Student, Dept. of Higher Mathematics & Computer Science.

140

Метод расширенных нормальных уравнений для задач регуляризации ...

operator discrete analogue. The problem of spectrum matrix investigation of augmented regularized normal equation system with rank deficiency differential operator discrete analogue matrix is very relevant nowadays. Accurate eigenvalue spectrum research for this problem is impossible. That is why we estimated spectrum matrix bounds. Our estimation is based on a well-known Courant-Fisher theorem. It is shown that estimated spectrum matrix bounds are rather accurate. The comparison between the proposed method and standard method based on the solving of normal system of equations is done. As shown in the paper, the condition number of normal method matrix is bigger than the condition number of augmented normal equations method matrix. In conclusion test problems description is given which proves our theoretical background.

Keywords: spectrum of matrix, extended regularized normal equations system, condition number.

doi: http://dx.doi.org/10.14498/vsgtu1342

Acknowledgments. This work was supported by Russian Foundation for Basic Research (Project No. 13-01-12014-ofi-m).

ORCID

Alexander Zhdanov: http://orcid.org/0000-0001-5787-2035

Ivan Mikhaylov (mikhaylovivan90): http://orcid.org/0000-0002-2360-1787

REFERENCES

1. Abdelmalek N. N. A program for the solution of ill-posed linear systems arising from the discretization of the Fredholm integral equation of the first kind, Computer Physics Communications, 1990, vol. 58, no. 3, pp. 285-292. doi: 10.1016/0010-4655(90)90064-8.

2. Delves L. M., Mohamed J. L. Computational Methods for Integral Equations. Cambridge, Cambridge University Press, 1985, 376+xii pp.. doi: 10.1017/CBO9780511569609.

3. Hansen P. C. REGULARIZATION TOOLS: A Matlab package for analysis and solution of discrete ill-posed problems, Numerical Algorithms, 1994, vol. 6, no. 1, pp. 1-35. doi: 10. 1007/BF02149761.

4. Bouhamidi A., Jbilou K., Reichel L., Sadok H. An extrapolated TSVD method for linear discrete ill-posed problems with Kronecker structure, Linear Algebra and Its Applications, 2011, vol. 434, no. 7, pp. 1677-1688. doi: 10.1016/j.laa.2010.06.001.

5. Tikhonov A. N., Arsenin V. Y. Solutions of ill-posed problems, Scripta Series in Mathematics. New York, John Wiley & Sons, 1977, 258+xiii pp.

6. Phillips D. L. A technique for the numerical solution of certain integral equations of the first kind, JACM, 1962, vol. 9, no. 1, pp. 84-97. doi: 10.1145/321105.321114.

7. Bjorck A., Elden L. Methods in numerical algebra for ill-posed problems, Technical Report LiTH-MAT-R33-1979. Linkoping, Sweden, 1979, 267 pp.

8. Wing G. M. A Primer on Integral Equations of the First Kind, Other Titles in Applied Mathematics. Los Alamos, New Mexico, Los Alamos National Laboratory, 1991, 141+xiv pp.. doi: 10.1137/1.9781611971675.

9. Bauer F., Lukas M. A. Comparingparameter choice methods for regularization of ill-posed problems, Mathematics and, Computers in Simulation, 2011, vol. 81, no. 9, pp. 1795-1841. doi: 10.1016/j.matcom.2011.01.016.

10. Liu C.-S. A dynamical Tikhonov regularization for solving ill-posed linear algebraic systems, Acta Applicandae Mathematicae, 2013, vol. 123, no. 1, pp. 285-307. doi: 10.1007/ s10440-012-9766-3.

11. Hansen P. C. Regularization Tools version 4.0 for Matlab 7.3, Numer. Algor., 2007, vol. 46, no. 2, pp. 189-194. doi: 10.1007/s11075-007-9136-9.

141

Жданов А. И., Михайлов И. А.

12. Zhdanov A. I. The method of augmented regularized normal equations, Comput. Math. Math. Phys., 2012, Т. 52, №2, С. 194-197. doi: 10.1134/S0965542512020169.

13. Stor N. J., Slapnicar I., Barlow J. L. Accurate eigenvalue decomposition of real symmetric arrowhead matrices and applications, Linear Algebra and its Application, 2015, vol. 464, no. 1, pp. 62-89, arXiv: 1302.7203 [math.NA]. doi: 10.1016/j.laa.2013.10.007.

14. Demmel J. W. Applied Numerical Linear Algebra, Other Titles in Applied Mathematics. Berkeley, University of California, 1997, 416+xi pp.. doi: 10.1137/1.9781611971446.

Received 20/VII/2014;

received in revised form 27/VIII/2014;

accepted 10/IX/2014.

142

i Надоели баннеры? Вы всегда можете отключить рекламу.