CC BY
16
Scientific journal ISSN 2413-158X (online)
PHYSICAL AND MATHEMATICAL EDUCATION ISSN 2413'1571 (Print>
Has been issued since 2013.
Науковий журнал Ф1ЗИКО-МАТЕМАТИЧНА ОСВ1ТА
Видаеться з 2013.
http://fmo-journal.fizmatsspu.sumy.ua/
Абрамчук В.С., Абрамчук 1.В., Петрук Д.О., Пугач О.С. Оптим'за^йш методи розв'язування систем Ах=В //Фiзикo-математична oceima : науковий журнал. - 2017. - Випуск 1(11). - С. 9-13.
Abramchuk V., Abramchuk I., Petruk D., Puhach O. Optimization Methods For Solving Systems Ах=В // Physical and Mathematical Education : scientific journal. - 2017. - Issue 1(11). - Р. 9-13.
УДК 519.6
В.С. Абрамчук, 1.В. Абрамчук, Д.О. Петрук, О.С. Пугач
В'шницький державний педaгoгiчний ушверситет iменi Михайла Коцюбинського, Украна
ОПТИМ13АЦ1ЙН1 МЕТОДИ РОЗВ'ЯЗУВАННЯ СИСТЕМ Ах=Ь
Анотац'я. У рoбomi обГрунтовано, що imерaцiйнi методи класу X(k+1) = B(k) x(k) + Д w(k), Bk eMnxn(R), w(k) e Rne R, не e ефективними при розв'язувант систем Ax = b, b e imA.
З погано зумовленими матрицями A e Mnyn (R), rankA= n, довшьно)' структури, великих порядк'в: сповльнюеться швидксть зб/'жностi, оскльки наближення при м/'н/'м/'заци норми вектора нев'язки або вектора похибки попадають в область Kmin - область м'т'тальних нев'язок; базисн вектори з пдпростору Крилова, на яких Грунтуеться зб'жшсть методу, сильно зумовлеш, похибки обчислень приводять до не монотонност'1 процесу зб'жност'1.
Запропонований двоцикт'чний алгоритм MiHiMi3ye похибку обчислень i строго монотонно зб1гаеться. Алгоритм заснований на ocHoei базису Крилова Кгт = А Г/• _ нев'язка i системи повних базиав
Kej = {<?, Aet,..., Am~lej J >{&,■}" одиничний базис. Базис Кгт використовуеться для побудови початкового
наближення, базиси - для уточнения напрямного вектора на розв'язок, у заданш (обчисленШ) точц1 що
гарантуе ст'Шк'1сть процесу обчислень. КритерШ прийняття наближеного р'шення системи стшкий до похибок.
Ключов! слова: погано зумовлен матриц, imерaцiйнi методи, метод напрямленого пошуку, базиси криловського типу.
Постановка проблеми. При розв'язуванш аткових i р1зницевих р1внянь математичноТ ф1зики, що описують рiзнi реальнi явища [4-11], виникають проблемнi 3aAa4i - не розв'язаш або мало дослiдженi в теори систем лiнiйних алгебричних рiвнянь. З ростом порядку мaтрицi (розрщженоТ, довшьноТ структури, невиродженоТ але погано зумовленоТ) зростае число зумовленостi мaтрицi, спадае швидкiсть збiжностi iтерaцiйних методiв, яка залежить вщ похибок обчислень, вщ структури мaтрицi, критерп прийняття наближених ршень стають не достовiрними. I головне, чи кнуе принципова стратепя розробки iтерaцiйних методiв розв'язання вказаних проблемних задач.
Анал1з актуальних дослщжень. Недостатньо дослщженою проблемою е визначення стратеги розв'язання систем Ах=Ъ з невиродженими погано зумовленими матрицями великих порядшв. Не ¡снуе единого способу побудови ефективних методiв розв'язування таких систем. З одшеТ сторони, на основi теори збурень випливае, що в умовах реальних обчислень - накопичення похибок заокруглення в машиннш арифметик, там системи не можливо розв'язувати з доа^рною точнiстю, осктьки мaтрицi цих систем близьш до вироджених [4,5,9,11]. 3 другоТ сторони, запропоноваш методи спряжених, б1-спряжених напрям1в для р1зницевих р1внянь Ах = Ь з додатно визначеними симетричними матрицями, широко застосовуються у практик [5,11]. З третьоТ сторони, проектування високочутливих систем обробки результат спостережень (регресiйний aнaлiз з степеневим базисом, матриц Гiльбертa, Кошi [5,9]) дослiдження обернених задач, пов'язаних з ¡дентиф1кац1ею матер1ал1в [6], з природними катакл1змами тощо [11], вимагають оцшки розв'язшв систем Ах = Ь з погано зумовленими матрицями.
Бшьцлсть класичних ¡терацшних метод1в [4-9Д1] описуеться процедурою: наближення до розв'язку системи Ах = Ь формувати як послщовшсть
= або Х(М) для У* = 0Д... (1)
де Вк,с{к),м'{к) задаються як функцм (оператори) матриц! л, право!' частини Ъ, наближення до А: В{к) « А^1, використовують наближення х{,) за 5 попередых кромв: тощо.
Мета статп.1. Виконати анал1з причин, що стають на перешкод! ¡терацшним методам класу (1) стати ефективними. 2. Запропонувати принципово нову стратепю можливосп побудови ефективних метод1в розв'язування систем Ах = Ъ з невиродженими погано зумовленими матрицями великих порядив.
Виклад основного матертлу. Основними причинами, що стають на перешкодi методам класу (1) бути ефективними е: область - мiнiмальних нев'язок, базиси криловського типу, похибки обчислень, ям накопичуються в ¡тера^ях.
1. Область Х^д . Проспр В." розбиваеться пперплощинами А^х = = \,...,п ( А^- вектор-рядки матриц! а (нормалО, Ъ = (Ц,...,Ьп) ) на 2" конуав з вершиною у розв'язку х* = А~гЬ . Конуси, що мктять сингулярну пряму (у загальному площину) Х — Х утворюють область мш1мальних нев'язок, де = Х —X - власний вектор матриц!
АтА, що вщповщае ^тп(А А) . Основы деталi пояснимо на прикладi простору Я2 (не втрачаючи загальносп).
Приклад. Проаналiзувати систему
"1 1 " x " 0 " / х* = ' 100 " , b = 0
1 0,9999 _ Х2 _ 0,01 -100 0,01
Виберемодв! початков! точки ХШ = [150;50] É Kmn , Х(2) = [0;0] е Кшп, |ïa'-х\[ « 158, \\х{2>14 .
■ « ■ « г-,, ïik) - vik) -Lsv ATv{k) II—fATII- ,11 ,r=«->ll2
Застосуемо один i той же ггерацшнии процес напрямленого пошуку [3]: л —л r cck = - ||rk' || /1Аг || ,
що MÎHÎMÎ3ye норму вектора похибки, дiстанемо хЦ) = [49,99878739;-49,99621274] eÀ"mn,
х<2) =[0,0050005;0,005f eÀ"ran.
Обчислимо нев'язки f(1) = [0,00257465;0,002425228]г , ?{2) = [0,010005;of . Незалежно в!дтого, що Х(1) £Ктп , х'"' е Кшп, ¡терац!йний процес класу (1) за один крок прив!в наближення в область , причому точка ,т(1), що
знаходилась на значнш вщстан! вщ розв'язку, перейшла в блищу точку X* ' £ К^ , ыж точка Jv<2), яка належала
i знаходилась на менилй вщстан! вщ розв'язку. Точка х(2) майже не змЫила свое положения, нев'язки f(1), г(2), якими оперують в методах класу (1), ыякого роз'яснення не вносять в дану ситуац!ю. Процес зб!жносп в облает! з нових
стартових точок ,т(1), .т(2) на наступних кроках наеттьки сповтьниться, що його необхщно буде зупинити за кшьшетю крок1в к < 500 , так i не досягнувши фактичного розв'язку. Число зумовленост матрицi
condA = ^max(AT A) / 2mn(AT A) = 12648,79453 .
2. Базис Криловського типу. Цей базис е основним в методах класу (1). Якщо вщоме наближення х(0) е R" i
нев'язка r<0) = Ах{0) —Ь , то базис формуеться як система jcrm = {г'°\Лг"".....лт~1г'-0''} ■ Система Krm е погано
зумовленою, тому процес ÏÏ ортогоналiзацiï методом Грама-Шмщта (Арнольдi або Ланцоша) приводить до швидко'! розортогонал!зацм в силу похибок заокруглень. Отже, в практичних обчисленнях необхщно вибирати ,„п п тод! базис
Krm у прост^ Rn не повний.
3. Похибки обчислень. Похибки обчислень завжди присутн в реальних обчисленнях в машиннш арифметик, складаються з похибок заокруглення та втрати старших розрядiв (катастрофiчна втрата точностi). Отже, проблемною задачею е така органiзацiя процесу обчислень, щоб мiнiмiзувати вплив похибок обчислень на кшцевий результат.
Область К^ . У протилежысть облает! ¡снуе область А"шах (область максимальних нев'язок), що е
об'еднанням конуав, яю мктять сингулярну пряму X = X + ^£тах , де £шзх - власний вектор, що вщповщае Âmax(A А) .
Власш вектори s =х — х* матриц! А1А мають фундаментальну властив!сть для зб!жност! довтьного ¡терац!йного методу: лтл(х — S*) = — S*) ■ Звщси випливае, що лтг = л(х — х*~) е оптимальним вектором на розв'язок.
Таким чином, задача мiнiмaлiзaцií (мaксимiзaцií), вщношення Релея р = ||f||2 /||^||2 на сфер1 ||х — х || —^ —х || для
довтьно!'точки х(0) е R" , х(0) Ф х*, е розв'язанням проблеми побудови швидкозб1жних ¡терац1йнихметод1в [2,3].
Iтерацiйнi методи напрямленого пошуку. В методах напрямленого пошуку п^ерацшний процес можна оргашзувати наступною процедурою [2,3]:
Г+1} =Х +акА С \ ak=-{rik),cik))l\ATcik\ . (2)
Послщовысть похибок ё{к+1) = х{к+1)-х* строго монотонно зб1гаеться в абсолютно точый арифметик для
дов1льно1 посл1довност1 напрямних вектор1в Агс<к), с(к) еК , (С ,Г'])Ф О . Швидккть збiжностi
P(k+lt =||%||2 (1-cos2 (3)
Проте в силу похибок обчислень, процес швидкост збiжностi може значно сповтьнитись .
Запропонуемо алгоритм методу напрямного пошуку з матрицями "чорний ящик" на принципово новш стратеги, вщмшый вiд (1), що згладжуе похибки обчислень, збiгaеться строго монотонно. Запишемо двоци^чну iтерaцiйну процедуру:
X(iv) =X{i)+akiATCiKi), ak j =-{r{'\cik^)l\ATc{k^, i o.l.....n, k = 0A,...,m (4)
Процес (4) складаеться з двохетатв: а) обчислення початкового напрямного вектора с(0) на основ! криловського базису Кгт; б) уточнения напрямного вектора с(П по систем! повних базиав криловського типу
{Ке,={е„Ае„...,А"'-1е1}}"1 .
Початкове наближення вектора <?(0) в базиа Кгт . Нехай заданий вектор iv<0) , нев'язка r<0) = Ах<0) —Ь . Сформуемо базис Кг-ш = {?<0\л?'°>^.^Л"-1?10'} = ■
Розмiрнiсть m вибираеться з умови: Vj e[0,1,...,m-l] cos2{A(j-1)S(0),A(j)S(0)}< 1 - 10-s i для j = m cos2{A(m-1)S(0), A(m)S(0)}> 1 -10-s s > 1 - цiле додатне число, пов'язане з машинною точнiстю (практично достатньо покласти s = {8,9,10}. Ортогонaлiзуемо методом Грaмa-Шмiдтa систему Km, дктанемо систему ,и^..^um-1} з вектора
^ I s (0) v 'm-1 _ |S (0) _ \ II t_ ||2
{~i}. Сформуемо вектор c = / ,i=0ailli,at =-lr ,_ r\\A ui\\2. Вектор c мiнiмiзуе норму вектора похибки (або мaксимiзуе cos2{ATc(0),s(0)}). Таким чином, вектор c(0), гладжуе похибку розортогонaлiзaцií - вiн побудований на основi оптимальних пaрaметрiв 0 для базису Krm малоТ розмiрностi m << n, забезпечуе строгу монотоннiсть для норми вектора похибки. Дмсно, обчислимо
2 = ||^(0112 - (r(0),с(0))2 ATc< ||ё(0^|2, (5)
осктьки, для векторiв з пщпростору Крилова (s(0),S(0)0. Чим менша похибка розортогонaлiзaцií, тим ближче норма
-Г>2 Н }).
обчисленоТ похибки (5) буде до теоретичноТ (в абсолютно точый aрифметицi
|Ыо||2 = b(0)||2 f1 ^ m-1_2 и T_
II2 II 1121 ^—¡k=0
Уточнення напрямного вектора c(0)здiйснимо на основi системи повних базиав. Таку систему нaйпростiше формувати з одиничного базису у формi криловських базиав
Розмiрнiсть m вибираеться як i для базису Krm. Уточнення c(0) проведемо наступним алгоритмом: побудуемо у внутршньому ци^ послiдовнiсть AT - ортогональних векторiв S(1k) : i = 1: S(1,0) := у0c(0) + w(i), за правилом
(AT?(i,0),ATS(0)) = 0 ^ Го = -(ATc(0), ATwJ)l4Tc<0)||2; Для Vke[0,1,...,m-1] покласти ?(i'k) := r0c(0) + ^PS"0 +W(1):
Параметри /0,Д,t e [1;m-1] знайдемо з умови ортогонaлiзaцiТ системi векторiв {aTc(0), ATs(i;k) }^=0 :
2
(ATs<lk),ATS(0)) = 0 Vt e[0;k-1] AT1(t*\ATs(y)) = 0=-(ATc(0),ATw(1))/UTc(0^| ,
Д =-( ATs(-k), ATWk1})/| ATwk1l2.
Пiсля завершення внутрiшнього циклу по k e[0,1,..n-1] дiстaнемо систему AT ортогональних векторiв s(i,k) в абсолютна aрифметицi i вектор ATc(0) ортогональний системi {4T?(ik)}.
З векторiв s сформуемо вектор s у формi ^k=0 II 112.
Вектор S(i) мiнiмiзуе норму вектора похибки i (at1 (i),ATc(0))= 0, тому уточнений вектор c(i) задамо у формi
с (i) =occ (0) + «S «„ = _(,: (0) S (0) )/| ATc (0^|2 « = _(,: (0) S (0))/ATS (1) II ^ D s(i) ... ,
c =°. + рь ,o= yr ,с a с || p= yr ,s цл s Вектор c(i) м1н1м1зуе норму вектора похибки:
X® = г(0) +cATc(0) +PATS(i).
и n2 и 1,2 (?(0) ?(°) )2 (?(0) ?('■)) и „2 l-!\
Ыо2 = Ь(°)2 (r ,c I (r , * / < Ь(°)2 (7)
11 "2 1 "2 <°)||2
Якщо критерiй збiжностi не виконуеться, то продовжимо процес по зовншый iтерацií ' еЦ: n\ В процес
обчислень по i нев'язка r') не змiнюеться. Пiсля завершення циклу по i, якщо критерiй збiжностi не виконуеться, виконати проекцю процес повторити.
Критерш збiжностi. Нехай ~ - деяке наближення до розв'язку системи. Обчислимо ¡р = cos2{с(х),b},
' Якщо 1-1°', де t > 1 - щле додатне число, то iтерацiйний процес зупинити, ~ - прийняти за наближений розв'язок системи. Функ^я ф е стiйкою до похибок. Дшсно, нехай ~ = x* +ДХ^ c(x* +Ax)= b +Ab
Ab =^=1А- Дс--^ = (1 +«)2/(l + + \а = (дЬ>,b)/||b ^ = ||Ab||2 ^b\2' Функцiя ф досягае максимуму лише за умови
а = /} = 0, що означае = 0 (отже всi д^. = 0, ( = 1,..., п )■
Теорема. Алгоритм п^ерафйного методу (4) на основi формування напрямних векторiв з базису Крилова Кгт i системи повних базисiв Ке коректний: строго монотонно зб^аеться, згладжуе похибку обчислень, застосований до систем з довтьними дiйсними не виродженими матрицями.
Доведення теореми випливае з формул (4)-(7).
Висновки. 1. У робот запропонований принципово новий пщхщ до розв'язування систем з довтьними досними не виродженими погано зумовленими матрицями великих порядив, що Грунтуеться на використанн системи повних базиав криловського типу у просторi Кп.
2. Перспективним напрямком е застосування методу до розв'язування рiзницевих елттичних рiвнянь, матрицi яких мктять ортогональнi пiдсистеми.
Список використаних джерел
1. Абрамчук В.С. Базисш системи в задачах математичного моделювання / В.С. Абрамчук, 1.В. Абрамчук, Д.О. Петрук, О.С. Пугач, О.Г. Руда, Я.В. Шмулян // Фiзико-математична освп^а: наук. журн.; Сумський державний педагопчний унiверситет iменi А.С. Макаренка. - Суми, 2016. - №3(9). - С. 17-21.
2. Абрамчук В.С. Ефективн ггерацмы методи розв'язування систем лшмних рiвнянь / В.С. Абрамчук, 1.В. Абрамчук, А Вешемiрський // Вiсник Львiвського унiверситету. Сер. прикладна математика та iнформатика. - 2007. - Вип. 12. -С. 5-12.
3. Абрамчук В.С. Проблеми, методи, алгоритми розв'язування систем лшмних рiвнянь з погано зумовленими матрицями/ В.С. Абрамчук, 1.В. Абрамчук // Математичне та комп'ютерне моделювання. Серiя: Фiзико-математичнi науки. Випуск 10. - 2014. - С. 5-17.
4. Воеводин В.В. Матрицы и вычисления / В.В. Воеводин, Ю.А. Кузнецов. - М.: Наука, 1984. - 320 с.
5. Деммель Дж. Вычислительная линейная алгебра / Дж. Деммель. - М.: Мир, 2001. - 429 с.
6. Денисов А.М. Введение в теорию обратных задач: Учеб. Пособие./ А.М. Денисов. - М.: Изд-во МГУ, 1994. - 208 с.
7. Зверев В.Г. Модифицированнй полилинейный метод решения разностных эллиптических уравнений / В.Г. Зверев //ЖВМ и МФ. - 1998. -Т.38. - № 9. - С. 1553-1562.
8. Ильин В.П. Методы бисопряженных направлений в пространствах Крылова / В.П. Ильин // Сибирский журнал индустриальной математики. - 2008. - Т. XI. - №4 (36). - С. 47-60.
9. Райс Дж. Матричные вычисления и математическое обеспечение. Пер. с англ./Дж. Райс. - М.: Мир, 1984. - 264 с.
10. Тихонов А.Н. Методы решения некорректных задач / А.Н. Тихонов, В.Я. Арсенин. - М.: Наука. Глав.ред. физ.-мат. лит., 1979. - 283 с.
11. Хейгеман Л. Прикладные итерационые методы. Пер с англ./ Л. Хейгеман, Д. Янг. - М.: Мир, 1986. - 448 с.
References
1. Abramchuk V, Abramchuk I, Petruk D, Puhach, Ruda O, Shmulian Ya. (2016). Basic systems in problems of mathematical modeling. Physics and mathematics education, Sumy State Pedagogical University named after AS Makarenko, 3 (9), 17-21.
2. Abramchuk V, Abramchuk I, Veshemirskyy A. (2007).Efficient iterative methods for solving systems of linear equations. Bulletin of Lviv University. Series: Applied Mathematics and Informatics, 12, 5-12.
3. Abramchuk V, Abramchuk I. (2014). Problems, methods, algorithms for solving systems of linear equations with matrices resulting from bad. Mathematical and computer modeling. Series: Physics and mathematics, 10, 5-17.
4. Voevodyn V, Kuznetsov Yu. (1984). Matrices and calculations. Moscow, Russia: Nauka.
5. Demmel J. (2001) Computational linear algebra. Moscow, Russia: Mir.
6. Denisov A. (1994). Introduction to the theory of inverse problems: Proc. Allowance. Moscow, Russia: Izd-vo MGU.
7. Zverev V. (1998). Modified multilinear method for solving difference elliptic equations. ZhVM and MF, 38(9), 1553-1562.
8. Ylyn V. (2008). Methods of bi-conjugate directions in Krylov spaces. Siberian Journal of Industrial Mathematics, 11(4), 47-60.
9. Rais J. (1984). Matrix Computation and Mathematical Support (Trans.from English). Moscow, Russia: Mir.
10. Tikhonov A. Methods for solving ill-posed problems / A.Tikhonov, V. Arsenin. - Moscow Russia: Nauka. Home edition of physical and mathematical literature, 1979. - 283 p.
12. Kheiheman L, Yanh D. (1986). Applied iterative methods (Trans.from English). Moscow, Russia: Mir.
W3MK0-MATEMATMHHA OCBITA ($MO)
BunycK 1(11), 2017
OPTIMIZATION METHODS FOR SOLVING SYSTEMS Ax = b Vasil Abramchuk, Ihor Abramchuk, Daria Petruk, Olena Puhach
Vinnitsa State Pedagogical University named after M. Kotsybinsky, Ukraine Abstract. The work proved that kind of iterative methods X(k+1) = B(k) x(k) + w (k),
Bk eMnxn (R), w(k) e Rn,pk e R, are not effective in solving systems Ax = b, b e imA with ill predefined matrices A e M„xiJ (R), rankA= n, arbitrary structure, large orders, slowing the rate of convergence as the approach vector regulations while minimizing the residual error vector or fall in the set Kmln - set of minimum residuals; basis vectors of Krylov subspace on which the convergence method, greatly due, calculation errors do not lead to monotony process of convergence.
The proposed algorithm based dvotsyklichnyy which minimizes the error computation and strictly monotonously the same.
Kr =fr 4f r
The algorithm is based on the basis of the Krylov basis K'm \',A' ,•••,A '), ' - discrepancy and complete system of bases
Ket = {ej,Aej,...,A } ,=1 = {<?, },=1 - unit basis. The basis Krm used to build the initial approach, bases -to refine
the guide on the solution vector in the set (computed) point that guarantees process stability calculations. Criterion adoption approximate solution of a system resistant to errors.
Key words: a bad conditioned matrix, iterative method, method directional search bases Krylov type.
