Предельно разреженные матрицы Текст научной статьи по специальности «Математика»

КРАТКИЕ СООБЩЕНИЯ

97

От редакции. Краткие сообщения этого выпуска -достаточно дискуссионный материал (полученные рецензии противоположны по выводам). Редакция находит, однако, его публикацию целесообразной.

КРАТКИЕ СООБЩЕНИЯ

ПРЕДЕЛЬНО РАЗРЕЖЕННЫЕ МАТРИЦЫ

Евтихов М. Г.

Фрязинский филиал Института радиотехники и электроники им. В.А. Котельникова РАН, 141120 г. Фрязино Моск.обл., Россия

Поступила в редакцию 18.05.2011

Представлена чл.-корр. РАЕН В.И. Грачевым 23.05.2011

Матрица Якоби для системы десятков (сотен) нелинейных уравнений строится с использованием предлагаемого понятия предельно разреженных матриц. Знание алгебраических свойств таких матриц позволяет доказывать неочевидные теоремы о матрицах. Эффективные алгоритмы вычисления матриц Якоби важны при построении градиентных численных методов, например, метода Ньютона для решения систем нелинейных уравнений.

Ключевые слова: теория матриц, градиентные вычислительные методы, метод Ньютона, системы нелинейных алгебраических уравнений. * 1 2 3 4

УДК 519.615.5_____________________________

содержание

1. введение (97)

2. основная часть (97)

3. заключение (100)

4. приложение (100) литература (101)

1. введение

Разреженные матрицы — матрицы с большим числом нулевых компонент. В середине прошлого столетия под разреженными матрицами понимались матрицы специального вида: ленточные, треугольные, блочные и т.п. В 70-е годы были разработаны алгоритмы для разреженных матриц общего вида [1], началось использование разреженных матриц общего вида в численных методах и в системах символьных вычислений. Перенос этих понятий в теоретическую физику был бы полезен не только для решения многих задач, но и для постановки и формализации новых сложных задач,

требующих для их решения усилий специалистов разного профиля.

Целью данной работы является введение понятия предельно разреженных матриц, удобное для постановки сложных физических задач и для их последующего анализа и решения на компьютере.

2. основная часть

Для определенности предположим, что речь идет о составлении некоторого нелинейного уравнения, которое должно далее решаться методом Ньютона. Метод Ньютона решения систем нелинейных уравнений F(X) обычно записывается в виде итерационной формулы [2]

X(n+l) = X(n) - D(n)F(n) ■> (1)

где F(n) = F(X(n)), D(n) = D(X(n)), D = dF / dX .

Если X является вектором с большим числом компонент и описывается достаточно сложными формулами, то оказывается непросто даже

РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1

98 ЕВТИХОВ М.Г.

КРАТКИЕ СООБЩЕНИЯ

записать систему уравнений. Тем более сложно построить ее матрицу Якоби dF / дХ . В таких задачах, например, как изучение волновых процессов, имеющих место в многослойных периодически возмущенных пленках, уравнения имеют десятки и сотни неизвестных; затруднения возникают уже при записи F(X) , а формирование матрицы Якоби представляется безнадежно сложным делом.

Какие математические понятия могут способствовать увеличению ясности записи нелинейных векторных функций векторного аргумента? Для записи сложной нелинейной векторной функции векторного аргумента интуитивно используют матричную запись

F(X) = AX + X0, (2)

полагая коэффициенты матрицы A зависящими от компонент векторного аргумента X . Будем считать эти зависимости дифференцируемыми. Известно, что с помощью блочных матриц можно пытаться упростить запись сложной матрицы [3, 4]. В данной работе предлагается другой, альтернативный подход. Сведение нелинейной задачи к форме (2) — это попытка ввести в нелинейной системе некоторое линейное векторное пространство, что следует делать несколько более корректно. Будем рассматривать квадратные матрицы, имеющие некоторую конечную размерность N. Введем предельно разреженные матрицы в виде функции E(2) (m, n), зависящие от двух целых натуральных аргументов (m и n не превосходят N). Определим E(2) (m, n) как матрицу, у которой все коэффициенты равны нулю, кроме одного единственного элемента, стоящего в строке m и в столбце n, причем и этот единственный ненулевой элемент не произволен, а равен единице. Аналогично определим предельно разреженные векторы: E(V) (n) — вектор, у которого все компоненты нулевые, кроме n-го, равного единице. Квадратная матрица записывается в виде:

A = AM,nE(2)(m’ ”)■ 1

m=1 n=1 (3)

Будем обозначать нижними индексами без скобок компоненты векторов и матриц.

Практическое значение предлагаемого разложения (3) состоит в том, что разреженная матрица с некоторой правильной взаимосвязью коэффициентов, выражается в форме (3) как

сумма небольшого числа членов или же распадается на небольшое число подсумм. Матрицы E(2) (m, n) в (3) следует рассматривать как базис линейного пространства, а матрицу A - как элемент векторного пространства, заданный своими коэффициентами-координатами. Аналогично и векторы можно рассматривать как элементы линейного пространства с базисными векторами E(i) (n). В известных литературных источниках, например [3, 4], нет упоминаний об алгебраических свойствах E(i) (n), E(2) (m, n). Но эти свойства представляются фундаментальными, так как позволяют вывести многие формулы и утверждения о матрицах чисто алгебраическими методами.

В данной работе рассматриваются квадратные матрицы, но можно аналогичным образом рассматривать и матрицы общего вида. Введем в определение предельно разреженных векторов и матриц следующее дополнительное условие: пусть аргументы m и n принимают не только натуральные целые, но и нулевые значения. Тогда если один из аргументов нуль, то и вся матрица нулевая. Пополненное множество E(2) (m, n) замкнуто относительно умножения и является полугруппой, но у нее имеются и более тонкие алгебраические свойства, не сводящиеся к свойствам полугруппы.

Обратим внимание на следующие отношения, связывающие вертикальный вектор E^ (n) и аналогичный горизонтальный (транспонированный) вектор E(1)(m):

En.(n> = N

E( 2 ,(m,n) = Er, (4)

где Smn — символ (дельта) Кронекера. Из свойств (4) следует

Е( 2 )(т n)E( 2) (к, I) = 8п>кЕ( 2) (т, I),

Е( 2 М n)E( i) (k) = 8„*Е,! /т).

(5)

При построении матриц Якоби для метода Ньютона используем следующую неочевидную теорему дифференцирования, которая доказывается на основе алгебраических свойств E( i )(т) и E(2) (m, n) в приложении:

д AX /0 X = A + A(1),

„ N (( д а Л - Л

л(1) = H — x .

i=1 J J (6)

1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ

КРАТКИЕ СООБЩЕНИЯ

ПРЕДЕЛЬНО РАЗРЕЖЕННЫЕ МАТРИЦЫ 99

N

HY означает горизонтальную конкатена-

i=1

цию векторов, то есть приписывание справа друг к другу вертикальных векторов Yx,...,Yn так, чтобы они образовали матри-цу. Компоненты вектора X считаются независимыми переменными. Линейные си -стемы являются своеобразным вырожденным случаем, когда A(V) = 0. Матрица A, — матрица нелинейных добавок к матри -це А при дифференцировании AX по X.

Теоретически формула (6) позволяет построить матрицу Якоби для функции типа (2). Однако прямая реализация матрицы нелинейных добавок А(1) оказалась бы неэффективной. Она потребовала бы существенно больше вычислений, чем формирование матрицы А . В действительности, матрица нелинейных добавок содержит, как правило, не больше, а меньше ненулевых членов, чем исходная матрица А . Заметим, что при вычислении д А /дХ. формируются слагаемые, содержащие символ Кронекера 8im как множитель. Следующая теорема также доказывается на основе алгебраических свойств E( i )(m) и E(2)(m,n) в приложении:

H5i,mE( 2 )(u,v)X = XvE( 2 )(U’4>-

i=1 (7)

Теоремы (6) и (7) позволяют предложить эффективный алгоритм одновременного построения матрицы А и матрицы Якоби типа д AX /д X , который можно назвать E-трансформацией матрицы А.

Цель Е-трансформации — построить матрицу

ХдАЛ

дХ

X

на ХА 2) (u,m) в соответствии с формулой (7). В итоге получаем матрицу нелинейных добавок. По сравнению с формулами для исходной матрицы выражение для матрицы нелинейных добавок упрощается за счет исчезновения констант при дифференцировании и несколько усложняется за счет того, что некоторые члены зависят не от одной, а от нескольких переменных. При компьютерной реализации алгоритма Е-трансформации, матрицы А(1) и А целесообразно формировать в одном цикле суммирования; при этом оказывается, что процессы их формирования имеют сравнимую сложность. В этом смысле можно говорить об эффективном алгоритме одновременного формирования матриц. Искомая матрица Якоби — сумма матрицы нелинейных добавок и матрицы А .

Хотя теория развивается для применения к сложным системам, для иллюстрации Е-трансформации рассмотрим пример простой системы из трех уравнений:

^ 3

x - y + z = 1; x - y = 0;

yz1 - z = 0.

(8)

Легко найти решение этой системы: z = >/i; y = x = 1 / z

Матрица Якоби этой системы:

f\ -1 3z2 л

1 -1 0

0 z2 2 _yz -1

А и матрицу нелинейных добавок H В качестве первого шага записываем матрицу А как сумму типа (3). На втором шаге дифференцируем получившуюся сумму по X и получаем некоторую матрицу, зависящую от индекса i. Возникающие при дифференцировании нулевые члены опускаются. При дифференцировании очередного члена получается сумма членов, соответствующих числу переменных, от которых зависит этот очередной член. Каждый член суммы содержит символ Кронекера, некоторый коэффициент и множитель Е( 2 ) (u,v). На третьем шаге в каждом члене оставляем множитель, а находящееся при множителе выражение 8.m E(2)(u,v) заменяем

(9)

Рассмотрим получение этой же матрицы Якоби с помощью Е-трансформации.

Систему (9) записываем в матричном виде:

1 -1 z2 Л f x > f 1 ^

1 -1 0 y = 0

0 z2 -1J lz 7 l0 7

т.е. = AX = £ш(1).

Выражаем матрицу через предельно разреженные матрицы:

A = М) (1,1) - E(2) (1,2) + Z 2 E (2) (1,3) + E (2) (2,1) -- E (2) (2,2) + Z 2 E (2) (3,2) - E (2)(3,3).

На втором шаге дифференцируем (10)

dA

~8X

= 2 z8t>3 E(2) (1,3) + 2 z8i3 E(2) (3,2).

(10)

(11)

РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1

100 ЕВТИХОВ М.Г.

КРАТКИЕ СООБЩЕНИЯ

Из (11) получаем матрицу нелинейных добавок по формуле (7):

Д = 2 z2 Д2)(1,3) + 2 zyE(2)(3,3). (12)

Получаем матрицу Якоби:

A + A = £(2) (1,1) - E(2) (1,2) + 3z2Ёт (1,3) + Ёт (2,1) --Ёт (2,2) + z2Ёт (3,2) + (2zy -1)Ё(2) (3,3).

она является записью (9) через предельно разреженные матрицы.

Использование функций Е(j)(m) и n)

облегчает формализацию сложных задач и позволяет получить их решение в простых случаях методом Ньютона. В общем случае, естественно, могут возникнуть затруднения, требующие привлечения других методов и помощи математиков. Но если задача уже формализована и формализация проверена, то этот процесс идет более быстро и успешно.

3. ЗАКЛЮЧЕНИЕ

Развиваемые в данной статье положения теории матриц позволяют доказывать теоремы о разреженных матрицах, облегчают анализ и формализацию постановок задач, связанных с решением систем уравнений, состоящих из десятков и сотен уравнений. В системах программирования, включая системы символьных вычислений, предельно разреженные матрицы легко реализовать для пользователя как простые подпрограммы. Разреженные векторы и матрицы большой размерности затруднительно записать на бумаге в форме столбцов и таблиц, но их легко выписать в форме (4), подобной (11), но с использованием знаков суммирования. Эта возможность позволила бы физикам-теоретикам ставить значительно более сложные задачи, чем ранее, а также привлечь не только специалистов по численным методам, но и математиков других специальностей для решения сложных и актуальных задач. В случае нелинейных задач матрицы можно дифференцировать и с помощью Е-трансформации выводить формулы для матрицы Якоби. Матрица Якоби необходима для реализации метода Ньютона, а также полезна и для реализации других градиентных численных методов, включая методы оптимизации. Для записи линейных задач с большим числом неизвестных также полезно и удобно применять предельно разреженные матрицы.

4. ПРИЛОЖЕНИЕ

Докажем формулу дифференцирования:

д AX /д X = A + H дх

VVdX J

и формулу Е-трансформации

дА

X

HSm,A 2 ){u,v)X = XvE( 2 )(u,k).

i =1

Предварительно приведем ряд очевидных или легко доказываемых лемм.

Если р — некоторый параметр, то

д(АХ) дА - 1 дХ

дР дР дР (П1)

(Известная теорема теории матриц [3, 4]).

(П2)

_ E(\) (О-

ET) (k)X = Xk,

дХ

дХ,

(П3)

Компоненты вектора X считаем независимыми переменными.

A,k = Aii) A Em(k).

(П4)

Применяя (П4), получим

a=if o,k)=

k=l i=l N N

f f ET) (i)AEm (k)E(2) (i,k).

m=l i=l

hz«=1 1( )a (w

(П5)

Pi)

i =1 i=l k=l

= 1 1 Р)<ЩА 2 №

i=l k=l

A- = £ £

dX - f-1 dXi (2)' 7

(П6) (П7)

(П8)

Вывод формулы дифференцирования: применяя (П7), (П2), (П1), (П3), (П4), (Пб) и (П5) получим:

H

i=1

Применяя (П6) получим:

N N

X

J J

N x dAл л

X X E(k)

f dA л

=1 k=l

j

XE(2) (k,i).

1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ

BRIEF REPORTS

101

8(M)- t it^4)(k,i) =

dX

=1 k=

1 dXt

= t ZV(k)(k,i) =

i=1 k=1 dX .■

N N

t t V (k)

i=1 k=1

f елл

кдХ j

XE(2) (k’i) +

+t 14) (k)AEm (i)E(2) (k,i)

i=1 k=1

N ^ елл л

H

i=1

X

P8dX< J j

+ A.

Вывод формулы Е-трансформации: HSm*Em(u, v) 1 = H5m,kE(l)(U ) Xv =

i =1

i=1

1vZ Z Ei>(r)8,Jm(u)Em(r,m)

r =1 m=1

N N

= Xv i i Sr,u5m,kE(2) (r’ m) = XvE(l) (U> k)• r =1 m=1

ЛИТЕРАТУРА

1. Тьюарсон Р. Разреженные матрицы. М., Мир, 1977, 172 с.

2. Бахвалов НС, Жидков НП, Кобельков ГМ. Численные методы. М., Лаборатория базовых знаний, 2002, 632 с.

3. Гантмахер ФР. Теория матриц. М., Наука, 1966, 576 с.

4. Воеводин BB, Кузнецов ЮА. Матрицы и вычисления. М., Наука, 1984, 320 с.

Евтихов Михаил Георгиевич

к. ф.-м. н, с. н. с.

Фрязинский филиал ИРЭ им. ВА. Котельникова РАН, 141120 г. Фрязино, Моск. обл., пл. введенского 1, тел. +7 496 565 2414, [email protected]

EXTREMELY SPARSE MATRICES

Evtikhov M. G.

Kotel’nikov Institute of Radio-Engineering and Electronics, Fryazino Branch, Russian Academy of Science,

Vvedensky sq., 1, 141120 Fryazino, Moscow region, Russian Federation [email protected]

Jacobi Matrix for a system of dozens (hundreds) of the nonlinear equations is built with the use of the proposed concept is extremely sparse matrices. Knowledge of algebraic properties of such matrices allows to prove the obvious theorem on matrices. Efficient algorithms for computation of matrices of Jacobi important when building a gradient of numerical methods, for example, Newton’s method for solving systems of nonlinear equations.

Keywords: matrix theory, gradient calculation methods, Newton’s method of solving a system of nonlinear algebraic equations.

UDC 519.615.5

Bibliography - 4 references

RENSIT, 2011, 3(1):97-101___________________________

REFERENCES

1. Tewarson RP. Sparse Matrices. NY, Acad. Press, 1973.

2. Bakhvalov NS, Zhidkov NP, Kobelkov GM. Chislennye metody [Numerical methods]. Moscow, Lab. bazovykh znaniy Publ., 2002, 632 p.

Received 18.05.2011

3. Gantmakher FR. Teoriya matrits [Theory of matrices]. Moscow, Nauka Publ., 1966, 576 p.

4. Voevodin VV, Kuznetsov YuA. Matritsy i vychisleniya [Matrices and computation]. Moscow, Nauka Publ., 1984, 320 p.

РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1