CC BY
144
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013
Управление, вычислительная техника и информатика
№ 4(25)
УДК 519.612.2
А.Е. Карелин, А.А. Светлаков
СКЕЛЕТНЫЕ РАЗЛОЖЕНИЯ ПРЯМОУГОЛЬНЫХ МАТРИЦ И ИХ ПРИМЕНЕНИЕ В СТРУКТУРНОЙ РЕГУЛЯРИЗАЦИИ ПЛОХО ОБУСЛОВЛЕННЫХ СИСТЕМ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ
Рассматривается новый метод регуляризации плохо обусловленных систем линейных алгебраических уравнений (СЛАУ). Сущность предлагаемого метода заключается в изменении структурных характеристик решаемой СЛАУ таким образом, чтобы решение измененной СЛАУ оказалось устойчивым к изменениям ее исходных данных и пригодным для его дальнейшего использования.
Ключевые слова: плохо обусловленная СЛАУ, регуляризация, скелетное разложение.
Пусть нам дана система линейных алгебраических уравнений
Здесь у - правая часть СЛАУ - заданный «-мерный вектор, где п - некоторое ограниченное натуральное число больше 2; а - неизвестный п-мерный вектор - ее решение, а и - заданная квадратная порядка п матрица коэффициентов данной СЛАУ, которая является невырожденной, но плохо обусловленной матрицей, т.е. такой, что ее ранг ги и число ее обусловленности свпё и удовлетворяют следующим соотношениям:
Здесь символ « >> » означает, что свпё и существенно, т.е. в 100 и более раз больше 1.
Как известно [1, 2], характерной особенностью подобных СЛАУ является чрезмерно высокая чувствительность их решений а к различного рода изменениям их правых частей у и матриц коэффициентов и. Последнее означает, что даже самые незначительные изменения Ду вектора у и (или) Ди матрицы и влекут за
собой столь значительные изменения Да решения а исходной СЛАУ (1), что вычисленное решение а = а + Да может оказаться сколь угодно далеким от интересующего нас решения а и не иметь с ним ничего общего. Получить пригодное для практических приложений решение подобной СЛАУ оказывается возможным только в случае применения для его вычисления того или иного метода регуляризации, позволяющего исправить решаемую СЛАУ таким образом, чтобы решение регуляризированной (исправленной) СЛАУ оказалось менее чувствительным к изменениям ее исходных данных и, вместе с тем, достаточно близким к решению а и пригодным для дальнейшего его использования.
В настоящее время известен целый ряд методов регуляризации плохо обусловленных СЛАУ, основанных на различных идеях и подходах [1, 3]. Характерная
иа = у.
(1)
ги = п , свпё и >> 1.
(2)
особенность данных методов состоит в том, что регуляризация решаемой СЛАУ осуществляется с помощью так называемых параметров регуляризации, варьируя которые удается добиться желаемой устойчивости вычисляемого решения к изменениям исходных данных СЛАУ и его приемлемой точности. Для их отличия от метода регуляризации, рассматриваемого ниже, назовем и будем называть их всюду далее, методами параметрической регуляризации плохо обусловленной СЛАУ. Учитывая отмеченную выше особенность данных методов, можно видеть, что предлагаемое их название представляется достаточно обоснованным и вполне оправданным.
Целью данной работы является рассмотрение нового метода регуляризации плохо обусловленных СЛАУ, названного и называемого нами далее методом структурной регуляризации подобных СЛАУ. Сущность предлагаемого метода заключается в изменении структурных характеристик решаемой СЛАУ таким образом, чтобы решение измененной СЛАУ оказалось устойчивым к изменениям ее исходных данных и пригодным для его дальнейшего использования. При этом под структурными характеристиками СЛАУ далее будем понимать размерности строк и столбцов ее матрицы и и соответственно ее правой части у и решения а.
1. Определение и важнейшие свойства скелетных разложений прямоугольных (шхи)-матриц
Предлагаемый метод структурной регуляризации плохо обусловленных СЛАУ основан на использовании известных в теории матриц так называемых скелетных разложений прямоугольных матриц и, таким образом, понятие «скелетное разложение прямоугольной матрицы» является для наших целей основополагающим. Поэтому и для упрощения последующего описания предлагаемого метода в данном разделе приведем необходимые нам сведения о скелетных разложениях прямоугольных матриц и, чтобы не вводить в рассмотрение еще какую-либо матрицу, сделаем это применительно к нашей матрице и, временно считая при этом, что она является прямоугольной (тхп)-матрицей и ее ранг равен ги . Здесь т, п и ги
- соответственно число строк, число столбцов и ранг матрицы и - некоторые натуральные числа, такие, что т может быть как больше, так и меньше или равно п , а ги - не больше меньшего из т и п.
Как известно из теории матриц [4], скелетным разложением матрицы и принято называть равенство вида
и = БЯ. (3)
Здесь Б и Я - прямоугольные (т х ги) - и (ги х п) -матрицы соответственно, ранги г5 и гк которых удовлетворяют соотношениям
Г8 = Ги , ГК = Ги . (4)
Данные равенства означают, что Б и Я являются так называемыми матрицами полного или максимального ранга (их ранги равны их меньшим размерностям, больше которых ранги матриц не могут быть по определению) или, что то же самое, Б является столбцово-невырожденной, а Я - строчно-невырожденной матрицей.
Отметим свойства скелетных разложений матрицы и, являющиеся для наших целей основополагающими.
1. Для любой матрицы и существует сколь угодно много скелетных разложений. В самом деле, пусть матрицы Б и Я удовлетворяют равенству (3). Тогда этому же равенству удовлетворяют и матрицы Б' и Я', определяемые равенствами вида Б' = БР, Я= Р^Я, где Р - некоторая невырожденная порядка ги матрица,
а Р 1 - обратная к ней матрица. Составив произведение Б 'Я', можно видеть, что оно также удовлетворяет равенству (3) и, таким образом, также является скелетным разложением матрицы и. Отсюда, учитывая, что невырожденных порядка ги матриц Р существует сколь угодно много и каждая из них позволяет получить
некоторое скелетное разложение матрицы и, можно заключить, что множество возможных скелетных разложений данной матрицы является бесконечным несчетным множеством.
2. Представив матрицу и как совокупность векторов-столбцов, т.е. равенством вида и = (и1 и2... ип), можно элементарными вычислениями убедиться в том, что матричное равенство (3) вполне эквивалентно следующей совокупности векторно-матричных равенств:
ги ___
Бг] =Е ^ =и ], у1 п. ()
к=1
Непосредственно видно, что у-е равенство в данном случае является не чем иным, как разложениему-го столбца и ■ матрицы и по столбцам 8к, к = 1, ги матрицы Б. При этом коэффициентами данного разложения являются компоненты вектора-столбца матрицы Я.
3. При любой заданной столбцово-невырожденной матрице Б]-е равенство (5) является СЛАУ относительно ]-го столбца г}- матрицы Я, правая часть которой
равна у-му столбцу иматрицы и, ] = 1, п, и так как имеет место равенство (4а),
то данная СЛАУ оказывается совместной и имеет бесконечное множество
решений.
4. В случае, когда вместо точно заданной матрицы и приходится иметь дело с матрицей и , удовлетворяющей равенству и = и + Ди, где Ди - прямоугольная (т х п) -матрица, элементами которой являются погрешности (ошибки) задания элементов матрицы и, оказывается необходимым и возможным использовать обобщенное или, что то же самое, условное скелетное разложение матрицы и, определяемое равенством вида
и И БЯ, (6)
используя при этом в качестве количественной меры близости между его левой и правой частями следующее условие:
II и - БЯ ||< ^и, (7)
где || • || - евклидова норма матриц, а еи - некоторое достаточно малое положительное число, выбираемое с учетом погрешностей задания матрицы и. Назо-
вем и всюду далее будем называть данное число параметром структурной регуляризации скелетного разложения матрицы и .
Если параметр регуляризации гegи = 0, то, как вытекает из (7) и определения нормы матриц, условное равенство (6) превращается в строгое равенство и, таким образом, получаемое при этом обобщенное скелетное разложение матрицы и оказывается не чем иным, как простым или классическим скелетным разложением данной матрицы, определяемым строгим равенством (3). В случае, когда гegи > 0, получаемое скелетное разложение матрицы и оказывается ее обобщенным скелетным разложением, ранги г- и г^ матриц Б и Я которого удовлетворяют соотношениям г- = гц < и, при этом ранг г- существенно зависит от выбранного значения гegи и оказывается тем меньше, чем большее значение имеет параметр регуляризации гegи , изменяясь при этом в пределах от г^ = г до
г- = 1 - •
Отмеченные выше свойства простого и обобщенного скелетных разложений матрицы II позволяют составить достаточно полное представление о их важнейших свойствах. Данные свойства, очевидно, в полной мере сохраняются и в случае любой квадратной порядка п матрицы. В частности, если данная матрица оказывается плохо обусловленной, то использование ее обобщенного скелетного разложения позволяет предложить целый ряд методов структурной регуляризации плохо обусловленных СЛАУ.
2. Анализ возможностей и некоторых проблем построения скелетных разложений (шхи)-матриц
Приведенные выше сведения о скелетных разложениях матрицы и позволяют непосредственно видеть, что для получения какого-либо конкретного ее скелетного разложения необходимо и достаточно задать некоторую конкретную матрицу Б
и, решая п СЛАУ вида (5), вычислить матрицу Я.
Рассмотрим более детально возможности и некоторые проблемы скелетного разложения (3) матрицы и, имея в виду при этом ее представление (5).
1. Для получения скелетного разложения (3) матрицы и необходимо прежде всего задать (т х г5) -матрицу Б ранга г5 . Так как подобных матриц сколь угодно много, то задать конкретную Б можно, только учитывая те или иные дополнительные соображения и требования (минимальный объем вычислений, устойчивость решения, удобство программирования и т.п.).
2. При любой заданной матрице Б построение скелетного разложения (3) матрицы и сводится к решению п систем линейных алгебраических уравнений вида (5) относительно столбцов Гу матрицы Я. Поскольку ранги матриц и и Б равны
ги и ги < п , а правыми частями данных СЛАУ являются столбцы матрицы и, то все эти СЛАУ оказываются совместными.
3. Трудоемкость решения данных СЛАУ и свойства их решений г ■, у = 1, п , существенно зависят от выбранной и используемой матрицы Б. В частности, если
матрицу Б выбрать в соответствии с равенством Б = и1, где и1 - (т х ги) -матрица, составленная из г линейно независимых столбцов матрицы и и этими столбцами являются ее первые г столбцов, то матрица Я будет определяться равенством вида Я = (Е^ Я-,), где блок Е^ - единичная порядка г5 матрица, а
блок Я1 - прямоугольная (г5 х (п - г5)) -матрица, являющаяся решением матричного уравнения и1 Я1 = и2, правая часть и2 которого является прямоугольной (т х (п - г)) -матрицей, составленной из остальных (п - г5) столбцов матрицы и, линейно зависимых с ее первыми г8 столбцами;
4. В случае, когда матрица Б является столбцово-ортогональной матрицей, удовлетворяющей равенству БТ Б = Б, где Бт - транспонированная матрица Б, а Б - диагональная порядка г8 матрица, диагональные элементы которой вычисляются по формулам
4, = (, ), ‘ 1 г- , ()
сомножитель Я скелетного разложения (3) имеет вид
Я = Б~1БТ и . (9)
Здесь Б 1 - обратная к Б матрица. При этом, если столбцы матрицы Б не только попарно ортогональны, но и являются нормированными векторами и соответственно удовлетворяют равенствам || я у ||= 1,0, у = 1, г-, где || я у || - евклидова норма вектора я у, вычисляемая согласно равенству
ч1/2
||я у ИЁ 4
V ,=1
то равенства (8) и (9) предельно упрощаются и принимают следующий вид: = 1,0, I = 17-, Я = Бти.
Приведенные результаты позволяют видеть, что задача построения скелетных разложений (3) матрицы и является существенно недоопределенной задачей. Данная особенность задачи является, с одной стороны, благом, так как она открывает широкие возможности построения различных скелетных разложений (3). С другой - она создает проблемы, обусловленные отсутствием в настоящее время каких-либо критериев и правил, позволяющих строить данные разложения в тех или иных конкретных условиях.
3. Построение робастного множителя Б обобщенного скелетного разложения плохо обусловленной матрицы и
Теперь мы откажемся от принятого выше временного допущения о том, что и является прямоугольной (т х п) -матрицей и всюду далее будем считать, что она
является квадратной порядка п матрицей, а ее ранг ги и число обусловленности свпёи удовлетворяют соотношениям (2). Рассматриваемое построение матрицы Б основано на использовании хорошо известного в линейной алгебре метода ор-тогонализации конечномерных векторов, называемого процедурой Грама -
Шмидта [3, 4]. Результатом его применения являются матрицы Б и 2, где 2 -вспомогательная (п х п) - матрица, а его реализация сводится к выполнению следующих этапов.
1. Первые столбцы ж1, ^ и подматрицы Б1, 21 матриц Б и 2 вычисляем в соответствии с равенствами
*1 = И1/Ц «1 II; ql = «1; Б1 = *1 ; ^ ^ ^ = г& =1.
Здесь « - первый столбец матрицы и, который считаем неравным нулевому
п-мерному вектору 0п, а || « ||=(«1,«1 )1/2- евклидова норма столбца и1. Полученный столбец *1 является нормированным вектором, т.е. таким, что его евклидова норма || *1 ||= 1,0 .
2. Остальные столбцы *к , qk и подматрицы Бк, Цк матриц Б и 2, а также их ранги г5^ и ^, к = 2, п, формируем, выполняя при каждом значении к следующие операции.
2.1. Строим ортогональную проекцию рк столбца ик на линейную оболочку Ь (*1, *2,..., *к _1), натянутую на столбцы *1, *2,..., *к _1 матрицы Бк _1, вычисляя ее в соответствии с соотношением
Рк = Бк_1Ск = С1к *1 + С2к *2 + ... + Ск_1,к *к_1 , (10)
где Бк_1 - (тх(к_ 1)) -матрица, составленная из к_1 столбцов *1,*2,...,*к_1, сформированных на предшествующих к_ 1 этапах; ^,^2к,...,Ск_1к - коэффициенты, вычисляемые согласно равенствам
т ___
С]к =(«к , *} ) = Е ***] , ] = 1 к _ !. (11)
i=1
Замечание 1. Непосредственными вычислениями нетрудно убедиться в том, что совокупность данных равенств можно представить одним, эквивалентным им векторно-матричным равенством вида ск = Б1_1ик, где Б^_1 - транспонированная матрица Бк_1 .
Замечание 2. Пусть к = 2 . В этом случае (10) и (11) принимают следующий вид:
т
р2 = Б1с2 = С12 *1 , С12 = (и2 , *1 ) = ^ Мг' 2 .
i=1
Воспользовавшись данными равенствами, легко проверить, что в случае, когда столбцы и2 и *1 являются строго линейно зависимыми, то р2 = «2, а в случае, когда «2 и *1 являются ортогональными, р2 = 0п, где 0п - нулевой п-мерный вектор-столбец.
2.2. Вычисляем вспомогательный вектор Ук и его евклидову норму || гк || в соответствии с формулами
п = «к _Рк = «к _Бк_1ск; || п ||= I
VI =1
2.3. Проверяем неравенство вида
|| гк ||> г^и , (13)
где гegU - некоторое заданное положительное число - параметр структурной регуляризации СЛАУ (1).
2.4. Если данное неравенство выполняется, то формируем к-е столбцы *к , qk и подматрицы Бк , 2к матриц Б и 2 согласно следующим равенствам:
*к = *к/\\ук||; qk = «к; Бк =(Бк_1;*к); Ок = (&_ ^к), (14)
а их ранги г3 и д вычисляем в соответствии с соотношениями
% = %_1 +1, гдк = гдк_1 +1. (15)
2.5. Если неравенство (13) не выполняется, то формируем матрицы Б к и 2 и
их ранги г3 и д в следующем виде:
Б к =( Бк_1 К), йк =(2к_1 |0п); (16)
\ = % _1, гдк = гдк _1. (17)
т.е. оставляем их равными матрицам Бк _1 и йк _1, сформированным на предшествующих к _ 1 этапах.
2.6. Выполнив операции (10), (11), (12) - (17) при к = п , получаем матрицы
Бп и 2п и формируем необходимые нам матрицы Б и 2 согласно равенствам
Б = Бп, 2 = 2п.
Замечание 1. Полученная матрица Б является прямоугольной (п х гх ) -матрицей, ранг которой равен числу ее столбцов г . При этом ее столбцы являются ор-тонормированными векторами-столбцами и, таким образом, она удовлетворяет равенству
Бт Б = Ег , (18)
где Бт - транспонированная матрица Б, а Ег - единичная матрица порядка г3.
Замечание 2. Как и матрица Б, полученная матрица 2 является прямоугольной (п х г5) -матрицей и ее ранг Гд = г5 и, таким образом, она оказывается столбцовоневырожденной матрицей. При этом ее столбцы q}-, } = 1, Гд , являются строго
линейно независимыми столбцами.
Замечание 3. Как будет видно ниже, выполняя операции (16), тем самым устраняем (выбрасываем) столбец «к матрицы и, а компоненту ак решения а СЛАУ (1) полагаем равной 0. Устранение «к и обнуление компоненты ак в данном
случае является, очевидно, вполне обоснованным. Действительно, в этом случае выполняется противоположное неравенство || гк ||< гegU , которое означает, что
между столбцом «к и предшествующими ему столбцами имеет место достаточно тесная линейная зависимость и, следовательно, его можно изъять из матрицы и, а соответствующую ему компоненту ак решения а СЛАУ (1) положить равной 0
и, тем самым, увеличить его устойчивость к ошибкам задания матрицы и.
Замечание 4. Как видно из (10), (13) и (16), число столбцов матрицы существенно зависит от параметра регуляризации гegU и, таким образом, изменяя его значение, можно существенно изменять число г.,. При этом, чем при большем значении гegU построена матрица Б, тем она имеет меньшее число столбцов г , и наоборот. Более детально выбор значения гegU при построении матрицы Б рассмотрим ниже. Здесь же отметим только, что устраняя столбец «к матрицы и и обнуляя соответствующую ему компоненту ак решения а СЛАУ (1) в соответствии с изложенным выше способом, тем самым осуществляем ее структурную регуляризацию. При этом ее результатом является регуляризированная СЛАУ, число столбцов матрицы коэффициентов и размерность решения которой оказываются согласованными и определяются используемым значением гegU .
4. Построение регуляризированных скелетных разложений матрицы и и регуляризированных решений СЛАУ (1)
Здесь и всюду далее под регуляризированным скелетным разложением матрицы и будем понимать ее скелетное разложение, определяемое равенством вида
2 = БЯ , где Б - прямоугольная (п х г8) - матрица, построенная в предыдущем пункте и соответственно являющаяся не только столбцово невырожденной, но и столбцово-ортогональной матрицей, а Я - неизвестная нам прямоугольная (г8 х п) -матрица.
Построение данных разложений сводится к выполнению следующих операций.
1. Множитель Я вычисляем согласно равенству
Я = (т Б ) Бт 2 .
Так как столбцы *}- матрицы Б являются ортонормированными векторами, то
матрица Б удовлетворяет равенству (18), а равенство для определения Я принимает следующий предельно простой вид:
Я = Ега Бт 2 = Бт 2 .
2. Вычисляем матрицы и и Ди, а также евклидову норму || Ди || матрицы Ди в соответствии с равенствами
и = БЯ; Ди = и _ и; || Ди ||=
3. Проверяем неравенство вида
/ \ 1/2
I п \
I Д«2
V ь}=1 У
|| Ди ||< Д . (19)
Здесь Д - некоторое заданное положительное число, выбираемое с учетом погрешностей задания матрицы и в (3), и если оно выполняется, то на этом процесс построения скелетного разложения БЯ матрицы и заканчиваем.
4. Если данное неравенство не выполняется, то задаем новое значение параметра гegU , определяя его равенством гegU = 0,5гegU , и строим новое скелетное
разложение Б1Я1 матрицы и, выполняя при этом рассмотренные выше 2-й и все
последующие этапы еще раз. Процесс построения данного разложения продолжаем до тех пор, пока не будет выполнено неравенство (19).
Из вышеизложенного следует, что решение СЛАУ (1) сводится к решению СЛАУ вида
2а = У ,
которая оказывается переопределенной СЛАУ. Поэтому в качестве решения данной СЛАУ используем ее псевдорешение а+ , вычисляемое согласно равенству
а+ = 2+ У ,
где 2 + - псевдообратная матрица к матрице 2.
При этом вычисление псевдообратной матрицы 2 + реализуем в соответствии с формулой
2+ = (БЯ)+ = Я+ Б + = Я (Я ) (тБ) Бт = Я (Я ) Бт .
Как известно из линейной алгебры и теории матриц [3, 4], вычисленное в соответствии с данными формулами псевдорешение а СЛАУ (1) минимизирует евклидову норму || у _ Б + Яа || вектора у _ Б + Яа и имеет минимальную по сравнению со всеми другими решениями данной СЛАУ евклидову норму || а || и, таким
образом, из всех возможных ее решений оно оказывается наиболее устойчивым к изменениям исходных данных (ошибкам задания ее правой части у и матрицы коэффициентов и).
Заключение
Основные результаты данной работы сводятся к следующему:
1. Предложен метод структурной регуляризации плохо обусловленных СЛАУ, основанный на использовании скелетных разложений прямоугольных матриц.
2. Наличие в данном методе параметров гegU и Д позволяет получить решение плохо обусловленной СЛАУ, устойчивое к ошибкам задания ее правой части у и матрицы коэффициентов и.
ЛИТЕРАТУРА
1. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979. 288 с.
2. Ильин В.А., Позняк Э.Г. Линейная алгебра. М.: Наука, 1974. 296 с.
3. Светлаков А.А. Традиционное и нетрадиционное оценивание неизвестных величин. Ч. 1. Простейшие задачи оценивания неизвестных величин по результатам их экспериментальных измерений: учеб. пособие. Томск: Изд-во Томск. гос. ун-та систем упр. и радиоэлектроники, 2007. 550 с.
4. Гантмахер Ф.Р. Теория матриц. М.: Наука, 1988. 552 с.
Карелин Алексей Евгеньевич Светлаков Анатолий Антонович Томский государственный университет
систем управления и радиоэлектроники Е-таП: karelin_a@mail.ru, iit@fet.tusur.ru
Поступила в редакцию 30 июня 2013 г.
Karelin Aleksei E., Svetlakov Anatoly .A. (Tomsk State University of Control Systems and Radioelectronics). Skeleton decomposition of rectangular matrices and its application for structural regularization of ill-conditioned systems of linear algebraic equations.
Keywords: ill-conditioned SLAE, regularization, skeleton decomposition.
The new method for regularization of ill-conditioned systems of linear algebraic equations (SLAE) has been considered. The main idea of the method is the correction of structural characteristics of SLAE under consideration. In the paper we mean under “structural characteristics” of a matrix the dimensions of rows and columns of a coefficient matrix. The structural regularization of an ill-conditioned SLAE means here the searching of the values of abovementioned parameters, which provide stability of the solution of a SLAE with respect to variations of input data. The proposed method has been based on the obtaining of skeleton decompositions of matrix by means of Gram-Schmidt procedure of orthogonalization of finite-dimensional vectors.
