CC BY
75
Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2016. Т. 20, № 4. С. 730-738
!88№ 2310-7081 (оп11пе), 1991-8615 (рг1п1) ао1: http://dx.doi.org/10.14498/vsgtu1496
ОБ ОДНОЙ ВЫЧИСЛИТЕЛЬНОЙ РЕАЛИЗАЦИИ БЛОЧНОГО МЕТОДА ГАУССА-ЗЕЙДЕЛЯ ДЛЯ НОРМАЛЬНЫХ СИСТЕМ УРАВНЕНИЙ
УДК 519.612
А. И. Жданов, Е. Ю. Богданова
Самарский государственный технический университет, Россия, 443100, Самара, ул. Молодогвардейская, 244.
Аннотация
Статья посвящена модификации блочного варианта метода Гаусса—Зей-деля для нормальных систем уравнений, который является одним из достаточно эффективных методов решения, в общем случае переопределенных, систем линейных алгебраических уравнений большой размерности. Основным недостатком методов, основанных на нормальных системах уравнений, является тот факт, что число обусловленности нормальной системы равно квадрату числа обусловленности исходной задачи. Этот факт отрицательно влияет на скорость сходимости итерационных методов, основанных на нормальных системах уравнений. Для повышения скорости сходимости итерационных методов, основанных на нормальных системах уравнений, при решении плохо обусловленных задач в настоящее время используются различные варианты предобу-славливателей, позволяющие снизить число обусловленности исходной системы уравнений. Однако универсального предобуславливателя для всех задач не существует. Одним из эффективных подходов, позволяющих повысить скорость сходимости итерационного метода Гаусса—Зей-деля для нормальных систем уравнений, является использование его блочного варианта. Недостатком блочного метода Гаусса—Зейделя для нормальных систем является тот факт, что на каждой итерации необходимо вычислять псевдообратную матрицу. Известно, что нахождение псевдообратной матрицы является достаточно сложной вычислительной процедурой. В настоящей работе предлагается процедуру псевдообращения матрицы заменить на задачу решения нормальных систем уравнений методом Холецкого. Нормальные уравнения, возникающие на каждой итерации метода Гаусса—Зейделя, имеют сравнительно невысокую размерность по сравнению с исходной системой. Приводятся результаты вычислительных экспериментов, демонстрирующие эффективность предлагаемого подхода.
Ключевые слова: нормальные уравнения, блочный метод Гаусса—Зейде-
© 2016 Самарский государственный технический университет. Образец для цитирования
Жданов А. И., Богданова Е. Ю. Об одной вычислительной реализации блочного метода Гаусса-Зейделя для нормальных систем уравнений // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2016. Т. 20, № 4. С. 730-738. ао1: 10.14498/vsgtu1496. Сведения об авторах
Александр Иванович Жданов (д.ф.-м.н., проф. [email protected]), декан, факультет дистанционного и дополнительного образования; заведующий кафедрой, каф. высшей математики и прикладной информатики.
Екатерина Юрьевна Богданова ([email protected]; автор, ведущий переписку), аспирант, каф. высшей математики и прикладной информатики.
ля, метод Холецкого, линейные алгебраические системы большой размерности.
Введение. В статье рассматривается блочный метод Гаусса—Зейделя для нормальных систем уравнений [1]. Данный метод является одним из достаточно эффективных итерационных методов решения, в общем случае переопределенных, систем линейных алгебраических уравнений (СЛАУ), которые возникают в многочисленных приложениях [2].
Пусть задана СЛАУ
Ах = Ь, (1)
где А е Мтхга, т ^ п, гапк(А) = п.
Необходимо вычислять в общем случае псевдорешение
х* = А"Ь.
Здесь А"!" — псевдообратная матрица Мура—Пенроуза матрицы А [3, р. 230]. Как хорошо известно [1, 3], вычисление х* эквивалентно решению нормальных систем уравнений:
АтАх = АТЬ. (2)
Если т = п, то х* = А-1Ь, то есть х* является решением исходной СЛАУ (1).
Важной характеристикой итерационных методов является скорость сходимости, которая зависит от числа обусловленности исходной задачи. Плохая обусловленность приводит к значительному снижению скорости сходимости итерационных методов. Многие практические задачи имеют достаточно высокое число обусловленности, а у методов, основанных на решении нормальных систем уравнений, оно равно квадрату числа обусловленности исходной задачи:
№(АТА)= ц2(А),
где (А) = ||А||2 ■ ||А"||2 — спектральное число обусловленности матрицы А, II ■ 112 — спектральная матричная норма.
Существуют различные подходы для увеличения скорости сходимости итерационных методов решения плохо обусловленных задач [4, 5]. Один из таких подходов основывается на предобуславливании исходной задачи [6-10]. Однако не для всех задач удается получить эффективную процедуру пре-добуславливания. При этом использование предобуславливателя приводит к сильному увеличению вычислительной сложности алгоритма, что крайне нежелательно при решении задач большой размерности.
Для увеличения скорости сходимости итерационных методов Качмажа [11] и Гаусса—Зейделя для нормальных систем уравнений в последнее время также используется подход, основанный на идее рандомизации [12-14]. Однако применение такого подхода не всегда оказывается достаточно эффективным. В таких случаях наиболее перспективным способом увеличения скорости сходимости является блочный вариант этих методов. В данной статье рассматривается блочный вариант метода Гаусса—Зейделя для нормальных систем уравнений [3]. При использовании этого метода возникает необходимость вычисления псевдообратных матриц на каждой итерации, что, в свою очередь, резко повышает вычислительную сложность алгоритма.
Целью данной работы является получение эффективной вычислительной реализации блочного метода Гаусса—Зейделя для нормальных систем уравнений. В работе предлагается заменить операцию псевдообращения матрицы на каждой итерации на задачу решения нормальных систем с помощью метода Холецкого [15]. Нормальные уравнения, возникающие на каждой итерации метода Гаусса—Зейделя, имеют сравнительно невысокую размерность по сравнению с исходной системой. Это позволяет снизить вычислительную сложность метода и тем самым повысить скорость сходимости алгоритма.
1. Описание метода. Рассмотрим блочный вариант метода Гаусса—Зейделя для нормальных систем уравнений (2):
dj = AK,
xk+1 = xi + wdi, (3) rj+1 = rj - wAjdj,
где j = 1, 2,..., s, k = 0,1,..., A = (A1 A2 ... As); s — количество блоков матрицы A; Aj £ Rmxnj, S=1 Щ = n, 0 < ш < 2 — параметр релаксации.
Алгоритм (3) можно записать с использованием «микроитераций» [16]:
dj = A^rj,
Xj+1 = Xj + wEj dj, (4)
rj+1 = rj - wAjdj,
где j = j(k) = (k mod p) + 1; {j(k)}^=0 — периодическая последовательность вида 1, 2,..., s, 1, 2,...,s,...; E = (e E2 ••• Es); Ej £ Rnxn?; E — единичная матрица порядка n.
Если xo — произвольный вектор, а ro удовлетворяет условию согласования
r0 = b — Ax0, то, как показано в [1], Xj j~—О x*, где x* — псевдорешение системы уравнений (1).
Для вычисления псевдообратной матрицы At можно использовать различные алгоритмы, например, сингулярное разложение [17] или метод Гре-вилля [18]. Данные методы вычисления псевдообратной матрицы имеют много недостатков, которые снижают скорость решения задачи.
Пусть rank(Aj) = nj, тогда псевдообратная матрица каждого блока определяется по формуле [19]:
A] = (AjAj )-1Aj. (5)
Однако данная процедура требует обращения матрицы AjAj, что, в свою очередь, сильно усложняет вычислительную процедуру. Из (4) и (5) следует, что вычисление dk можно свести к решению линейной системы уравнений
AjAj dj = Ajrj. (6)
Поскольку rank(Aj) = nj, матрица AjAj —симметричная положительно определенная матрица и для решения линейной системы (6) можно использовать метод, основанный на разложении Холецкого:
Aj Aj = Lj Lj,
Lj y = A]rk, L]dj = y.
Здесь Lj —нижняя треугольная матрица (фактор Холецкого).
Таким образом, предлагается вариант реализации блочного метода Гаусса-Зейделя для нормальных уравнений, который не требует на каждой итерации вычисления псевдообратной матрицы, а dk вычисляется на основании решения системы (6) с использованием разложения Холецкого, что, в конечном счете, позволит снизить вычислительную сложность и повысить скорость итерационного метода.
2. Тестовые исследования. В данном пункте продемонстрируем преимущество предлагаемого вычислительного варианта блочного метода Гаусса— Зейделя для нормальных систем уравнений по сравнению с методом, требующим непосредственного вычисления псевдообратной матрицы.
Численные тестовые исследования проводились с использованием программного математического пакета SciLab. Предлагаемый вариант блочного метода Гаусса—Зейделя проиллюстрируем на следующем примере: A G Rmxn, A = (aij ), элементы aj имеют равномерный закон распределения на интервале (0; 10) и сформированы с помощью генератора случайных чисел, b G Rm, элементы bi вектора b имеют равномерный закон распределения на интервале (0; 10).
Проводилось численное исследование для различной размерности блоков матрицы A с целью решения вопроса о выборе оптимального размера блоков. В рассматриваемых примерах параметр релаксации ш = 1, m = 2200, n = 700, число обусловленности матрицы A равно ^(A) = 3.1256.
В таблице сверху приведены результаты решения данной задачи блочным методом Гаусса—Зейделя с использованием разложения Холецкого. Здесь Ncol — размер блока (количество столбцов в блоке), к — количество всех вы-
Результаты численного решения нормальных систем уравнений методом Гаусса—Зейделя [Results for numerical solution of normal systems of equations by Gauss-Seidel method]
Block size, NcoI Number of iterations, к Time (s) ||x - xt | 2
Results for Cholesky decomposition
1 9800 31.0156 2.5 10- 6
2 8750 26.9531 0.4 10- 6
14 900 4.0312 5.29 • 10 -8
28 550 3.8437 4.68 • 10 -8
50 266 3.4375 5.08 • 10 -8
700 1 9.1718 5.92 • 10 -8
Results for Greville's method
1 9800 32.5937 2.5 10- 6
2 8750 26.8593 5.29 • 10 8
14 900 4.3281 4 • 10-7
28 550 4.4062 4.68 • 10 8
50 266 4.2187 6.82 • 10 8
700 1 31.5937 5.92 • 10 8
полненных итераций, Time — время выполнения алгоритма в секундах, ж*— точное псевдорешение, которое было найдено SVD-методом [3]. Условием остановки итерационного процесса является критерий:
\\жк+1 - жк II2 < 10-5 \\xk+l\\2 < '
Проведен также аналогичный численный эксперимент при той же матрице A и том же векторе b, только поставленная задача была решена блочным методом Гаусса—Зейделя с использованием метода Гревилля для вычисления псевдообратной матрицы (результаты представлены в таблице снизу).
Согласно данным таблицы, время решения задачи убывает до Ncoi = 50, а потом начинает возрастать. Увеличение времени решения задачи методом Гаусса—Зейделя при использовании метода Гревилля для вычисления псевдообратной матрицы происходит более резко, чем в предложенном методе. При увеличении количества столбцов в блоке, то есть увеличении размера Ncoi блоков, количество итераций, которые требуются для решения задачи, уменьшается.
Более наглядно разницу между двумя численными алгоритмами можно увидеть на рисунке. Видно, что решение задачи блочным методом Гаусса— Зейделя с использованием разложения Холецкого выполняется быстрее, чем тот же алгоритм с использованием метода Гревилля для вычисления псевдообратной матрицы. При этом чем больше размерность блоков, тем больше разница во времени решения задачи между этими двумя алгоритмами.
5 7 14 25 28 50 100 140 175 350 700 Block size, Ncoi —»—Results for Cholesky decomposition - -• - Results for Greville's method
Время решения тестовых задач для нормальных систем уравнений методом Гаусса—Зейделя [Time of the test problems solution for normal systems of equations by Gauss-Seidel method]
С увеличением размерности блоков возрастает сложность вычислений для каждого блока, и этот факт объясняет вид графиков на приведенном рисунке.
Заключение. В данной статье предлагается оригинальная модификация блочного метода Гаусса—Зейделя для нормальных систем уравнений, которая заключается в замене операции псевдообращения матрицы на задачу ре-
шения методом Холецкого нормальных систем уравнений для каждого отдельного блока.
Приведены численные результаты, демонстрирующие эффективность данного подхода. Показано, что увеличение размерности блока, то есть увеличение числа столбцов в блоке, приводит, соответственно, к снижению числа требуемых итераций. Однако каждая итерация становится вычислительно более сложной, и в этом случае требуется определять оптимальный размер блока.
Декларация о финансовых и других взаимоотношениях. Исследование не имело спонсорской поддержки. Все авторы принимали участие в разработке концепции статьи и в написании рукописи. Авторы несут полную ответственность за предоставление окончательной рукописи в печать. Окончательная версия рукописи была одобрена всеми авторами. Авторы не получали гонорар за статью.
ORCID
Екатерина Юрьевна Богданова: http://orcid.org/0000-0002-8687-3173
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Saad Y. Basic Iterative Methods / Iterative Methods for Sparse Liner Systems. Philadelphia, PA, USA: SIAM, 2003. pp. 103-128. doi: 10.1137/1.9780898718003.ch4.
2. Golub G. H., Van Loan C. F. Matrix Computations / Johns Hopkins Studies in Mathematical Sciences. Baltimore, London: Johns Hopkins University Press, 1996. xxvii+728 pp.
3. Bjorck A. Linear Least Squares Problems / Numerical methods in matrix computations / Texts in Applied Mathematics, 59. Berlin: Springer, 2015. pp. 211-430. doi: 10.1007/ 978-3-319-05089-8_2.
4. Young D., Rheinboldt W. Iterative Solutions of Large Linear Systems. New York: Academic Press, 1971. 572 pp. doi: 10.1016/c2013-0-11733-3.
5. Ma A., Needell D., Ramdas A. Convergence Properties of the Randomized Extended Gauss-Seidel and Kaczmarz Methods // SIAM. J. Matrix Anal. Appl., 2015. vol. 36, no. 4. pp. 15901604. doi: 10.1137/15m1014425.
6. Gill P. E., Murray W., Ponceleon D. B., Saunders M. A. Preconditioners for Indefinite Systems Arising in Optimization// SIAM. J. Matrix Anal. Appl., 1992. vol.13, no. 1. pp. 292-311. doi: 10.1137/0613022.
7. Benzi M. Preconditioning Techniques for Large Linear Systems: A Survey // Journal of Computational Physics, 2002. vol.182, no. 2. pp. 418-477. doi: 10.1006/jcph.2002.7176.
8. Benzi M., Tuma M. A comparative study of sparse approximate inverse preconditioners // Appl. Numer. Math., 1999. no. 2-3. pp. 305-340. doi: 10.1016/s0168-9274(98)00118-4.
9. Bergamaschi L., Pini G., Sartoretto F. Approximate inverse preconditioning in the parallel solution of sparse eigenproblems // Numerical Linear Algebra with Applications, 2000. vol. 7, no. 3. pp. 99-116. doi: 10.1002/(sici)1099-1506(200004/05)7:3<99::aid-nla188>3.3. co;2-x.
10. Benzi M., Joubert W. D., Mateescu G. Numerical experiments with parallel orderings for ILU preconditioners // Electronic Transactions on Numerical Analysis, 1999. vol. 8. pp. 88-114.
11. Ильин В. П. Об итерационном методе Качмажа и его обобщениях// Сиб. журн. ин-дустр. матем., 2006. Т. 9, №3. С. 39-49.
12. Gower R. M., Richtarik P. Randomized Iterative Methods for Linear Systems// SIAM. J. Matrix Anal. Appl., 2015. vol.36, no. 4. pp. 1660-1690. doi: 10.1137/15m1025487.
13. Strohmer T., Vershynin R. A Randomized Kaczmarz Algorithm with Exponential Convergence// J. Fourier Anal. Appl, 2009. vol.15, no. 2. pp. 262-278. doi: 10.1007/ s00041-008-9030-4.
14. Жданов А. И., Сидоров Ю. В. Параллельная реализация рандомизированного ре-гуляризованного алгоритма Качмажа// Комп. оптика, 2015. Т. 39, №4. С. 536-541. doi: 10.18287/0134-2452-2015-39-4-536-541.
15. Horn R. A., Johnson C. R. Matrix Analysis. Cambridge: Cambridge University Press, 1989. xviii+643 pp. doi: 10.1017/cbo9781139020411.
16. Жданов А. И., Иванов А. А. Проекционный регуляризирующий алгоритм для решения некорректных линейных алгебраических систем большой размерности // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2010. №21. С. 309-312. doi: 10.14498/ vsgtu827.
17. Малышев А. Н. Введение в вычислительную линейную алгебру. Новосибирск: Наука, 1991. 229 с.
18. Гантмахер Ф. Р. Теория матриц. М.: Наука, 1966. 576 с.
19. Беклемишев Д. В. Дополнительные главы линейной алгебры. М.: Наука, 1983. 336 с.
Поступила в редакцию 20/VI/2016; в окончательном варианте — 02/IX/2016; принята в печать — 09/IX/2016.
Vestn. Samar. Gos. Techn. Un-ta. Ser. Fiz.-mat. nauki
[J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2016, vol. 20, no. 4, pp. 730-738
ISSN: 2310-7081 (online), 1991-8615 (print) doi: http://dx.doi.org/10.14498/vsgtu1496
MSC: 65F10
ON A COMPUTER IMPLEMENTATION OF THE BLOCK GAUSS-SEIDEL METHOD FOR NORMAL SYSTEMS OF EQUATIONS
A. I. Zhdanov, E. Yu. Bogdanova
Samara State Technical University,
244, Molodogvardeyskaya st., Samara, 443100, Russian Federation.
Abstract
This article focuses on the modification of the block option Gauss-Seidel method for normal systems of equations, which is a sufficiently effective method of solving generally overdetermined, systems of linear algebraic equations of high dimensionality. The main disadvantage of methods based on normal equations systems is the fact that the condition number of the normal system is equal to the square of the condition number of the original problem. This fact has a negative impact on the rate of convergence of iterative methods based on normal equations systems. To increase the
© 2016 Samara State Technical University. Please cite this article in press as:
Zhdanov A. I., Bogdanova E. Yu. On a computer implementation of the block Gauss-Seidel method for normal systems of equations, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2016, vol. 20, no. 4, pp. 730-738. doi: 10.14498/vsgtu1496. (In Russian) Authors Details:
Alexander I. Zhdanov (Dr. Phys. & Math. Sci.), Dean, Faculty of the Distance and Additional Education; Head of Dept., Dept. of Higher Mathematics & Applied Computer Science. Ekaterina Yu. Bogdanova ([email protected]; Corresponding Author), Postgraduate Student, Dept. of Higher Mathematics & Applied computer Science.
speed of convergence of iterative methods based on normal equations systems, for solving ill-conditioned problems currently different preconditioners options are used that reduce the condition number of the original system of equations. However, universal preconditioner for all applications does not exist. One of the effective approaches that improve the speed of convergence of the iterative Gauss-Seidel method for normal systems of equations, is to use its version of the block. The disadvantage of the block Gauss-Seidel method for production systems is the fact that it is necessary to calculate the pseudoinverse matrix for each iteration. We know that finding the pseudoinverse is a difficult computational procedure. In this paper, we propose a procedure to replace the matrix pseudo-solutions to the problem of normal systems of equations by Cholesky. Normal equations arising at each iteration of Gauss-Seidel method, have a relatively low dimension compared to the original system. The results of numerical experimentation demonstrating the effectiveness of the proposed approach are given.
Keywords: normal equations, block Gauss-Seidel method, Cholesky method, linear algebraic systems of large dimension.
Declaration of Financial and Other Relationships. The research has not had any sponsorship. Each author has participated in the article concept development and in the manuscript writing. The authors are absolutely responsible for submitting the final manuscript in print. Each author has approved the final version of manuscript. The authors have not received any fee for the article.
ORCID
Ekaterina Yu. Bogdanova: http://orcid.org/0000-0002-8687-3173
REFERENCES
1. Saad Y. Basic Iterative Methods, In: Iterative Methods for Sparse Liner Systems. Philadelphia, PA, USA, SIAM, 2003, pp. 103-128. doi: 10.1137/1.9780898718003.ch4.
2. Golub G. H., Van Loan C. F. Matrix Computations, Johns Hopkins Studies in Mathematical Sciences. Baltimore, London, Johns Hopkins University Press, 1996, xxvii+728 pp.
3. Bjorck A. Linear Least Squares Problems, In: Numerical methods in matrix computations, Texts in Applied Mathematics, 59. Berlin, Springer, 2015, pp. 211-430. doi: 10.1007/ 978-3-319-05089-8_2.
4. Young D., Rheinboldt W. Iterative Solutions of Large Linear Systems. New York, Academic Press, 1971. 572 pp. doi: 10.1016/c2013-0-11733-3.
5. Ma A., Needell D., Ramdas A. Convergence Properties of the Randomized Extended Gauss-Seidel and Kaczmarz Methods, SIAM. J. Matrix Anal. Appl, 2015, vol. 36, no. 4, pp. 15901604. doi: 10.1137/15m1014425.
6. Gill P. E., Murray W., Ponceleon D. B., Saunders M. A. Preconditioners for Indefinite Systems Arising in Optimization, SIAM. J. Matrix Anal. Appl., 1992, vol. 13, no. 1, pp. 292-311. doi:10.1137/0613022.
7. Benzi M. Preconditioning Techniques for Large Linear Systems: A Survey, Journal of Computational Physics, 2002, vol.182, no. 2, pp. 418-477. doi: 10.1006/jcph.2002.7176.
8. Benzi M., Tûma M. A comparative study of sparse approximate inverse preconditioners, Appl. Numer. Math., 1999, no. 2-3, pp. 305-340. doi: 10.1016/s0168-9274(98)00118-4.
9. Bergamaschi L., Pini G., Sartoretto F. Approximate inverse preconditioning in the parallel solution of sparse eigenproblems, Numerical Linear Algebra with Applications, 2000, vol. 7, no.3, pp. 99-116. doi: 10.1002/(sici)1099-1506(200004/05)7:3<99::aid-nla188>3.3. co;2-x.
10. Benzi M., Joubert W. D., Mateescu G. Numerical experiments with parallel orderings for ILU preconditioners, Electronic Transactions on Numerical Analysis, 1999, vol. 8, pp. 88-114.
yKgaHOB A. M., B orgaHOB a E. fö.
11. Il'in V. P. On the Kaczmarz iterative method and its generalizations, J. Appl. Industr. Math., 2008, vol.2, no. 3, pp. 357-366. doi: 10.1134/S199047890803006X.
12. Gower R. M., Richtarik P. Randomized Iterative Methods for Linear Systems, SIAM. J. Matrix Anal. Appl., 2015, vol.36, no. 4, pp. 1660-1690. doi: 10.1137/15m1025487.
13. Strohmer T., Vershynin R. A Randomized Kaczmarz Algorithm with Exponential Convergence, J. Fourier Anal. Appl., 2009, vol.15, no. 2, pp. 262-278. doi: 10.1007/ s00041-008-9030-4.
14. Zhdanov A. I., Sidorov Y. V. Parallel implementation of a randomized regularized Kacz-marz's algorithm, Computer Optics, 2015, vol. 39, no. 4, pp. 536-541 (In Russian). doi: 10. 18287/0134-2452-2015-39-4-536-541.
15. Horn R. A., Johnson C. R. Matrix Analysis. Cambridge, Cambridge University Press, 1989. xviii+643 pp. doi: 10.1017/cbo9781139020411.
16. Zhdanov A. I., Ivanov A. A. Projection regularization algorithm for solving linear algebraic system of large dimension, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2010, no. 21, pp. 309-312 (In Russian). doi: 10.14498/vsgtu827.
17. Malyshev A. N. Vvedenie v vychislitel'nuiu lineinuiu algebru [Introduction to computational linear algebra]. Novosibirsk, Nauka, 1991, 229 pp. (In Russian)
18. Gantmacher F. R. The theory of matrices, vol. I and II. New York, Chelsea, 1959, x+374 pp.; ix+276 pp.
19. Beklemishev D. V. Dopolnitel'nye glavy lineinoi algebry [Supplementary chapters in linear algebra]. Moscow, Nauka, 1983, 336 pp. (In Russian)
Received 20/VI/2016;
received in revised form 02/IX/2016;
accepted 09/IX/2016.
