Научная статья на тему 'Оптимизация сингулярных чисел матриц, зависящих от параметров, с использованием гибридных алгоритмов'

Оптимизация сингулярных чисел матриц, зависящих от параметров, с использованием гибридных алгоритмов Текст научной статьи по специальности «Математика»

CC BY
227
51
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СИНГУЛЯРНОЕ ЧИСЛО / КРИТЕРИАЛЬНАЯ ФУНКЦИЯ / КОНСТАНТА ЛИПШИЦА / СГЛАЖИВАЮЩАЯ АППРОКСИМАЦИЯ / КРИВАЯ ПЕАНО / ГЛОБАЛЬНАЯ ОПТИМИЗАЦИЯ / АЛГОРИТМ МЕТРОПОЛИСА / ГИБРИДНЫЙ АЛГОРИТМ / SINGULAR VALUE / CRITERION FUNCTION / LIPSCHITZIAN CONSTANT / SMOOTHING APPROXIMATION / PEANO CURVE / GLOBAL OPTIMIZATION / METROPOLIS ALGORITHM / HYBRID ALGORITHM

Аннотация научной статьи по математике, автор научной работы — Сулимов В.Д., Шкапов П.М., Сулимов А.В.

Рассмотрены экстремальные задачи для составляющих сингулярных спектров действительных матриц, зависящих от параметров. Критериальные функции предположены непрерывными, липшицевыми, многоэкстремальными, не обязательно всюду дифференцируемыми. При поиске глобальных решений использованы новые гибридные алгоритмы, объединяющие стохастический алгоритм сканирования пространства переменных и детерминированные методы локального поиска. В первом гибридном алгоритме локальные решения определены методом линеаризации с построением сглаживающих аппроксимаций, во втором модифицированным методом кривой, заполняющей пространство. Приведены численные примеры

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

OPTIMIZATION OF SINGULAR VALUES OF PARAMETER DEPENDENT MATRICES USING HYBRID ALGORITHMS

This article considers extremal problems for singular spectrum components of real-valued matrices depending on parameters. Criterion functions are supposed to be continuous, Lipschitzian, multiextremal and not necessarily differentiable. While searching for global solutions we used new hybrid algorithms that combine a stochastic algorithm for scanning a search space and deterministic methods for local search. The first hybrid algorithm determines local solutions using the linearization method with smoothing approximations. The second algorithm does it by using the modified space-filling curve method. Our work provides numerical examples

Текст научной работы на тему «Оптимизация сингулярных чисел матриц, зависящих от параметров, с использованием гибридных алгоритмов»

УДК 519.6

DOI: 10.18698/1812-3368-2016-5-46-66

ОПТИМИЗАЦИЯ СИНГУЛЯРНЫХ ЧИСЕЛ МАТРИЦ, ЗАВИСЯЩИХ ОТ ПАРАМЕТРОВ, С ИСПОЛЬЗОВАНИЕМ ГИБРИДНЫХ АЛГОРИТМОВ

В.Д. Сулимов1 П.М. Шкапов1 А.В. Сулимов2

spm@bmstu.ru

1 МГТУ им. Н.Э. Баумана, Москва, Российская Федерация

2 Филиал МГУ им. М.В. Ломоносова, Севастополь, Российская Федерация

Аннотация

Рассмотрены экстремальные задачи для составляющих сингулярных спектров действительных матриц, зависящих от параметров. Критериальные функции предположены непрерывными, липшицевыми, многоэкстремальными, не обязательно всюду дифференцируемыми. При поиске глобальных решений использованы новые гибридные алгоритмы, объединяющие стохастический алгоритм сканирования пространства переменных и детерминированные методы локального поиска. В первом гибридном алгоритме локальные решения определены методом линеаризации с построением сглаживающих аппроксимаций, во втором — модифицированным методом кривой, заполняющей пространство. Приведены численные примеры

Ключевые слова

Сингулярное число, критериальная функция, константа Липшица, сглаживающая аппроксимация, кривая Пеано, глобальная оптимизация, алгоритм Мет-рополиса, гибридный алгоритм

Поступила в редакцию 25.04.2016 © МГТУ им. Н.Э. Баумана, 2016

Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации (грант Президента России по поддержке научньх исследований ведущих научных школ Российской Федерации, код НШ-4058.2014.8)

Введение. Современные подходы к исследованию сложных систем основаны на применении методов математического моделирования, в том числе сингулярного разложения. Так, в работе [1] реализовано моделирование больших вихрей на основе анализа сингулярных чисел тензора градиентов скорости. Отмечено, что предложенная с-модель объекта допускает простую реализацию и позволяет получить надежные результаты при низкой вычислительной стоимости. Нелинейное обобщение сингулярного разложения и некоторые примеры его приложений к задачам моделирования динамических систем представлены в работе [2]. Следует отметить важную роль основанных на сингулярном разложении численных процедур параметризации ошибок моделирования систем [3]. Обзор исследований, устанавливающих аналогии между собственными значениями и сингулярными числами, а также существенные связи между ними приведен в работе [4]. К числу актуальных приложений сингулярного разложения относятся, например,

аппроксимация спектров динамических систем, малоранговая аппроксимация больших матриц, восстановление потенциальной части трехмерного векторного поля, численное обращение операторов лучевых преобразований в двухмерной компьютерной томографии, исследование динамических систем с кратными ган-келевыми сингулярными числами, квантовая теория информации [5-10].

Некоторые практические задачи связаны с получением надежных оценок экстремальных сингулярных чисел. Новые алгоритмы сингулярного разложения больших матриц, основанные на малоранговой тензорной аппроксимации, называемой TT-форматом (tensor train format), предложены в работе [11]. Указанные алгоритмы позволяют вычислять несколько экстремальных (т. е. наибольших или наименьших) сингулярных чисел и соответствующих сингулярных векторов для больших структурированных матриц, заданных в TT-формате. Возникающая в процессе вычислений задача оптимизации большой размерности редуцируется к последовательности задач оптимизации меньшей размерности (при этом каждый тензор ядра блочной TT-декомпозиции может быть уточнен с использованием любого стандартного метода сингулярного разложения). Численные эксперименты проведены для нескольких типов TT структурированных матриц, таких как гильбертовы матрицы, случайные матрицы с заданными сингулярными числами, ган-келевы и теплицевы матрицы, трехдиагональные матрицы. Показана более высокая эффективность предложенных алгоритмов при определении нескольких экстремальных сингулярных чисел и соответствующих векторов по сравнению со стандартными алгоритмами сингулярного разложения. К этому направлению также следует отнести задачи построения неотрицательных матриц с заданными экстремальными сингулярными числами, которые рассмотрены в работе [12]. При этом необходимо учитывать, что сингулярные числа, подобно собственным значениям, не являются всюду дифференцируемыми функциями элементов матриц [13]. Следовательно, решение задач, связанных с поиском экстремальных сингулярных чисел матриц, предполагает, в частности, применение методов негладкого анализа и специальных методов анализа чувствительности сингулярных чисел [14, 15].

В последнее время широкое распространение получили алгоритмы анализа сингулярных спектров [16]. Это обусловлено простотой структуры и низкой вычислительной стоимостью их реализации. В работе [16] на основе сравнения результатов, полученных с использованием указанного подхода и методов глобальной оптимизации, установлена достаточная эффективность анализа сингулярных спектров, в частности, применительно к построению различных моделей исследований. Вместе с тем, наблюдаемое увеличение вычислительной стоимости решаемых задач, связанное с ростом размера матриц исследуемых систем, стимулирует создание более эффективных алгоритмов.

Цель настоящей работы — разработка новых гибридных алгоритмов глобальной недифференцируемой оптимизации, ориентированных на решение задач определения экстремальных сингулярных чисел матриц, зависящих от параметров.

Постановка задач. Пусть дана матрица A е Rnrxnc с полным столбцовым рангом, nr > nc; R — множество действительных чисел. Сингулярное разложение рассматриваемой матрицы определяют в виде [16]

A = U^VT, (1)

где U = [м1,..., unc ]е Rnrxnc — ортонормированное множество левых сингулярных векторов; 2 = diag(<,..., <nc ) е Rncxnc — матрица, содержащая сингулярные числа матрицы A, упорядоченные (для определенности) по убыванию ><2 > ... ><nc > 0; V = [v1,..., vnc ]е Rnc xnc — ортогональная матрица правых сингулярных векторов; nr, nc - число строк и столбцов матрицы A. Сингулярные тройки матрицы A (1) могут быть определены в виде {<, ui, vi }, i = 1,..., nc.

При оптимизации сингулярных чисел матриц, зависящих от параметров, возможны следующие постановки экстремальных задач. Пусть задан вектор переменных управления (параметров оптимизации) x и определена матрица A(x)eR"r x"c. Решение прямой задачи, связанной с поиском сингулярных чисел матрицы A(x), может быть получено как решение задачи на собственные значения Xi(x), i = 1,...,nc, матрицы A(xfA(x): <i(x) = yjxi(x), i = 1,...,nc [17]. Некоторые современные методы определения сингулярных троек, в частности, для больших матриц, представлены в работах [17, 18].

Задача максимизации минимального сингулярного числа cmin матрицы A( x):

требуется найти

max <min(A(x)), (2)

xeX

где X с Rn — область допустимых значений переменных управления; n — число переменных управления. В процессе численного решения задачи (2) сингулярные числа < (A(x)), i = 1,2,..., nc, могут изменяться, при этом выполняется их автоматическая перенумерация с упорядочением по убыванию. Следовательно, при наличии кратных сингулярных чисел критериальная функция сформулированной задачи оптимизации не является всюду дифференцируемой [9, 13].

Задача минимизации максимального сингулярного числа < max матрицы A(x):

требуется найти

f ( x * ) = min f ( x ). (3)

V ' xeX

Здесь f (x) = <max (A (x)); x* — глобальное решение.

В некоторых приложениях может потребоваться одновременная минимизация (<max) и максимизация (<min) матрицы A(x)eR"rxnc, причем частные

критерии задачи находятся в конфликте. Возможна следующая формулировка векторной задачи оптимизации сингулярных чисел: требуется найти

min {<rmax(A(x)), -<3min(A(x))}. (4)

xeX

Следует отметить, что в сформулированных задачах оптимизации сингулярных чисел, включая векторную задачу (4), в общем случае частные критерии являются липшицевыми, многоэкстремальными и не всюду дифференцируемыми функциями [13]. Указанные особенности рассматриваемых экстремальных задач требуют выбора специальных методов их решения, в частности, методов глобальной недифференцируемой оптимизации. К настоящему времени разработано и находит применение большое число алгоритмов глобальной оптимизации [19]. Накопленный опыт приложений демонстрирует, с одной стороны, недостаточную эффективность детерминированных методов (существенно ограничена размерностью задачи), с другой — потребность в значительных вычислительных ресурсах при использовании стохастических методов [20, 21]. Этим обусловлена актуальность разработки гибридных алгоритмов глобальной оптимизации [22, 23]. Подобные алгоритмы объединяют стохастические алгоритмы сканирования пространства переменных и детерминированные процедуры локального поиска. Для решения векторной задачи (4) с многоэкстремальными частными критериями требуется применение специальных методов многокритериальной глобальной оптимизации [24]. Далее рассмотрена экстремальная задача в скалярной постановке, для решения которой предложена численная методика с применением гибридных алгоритмов глобальной недиффе-ренцируемой оптимизации.

В обобщение постановок скалярных экстремальных задач (2), (3) для сингулярных чисел матриц, зависящих от параметров, рассмотрим задачу глобальной оптимизации, формулируемую в виде: найти

f (x* )= min f (x), (5)

xeX cR"

где

X = {x e D: gi(x)< 0, i e I}; (6)

D = {x e R" : aj < xj < bj, j e J}; (7)

f (x) — целевая функция; gi (x) — функции ограничений задачи, i e I; I = { 1,...,mg} — конечное множество индексов; mg — число функций ограничений; D — область поиска; aj, bj — нижнее и верхнее ограничения на переменную xj; J = {1,...,"}. Функции f(x), gi(x), i e I, задачи (5)-(7) предполагаются непрерывными липшицевыми, действительная функция f :R" ^ R является многоэкстремальной, не всюду дифференцируемой, и для нее задана вы-

числительная процедура, позволяющая определять значения функции в точках допустимой области. Кроме того, необходимо учесть возможную высокую трудоемкость вычисления критериальных функций, что может потребовать значительных вычислительных ресурсов.

Методы локальной оптимизации. Рассмотрим скалярную задачу оптимизации:

найти

min f (x), (8)

xeX

где допустимое множество X с R" переменных управления x является замкнутым и выпуклым, а целевая функция f :R" ^ R предполагается непрерывной и почти всюду дифференцируемой на множестве X. Существенный интерес представляет случай, когда функция f — это негладкая невыпуклая функция. При этом задачи, формулируемые аналогично (8), относят к классу задач недифферен-цируемой оптимизации [25]. Для их решения применяют специальные методы, например, модифицированный метод дискретных градиентов, семейство bundle-методов, метод гиперболической сглаживающей функции и др. [25-27]. Рассматриваемый далее подход основан на построении сглаживающих аппроксимаций критериальных функций с последующим применением эффективных методов, разработанных для задач дифференцируемой оптимизации. Одно из его преимуществ — возможность создания программного обеспечения, позволяющего находить приближенные решения при относительно низкой вычислительной стоимости. Подход предполагает замену каждой недифференцируемой функции некоторой ее аппроксимацией, которая будет выпуклой и дифференцируемой в области допустимых значений переменных управления.

Определение [26]. Пусть f :R" ^ R — непрерывная функция. Сглаживающей для функции f называют функцию f :R" х R+ ^ R, если f (x, ц) непрерывно дифференцируема на множестве R" для любого фиксированного ц > 0 и любого x eR", причем

lim f (x, ц)=f (x).

На основе введенного определения в работе [26] предложен следующий численный метод сглаживания.

1. Инициализация. Определить параметрическую сглаживающую функцию f :R" х R+ ^ R для аппроксимации функции f.

2. Внутренний цикл итераций. Применить алгоритм поиска приближенного решения (точное решение не требуется) гладкой задачи оптимизации:

найти

min f (x, ц*) (9)

xeX

для фиксированного ц* > 0.

3. Внешний цикл итераций. Изменить параметр Цк с тем, чтобы гарантировать сходимость метода сглаживания к локальному минимуму или к стационарной точке негладкой задачи (8).

В работе [26] отмечено, что эффективность метода сглаживания зависит от выбора функции для построения сглаживающей аппроксимации, метода решения гладкой задачи оптимизации (9), а также схемы изменения параметра сглаживания Цк. Так, если функция f ограничена и выполнено условие

f (x) < f (x, ц) Vx eR", Уц> 0,

то задача (9) имеет решение для любого фиксированного параметра Цк > 0.

Рассмотрим задачу (5)-(7), ограничившись поиском локального решения. Предварительно исследуем процедуру минимизации некоторой функции f :R" ^ R, определенной в виде [28]

f(x) = max !ф; (х)}, i e Im ={i,..., m}. (10)

xeX cR"

Здесь X — допустимое множество; предположим, что все функции фi (x), i e Im, выпуклы и непрерывно дифференцируемы.

Целевую функцию (10) можно определить в эквивалентной форме

f (x) = ф^) + у( ф2(x) - ф1 (x) +

+у(... + y(фm-l(x) — фт-2(x) + y(фm(x) + фm-l(x)))...)) , (11)

где использованы функции

(фг(x))+=у(ф,-(x))= max {0, ф,(x)}, ie Im. (12)

+ xeX cR"

Содержание подхода заключается в том, чтобы каждую функцию у (ф, (x)), i e Im, входящую в (11), заменить некоторой гладкой функцией, построить сглаженную приближенную целевую функцию, а затем применить эффективные методы гладкой минимизации. При возрастании точности аппроксимации функций (12) имеет место сходимость приближенного локального решения к точному решению.

Существенно, что уже в одномерном случае плюс-функция (x)+ = y(x) = = max{0, x} в точке x = 0 дифференцируема только по направлению; при этом

xe R

плюс-функция (x)+ является выпуклой и глобально непрерывной по Липшицу. Известно (например, см. [26]), что для любой локально непрерывной по Липшицу функции f можно построить сглаживающую функцию с использованием свертки

f(x,ц) = J f(x — (y)dy = J f(у)уц(x — y)dy, Vx,yeR",

R" R"

где уЦ :R" ^ R — гладкая функция ядра.

у ( p, q ) =

Выделим на числовой оси открытый интервал (р, д), содержащий точку, в которой плюс-функция у(х) имеет указанную особенность, и на этом интервале заменим плюс-функцию некоторой приближенной функцией, выпуклой и дифференцируемой в каждой точке по построению. Пусть выбраны числа р < 0 и д > 0. Введем двухпараметрическую аппроксимацию плюс-функции у ^ И [28]:

0, если х < р;

5(х,р,д), если р <х < д; (13)

х, если х > д.

Здесь р, д — параметры аппроксимации, определяющие левую и правую границы открытого интервала (р, д), на котором задана сглаживающая функция 5(х,р, д). Приближенная функция у(х,р, д) совпадает с исходной плюс-функцией у (х) всюду, за исключением интервала (р, д). Потребуем, чтобы функция 5 ( х, р, д) была выпуклой и по крайней мере один раз дифференцируемой на интервале (р, д). При этом 5 (0, р, д ) = -р^( р, д), где р, д) определяется свойствами сглаживающей функции. Некоторые существенные свойства сглаженной плюс-функции устанавливают следующие утверждения.

Лемма 1 [28]. Если аппроксимирующая функция у ^ И определена в виде (13) и заданы параметры р < 0, д > 0, то

lim у(x,p,q) = y(x).

ptö,q4ö

Лемма 2 [28]. Пусть выполнены предположения леммы 1. Тогда 0 <у (x, p, q) — у( x) <—p|( p, q) Vx eR.

В работе [28] также получена оценка приближенного решения задачи локальной минимизации определенной в виде (10) не всюду дифференцируемой критериальной функции f :R" ^ R при использовании двухпараметрических сглаживающих аппроксимаций.

Теорема 1 [28]. Пусть x* e R" и x e R" суть точки минимума для функций f (x) и ff (x, p, q) соответственно. Тогда

0 < ff (x, p, q)—f (x*) <— p min {1, (m —1)|(p, q)}.

xeXcR"

Представим параметры p, q сглаживающей аппроксимации иначе: выберем q > 0 и постоянную к> 0, так что p = —Kq и r(p, q) = |(-Kq, q). Введем обозначение 0( x, q, K) = y(x, q, к).

Предложение. Пусть {q*} ^ 0 есть последовательность положительных чисел; предположим, что x* — решение гладкой задачи

min f (x, qk, к).

xeXcR"

Пусть также x е Rn — предельная точка последовательности [xk}. Тогда f (x ) = f (x *).

◄ Согласно теореме 1,

0 < f ( х, q, к)-f(x*) <Kq min {1, (m -q, к)}.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

xeXcR"

Сглаживающая аппроксимация плюс-функции y(x), с учетом s(x, pk, qk) = = s(x, qk, к), на открытом интервале (-Kqk, qk) представлена в виде 6(x, qk, к) = = s(x, qk, к). Поскольку сглаженная плюс-функция 9(x, qk, к) выпукла, на интервале (-^k, qk) она является монотонно возрастающей. Следовательно,

lim 0(x, qk, к) = y(x) = (x)+. Откуда с учетом непрерывности функции f (x) и

qk 40

теоремы 1, следует результат. ►

Замечание. Функция 6(x,q,к) является в соответствии с введенным выше определением сглаживающей аппроксимацией плюс-функции (x)+. Кроме того, согласно работе [26], имеет место

1, если x > 0; 0, если x < q; [0, 1], если x = 0,

lim Vx 6(xk, qk, к )}c5(x)+=

xk ^x,qk 40

а также Се(х) = Э(х)+, где Vх6(хк, qk, к) — производная функции е(х, qk, к) в точке хк, х е Я; 3(х)+ — субдифференциал Кларка плюс-функции (х)+; Се(х) — субдифференциал, ассоциированный со сглаживающей функцией е(х, q, к).

Определим для вектор-функции ф(х)= (ф!(х),...,фт(х))т, компоненты которой Ф/ ^ Я, / е 1т, следующие функции:

(ф(х))+ = ((ф1(х))+,..., (фт(х))+ )т; е(ф(х), q, к) = (е(ф1(х), q, к),..., е(фт(х), q, к))т. Здесь е(ф(х ),q, к) — сглаживающая аппроксимация вектор-функции ф(х).

Теорема 2. Пусть /(х) = Жф(х)+), где функции ф :КИ ^ Ят и Р :Кт ^ Я, определенные на выпуклом множестве X, непрерывно дифференцируемы. Если функции Р и фг-, / е 1т, выпуклы и Р монотонно неубывающая функция, то для любого фиксированного q > 0 сглаживающая аппроксимация /(х, q, к) функции / есть выпуклая функция.

◄ Для любого фиксированного q > 0 сглаживающая функция е(х, q, к) плюс-функции (х)+ является выпуклой и монотонно неубывающей (см. предложение). Тогда для любых х е X, у е X и Хе (0, 1) имеет место

/ (Ах + (1 - А)у, д, к) = ¥ (0(ф(Ах + (1 - А)у), д, к)) < < ¥ (0(Хф(х) + (1 -А) ф(у), д, к)) < < ¥ (А0(ф(х), д, к) + (1 - А)0(ф( у), д, к)) < < А¥ (0(ф(х), д, к)) + (1 - А)¥(0(ф( у), д, к)) =

= А/ (х, д, к) + (1 -А) / (у, д, к). ►

Далее рассмотрим актуальный частный случай — задачу минимизации (5)-(7) при наличии простых ограничений (ограничений на переменные управления):

найти

min

{ff (x,p, q): aj < xj < bj, j e J}. (14)

Здесь f (x, p, q) — выпуклая функция; допустимая область X совпадает с областью поиска D. Вспомогательную задачу квадратичного программирования с вектором w e R" формулируем в виде найти

minwj +1 f (wj )2 : aj < xj < bj, j e J}. (15)

l j=1 dxi 2 j=1 J

Решение задачи (15) дает Wj, после чего определяют множители Каруша — Куна — Таккера Uj и u+, соответствующие неравенствам xj + wj bj <0 и —xj — Wj + bj < 0, j e J. Функция Лагранжа принимает вид

X

j=1

1 / \2 f (x, p, q) + / ч — / ,4

2 (Wj) +—&-j + U' (ai—xi—wi) + u> ( + w>—b>)

Для минимизируемой в задаче (14) целевой функции должны выполняться условия [28]

- и+ + и- + ^ = 0, ' е /;

и+ > 0 , и+ (а1 - %) - Wj) = 0; и- > 0, и- (х^ + М'-Ь') = 0 , ' е /.

Пусть требуется решить задачу (14), выбраны числа а', Ь', 1 е /, а также число р, 0 <Р < 1, и параметры аппроксимации р < 0 , д > 0. Алгоритм минимизации включает в себя следующие основные шаги.

Шаг 0. Выбрать точку х0, а^ < х00 < Ь', 1' е ].

Шаг 1. Если точка хк уже построена, то вычислить вектор = м (хк).

Шаг 2. Определить первое значение г = 0, 1,..., при котором для а = (1/2)г будет выполнено неравенство

/(хк +а-ык,р,q)</(хк,р,q)~Ра|^к||2;

если такое г = г0 найдено, то принять ак = 2-Г), хк+1 = хк +а^к. Перейти к шагу 1.

Шаг 3. Критерий останова: wk = 0.

Локальную сходимость представленного выше алгоритма минимизации ЬМ81 при использовании двухпараметрических сглаживающих аппроксимаций критериальной функции для случая простых ограничений устанавливает следующее утверждение.

Теорема 3 [28]. Пусть выбраны параметры р < 0, q > 0. Если числа а^, Ь^,

) е ], конечны и градиент функции / (х,р,q) удовлетворяет условию Липшица, то во всякой предельной точке последовательности хк, к = 0, 1,..., удовлетворяются необходимые условия минимума.

Во многих практических приложениях физические условия, учитываемые при формулировке экстремальной задачи, могут налагать ограничения на моделирование. Поэтому критериальные функции обычно не обладают такими сильными математическими свойствами, как липшицева непрерывность, диф-ференцируемость и др. При наличии шума реализация процедур вычисления производных становится затруднительной и ненадежной. Кроме того, критериальные функции, вычисление которых проводят с использованием стандартных коммерческих кодов, следует рассматривать как заданные в форме черного ящика. Указанные причины приводят к необходимости применения методов оптимизации без вычисления производных. К числу актуальных методов этого класса относят метод редукции размерности задачи (метод кривой, заполняющей пространство), реализованный, например, в гибридном алгоритме М-РСА8БС [29]. Выбор метода редукции размерности задачи, который предназначен собственно для поиска глобального экстремума, обусловлен тем, что во многих случаях градиентные алгоритмы сходятся медленно и при очень больших областях поиска метод редукции оказывается недостаточно эффективным. Для решения задачи липшицевой минимизации исходную многомерную задачу редуцируют к эквивалентной одномерной с использованием кривой Пеано, построение которой выполняют по схеме Гильберта. Предположим, что критериальная функция удовлетворяет условию Липшица

|/(х')-/(х") | < 1||х'-х"||, х', х"е[а,Ь], (16)

с неизвестной константой I, 0 < I < да, по эвклидовой норме. Тогда поиск минимума удовлетворяющей условию (16) функции Р (х), х еЯ", на гиперкубе эквивалентен определению (глобального) минимума одномерной функции / (г) на единичном интервале [20]:

/ (г) = ¥(Р(г)), г е[0, 1], где Р( г) — кривая Пеано. Для функции / (г) выполняется условие Гельдера

\/(г')-/(г")\<Н|| 2'-2" ЦШ, г', г"е[0, 1],

с константой Гельдера Н = Ь — константа Липшица исходной мно-

гомерной функции ¥( х).

Следует отметить, что построенная численными методами кривая аппроксимирует теоретическую кривую Пеано — Гильберта с точностью, определяемой заданной плотностью развертки. Метод редукции многомерных задач обладает такими важными свойствами, как непрерывность и сохранение равномерной ограниченности разностей функций при ограниченной вариации аргумента. К недостаткам следует отнести потерю части информации о близости точек в исходном многомерном пространстве. Современная версия метода, существенно использующая процедуры оценки констант Липшица и Гельдера, представлена в работе [20]. Указанный подход реализует новый алгоритм 8БСБ, основанный на модифицированном методе кривой, заполняющей пространство, в сочетании с оценкой липшицевых и гельдеровых констант в процессе итераций.

Гибридные алгоритмы. Структуры алгоритмов глобальной минимизации построены на основе стохастического алгоритма М-РСА [21], объединенного с процедурами поиска локальных минимумов не всюду дифференцируемых функций. Работа современного алгоритма глобальной оптимизации М-РСА основана на использовании аналогии с физическими процессами абсорбции и рассеяния частиц при ядерных реакциях. В простейшей версии алгоритма для исследования области поиска применена одна частица. На начальном шаге выбрано пробное решение (ОЫ_Соп1^), которое затем модифицируют стохастическим возмущением (РеПигЬайопО), что позволяет найти новое решение (New_Config). С помощью функции БИпе88() дана сравнительная оценка нового и предыдущего решений, на основании которой новое решение может быть принято или отвергнуто. Если новое решение отвергнуто, то происходит переход к функции 8сайеп^(), реализующей схему Метрополиса. Для сканирования области, перспективной на минимум, применяют функции РеПигЬайопО и 8та11_Рег1:игЬа1:юп(). Новое решение принимают, если оно лучше предыдущего (абсорбция); если найденное решение хуже предыдущего, то происходит переход в отдаленную область пространства поиска (рассеяние), что позволяет преодолевать локальные минимумы. Эффективность описанного поиска глобального решения алгоритмом значительно повышается за счет одновременного использования большого числа частиц. Такой подход реализует алгоритм М-РСА, который непосредственно ориентирован на применение в среде параллельных вычислений. Наилучшее решение определяют с учетом данных о всех частицах, участвующих в процессе. При выбранном числе частиц единственным задаваемым параметром для алгоритма М-РСА является число итераций.

Предложены новые гибридные алгоритмы, интегрирующие алгоритм M-PCA и детерминированные алгоритмы локальной минимизации. Метод линеаризации с построением сглаживающих аппроксимаций и итерационным уточнением решения (внешний цикл метода сглаживания 1-3) был рассмотрен выше. Первый гибридный алгоритм объединяет стохастический алгоритм M-PCA сканирования пространства переменных и детерминированный алгоритм LMSI локального поиска, использующий указанный подход. Фрагмент псевдокода результирующего гибридного алгоритма M-PCALMSI приведен ниже:

1. Generate an initial solution Old Config Best Fitness = Fitness (Old Config) Update Blackboard

For n = 0 to # of particles

For n = 0 to # of iterations Update Blackboard Perturbation ( )

If Fitness (New Config) > Fitness (Old Config) If Fitness (New Config) > Best Fitness

Best Fitness := Fitness (New Config) End If _ _

Old Config := New Config Exploration ( ) Else

Scattering ( ) End If End For End For

2. Exploration ( )

For n = 0 to # of iterations Small_Perturbation ( ) Local search

using Linearization Method

with Smoothing Approximations

and Iterative Refinement

Check s topping criterion:

Find global solution Best Fitness

Else continue

If Fitness (New Config) > Best Fitness

Best Fitness := Fitness (New Config) End If

Old Config := New Config End For

Return

3. Scattering ( )

pscatt = 1_ ( Fitness (New Config) ) / (Best Fitness)

If pscatt > random(0, 1)

Old Config := random solution

Else

Exploration ( )

End If Return

В состав алгоритма M-PCALMSI также входят стандартные процедуры Perturbatio^ ) и Small_Perturbation( ) [21]. Гибридные алгоритмы с локальным поиском методом сглаживающих аппроксимаций, структурно близкие к описанному алгоритму, представлены в работе [30].

Второй гибридный алгоритм M-PCASFCE объединяет стохастический алгоритм M-PCA и алгоритм SFCE, реализующий модифицированный метод кривой, заполняющей пространство (локальный поиск с итеративным оцениванием липшицевых и гельдеровых констант). Выбранный метод локального поиска обеспечивает сжатие пространства переменных, сканируемого с использованием стохастического алгоритма, что повышает результирующую вычислительную эффективность алгоритма M-PCASFCE.

Разработано прикладное программное обеспечение, реализующее новые гибридные алгоритмы M-PCALMSI и M-PCASFCE.

Пример 1. Рассмотрим прямоугольную матрицу A(x) размером 3 х 2 со столбцами A1 = (1, 1, 1)т и A2 = (x1, 0, х2)т; здесь D = {x е Rn : aj < Xj < bj, j e J ]; n = 2; aj = -0,5; bj = 1,5; J = { 1, 2}. Требуется определить такое решение x*, при

котором второе сингулярное число матрицы A(x ) достигает минимума: найти

min f(x), f(x) = a2(x).

xeXcR2

Задача имеет точное решение f (x ) = 0, x = (0, 0)т, причем в точке минимума критериальная функция дифференцируема только по направлениям. Приближенное решение получено с использованием алгоритма M-PCALMSI. Зависимость переменных управления x1, x2, критериальной функции f (x) и нормы Nr(w) вектора улучшающего направления от числа итераций в заключительной фазе локального поиска, определяющей глобальное решение, приведена на рис. 1.

fix)

- \ Nr(w)\ \

1 1 1 1 1 1 1 N

10 12 14 Niu

10 12 14 Nit.

6 8

а б

Рис. 1. Зависимость переменных управления х1, х2 (я), функции /(х) и нормы Ыт^) (б) вектора улучшающего направления от числа итераций в заключительной фазе

локального поиска

16

В фазе локального поиска для числа итераций Ыцег = 16 найдено: ' 0,11595 -10

,-4 .

16

1 -0,11595-10 , х26 « 0,6713 -10; /(х16)« 0,8233-10-5. Можно отметить приемлемую точность полученного решения при относительно низкой вычислительной стоимости, что подтверждает достаточно высокую эффективность алгоритма.

Пример 2. Дана прямоугольная матрица А(х) размером 8 х 5:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

A(x) =

22 9 + x2 2 3 7

12 + x1 7 10 0 8

-1 13 -1 -11 3

-3 -2 13 -2 4

9 8 1 -2 4

9 1 -7 5 -1

2 -6 6 5 1

4 5 0 -2 2

Здесь n = 2; Uj =-1; bj = 5; J = { 1, 2}. Требуется определить глобальное решение x , при котором четвертое сингулярное число матрицы A(x ) достигает минимума: найти

min f(x), f(x) = 04(x).

xeXcR2

Задача имеет точное решение f (x ) = 0, x = (2, 1)т. Следует отметить, что в

точке минимума критериальной функции имеет место с1 (x *) = л/1248; ü2(x*) =

= 20; cb(x*) = л/384; o4(x ) = ct5(x ) = 0. Таким образом, сингулярный спектр матрицы A(x) содержит кратные сингулярные числа и минимизируемая функция является не всюду дифференцируемой. Приближенное решение получено с использованием алгоритма M-PCASFCE. Изменение на единичном интервале значений одномерной критериальной функции f (z) показано на рис. 2, а: глобальный минимум функции, соответствующий заданной плотности m = 6 развертки кривой Пеано, f (z*)« 0,185504 • 10-1 определен при z* « 0,8498535.

Зависимость переменных управления x1, x2 и функции F(x) = f (x)j fmax,

где fmax = f (x1)« 0,385219; x1 — вектор переменных управления, соответствующий m = 1, представлена на рис. 2, б. Глобальный минимум функции F(x10)«0,20091 • 10-2 реализуется для m = 10; при этом найдены значения переменных управления xj° «1,99707 и x2° «1,00098, которым соответствует значение критериальной функции f (x10)« 0,77393•Ю-3; о5 (x10)« 0,77158•Ю-3.

Отметим, что наибольшая относительная погрешность определения переменных управления не превышает 0,15 %. Получено приближенное решение экстремальной задачи: искомый минимум критериальная функция достигает при

а

хъ х2", х3; F(x)

б

1 2 3 4 5 т в

Рис. 2. Изменение одномерной критериальной функции f (z) на единичном интервале (я), зависимость переменных управления xb x2 и функции F(x) от плотности m развертки кривой Пеано в заключительной фазе локального поиска (б), зависимость переменных управления xx , x2, x3 и критериальной функции f (x) от плотности m развертки кривой Пеано в заключительной фазе локального поиска (в)

наличии в сингулярном спектре матрицы A(x) (почти) кратных сингулярных чисел c4(x10) «c5(x10).

Пример 3. Дана симметрическая матрица A(x) размером 7 х 7 с элементами fl11(x) = a22(x) = 27 + x1; a12 = a21 = 24; a33(x) = a44(x) = 18,5 + x2; a34 = a43 = 16; a55(x) = a66(x) = 12 + x3; a56 = a65 = 8; a77 = 16, остальные элементы заданной матрицы — нули; n = 3, -2,5 < xi < 6,5, i = 1, 3. Требуется определить глобальное решение x*, такое, что 2(x*) = diag(7, 6, 5, 4, 3, 2, 1). Для решения задачи настройки сингулярных чисел матрицы A( x) на заданный сингулярный спектр E(x ) требуется найти min f (x), где f (x) = max I с* -ai(x) I ; I — множество

xgx isI

индексов, I = {1, 2, ..., 7}; сг- — сингулярное число из £(x ); ci(x) — сингулярное число матрицы A(x). Точное решение задачи имеет вид [12]: x* =-2; x* = 1,5; x3 = 5; f (x*) = 0.

Приближенное решение получено с использованием гибридного алгоритма М-РСА8БСЕ. При т = 6 определены следующие значения элементов вектора переменных управления: х6 « -2,00781; х| «1,50781; х| « 4,88281; /(х6)«

» 0,39139 -10-2. Зависимость переменных управления х1, х2 , х3, а также критериальной функции /(х) от плотности т развертки кривой Пеано в заключительной фазе локального поиска, определяющей глобальное решение, приведена на рис. 2, в.

Полученное решение представляет диагональная матрица, содержащая приближенные сингулярные числа:

!(х6)« &ад(6,99944; 6,00065; 5,00234; 4; 3,00390; 2,00195; 0,996086).

Относительную погрешность вычисления сингулярных чисел определяем в виде

II Е(х) -Е(х *) || (х) = I уу^И ) ,

II Е(х ) I 1р

где || - ||р — матричная норма Фробениуса. При т = 6 получено 5с(х6)« 0,000167. Это подтверждает достаточно высокую точность настройки сингулярных чисел матрицы А(х) на заданный сингулярный спектр Е(х ).

Выводы. Рассмотрены экстремальные задачи для сингулярных чисел матриц, зависящих от параметров. Предложен подход к решению экстремальных задач с использованием новых гибридных алгоритмов глобальной недифференцируемой оптимизации. Исследование пространства переменных управления проведено стохастическим методом, реализуемым кратным алгоритмом столкновения частиц. В первом гибридном алгоритме М-РСАЬМ81 градиентная информация определена для сглаживающих аппроксимаций не всюду дифференцируемых критериальных функций. Во втором гибридном алгоритме М-РСА8БСЕ локальный поиск реализован без использования производных. Решение модельных задач оптимизации сингулярных чисел матриц, зависящих от конечного числа параметров, получено с достаточной для приложений точностью.

ЛИТЕРАТУРА

1. Nicoud F., Toda H.B., Cabrit O., Bose S., Lee J. Using singular values to build a subgrid-scale model for large eddy simulations // Physics of Fluids. 2011. Vol. 23. No. 8. P. 085106-1-085106-12.

2. Vaidya P.G., Anand S.P.S., Nagaraj N. A nonlinear generalization of singular value decomposition and its applications to mathematical modelling and chaotic cryptanalysis // Acta Ap-plicandae Mathematicae. 2010. Vol. 112. No. 2. P. 205-221.

3. Danforth C.M., Kalnay E. Using singular value decomposition to parametrize state-dependent model errors // Journal of the Atmospheric Sciences. 2008. Vol. 65. No. 4. P. 1467-1478.

4. Dax A. From eigenvalues to singular values: a review // Advances in Pure Mathematics. 2013. Vol. 3. P. 8-24.

5. Dieci L., Elia C. The singular value decomposition to approximate spectra of dynamical systems. Theoretical aspects // Journal of Differential Equations. 2006. Vol. 230. No. 2. P. 502-531.

6. Gu M. Subspace iteration randomization and singular value problems // SIAM Journal on Scientific Computing. 2015. Vol. 37. No. 3. P. A1139-A1173.

7. Polyakova A. Reconstruction of potential part of 3D vector field by using singular value decomposition // Journal of Physics: Conference Series. 2013. Vol. 410. P. 012015. DOI: 10.1088/1742-6596/410/1/012015

8. Derevtsov E.Y., Efimov A.V., Louis A.K., Schuster T. Singular value decomposition and its application to numerical inversion for ray transforms in 2D vector tomography // Journal of Inverse and Ill-posed Problems. 2011. Vol. 19. No. 4-5. P. 689-715.

9. Мироновский Л.А., Соловьева Т.Н. Анализ кратности ганкелевых сингулярных чисел управляемых систем // Автоматика и телемеханика. 2015. Т. 76. № 2. С. 18-31.

10. Miszczak J.A. Singular value decomposition and matrix reorderings in quantum information theory // International Journal of Modern Physics C. 2011.

DOI: 10.1142/S0129183111016663

11. Lee N., Cichocki A. Estimating a few extreme singular values and vectors for large-scale matrices in tensor train format // SIAM Journal on Matrix Analysis and Applications. 2015. Vol. 36. No. 3. P. 994-1014.

12. Montano E., Salas M., Soto R.L. Nonnegative matrices with prescribed extremal singular values // Computers and Mathematics with Applications. 2008. Vol. 56. No. 1. P. 30-42.

13. Lewis A.S., Sendov H.S. Nonsmooth analysis of singular values // Set-Valued and Variational Analysis. 2005. Vol. 13. No. 3. P. 213-241.

14. Chen X., Li W. Sensitivity analysis for the generalized singular value decomposition // Numerical Linear Algebra with Applications. 2013. Vol. 20. No. 1. P. 138-149.

15. Zhang L., Zhang N., Xiao X. On the second-order directional derivatives of singular values of matrices and symmetric matrix-valued functions // Set-Valued and Variational Analysis. 2013. Vol. 21. No. 3. P. 557-586.

16. Chu M.T., Lin M.M., WangL. A study of singular spectrum analysis with global optimization techniques // Journal of Global Optimization. 2014. Vol. 60. No. 2. P. 551-574.

17. Liang Q., Ye Q. Computing singular values of large matrices with an inverse-free preconditioned Krylov subspace method // Electronic Transactions on Numerical Analysis. 2014. Vol. 42. P. 197-221.

18. Wu L., Stathopoulos A. A preconditioned hybrid SVD method for computing accurately singular triplets of large matrices // SIAM Journal on Scientific Computing. 2015. Vol. 37. No. 5. P. S365-S388.

19. Floudas C.A., Gounaris C.E. A review of recent advances in global optimization // Journal of Global Optimization. 2009. Vol. 45. No. 1. P. 3-38.

20. Lera D., Sergeev Ya.D. Deterministic global optimization using space-filling curves and multiple estimates of Lipschitz and Holder constants // Computations in Nonlinear Science and Numerical Simulations. 2015. Vol. 23. No. 1-3. P. 326-342.

21. Luz E.F.P., Becceneri J.C., De Campos Velho H.F. A new multi-particle collision algorithm for optimization in a high performance environment // Journal of Computational Interdisciplinary Sciences. 2008. Vol. 1. P. 3-10.

22. Rios-Coelho A.C., Sacco W.f., Henderson N. A Metropolis algorithm combined with Hooke-Jeeves local search method applied to global optimization // Applied Mathematics and Computation. 2010. Vol. 217. No. 2. P. 843-845.

23. Voglis C., Parsopoulos K.E., Papageorgiou D.G., Lagaris I.E., Vrahatis M.N. MEMPSODE: A global optimization software based on hybridization of population-based algorithms and local searches // Computer Physics Communications. 2012. Vol. 183. No. 2. P. 1139-1154.

24. Gil C., Márques A., Baños R., Montoya M.G., Gómez J. A hybrid method for solving multi-objective global optimization problems // Journal of Global Optimization. 2007. Vol. 38. No. 2. P. 265-281.

25. Karmitsa N., Bagirov A., Makela M.M. Comparing different nonsmooth minimization methods and software // Optimization Methods & Software. 2012. Vol. 27. No. 1. P. 131-153.

26. Chen X. Smoothing methods for nonsmooth, nonconvex minimization // Mathematical Programming. 2012. Vol. 134. No. 1. P. 71-99.

27. Hare W., Sagastizábal C., Solodov M. A proximal bundle method for nonsmooth noncon-vex functions with inexact information // Computational Optimization with Applications. 2016. Vol. 63. No. 1. P. 1-28.

28. Сулимов В.Д. Локальная сглаживающая аппроксимация в гибридном алгоритме оптимизации гидромеханических систем // Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки. 2010. № 3. С. 3-14.

29. Sulimov V.D., Shkapov P.M. Application of hybrid algorithms to computational diagnostic problems for hydromechanical systems // Journal of Mechanics Engineering and Automation. 2012. Vol. 2. No. 12. P. 734-741.

30. Сулимов В.Д., Шкапов П.М. Гибридные методы вычислительной диагностики двухфазного потока в циркуляционном контуре // Математическое моделирование и численные методы. 2015. № 3. С. 68-88. DOI: 10.18698/2309-3684-2015-3-6888

Сулимов Валерий Дмитриевич — старший преподаватель кафедры «Теоретическая механика» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5).

Шкапов Павел Михайлович — д-р техн. наук, профессор, заведующий кафедрой «Теоретическая механика» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5).

Сулимов Андрей Валерьевич — старший специалист по учебно-методической работе практикума по физике Филиала МГУ им. М.В. Ломоносова в Севастополе (Российская Федерация, 299001, Cевастополь, ул. Героев Севастополя, д. 7).

Просьба ссылаться на эту статью следующим образом:

Сулимов В.Д., Шкапов П.М., Сулимов А.В. Оптимизация сингулярных чисел матриц, зависящих от параметров, с использованием гибридных алгоритмов // Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки. 2016. № 5. C. 46-66. DOI: 10.18698/1812-3368-2016-5-46-66

OPTIMIZATION OF SINGULAR VALUES OF PARAMETER DEPENDENT MATRICES USING HYBRID ALGORITHMS

V.D. Sulimov1

P.M. Shkapov1 spm@bmstu.ru

A.V. Sulimov2

1 Bauman Moscow State Technical University, Moscow, Russian Federation

2 Lomonosov Moscow State University, Branch, Sevastopol, Russian Federation

Abstract

This article considers extremal problems for singular spectrum components of real-valued matrices depending on parameters. Criterion functions are supposed to be continuous, Lipschitzian, multiextremal and not necessarily dif-ferentiable. While searching for global solutions we used new hybrid algorithms that combine a stochastic algorithm for scanning a search space and deterministic methods for local search. The first hybrid algorithm determines local solutions using the linearization method with smoothing approximations. The second algorithm does it by using the modified space-filling curve method. Our work provides numerical examples

Keywords

Singular value, criterion function, Lipschitzian constant, smoothing approximation, Peano curve, global optimization, Metropolis algorithm, hybrid algorithm

REFERENCES

[1] Nicoud F., Toda H.B., Cabrit O., Bose S., Lee J. Using singular values to build a subgrid-scale model for large eddy simulations. Physics of Fluids, 2011, vol. 23, no. 8, pp. 085106-1— 085106-12.

[2] Vaidya P.G., Anand S.P.S., Nagaraj N. A nonlinear generalization of singular value decomposition and its applications to mathematical modelling and chaotic cryptanalysis. Acta Appli-candae Mathematicae, 2010, vol. 112, no. 2, pp. 205-221.

[3] Danforth C.M., Kalnay E. Using singular value decomposition to parametrize state-dependent model errors. Journal of the Atmospheric Sciences, 2008, vol. 65, no. 4, pp. 14671478.

[4] Dax A. From eigenvalues to singular values: a review. Advances in Pure Mathematics, 2013, vol. 3, pp. 8-24.

[5] Dieci L., Elia C. The singular value decomposition to approximate spectra of dynamical systems. Theoretical aspects. Journal of Differential Equations, 2006, vol. 230, no. 2, pp. 502-531.

[6] Gu M. Subspace iteration randomization and singular value problems. SIAM Journal on Scientific Computing, 2015, vol. 37, no. 3, pp. A1139-A1173.

[7] Polyakova A. Reconstruction of potential part of 3D vector field by using singular value decomposition. Journal of Physics: Conference Series, 2013, vol. 410, p. 012015. DOI: 10.1088/1742-6596/410/1/012015

[8] Derevtsov E.Y., Efimov A.V., Louis A.K., Schuster T. Singular value decomposition and its application to numerical inversion for ray transforms in 2D vector tomography. Journal of Inverse and Ill-posed Problems, 2011, vol. 19, no. 4-5, pp. 689-715.

[9] Mironovskiy L.A., Solov'eva T.N. Analysis of multiplicity of Hankel singular values of control systems. Automation and Remote Control, 2015, vol. 76, iss. 2, pp. 205-218. DOI: 10.1134/S0005117915020022

[10] Miszczak J.A. Singular value decomposition and matrix reorderings in quantum information theory. International Journal of Modern Physics C. 2011.

DOI: 10.1142/S0129183111016663

[11] Lee N., Cichocki A. Estimating a few extreme singular values and vectors for large-scale matrices in tensor train format. SIAM Journal on Matrix Analysis and Applications, 2015, vol. 36, no. 3, pp. 994-1014.

[12] Montano E., Salas M., Soto R.L. Nonnegative matrices with prescribed extremal singular values. Computers and Mathematics with Applications, 2008, vol. 56, no. 1, pp. 30-42.

[13] Lewis A.S., Sendov H.S. Nonsmooth analysis of singular values. Set-Valued and Variational Analysis, 2005, vol. 13, no. 3, pp. 213-241.

[14] Chen X., Li W. Sensitivity analysis for the generalized singular value decomposition. Numerical Linear Algebra with Applications, 2013, vol. 20, no. 1, pp. 138-149.

[15] Zhang L., Zhang N., Xiao X. On the second-order directional derivatives of singular values of matrices and symmetric matrix-valued functions. Set-Valued and Variational Analysis, 2013, vol. 21, no. 3, pp. 557-586.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

[16] Chu M.T., Lin M.M., Wang L. A study of singular spectrum analysis with global optimization techniques. Journal of Global Optimization, 2014, vol. 60, no. 2, pp. 551-574.

[17] Liang Q., Ye Q. Computing singular values of large matrices with an inverse-free preconditioned Krylov subspace method. Electronic Transactions on Numerical Analysis, 2014, vol. 42, pp. 197-221.

[18] Wu L., Stathopoulos A. A preconditioned hybrid SVD method for computing accurately singular triplets of large matrices. SIAM Journal on Scientific Computing, 2015, vol. 37, no. 5, pp. S365-S388.

[19] Floudas C.A., Gounaris C.E. A review of recent advances in global optimization. Journal of Global Optimization, 2009, vol. 45, no. 1, pp. 3-38.

[20] Lera D., Sergeev Ya.D. Deterministic global optimization using space-filling curves and multiple estimates of Lipschitz and Holder constants. Computations in Nonlinear Science and Numerical Simulations, 2015, vol. 23, no. 1-3, pp. 326-342.

[21] Luz E.F.P., Becceneri J.C., De Campos Velho H.F. A new multi-particle collision algorithm for optimization in a high performance environment. Journal of Computational Interdisciplinary Sciences, 2008, vol. 1, pp. 3-10.

[22] Rios-Coelho A.C., Sacco W.f., Henderson N. A Metropolis algorithm combined with Hooke-Jeeves local search method applied to global optimization. Applied Mathematics and Computation, 2010, vol. 217, no. 2, pp. 843-845.

[23] Voglis C., Parsopoulos K.E., Papageorgiou D.G., Lagaris I.E., Vrahatis M.N. MEMP-SODE: A global optimization software based on hybridization of population-based algorithms and local searches. Computer Physics Communications, 2012, vol. 183, no. 2, pp. 1139-1154.

[24] Gil C., Márques A., Baños R., Montoya M.G., Gómez J. A hybrid method for solving multi-objective global optimization problems. Journal of Global Optimization, 2007, vol. 38, no. 2, pp. 265-281.

[25] Karmitsa N., Bagirov A., Mäkelä M.M. Comparing different nonsmooth minimization methods and software. Optimization Methods & Software, 2012, vol. 27, no. 1, pp. 131-153.

[26] Chen X. Smoothing methods for nonsmooth, nonconvex minimization. Mathematical Programming, 2012, vol. 134, no. 1, pp. 71-99.

[27] Hare W., Sagastizábal C., Solodov M. A proximal bundle method for nonsmooth nonconvex functions with inexact information. Computational Optimization with Applications, 2016, vol. 63, no. 1, pp. 1-28.

[28] Sulimov V.D. Local smoothing approximation in hybrid algorithm of optimization of hydromechanical systems. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Estestv. Nauki [Herald of the Bauman Moscow State Tech. Univ., Nat. Sci.], 2010, no. 3, pp. 3-14 (in Russ.).

[29] Sulimov V.D., Shkapov P.M. Application of hybrid algorithms to computational diagnostic problems for hydromechanical systems. Journal of Mechanics Engineering and Automation, 2012, vol. 2, no. 12, pp. 734-741.

[30] Sulimov V.D., Shkapov P.M. Hybrid methods of computer diagnosis of two-phase flow in the circulation loop. Matematicheskoe modelirovanie i chislennye metody [Mathematical Modeling and Numerical Methods], 2015, no. 3, pp. 68-88 (in Russ.).

DOI: 10.18698/2309-3684-2015-3-6888

Sulimov V.D. — senior teacher of Theoretical Mechanics Department, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, Moscow, 105005 Russian Federation).

Shkapov P.M. — Dr. Sci. (Eng.), Professor, Head of Theoretical Mechanics Department, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, Moscow, 105005 Russian Federation).

Sulimov A.V. — senior specialist, Lomonosov Moscow State University, Sevastopol Branch (ul. Geroev Sevastopolya 7, Sevastopol, 299001 Russian Federation).

Please cite this article in English as:

Sulimov V.D., Shkapov P.M., Sulimov A.V. Optimization of Singular Values of Parameter Dependent Matrices using Hybrid Algorithms. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Estestv. Nauki [Herald of the Bauman Moscow State Tech. Univ., Nat. Sci.], 2016, no. 5, pp. 46-66. DOI: 10.18698/1812-3368-2016-5-46-66

i Надоели баннеры? Вы всегда можете отключить рекламу.