О МЕТОДЕ ЛОКАЛЬНОГО ПОИСКА В ЗАДАЧЕ С РАВНОВЕСНО-ИЕРАРХИЧЕСКОЙ СТРУКТУРОЙ Текст научной статьи по специальности «Математика»

 О МЕТОДЕ ЛОКАЛЬНОГО ПОИСКА В ЗАДАЧЕ

С РАВНОВЕСНО-ИЕРАРХИЧЕСКОЙ СТРУКТУРОЙ

А. В. Орлов

Институт динамики систем и теории управления им. В. М. Матросова СО РАН

664033, Иркутск, Россия

УДК 519.853.4

DOI: 10.24412/cl-35066-023-1-34-4 1

В работе исследуется вопрос построения специального метода локального поиска для од-

ного из классов задач двухуровневой оптимизации с равновесием на нижнем уровне. А

именно, мы изучаем двухуровневые задачи с выпуклой квадратичной целевой функцией

при линейных ограничениях на верхнем уровне и с параметрической ненормированной би-

матричной игрой на нижнем уровне, где необходимо найти равновесие Нэша. Прежде всего,

производится редукция указанной задачи к невыпуклой задаче оптимизации с d.c. (от англ.

"difference of convex") ограничениями (заданными функциями, представимыми в виде раз-

ности двух выпуклых функций). Далее, для работы с редуцированной задачей используются

оригинальная теория глобального поиска (ТГП), созданная А.С. Стрекаловским, а также

теория точного штрафа У. Зангвилла и И.И. Еремина. Для получившейся задачи, где невы-

пуклости присутствуют только в целевой функции, разрабатывается специальный метод ло-

кального поиска, принимающий во внимание ее d.c. структуру. Этот метод основан на идее

линеаризации целевой функции задачи по базовой невыпуклости с привлечением современ-

ных достижений теории точного штрафа.

Ключевые слова : двухуровневая оптимизация, двухуровневые задачи с равновесием на

нижнем уровне, биматричная игра, задача с d.c. ограничениями, метод локального поиска.

Введение

Исследование задач двухуровневой оптимизации в настоящее время является быстро

развивающейся областью исследования операций [1]. Особенно привлекает внимание изу-

чение двухуровневых задач с несколькими игроками на нижнем (Single-Leader-Multi-

Follower-Problem (SLMFP)) или на верхнем уровне (Multi-Leader-Single-Follower-Problem

(MLSFP)) или даже Multi-Leader-Follower-Problems (MLFP), где рассматривается одна или

несколько игр Нэша на каждом уровне [2].

В классической двухуровневой задаче (ДУЗ) верхний уровень ("центр") зависит от ниж-

него уровня через целевую функцию и/или допустимое множество, и нижний уровень зави-

сит от верхнего аналогичным образом. При этом предполагается, что верхний уровень де-

лает свой ход первым [1]. С помощью оптимизационной задачи на нижнем уровне могут

моделироваться либо один, либо несколько игроков, зависящих от "центра". В последнем

случае обязательно предполагается, что эти игроки не зависят друг от друга. Тогда можно

считать, что фактически на нижнем уровне действует один "агрегированный" игрок. С од-

ной стороны, такая модель позволяет исследовать случаи, когда игроку верхнего уровня

подчинены несколько игроков нижнего уровня, и которые преобладают на практике (напри-

мер, корпорация обычно имеет несколько филиалов). С другой – предположение о незави-

симости игроков может снизить степень адекватности модели.

В этой связи, в работе исследуется один из классов задач двухуровневой оптимизации с

равновесием на нижнем уровне. Более точно, изучаются квадратичные ДУЗ с биматричной

А. В. Орлов 35

игрой на нижнем уровне в оптимистической постановке [3]. Прежде всего, с помощью спе-

циальных условий оптимальности производится редукция рассматриваемой задачи к невы-

пуклой задаче оптимизации с d.c. ограничениями. Затем, с помощью условий глобальной

оптимальности А.С. Стрекаловского (являющихся ядром теории глобального поиска) и тео-

рии точного штрафа [4] осуществляется дальнейшая редукция задачи к задаче с невыпукло-

стями, агрегированными в целевой функции. Для последней разрабатывается специальный

метод локального поиска, основанный на идее линеаризации по базовой невыпуклости.

1. Постановка задачи и ее редукция

Будем рассматривать следующую постановку двухуровневой задачи с равновесием на

нижнем уровне [3]:

x,Cx + c, x +  y, D y + d , y + z, D z + d , z  max,

1 1 2 2 

x, y,z 

x  X , ( y, z)  NE(B(x)), 

 (BP )

B

X = {x Rm | Ax  a, x  0,  

где b , x + b , x = 1} , NE(B(x)) – множество ситуаций равнове-

1 2

сия по Нэшу [5] в игре ( y – переменная игрока 1, z – переменная игрока 2)

 y, B z  max, y Y (x) = {y | y  0, e , y = b , x},

1 n 1

y 1 

 (B(x))

 y, B z  max, z  Z (x) = {z | z  0, e , z = b , x};

2 n 2

2

z 

m n n m

c b b ; y, d  R 1 ; z, d R 2 ; a  R 1 ; , b  0, b  0; –

, 1, 2 R 1 2 b  0, b  0 2 2 A, B , B ,C, D , D

1 1 1 2 1 2

матрицы соответствующей размерности, en = (1,...,1) , en = (1,...,1) – векторы из единиц.

1 2

C = CT , D = DT , D = DT – неположительно определенные матрицы, так что целевая функ-

1 1 2 2

ция задачи вогнута. Заметим, что при использовании выражения вида yB 1 предполагается,

что y – вектор-строка, а в выражении B z , z – вектор-столбец.

1

Нетрудно видеть, что на нижнем уровне ДУЗ сформулирована так называемая ненорма-

лизованная биматричная игра в смешанных стратегиях [3], которая отличается от классиче-

ской биматричной игры (см., например, [5]) наличием скалярных параметров  := b , x и

1 1

 := b , x ( x фиксировано на нижнем уровне). Равенство b , x + b , x = 1 может быть

2 2 1 2

проинтерпретировано как некий ресурс, который верхний уровень распределяет между иг-

роками на нижнем уровне.

Задача (BP ) записана в оптимистической постановке, когда интересы верхнего уровня

B

могут быть согласованы с действиями на нижнем уровне [1, 2]. Для изучения вопроса о су-

ществовании решения в сформулированной задаче можно воспользоваться соответствую-

щими теоретическими результатами (см. списки литературы в [1, 2]).

Что касается разработки численных методов решения двухуровневой задачи (BP ) , где

B

на нижнем уровне ищется равновесие Нэша [3, 5], прежде всего, необходимо переформули-

ровать (BP ) как одноуровневую оптимизационную задачу. С этой целью применим сле-

B

дующую теорему.

* *

Теорема 1. [3] Пара (y ,z ) NE (B (x )) (где x фиксировано) тогда и только тогда, ко-

гда существуют числа * и * , такие, что имеет место следующая система:

36 Проблемы оптимизации сложных систем – 2023

* * * * 

(B z )   e , z  Z (x),  ( y B )  e , y Y (x),

1 1 * n 2 2 * n

1 * * 2 

 y , (B + B )z  =  + . 

1 2 * *  (1)

Теорема 1 позволяет заменить нижний уровень задачи (BP ) системой (1), где

B

 := b , x ,  := b , x ( x фиксировано). Нетрудно видеть, что последнее равенство явля-

1 1 2 2

ется невыпуклым по паре переменных y и z .

Таким образом, можно записать следующую одноуровневую задачу математической оп-

тимизации, которая эквивалентна двухуровневой задаче (BP ) с точки зрения отыскания

B

глобальных решений:

− f (x, y, z) :=  x, Cx + c, x +  y, D y + d , y + 

0 1 1

+ z, D z + d , z  max , 

2 2 

x, y, z ,, 

(x, y, z)  S := {x, y, z | Ax  a, x  0, b , x + b , x = 1,

1 2

 (PB )

y  0, e , y = b , x, z  0, e , z = b , x},

n 1 n 2 

1 2



b , x(B z)  e , b , x( yB )  

1 1 n 2 2 en , 

1 2



 y, (B + B )z =  + .

1 2 

* * *

Теорема 2. [3] Тройка (x , y , z ) является глобальным (оптимистическим) решением

* * *

двухуровневой задачи (BP ) ((x , y , z ) Sol(BP )) в том и только в том случае, когда

B B

* * *

  (x , y , z , 

существуют числа * и * , такие, что вектор * , * ) будет глобальным решением

задачи (PB) .

Нетрудно видеть, что оптимизационная задача (PB) имеет невыпуклое допустимое мно-

жество (см., например, [5]). При этом невыпуклость задачи (PB) порождается (n + n ) би-

1 2

линейными ограничениями неравенствами и одним билинейным ограничением-равенством.

Как известно, билинейная функция является d.c. функцией, т.е. может быть представима в

виде разности двух выпуклых функций [5]. Для решения задачи (PB) с d.c. ограничениями

будем применять теорию глобального поиска А. С. Стрекаловского, упомянутую выше [4].

2. D.c. подход к исследуемой задаче

С этой целью, сперва нужно сконструировать явные представления всех невыпуклых

функций из постановки задачи (PB) в виде разности двух выпуклых функций.

Нетрудно проверить, что d.c. разложение i -го ограничения из первой группы n1 огра-

ничений типа неравенства, базирующееся на известном свойстве скалярного произведения,

имеет следующий вид [3]:

f (x ,z ,) := b ,x (B ) ,z  − =g (x ,z ,) −h (x ,z ), i =1, ,n ,

i 1 1 i i i 1 (2)

1 2 1 2

где (B ) – i -я строка матрицы B , g x z x , h (x, z) = xQ − z . Здесь

1 i ( , ,) = Q + z − i i

1 i i

4 4

QT = (b(1) (B ) ; b(2) (B ) ; ; b( m) (B ) ) , где b(1) ,b(2) ...,b(m) – компоненты вектора b ( Qi –

i 1 1 i 1 1 i 1 1 i 1 1 1 1

(m  n ) -матрица).

2

Аналогично можно записать d.c. разложения n2 ограничений-неравенств из второй

группы:

А. В. Орлов 37

f (x, y,):=b , x y,(B )  − = g (x, y,) − h (x, y), j = n +1,..., n +n ,

j 2 2 j j j 1 1 2 (3)

1 2

где (B2 ) j – ( j − n1 ) -й столбец матрицы B , g (x, y,) = xR +y − ,

2 j 4 j

1

2 T (1) T (2) T (m) T R

h (x, y) = xR − y , R =(b (B ) ; b (B ) ; ;b (B ) ) ( – (m  n ) -матрица). Нако-

j 4 j j 2 2 j 2 2 j 2 2 j j 1

нец, d.c. представление последнего билинейного ограничения равенства имеет следующий

вид:

f n +n +1(y ,z , , ) =g n +n +1(y ,z , , ) −h n +n +1(y ,z ),

1 2 1 2 1 2 (4)

1 2 1 2 1 2 1 2

где g (y, z , , ) = y + B z + yB + z − −  , h ( y, z) = y − B z + yB − z .

n +n +1 1 2 n +n +1 1 2

1 2 4 4 1 2 4 4

Теперь можно сформулировать задачу (PB) как задачу минимизации выпуклой квадра-

тичной функции с n +n +1 d.c. ограничениями:

1 2

f (x, y, z)  min , (x, y, z)  S, 

0

x, y, z,, 

f (x, z,) := g (x, z,) − h (x, z)  0, i {1, , n } =: I , 

i i i 1

 (DCC)

f (x, y,) := g (x, y,) − h (x, y)  0, j {n +1, , n + n } =: J ,

j j j 1 1 2



f ( y, z, , ) :=

  g ( y, z, , ) − h ( y, z) = 0,

n +n +1 n +n +1   n +n +1

1 2 1 2 1 2 

где функции f ; g , h   ; g , h j  J = { 1 ; g , и h яв-

0 i I = {1,...,n } j j n + ,...,n +n } n +n +1 n + n +1

i i 1 1 1 2

1 2 1 2

ляются выпуклыми. Также, очевидно, выпуклым является и множество S .

Обозначим через F все допустимое множество задачи (DCC) ( N := n1 + n2 + 1 ):

F := {( x, y, z,,) | ( x, y, z)  S;   

f ( x, z, ) 0, i I;

i

f ( x, y,)  0, j  J ; f ( y, z,,) = 0}.

j N

Так называемая базовая невыпуклость задачи (DCC) порождается функциями

h ( x, z), i  I h x y h ( y, z)

i , j ( , ), j  J и N (см. подробнее в [3]). Для того чтобы решить эту за-

дачу необходимо построить алгоритм глобального поиска (АГП), базирующийся на ТГП с

использованием представленного выше d.c. разложения. Здесь мы рассмотрим построение

только метода локального поиска в задаче (DCC ) , который является основным "кирпичи-

ком" при построении АГП. С этой целью продолжим трансформацию задачи с использова-

нием теории точного штрафа (ТТШ) [3,4].

Введем в рассмотрение оштрафованную задачу (:= ( , ):

x y, z,,)

 () := f ( x, y, z) + W ()  , x y z

 0 min ( , , )  S, (DC())



где  > 0 – штрафной параметр, а штрафная функция W() имеет следующий вид (DCC) :

W( x, y, z, , ) := max{0, f ( x, z, ), , f ( x, z, ),

1 n

1

f n +1(x ,y , ), , f n +n (x ,y ,  )}+ f N (y ,z , ,  ) .

1 1 2

Нетрудно видеть, что при фиксированном  задача принадлежит каноническому классу

задач d.c. минимизации на выпуклом допустимом множестве [6]. Действительно,



 ( )= f 0 (x ,y ,z ) + max{0,f i (x ,z , ),i I ; f j (x ,y , ),j J } +

+ | f N (y ,z , , ) |=:G  ( ) −H  ( ), (5)

где

38 Проблемы оптимизации сложных систем – 2023

G () := f ( x, y, z) +  max{ h ( , +

 0  x z) h ( x, y);

k k

kI kJ

k l

[g ()+ h ()], lI J } + 2 max  

l  k {gN ( y, z, , ); hN ( y, z)},

kI J (6)

H () := [h ( x, z) + h ( x, y) + g ( y, z,,) + h ( y, z)]

 i j N N

iI jJ (7)

выпуклые функции.

Из классической теории штрафа [7] известно, что если для некоторого значения пара-

метра вектор (x(), y(), z(),(  является решением задачи (DC( (

 ), ()) =: () ))

() S ( ) и допустим в задаче (DCC (() ), т.е. W (()) = , тогда

 ol DC()) () )  F 0

() будет глобальным решением задачи (DCC) . Кроме того, если равенство W (()) = 0

ˆ

справедливо для некоторого  :=  на решении () задачи (DC()) , оно будет решением

ˆ

задачи (DCC ) для всех    [7]. Ключевым моментом теории точного штрафа [4] является

ˆ

существование порогового значения  > 0 штрафного параметра W (()) = 0 ˆ .

 :   

При выполнении соответствующих условий регулярности можно доказать этот факт для ис-

следуемой задачи [3, 4], так что задачи (DCC) и (DC()) являются эквивалентными в

смысле равенства

Sol(DCC) = Sol(DC())  ˆ

> . (8)

Таким образом, комбинируя теорему 2 с последним результатом можно сказать, что вза-

имосвязи между задачами (DC()) и (DCC) позволяют искать решение задачи ( BP ) пу-

B

ˆ

тем решения вcего одной задачи (DC()) (где  >  фиксировано) вместо решения задачи

(DCC) .

3. Метод локального поиска

Для построения метода локального поиска в задаче (DCC) воспользуемся идеей из [8].

Схема локального поиска из [8], прежде всего, базируется на идеологии линеаризации по

базовой невыпуклости рассматриваемой задачи, так что ядром метода является решение вы-

пуклых линеаризованных задач вида

(P L(

 () := G () − H (),  ))

     min,  S , 



m+n +n +2 m+n +n +2

1 2  1 2

:= (x, y, z S := {(x, y, z,  

где ,,)  R , , ) R | (x, y, z)  S} . Во-вторых,

схема содержит шаги для динамического изменения параметра штрафа. Будем называть этот

метод специальным штрафным методом локального поиска (СШМЛП).

Пусть дана стартовая точка ( x , y , z )  S и начальное значение 0 > 0 штрафного па-

0 0 0

s s s

раметра  . Предположим, что на итерации s СШМЛП, получена тройка (x , y , z )  S и

0 s s

значение s   штрафного параметра. Для определенности, вычислим  := y ,B z  ,

s 1

s s

 :=  y , B z  (см. теорему 1) [3] и введем обозначения: G ():=G (), H ():=H () ,

s 2 s  s 

s s

s s s s

 := (x ,y ,z , , ).

s s

Принципиальным результатом работы метода локального поиска является построение

последовательности { s }, каждый компонент которой является приближенным решением

линеаризованной задачи s . На итерации s последняя имеет вид:

(P L ) = (P L( ))

s s 

s

А. В. Орлов 39

s 

 () := () −  ( ),

s Gs Hs   min,  S .

 (P L )

s s

При этом точка s+1 удовлетворяет неравенству





s+1 s+1 s+1 s+1

 ( ) = G ( ) − H ( ),   V (P L ) + 

s s s s s s



где   0, s = 0,1, 2,...,  < + , V (P L ) – оптимальное значение задачи (P L ) .

s  s s s s s

s=0

Нетрудно видеть, что задача (P L ) (более точно, функция G () ) не является гладкой,

s s s

несмотря на то, что все элементы задачи (DCC) дифференцируемы. Чтобы преодолеть эту

трудность, воспользуемся известной леммой (см. раздел 5 в [9]), с помощью которой по за-

даче (P L ) строится следующая задача:

s s

s 

f (x, y, z) − H ( ), +  + 2 t  min,

0 s s s

,,t 

k l 



(,, t)  D := { S , R, t  R | g ()+ h  

l  k ( ) ,

kI J  ( AP L )

s s

l  I  J ; h (x, z) + h (x, y)  ; 

k k 

kI kJ 

gN ( y, z,,)  t, hN ( y, z)  t}. 

Задача ( AP L ) – это выпуклая задача оптимизации и все элементы ее являются глад-

s s

кими. Две дополнительных скалярных переменных не приводят к дополнительным трудно-

стям при ее решении.

Согласно схеме СШМЛП [8], необходимо также дополнительно ввести в рассмотрение

вспомогательную выпуклую задачу, связанную с минимизацией штрафной функции W( ) :

s 

 () := G () − H ( ),  min,  S , (P L )

W W W W s



1 1

где G () := [G () − f ( x, y, z)] и HW () := [H ()] – компоненты d.c. разложения

W s 0 s

 

s s

штрафной функции: W() = G () − H (). Так же как и задача (P L ) , задача ( P L ) не

W W s s W s

является гладкой из-за свойств функции G () .

W

Гладкая вспомогательная задача, ассоциированная с задачей ( P L ) , согласно упомяну-

W s

той выше лемме, принимает следующий вид:

s ( AP L )

−H W ( ), +  + 2t  min, ( ,,t )  D. W s

 , ,t

Таким образом, если принять во внимание возможность приближенного решения сфор-

мулированных линеаризованных задач, схема СШМЛП для задачи (DC()) записывается

следующим образом.

Пусть дана стартовая точка ( x , y , z )  S , начальное значение штрафного параметра

0 0 0

0 > 0 , два скалярных параметра  , ]0,1[ метода, числовая последовательность {s } :

1 2

s > 0, s = 0,1,2,...; s  0 (s → ) и точности  > 0 ,  > 0 .

s := 0 0 s s s s s

Шаг 0. Положить ,  := ; (x , y ,z ) := (x , y ,z ) ,  := y ,B z  ,

s 0 0 0 s 1

s s s s s s

 := y ,B z  и  := (x ,y ,z , , ) .

s 2 s s

40 Пр облем ы оптимизации сложных систем – 2023

Шаг 1. Путем решения задачи ( AP L ) найти приближенное решение линеаризованной

s s

задачи (P L ) : ( )  -Sol(P L ) .

s s s s s s

Шаг 2. Если W(( ))   , тогда положить + := s , ( ) := ( ) и перейти на Шаг 7.

s + s

Шаг 3. Иначе (если W(( )) >  ), решая подзадачи ( P L ) (с помощью задач (AP L ))

s W s W s

найти  s  − Sol(P L ) .

W s W s

Шаг 4. Если W s , тогда решить некоторое количество задач s (увели-

( )   (P L( ))

W  W

s

чивая при необходимости s ), чтобы найти + > s , а также вектор  ( ) Sol(P L( s )) ,

+  W

+

такие что W (( ))   , и перейти на Шаг 7.

+

W s  >  W (( ))  

Шаг 5. Иначе, если ( ) >  и значение , такое что не найдено

W + s +

на Шаге 4, тогда найти  >  , удовлетворяющее неравенству

+ s

s s s

W ( ) −W (( ))  [W ( ) −W ( )]. (9)

+ 1 W

Шаг 6. При необходимости увеличить+ , чтобы выполнить неравенство

s s (10)

 ( ) −  (( ))   [W( ) −W(( ))].

s  + 2 + +

+

Шаг 7. Если справедлива следующая система:

a)W (( ))  

 +

 s  (11)

b)s+1( ) −  (( ))  ,

 s+1 +

 2

то  ( + ) является результатом СШМЛП, иначе s+1 := + ,  s+1 :=  ( ) , s := s + 1, вернуться

+

на Шаг 1.

Идея дополнительной минимизации штрафной функции W () и использование парамет-

ров 1 и 2 (они оценивают прогресс, полученный на текущей итерации метода относи-

тельно целевой функции линеаризованной задачи и штрафной функции) было предложено

в [10, 11]. Теоретические результаты сходимости СШМЛП представлены в [8].

4. Заключение

В статье разработан новый специальный штрафной метод локального поиска для одного

класса задач двухуровневой оптимизации в оптимистической постановке с равновесием на

нижнем уровне. Он основан на оригинальной теории глобального поиска А. С. Стрекалов-

ского для общей задачи d.c. оптимизации с использованием теории точного штрафа и прин-

ципе линеаризации по базовой невыпуклости изучаемой задачи.

Дальнейшая работа будет направлена на конструирование тестовых примеров указан-

ного класса и апробацию построенного метода.

Список литературы

1. Dempe S. Foundations of bilevel programming. Dordrecht (Netherlands): Kluwer Academic

Publishers, 2002.

2. Bilevel optimization: Advances and next challenges / Ed. by S. Dempe, A. Zemkoho. Cham:

Springer, 2020.

А. В. Орлов 41

3. Orlov A. V. On solving bilevel optimization problems with a nonconvex lower level: The

case of a bimatrix game // Lecture Notes in Computer Science. MOTOR 2021 / Ed. by P. Pardalos,

M. Khachay, A. Kazakov. Vol. 12755. Cham: Springer, 2021. P. 235–249.

4. Strekalovsky A. S. On a global search in d.c. optimization problems // Optimization and

Applications. OPTIMA 2019. Communications in Computer and Information Science / Ed. by

M. Jacimovic, M. Khachay, V. Malkova, M. Posypkin. Vol. 1145. Cham: Springer, 2020. P. 222–

236.

5. Стрекаловский А. С., Орлов А. В. Биматричные игры и билинейное программирова-

ние. М.: Физматлит, 2007.

6. Стрекаловский А. С. Элементы невыпуклой оптимизации. Новосибирск: Наука, 2003.

7. Nocedal J., Wright S. J. Numerical optimization. New York-Berlin-Heidelberg: Springer-

Verlag, 2006.

8. Strekalovsky A. S. Local search for nonsmooth dc optimization with dc equality and ine-

quality // Constraints Numerical Nonsmooth Optimization: State of the Art Algorithms / Ed. by

A. M. Bagirov, et al. Cham: Springer, 2020. P. 229–261.

9. Strekalovsky A. S. On global optimality conditions for d.c. Minimization problems with d.c.

constraints // Journal of Applied and Numerical Optimization. 2021. Vol. 3, No. 1. P. 175– 196.

10. Byrd R. H., Nocedal J., Waltz R. A. Steering exact penalty methods for nonlinear program-

ming // Optimization Methods & Software. 2008. Vol. 23. P. 197–213.

11. Byrd R. H., Lopez-Calva G., Nocedal J. A line search exact penalty method using steering

rules // Mathematical Programming, Ser. A. 2012. Vol. 133. P. 39–73.

Орлов Андрей Васильевич – канд. физ.-мат. наук, ст. науч. сотр.,

зав. лабораторией Института динамики систем и теории управления

им. В. М. Матросова СО РАН; email: [email protected]