CC BY
31
5. Мельников Б.Ф., Мельникова А.А. Многоаспектная минимизация недетерминированных конечных автоматов. Часть II. Основные алгоритмы // Известия вузов. Поволжский регион. Физико-математические науки. 2012. № 1 (21). С. 31-43.
Поступила в редакцию 11 июня 2015 г.
Melnikova A.A. USING THE STATE-MARKING FUNCTIONS WHEN WORKING WITH THE CYCLES OF THE BASIS FINITE AUTOMATON
We consider in this paper the basis finite Rabin-Scott's automaton defined earlier by the author and used to solve various problems in the theory of regular languages, in particular, to minimize finite automatons tasks by various criteria. For the basis automaton, the color of the edges is defined by using injective function. Different ways and cycles of the transition graph of the basis automaton corresponding to the ways and cycles of the transition graph of some automaton possibly defining a given regular language are explored. With the help of generalized state-marking functions, an algorithm for adding an edge in non-deterministic finite automaton is formulated.
Key words: nondeterministic finite automaton; basis automaton; algorithms of equivalent transformation; state-minimization; edge-minimization; state-marking functions.
Мельникова Александра Александровна, Национальный исследовательский ядерный университет «МИФИ», филиал в г. Димитровграде, Ульяновская область, Российская Федерация, кандидат физико-математических наук, старший преподаватель кафедры высшей математики, e-mail: [email protected]
Melnikova Aleksandra Aleksandrovna, National Research Nuclear University, Dimitrovgrad, Ul'yanov region, the Russian Federation, Candidate of Physics and Mathematics, Senior Lecturer of the Department of Higher Mathematics, e-mail: [email protected]
УДК 519.833
МЕТОД ОПОРНЫХ ФУНКЦИЙ В БИЛИНЕЙНОЙ ИГРЕ ДВУХ ЛИЦ
© И.М. Минарченко
Ключевые слова: равновесие по Нэшу; функция Никайдо-Исода; невыпуклая оптимизация; метод опорных функций.
В работе рассматривается билинейная игра двух лиц без предположения о выпуклости функций потерь игроков. Строится функция Никайдо-Исода, и поиск равновесия по Нэшу в игре сводится к задаче оптимизации с невыпуклой и неявно заданной целевой функцией, что требует применения методов глобального поиска. Для решения полученной задачи предлагается вариант метода опорных функций. Такой подход не только позволяет найти равновесную точку, но и даёт ответ об отсутствии равновесий в игре, если их нет.
Поиск равновесия по Нэшу в общем случае является трудной задачей. Однако существует подход, который применим при достаточно общих предположениях, в том числе когда существование равновесия не гарантируется, например, теоремой Какутани. Суть подхода заключается в сведении исходной игровой постановки к минимаксной задаче, которую можно рассматривать как частный случай задачи оптимизации (о минимаксных задачах см., например, [1]). Решив полученную задачу, мы либо найдём одну из равновесных точек, либо придём к заключению, что равновесий в игре не существует. Платой за данную возможность
является, вообще говоря, невыпуклая и заданная неявно целевая функция, возникающая при решении минимаксной задачи, в связи с чем приходится привлекать методы глобальной оптимизации. В данной работе описанный подход будет продемонстрирован на примере билинейной игры двух лиц. Полученную минимаксную задачу предлагается решать с помощью метода глобального поиска, использующего построение аффинных опорных функций.
Рассмотрим билинейную игру двух лиц с равновесием по Нэшу в качестве решения:
Fi(xi, Ж2) = x7(CiX2 + ci) + 1 x^BiXi ^ min ,
2 xieX1
F2(xi,x2)= X^(C2Xi + C2) + 1 Ж^В2Ж2 ^ min , (1)
2 X2&X2 (1)
Xi = {xi € Rmi | Aixi ^ ai, vi ^ xi ^ wi} , X2 = {X2 € Rm2 | A2X2 < a2, V2 < X2 < W2} .
Здесь Ci,vi,wi € Rmi , C2,v2,w2 € Rm2 , ai € Rqi , a2 € Rq2 (R обозначает множество действительных чисел, mi , m2 , qi , q2 — натуральные числа) и матрицы Ci , C2 , Bi, B2 , Ai, A2 имеют размеры mi x m2 , m2 x mi, mi x mi, m2 x m2 , qi x mi, q2 x m2 соответственно. Fi — функция потерь i -го игрока, Xi — множество стратегий i -го игрока, i = 1, 2 . Напомним, равновесием по Нэшу называется такая ситуация игры (xi,x2) € Xi x X2 , из которой не выгодно уходить в одностороннем порядке ни одному из участников при минимизации собственной функции потерь, то есть
Fi(xi,x2) < Fi(xi,x2) Vxi € Xi, F2(xi,x*) < F2(xi,x2) VX2 € X2.
Отметим, билинейная игра является частным случаем задачи билинейного равновесного программирования, в которой решением является неподвижная точка некоторого отображения G, определённого на множестве X , иными словами, такая точка y* € X , которая удовлетворяет соотношению y* € G(y*) , где
G(y) = Arg mini xT(Cy + c) + 1 xT£x), X = {x € Rm | Ax ^ a, v ^ x ^ w}. (2) xaX L 2 J
Игра (1) получается из постановки (2) при т = Ш1 + т2 и
х=(Х2).с=(<02 'о1).в=СП)■«=(С2
А=(А :)=со =(::)-=С:
В этом случае множество X представляет собой декартово произведение множеств стратегий игроков, то есть X = X1 х X2 .
В [2] для решения задач (1) и (2) предлагаются методы градиентного типа, сходимость которых к равновесной точке, если она существует, доказана при условии, что матрица В + + С неотрицательно определена. В [3] для вогнутых игр п лиц предлагается ряд методов, сходящихся к равновесию при условии, которое для рассматриваемой билинейной задачи принимает вид В + С >- О. Данные условия аналогичны условиям выпуклости функции в линейной алгебре. В целом ряде других статей, посвящённых методам поиска равновесия, также делается предположение о выпуклости целевых функций игроков или аналогичное предположение, в частности обеспечивающее существование равновесной точки: см., например, [4-8].
В настоящей работе не делаются какие-либо предположения о выпуклости функций. Воспользуемся для поиска равновесия следующим фактом [9]. Пусть в игре n лиц Fi — функция потерь и Xi — множество стратегий i -го игрока, i = 1,... ,n . X=X1 х ... х Xn — множество ситуаций игры. Определим на множестве X х X функцию, называемую функцией Никайдо-Исода,
n
= Fi(VhV2,---,Vi-l,Xi,yi+i,...,yn)-
i=l
Точка y* € X является равновесием по Нэшу в данной игре тогда и только тогда, когда выполнены соотношения
y* € Arg шшшах[Ф(у, у) — Ф(ж, у)] , тах[Ф(у* ,y*) — Ф(ж,у*)]=0. (3)
yex x£X x£X
Необходимо, чтобы соответствующие минимум и максимум достигались. Для игры (1) это так, поскольку функции потерь непрерывны и множество ситуаций компактно. Выпишем минимаксную задачу из (3) как задачу оптимизации:
Ф(у, у) + max[—Ф(х, у)] ^ min .
xex yex
Для игры (1) она примет следующий вид:
I „\ I 1 „T
2 xex
ут (Cy + c) + ^ут By + max — xT(Cy + c) — 1 xTBx ^ min. (4)
2
yex
Очевидно, целевая функция в данной задаче является, во-первых, заданной неявно, во-вторых, невыпуклой в общем случае. Полученное для (4) решение, как это следует из (3), будет являться равновесием по Нэшу в исходной игре в том и только в том случае, если оно доставляет нулевое значение целевой функции. Можно заметить также, что условие В + С 0, при котором гарантируется сходимость упоминавшихся выше методов градиентного типа, обеспечивает выпуклость целевой функции.
Перейдём к описанию метода, которым предлагается решать задачу (4). Нам необходимо заменить неявно заданное слагаемое из целевой функции явно заданным выражением. Для этого будем аппроксимировать данное слагаемое аффинными опорными функциями-минорантами. Напомним, опорной функцией-минорантой, построенной в точке ж для некоторой функции /(ж) называется функция, не превосходящая по значению /(ж) на всей допустимой области и при этом равная ей в точке Ж. Пусть к — номер текущей итерации (к = 0,1, 2,... ), ук € X — текущее приближение. Итерационный процесс имеет следующий вид:
1. Получить вектор жк как решение задачи глобальной оптимизации:
k
xk = arg max
xex
—xT(Cyk + c) — 2 xTBx
2. Построить аффинную функцию-миноранту 1к (у) , являющуюся опорной для неявно
к
заданного слагаемого в точке жк :
1к(у) = -(жк)т(Су + с) - 2(жк)тВжк.
3. Получить следующее приближение как решение задачи глобальной оптимизации:
yfc+1 = arg min vex
yT(Cy + c) + 1 yTBy + max {Г(y)}
2 и^г^к
Таким образом, строя на шаге 2 опорную функцию-миноранту для неявно заданного слагаемого, мы на каждой последующей итерации улучшаем его аппроксимацию. На шаге 3 мы ищем точку глобального минимума аппроксимации всей целевой функции. Поскольку функция, аппроксимирующая целевую, сама является опорной минорантой по отношению к ней, то значение глобального минимума данной аппроксимации является оценкой снизу для целевой функции. Критерием останова вычислительной процедуры служит близость наименьшего известного значения целевой функции (рекорда) и её оценки снизу (глобального минимума аппроксимации на текущей итерации). Сходимость данной схемы к глобальному оптимуму следует из [10, 11].
В таблице приведены результаты работы метода градиентного типа из [2] и описанного в настоящей статье метода опорных функций для случайно сгенерированных задач.
Таблица
Результаты численного эксперимента
m1 х m2 P h 12
2 х 2 50 5 52
3 х 3 50 5 56
4 х 4 30 5 58
5 х 5 30 4 56
6 х 6 10 4 59
7 х 7 10 4 58
Здесь P — количество решённых задач данной размерности, Д — среднее количество итераций метода опорных функций, — среднее количество итераций метода градиентного типа. Для корректности сравнения методов на данном этапе исследований генерировались такие задачи, которые имеют равновесную точку и для которых выполнено условие сходимости метода градиентного типа. Очевидно, что метод опорных функций сходится при более общих условиях. Вычисления производились в системе GAMS, для решения задач глобальной оптимизации использовался пакет COUENNE.
В заключение ещё раз отметим, что описанный подход в сочетании с предложенной схемой глобального поиска, во-первых, применим при достаточно общих предположениях (требуется, чтобы достигались минимум и максимум в (4)), и, во-вторых, позволяет доказать отсутствие равновесных точек в игре, если значение целевой функции задачи (4) в точке, в которую сошёлся метод, (значение глобального оптимума) отлично от нуля. Иными словами, в результате работы вычислительной процедуры мы получаем либо конкретную точку равновесия по Нэшу, либо ответ о том, что равновесий в данной игре нет. В зависимости от вида функций потерь алгоритм глобального поиска может адаптироваться в части построения опорных функций. Подход без труда распространяется на игру n лиц, а также при некоторых ограничениях — на случай, когда множество стратегий игрока зависит от выбранных стратегий остальных участников игры [12].
ЛИТЕРАТУРА
1. Демьянов В.Ф., Малозёмов В.Н. Введение в минимакс. М.: Наука, 1972. 368 с.
2. Антипин А.С. Градиентный и экстраградиентный подходы в билинейном равновесном программировании. М.: ВЦ им. А.А. Дородницына РАН. 2002. 130 с.
3. Зуховицкий С.И., Поляк Р.А., Примак М.Е. Вогнутые игры многих лиц // Экономика и математические методы. 1971. Т. 7. № 6. С. 888-900.
4. Krawczyk J.B., Uryasev S. Relaxation Algorithms to Find Nash Equilibria with Economic Applications // Environmental Modeling and Assessment. 2000. V. 5. P. 63-73.
5. Flam S.D., Ruszczynski A. Finding Normalized Equilibrium in Convex-Concave Games // International Game Theory Review. 2008. V. 10. № 1. P. 37-51.
6. von Heusinger A., Kanzow C. Relaxation Methods for Generalized Nash Equilibrium Problems with Inexact Line Search // Journal of Optimization Theory and Applications. 2009. V. 143. P. 159-183.
7. Langenberg N. Interior Point Methods for Equilibrium Problems // Computational Optimization and Applications. 2012. V. 53. P. 453-483.
8. Dreves A., von Heusinger A., Kanzow C., Fukushima M. A Globalized Newton Method for the Computation of Normalized Nash Equilibria // Journal of Global Optimization. 2013. V. 56. P. 327-340.
9. Nikaido H., Isoda K. Note on Noncooperative Convex Games // Pacific Journal of Mathematics. 1955. V. 5. № 5. P. 807-815.
10. Bulatov V.P. Numerical Methods for Solving the Multiextremal Problems Connected with the Inverse Mathematical Programming Problems // Journal of Global Optimization. 1998. V. 12. P. 405-413.
11. Khamisov O. V. A Global Optimization Approach to Solving Equilibrium Programming Problems // Series on Computers and Operations Research. V. 1: Optimization and Optimal Control. 2003. P. 155-164.
12. Rosen J.B. Existence and Uniqueness of Equilibrium Points for Concave n -person Games // Econometrica. 1965. V. 33. № 3. P. 520-534.
БЛАГОДАРНОСТИ: Работа поддержана грантом РФФИ № 15-07-08986.
Поступила в редакцию 7 мая 2015 г.
Minarchenko I.M. SUPPORT FUNCTION METHOD IN BILINEAR TWO-PERSON GAME
In the paper we consider bilinear two-person game without assumption about convexity of players' loss functions. By constructing Nikaido-Isoda function, Nash equilibrium problem is reduced to an optimization problem with nonconvex and implicitly defined objective function, so global search is required. We propose an algorithm of support function method for solving obtained optimization problem. Such approach either allows to find an equilibrium point or gives an answer that the game has no equilibrium if this is a case.
Key words: Nash equilibrium; Nikaido-Isoda function; nonconvex optimization; support function method.
Минарченко Илья Михайлович, Институт систем энергетики им. Л.А. Мелентьева СО РАН, г. Иркутск, Российская Федерация, инженер, e-mail: [email protected]
Minarchenko Il'ya Mikhailovich, Melentiev Energy Systems Institute of Siberian Branch of the Russian Academy of Sciences, Irkutsk, the Russian Federation, Engineer, e-mail: [email protected]
