CC BY
49
Вестник Воронежского института МВД России №4 / 2014
Н.В. Пешкова
О КОНЕЧНЫХ НЕДЕТЕРМИНИРОВАННЫХ АВТОМАТАХ ИГРОВОГО ТИПА
ABOUT NONDETERMINISTIC FINITE AUTOMATA
GAME TYPE
Для описания ситуационных потоков теории конфликтов в данной работе предложена модель, объединяющая теорию марковских цепей и теорию игр в виде конечного автомата. Проведена классификация автоматов малой размерности, предложен алгоритм получения точных аналитических выражений для среднего выигрыша при использовании байесовских стратегий.
To describe the state flow in situational theory of conflict in this paper a model that combines the theory of Markov chains and game theory as a state machine is proposed. A complete classification of low-dimensional automata and exact analytical expressions for the average Bayesian payoff are obtained.
1. Введение. Классическая теория конечных автоматов [1] предполагает работу с детерминированным значением входного сигнала, для которого существует единственное состояние, в которое автомат может перейти из текущего состояния. Другими словами автомат задается в виде пятерки
А = О, х, y, f, g),
где s — вектор состояний автомата, (x,y) — входной и выходной алфавиты соответственно, f — функция перехода и g — функция выхода. Естественным обобщением автомата является использование в качестве его аргументов случайных величин. Так, в работе [2] М.О. Рабин ввел недетерминированные автоматы, в которых стохастической матрицей задается функция перехода f. Дальнейшее обобщение было предложено в работе [3], где для автоматов выделялась читающая и пишущая части со своими функциями и областями значений. В работе [4] предложен конечный недетерминированный автомат игрового типа, на вход которого подается последовательность стратегий игроков, а выходом являются платежные матрицы игр, соответствующих состояниям конечного автомата. Вероятностные характеристики автомата проявляются в случае, когда одним из игроков выступает природа, а ответные действия человека могут быть
244
Информатика, вычислительная техника и управление
рассчитаны с использованием, например, критерия Байеса. В статье [4] работой данного автомата моделировалась конкретная ситуация прорыва противопаводковой дамбы во время аномального наводнения на р. Амур в 2013 году. В работе [5] данная схема использовалась для ситуационного моделирования работы Зейской ГЭС в экстремальных ситуациях. В данных статьях системы имели 3 и 5 состояний соответственно, что не позволило найти аналитическое решение поставленных задач, в связи с чем авторами применялись методы имитационного моделирования, реализованные с помощью пакета Simulink Matlab. В работе [6] была проведена классификация всех возможных состояний байесовских автоматов малой размерности (имеющих два состояния). Целью данной статьи является классификация всех возможных состояний байесовских автоматов типа используемых в работе [4] (имеющих 3 состояния)
A =
Ol> s2>
( X X11 X ^ X12 ( У11 У12
V X21 X22 J V У21 У22 J
> f, g
(1)
получение их точных аналитических решений и оптимальных выигрышей.
2. Теоретические основы модели. Очевидно, что аналитическое решение для байесовского автомата (1) в общем виде проводится по следующей схеме.
1) По заданным входным сигналам автомата
g
aobo aobi a1bo a1b1
So О О О О coio c1oo cn°
Si coo1 coi1 c1o1 cn1
S2 2 coo2 co12 c1o2 c112
строятся платежные матрицы игр:
Ґ -0 „0 5 Ґ _1 _1 Л Ґ „2 2 Л
P(s0) = C00 c01 c 0 c 0 Vc10 c11 J , p(s1) = c00 c01 Vc10 c11 J , P(S2 ) = c00 c01 2 2 V c10 c11 J
2) Для заданной вероятности поступления сигнала Ьк по критерию Байеса находятся оптимальные стратегии всех игр a*. (Очевидно, что они не обязаны совпадать.)
3) Произведение a*Ьк формирует входной сигнал (аргумент функции f), определяющий изменение состояния системы на следующем шаге.
aobo aob1 a1bo a1b1
So Sk1 Sk2 Sk3 Sk4
S1 Sk5 Sk6 Sk7 Sk8
S2 Sk9 Sk1o Sk11 Sk12
Для упрощения записи мы далее будем пользоваться следующей системой обозначений. Т.к. рассматриваемый автомат имеет 3 состояния, то множество всех возможных переходов f образуют 3-ичную логическую функцию 3 • 22 = 12 переменных
245
Вестник Воронежского института МВД России №4 / 2014
(т.е. всего N = 312 = 531441 автомат). Однако, поскольку теорема Нэша утверждает, что любая конечная игра имеет решение в чистых или смешанных стратегиях, то множество различных автоматов Байеса уменьшается в 2 раза. Для удобства классификации мы будем использовать только нулевые стратегии природы, учитывая, что для остальных автоматов решения можно получить переопределением номера стратегии и компонент платежной матрицы.
Например, функции
a0b0 a0b1 a1b0 a1b1
S0 S0 S1 S0 S1
S1 S0 S2 S0 S2
S2 S1 S2 S1 S2
соответствует последовательность
(■Vso>S2.У,S2) = (0Ш212) .
Stateflow диаграмма данной функции имеет вид, показанный на рис. 1.
[r<a0] /''О''' [r<a1] /~Х [r<a0]
{f=f+c00^/ У {f=f+c01} (f=f+d00r T{f=f+d01} {f=f+e10} I {f=f+e01}
4 ' [b2==01i
[b0==0]
{k=0; S0
f=0;} k++;
•— b0=0;
r=ml('rand(1)')
\[b0==1] \[b1==1] / X. [b2==1]
[r<a1] У I {f=f+dc11} [r<a1^4 I {f=f+d11} [r<a1^v J {f=f+e11}
{f=f+c10}^^^ {f=f+d10'^V {f=f+e10r
Рис. 1. Stateflow диаграмма Байесовского автомата (010212)
Здесь платежные матрицы нулевого состояния обозначены через p(s0) = cjk, первого состояния — через p(s ) = dik, а второго состояния — через p(s2) = eik .
Для упрощения данную диаграмму мы представим в виде, приведенном на рис. 2.
0.1 0.2 1.2
0 1 0 2 12
Рис. 2. Упрощенная Stateflow диаграмма автомата (010212)
246
Информатика, вычислительная техника и управление
Далее, используя свойства симметрии, данные автоматы можно объединить в группы эквивалентных, имеющих одинаковые предельные состояния и средние выигрыши. Так, например, автоматы (000000,000001, 000002, ..., 002222) являются эквивалентными. Аналогично эквивалентны автоматы (010212) = (010221) = (012012) = (100212) = (012021) = (100221) = (102012) .
В результате мы получим 63 = 216 различных автоматов типа
(^ЛЛk1k2 ), где 1 Wij К k2 = 0,1,2 ; І ^ ^ Л ^ j2, k1 ^ k2 . (2)
Дальнейшее сокращение количества рассматриваемых автоматов производится удалением тех из них, в которых функции перехода являются несущественными. Например, для автомата (000022) последние 4 значения не являются существенными, поскольку состояний Si и S2 автомат не принимает по определению.
3. Аналитическое решение для автомата 000000. Поскольку автоматы из последовательности (000000, . , 002222) эквивалентны, то найдем точное решение для
первого из них. Данный автомат имеет функцию перехода
aobo aobi aibo aibi
So So So S* S*
Si So So S* S*
S2 So So S* S*
и платежную матрицу нулевого состояния p(s0) = cjk . Здесь символом S обозначены
переходы, несущественные при заданном выборе оптимальных стратегий. Допустим,
*
критерий Байеса предполагает оптимальным выбор нулевой стратегии a = a0 . Тогда средний выигрыш игрока на первом шаге есть
m\ = b0C00 ^ b1C01 , где b0 ^ b1 = 1 .
Средний выигрыш игрока на 2-м шаге есть
m2 = 2b0 C00 + 2b0b1(c00 + C01) + 2b1 C01.
Далее
m3 = 3b0 C00 + 3b0 b1 (2c00 + C01) +
+ 3b0b1 (C00 + 2C01) + 3b1 C01,
m = I cb-kb ((n - k )C00+kd).
k =0
Последняя формула легко вычисляется при помощи известных сумм
n n
I cXb;-‘ = 1, X cX‘b;k=nb1.
k =0
k =0
Тогда
mn = n(b0C00 + b1C01) =
а приведенный средний выигрыш данного автомата равен
m
f00 = li^—^ = b0C00 + b1C01,
n^W n
как и следовало ожидать для классической игры, использующей байесовские стратегии.
n
247
Вестник Воронежского института МВД России №4 / 2014
4. Аналитическое решение для автомата 222222. Поскольку автоматы из последовательности (220022, 220122, 220222, 221022, ... , 222222) эквивалентны, то найдем точное решение для первого из них. Данный автомат имеет функцию перехода
F
aobo aobi aibo aibi
So S2 S2 S* S*
Si So So S* S*
S2 S2 S2 S* S*
и платежные матрицы РОо) =
С00 С01
V cio cii J
P(s1) =
f d d ^ (є є ^
d oo d 01 / x є00 є01
, , , P(S2) =
V di0 dii J V ei0 eii J
Допустим, критерий Байеса предполагает оптимальным выбор нулевых стратегий для всех игр a* = а0. Тогда, для упрощения записи и без потери общности переобо-значим коэффициенты платежных матриц
(c0 = c00, ci = c0i, d0 = d00, di = d0i, Є0 = є00, ei = e0i) •
Средний выигрыш игрока на первом шаге есть
— = b0c0 + bici, где b0 + bi = i •
Далее
m2 = b0 (b0(e0 + c0) + bi(ei + c0))
+ bi (b0(e0 + ci) + bi(ei + ci)),
m
n
n'
Z c‘X—kbt
k=0
b0 (c0 + (n'—k )є0 + kel + + b (c + (n'—k )є0 + кє
где n' = n — i •
mn = mi + (n — i )(а0Є0 + a\ei).
Вычисляя сумму, получим и приведенный средний выигрыш данного автомата
m
f = lim —— = be + be
J 222222 lim b0e0 + biei •
n^x n
5. Аналитическое решение для автомата 022222. Поскольку автоматы из последовательности (020022, 020122, 020222, 021022, ... , 200022, 200122, ... , 202222) эквивалентны, то найдем точное решение для первого из них. Данный автомат имеет функцию перехода
2
aobo aobi aibo aibi
So So S2 S* S*
Si So So S* S*
S2 S2 S2 S* S*
248
Информатика, вычислительная техника и управление
и компоненты векторов оптимальных стратегии
P(s0) = c0k = (c00, С01) = (c0, СІ POO = d0k = (d 00, d01) = (do, dl),
P(s2) = e0k = ^ e01) = (e0, ei)-
Введем обозначения
A0 = b0c0 + bici> Pi = b0 e0 + biei
и определим средний выигрыш игрока на первом шаге как
m = A0 •
Тогда
m2 = (b0 + 1 )P0 + b1 A , m = (b0 + b0 +1 )A +(3 - b02 - b0 -1 )A,
m
n-1 \
k
n-1 Ґ
n Z b0kA0 + n-Z b0 A •
k=0 V k=0 J
Вычисляя сумму, получим
(bn -1)
mn = ^V^ Ac + b1
(n - b -1)Л
V
b1
A
J
и приведенный средний выигрыш данного автомата
m
J022222 = = A1 •
n^w n
6. Аналитическое решение для автомата 22**00. Обозначим знаком * любые значения из множества {0,1,2}. Поскольку автоматы из последовательности (1100**, ... , 22**00) эквивалентны, то найдем точное решение для последнего из них. Данный автомат имеет следующую функцию перехода:
2
aobo aobi aibo aibi
So S2 S2 S* S*
Si S* S* S* S*
S2 So So S* S*
Определяя средний выигрыш игрока на первом шаге как
m = A >
получим
m2 =A0 +A, m3 = 2a0 + 2a,
mn = (n -1 )(A0 +A )
249
Вестник Воронежского института МВД России №4 / 2014
и приведенный средний выигрыш данного автомата
m
/22**00 = tim— = Po + Pi •
n-^w n
7. Аналитическое решение для автомата 02**20. Поскольку автоматы из последовательности (02**20, 20**20, 02***02, 20**02) эквивалентны, то найдем точное решение для первого из них. Данный автомат имеет следующую функцию перехода:
2
aobo aobi aibo aibi
So So S2 S* S*
Si S* S* S* S*
S2 S2 So S* S*
Последовательность выигрышей
mi = Po,
m2 = (1 + bo)Po + biPi,
mn = (1 + (n — i)bo)Po + (n — i)biPi дает приведенный средний выигрыш данного автомата
m
/o2**2o = = boUo ^ biPi •
n^w n
8. Аналитическое решение для автомата 010202. В заключение представим аналитическое решение для байесова автомата, использовавшегося в работе [4] при ситуационном моделировании прорыва противопаводковой дамбы во время ЧС природного характера. Данный автомат имеет функцию перехода
2
aobo aobi aibo aibi
So So Si S* S*
Si So S2 S* S*
S2 So S2 S* S*
и компоненты векторов оптимальных стратегий
P(so) = cok = (coo, coi) = (co, ci\
Ж) = dok = (d oo>doi) = (do, di\
P(s2) = eok = (eoo> eoi) = (eo> ei).
Введем обозначения
Po = boco + bici, Pi = bodo + bidi, P2 = boeo + biei и определим средний выигрыш игрока на первом шаге как
mi = Po •
Тогда последовательность
m2 = (bo + i)Po + bP
m3 = (i + 2bo)po + (i — bo }pi + (i — 2bo + bo }p2,
250
Информатика, вычислительная техника и управление
9 9
mn = (1 + (n - 1)b0)p0 + (1 + (n - 3)b0 - (n - 2)b0)№ + (n - 2)(1 - 2b0 + b0)p2 дает приведенный средний выигрыш данного автомата
f010202 = lim = b0^0 + Ъ0Ъ1& + b1 A1 •
nn
9. Выводы. Полная классификация неэквивалентных байесовых автоматов вида (2) может быть проведена следующим образом. Из 216 имеющихся автоматов 36 типа 00*** являются тривиальными и решаются стандартными методами теории матричных игр. Для каждого автомата типа 11**** найдется эквивалентный, вида 22****. Аналогично для каждого автомата типа 01**** найдется эквивалентный, вида 02****. Тогда из всех автоматов типа 01**** остаются следующие:
01
1200 1201 1202 1211 1212 1222
2200 2201 2202 2211 2212 2222
Аналогично можно сказать и про 1, 2 и 4 строку автоматов типа 11****
11
1200 1201 1202 1211 1212 1222
2200 2201 2202 2211 2212 2222
Среди автоматов типа 12*** можно выделить следующие эквивалентные:
0001 = 0200, 0002 = 0100, 0011 = 2200, 0012 = 1200, 0022 = 1100,
0101 = 0202,1111 = 2222, 0111 = 2202,0112 = 1202,0122 = 1102,
0211 = 2201, 0212 = 1201, 0222 = 1101,1112 = 1222,2212 = 1211.
В результате мы получили 57 неэквивалентных автоматов. Для некоторых из них в данной работе было найдено явное аналитическое решение. Для остальных автоматов решения будут представлены в следующих работах.
ЛИТЕРАТУРА
1. Brauer W. Automaten theorie. Stuttgart: Teubner, 1984. — 496 p.
2. Rabin M.O. Probabilistic automata // Information and control. 1963, N.6, P.230—245.
3. Ginsburg S. The mathematical theory of context-free-language. NY: McGraw-Hill, 1966. — 326 p.
4. Думачев В.Н., Пешкова Н.В., Калач А.В., Чудаков А.А. Ситуационное моделирование прорыва противопаводковой дамбы во время аномального наводнения на Дальнем Востоке летом 2013 г. // Вестник Воронежского института ГПС МЧС России. — 2013. — №4(9). — С.35-39.
5. Думачев В.Н., Пешкова Н.В., Калач А.В., Чудаков А.А. Ситуационное моделирование работы Зейской ГЭС во время аномальных наводнений // Вестник Воронежского института ГПС МЧС России. — 2014. — №2(11). — С.18—25.
251
Вестник Воронежского института МВД России №4 / 2014
6. Думачев В.Н., Пешкова Н.В. О конечных игровых автоматах Байесовского типа // Системы управления и информационные технологии. — 2014. — №3(57). —
С. 12—15.
REFERENCES
1. Brauer W. Automaten theorie. Stuttgart: Teubner, 1984. — 496 p.
2. Rabin M.O. Probabilistic automata // Information and control. 1963, N.6, P.230—245.
3. Ginsburg S. The mathematical theory of context-free-language. NY: McGraw-Hill, 1966. — 326 p.
4. Dumachev V.N., Peshkova N.V., Kalach A.V., Chudakov A.A. Situatsionnoe mod-elirovanie proryiva protivopavodkovoy dambyi vo vremya anomalnogo navodneniya na Dal-nem Vostoke letom 2013 g. // Vestnik Voronezhskogo instituta GPS MChS Rossii. — 2013. — #4(9). — S.35—39.
5. Dumachev V.N., Peshkova N.V., Kalach A.V., Chudakov A.A. Situatsionnoe mod-elirovanie rabotyi Zeyskoy GES vo vremya anomalnyih navodneniy // Vestnik Voronezhskogo instituta GPS MChS Rossii. — 2014. — №2(11). — S.18—25.
6. Dumachev V.N., Peshkova N.V. O konechnyih igrovyih avtomatah Bayesovskogo tipa // Sistemyi upravleniya i informatsionnyie tehnologii. — 2014. — №3(57). — S.12—15.
СВЕДЕНИЯ ОБ АВТОРЕ
Пешкова Надежда Владимировна. Адъюнкт кафедры высшей математики.
Воронежский институт МВД России.
E-mail: [email protected]
Россия, 394065, Воронеж, проспект Патриотов, 53. Тел. (473) 2005-216.
Peshkova Nadezhda Vladimirovna. Post-graduate cadet.
Voronezh Institute of the Ministry of the Interior of Russia.
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 2005-216.
Ключевые слова: автоматная модель; недетерминированные автоматы; байесовский автомат; аналитическое решение; вероятностные характеристики.
Key words: automaton model; nondeterministic finite automata; Bayesian automaton; analytical solution; probabilistic characteristics.
УДК 519.713: 351.74
252
