Формально-логическая спецификация мультиагентных систем реального времени Текст научной статьи по специальности «Математика»

МАТЕМАТИКА

УДК 510.64; 519.681

Д. Ю. Бугайченко, И. П. Соловьев

ФОРМАЛЬНО-ЛОГИЧЕСКАЯ СПЕЦИФИКАЦИЯ МУЛЬТИАГЕНТНЫХ СИСТЕМ РЕАЛЬНОГО ВРЕМЕНИ

Введение

Известно, что разработка сложных, в том числе и распределенных, интеллектуальных систем часто приводит к их декомпозиции в набор высокоуровневых, автономных, взаимодействующих сущностей — агентов. Такие интеллектуальные системы составляют широкий класс мультиагентных систем. Активное применение, а также богатство и разнообразие различных реализаций мультиагентных систем объясняются прежде всего основными свойствами, заложенными в концепцию интеллектуального агента: способностью к автономному1 взаимодействию с внешней средой, обладающей недетерминированной реакцией на действия агента, способностью адекватно и оперативно реагировать на изменения во внешней среде, способностью к социальному взаимодействию и кооперативному поведению. Для более близкого знакомства с концепцией интеллектуального агента мы рекомендуем работу [1], а информацию о возможных областях применения мультиагентных систем можно найти в работе [2].

Одним из интересных направлений использования мультиагентных систем являются системы управления различными устройствами и комплексами, ошибки в проектировании которых могут приводить к тяжелым последствиям, вплоть до повреждения дорогостоящего оборудования и гибели людей. Для повышения надежности таких систем давно и успешно применяются методы формальной верификации системы по спецификации (проверки на модели, model checking), (см., например [3]). Естественно, для реализации таких методов необходим достаточно мощный формальный аппарат, основу которого, как правило, составляет некоторый вариант темпоральной, или динамической логики, хороший обзор которой можно найти в работе [4].

Разнообразные модификации этой логики неоднократно применялись и для формальной спецификации мультиагентных систем, например, в языке Dribble [6], вклю-

1 Под автономностью понимается способность действовать без контроля со стороны внешней управляющей сущности.

© Д. Ю. Бугайченко, И. П. Соловьев, 2007

чающем логический язык для описания BDI-агентов2 и динамическую логику для спецификации и доказательства их свойств, а также в системе DESIRE3, [5], позволяющей формально описывать многокомпонентные системы вывода (как правило, основанные на знаниях), используя темпоральную логику для описания их поведения и взаимодействия. Однако классическая темпоральная логика, вообще говоря, не предоставляет явных средств для описания кооперации и конкуренции агентов, а также недетерминированной реакции внешней среды, что затрудняет ее применение для решения этой задачи.

Серьезно ситуация в этой области изменилась всего несколько лет назад с появлением сразу двух работ: коалиционной логики Паули (Coalition Logic, CL [7]) и логики альтернированного времени (Alternating-time Temporal Logic, ATL [8]). Семантика обеих логик заимствует многие идеи из теории игр и позволяет явно описывать возможности агентов (игроков) и групп агентов (коалиций) по достижению определенных целей

„ „4

независимо от действий агентов вне коалиций и возможной4 реакции внешней среды. Эти работы сразу же привлекли внимание научного сообщества и получили продолжение. Было предложено использовать ATL в качестве эпистемологической логики5 [9, 10], а коалиционная логика CL была развита в работах [11] и [12]

Новые подходы позволяют адекватно описывать кооперацию и конкуренцию агентов, однако в своем большинстве не предоставляют средств явного описания взаимодействия с внешней средой. В этом отношении особо выделяется работа [13], в которой предложен формализм, объединяющий выразительные средства пропозициональной динамической логики PDL [14] для описания реакции внешней среды и коалиционной логики CL для описания возможностей агентов и их коалиций по воздействию на состояние внешней среды. Представляется, что именно этот формализм, называемый далее PDL + CL, с учетом предлагаемой ниже модификации может служить подходящей основой для создания формальной логики спецификации мультиагентных систем реального времени.

В данной работе предлагается метод преодоления некоторых (см. ниже) ограничений PDL+CL в виде логического языка формальной спецификации, который мы далее будем обозначать MASL (MultiAgent System Logic).

Основным ограничением подхода PDL + CL является то, что он позволяет специфицировать то, что может делать система, а не то, что система должна делать. Данное ограничение преодолевается в MASL посредством уточненной и расширенной математической модели интеллектуального агента [15].

PDL + CL предоставляет возможность спецификации только одного шага взаимодействия и не позволяет формулировать утверждения о более сложных сценариях, поскольку выразительная мощность CL ограничена одной темпоральной модальностью «в следующий момент ». Это ограничение преодолевается в MASL заменой в исходном формализме CL на ATL, выразительная мощность которого значительно выше и включает такие темпоральные модальности как «всегда», «иногда», «до тех пор».

Формализм PDL + CL не содержит средств спецификации ограничений на допустимое время реакции системы, что существенно для задач спецификации систем реаль-

2БВТ-агентом принято называть агента, обладающего представлениями о внешнем мире (Beliefs), желаниями (Desires) и намерениями (Intensions), где намерения представляют подмножество желаний, выбранных агентом для осуществления (часто намерения отождествляют с планами).

3DEsign and Specification of Interacting REasoning components

4При условии, что реакция внешней среды недетерминирована, но подчиняется некоторым законам, позволяющим определить допустимую реакцию на те или иные действия мультиагентной системы.

5 Логики для представления знаний агента.

ного времени. Это затруднение разрешается в MASL за счет функционального расширения синтаксиса введением конструкции подстрочного индекса и соответствующим расширением семантики, сравнимого с описанным в [16] расширением классической ветвящейся темпоральной логики CTL, получившем название TCTLs [16] и использующем подстрочные индексы вида < t для ограничения времени действия темпоральных операторов CTL.

В PDL + CL спецификация реакции внешней среды совмещается со спецификацией возможного результата действия системы, что приводит к смешению синтаксиса двух логик, что затрудняет использование независимо разработанных инструментов и алгоритмов для этих логик. Эта проблема решается в MASL включением спецификации поведения внешней среды в качестве части модели для интерпретации формул свойств системы наравне с математической моделью самой мультиагентной системы.

Далее в разделе 1 определена математическая модель мультиагентной системы и приведены логические основы MASL. В разделе 2 описана логика спецификации внешней среды и предложен алгоритм верификации для нее. В разделе 3 описана логика спецификации свойств мультиагентной системы реального времени.

1. Основные понятия MASL

За основу модели мультиагентной системы возьмем предложенную в [15] математическую модель интеллектуального агента с состоянием и расширим ее для случая с несколькими агентами. Мультиагентная система представляется парой MAS = {AG, S}, где AG = {agi,..., agn} есть непустой конечный набор агентов, а S есть непустое конечное множество состояний внешней среды, в которой функционирует система.

Для каждого агента системы ag G AG задано непустое конечное множество действий ACAag, а действие мультиагентной системы представляется вектором, составленным из действий каждого отдельного агента. Множество всех действий системы обозначим ACS = ACAagi х ... х ACAagn 6, а участие конкретного агента ag в общем действии системы обозначим acs [ag] G ACAag. Кроме того, для каждого агента ag определены непустое конечное множество внутренних состояний Iag и две функции: выбора действия actag : Iag ^ ACAag, сопоставляющая внутреннему состоянию некоторое действие, и обновления внутреннего состояния refnag : Iag х S х ACS ^ Iag, сопоставляющая предыдущему внутреннему состоянию, новому состоянию внешней среды и совершенному системой действию новое внутреннее состояние.

Группу агентов, действующих совместно для достижения общих целей, назовем коалицией и зададим подмножеством агентов системы A С AG, возможно пустым или совпадающим с множество всех агентов. Множество полных относительно коалиции A = {agj1,..., a,gjk } С AG состояний системы определяется как декартово произведение множеств внутренних состояний для каждого входящего в коалицию агента:

FSIa = Iagji х ... х Iagjk . (1)

Для удобства операций с различными частями полного относительно некоторой коалиции состояния fsA[agjt] = (s, iagjl,..., iag,k )[agjl] введем вспомогательное обозначение fsA[agjl] = iagji для выделения внутреннего состояния одного из агентов коалиции.

Заметим, что если коалиция B является подмножеством коалиции A (B С A), то возможно естественным образом построить проекцию полного относительно коалиции

6Сравним: в [13] предлагается единое множество действий, что не позволяет различать ситуации, когда одно и тоже действие выполнили разные агенты или несколько агентов сразу.

A состояния системы в полное относительно коалиции B состояние системы, исключив внутренние состояния агентов, не входящих в B. Эту проекцию обозначим fs^Js.

Функция выбора действия коалиции A в полном относительно этой коалиции состоянии act a : FSa ^ 2ACS определяется следующим образом:

actA(iagjl,.. ., iagJk ) = {acs G ACS \iag G A : acs[ag] = actag(iag ) } . (2)

Таким образом, выбор действий входящих в коалицию агентов определяется их функциями выбора действия, а поведение агентов вне коалиции не определено.

Функция обновления полного относительно коалиции состояния ref па : FSa х S х ACS ^ FSa определяется следующим образом:

refnA {[iagn ^.^ iag,k ), s, a) = {refnag,i (iagn ,s,a),..., refnagik (iag,k , s, a)) . (3)

Собственно MASL представляет собой расширение классической логики высказываний, формулы которой интерпретируются на состояниях внешней среды: во-первых, для спецификации поведения внешней среды вводиться ограниченный вариант PDL, во-вторых, для спецификации свойств системы вводиться расширенный вариант ATL с формулой логики описания поведения внешней среды в качестве части модели.

Логика высказываний, используемая для спецификации состояния внешней среды, включает алфавит пропозициональных переменных Prop. Синтаксис утверждений о состоянии внешней среды опишем грамматикой

ф ::= p | ф Л ф | —ф, (4)

где p G Prop.7 Множество всех синтаксически верных утверждений о состоянии внешней среды обозначим Les.

Для интерпретации пропозициональных переменных введем отображение п : S ^ 2Р. Введем обозначение Mes = {п}, а множество Mes далее будем называть моделью формул спецификации состояния внешней среды. Семантика формул описания состояния внешней среды определяется отношением Mes, s l=es ф, удовлетворяющим следующим семантическим правилам:

1) Mes, s =es p тогда и только тогда, когда p G n(s);

2) Mes, s =es — ф тогда и только тогда, когда Mes, s ¥es ф;

3) Mes, s =es ф Л 'ф тогда и только тогда, когда Mes, s =es ф и Mes, s =es ф.

Так как правила интерпретации пропозициональных переменных и логических свя-

зок являются стандартными, мы будем опускать их при описании семантики логик MASL.

2. Спецификация реакции внешней среды

Внешняя среда мультиагентной системы помимо множества состояний S описывается отношением env С S х ACS х S, определяющим возможные изменения состояния внешней среды при выполнении мультиагентной системой определенных действий. Отношение env является полным, если для любых s G S и acs G ACS существует

7 Здесь и далее мы будем описывать синтаксис и семантику только для логических связок — и Л, подразумевая, что остальные связки можно выразить обычным способом.

s' £ S такое, что (s, acs, s') £ env. Результат действия acs в состоянии s обозначим env(s, acs) = {s' £ S | (s, acs, s') £ env}.

Для описания действий системы введем алфавит действий Actions, а множество формул описания действия обозначим Lac и зададим грамматикой

а ■ ■= aca | а Л а | —а, (5)

где aca £ Actions, а множество формул спецификации внешней среды обозначим Lenv и зададим грамматикой

ф ■ ■= p I ф Л ф 1—ф I [а]ф, (6)

где p £ Prop, а а £ Lac.

Таким образом, мы расширили логику высказываний (4) дополнительной синтаксической конструкцией [а]ф, интуитивная интерпретация которой звучит так: «При выполнении системой действия, удовлетворяющего условию а, внешняя среда перейдет в одно из состояний, удовлетворяющих условию ф».

Для интерпретации символов действий введем отображение в ■ Actions ^ ACAagi U ... U ACAagn и определим семантику формул описания действий с помощью отношения в, acs \=ac а. Интуитивная интерпретация этого отношения — «действие системы acs удовлетворяет условию а», а формальная интерпретация описывается семантическими правилами для логических связок и правилом «в, acs =ac aca тогда и только тогда,

когда существует ag £ AG такой, что acs [ag] = в (aca)». Это правило описывает интер-

претацию отдельного символа действия и имеет следующий смысл: «действие системы acs удовлетворяет условию aca, если некоторый агент ag выполнил действие e(aca)».

Далее расширим модель Mes до тройки Menv = {env,n, в}, где env есть отношение, описывающее реакцию внешней среды, и определим семантику формул спецификации внешней среды через отношение Menv, s =env ф С Menv х S х Lenv между моделью Menv, состоянием внешней среды s £ S и формулой языка спецификации поведения внешней среды ф £ Lenv, удовлетворяющего правилам интерпретации пропозициональных переменных и логических связок, а также правилу «Menv, s =env [а]ф тогда и только тогда, когда для любых acs £ ACS и s' £ S если в, acs =ac а и s' £ env(s,acs) то Menv, s' =env ф». Сформулируем интуитивную интерпретацию этого правила: «Если система в состоянии внешней среды s выполнит действие, удовлетворяющее условию а, то внешняя среда перейдет в одно из состояний, удовлетворяющих условию ф».

Для логики описания действий системы задача проверки модели формулируется следующим образом: для заданных формулы а £ Lac и интерпретации символов действий в ■ Actions ^ ACS определить максимальное подмножество действий [а] С ACS, такое, что для любого acs £ [а] выполнено acs =ac а. Поскольку логика спецификации действий является классической логикой высказываний, эта задача разрешима и ее сложность 0(|а| • IACS|), где |а| есть длина формулы а, а IACS| есть мощность множества ACS.

Задача проверки модели для логики спецификации внешней среды формулируется следующим образом: для заданной модели внешней среды Menv = {env, п, в}, заданного подмножества состояний внешней среды T С S и заданной формулы ф £ Lenv определить такое подмножество [ф]т С T, что для каждого s £ [ф]т выполнено Menv, s =env ф. Для решения этой задачи мы предлагаем алгоритм 1, использующий рекурсию по структуре формулы ф. Корректность этого алгоритма доказывается индукцией по структуре формулы, а его сложность O ((|ф| • |ACS| • |S|)2). Данный алгоритм применим и для решения более простой задачи: для данных Menv, s, ф определить выполнено

ли Menv , s = env ф ( [ф] {s} 0).

Алгоритм 1 switch ф

case ф = p ■ return {s £ T | p £ n(s)} case ф = —ф ■ return T \ [ф]т case ф = ф1 Л ф2 ■ return [ф1]т П [ф2]т case ф = [а]ф ■

T' ■= U env(s,acs);

acsE[a\,sET

return {s £ T | [ф]т> 2 U env(s,acs)}

acs£[a\

end switch

3. Спецификация свойств мультиагентной системы

В данном разделе мы предлагаем близкий по синтаксису к логике альтернированного времени ATL — логический язык, предоставляющий формальные средства для спецификации свойств введенной в разделе 1 математической модели мультиагентной системы, действующей во внешней среде, удовлетворяющей спецификации внешней среды

env £ Lenv .

Введем алфавит символов коалиций Coal и опишем множество формул языка описания свойств системы следующей грамматикой:

ф ■ ■= p | ф Л ф | ((А))Оф | ((А))ф U <гф | ((A))a<tф, (7)

где p £ Prop, A £ Coal, а t £ N U {те}. Таким образом, язык описания свойств системы включает квантор ((A)), интуитивная интерпретация которого звучит как «В любой внешней среде, удовлетворяющей спецификации env, действия коалиции A в соответствии с программой приведут к тому, что ...», и три темпоральных оператора: 0ф, ф U и П^ф, интерпретируемые как «внешняя среда на следующем шаге перейдет в состояние, удовлетворяющее условию ф», «внешняя среда не более чем через t шагов (когда-нибудь, если t = те) перейдет в состояние, удовлетворяющее условию ф, а до этого будет находиться в состояниях, удовлетворяющих условию ф» и «внешняя среда в течении не менее чем t шагов (всегда, если t = те) будет находиться в состояниях, удовлетворяющих условию ф». Множество всех синтаксически верных формул языка описания свойств системы обозначим Lmas .

Используя базовый темпоральный оператор ф U <гф, определим производный оператор ((A))Q<tф = ((A))true U ^ф, интерпретируемый как «внешняя среда не более чем через t шагов (когда-нибудь, если t = те) перейдет в состояние, удовлетворяющее условию ф».

Определим множество возможных результатов действий коалиции A в начальном состоянии системы f sa £ FSa и внешней среды s £ S как множество конечных троек вида

outA(fsA, s)= {X £ (FSa х S х ACS U {0})+}, (8)

где для каждой цепочки X[0] = (f sa, s, 0) и для любого 0 < i < |X| — 1 выполнено X[i]|ACs £ actA(X[i — 1]|fsa) и X[i]|^sA = refnA^mAos, X[i — 1]|fsa , X[i]|s), а так-

|A|-1

же для любой цепочки X существует env а С S х ACS х S такое, что и {(X[j —

j=i

1]|s, X[^]|aCS, X[j]|s)} С envA и для любого 0 < k < |X| выполнено {envA,п,в},Х[к] =

env. Таким образом, каждый элемент цепочки X состоит из полного относительно коалиции A состояния f sa £ FSa, состояния внешней среды s £ S и совершенного системой действия acs £ ACSU{0} (или 0 для первого элемента цепочки), при этом действия и изменения внутренних состояний агентов коалиции определяются соответствующими функциями act а и ref па, а реакция внешней среды удовлетворяет спецификации env.

Далее мы расширим модель логики Mes до пятерки M = {AG, env, п, в, 7}, где AG есть множество агентов, env есть спецификация внешней среды, п есть интерпретация пропозициональных символов, 7 ■ Coal ^ 2AG есть интерпретация символов коалиций, а в ■ Actions ^ ACAagi U ... U ACAagn есть интерпретация символов действий для спецификации внешней среды. Определим семантику логики спецификации свойств системы через отношение M, A, (f sa, s) = ф между моделью M, коалицией агентов A, парой (fsA,s) £ FSa х S и формулой языка описания свойств системы ф £ Lmas. Сформулируем интуитивную интерпретацию этого отношения: «Коалиция A мульти-агентной системы AG при начальных полном относительно коалиции состоянии f sa и состоянии внешней среды s ведет себя таким образом, что выполнено свойство ф». Формально семантика описывается правилами интерпретации пропозициональных переменных и логических связок, а также следующими правилами:

1) M, A, (fsA,s) = ((B)) О ф тогда и только тогда, когда y(B) С A и для любой цепочки X £ out1(B)(fsAІ1(в),s) если X > 1, то M^^^^fsaS = ф;

2) M, A, (f sa, s) = ((B))ф U тогда и только тогда, когда y(B) С A и существует конечное 0 < i < t такое, что для любой цепочки X £ outY(B)(f sA^iB), s) если |X| > i, то существует 0 < k < i такое M,y(B), X^^fsaxs = ф и для любых 0 < j <k выполнено M, y(B), X[j]|FSAxS = ф;

3) M, A, (fsA,s) = (^^П^ф тогда и только тогда, когда y(B) С A и для любой цепочки X £ outY(B)(f sA^iB), s) и любого 0 < i < min(t, |X| — 1) выполнено

M, y(B), X[i]|FSAxs = ф.

Заметим, что в определении семантики отсутствует такое понятие ATL, как стратегия. В результате, несмотря на сходство синтаксиса MASL и ATL, семантика MASL ближе к семантике TCTLs. Основное отличие семантики MASL заключается в том, что при интерпретации подформулы ((A)) модель и текущее состояние сужаются относительно коалиции y(A). Заметим также, что сужение модели при интерпретации возможно, а ее расширение — нет.

Задачу верификации системы по спецификации MASL сформулируем так: для данных модели M = {AG,влм,п,^,в}, коалиции A, множества пар T = {(fsA,s) £ FSa х S} и формулы ф найти такое подмножество [ф]т С T, что для любой пары (f sa, s) £ [ф]т выполнено M, A, (f sa, s) = ф. Алгоритмическая сложность решения этой задачи не превышает полинома от длины спецификации системы |ф|, длины спецификации внешней среды |enV|, мощности множества полных относительно коалиции AG состояний |FSAGІ и мощности множества |S х ACS х S| в степени n, где n есть максимальная глубина вложенности операторов [ ] в спецификации внешней среды env. Для случая n = 1 алгоритмическая сложность решения задачи верификации системы по спецификации MASL не превосходит полинома от длины спецификации системы |ф|, мощности множества полных относительно коалиции всех агентов состояний ^Sag|, мощности множества состояний внешней среды |S| и мощности множества действий мультиагентной системы | ACS| .

Заключение

В данной работе мы предложили формализм MASL, который, по сравнению с PDL+CL, предоставляет такие дополнительные возможности, как спецификация более сложных темпоральных свойств, верификация поведения системы по спецификации, спецификация ограничений на время реакции и разделение синтаксиса двух логик.

Для спецификации более сложных темпоральных свойств предложен близкий к ATL синтаксис и определена соответствующая семантика. Для верификации поведения системы по спецификации расширена математическая модель интеллектуального агента [15] для случая нескольких агентов и предложен логический язык спецификации свойств этой математической модели. Для спецификации ограничений на время реакции предложена конструкция подстрочного индекса, аналогично [16]. Для разделения синтаксиса PDL и ATL мы связали формулу PDL с семантикой MASL.

В качестве наиболее интересных направлений дальнейшего развития предложенного подхода мы видим практическую реализацию алгоритмов решения задачи верификации систем по спецификации MASL или адаптацию существующих инструментов верификации для ATL, например, MOCHA [17], а также расширение логики возможностями описания свойств внутренних состояний агентов, что потребует дополнительных модальных операторов для рассуждения о представлениях, желаниях и целях агентов.

Summary

D. Yu. Bugaychenko, I. P. Soloviev. Logical formalism for specification of real-time multi-agent systems.

We present logical formalism for specification of multi-agent real-time systems, which allows us to formalize explicitly the notion of the agent’s action, the nondeterministic method of interaction with environment, the cooperation mechanism of agents, and time constraints on system reaction as well. Introducing new constructions for time constraints description and offering thereby natural formalism for specification of a multi-agent system mathematical model, the method extends capabilities of dynamic logic PDL and alternating-time temporal logic ATL. The model checking problem for the formalism offered is solvable for the polynomial time.

Литература

1. Jenings N., Woldridge M. Multiagent Systems // Intelligent Agents. Massachusetts: MIT Press, 2001.

2. Van Dyke Parunak H. Multiagent Systems // Industrial and Practical Application of DAI. Massachusetts: MIT Press, 2001. P. 377-421.

3. Гаранина Н. О. Верификация распределенных систем с использованием аффинного представления данных, логик знаний и действий: Дис... канд. физ-мат. наук: 28.12.04. РАН, Сиб. отд., Ин-т систем информатики им. А. П. Ершова. Новосибирск, 2004.

4. Emerson E. A. Temporal and modal logic // Handbook of Theoretical Computer Science. Amsterdam: North-Holland Pub. Co., 1990. Vol. B: Formal Models and Sematics. P. 995-1072.

5. Brazier F. M. T., Dunin-Keplicz B. M., Jennings N. R., Treur J. DESIRE: Modelling multiagent systems in a compositional formal framework // International Journal of Cooperative Information Systems. 1997. Vol. 6, no. 1. P. 67-94.

6. Van Riemsdijk B. Agent programming in dribble: from beliefs to goals using plans // Proc. Second International Joint Conf. on Autonomous Agents and Multiagent Systems. New York, 2003. P. 393-400.

7. Pauly M. Logic for Social Software: Ph.D. thesis. University of Amsterdam. Amsterdam,

2001. P. 193.

8. Rajeev A., Henzinger T. A., Kupferman O. Alternating-time temporal logic // Journal of the ACM. 2002. Vol. 49, no. 5. P. 672-713.

9. Van der Hoek W., Woldridge M. Cooperation, knowledge, and time: Alternating-time tem-

poral epistemic logic and its applications // Studia Logica. 2003. Vol. 75, no. 1.

10. Pauly M. Logic for mechanism design — a manifesto // Proc. Workshop on Game Theory and Decision Theory in Agent Systems. New York, 2003. P. 187-195.

11. Agotnes T. On the logic of coalitional games // Proc. Fifth International Joint Conf. on

Autonomous Agents and Multiagent Systems. New York, 2006. P. 153-160.

12. Agotnes T. Temporal qualitative coalitional games // Proc. Fifth International Joint Conf. on Autonomous Agents and Multiagent Systems. New York, 2006. P. 177-184.

13. Sauro L. Reasoning about action and cooperation // Proc. Fifth International Joint Conf. on Autonomous Agents and Multiagent Systems. New York, 2006. P. 185-192.

14. Harel D., Kozen D., Tiuryn J. Dynamic logic // SIGACT News. 2001. Vol. 32, no. 1.

15. Бугайченко Д. Ю., Соловьев И. П. Абстрактная архитектура интеллектуального агента и методы её реализации // Системное программирование. 2005. Т. 1. С. 36-67.

16. Laroussinie F., Schnoebelen P., Turuani M. On the expressivity and complexity of quantitative branching-time temporal logics // Theory of Computer Science. 2003. Vol. 297, no. 1-3. P. 297-315.

17. Alur R., Henzinger T., Mang F. et al. Mocha: Modularity in model checking // Lecture Notes in Computer Sciense. 1998. Vol. 1427. P. 521-525.

Статья поступила в редакцию 12 декабря 2006 г.