CC BY
54
УДК 004.94:004.82
В. В. Девятков
ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ АНАЛИЗ СИТУАЦИЙ НА МНОЖЕСТВЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ
Предложен новый подход к качественным пространственно-временным рассуждениям об отношениях движущихся объектов различной природы в целях анализа ситуаций, возникающих в процессе изменения этих отношений. Рассмотрено развитие аппарата описания допустимых пространственно-временных отношений на различных уровнях абстрагирования и применение этого описания для распознавания возникающих ситуаций. В качестве аппарата описания допустимых пространственно-временных отношений используются иерархически организованные множества нечетких автоматов. Чем выше уровень иерархии автомата, тем выше уровень абстракции отношений, которые он задает, используя отношения, задаваемые автоматами более низкого уровня. Если интересующее нас отношение какого-либо уровня абстракции в интересующее нас время удается распознать, то это может интерпретироваться как распознавание определенной ситуации для принятия каких-либо решений, например управляющих воздействий. Приведены краткий сравнительный анализ известных подходов, принципы предлагаемого подхода, основополагающие методы, принципы его практической реализации и будущего развития.
E-mail: [email protected]
Ключевые слова: распознавание ситуаций, пространственно-временной
анализ, нечеткие автоматы, принятие решений.
Введение. Создание таких информационных систем, как охранные, географические, игровые, бытовые, медицинские, транспортные и многие другие требует развития технологий, которые позволяли бы анализировать сложные пространственно-временные ситуации, возникающие на множестве движущихся объектов.
Первый вопрос, который требует ответа для развития упомянутых технологий, — это какова должна быть модель, задающая пространственно-временные отношения объектов среды и как ее построить? На этот вопрос есть, по крайней мере, четыре ответа.
1. Физическая среда такова, что можно, непосредственно наблюдая за ней, извлечь все необходимые знания для пространственно-временного анализа. Согласно идеям Р.А.Брукса [1-4], интеллектуальное поведение таких сред может быть представлено без явного использования символического представления и дедуктивного вывода, который предлагает ИИ. Интеллектуальность является свойством, присущим таким средам. Следуя подходу, изложенному в работах Р.А. Брукса, это поведение можно представить иерархией взаимосвя-
занных четких конечных автоматов. Если точно известно, какое поведение нас интересует, то принцип построения указанной совокупности автоматов состоит в следующем. Установив наблюдение за средой в начальный момент времени ^ и закончив его в момент времени Ье (в принципе Ье ^ то), строим все автоматы, начиная с простейших. Автоматы более низкого уровня представляют собой более примитивный вид поведения объектов среды (такого, например, как перемещение центра масс объекта в двумерном пространстве) и имеют более высокий приоритет выполнения своих действий по отношению к автоматам более высокого уровня. Автоматы более высокого уровня представляют собой более сложное поведение объектов по сравнению с автоматами нижележащих уровней, используя последние для представления этого поведения (например, динамики изменения расстояния между центрами масс объектов).
2. Физическая среда недоступна для наблюдения и для непосредственного построения автоматов по результатам наблюдения. Но тем не менее мы в состоянии выразить на языке конечных автоматов наши знания о поведении и отношениях объектов среды на основе априорного опыта. Этим языком может быть, например, язык графов переходов или язык пи-исчисления [5], на котором описываются последова-тельностные процессы (по существу те же конечные автоматы) и их взаимодействие.
3. Физическая среда является нечеткой, случайной, имеет большое число признаков и требует учета глубоко структурированных отношений между совокупностями признаков и объектов, однако все еще можно непосредственно наблюдать за ее поведением или достаточно адекватно описывать ее поведение на основе априорных знаний, но на уровне нечетких моделей. В этом случае можно использовать такие модели, как нечеткие конечные автоматы [6] или марковские модели
[7].
4. Если среда такова, что мы можем использовать только фрагментарные знания о среде, то в этом случае приходится использовать модели, основанные на символических представлениях, например модальные исчисления [6, 8], описательные логики [9] и др.
Второй вопрос, требующий ответа, — каким образом использовать указанные модели собственно для анализа. Ответ на этот вопрос зависит от вида моделей.
Такие модели, как конечные автоматы, марковские модели, пи-исчисления, нечеткие автоматы можно использовать для анализа напрямую, подавая на них воздействия реальной или виртуальной среды и получая в ответ реакцию, по которой можно судить о поведении среды и принимать соответствующие решения.
Модели, основанные на символических представлениях (логических исчислениях), требуют организации процедур дедуктивного вывода со всеми вытекающими отсюда последствиями, а также процедур извлечения знаний о среде, оценки сложности вычислений и многих других.
Настоящая статья следует парадигме Р.А. Брукса о формировании модели среды в виде иерархии взаимосвязанных конечных автоматов, представляющих отношения между объектами среды. Эти автоматы используют для анализа поведения среды напрямую, подавая на них воздействия реальной или виртуальной среды и получая в ответ реакцию, по которой можно судить о поведении среды и принимать соответствующие решения.
Основная идея настоящей работы состоит в том, что, начиная с некоторого начального 0-го уровня, выделяется множество объектов и их атомарных признаков. Признаки используются для синтеза автоматов 0-го уровня. Функция выходов каждого автомата 0-го уровня определяет значение только одного признака 0-го уровня в один момент времени. При использовании автоматов 0-го уровня создаются автоматы 1-го уровня, задающие отношения между признаками 0-го уровня. Каждый автомат 1-го уровня задает отношения между одним и тем же множеством признаков 0-го уровня. Функция выходов каждого автомата второго уровня определяет значение только одного отношения признаков 0-го уровня в один момент времени. Каждый автомат последующего уровня u задает отношения между одним и тем же множеством признаков уровней u' < u. Функция выходов каждого автомата уровня u определяет значение только одного отношения признаков уровня u' < u в один момент времени.
Введем некоторые понятия и обозначения. Установим дискретную шкалу виртуальных моментов времени T = {t| t Е N}, такую, что разность At = ti+1 — ti между двумя соседними отсчетами времени является константой. Определим на шкале T временной интервал
[ts, te] = {t| ts < t < te}.
Предположим, что каждый признак 0-го уровня какого-либо объекта в в момент времени t может принимать значение yio(#i),io Е Е {1,..., m0}, которое назовем отсчетом. Кортеж отсчетов
Yi0 [ets Ae] = (yio (ets yi0 (ete)) , «0 Е O^.. m0} ОДног° при-
знака 0-го уровня в течение нескольких подряд идущих моментов времени ts,...,te (в течение временного интервала [ts,te]) назовем трендом. Множество отсчетов K(et) = {y1 (et),..., ymo(et)}, принадлежащих m1 различным трендам в момент времени t назовем срезом. Кортеж срезов ^(в) = (K(ets),..., K(ete)) назовем потоком срезов. Совокупность трендов А(в) = {Y [в^ ] [ви в] ,...,Yno [вг3 Ае]} назовем потоком трендов.
Будем полагать, что каждое отношение в уровня и > 1 объектов множества ,..., 01}, задаваемое на множестве признаков уровня
V < и, может принимать множество значений у,и (64), ги <Е{ 1 ,...,ти}, называемых признаками уровня и или макроотсчетами. Макротрендом будем называть кортеж У1и [0*., ©¿е ] = (у1и (0*.),..., у1и (В4е )>, ги £ {1,..., ти}, макросрезом — множество К(0*) = {у1(04),... ..., ути(0*)}. Макропотоком макросрезов будем называть кортеж ^(0) = {К(0*.),..., К(0*е)>, макропотоком макротрендов — множество А(0) = {У1 [0*., 04е] ,У2 [0*., 0*е] [0*., 0*е]}.
В первой части настоящей работы рассматриваются пространственные качественные отношения объектов на срезах (статические отношения) и пространственные качественные отношения объектов на трендах (динамические отношения), а также на потоках трендов и потоках срезов, представляемые четкими конечными автоматами.
Во второй части работы рассматриваются статические, динамические и пространственные качественные отношения, представляемые нечеткими конечными автоматами.
Ориентация работы на качественные отношения объясняется тем, что это позволяет:
• в естественной для человека манере воспринимать мир на интуитивном уровне [10], что особенно полезно при интеллектуальном интерфейсе человека с компьютером;
• рассуждать в условиях, когда количественные признаки виртуальных объектов не требуются или невозможны [11].
Качественным пространственным представлениям в последнее десятилетие уделялось много внимания. Известны обзоры на эту тему [12]. Было развито много пространственных исчислений, использующих топологические [13] или позиционные [14] рассуждения, а также рассуждения на интервалах [15]. Известны программные реализации этих методов пространственных рассуждений [16]. Работ, учитывающих одновременно как пространственные, так и временные изменения сравнительно немного [17-19]; в отличие от настоящей работы, методологически они проработаны недостаточно глубоко и используют, как правило, четкое представление отношений.
Отношения на макросрезах. Рассмотрим, например, двумерное декартово пространство — кадр /¿(V, W), формируемый цифровой видеокамерой в момент времени £ и имеющий число пикселей V и W соответственно по горизонтали и вертикали. Общее число пикселей в кадре JÍ(V, W) равно V х W .В качестве начала координат примем левый нижний угол кадра. Пронумеруем пиксели по вертикали и горизонтали соответственно от 1 до V и от 1 до W. Множество пикселей кадра /¿(V, W), очерчивающих интересующий нас объект 0,
обычно называется областью интересов. В принципе, область интересов может быть прямоугольной, эллиптической, круглой или какой-либо иной. Обозначим ОДХ, У) прямоугольную область интересов, захватываемую в кадре It(У,W) в момент времени £ и содержащую множество пикселей X по вертикали и У по горизонтали. Общее число пикселей в области интересов ОДХ, У) равно |Х| х |У|. Отдельный пиксель в кадре обозначим ад), V е{1 , ...,У}, ад £{1,...,W}, а в области интересов — ОДх, у). Признаками объекта в могут быть, например, геометрические параметры этого объекта; координаты центра масс, площадь области интереса, длины ее диагоналей и т.п.
Для понимания сути предлагаемого подхода ограничимся отношениями в = {в*,в2} на множестве двух объектов в^,в|. Каждый объект имеет соответственно признаки 0-го уровня: уц(в1) = х^(^),У12(в^) =
= Уо1(4),У13(в1) = а1, У21(в?) = х0(^ У22(в?) = Уо(4), У23(в2) = обозначающие соответственно координаты центров масс объектов в глобальной системе координат х0,У0 с центром, находящимся в левом нижнем угле кадра, и углы поворота по часовой стрелке осей абсцисс локальных систем координат объектов (начало локальной системы координат совпадает с центром масс объекта) относительно оси ж0. Центры масс объектов в^ ,в| будем обозначать черными кружками (рис. 1).
Рис. 1. Объекты и признаки объектов в срезе
Рис. 2. Отношение расстояния маленькое
Используя признаки 0-го уровня в качестве исходных, зададим отношения 1-го уровня между объектами Примерами таких отношений являются отношения расстояния, ориентации и направления движения (рис. 2-4).
Расстояние обозначим жирной штриховой прямой между центрами масс, ориентацию — жирными векторами с двойной стрелкой, направление которых совпадает с осями абсцисс локальных систем координат объектов, направление движения объектов изобразим жирным вектором с одинарной стрелкой. Расстояние, как правило, является симметричным отношением и вычисляется как декартово расстояние между центрами масс. Для качественных рассуждений обычно вводится несколько качественных отношений расстояния, например: маленькое(б^б^), среднее(в], б|), большое^^б!). Пример маленького расстояния приведен на рис. 2.
Направление движения объектов относительно друг друга может быть задано как симметричным, так и несимметричным отношением. Аналогично отношению расстояния введем несколько качественных отношений направления, например, симметричные отношения совпадающие(в],вб[,),расходящиеся^1,б|,), противоположные^1 ,в2). Пример отношения направления совпадающие приведен на рис. 3.
Отношение ориентации, как правило, не является симметричным; например, для качественных рассуждений могут быть введены качественные отношения справа((б\,вб2), слева((б\,вб2), сзади^1^), спереди^1, б|). Пример отношений сзади приведен на рис.4.
Отношения, которые приведены на рис. 2-4, выделены жирным шрифтом и увеличены. Если эти отношения считать макроотсчетами, то их совокупность можно представить макросрезом К(©£) = = К(в^в2) = {маленькое(6^,6'^), совпадающие(6^,92), сзади^,92), сзади^1,^)}. В общем случае отношения на макросрезе К(6^,6^) между макроотсчетами могут быть различными и описанными на разных языках. Например, если все макроотсчеты данного макросреза рассматривать как предикаты, которые истинны или ложны, то отношение между ними может быть выражено формулами логики предикатов первого порядка. Так, если в момент времени £ все предикаты маленькое(в]-,6в2), совпадающие^ ,622), сзади(6^,62:), сзади(6'1,6^,) истинны, то это означает истинность формулы Ф (6\ ,6б2)= малень-кое(в1,в2) Л совпадающие(б1,62) Л сзади(61,62) Л сзади(в2,в1).
Отношения на макротрендах. На рис. 5-7 показаны соответственно примеры отношений расстояния, ориентации и направления в моменты времени £ + Д£, £ + 2Д£ (на интервале [£, £ + 2Д£]). Объекты, координаты центров масс, углы между осями на рисунках индексированы соответствующими моментами времени. Качественные признаки не индексированы, но те из них, которые имеют место на соответствующем рисунке, выделены жирным. Используя введенные термины, можем говорить, что рис. 5 представляет макротренд
У расстояние [©^ ©4+2Д4]
= (.маленькое(©г), среднее (©¿+дД большое(©^2Аг)), где Qt = {61,62}, £ € М + 2Д£].
Рис. 5. Макротренд У расстояние [©t, ©t+2At]
Рис. 6. Макротренд Уориемтация[©t, ©t+2At]
Рис. 7. Макротренд Унаправлемие [©t, ©t+2At]
Точно также рис. 6 и 7 представляют макротренды:
YГориентация^t, ©t+2At]
= (сзади(в] ,в?)
et+At
), справа(в^+2 At, ), справа(е1+2Аи
= (сзади(в] ,62t), сзади^^б]), справа(в^,62+А^, 2 t t 2 2
"направление]®I,
= (совпадающие® ) расходящиеся(®1+м ),противоположные(^+2Аъ))
Отношения на макротрендах являются временными. Если, как и для случая макросрезов, макроотсчеты данного макротренда рассматривать как предикаты, которые истинны или ложны, то отношение между ними также может быть выражено формулами логики предикатов первого порядка. Например, если полагать, что все предика-
ты сзади(6],66), сзади(61,6\), справа(6^+Аь,6^+Аь), сзади(6^,6^)
спрат(61+2Аг Д+бдД сnPава(62+2Дí,6í1+2Дí), соответствуюЩие макротренду Уориентация[©ь, ©], истинны в соответствующие моменты времени, то это означает истинность, например, следующей формулы:
Ф ориентация[©Ь, © 4+2Д*] = [((сзади^ Д2) Л сзади^ Д1)) Э ((сПрава(61+ЫЬЛ+Д4) Л сзади(61+М,61+Д4))] Э
(справа(61+ 2ДÍ,62+2Д4) Л справа(62+2Дг,
Существует достаточно много подходов к формулировке и вычислению причинно-следственных отношений во времени. Один из таких подходов основан на отношениях временных интервалов. В соответствии с работой [11] существует 13 бинарных временных отношений между двумя временными интервалами, заданными на дискретной шкале времени. На рис. 8 показаны эти отношения между интервалами а = [¿^, £еа], Ь = [£вь, £еь]. Интервалы здесь изображаются прямоугольниками, а моменты времени — крестиками. Помимо качественных отношений на интервалах могут быть заданы и количественные отношения типа ^ ^ С + 2Д£, но в настоящей работе ограничимся рассмотрением только качественных отношений.
Каждый тренд определен на временном интервале, и поэтому указанные отношения могут использоваться и для трендов, если а и Ь считать трендами. Используя рассмотренные отношения на интервалах, строят исчисления [11], различия между которыми в практическом смысле связаны с областями их применения.
Помимо временной оси тренды также содержат и значения признаков, соответствующие определенным моментам времени. Например, рассмотренные тренды можно представить в виде, как на рис. 8.
а ~ [С. ] Ь~ С ]
а перед Ь ...........г— ■
Ь после а х ......* 1Л 2 I " '
, ........../........... ^
а равен о х х ЗГ5Й х х *■ (
X х |—х—*■ (
а предшествует Ь b п[кд шествует ся а *
XI
а перекрывает Ь у_•у-уда у|_у_у_► *
Ь перекрывается а ...]■?■......^ I '
Ь содержит а х И* х х \ * *"'
а начинает Ь _ ....■■..»..■■.. _ ,
Ь начинается а * х Е5____________1
, а заканчивает b у iv гу—— b закапчивается а * *
X "i х *■ t
Рис. 8. Отношения временных интервалов
Рис. 9. Макротренды Урасстояние[©1» ©о], Уориемтация[©1) ©9], Унапрааление [©1» ©9]. Знаки х и • по оси абсцисс — момент времени, а по оси ординат — отсчет (отношение)
На рис. 8, 9 (и далее) крестикам и точкам в узлах сетки на оси ординат соответствует отсчет, а на оси абсцисс — момент времени, соответствующий этому отсчету.
На тренде Урасстояние[©1, ©9] видно, что отсчет после интервала [1, 2] изменился с значения среднее в последний момент времени этого интервала на значение большое в первый момент времени интервала [3, 9], которое сохранялось во все моменты времени интервала [3, 9].
На тренде "ориентации]® 1, ©9] видно, что отсчеты после интервала [1, 2] изменились с значений сзади и справа в последний момент времени этого интервала на значения спереди и справа в первый момент времени интервала [3, 9], которые сохранялись во все моменты времени интервала [3, 9].
На тренде "направление]© 1, ©9] — отсчет после интервала [1,2] изменился с значения расходящиеся в последний момент времени этого интервала на значение совпадающие в первый момент времени интервала [3, 9], которое сохранялось во все моменты времени интервала
[3, 9].
Разобьем интервал [¿1, 19] каждого макротренда (см. рис. 8) на подынтервалы, имеющие одинаковые наборы значений макроотсчетов. В результате получим рис. 9, где каждый интервал изображен прямоугольником, включающим в себя соответствующие макроотсчеты. В
результате выделения интервалов, показанных на рис. 9, макротренды
"расстояние [©1, ©9], "ориентация [©1, ©9], "направление [©Ь ©9] можно представить как объединения соответствующих макротрендов, имеющих одинаковые макроотсчеты, т.е.
"расстояние [© t, ©9]
"расстояние [©t, ©t] U "расстояние
[©2, ©2] U "расстояние [©3j ©9]
"ориентация[© t j ©9]
= "о
ориентация
[©t, ©t] U "о
ориентация
[©2, ©2] U "о
ориентация
[©з, ©9];
"н
направление
[©t, ©9]=
"на
,[©t, ©t] U "на
г [©2, ©2] U "на
,[©3, ©9].
- направление 1) ^ ± направление 2; ^2] ^ ± направление [
Разбиение макротрендов на интервалы, как это показано на рис. 10, позволяет ввести интервальные отношения на макротрендах.
Отношения на макротрендах и макросрезах. Разобьем интервал [©1, ©9] на рис. 10 на подынтервалы, имеющие одинаковые наборы значений макросрезов на всех трендах. Получим рис. 11, где на каждом интервале задан поток одинаковых макросрезов, изображенных прямоугольником. В результате выделения таких потоков оди-
Рис. 10. Макротренды с участками одинаковых макроотсчетов
"расстояние[©1» ©9]? "ориентация[©1» ©9]5 "направление[©1» ©9]
Расстояние
большое среднее маленькое
слева
спереди
сзади
Направление
совпадающее расходящиеся противоположные
f •и- st * / ч t ч f ч / ч t
л / Ч ? ч ? ч Ч } ч л
Ч
) Ч
0 я А 1 2 3 4 5 6 7 8 9
4 / ч / V / N / Ч t V
t / ч Ч / ч Ч ? ч /ч
f \ i
т
0 А 1 2 3 4 5 6 7 8 9 —*■
S (
ч /
/ Ч у Ч f ч / V ( \ е ч t V
Л / ч ч * ч / Ч 4 ч л
Рис. 11. Одинаковые макросрезы на макротрендах
^расстояние,ориентация,направление [Ö 1 > ÖQ]
наковых макросрезов совокупность макротрендов Урасстояние[©1, ©9], Yo
нение потоков макросрезов, т.е.
ориентация [©1, ©9], Yнаправление [©1, ©9] можно представить как объеди-
У
расстояние,ориентация,направление
[©1, ©9] =
Урасстoяние,oриентация,направление[©1, ©1 ]U
и У
^ 1 расстояние,ориентация,направление [
U Урасстояние,ориентация,направление [
,[©2, ©2]и
,[©3, ©9].
Разбиение макротрендов на интервалы с одинаковыми макросрезами так, как это показано на рис. 11, также позволяет представить
отношение Урасстояние,ориентация,направление [©1, ©9] ДЛЯ макротренда с использованием интервального отношения предшествует.
Введя все необходимые, на наш взгляд, понятия можно сформулировать главные вопросы, на которые, используя введенные понятия, будут даны ответы.
• Какова должна быть модель, адекватно представляющая пространственно-временные отношения объектов реального мира, требуемая для распознавания возникающих в этом мире ситуаций?
• Каковы должны быть процедуры распознавания этих ситуаций?
Иерархическая модель четких конечных автоматов. Представим макротренд У©, ©ье] = (уг(©ь3),...,уг(©ге)) конечным автома-
том Ыг [©^, ©¿е] следующим образом. Начальным внутренним состоянием автомата будем считать состояние ). Функциями переходов / и выходов р конечного автомата Ыг[©^, ©te ] будем считать
/ [г, Ьг(©4)] = Ьг(©^д), г е [г3,ге - А];
Р[Ьг(©*)]= Уг(©ь).
Таким образом, вся информация о трендах и макротрендах, срезах и макросрезах может быть представлена иерархией конечных автоматов, начиная от автоматов, представляющих собой тренды признаков первого уровня и заканчивая автоматами, представляющими макротренды признаков самого верхнего уровня. Автоматы, представляющие признаки уровня и, будем называть автоматами уровня и. В случае необходимости указания уровня автомата Ыг[©^, ©¿е] автомат будем записывать как ЫЦ[©^, ©te ]. Если представить автоматы графами переходов, то для рассмотренного примера будем иметь
два уровня автоматов (рис. 12): Ы1
M1
направление
©, ©te ] и M
расстояние
[©t , ©t ],MO
L bs* bei* Ol
2
расстояние, ориентация, направление L
[©ts , ©te],
[©ts, ©te]• Построе-
ориентация
ние автоматов начинается с первого уровня по трендам отсчетов первого уровня. Каждый автомат некоторого уровня и > 0 представляет собой динамику изменения отношений между отношениями, представляемыми автоматами предыдущих уровней. Будем полагать, что все автоматы ЫЦ одного и того же уровня уровня и = 0,... проиндексированы от 1 до 1и, т.е. каждый автомат ЫЦ имеет уникальный номер ки е{1,...,/ц}.
Источником трендов является либо эксперт, либо реальная физическая среда (мир), либо их комбинация. Поведение этих миров может описываться и непосредственно четкими конечными автоматами,
Рис. 12. Автоматы М
^направление [©4,» ©4е]5 Мрасстояние, ориентация, направление [©4,» ©4
расстояние
[öt., öt. ], M
ориентация
минуя этап выделения отдельных трендов. Эти вопросы выходят за рамки настоящей работы, тем более что им посвящено огромное число работ по конечным автоматам.
Сущность метода распознавания отношений, использующего четкие автоматы, состоит в следующем. Построим заранее все необходимые четкие автоматы М« [©^, ©4е ],к« = 1,...,/« по трендам
^ [©^ , ©4е] = (Уги (©^ ^-^¿г« (©4е)) И« € {1,...,mtt}, задающим подлежащие распознаванию пространственно-временные отношения в среде между совокупностями объектов ©. Эти отношения будем назвать эталонными. Для распознавания реальных ситуаций установим все автоматы М« [©^, ©4е ], к« = 1,...,/«, в начальное состояние, соответствующее моменту времени После этого будем подавать на них синхронно временные метки (моменты времени) интервала [£в,£е], вычисляя с помощью функций переходов и выходов f [£,Ьг(©^)] = ЬД©4+д), £ € [^Л - Д], ^[Ь(©4)] = ¿¿(©*), эталонные отношения ¿¿(©4). Будем сравнивать эталонные отношения с наблюдаемыми отношениями ¿¿(©4), где ©4 — наблюдаемые объекты, каждому из которых взаимно-однозначно соответствует эталонный объект множества ©4. Если окажется, что для всех £ € [£в,£е] имеет место ¿¿(©4) = ¿¿(©4), то считается, что пространственно-временное отношение между объектами кортежа ©^,..., ©^, задаваемое автоматами М« ©, ©¿е], к« = 1,...,/«, распознано.
Если ввести характеристическую функцию
[ 1, если Уг(©4) = Уг(©*), то пространственно-временное отношение между объектами кортежа <^© ^ ,...,© ^, задаваемое автоматом М« ©, ©^ ], к« = 1,...,/«, распознано, если значение характеристической функции х(Уг(©4),Уг(©4)) равно единице для всех £ € [£в,£е]. В противном случае характеристическая функция будет равна нулю хотя бы для одного £ € [£в,£е].
Иерархическая модель нечетких конечных автоматов. Фаззи-фицируем автомат М« [©^, ©4е] следующим образом. Каждому отношению ¿¿(©4) сопоставим упорядоченное множество 1/;(©4) отношений у/г(©г), характеризующих совокупность объектов © в момент времени Зададим функцию принадлежности ^ = ^ [¿/¿(©4)] на множестве 1/г(©4). Пару (^р[¿/¿(©О],^¿(©¿)) будем называть нечетким отношением. Функция принадлежности задается экспертом или получается в результате обработки экспериментальных данных. Последовательность ^[©^, ©4е] = ^¿(©^),..., ^¿(©^будем называть нечет-
ким макротрендом. Функциями переходов f и выходов ^ нечеткого конечного автомата MUu [0ts, 0te] будем считать следующие функции:
f [t, bi(0i)] = bi(0i+A), t e [is + A, te - A];
f[te ] = bi (0ts);
^[b»(0t)]= (y(0t)), Yi(0t)].
Четкий автомат является частным случаем нечеткого и отличается от него только функцией выходов. В случае четкого автомата функция выходов возвращает значение макроотсчета, а в случае нечеткого — нечеткое отношение (множество макроотсчетов и функцию принадлежности, заданную на нем). Сущность метода распознавания отношений, использующего нечеткие конечные автоматы, состоит в следующем. Построим заранее все необходимые нечеткие автоматы MUu[0is, 0te]
по эталонным трендам Y[0ts, 0ie ] = <^Y(0io ),...,Yi(0ie , задающим подлежащие распознаванию пространственно-временные нечеткие эталонные отношения между совокупностями объектов 0. Установим все автоматы в начальное состояние, соответствующее моменту времени ts, и начнем подавать на все автоматы MUu [0ts, 0te] синхронно временные метки (моменты времени) интервала [ts,te], вычисляя с помощью функций переходов и выходов нечеткие отношения [?/i(0i)], Yi(0t)). Если окажется, что для всех t e [ts,te] отсчет Уг(<Эt) e Yi(0t), где 0t — наблюдаемые отношения такие, что 0t = 0t, то считается, что пространственно-временное отношение между отношениями кортежа <^0ts,..., 0te^, задаваемое автоматом MUu [0ts, 0te],
распознано. Значение функции принадлежности ^ [У/г(01)] при этом характеризует степень принадлежности отчета / (01) множеству отсчетов Yi(0t).
Распознавание сложных динамических ситуаций на основе агрегирования нечетких конечных автоматов. Любой автомат MUu уровня u ^ 1 задает пространственно-временные отношения между отношениями уровня u — 1. Таким образом, уровни автоматов используются для представления иерархии отношений. Автомат MUu любого уровня, отношения которого не используются для задания отношений более высокого уровня автоматами более высокого уровня, назовем финальным. Кликой KU финального автомата MU назовем множе-
J- ku А kku
ство подмножеств нечетких автоматов KUu , ...,K0o, e {1,...,1}, уровней u ^ 0, получаемое, начиная с финального автомата MUu, в соответствии со следующим алгоритмом:
1. Принимаем К« = {М«}. Если и = 0, то принимаем К« = К« и переходим к п. 3. В противном случае принимаем V = и. Принимаем V = V — 1 и переходим к п. 2.
2. Для каждого автомата М^ € К получаем множество К—1 автоматов, используемых для представления отношений, участвующих в
отношения
построении этого автомата М^ € К, т.е. К-1 = {М^ автомата М^—1 участвуют в построении МV }. Если V — 1 = 0, то
К« = К«—1 и К«-2 и ... и К0О и переходим к п.3. В противном случае принимаем V = V — 1 и переходим к п. 2. 3. Конец построения клики К« Пример клики К« финального автомата М« показан на рис. 13 (кружки обозначают автоматы). Стрелки указывают направление от автоматов более низкого уровня к автоматам более высокого уровня, отношения которых строятся на основе отношений, представляемых автоматами, соединенными с ними входящими стрелками.
Каждая клика К«, к« € {1,..., /«} задает совокупные динамические отношения объектов среды. Эта клика создается заранее пу-
Рис. 13. Пример клики Ки финального графа Ми
M
Рис. 14. Клика финального автомата
расстояние, ориентация, направление
[©t., ©t
тем наблюдения за средой или экспертом. Задача пространственно-временного распознавания динамических ситуаций может рассматриваться как задача распознавания на кликах, т.е. в общем случае надо ответить на вопрос, какая из клик соответствует ситуации в реальной среде. На рис. 14 представлена клика финального автомата
Мрасстояние, ориентация, направление [©^, ©¿е] (см. рис. 12).
Сущность метода распознавания динамических ситуаций на кликах состоит в следующем. Имеем множество отношений объектов |£ € [¿^¿е], ки €{1,...,/и}, и € {1,..., Л}} и множество клик Ки (здесь Л — максимальное число уровней), построенное по множе-
A
= {Yku №, ©tu ]
ku
e
ству потоков макротрендов Аи — [©^ , ©е
€ {1,...,/и}},и € {1,..., Л}}, где ^ [©£, ©Iй ] — <Уки (©£),... ..., уки (©^еи )). Выполним процедуру распознавания:
1. Установить £ — ¿3. Перейти к п. 2.
2. Наблюдая за поведением среды, вычислить для всех наблюдаемых отношений объектов ©^, ки € {1,...,/и},и € {0,..., Л}, макросрезы {у(©|),..., у(<Э\и)}. Подать на каждый автомат МГ^,
ku — 11
u — 0,..., R, входное воздействие t; вычислить,
используя функции переходов, состояния Ь(©к и) и значения функций выходов #(©ки)] — [^(у(©ки)), у (©ки)].
3. Если £ — ¿е, то перейти к п. 4. В противном случае установить £ — £ + Д£ и перейти к п. 2.
4. Если окажется, что существуют финальные автоматы М^ такие, что для всех £ € [£в,£е] и всех автоматов клики Киу(©г) € У(©г), где © 4 — наблюдаемые объекты, отношения которых такие, что © г — ©4, то считается, что пространственно-временное отношение между отношениями кортежей ^,..., ©, задаваемое автоматами клики К^ на интервале [^, £е], распознано.
5. Вычислить степень уверенности [20] распознавания ситуации с помощью клики КЦ , используя один из операторов агрегирования (например, оператор Шоке или Сугено [21]) значений функций принадлежности [уг(©¿)] для всех г е [гв,ге] и всех автоматов клики
К.
Пример. Рассмотрим автомобильную дорогу, содержащую три полосы движения в одну сторону: левую, среднюю и правую, а также разделительную полосу и обочину. За обстановкой на дороге наблюдает видеокамера, позволяющая захватить зону наблюдения — все полосы движения, разделительную полосу и обочину на определенном участке. Автомобили могут двигаться вдоль полос движения, по разделительной полосе и обочине с различной скоростью. Они также могут перемещаться поперек полос в процессе перестроения. Расстояние между автомобилями может быть различным.
Число опасных ситуаций, которые могут возникать на дороге, велико. Покажем, как предлагаемый в работе подход может быть использован для описания и выявления группы однотипных опасных ситуаций. Ограничимся только опасными ситуациями, источником которых являются пары автомобилей, движущихся по одной полосе непосредственно друг за другом. Опасная ситуация возникает тогда, когда автомобиль, двигающийся непосредственно сзади в той же полосе, что и двигающийся впереди, нагоняет последний и расстояние между ними в некоторый момент времени становится настолько малым, что столкновение в следующий момент времени становится неизбежным. Опишем эту группу опасных ситуаций для пары автомобилей б^б2, находящихся в зоне наблюдения, где б1 — автомобиль, двигающийся непосредственно за автомобилем б2. Будем полагать, что интервал времени, в течение которого осуществляется наблюдение, содержит три таких момента времени. После этого начинается новый цикл анализа опасной ситуации, т.е. отсчеты времени повторяются.
Для простоты предполагаем, что наблюдение осуществляется в плоскости глобальных координат X, У. Центр глобальной системы координат находится в левом нижнем углу наблюдаемого прямоугольного участка дороги. Ось X расположена вдоль полос движения (параллельно полосам), а ось У — поперек полос (перпендикулярно полосам). Для анализа описанной опасной ситуации введем на временном интервале [1,3] четыре тренда. Эти тренды и соответствующие значениям отношений нечеткие множества показаны на рис. 15-22.
На рис. 15 показан макротренд Урасстояние [©1, ©3], задающий изменение во времени значений отношения расстояние. В данном примере отношение расстояние может принимать значения опасное, близкое, допустимое, комфортное, безопасное. Нечеткие множества, соответ-
Рис. 15. Макротренд У расстояние[öl, Ö3]
omatoe близкое допустимое комфортное безопасное
W4X
расстояние (м):х -х
20 40 60
ао юо
Рис. 16. Нечеткие множества, соответствующие значениям отношения расстояние
t
Рис. 17. Макротренд Уориентация[©1, ©в]
ствующие этим значениям, показаны на рис. 16. Универсумом этих нечетких множеств является расстояние в метрах между автомобилями.
На рис. 17 показан макротренд Уориентация[© 1, © з], задающий изменение во времени значений отношения ориентация. В данном примере отношение ориентация может принимать те же значения, что и в рассмотренном ранее: спереди, справа, сзади, слева. Нечеткие множества, соответствующие этим значениям, показаны на рис. 18. Универсумом этих нечетких множеств является абсолютное значение разности углов а (между осью абсцисс глобальной системы координат и осью абсцисс локальной системы координат) и в (между осью абсцисс глобальной системы координат и отрезком, соединяющим центры масс автомобилей б1, б2). Углы откладываются по часовой стрелке.
На рис.19 показан макротренд Уполоса[© 1, © 3], задающий изменение во времени значений отношения полоса. В данном примере отношение полоса может принимать значения обочина, правая, левая,
/ .......1. Спереди (Tifjfjefl спади Слева
'...... 1 1 /\ |> 1 1 ' 1 ^WN 1 1 1 1 1 'MMl\)
90
180
ориентация (градусы): flctß \)
Рис. 18. Нечеткие множества, соответствующие значениям отношения
ориентация
Рис. 19. Макротренд Уполоса [©1, ©з]
0 2 4 6 8 10 12 14 16 Рис. 20. Нечеткие множества, соответствующие значениям отношения полоса
средняя, разделительная. Нечеткие множества, соответствующие этим значениям, показаны на рис. 20. Универсумом этих нечетких множеств является координаты у центра масс автомобиля в глобальной системе координат.
На рис. 21 показан макротренд Упуть[©1, ©з], задающий изменение во времени значений отношения путь. В данном примере отношение путь может принимать значения перед, предшествует, перекрывает, внутри, начинает, заканчивает, равен. Нечеткие множества, соответствующие этим значениям показаны на рис. 22. Универсумом этих нечетких множеств является разница координат центров масс автомобиля в1 и автомобиля в2 глобальной системы координат.
Используя ранее введенные понятия, зададим нечеткие автоматы
[©1, ©3], Ориентация [© 1, ©з], М^©!, ©з], М^©!, ©з], представляющие макротренды расстояния, ориентации, полосы и пу-
и финЭЛьный нечеткий автомат Щиентация.расстояние, полоса, путь [© 1, ©3],
представляющий собой совокупный макротренд. Все автоматы представлены на рис. 23.
Мрасстояние расстояние
Рис. 21. Макротренд Ущть [вь ва]
внутри
начинает
заканчивает
1 равен перекрывает перед
—I—I—I— —i—i—i—i—i—i—i—i— ИрёдшёсгЩЩ ........ h путь (м): х- х -\—i—i—i—i—i—i—i-
1—I—I—I—I—I—I—I—I—I—I—I——I—I—I—I—I—I—I—I— Iii I I I I I Iii—I—^ -100 0 100 200
Рис. 22. Нечеткое множество, соответствующие значениям отношения путь
Универсум для совокупного отношения ориентации, расстояния, полосы и пути — это наборы этих отношений, показанные на рис. 23
автомата Щиентациярасстояние, полоса, путь® 1, ©Э^ а фУнкЦия принадлежности для них находится агрегированием отдельных функций принадлежности для отношений ориентации, расстояния, полосы и пути (например, так, как это делается в работе [21]).
Заключение. Представлен новый подход к пространственно-временным рассуждениям в целях распознавания ситуаций, возникающих в процессе динамического изменения отношений между объектами какой-либо среды. Пространственно-временные отношения задаются иерархически организованными совокупностями четких или нечетких конечных автоматов. Эти совокупности автоматов используются для вычисления пространственно-временных отношений. Результаты экспериментов показали, что предлагаемый метод надежно работает при распознавании различных ситуаций, требует сравнительно малых затрат ресурсов времени и памяти, позволяет достаточно естественно, а главное, без длительного периода обучения описывать иерархию нечетких пространственно-временных отношений.
Многое еще предстоит сделать как в теоретическом, так прикладном плане. Вот только некоторые из задач, которые предстоит рассмотреть.
• В настоящей работе рассматривались только автоматы, для построения которых использовались линейные тренды (время в этих
Рис. 23. Нечеткие автоматы Мр,асстояние
[©i, ©a], Mil,
ориентация
МПолоса[©i, ©a], МПуть[©i, ©a], M2
ориентация,расстояние, полоса, путь
[©1, ©a], [©1, ©a]
трендах линейно). Для многих сред это может быть неадекватно и неудобно, может оказаться, что нелинейные (ветвящиеся тренды) более адекватно описывают среду. Автоматы в этом случае могут быть недетерминированными, потребуется модификация предложенного метода как в части построения автоматов, так и в части их использования.
• Любой автомат может быть представлен не только в форме графа, но и в виде множества правил или уравнений специального вида. Это потребует модификации предложенного метода применительно к такому представлению.
• В настоящей работе использован так называемый монотонный вывод, предполагающий, что автоматы остаются неизменными в процессе распознавания, а следовательно, остаются неизменными и все допустимые отношения, определяемые этими автоматами. Для многих сред монотонный вывод неадекватен. Отношения со временем могут изменяться. Это также требует модификации предложенного метода.
• Автоматное представление пространственно-временных отношений требует разработки визуальных средств интеллектуального интерфейса как для задания автоматов, так и для интерпретации для пользователя результатов распознавания.
• Наконец, конкретные среды имеют свои особенности. Требуется учет этих особенностей и разработка автоматных библиотек
пространственно-временных отношений, которые могут быть использованы разработчиками как типовые.
СПИСОК ЛИТЕРАТУРЫ
1. Brooks R. A. Elephants don't play chess. In designing autonomous agents (Ed. P. Maes),. MIT Press, Cambridge. - 1990. MA. P. 3-15.
2. Brooks R. A. Intelligence without reason // Proc. of the 12th International Joint Conference on Artificial Intelligence (IJCAI-91), Sydney, Australia. - 1991. - P. 569595.
3. Brooks R. A. Intelligence without representation // Artificial Intelligence. - 1991, 47.-P. 139-159.
4. B r o o k s R. A. Cambrian intelligence. - MIT Press, Cambridge, MA.,1999.
5. M i l n e r R. Communicating and mobile systems: The pi-calculus. - Cambridge University Press, 1999.
6. Девятков В. В., Р у м б е ш т В. В. Динамическое прогнозирование и распознавание ситуаций на основе аппарата нечеткой логики и конечно-автоматной модели представления временных последовательностей // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. - 1995. - № 1. - С. 66-74.
7. Devyatkov V. V. Multiagent hierarchical recognition on the basis of fuzzy situation calculus // Vestnik (Journal of the Bauman Moscow State Technical University), Natural Science & Engineering. - 2005. - P. 130-153.
8. C h u a S. L., M a r s l a n d S., G u e s g e n H. W. Spatio-Temporal and context reasoning in smart homes // Workshop proceedings Spatial and Temporal Reasoning for Ambient Intelligence. Systems International Conference on Spatial Information Theory (COSIT 2009), Aber Wrac'h, France, September 21, pp. 9-20, 2009.
9. Baader F., McGuinness D. L., Deborah L., Nardi D., Patel-SchneiderP. F. The description logic handbook. Theory, implementation, and applications. - Cambridge University Press, Cambridge, UK, 2003.
10. C l e m e n t i n i E., F e l i c e P. D., H e r n a n d e z D. Qualitative representation of positional information // Articial Intelligence, 95(2):317-356, 1997.
11. Allen J. F. Maintaining knowledge about temporal intervals // Communications of the ACM, 26(11), pp. 832-843, 1983.
12. C o h n A. G., H a z a r i k a S. M. Qualitative spatial representation and reasoning: An overview. Fundamenta Informaticae, 46(1-2), pp.1-29, 2001.
13. C o h n A. G., Bennett B., G o o d a y J., G o 11 s N. M. Representing and reasoning with qualitative spatial relations about regions. In Spatial and Temporal Reasoning, pages 97-134. Kluwer Academic Publishers, 1997.
14. F r e k s a C. Using orientation information for qualitative spatial reasoning // International Conference GIS - From Space to Territory: Theories and Methods of Spatio-Temporal Reasoning, Pisa, Italy, September 21-23, 1992, volume 639 of LNCS, pages 162-178. Springer, 1992.
15. Allen F. Maintaining knowledge about temporal intervals // Communications of the ACM,26(11):832{843, 1983.
16. D y 11 a F., F r o m m b e r g e r L., W a ll g r u n J. O., W o 11 e r D. SparQ: A toolbox for qualitative spatial representation and reasoning. In Qualitative Constraint Calculi: Application and Integration, Workshop at KI 2006, Bremen, Germany, June 14, 2006, pages 79{90, 2006.
17. M u s t o A. On spatial reference frames in qualitative motion representation. Technical Report FKI-230-99, Institut fur Informatik, Technische Universitat Munchen, 1999.
18. V a n d e W e g h e N., C o h n A. G., T r e G. D., M a e y e r P. D. A qualitative trajectory calculus as a basis for representing moving objects in geographical information systems // Control and Cybernetics, 2006.
19. H o l z m a n n C. Rule-Based Reasoning about Qualitative Spatiotemporal Relations // Proc. of the 5th International Workshop on Middleware for Pervasive and Ad-Hoc Computing (MPAC 2007), ACM Press, Newport Beach, CA, USA, ISBN: 978-1-59593-930-2/07/11, pp. 49-54, November 2007.
20. Д е в я т к о в В. В., А л ф и м ц е в А. Н. Распознавание манипулятивных жестов // Вестник МГТУ им. Н.Э. Баумана Сер. Приборостроение. - 2007. - № 3. - С. 56-75.
21. Devyatkov V., Alfimtsev A. Optimal fuzzy aggregation of secondary attributes in recognition problems // Proc. of 16-th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision. - Plzen, 2008. -P. 78-85.
Статья поступила в редакцию 28.04.2011
Владимир Валентинович Девятков родился в 1939 г., окончил Ленинградский институт точной механики и оптики в 1963 г. Д-р техн. наук, профессор, заведующий кафедрой "Информационные системы и телекоммуникации" МГТУ им. Н.Э. Баумана, академик Международной Академии Информатизации, член Международного комитета постоянно действующей конференции ISPE/IEE International Conference on CAD/CAM Robotics and Factories of Future. Автор более 120 научных работ в области искусственного интеллекта, распознавания образов, принятия решений, логических исчислений, представления знаний, теории конечных автоматов, логического синтеза и анализа дискретных устройств и систем.
V.V. Devyatkov (b. 1939) graduated from the Leningrad Institute of Precise Mechanics and Optics in 1963. D. Sc. (Eng.), professor, head of "Information Systems and Telecommunications" department of the Bauman Moscow State Technical University, academician of International Academy of Informatization, member of International Committee of standing conference "ISPE/IEE International Conference on CAD/CAM Robotics and Factories of Future". Author of more than 120 publications in the field of artificial intelligence, image identification, decision making, logic calculi, knowledge representation, theory of finite-state automata, logic synthesis and analysis of discrete devices and systems.
