CC BY
94
И нформационные технологии в управлении
УДК 004.5
НЕЧЕТКАЯ КОНЕЧНО-АВТОМАТНАЯ МОДЕЛЬ ИНТЕЛЛЕКТУАЛЬНОГО МУЛЬТИМОДАЛЬНОГО ИНТЕРФЕЙСА1
В.В. Девятков, А.Н. Алфимцев
Предложен метод организации мультимодального интеллектуального интерфейса пользователя со средой в процессе распознавания возникающих в ней динамических ситуаций, на основе совокупности взаимодействующих нечетких конечных автоматов. Автоматы служат для задания отношений между модальными объектами, между мультимедийными объектами и между модальными и мультимедийными объектами.
Ключевые слова: модальность, интеллектуальный мультимодальный интерфейс, модальные модели, мультимедийные модели, нечеткий конечный автомат.
ВВЕДЕНИЕ
Развитие охранных, географических, игровых, бытовых, медицинских, транспортных и других информационных систем требует создания таких интеллектуальных интерфейсов, которые позволили бы интуитивно и естественно управлять этими системами, а также дали бы возможность анализировать сложные пространственно-временные ситуации, возникающие в области их применения [1—3]. Но остаются открытыми вопросы о том, какими должны быть формальные модели интеллектуального интерфейса, способные учитывать пространственно-временные отношения модальных объектов и мультимедийных объектов среды, и как их построить, затратив минимальные усилия на проектирование и обучение.
Данная статья следует парадигме Р.А. Брукса [4] о представлении модальных и мультимедийных объектов иерархией взаимосвязанных конечных автоматов, учитывающих отношения между объектами для анализа их поведения напрямую, подавая на них реальные или виртуальные воздействия и получая в ответ реакцию, по которой можно судить об их поведении.
1 Работа выполнена при финансовой поддержке гранта Президента РФ МК2010 (проект № МК-3013.2010.9).
Основная идея настоящей работы состоит в том, что, начиная с некоторого начального (нулевого) уровня, выделяется множество модальных и мультимедийных объектов (далее будем говорить просто объектов) и их атомарных признаков. Признаки используются для синтеза автоматов нулевого уровня. Функция выходов каждого автомата нулевого уровня определяет значение только одного признака уровня в какой-либо момент времени. На основе автоматов нулевого уровня создаются автоматы первого уровня, задающие отношения между признаками нулевого уровня. Каждый автомат первого уровня задает отношения между одним и тем же множеством признаков нулевого уровня. Функция выходов каждого автомата нулевого уровня определяет значение только одного признака нулевого уровня в один момент времени. Каждый автомат последующего уровня и задает отношения между одним и тем же множеством признаков уровней и'< и. Функция выходов каждого автомата уровня и определяет значение только одного отношения первичных признаков уровня и' < и в один момент времени. Распознавание динамических ситуаций сводится к установлению сходства входных динамических пространственно-временных отношений объектов с эталонными.
Ориентация статьи на качественные отношения объясняется тем, что они позволяют:
• в естественной для человека манере воспринимать мир на интуитивном уровне [5], это осо-
бенно полезно при интеллектуальном интерфейсе «человек—компьютер»;
• рассуждать в условиях, когда количественные признаки виртуальных объектов не требуются или невозможны [6].
Качественным пространственным представлениям в последнее десятилетие уделялось много внимания, известны соответствующие обзоры [7]. Было развито много пространственных исчислений, использующих топологические [8] или позиционные [9] рассуждения, а также рассуждения на интервалах [6]. Известны программные реализации методов пространственных рассуждений [10]. Работ, учитывающих одновременно как пространственные, так и временные изменения, сравнительно немного [11—13], их прикладное значение невелико, в них используется только четкое представление отношений.
1. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ
Модальность — присущая человеку форма воздействия на другого человека или компьютер с помощью речи, жестов, прикосновений, мимики, текстов и др.
Модальные объекты — физические объекты (например, кисти рук) или сигналы (например, звуковые), служащие источниками модальностей человека. Модальные модели — формальные модели, используемые для представления модальных объектов.
Мультимодальный интерфейс — интерфейс между человеком и компьютером, использующий несколько модальностей.
Мультимедийные объекты — объекты среды, определяемые множеством параметров, зависящих от времени и пространства. В совокупности все эти объекты будем называть мультимедийной информацией.
Мультимедийные модели — формальные модели, используемые для представления мультимедийных объектов.
Интеллектуальность мультимодального интерфейса связана со способностью человека использовать модальности в процессе анализа различных ситуаций, возникающих в среде мультимедийных объектов, а также с наличием у него ряда функций, например, общения, обоснования, обучения [14]. Архитектура интеллектуального мультимодального интерфейса (ИМИ) зависит от модальных и мультимедийных моделей и принципов распознавания ситуаций на этих моделях. Взаимодействие этих моделей с ИМИ показано на рис. 1.
Введем несколько основных обозначений. Дискретную шкалу виртуальных моментов времени обоз-
Рис. 1. Место интеллектуального мультимодального интерфейса для анализа мультимедийной информации
начим как Т = {ґ |ґ є Щ, где разность Аґ = ґ. + х — ґ. между двумя соседними отсчетами времени постоянная. Определим на шкале Т временной интервал У = {% < ґ < ґе}. Будем полагать, что каждый признак нулевого уровня какого-либо объекта 9 в момент времени ґ может принимать значения Уі (9Ґ), і1 = 1, ..., т1, которые назовем отсчетами.
Кортеж отсчетов У^ [9^, 9^ ] = <у^ (9^), ..., у^ (9^ )>, є {1, ..., т1} одного признака нулевого уровня в течение нескольких подряд идущих моментов времени ґ5, ..., ґе (в течение временного интервала [ґ^ ґе]) назовем трендом. Множество отсчетов К(9) = {ух(9,), ..., ущ (9,)}, принадлежащих т1 различным трендам в момент времени ґ назовем срезом. Кортеж срезов ^(9) = <К(9^ ), ..., К(9^ )> назовем потоком срезов. Совокупность трендов П(9) = {Ух[91а, 9<е ], У2[91а, 9е ], ..., Уп[9^, 9^ ]} назовем потоком трендов.
Будем полагать, что каждое отношение © уровня
12 ]
и 1 1 объектов множества {9 , 9 , ..., 9 }, задаваемое на множестве признаков уровня V < и, может принимать множество значений уі (©.), іи = 1, ..., ти,
называемых признаками уровня и или макроотсчетами. Макротрендом будем называть кортеж
\ [ ©', , ©*. ] = Ч (©', ), ..., у>и (©*. )>, ¡и є {1, ..., ти}. Макросрезом будем называть множество К(©) =
= {ух(©ґ), ..., ут (©¿)}. Макропотоком макросрезов будем называть кортеж ^(©) = <К(©( ), ..., К(©( )>.
Макропотоком макротрендов будем назвать множество П(©) = {Ух[©^, ©е], У2[©^, ©е], ...,
Уп[©*,, ©*.]}.
Далее будут рассмотрены пространственные качественные отношения объектов на срезах (стати-
ческие отношения) и пространственные качественные отношения объектов на трендах (динамические отношения), а также отношения на потоках трендов и потоках срезов, представляемые четкими и нечеткими конечными автоматами.
2. ПРИНЦИПЫ ЗАДАНИЯ ОТНОШЕНИЙ
2.1. Отношения на макросрезах
Рассмотрим отношения на макросрезах в двумерном декартовом пространстве, используя понятие кадра 1(У, Ж), хранящегося в видеофайле или формируемого цифровой видеокамерой в момент времени ? и имеющий число пикселей V и Ж соответственно по горизонтали и вертикали. Кадр может отображать как модальные, так и мультимедийные объекты. Мультимодальный интерфейс имеет дело не с физическими объектами, а с объектами, являющимися их отображениями и содержащимися в кадре. Общее число пикселей в кадре 1( V, Ж) равно V х Ж. В качестве начала координат примем левый нижний угол кадра. Пронумеруем пиксели по вертикали и горизонтали соответственно от 1 до Vи от 1 до Ж Множество пикселей кадра I (V, Ж), очерчивающих интересующий нас объект 9, обычно называется областью интересов. Область интересов может быть прямоугольной, эллиптической, круглой или какой-либо иной. Обозначим 0(Х, У) прямоугольную область интересов, захватываемую в кадре 1( V, Ж) в момент времени ? и содержащую множество пикселей X по вертикали и У по горизонтали. Общее число пикселей в области интересов 0(Х, У) равно |Х| х |У|. Отдельный пиксель в кадре обозначим 1(у, w), V е {1, ..., V}, w е {1, ..., Ж}, а в области интересов — 0(х, у). Признаками объекта 9 (точнее, отображения объекта, каковым является область интересов) могут быть, например, геометрические параметры этого объекта, координаты центра тяжести, площадь области интересов, длина ее диагоналей и т. п.
Для представления сути предлагаемого подхода ограничимся отношениями © = {9°, 9^} на
множестве двух объектов 9°, 9^ . Каждый объект имеет соответственно признаки нулевого уровня
Уц(91) = х0(о, Уц(9°) = Уо(0, У13(9°) = а0(0,
У21(92 ) = х0(0 , У22(92 ) = У0(О, У23( 92 ) = а0(Г), °б°з-начающие соответственно координаты центров тяжести объектов в глобальной системе координат х0, у0 с началом, находящимся в левом нижнем углу кадра, и углы поворота по часовой стрелке осей локальных систем координат объектов вокруг цен-
Рис. 2. Пример отношения на макросрезе: отношение направлений «совпадающие»
тров тяжести относительно оси х0. Объекты 9°, 9° будем обозначать черными кружками, а их центры тяжести белыми кружками в центре объектов с ко-
112 2 ординатами соответственно х0^, у0^; х0(, у0(
(рис. 2). Используя признаки нулевого уровня в качестве исходных, зададим отношения между объектами 9°, 92 . Примерами таких отношений служат
отношения расстояния, ориентации и направления движения.
Направления движения объектов изобразим вектором с одинарной стрелкой. Расстояние, как правило, является симметричным отношением и вычисляется как декартово расстояние между центрами тяжести. Для качественных рассуждений обычно вводится несколько качественных от-
12
ношений расстояния, например, маленькое(9^ , 9^),
среднее( 9°, 92), большое( 9°, 92).
Направление движения объектов друг относительно друга может быть задано как симметричным, так и несимметричным отношением. Аналогично отношению расстояния, введем несколько качественных отношений направления, например,
симметричные отношения совпадающие( 9°, 92),
расходящиеся(9°, 92), противоположные(9°, 92).
Пример отношения направления совпадающие приведен на рис. 2.
Отношение ориентации, как правило, не является симметричным, например, для качествен-
Рис. 3. Макр°тренд кнапр[0(, 0, + 2Д(]
ных рассуждений могут быть введены качествен° 2 ° 2 ные отношения справа(9^ , 9^), слева(9^ , 9^), сза-ди(9°, 92), спереди(9°, 92), справа(92, 9°),
слева(92, 9°), сзади(92, 9°), спереди(92, 9°).
Отношения на рис. 2 и 3 выделены жирным увеличенным шрифтом. Если эти отношения считать макроотсчетами, то их совокупность можно
°2
представить макросрезом К(©,) = К( 9, , 9,) = {ма° 2 ° 2 ° 2 ленькое(9, ,9,), совпадающие(9, ,9,), сзади(9,, 9,), сзади(92, 9°)}. В общем случае отношения на мак-
°2
росрезе К( 9^ , 9^) между макроотсчетами могут
быть различными и описываться на различных языках. Если все макроотсчеты данного макросреза рассматривать как предикаты, которые истинны или ложны, то отношение между ними может быть выражено формулами логики предикатов первого порядка. Например, если в момент времени t все
° 2 ° 2 предикаты маленькое( 9^ , 9^), совпадающие( 9^ , 9^),
сзади(9°, 92), сзади(92, 9°) истинны, то это означает истинность формулы:
Ф(9°, 92) = маленькое(9°, 92) л л совпадающие(9°, 92) л сзади( 9°, 92) л л сзади( 92, 9°).
2.2. Отношения на макротрендах
На рис. 3 показаны отношения направления в моменты времени t, t + At, t + 2Л? (на интервале [?, t + 2Лф. Координаты центров тяжести, углы между осями на рисунках индексированы соответствующими моментами времени. Качественные признаки не индексированы. Используя введенные термины, можем говорить, что рис. 3 представляет макротренд:
Унапр[©^ ©, + 2л,] = <совпадаюЩие(© ¿, расходящиеся(©{ + л,), противоположные(©{ + 2л,)), °2
где ©, = {9, , 9,}, t е [t, t + 2Лф
Так же макротренды для отношения ориентации и расстояния могут быть записаны в виде:
° 2 2 °
УориенТ[©^, ©, + 2Л/] = <сзади(9(, 9,), сзади(9, , 9,), справа( 9°+ л, , 9^ л ,), сзади( 9^ л, , 9°+ л, ),
справа( 9°+ Л2,, 92+ л2, ), справа( 92+ 2л, , 9°+ 2л, )),
Урасст[©Я ©, + 2Л,] = <маленькое(©t), сРеднее(©, + лЛ
большое(©{ + 2л,)).
Отношения на макротрендах временные. Если, как и для случая макросрезов, макроотсчеты данного макротренда рассматривать как предикаты, которые истинны или ложны, то отношение между ними также может быть выражено формулами логики предикатов первого порядка. Например, если
полагать, что все предикаты сзади(9°, 92), сза-
Рис. 4. Макротренды Красст[0!, ©,], У0рИИГГ[®1, ®9]’
Кнапр[01’ 09]
ди(92, 9°), справа(9°+ л,, 92+ л, ), сзади(92+ л, , 9°+ л, ),
справа( 9°+ 2л, , 92+ 2л, ), справа( 92+ 2л, , 9°+ 2л, ), соответствующие макротренду Уориент[©,, ©, + 2л,], истинны в соответствующие моменты времени, то это означает истинность, например, следующей формулы:
Ф
1 2
[©/, ©/ + ?л/] = [((сзади( 9, , 9,) л
ориент^ Р , + 2Л,-
л сзади(92, 9°)) з ((справа(9°+ л,, 92+ л,) л л сзади(92+ л, , 9°+ л, ))] з (справа(9°+ 2л,, 92+ 2л, ) л л справа( 92+ 2л, , 9°+ 2л, ).
Существует немало подходов к формулировке и вычислению причинно-следственных отношений во времени. Один из них основан на отношениях временных интервалов. В соответствии с работой [6] существует 13 бинарных временных отношений между двумя временными интервалами, заданными на дискретной шкале времени.
Каждый тренд определен на временном интервале, и поэтому указанные отношения могут использоваться и для трендов. Тренды содержат значения признаков, соответствующих определенным моментам времени. Например, рассмотренные нами тренды можно представить в виде, показанном
на рис. 4 (крестикам и точкам в узлах сетки на оси ординат соответствует отсчет, а на оси абсцисс — момент времени, соответствующий этому отсчету).
2.3. Отношения на макросрезах и макротрендах
Разобьем интервал [©р ©9] (см. рис. 4) на по-динтервалы с одинаковыми наборами значений макросрезов на всех трендах. В результате получим рис. 5, где на каждом интервале задан поток одинаковых макросрезов, изображенных прямоугольниками.
В результате выделения таких потоков макросрезов совокупность макротрендов Урасст[©1, ©9],
Уориент[©1, ©9^ Унапр[©Г ©9] можЫ° представить как
объединение потоков макросрезов, т. е.
7расст,ориент, напр[©Р ©9] 7расст,ориент, напр[©1:’ ©1] и
и У [©, ©] и У [©, ©].
расст,ориент, напр1 25 2J расст,ориент, напр1 3 9-1
Разбиение макротрендов на интервалы с одинаковыми макросрезами позволяет представить отноШение Урасст,ориент, напр[©Р ©9] для макротренда с
помощью интервальных отношений перед и предшествует. Отношения на макросрезах и макротрендах могут быть описаны на различных языках. В случае достаточно полных знаний об этих отношениях во времени и пространстве удобно воспользоваться конечно-автоматными моделями.
Рис. 5. Одинаковые макросрезы на макротрендах
расст,ориент,напр
[®1, ©,]
3. ЗАДАНИЕ ОТНОШЕНИЙ КОНЕЧНО-АВТОМАТНЫМИ МОДЕЛЯМИ
3.1. Иерархическая модель четких конечных автоматов
Представим макротренд у.[©, , ©, ] = <у.(©, ),
..., у.(©, )) конечным автоматом М.[ ©, , ©, ] сле-
. е . $ е
дующим образом. Начальным внутренним состоянием автомата будем считать состояние Ь.(©, ).
Функциями переходов / и выходов ф конечного автомата М.[ ©, , ©, ] будем считать следующие фун. ^ е
кции:
/[t, Ь(©,)] = Ь.(©,+л), t е [^ te - Л],
ф[ь.(©,)] = у.(©,).
Таким образом, вся информация о трендах и макротрендах, срезах и макросрезах может быть представлена иерархией конечных автоматов, начиная от автоматов, представляющих тренды признаков нулевого уровня и заканчивая автоматами, представляющими макротренды признаков самого верхнего уровня. Автоматы, представляющие признаки уровня и, будем называть автоматами уровня и. В случае необходимости указания уровня автомата М.[ ©, , ©, ]будем автомат записывать
. $ е
как М.и [ ©, , ©, ]. Если представить автоматы графами переходов, то для нашего примера будем иметь два уровня автоматов, задающих качественные отно0ения: М°асст [ ©,$ , ©,е ], Мориент [ ©,$ , ©,е Ь °2 Мнапр [ ©,$ , ©,е ] и Мрасст, ориент, напр [ ©,$ , ©,е ]. Построение автоматов начинается с нулевого уровня по трендам отсчетов нулевого уровня. Каждый автомат некоторого уровня и > 0 представляет динамику изменения отношений между отношениями, представляемыми автоматами предыдущих уровней. Будем полагать, что все автоматы Ми одного
и
и того же уровня проиндексированы от 1 до I ,
т. е. каждый автомат М? имеет уникальный нои
мер ки е {1, ..., 1и}.
Источником трендов служит человек, участвующий в мультимодальном интерфейсе и либо реальная физическая среда (мир), либо ментальный (воображаемый) мир, либо их комбинация. Поведение человека и миров может описываться и непосредственно четкими конечными автоматами,
минуя этап выделения отдельных трендов. Эти вопросы выходят за рамки настоящей статьи, тем более что им посвящено огромное число работ по конечным автоматам.
Сущность метода распознавания отношений, использующего четкие автоматы, состоит в следующем. Построим заранее все необходимые четкие
автоматы М? [©, , ©, ], ки = 1, ..., / по трендам
и $ е и и
У*и [ ©,$ , ©,е ] = <у.и (©,$ ), ..., у.и ( ©,е )), г'и е {1, ..., ти}, задающим подлежащие распознаванию пространственно-временные отношения в среде между совокупностями объектов ©, называемых эталонными. Эталонные объекты являются образами объектов, отношения между которыми будут впоследствии распознаваться. Эти объекты могут формироваться экспертно (ментально) путем моделирования поведения пользователей и среды или путем априорных наблюдений за ними. Для распознавания
отношений установим все автоматы Ми [ ©, , ©, ], ки = 1, ..., I, в начальное состояние, соответствующее моменту времени t, и начнем подавать на них синхронно временные метки (моменты времени) интервала [^, t<\, вычисляя с помощью функций переходов и выходов /[^ Ь.(©,)] = Ь.(©, + Л), t е [^, te - Л], ф[Ь.(©,)] = у.(©,) отношения у.(©,) и сравнивая их с наблюдаемыми отношениями
у.( ©,), где ©, — наблюдаемые объекты, каждому из которых взаимно однозначно соответствует эталонный объект множества ©,. Если окажется, что
для всех t е [^, t^ имеет место у.(©,) = у.( © t), то считается, что пространственно-временное отношение между объектами кортежа <©, ..., ©,е), задаваемое автоматами Ми [©, , ©, ], к = 1, ..., I,
Ки $ е и и
распознано.
Если ввести характеристическую функцию
, ,©. ,© ,, [0 если У/(©,)^У,<©,),
х(у(©,), У.( ©,)) = <!
11, если у. (©,) = у. (©,),
то пространственно-временное отношение между объектами кортежа <©, , ..., ©,е), задаваемое автоматом Ми [©, , ©, ], ки = 1, ..., 1и, если распознано,
х(Уг(©,), Уг( ©,)) = 1 для всех t е [^, te]. В противном случае значение характеристической функции будет равно нулю хотя бы для одного t е [^, ^].
3.2. Иерархическая модель нечетких конечных автоматов
Фаззифицируем автомат Ми [ ©, , ©, ] следую-
и $ е
щим образом. Каждому отношению у.(©,) сопоставим упорядоченное множество У. (©,) отношений
у I (©,), характеризующих совокупность объектов © в момент времени t. Зададим функцию принадлежности ц- = ц- [у. (©) на множестве У. (©,). В целях
У. У. II I
снижения вычислительной сложности для интеллектуального мультимодального интерфейса наиболее подходят треугольные функции принадлежности. Пару (ц- [у. (©,)], У (©,)) будем называть не-
У. II I
четким отношением. Функция принадлежности задается экспертно или получается в результате обработки экспериментальных данных. Последовательность % [ ©,$, ©,е ] = <У (©,$), ..., У{ (©,е)) будем называть нечетким макротрендом. Функциями переходов / и выходов ф нечеткого конечного ав-и
томата Мки [ ©, , ©, ] будем считать следующие функции:
/ [^ Ь(©,)] = Ь;(©, + Л^ t е [ts + Л, ^ - Л],
/ ^ = Ч ©,$),
Четкий автомат является частным случаем нечеткого и отличается от нечеткого только функцией выходов. В случае четкого автомата функция выходов возвращает значение макроотсчета, а в случае нечеткого — нечеткое отношение (множество макроотсчетов и функцию принадлежности, заданную на нем). Сущность метода распознавания отношений, использующего нечеткие конечные автоматы, состоит в следующем. Построим заранее все необходимые нечеткие автоматы и
Мк [ ©, , ©, ] по эталонным трендам У [ ©, , ©, ] =
и де $ е
= <У (©,о), ..., У1 (©, )), задающим подлежащие
распознаванию пространственно-временные нечеткие эталонные отношения между совокупностями объектов ©. Установим все автоматы в начальное состояние, соответствующее моменту времени ^, и начнем подавать на все автоматы и
Мки [©, , ©, ] синхронно временные метки (моменты времени) интервала [^, ^], вычисляя с по-
мощью функций переходов и выходов нечеткие отношения (цу. [у.(©,)], У.(©,)). Если окажется,
что для всех t е [^, te] отсчет у. (©,) е У. (© t ), где
© t — наблюдаемые отношения такие, что ©, = ©,, то считается, что пространственно-временное отношение между отношениями кортежа <©, ..., ©,е),
и
задаваемое автоматом Мк [ ©, , ©, ], распознано.
и 1е
Значение функции принадлежности ц- [у. (©,)] ха-
-ч 1
рактеризует степень принадлежности отчета у. (©,) множеству отсчетов У1 (©,).
4. ПРИНЦИП АГРЕГИРОВАНИЯ МУЛЬТИМОДАЛЬНОГО ИНТЕРФЕЙСА И РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ СИТУАЦИЙ
и
Любой автомат Мки уровня и 1 1 задает пространственно-временные отношения между отношениями уровня и — 1. Таким образом, уровни автоматов используются для представления иерархии отношений. Автомат Мкии любого уровня,
отношения которого не используются для задания отношений более высокого уровня автоматами более высокого уровня, назовем финальным. Кликой
Кь финального автомата Мкии назовем множество
подмножеств нечетких автоматов Кк , ..., К0, ки е {1, ..., 1и} уровней и 1 0, получаемое, начиная с фи-
'и
нального автомата Мки, в соответствии со следующим алгоритмом.
Шаг 1. Принимаем К* = {Мки}. Если и = 0, то
'и и
принимаем Кки = Кк и переходим к шагу 3.
В противном случае принимаем V = и. Принимаем V = V — 1 и переходим к шагу 2.
~ V у
Шаг 2. Для каждого автомата Мк е Ку полу-
ту V — !
чаем множество Кк 1 автоматов, используемых для представления отношений, участвующих в
л'-у °
построении этого автомата Мк е К , т. е. Кк 1 =
~ V - Ь ~ V - °
= {Мк |отношения, задаваемые автоматом Мк
I -11 > -1
~ V
участвуют в построении М к }. Если V — 1= 0, то
Рис. 6. Пример клики К" финального автомата М”
туи т^и - ° т^и - 2
Кк = Кк и Кк . и
к
7^0
^ 1 ^к 2 и ... и Кко и переходим к ша-
гу 3. В противном случае принимаем V = V — 1 и переходим к шагу 2.
и
Шаг 3. Конец построения клики Кки. ♦
Пример клики Ки финального автомата Ми показан на рис. 6, где кружки изображают автоматы. Стрелки направлены от автоматов более низкого уровня к автоматам более высокого уровня, отношения которых строятся на основе отношений, представляемых автоматами, соединенными с ними входящими стрелками.
и
Каждая клика Кки, ки е {1, ..., /и} задает совокупные динамические отношения объектов пользователя и объектов среды в процессе взаимодействия через интеллектуальный интерфейс, направленного на распознавание той или иной динамической ситуации. Эта клика создается заранее путем наблюдения за пользователем и средой или экспертно. Например, пользователь может в процессе взаимодействия пользоваться тактильными модальностями, т. е. прикасаться к определенным местам экрана навигатора автомобиля, являющимся по отношению к пользователю внешней средой, в целях получения интересующей его информации. Тогда та или иная клика должна содержать совокупные динамические отношения между водителем и навигатором, позволяющие распознать, например, автора прикосновения, порядок и координаты прикосновения, координаты автомобиля, обстановку вокруг него и т. п.
Задача интеллектуального мультимодального интерфейса в процессе пространственно-временного распознавания динамических ситуаций может рассматриваться как задача вычисления отношений на кликах, т. е. в общем случае надо вы-
числить, какая или какие клики соответствуют пространственно-временным отношениям (ситуациям) между пользовательскими объектами и объектами среды. Пользователь является источником макротрендов, задающих его поведение в процессе интеллектуального интерфейса.
Сущность метода распознавания динамических ситуаций на кликах состоит в следующем. Имеем
к
множество отношений {©, ^ е [^, t(], |ки е {1, ..., /и},
и
и е {1, ..., Я}} и множество клик Кки (здесь Я —
максимальное число уровней), построенное по
к
множеству потоков макротрендов Пи = {Ук [ ©, ,
к к ©,еи]|ки е {1, ..., /и}, и е {1, ..., Я}}, где Уки [©,;,
к к к
©,еи ]= <уки (©,; ), ..., уки (©,еи )).
Шаг 1. Установить t = ts.
Шаг 2. Наблюдая за поведением пользователя и среды вычислить для всех наблюдаемых отноше-
к
ний ©, , ки е {1, ..., /и}, и е {0, ..., Я} макросрезы
^ А ° I и ~ и
{у (©^), ..., у (©, ). Подать на каждый автомат Мки, ки = 1, ..., /и, и = 0, ..., Я входное воздействие £ вычислить, используя функции переходов, состояния
к к Ь( ©, ) и значения функций выходов ф [Ь( ©, )] =
кк = [ цу (у (©,и)), у (©,и)].
Шаг 3. Если t = te, то перейти к шагу 4. В противном случае установить t = t + Лt и перейти к шагу 2.
Шаг 4. Если окажется, что существуют финальные автоматы Мки такие, что для всех t е [t, t ] и всех
автоматов клики Кк у. (©,) е У. (©,), где ©, — наи . ,
блюдаемые отношения такие, что ©, = ©,, то считается, что пространственно-временное отношение между отношениями кортежей <©, , ..., ©,е),
'и
задаваемое автоматами клики Кки на интервале
[^, te], распознано.
Шаг 5. Вычислить степень уверенности [15] результатов распознавания ситуации с помощью кли-
'и
ки Кки, используя один из операторов агрегирования (например, оператор Шоке или Сугено [16]),
значений функций принадлежности ц - [%■ (©,)]
и
для всех t е К, te] и всех автоматов клики Кк . ♦
ЗАКЛЮЧЕНИЕ
Предложен метод организации интеллектуального мультимодального интерфейса пользователя со средой в процессе распознавания возникающих в среде динамических ситуаций на основе совокупности взаимодействующих нечетких конечных автоматов. Он может применяться в различных областях, требует сравнительно мало ресурсов по времени и памяти, позволяет достаточно естественно, а главное, без длительного периода обучения, формировать иерархию нечетких пространственно-временных отношений.
Предлагаемый подход реализован в аудиовизуальном интерфейсе «Human — TV set» (разработка в МГТУ им. Н.Э. Баумана для фирмы NXP Semiconductors founded by Philips), который продемонстрировал надежную работу. В аппаратной части интерфейса используются две VGA камеры, один ненаправленный PC микрофон, мультимедийная вычислительная платформа STB810 с пор-тированными алгоритмами захвата и отслеживания объекта. Распознавание пользователя, жестовых и голосовых команд происходит в реальном времени (менее 1 с) в помещении при обычном электрическом или дневном освещении, без специальных маркеров на теле пользователя.
ЛИТЕРАТУРА
1. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем. — М: Символ-Плюс, 2005. — С. 120—129.
2. Integrating perceptual and cognitive modeling for adaptive and intelligent human-computer interaction / Z. Duric, et al. // PIEEE(90). — 2002. — N 7. — P. 1272—1289.
3. Intelligent user interface based on multimodal dialog control for audio-visual systems / H. Shinjo, et al. // Hitachi Hyoron. — 2005. — Vol. 87, N 10. — P. 801—804.
4. Brooks R. A. Cambrian Intelligence. — Cambridge, MA: MIT Press, 1999. — 225 p.
5. Clementini E, Felice P.D., Hernandez. D. Qualitative representation of positional information // Artificial Intelligence. — 1997. — 95(2). — P. 317—356.
6. Allen F. Maintaining knowledge about temporal intervals // Communications of the ACM. — 1983. — 26(11). — P. 832—843.
7. Cohn A G., Hazarika S. M. Qualitative spatial representation and reasoning: An overview // Fundamenta Informaticae. — 2001. — 46(1). — P. 1—29.
8. Representing and reasoning with qualitative spatial relations about regions / A.G. Cohn, et al. // In Spatial and Temporal Reasoning. — 1997. — P. 97—134.
9. Freksa C. Using orientation information for qualitative spatial reasoning // Proc. of Intern. Conf. GIS: Theories and Methods of Spatio-Temporal Reasoning. — 1992. — Vol. 639. — P. 162—178.
10. Spar Q: A toolbox for qualitative spatial representation and reasoning / F. Dylla, et al. // In Qualitative Constraint Calculi: Application and Integration. — 2006. — P. 79—90.
11. Musto A. On spatial reference frames in qualitative motion representation //Technical Report FKI-230-99, Institut fur Informatik, Technische Universitat Munchen. — 1999. — 18 p.
12. A qualitative trajectory calculus as a basis for representing moving objects in geographical information systems / N. Van de Weghe, et al. // Control and Cybernetics. — 2006. — Vol. 35. — P. 97—119.
13. Holzmann C. Rule-Based Reasoning about Qualitative Spatiotemporal Relations // MPAC2007. — 2007. — P. 49—54.
14. Поспелов Д.А. Интеллектуальные интерфейсы для ЭВМ новых поколений // Электронная вычислительная техника. — 1989. — № 3. — С. 4—20.
15. Девятков В.В., Алфимцев А.Н. Распознавание манипуля-тивных жестов // Вестник МГТУ им. Н.Э. Баумана / Сер. Приборостроение. — 2007. — № 3. — С. 56—75.
16. Devyatkov V., Alfmtsev A. Optimal Fuzzy Aggregation of Secondary Attributes in Recognition Problems // Proc. of 16th Intern. Conf. in Central Europe on Computer Graphics, Visualization and Computer Vision. — Plzen, 2008. — P. 78—85.
Статья представлена к публикации членом редколлегии
А.А. Амбарцумяном.
Девятков Владимир Валентинович — д-р техн. наук,
зав. кафедрой, S (499) 267-65-37, И [email protected],
Алфимцев Александр Николаевич — канд. техн. наук, доцент,
® (499) 263-66-25, И [email protected],
Московский государственный технический университет
им. Н.Э. Баумана.
книга
Сетевые модели в управлении / Сб. статей под ред. Д.А. Новикова, О.П. Кузнецова, М.В. Губко. — М.: Эгвес,
2011. — 443 с.
Настоящее издание сформировано на основе материалов специального выпуска электронного Сборника трудов «Управление большими системами» (ubs.mtas.ru) и посвящено задачам управления, в которых объект управления (и (или) система управления) имеет сетевую структуру.
Статьи разбиты по рубрикам, отражающим скорее неформальную группировку по актуальным научным направлениям, чем строгую, претендующую на полноту, классификацию:
— сетецентрическое управление и многоагентные системы;
— управление технологическими сетями;
— сетевые модели в принятии решений;
— когнитивные карты в управлении;
— сетевые организации и социальные сети.
Можно надеяться, что настоящий сборник, демонстрируя единство возможных подходов к решению задач сетевого управления объектами самой разной природы, не только будет интересен для ученых и практиков, но и сможет дать почву для интеграции усилий специалистов в разных разделах теории управления.
