Использование темпоральных отношений при описании сложных сцен по видеоизображениям Текст научной статьи по специальности «Математика»

УДК 004.89

Н.Е. Сергеев, Ю.А. Целых

ИСПОЛЬЗОВАНИЕ ТЕМПОРАЛЬНЫХ ОТНОШЕНИЙ ПРИ ОПИСАНИИ СЛОЖНЫХ СЦЕН ПО ВИДЕОИЗОБРАЖЕНИЯМ

В статье рассмотрены вопросы анализа сцен видеоизображений с использованием экспертных знаний. Предлагается сопровождать экспертное представление о последовательности событий во времени темпоральными характеристиками, задающими значения пространственных атрибутов. Предложенный подход позволяет строить модели описания двигательной активности, функционирующие в реальном масштабе времени.

Темпоральная логика; фреймы; темпоральные отношения.

N.E. Sergeev, J.A. Tselykh

USING TEMPORAL RELATIONS TO DESCRIBE COMPLEX SCENES BASED

ON VIDEO IMAGES

We address a problem of the video scene analysis based on the expert knowledge. We suggest to complement expert representation of the event sequence with temporal characteristics that set the values of space attributes. Suggested approach allows to create description models of the movement activity that function in real-time.

Temporal logic; frames; temporal relations

Любая шкала (в метрическом ее понимании) является переносом представления человека о пространстве на другие атрибуты, воспринимать которые непосредственно с помощью органов чувств человек не может. В случае с пространством линейная шкала - это уложенные друг за другом одинаковые (эталонные) линейные элементы самого пространства. А само измерение заключается в подсчете элементов, которые можно разместить между двумя точками. Шкалы для других атрибутов являются, как минимум, вторичным представлением в линейных атрибутах значений, полученных от чувствительных к значениям данного атрибута элементов (сенсоров).

Для целей анализа сцен по видеоизображениям [1] значения пространственных атрибутов необходимо сопровождать темпоральными (временными) характеристиками. Поскольку для анализа используются экспертные знания, то для рассмотрения динамики сцены необходимо также использовать и экспертное представление о последовательности событий во времени.

Темпоральные отношения для целей описания сцен должны быть формализованы в конечное множество отношений, либо представлены высказываниями на естественном языке.

Объектами темпоральных отношений могут быть события или процессы. Под событиями будем понимать факт или результат некоторого действия. Событие принято характеризовать одним отсчетом времени (темпором) - временем, когда оно наступило. Процесс принято характеризовать моментом (темпором) начала и окончания и, как следствие, длительностью. Однако не всегда представляется возможным достоверно определить эти моменты времени.

Временные категории «прошлое», «настоящее» и «будущее» присутствуют в лексиконе человека и объясняют или характеризуют как отдельные события и процессы, так и их группы. Следовательно, описывая деятельность человека, в том

числе, двигательные действия, мы на определенном уровне сталкиваемся с необходимостью представления в таких моделях временных соотношений.

Представим связь объектов темпоральных отношений, событий и процессов в условиях их определенности. Если темпор, в течение которого событие\процесс (Д) существовало(и) с достоверностью равной единице, то можно перейти на рассмотрение «четких» отношений этих темпоров, рассматриваемого темпора и тем-пора события\процесса. Некоторые элементы события\процесса могут быть описаны нечеткими темпорами, то есть такими, границы которых нечетко определены, в этом случае следует рассматривать отношения четкого и нечеткого, или отношения двух или нескольких нечетких темпоров (ть^). Ниже приведены два типа элементарных темпоральных высказываний:

1. ЕДт - между событием и темпором (схема 1).

2. т1Ят] - между двумя темпорами (схема 2).

3. Некоторые авторы выражение (1) называют «темпоральным событием» [2]. То есть, событием будем считать случай (факт) перехода некоторой системы или её элемента из одного состояния в другое или изменения значения некоторого атрибута. А уже это событие обладает некоторыми свойствами, в том числе, и темпоральными. Тем более, что одно событие может иметь множество темпоральных свойств и состоять во множественных темпоральных отношениях.

Темпоры можно сравнивать по длительности (множество отношений 1Т) и по взаимному расположению (множество отношений гТ) [4], ДТ=/ТигТ. Основоположники темпоральной логики оставляют право за исследователями темпоральных отношений в различных предметных областях дополнять известные отношения из ДТ проблемно ориентированными отношениями ДТР. Полученные темпоральные отношения называются расширенным семейством темпоральных отношений: ДТ8= ДТ и ДТР.

При описании темпоральных отношений из гТ мы будем использовать интуитивно понятные термы “позже”, “раньше”, а также порядок следования начал и окончаний отрезков процессов П1 и П2. Начало (Е^(П)) и окончание (Е^(П)) некоторого процесса можно считать событиями. Для обозначения темпора, в течение которого ничего не происходит, в рамках данного рассмотрения введем понятие пустого темпора т0 и пустого процесса П0, темпор, в течение которого оба процесса будут существовать одновременно, обозначим через Ат [3].

Совпадение начала и окончания процесса обозначим Епа(П1)|(Еьё(П2)). Такое множественное определение отношений призвано дать большую свободу для описания экспертных знаний, а с другой стороны предоставить разработчику набор подходящих формализмов.

Итак, используя введенные обозначения, можно сказать, что два темпора могут находится в следующих отношениях:

♦ (Н8)-последовательны с паузой, если интервал первого процесса закон-

чился раньше, чем начался интервал второго (они не одновременны и первый интервал раньше второго), <т1,т0,т2>,

<Ebg(П1),End(П1)|Ebg(П0),End(П0)|(Ebg(П2), Епё(П2)>;

♦ (Н8п)-последовательны без паузы, <т1,т2>, ^^(ПДЕ^П^КЕ^П^,

Ем№)> (Ат=0);

♦ (Нв$)-пересекаются, <т1,Ат,т2>, ^^(ПДЕ^П^Е^ПДЕ^П^;

♦ (Не1)-вложены с примыканием к началу, <Ат=тьт2>, <Еь6(П1)|ЕЬб(П2), Епа(П1Х Епа(П2)>;

♦ (Нег)-вложены с примыканием к окончанию,<т2,Ат>, <ЕЬё(П2), ЕЬё(П1),

Епа(П2)|Епё(П1 )>;

♦ (Не)-вложены без примыканий, <т2,Ат=т1,т2>, <ЕЬё(П2), ЕЬё(П1), Епй(П1),

Епё(П2)>;

♦ (ни)-отношение несравнимости темпоров.

Можно также считать, что отношение ни является универсальным отношением или универсумом, т.е.

Г/и(т1, Т2)=ГЫ (т1, т2) vrtsn(xъ т2) vrtes (т1, т2) vrtel (т1, Т2) №1ег(т1, т2) vrte(т1, т2).

Описанные отношения несколько отличаются от отношений, используемых в работах [4]. Например, отношение одновременности здесь среди базовых отношений отсутствует, а описывается парой базовых отношений. Если изначально ничего не известно о соотношении длин темпоров, то

XI “одновременны ”т2 = ^е1(т1 т2) &^г (т1 т2).

На рис. 1 представлен также универсальный темпор ИТ и темпоры т1 и т2 для случая (^)-отношений. Длина и расстояние между темпорами на универсальном темпоре значения для данного представления не имеют. Величина «пустого тем-пора», иногда разделяющего темпоры т1 и т2 , также пока не оценивается. Для непрерывного корректирования процессов описания сцен введём отношения на временных промежутках, которые ещё длятся.

Рис. 1. Универсальный темпор ПТ и темпоры т1 и т2

Символами «2», «х», «с», «V», «Ь» представлены возможные положения «наблюдателя». Позиция «2» характеризуется тем, что в момент времени, который характеризует позицию, ни одного процесса, интересующего наблюдателя, не происходит. В этой позиции наблюдатель предполагает, что процессы произойдут в том виде, в котором представляет их диаграмма, либо ему достоверно известно, что будет так, как это представлено диаграммой. Позиция «Ь» противоположна позиции «2» и характеризуется тем, что оба рассматриваемых процесса уже произошли. В рамках другого рассмотрения было бы полезным сравнить темпоральные взгляды на оба процесса из позиций «2» и «Ь».

Позиции «х», «с», «V» характеризуют положение наблюдателя во времени, момент которого характеризуется тем, что хотя бы один из рассматриваемых процессов происходит или уже завершился.

Позиции «2», «х», «с», «V», «Ь» характеризуют все возможные сочетания нахождения в прошлом, в настоящем или будущем рассматриваемых темпоров. Тогда отношение ш, представленное на тренде (см. рис. 1), имеет следующие модификации:

♦ г^(т;ь1;2) - процессы, характеризуемые трендами т1 и т2 , должны будут произойти последовательно с паузой между ними;

♦ г£5х(тьт2) - процесс (П1), характеризуемый трендом т1, еще длится, а процесс (П2) характеризуемый трендом т2, произойдет через некоторое время после его окончания;

♦ г£5с(тьТ2) - П1 уже закончился, а П2 еще не начался;

♦ rtsv(^1,^2) - П1 уже закончился, а П2 , начавшийся некоторое время спустя, еще продолжается;

♦ г^Ь(тьт2) - П1 и П2 произошли один за другим через некоторое время.

Ниже представлены отношения высказываний темпоральных групп

«было-есть-будет» (ws-is-Ьn) и «прошлое- настоящее- будущее» (рз-рг-й). Эти отношения нам понадобятся для поиска требуемых видеофрагментов по предоставленному лингвистическому описанию. Следует отметить, что темпоральные группы «было-есть-будет» ^з^-Ье) и «прошлое-настоящее-будущее» (рз-рг-й) дают относительные характеристики. Однозначные (абсолютные) характеристики относительно точечного темпора, обозначающего настоящее, может дать только группа «закончился-длится-не начался» для процессов и «уже произошло- происходит -еще не произошло» для событий (Р- К- Г) и множество отношений этих групп:

RTP_N_F с RTP с RTS.

Группа «Р-Ы-Г» предоставляет для темпоральной подсистемы константы и, следовательно, является пассивной. Другие группы в силу относительности их характеристик могут потребовать дополнительных действий, т. е. являются активными. Однако даже относительные характеристики могут являться основанием описания двигательных действий по некоторым конкретным темпоральных планам.

Косвенное свидетельство о том, что событие ещё не произошло, а процесс еще не завершился.

Ьп(А) = /Ь(А) = Ьп(рг(А)) ^ Р(А) = (1)

Ьп(рг(П)) ^ Р(Епа(П)). (2)

Высказывание «Событие "А" будет (Ьп)...» эквивалентно высказыванию «Событие "А" будет (Ьп) в настоящем (рг)» и свидетельствует о том, что событие еще не произошло и значит оно или его темпор (1а) является принадлежностью будущего Г(А).

Высказывание «Процесс "П” будет (Ьп) в настоящем (рг)» может означать, что процесс однозначно ещё будет длиться и окончание его еще не наступило

P(End (П)) ,, а вот длится ли он в настоящем и какая часть процесса уже завер-

шилась, требует уточнения.

Косвенное минимально достаточное свидетельство.

Ьп[/Ь(А)') ^ F(А), (3)

Ьп(/1(П)) ^ Р(Епа(П)). (4)

Из истинности составного темпорального высказывания «Событие “А” будет (Ьп) в будущем (й)» следует, что событие «еще не произошло (Г)». Из истинности составного темпорального высказывания «Процесс "П" будет (Ьп) в будущем (й)» может следовать только то, что процесс еще не закончился P(End (П)) .

Прямое минимально достаточное свидетельство.

1з(/Ь(А)) ^ Р(Л), (5)

15(А(П)) ^ Р(Епа(П)). (6)

Из истинности составного темпорального высказывания «Событие "А" есть (Ьп) в будущем (й)» следует, что событие «еще не произошло (Г)».

Из истинности составного темпорального высказывания «Процесс "П" есть (Ьп) в будущем (й)» следует, что процесс еще не закончился P(End (П)) .

Свидетельство, требующее подтверждения.

Ьп(рз(А)) => Р(А) V Ы(А) V F(i4), (7)

Ьп(рБ(П)) ^ Р(П) V Ы(П) V Р(П), (8)

Ьп (pr(П)) ^ P(End (П)). (9)

Высказывание «Событие "А" будет (Ьп) в прошлом (рз)», как и высказывание «Процесс "П" будет (Ьп) в прошлом (рз)», никакой информации в отношении его

темпора с темпором tcur не дает.

Высказывание «Событие "А" будет (Ьп) в настоящем (рг)» однозначно свидетельствует о том, что событие «еще не произошло (Г)», поскольку только о тем-

поре tcur можно сказать, что из высказываний tcur был, есть, будет» следует, что

он длится (Ы). При этом может возникнуть вопрос: через какое время «Событие "А" будет (Ьп) в настоящем (рг)»? Ответ на него позволит позиционировать событие А на абсолютной временной шкале, вернее, определить величину темпора ожидания. Здесь и выше «свидетельствует» представляет следствие из рассматриваемого высказывания.

Высказывание «Процесс "П" будет (Ьп) в настоящем (рг)» однозначно свидетельствует только о том, что он еще не закончился (Р).

При получении нулевого темпора ожидания на «вопрос 1» может возникнуть вопрос: Как долго еще «Процесс "П" будет (Ьп) в настоящем (рг)»?

Составное высказывание «Процесс “П” будет (Ьп) в прошлом (рз)» & «Процесс "П" будет (Ьп) в настоящем (рг)» имеет такое же темпоральное трактование, как и «Процесс "П' будет (Ьп) в настоящем (рг)».

Свидетельство, требующее подтверждения.

УА: ЬА £ ^^(/^(Л)), (10)

УП:тП £ Г5|ш5(/С(П)). (11)

Высказывания «Событие "А" было ^з) в будущем (й)» и «Процесс “П” был

^з) в будущем (ft)» справедливы для любых событий и процессов с тем лишь ус-

ловием, что они обязательно будут в настоящем, т.е. они запланированы. Таким образом, если, например, при выполнении некоторой темпоральной последовательности поступила новая задача - обеспечить наступление некоторого события, то необходимо проверить «будет ли оно (он) в настоящем», т. е. состоит ли событие в текущей темпоральной последовательности, если нет, то необходимо построить новую темпоральную последовательность (ТБ), начиная со своего текуще-

го места положения. Следует также заметить, что для процесса здесь не исключено то, что он длится в настоящее время.

Косвенное минимально достаточное свидетельство.

Ьп(р5(Л))&Ш5(/С(Л) ^ №(А), (12)

bn(ps(П))&ws(ft(П)) ^ №(П). (13)

Если «Событие "А" (Процесс "П") был(о) (ws) в будущем (ft) и будет (Ьп) в

прошлом (рз)», то можно сказать, что пересечением этих двух высказываний явля-

ется настоящее для рассматриваемого события или процесса.

Прямое минимально достаточное свидетельство.

15(рг^ => М(А), (14)

1з(рг) ^ №(П). (15)

Можно добавить только, что в этом случае Ьд = Ьсиг,1сиг £ Тп

Свидетельство, требующее подтверждения.

УА-Ла £ ТБ1Ьп(рз(А)), (16)

УП:тП £ ТБ\Ьп(рз(П)). (17)

Высказывание «Событие "А" (Процесс "П") будет (Ьп) в прошлом» анало-

гично высказыванию «Событие "А" было ^з) в будущем (й)».

Косвенное минимально достаточное свидетельство.

ws(pr(A)) ^ Р(А), (18)

шя(рг(П)) ^^ £ тП: Р(). (19)

Высказывание «Событие "А" было ^з) в настоящем (рг)» свидетельствует о

том, что «Событие "А" «уже произошло».

Высказывание «Процесс "П" был ^з) в настоящем (рг)» означает, что процесс как минимум начался, как максимум уже закончился.

Прямое минимально достаточное свидетельство.

15(р5(Л)) ^ Р(А), (20)

15(рг(П)') ^ЗЬ £ тП:Р(). (21)

Высказывание «Событие "А" есть ^) в прошлом (рз)» так же свидетельству-

ет о том, что «Событие "А" «уже произошло». Более определенно характеризовать процессы можно событиями их начала и окончания, однако отказываться от характеристики процессов протяженными темпорами тоже не следует.

Следует еще раз повторить, что приведенные сочетания темпоральных характеристик событий и процессов справедливы для случая неизбежности будущего, т.е. в нашем случае события запланированы (находятся в темпоральной последовательности Ьд £ ТБ,тП £ ТБ). Целью характеризования событий и процессов в нескольких темпоральных теориях и установления отношений между такими характеристиками является моделирование темпоральных характеристик инструментальных двигательных действий.

Для любого события, которое еще не произошло, действительны высказывания (1), (3), (5), однако достаточным является истинность хотя бы одного высказывания, поэтому ещё не произошедшие события можно описать высказываниям (22). Для процесса, который ещё не начался, не удалось подобрать высказывание, характеризующее его как еще не наступившего, поэтому, переходя к охарактери-зованию процесса событиями начала и окончания, получим требуемую характеристику еще не начавшегося процесса (23) и, как следствие, (24):

Ьп(рг(А)) V Ьп^1(А)) V 15{/1(А'))Ъп(рг(А')') ^ F(i4), (22)

Ьп(рг(ЕЬд(П))) V Ьп(/ь{ЕЪд(П)) V

15 [Г1(ЕЬд(П)) Ьп(рг{ЕЪд(П)) ^ Р(П), (23)

Е(П) ^ Ьп(рг(П))&Ьп(/£(П))&15(/£(П)&Ьп(р5(П)). (24)

По аналогии с будущими событиями настоящие события описываются высказываниями (12), (14) и, следовательно:

Ьп(рз(А))&ws(ft(A)) V 1з(рг~) ^ М(А). (25)

Процессы, длящиеся в настоящем времени, удовлетворяют высказываниям (13), (15) и, следовательно:

bn(ps(П))&ws(ft(П)) V 15 (рг) ^ М(П). (26)

События, прошедшие в соответствии с высказываниями (18), (20), можно представить следующим высказыванием:

WS(pr(A)) V 15(р5(Л)) ^ Р(А). (27)

С точечными темпорами дела обстоят проще. Точечный темпор может «находиться» только в «будущем», только в «настоящем» или только в «прошлом».

Нахождение интервального темпора в «будущем» не исключает истинность (Ы(т)и Р(А)). То же самое можно сказать и о «настоящем» и «прошлом». Поэтому такую неопределенность можно оставить только для «настоящего», а для «прошлого» и «будущего»:

Р(ъ)=> Р(т*)&л(т4), (28)

Р(Т4) ^ N(TІ)&P(TІ). (29)

Таким образом, можно охарактеризовать нахождение события/процесса относительно некоторой позиции наблюдателя при помощи отношения на двух неметрических шкалах «прошлое- настоящее- будущее» и «было- есть- будет». При планировании достижения некоторой цели объектом управления для каждого со-бытия\процесса проектируется тэг, который характеризирует в числе прочего и темпоральные атрибуты.

Высказывания (30)-(39) характеризуют переход от схемы 1 к схеме 2:

Е^&Е^ => гШ(^2), (30)

F(T1)&F(T2) ^ пи(т1,т2), (31)

N(t1)&N(t2) ^ rtel(t1t2)&rter(t1t2), (32)

N(t1)&N(t2) ^ rtel(T1T2)&rter(TliT2) V rtel(r1T2) V

V rter(T1T2), (33)

P^-J&Pfa) => rtufafr), (34)

P(t1)&P(t2) => rtU (t1t2), (35)

F(t1')&N(t2) ^ (36)

Можно считать, что точечные события не могут следовать друг за другом без паузы на непрерывной временной шкале, в этом случае отношение rtsn следует трактовать как отношение следования точечных событий с минимальным промежутком.

P(t2)&N(t1) ^rtU{r1T2),N(T2)&F(T1) ^ rtU(т1,т2), (37)

P(t2)&F(t1) => rts(T1T2), (38)

P(t2)&N(t1) ^ rts(t1,t2),

N(t1)&F(t2) ^ rts(t1,t2)P(t1)&F(t2) ^ rts(t1,t2). (39)

В дальнейшем может оказаться целесообразным отслеживание смены положений наблюдателя с течением времени. Такие темпоральные отношения полезно распространить на большее число (>2) событий или процессов.

Отличие подхода, который предлагается, от классических темпоральных логик состоит в том, что отношения между темпорами рассматриваются не с позиции стороннего независимого наблюдателя, а с различных позиций, которые также находятся с темпорами в некоторых отношениях. Такой подход позволяет строить модели описания двигательной активности, функционирующие в реальном масштабе времени.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Сергеев Н.Е., Целых Ю.А. Информационная система автоматического описания сцен по видеоизображениям // Известия ЮФУ. Технические науки. - 2009. - № 3 (92).

- C. 253-259.

2. Ковалев С.М. Темпоральные модели анализа сложных динамических процессов на основе нечетких ориентированных гиперграфов // Известия ТРТУ. Тематический выпуск. «Интеллектуальные САПР». - 2001. - № 4 (22). - C. 96-101.

3. Ковалев С.М. Нечеткие темпоральные системы в моделях анализа акустических процессов // Материалы международного конгресса «Искусственный интеллект в 21 веке».

- М.: Физматлит. - 2001. - 847 с.

4. Кондрашина Е.Ю., Литвинцева Л.В., Поспелов Д.А. Представление знаний о времени и пространстве в интеллектуальных системах. - М.: Наука, 1989. - 328 с.

Сергеев Николай Евгеньевич

Технологический институт федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.

E-mail: oknok2005@yandex.ru

347901, г. Таганрог, ул. Дзержинского 37, кв. 64.

Тел.: 88634312241.

Начальник военной кафедры; профессор.

Sergeev Nikolay Evgenievich

Taganrog Institute of Technology - Federal State-Owned Educational Establishment of Higher Vocational Education “Southern Federal University”.

E-mail: oknok2005@yandex.ru

64 fl., 37, Dzerjinskogo street, 347901, Taganrog, Russia.

Phone: ВВ634312241.

Professor.

Целых Юлия Александровна

Технологический институт федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.

E-mail: juliet_tag@yahoo.com.

347924, г. Таганрог, ул. Воскова, 102, кв. 81.

Тел.: 89185203479.

Аспирантка.

Tselykh Julia Alexandrovna

Taganrog Institute of Technology - Federal State-Owned Educational Establishment of Higher Vocational Education “Southern Federal University”.

E-mail: juliet_tag@yahoo.com.

102, Voskov street, fl. 81, Taganrog, 347924,Russia.

Phone: 89185203479.

Postgraduate student.

УДК 004.832.34

В.А. Алексеев, М.В. Телегина, И.М. Янников

ПРИМЕНЕНИЕ МЕТОДОВ НЕЧЕТКОЙ ЛОГИКИ В ЗАДАЧАХ АНАЛИЗА ЭКОЛОГИЧЕСКИХ ДАННЫХ

В статье рассматривается этапы обработки данных биомониторинга потенциально опасных химических объектов. На примере биообъектов выполнено формальное описание процесса автоматического изменения регламента измерений параметров биоиндикаторов с помощью нечетких метаимпликаций, разработаны правила принятий решений и построены матрицы нечетких отношений.

Биомониторинг; регламент; метаимпликации; нечеткое словесное описание; логический вывод; удельное фоновое содержание загрязняющего вещества.

V.A. Alekseev, M.V. Telegina, I.M. Yannikov

APPLICATION OF METHODS OF INDISTINCT LOGIC IN PROBLEMS OF THE ANALYSIS OF ECOLOGICAL DATA

In clause it is considered stages of data processing of biomonitoring of potentially dangerous chemical objects. On an example of bioobjects the formal description of process of automatic change of the rules of measurements of parameters of bioindicators by means of indistinct metaimplication is executed, rules of decision-making are developed and matrixes of indistinct attitudes are constructed.

Biomonitoring; the rules; metaimplication; the indistinct verbal description; a logic conclusion; the specific background maintenance of polluting substance.