CC BY
60
УДК 004.93
DOI: 10.18698/0236-3933-2017-4-64-78
РАСПОЗНАВАНИЕ СИТУАЦИЙ НА МНОЖЕСТВЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ НЕЧЕТКИХ КОНЕЧНЫХ АВТОМАТОВ И ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ
В.В. Девятков И.И. Лычков
deviatkov@bmstu.ru lychkovi@gmail.com
МГТУ им. Н.Э. Баумана, Москва, Российская Федерация
Аннотация
Рассмотрена задача автоматического распознавания ситуаций на множестве движущихся объектов, актуальная для обеспечения безопасности людей на транспорте и в общественных местах. Определен подход к распознаванию ситуаций по временным рядам координат движущихся объектов. Наиболее разработанными методами распознавания ситуаций по временным рядам являются: скрытая марковская модель, динамическое преобразование временной шкалы и конечные автоматы. Первые два метода изначально разработаны для распознавания ситуаций в условиях шумов и сбойных отсчетов, но требуют трудоемкого обучения на примерах. Третий метод можно использовать без обучения, а для борьбы со сбойными отсчетами необходимы дополнительные средства, например, фильтры, но они снижают точность метода в условиях шумов. Предложен новый метод распознавания ситуаций по временным рядам, который не требует обучения и обладает устойчивостью к сбойным отсчетам
Ключевые слова
Компьютерное зрение, движущиеся объекты, временные ряды, распознавание ситуаций, динамическое программирование
Поступила в редакцию 29.09.2016 © МГТУ им. Н.Э. Баумана, 2017
Введение. Задача автоматического распознавания ситуаций на множестве движущихся объектов актуальна в таких областях, как видеофиксация нарушений правил дорожного движения для обеспечения безопасности дорожного движения, распознавание автодорожных ситуаций для управления беспилотным автомобилем, видеофиксация подозрительного поведения людей в общественных местах для противодействия терроризму и для охраны правопорядка, обнаружение ситуаций опасного сближения в системах предотвращения столкновений воздушных и морских судов, распознавание ситуаций в видеопотоке для извлечения информации из мультимедийных архивов. Несмотря на то, что этой задачей более 30 лет занимаются ученые всего мира, она до сих пор остается предметом активной научно-исследовательской работы. Так, по данным веб-сервиса Google Scholar в научных журналах, сборниках и конференциях за последние 2 года было опубликовано более 10 тысяч статей, имеющих отношение к распознаванию ситуаций на множестве движущихся объектов в видеопотоке.
Существующие методы распознавания ситуаций на множестве движущихся объектов в видеопотоке по способу анализа видеопотока можно условно разделить на три группы [1]: непараметрические методы, волюметрические методы, методы распознавания по временным рядам. Непараметрические методы [2-5] извлекают набор признаков из отдельных кадров видеопотока, затем сопоставляют его с заданным эталоном. Волюметрические методы [6-8] рассматривают видеопоток как трехмерный массив пикселей, выделяют в нем характерные пространственно-временные участки с помощью алгоритмов Harris3D и других, вычисляют для них дескрипторы характерных участков HOF, HOG3D, SURF3D, систематизируют значения дескрипторов в виде гистограммы и применяют классификатор для принятия решения. Методы распознавания ситуаций по временным рядам [9-11] определяют положение каждого объекта в каждом кадре видеопотока либо с помощью вычитания фона в случае фиксированной видеокамеры, либо с помощью обнаружения объектов по характерному контуру или по внешнему виду в случае подвижной видеокамеры. Затем они составляют траектории движения объектов с помощью фильтра Калмана, фильтра частиц, алгоритма оптического потока и применяют к ним алгоритмы распознавания временных рядов. Методы распознавания ситуаций по временным рядам являются наиболее универсальными, поскольку для определения положения объектов вместо видеокамер в этих методах можно использовать другие датчики: радиолокаторы, лидары, модули GPS и т. п. Далее будем рассматривать только такие методы.
Существует три конкурирующих подхода к распознаванию ситуаций по временным рядам, которые часто сравниваются в литературе [12-14]: скрытая марковская модель [10], динамическое преобразование временной шкалы [11, 15] и конечные автоматы [9, 16, 17]. Первые два подхода сводят задачу распознавания к вариационной задаче отыскания функции, которая обеспечивает максимальное значение интеграла, вычисленного по временному ряду, и решают ее с помощью динамического программирования [12]. При интегрировании шумы подавляются, поэтому отдельные сбойные отсчеты не приводят к ошибкам распознавания. Однако данные подходы требуют обучающих примеров, которые бывает сложно подготовить на практике, например, в случае редких ситуаций. Третий подход использует конечные автоматы для представления ситуаций. Конечные автоматы можно строить без обучающих примеров экспертным способом, однако они не устойчивы к шумам. Даже одиночный сбойный отсчет может привести к ложной смене состояния конечного автомата. Для борьбы с шумами применяют фильтры, однако правильные параметры фильтра сложно подобрать. Для этого надо либо знать статистические характеристики шумов, либо оценивать их по обучающим примерам. В настоящей работе предлагается новый метод распознавания ситуаций, который в качестве модели ситуации использует конечный автомат и не требует обучающих примеров, а в качестве алгоритма распознавания использует оптимизацию интеграла по временному ряду и обеспечивает устойчивость к шумам.
Описание предложенного метода. Временной ряд {xt }f=0 — это конечная последовательность наборов значений (отсчетов) xt = [xit,x2t, . ••,xmt]т признаков Xi,X2, ...,Xm движущихся объектов на интервале времени T = {0,1,2,..., N}, tgT. В качестве каждого признака Xi, i = 1, ..., m, движущихся объектов может выступать координата, скорость, угол ориентации и т. п.
Ситуацией будем называть временной ряд, обладающий определенными свойствами, подлежащими распознаванию.
Для распознавания ситуаций временные ряды будем представлять нечеткими конечными автоматами, задаваемыми экспертно. Нечеткий автомат имеет множество состояний S = {1,2, ...,n}, входной алфавит U = {1,2, ...,n} и функцию переходов f такую, что st+1 = f (st,ut), st gS, ut gU, t gT. Каждому состоянию sgS сопоставим нечеткое множество, заданное функцией принадлежности ц :dom(X)^ [0;1], где dom(X) — множество допустимых значений признака X. Набор функций принадлежности {цs} для всех состояний sgS автомата обозначим ц.
Таким образом, ситуация задается нечетким конечным автоматом (для краткости далее будем использовать термин автомат), заданным четверкой А = {S, U, f, ц}.
Для временного ряда {xt }N=0 рассмотрим последовательность состояний {st }N=0, реализуемую автоматом А, такую, что Vt g [0; N -1] 3ut g U : st+1 = f (st, ut). Для каждого члена xt временного ряда вычислим значение функции принадлежности (xt) данного члена нечеткому множеству соответствующего состояния st. Чем больше полученное значение функции принадлежности (xt), тем лучше состояние st автомата А соответствует члену xt временного ряда. Введем показатель соответствия последовательности состояний {st Щ0 временному ряду {xt }n=0:
N
% А ({st}, {xt}) =^Ц st (xt ). (1)
t=0
Чем больше значение показателя , тем лучше последовательность состояний {stN автомата А соответствует временному ряду {xt}N=0. Если найти наилучшую последовательность состояний автомата А, которая обеспечивает наибольшее значение показателя соответствия , по ней можно оценить степень соответствия автомата А временному ряду {xt}.
Введем показатель соответствия уА автомата А временному ряду {xt }N=0, равный значению показателя соответствия для наилучшей последовательности состояний {st N:
Уа({xt}) = max ({st}, {xt}). (2)
{st}
Значение показателя соответствия у а будем использовать для распознавания ситуации следующим образом. При наличии К возможных ситуаций, заданных автоматами а(1), а(2), ..., а( к), распознанной будем считать ситуацию, автомат которой обеспечивает наибольшее значение показателя у а для временного ряда {х }^=0.
Расчет показателя соответствия у а предполагает решение оптимизационной задачи поиска последовательности ^ }£=0, обеспечивающей наибольшее значение суммы (1) функций принадлежности по всем членам временного ряда. Оптимизация по критерию суммы функций принадлежности позволяет уменьшить негативное влияние шумов на точность распознавания ситуаций. Если временной ряд в целом соответствует заданному нечеткому конечному автомату, но содержит небольшое число шумовых членов, то влияние шумовых членов на общую сумму будет незначительным за счет вклада остальных членов временного ряда. Благодаря этому ситуация, представленная нечетким конечным автоматом, будет распознана с высокой степенью уверенности. Для расчета показателя соответствия уа предлагается следующая процедура. Содержание процедуры рассмотрим на примере автомата, имеющего 4 состояния и следующий граф переходов (рис. 1).
9-9-9-8
Состояние Состояние Состояние Состояние
5 = 2 5 = 3 5=4
Рис. 1. Граф переходов автомата для иллюстрации расчета показателя у а
Каждому состоянию автомата на каждом отсчете времени сопоставим вес wts е [0; +<»], £ е Т = {0,1, ...,N}, 5е 5 = {1, 2, 3, 4}. Вес wts состояния — это максимальное значение накопленной суммы функций принадлежности, которое можно получить, если совершить путь длиной £ по графу переходов автомата. Вычисление весов состояний wts осуществляется следующим образом.
Шаг 1. Вычисляются значения функций принадлежности (х0) члена х0 временного ряда для всех состояний 5 е 5 автомата (рис. 2, а).
Шаг 2. Веса всех состояний 5 е 5 автомата на нулевом отсчете времени принимаются равными соответствующим значениям функции принадлежности Ц(Х0) (рис. 2, б).
Шаг 3. Вычисленный вес каждого состояния автомата присваивается всем дугам, исходящим из вершины данного состояния (рис. 2, в).
Шаг 4. Вычисляются значения функции принадлежности Х) члена х£ временного ряда для следующего отсчета времени £ для всех состояний 5 е5 автомата (рис. 2, г).
Рис. 2. Последовательность расчета весов состояний автомата (в кружках серого цвета указаны значения функции принадлежности состояний, в остальных — значения весов
состояний и дуг)
Шаг 5. Для каждого состояния 5 е 5 автомата отыскивается входящее ребро с наибольшим весом. К весу этого ребра прибавляется значение функции принадлежности Ц5 (х£) данного состояния 5. Таким образом, вычисляется вес wts данного состояния 5 на отсчете времени £ (рис. 2, д).
Далее шаги 3-5 повторяются в цикле для расчета весов состояний автомата для остальных отсчетов времени £ = 2, 3, ..., N.
Наконец, значение наибольшего веса WNS среди всех состояний автомата для конечного отсчета времени N будет равно искомому показателю соответствия у а .
Таким образом, на каждом отсчете времени £ для каждого состояния 5 автомата в качестве веса вычисляется максимальная сумма значений функций принадлежности состояний, которую можно накопить, совершив путь длиной £ по графу состояний автомата из любого начального состояния в конечное состояние 5. Рассмотренная процедура дает оптимальное решение при условии, что функция принадлежности каждого состояния может принимать только неотрицательные значения [18].
Рассмотренную процедуру можно описать формально:
^05 = Ц(Х0), Vs е 5;
wts (xt) + max W(t-i)s*, Vs eS, Vt e{1,2, ..., N};
s*eS: 3ueU, f(s*, u)= s
У A({xt}) = max Wns .
seS
Показатель соответствия , определенный в виде простой суммы функций принадлежности (1), имеет существенный недостаток. Даже если во временном ряду {xt }N=0 отсутствуют члены, принадлежащие одному или нескольким состояниям seS автомата, показатель соответствия ^а({st}, {xt}), а значит и у a , может принимать большие значения за счет принадлежности членов временного ряда остальным состояниям автомата. На практике для успешного распознавания ситуации каждое состояние автомата является существенным, поэтому в случае малого количества членов ряда {xt }N=0, соответствующих отдельному состоянию seS автомата, показатель должен принимать малые значения.
Для достижения этого предлагается три модификации. Во-первых, предлагается модифицировать формулу (1) для расчета показателя соответствия следующим образом:
N
^А ({st },{xt}) = X Cst Цst (xt),
t=0
N
где Cs = N/ Xm*s(xt) — нормировочный коэффициент, который придает боль-
t=0
ший вес состояниям автомата, представленным меньшим числом членов временного ряда.
Во-вторых, в процессе расчета показателя соответствия уA из формулы (2), согласно описанной выше процедуре, с учетом коэффициентов Cs будут вычислены веса wts всех состояний автомата s для всех отсчетов времени t. По этим весам предлагается построить оптимальную последовательность состояний {s^}, которая обеспечивает максимальное значение показателя :
sN1 = argmax wn ;
seS
s^ = argmax w{t-i)s, Vt = N,...,2,1.
s e S: 3u eUf (s,u) =
В-третьих, по оптимальной последовательности состояний {st0™} предлагается вычислить итоговый показатель соответствия уАтог автомата A временному ряду {xt }N=0 как произведение сумм функций принадлежности по отдельным состояниям автомата:
n N (xt), 5 = 5°пт;
У ^Т0г({5?пт}> {xt}) =П ZT m опт
s = 11 = 0 I 0,01, 5 * S° ,
(3)
где 0,01 — страховочное слагаемое для защиты от обнуления произведения.
Такой показатель более чувствителен к отдельным состояниям автомата. Если хотя бы одно состояние автомата представлено малым количеством членов временного ряда, показатель (3) будет принимать малое значение, и соответствующая ситуация не будет зафиксирована.
Описание эксперимента. Предложенный метод распознавания ситуаций на множестве движущихся объектов был проверен при распознавании ситуаций дорожных конфликтов на перекрестке автомобильных дорог. Дорожный конфликт — ситуация, в которой участнику дорожного движения приходится совершить резкое торможение или маневр уклонения, чтобы избежать столкновения с другим участником движения. Измерение частоты дорожных конфликтов помогает оценить уровень безопасности дорожного движения на перекрестке [19].
Рассматривались ситуации дорожных конфликтов с участием пары движущихся объектов А и В (легковых автомобилей). Каждый движущийся объект характеризовался двумя признаками: криволинейной координатой, определяющей текущее положение объекта на его траектории движения, и скоростью движения. Каждый член временного ряда Х }£=0 имел вид: = [гА, УА, Хш, Уш ]т, где ,
Хвг и УА1, Ув1 — криволинейные координаты и скорости движения объектов А и В соответственно. Траектории движения объектов были разбиты на четыре участка, исходя из расстояния до опасной зоны пересечения траекторий (рис. 3). Опасная
Рис. 3. Траектории движущихся объектов на перекрестке
зона — это участок траектории движения объекта, при нахождении на котором объект может столкнуться с другим. Каждый объект мог находиться далеко, близко, внутри или после опасной зоны. Таким образом, рассматривалось четыре участка траектории объекта А, которые характеризовались нечеткими множествами с функциями принадлежности цА далеко(хА), ЦА близко(хА), ЦА внутри(^А), ЦА после(хА). Аналогично рассматривались четыре участка траектории движения объекта В, которые характеризовались нечеткими множествами с
функциями принадлежности Цб далекой), ЦB близко(Zв), ЦB внутри(Zв), ЦБ после(Zв). Каждый объект мог двигаться быстро, медленно или находиться в покое. Таким образом, множество значений скорости движения объектов было разбито на три диапазона, которые характеризовались нечеткими множествами с функциями принадлежности ЦедетМ, ЦмедленМ, Цстоит(у).
Было построено два автомата: первый представлял опасную ситуацию дорожного конфликта, а второй — безопасную ситуацию проезда перекрестка без конфликта. Оба автомата имели граф состояний, представленный на рис. 1. В табл. 1 и 2 приведено описание состояний построенных автоматов и различия между автоматами. Например, описание состояния «Б близко стоит» означает, что криволинейная координата объекта Б располагается в пределах участка траектории, заданного нечетким множеством с функцией принадлежности ЦБ близко(хБ), скорость Ув объекта Б попадает в диапазон, заданный нечетким множеством с функцией принадлежности Цстоит(у).
Таблица 1
Состояние автомата, представляющего опасную ситуацию
Состояние
1 2 3 4
A близко едет А внутри едет А внутри едет А после едет
В близко едет В близко едет В близко стоит -
Таблица 2
Состояние автомата, представляющего безопасную ситуацию
Состояние
1 2 3 4
A близко стоит А близко едет А внутри едет А после едет
В близко едет В близко едет медленно В близко стоит -
Функция принадлежности члена xt временного ряда, соответствующая состоянию s eS автомата, вычислялась с использованием операции минимума. Например, для первого состояния автомата, представляющего опасную ситуацию (см. табл. 1), функция принадлежности вычисляется по формуле
VAt, ZBt, VBt ]т) =
= min {ц a близко (ZAt), цA едет (VAt), цB близко (ZBt), ц B едет (VBt)}.
Исходные временные ряды были получены с помощью метода отслеживания движущихся объектов в видеопотоке, предложенного в работе [20]. Для этого использовалась видеокамера, установленная на перекрестке и доступная по интернету [21]. В ходе эксперимента было проанализировано 60 видеопотоков, из которых 27 соответствовали опасным ситуациям, 33 — безопасным
ситуациям. Результаты распознавания ситуаций следующие: из 27 опасных ситуаций верно распознаны 24 ситуации, неверно 3; из 33 безопасных ситуаций верно распознаны 31 ситуация, неверно 2. Средняя точность распознавания составила 92 %. Эксперимент подтвердил эффективность предложенного метода распознавания ситуаций на основе оптимизации накопленной суммы функций принадлежности членов временного ряда.
В табл. 3 приведен результат обработки одного временного ряда. На пер-вом-пятом отсчетах времени члены временного ряда соответствуют состоянию
51 автомата, на шестом, седьмом отсчетах времени шумовые члены временного ряда соответствуют состоянию 53 автомата, на восьмом-десятом отсчетах члены временного ряда соответствуют состоянию 52 автомата. Такая последовательность отсчетов не может быть реализована заданным конечным автоматом, поэтому шестой и седьмой отсчеты являются шумовыми и отнесены к состоянию
52 автомата с малыми значениями функции принадлежности. При этом сумма функций принадлежности по всем членам временного ряда, соответствующим состоянию 52, остается большой за счет остальных членов временного ряда, и рассматриваемая последовательность отсчетов успешно распознается.
Таблица 3
Результат обработки временного ряда
1 2 3 4 5 6
1 1,0 0,0 0,0 0,0 1
2 1,0 0,0 0,0 0,0 1
3 1,0 0,0 0,0 0,0 1
4 1,0 0,0 0,0 0,0 1
5 1,0 0,0 0,0 0,0 1
6 0,0 0,0 1,0 0,0 2
7 0,0 0,0 1,0 0,0 2
8 0,0 0,5 0,0 0,0 2
9 0,0 1,0 0,0 0,0 2
10 0,0 0,5 0,0 0,0 2
11 0,0 0,0 1,0 0,0 2
12 0,0 0,0 1,0 0,0 2
13 0,0 0,0 1,0 0,0 2
14 0,0 0,5 0,0 0,0 2
15 0,0 1,0 0,0 0,0 2
16 0,0 0,5 0,0 0,0 2
17 0,0 0,0 1,0 0,0 3
18 0,0 0,0 1,0 0,0 3
19 0,0 0,0 1,0 0,0 3
Окончание табл. 3
1 2 3 4 5 6
20 0,0 0,0 1,0 0,0 3
21 0,0 0,0 1,0 0,0 3
22 0,0 0,0 1,0 0,0 3
23 0,0 0,0 1,0 0,0 3
24 0,0 0,0 1,0 0,0 3
25 0,0 0,0 0,0 0,0 4
26 0,0 0,0 0,0 0,0 4
27 0,0 0,0 0,0 0,0 4
28 0,0 0,0 0,0 0,0 4
29 0,0 0,0 0,0 0,0 4
30 0,0 0,0 0,0 0,0 4
31 0,0 0,0 0,0 0,0 4
32 0,0 0,0 0,0 0,0 4
33 0,0 0,0 0,0 0,0 4
34 0,0 0,0 0,0 0,0 4
35 0,0 0,0 0,0 0,5 4
36 0,0 0,0 0,0 1,0 4
37 0,0 0,0 0,0 1,0 4
38 0,0 0,0 0,0 1,0 4
39 0,0 0,0 0,0 1,0 4
Примечание. Столбец 1 — номера отсчетов времени; столбцы 2-5 — значения функций принадлежности членов ряда, соответствующие первому-четвертому состояниям автомата; столбец 6 — распознанное состояние автомата
Выводы. Предложен метод распознавания ситуаций на множестве движущихся объектов по временным рядам на основе нечетких конечных автоматов и динамического программирования. В отличие от существующих методов распознавания ситуаций по временным рядам, предлагаемый метод не требует обучения на примерах, но обладает устойчивостью к шумам. Работоспособность метода подтверждена экспериментом на реальных данных.
ЛИТЕРАТУРА
1. Turaga P., Chellappa R., Subrahmanian V.S., Udrea O. Machine recognition of human activities: a survey // IEEE Transactions on Circuits and Systems for Video Technology. 2008. Vol. 18. No. 11. P. 1473-1488. DOI: 10.1109/TCSVT.2008.2005594 URL: http://ieeexplore.ieee.org/document/4633644
2. Vision-based fall detection through shape features / C.Y. Lin, S.M. Wang, J.W. Hong, L.W. Kang, C.L. Huang // Proc. IEEE Int. Conf. on Multimedia Big Data. 2016. P. 237-240.
DOI: 10.1109/BigMM.2016.22 URL: http://ieeexplore.ieee.org/document/7545029
3. Laplacian LRR on product Grassmann manifolds for human activity clustering in multi-camera video surveillance / B. Wang, Y. Hu, J. Gao, Y. Sun, B. Yin // IEEE Transactions on Circuits and Systems for Video Technology. 2017. Vol. 27. No. 3. P. 554-566.
DOI: 10.1109/TCSVT.2016.2609760 URL: http://ieeexplore.ieee.org/document/7569105
4. Шаталин Р.А., Овчинников П.Е. Алгоритм обнаружения нештатных ситуаций в задачах видеонаблюдения на основе метода главных компонент // Перспективные информационные технологии: Сборник трудов Международной научно-технической конференции. Т. 1. 2015. С. 240-244.
5. Токарев В.Л., Абрамов Д.А. Методы выделения нештатных ситуаций в информационно-измерительных системах видеонаблюдения // Известия ТулГУ. Технические науки. 2015. № 11-1. С. 258-265.
6. Seo H.J., Milanfar P. Action recognition from one example // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011. Vol. 33. No. 5. P. 867-882.
DOI: 10.1109/TPAMI.2010.156 URL: http://ieeexplore.ieee.org/document/5557879
7. Everts I., Van Gemert J.C., Gevers T. Evaluation of color STIPs for human action recognition // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. 2013. P. 2850-2857.
DOI: 10.1109/CVPR.2013.367 URL: http://ieeexplore.ieee.org/document/6619211
8. Soomro K., Zamir A.R. Action recognition in realistic sports videos // Moeslund T.B. et al. (eds.). Computer vision in sports. Switzerland: Springer International Publishing, 2014. P. 181-208.
9. Noorit N., Suvonvorn N. Human activity recognition from basic actions using finite state machine // Proc. Int. Conf. on Advanced Data and Information Engineering. 2014. P. 379-386.
10. Ji X., Wang C., Li Y., Wu Q. Hidden Markov model-based human action recognition using mixed features // Journal of Computational Information Systems. 2013. Vol. 9. No. 9. P. 3659-3666.
11. Pham C.H., Le Q.K., Le T.H. Human action recognition using dynamic time warping and voting algorithm // VNU Journal of Science: Computer Science and Communication Engineering. 2014. Vol. 30. No. 3. P. 22-30. URL: http://www.jcsce.vnu.edu.vn/index.php/jcsce/article/view/15
12. Fang C. From dynamic time warping (DTW) to hidden Markov model (HMM). University of Cincinnati, 2009. 19 p.
13. Kumar S.K., Kant L.K., Shachi S. HMM based enhanced dynamic time warping model for efficient hindi language speech recognition system // Das V.V., Chaba Y. (eds.). Mobile communication and power engineering. Springer Berlin Heidelberg, 2013. P. 200-206.
14. Bhuyan M.K. FSM-based recognition of dynamic hand gestures via gesture summarization using key video object planes // International Journal of Computer and Communication Engineering. 2012. Vol. 1. No. 6. P. 248-259.
15. Seto S., Zhang W, Zhou Y. Multivariate time series classification using dynamic time warping template selection for human activity recognition // IEEE Symp. Series on Computational Intelligence. 2015. P. 1399-1406.
DOI: 10.1109/SSCI.2015.199 URL: http://ieeexplore.ieee.org/document/7376775
16. Detecting human activities in retail surveillance using hierarchical finite state machine / H. Trinh, Q. Fan, P. Jiyan, P. Gabbur, S. Miyazawa, S. Pankanti // Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing. 2011. P. 1337-1340.
DOI: 10.1109/ICASSP.2011.5946659 URL: http://ieeexplore.ieee.org/document/5946659
17. Kerr W, Tran A., Cohen P. Activity recognition with finite state machines // Proc. Int. Joint Conf. on Artificial Intelligence. 2011. Vol. 22. No. 1. P. 1348-1353.
DOI: 10.5591/978-1-57735-516-8/IJCAI11-228
URL: https://www.ijcai.org/Proceedings/11/Papers/228.pdf
18. Bertsekas D.P. Dynamic programming and optimal control. Vol. 1. 3rd Edition. Belmont (USA): Athena Scientific, 2005. 558 p.
19. Allen B.L., Shin B.T., Cooper D.J. Analysis of traffic conflicts and collision // Journal of the Transportation Research Board. 1978. Vol. 667. P. 67-74.
20. Лычков И.И. Оптимальное отслеживание движущихся объектов в видеопотоке // Современные достижения и разработки в области технических наук. Сборник научных трудов по итогам международной научно-практической конференции. Оренбург: Эвенсис, 2016. С. 5-13.
21. Abbey Road — Crossing Webcam // abbeyroad.com: веб-сайт. URL: http://www.abbeyroad.com/crossing (дата обращения: 18.09.2016)
Девятков Владимир Валентинович — д-р техн. наук, профессор, заведующий кафедрой «Информационные системы и телекоммуникации» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).
Лычков Игорь Игоревич — старший преподаватель кафедры «Информационные системы и телекоммуникации» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).
Просьба ссылаться на эту статью следующим образом:
Девятков В.В., Лычков И.И. Распознавание ситуаций на множестве движущихся объектов с использованием нечетких конечных автоматов и динамического программирования // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 4. C. 64-78. DOI: 10.18698/0236-3933-2017-4-64-78
RECOGNITION OF SITUATIONS ON SET OF MOVING OBJECTS USING FUZZY FINITE STATE MACHINES AND DYNAMIC PROGRAMMING
V.V. Deviatkov I.I. Lychkov
deviatkov@bmstu.ru lychkovi@gmail.com
Bauman Moscow State Technical University, Moscow, Russian Federation
Abstract
Recognition of situations on set of moving objects is a crucial task for human security in transport and public places. This work improves time series approach to recognition of situations based on the analysis of time series of moving object coordinates. Hidden Markov model, dynamic time warping and finite state machines are the most studied time series methods for recognition of situations. Methods based on hidden Markov model and dynamic time warping were originally developed for
Keywords
Computer vision, moving objects, time series, recognition of situations, dynamic programming
recognition of situations in presence of noise in time series; however, they require laborious programming by examples. Methods based on finite state machine are training free, however, they require extra tools for noise eliminations, e.g. filters, and lose accuracy under noisy conditions. This work proposes a new time-series method for recognition of situations which is training free and resistant to faulty readings
REFERENCES
[1] Turaga P., Chellappa R., Subrahmanian V.S., Udrea O. Machine recognition of human activities: a survey. IEEE Transactions on Circuits and Systems for Video Technology, 2008, vol. 18, no. 11, pp. 1473-1488. DOI: 10.1109/TCSVT.2008.2005594
Available at: http://ieeexplore.ieee.org/document/4633644
[2] Lin C.Y., Wang S.M., Hong J.W., Kang L.W., Huang C.L. Vision-based fall detection through shape features. Proc. IEEE Int. Conf. on Multimedia Big Data, 2016, pp. 237-240. DOI: 10.1109/BigMM.2016.22 Available at: http://ieeexplore.ieee.org/document/7545029
[3] Wang B., Hu Y., Gao J., Sun Y., Yin B. Laplacian LRR on product Grassmann manifolds for human activity clustering in multi-camera video surveillance. IEEE Transactions on Circuits and Systems for Video Technology, 2017, vol. 27, no. 3, pp. 554-566.
DOI: 10.1109/TCSVT.2016.2609760
Available at: http://ieeexplore.ieee.org/document/7569105
[4] Shatalin R.A., Ovchinnikov P.E. [Abnormal situation detection algorithm in observation problem based on method of principal components]. Perspektivnye informatsionnye tekhnologii: Sbornik trudov Mezhdunarodnoy nauchno-tekhnicheskoy konferentsii. T.1 [Cutting-edge informational technologies: proc. Int. sci.-tech. conf. Vol. 1]. 2015, pp. 240-244 (in Russ.).
[5] Tokarev V.L., Abramov D.A. Methods of allocation abnormal situations in the information-measuring system surveillance. Izvestiya TulGU. Tekhnicheskie nauki [News of the Tula state university. Technical sciences], 2015, no. 11-1, pp. 258-265 (in Russ.).
[6] Seo H.J., Milanfar P. Action recognition from one example. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, vol. 33, no. 5, pp. 867-882.
DOI: 10.1109/TPAMI.2010.156
Available at: http://ieeexplore.ieee.org/document/5557879
[7] Everts I., Van Gemert J.C., Gevers T. Evaluation of color STIPs for human action recognition. Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 2013, pp. 2850-2857. DOI: 10.1109/CVPR.2013.367
Available at: http://ieeexplore.ieee.org/document/6619211
[8] Soomro K., Zamir A.R. Action recognition in realistic sports videos. In: Moeslund T.B. et al. (eds.). Computer vision in sports. Switzerland, Springer International Publishing, 2014, pp. 181-208.
[9] Noorit N., Suvonvorn N. Human activity recognition from basic actions using finite state machine. Proc. Int. Conf. on Advanced Data and Information Engineering, 2014, pp. 379-386.
[10] Ji X., Wang C., Li Y., Wu Q. Hidden Markov model-based human action recognition using mixed features. Journal of Computational Information Systems, 2013, vol. 9, no. 9, pp. 3659-3666.
[11] Pham C.H., Le Q.K., Le T.H. Human action recognition using dynamic time warping and voting algorithm. VNU Journal of Science: Computer Science and Communication Engineering, 2014, vol. 30, no. 3, pp. 22-30.
Available at: http://www.jcsce.vnu.edu.vn/index.php/jcsce/article/view/15
[12] Fang C. From dynamic time warping (DTW) to hidden Markov model (HMM). University of Cincinnati, 2009. 19 p.
[13] Kumar S.K., Kant L.K., Shachi S. HMM based enhanced dynamic time warping model for efficient hindi language speech recognition system. In: Das V.V., Chaba Y. (eds.). Mobile communication and power engineering. Springer Berlin Heidelberg, 2013, pp. 200-206.
[14] Bhuyan M.K. FSM-based recognition of dynamic hand gestures via gesture summarization using key video object planes. International Journal of Computer and Communication Engineering, 2012, vol. 1, no. 6, pp. 248-259.
[15] Seto S., Zhang W., Zhou Y. Multivariate time series classification using dynamic time warping template selection for human activity recognition. IEEE Symp. Series on Computational Intelligence, 2015, pp. 1399-1406.
DOI: 10.1109/SSCI.2015.199 Available at: http://ieeexplore.ieee.org/document/7376775
[16] Trinh H., Fan Q., Jiyan P., Gabbur P., Miyazawa S., Pankanti S. Detecting human activities in retail surveillance using hierarchical finite state machine. Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing, 2011, pp. 1337-1340.
DOI: 10.1109/ICASSP.2011.5946659
Available at: http://ieeexplore.ieee.org/document/5946659
[17] Kerr W., Tran A., Cohen P. Activity recognition with finite state machines. Proc. Int. Joint Conf. on Artificial Intelligence, 2011, vol. 22, no. 1, pp. 1348-1353.
DOI: 10.5591/978-1-57735-516-8/IJCAI11-228
Available at: https://www.ijcai.org/Proceedings/11/Papers/228.pdf
[18] Bertsekas D.P. Dynamic programming and optimal control. Vol. 1. 3rd Edition. Belmont (USA), Athena Scientific, 2005. 558 p.
[19] Allen B.L., Shin B.T., Cooper D.J. Analysis of traffic conflicts and collision. Journal of the Transportation Research Board, 1978, vol. 667, pp. 67-74.
[20] Lychkov I.I. [Optimal moving object tracking in video stream]. Sovremennye dostizheniya i razrabotki v oblasti tekhnicheskikh nauk. Sbornik nauchnykh trudov po itogam mezhdunarod-noy nauchno-prakticheskoy konferentsii [Present-day achievements and developments in the area of technical sciences. Proc. Int. sci.-practice conf.]. Orenburg, Evansys Publ., 2016, pp. 5-13 (in Russ.).
[21] Abbey Road — Crossing Webcam. abbeyroad.com: website. Available at: http://www.abbeyroad.com/crossing (accessed 18.09.2016)
Deviatkov V.V. — Dr. Sc. (Eng.), Professor, Head of Information Systems and Telecommunications Department, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Lychkov I.I. — Assist. Professor of Information Systems and Telecommunications Department, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Please cite this article in English as:
Deviatkov V.V., Lychkov I.I. Recognition of Situations on Set of Moving Objects using Fuzzy Finite State Machines and Dynamic Programming. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Priborostr. [Herald of the Bauman Moscow State Tech. Univ., Instrum. Eng.], 2017, no. 4, pp. 64-78. DOI: 10.18698/0236-3933-2017-4-64-78
В Издательстве МГТУ им. Н.Э. Баумана вышло в свет учебное пособие под редакцией А.И. Николаева
«Радиолокационные системы»
Изложены вопросы применения радиолокационных систем (РЛС) различного назначения в реальных условиях их функционирования, учитывающих влияние окружающей среды, подстилающей поверхности, воздействия помех. Рассмотрены задачи, требования и принципы построения РЛС управления воздушным движением, РЛС обнаружения, наведения и целеуказания, а также РЛС ракетно-космической обороны.
По вопросам приобретения обращайтесь:
105005, Москва, 2-я Бауманская ул., д. 5, стр. 1
+7 (499) 263-60-45
press@bmstu.ru
www.baumanpress.ru
