CC BY
77
Protection research method based on the mathematical apparatus of directed graphs is considered. This method allows to estimate protection of one element of the system, or the whole system. Mathematical model of information objects protection research has been proposed.
Key words: system protection, calculation system, directed graph.
Sichugov Alexey Alexeevich, candidate of technical sciences, docent, xru2003@list.ru, Russia, Tula, Tula State University,
Guseva Svetlana Lvovna, undergraduate, euphoria-6@mail. ru, Russia, Tula, Tula State University,
GayfulinTimurAlbertovich, undergraduate, timur. gayfulin@gmail.com, Russia, Tula, Tula State University
УДК 004.932
ТРЕКИНГ В ЗАДАЧАХ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ
В. Л. Токарев, Д. А. Абрамов
Исследованы вопросы построения системы видеоаналитики для распознавания нештатных ситуаций. Предложен метод отслеживания траекторий интересующих объектов.
Ключевые слова: система видеоаналитики, отслеживания траекторий объектов.
При разработке интеллектуальной системы видеоаналитики, предназначенной для обеспечения безопасности, часто возникает задача выбора метода, позволяющего оценивать траектории движения интересующих объектов в реальном масштабе времени. Эта задача обычно сводится к установлению соответствия между изображениями объектов (вершинами vi некоторого графа G(V,E) в последовательности кадров {Vk, k = 1,2,...} и нахождения траекторий движения объектов (последовательностей ребер {ei.k,k = 1,2,...; i = 1,2,...}, соединяющих вершины vi, принадлежащие одному объекту fi), а также вычисление их динамических характеристик (скорость, направление движения и т.п.). Многочисленными исследованиями
[1,2,3] показано, что решение этой задачи осложняется влияниями следующих факторов: 1) искажения изображений вследствие изменения освещенности сцены, влияния шумов видеокамеры и др.; 2) изменения формы объекта вследствие его движения относительно видеокамеры; 3) попадания в зону видеонаблюдения одновременно нескольких объектов с близ-
кими видовыми признаками; 4) наличия ошибок, как выделения движущихся объектов, так и их различения друг от друга - ошибок идентификации интересующих объектов; 5) случающихся перекрытий интересующего объекта другими объектами - временными пропаданиями объекта.
К настоящему времени разработан целый ряд методов трекинга
[1,3]. Под трекингом в данном случае понимается отслеживание траекторий, всех выделенных объектов. Все известные методы трекинга условно можно разделить на две группы: 1) методы трекинга объектов, представляемых одной точкой (центра сегментированного изображения или минимально возможного прямоугольника (МВП), включающего объект); 2) вычисляемыми характеристиками объекта (цветовая гамма, статистические моменты и др.). Тем не менее, остается актуальной задача разработки метода, позволяющего в реальном времени: 1) выполнять оценивание траектории в реальном масштабе времени; 2) выделять множество движущихся объектов, попадающих в поле зрения видеокамеры; 3) выделять из этого множества интересующие объекты; 4) различать (идентифицировать) интересующие объекты на время их существования в зоне наблюдения; 5) оценивать траекторию движения каждого интересующего объекта.
Такой метод должен устойчиво работать в условиях наличия:
1) большого разнообразия форм интересующих объектов; 2) возможности изменения формы интересующего объекта в процессе его движения; 3) близости наблюдаемых признаков интересующих объектов, одновременно попадающих в поле зрения видеокамеры; 4) прерывания наблюдения движущихся одного или нескольких интересующих объектов; 5) возможных пересечений траекторий движения интересующих объектов.
Основным показателем эффективности такого метода может быть использован критерий, оценивающий точность: 1) различения интересующих движущихся объектов и 2) оценивания траектории интересующих объектов.
В статье рассматривается разработка метода оценивания траекторий движения объектов, принадлежащих некоторому классу, основанного на обнаружении в поле зрения видеокамеры интересующих объектов, их идентификации и фильтрации информации, получаемой от последовательности кадров.
Предполагается, что: 1) геометрическое положение объекта отображается точкой; 2) видеокамера располагается сверху над контролируемой территорией, что делает перекрытие объектов маловероятным; 3) размеры Л1(1) изображений объектов Б1(1;) получены на предыдущем этапе; 4) геометрических параметров изображений объектов (например, отношение квадрата периметра контура к общему числу пикселей), достаточно для надежной классификации объектов; 5) для установления факта наличия угрозы безопасности достаточно оценивать траекторию и скорость движения выделенных объектов.
Суть предлагаемого подхода заключается в следующем: задача оценивания траектории сводится к двум последовательно решаемым задачам:
1) идентификации каждого движущегося объекта, попадающего в поле зрения видеокамеры по набору его признаков;
2) формирования в рабочем массиве, отображающем изображение объектов, попадающих в поле зрения видеокамеры, траекторий движения интересующих объектов в виде цепочек ребер, связывающих вершины графа.
Для решения первой задачи предложено фиксировать появление нового объекта путем сравнения ограниченной последовательности кадров Ук={у1,...,ук,...,ут} с каждой новой последовательностью Ук+1. Решение принимается о появлении нового объекта в том случае, если разность Як+1= Ук+1-Ук может быть распознана как объект, принадлежащий к классу интересующих объектов Q =^1^2,...^и}. Эта задача распознавания сформулирована следующим образом.
Каждый объект на плоскости изображения представляет собой конечное множество Л1(1) пикселов. Характеристикой этого множества может быть нормированная площадь Б: m(S) = ^ m( Pi), где m( Pi)- размеры
пиксела. Тогда может быть определена внешняя мера ) = тГ^m(pi),
где инфимум берется по всевозможным покрытиям множества Л1(1). Если
для каждого класса д определить эталон А*, то задавая е > 0, можно
сформулировать решающее правило принадлежности объекта Б классу д следующим образом:
т(л()АА* )<е® qj, (1)
где, символ А означает операцию «симметрическая разность».
Мера ) измеримого множества Л1(1;) по сути является известной мерой Лебега и потому обладает свойством о-аддитивности. Это позволяет задачу классификации свести к задаче определения множество эталонов
{а*, I = 1,...,ш}, величины е, достаточно близкой к нулю, и вычисления симметрической разности А^(1;)АА* для всех А*, I = 1,...,ш .
Особенность этой задачи состоит в том, что на первых шагах, когда из-за малого количества информации в Як+1= А1(1) разность ещё не может быть распознана как интересующий объект фе Q, и потому решение не может быть принято. Поэтому для исключения задержки, связанной с накоплением необходимого количества информации, процесс принятия решения запускается сразу при появлении Як+1 ф 0, и при этом решение формируется последовательно, с каждым шагом к, в виде дерева, в сочета-
217
нии с прогнозированием листа дерева. Листьями дерева являются классы {д1,д2,...,дп, 0}. Поэтому симметрическая разность вычисляется по рекуррентной формуле:
Як+1АА* =(й*+1\ А*)и(А* \ Кк+1) j = 1,...,I; к = 0,1,2,.... (2)
/ /
В случае, если Кк+те q .íQ, где q - класс интересующих объектов, в общем случае классов несколько, однако один класс использован исключительно для простоты изложения, запускается процедура идентификации, задача которой сформулирована следующим образом.
Требуется полученному объекту Як+ш ® F присвоить идентификатор { в соответствии с вектором признаков як+т(ф,а1,...,ап), где а1,...,ап - атрибуты с быстро определяемыми значениями, которые позволяют различить один объект от другого, даже, если они принадлежат одному классу ) Q.
Примерами таких атрибутов могут быть:
- размер А1(1;) изображения объекта Б1(1;);
- минимально возможный ограничивающий объект прямоугольник (МВП);
- яркость изображения объекта Ь(Б1(1;));
- е(Б1(1)) - геометрический центр изображения объекта Б1(1) на плоскости;
- цвет объекта - цветовая гистограмма И(Б1(1));
- максимальная протяженность по горизонтали ’1(1;) и по вертикали
^ № (‘ VН< (<), если № (I) < Н, (I) их отношение VI Г, П )) = <
У Н,(I)/(I), если Ж,(I) > Н,(I)
- компактность объекта р, (t) = А, ^)/(Н, (t )№, (t)).
- другие атрибуты в зависимости от вида наблюдаемых объектов. Например, в случае, если данных атрибутов окажется недостаточно
можно оценить тень объекта, или отношение длины объекта с тенью к длине объекта, так как при этом будет учитываться и форма тени.
Такой набор атрибутов составляет вектор признаков я(ф,а1,...,ап), в котором атрибуты упорядочены по возрастанию сложности вычислений их значений.
Соответствие между объектами Б^М) и Б1(1;) считается установленным, если:
- их смещение в пространстве 8, ^) = ^с(Г( -1)), е(Б1(1)) достаточно мало (здесь ё(а,Ь) - евклидово расстояние между точками а и Ь);
- оба объекта схожи по значениям вектора g(Г,) = p(q j,#1,...,ап) .То
есть:
F(t) = F(t -1)| min r(g(F(t -1)), g (Ff (t))) (3)
Fi (tMFj (t)}
Метрика r(a,b) вычисляется последовательно для каждого атрибута. Вычисления заканчиваются при нахождении признака gj(Fi(t))e G(Fi(t)), для которого выполняется неравенство
Г(g j (Ff (t -1)), g (Fi (t))) >8 j (4)
где 8j - порог различения объектов.
Близость размеров определяется выражением
d(A) = 1 - Ai (t -1).
' ' Aj (t)
Близость МВП и яркостей изображений - аналогичными выражениями
Расстояние между двумя нормированными гистограммами h(a) и h(b) размерности N определяется выражением
N
d(h) = I \ha (l) - hb (l)| l=1
Процедура идентификации представляет собой последовательное сравнение значений pk+m(qj,a1,...,an) со значениями pe(qj,a1,...,an) уже существующих объектов Fieqj в поле зрения видеокамеры:
З[(а, enk+m) ф (as )\ s = 1,..., n w = 1,..., l ]® Fi, (5)
где i - присваиваемый индекс объекту F , l - число объектов класса qj, уже имеющихся в поле зрения видеокамеры.
Решение второй задачи - формирование в рабочем массиве траектории движения движущихся объектов предложено осуществлять следующим образом.
На поиск траектории накладываются следующие ограничения: 1) на изменение размера изображения объекта (величины Ai(t) изображений объектов Fi(t)) на соседних кадрах (неравенство); 2) на изменение скорости движения объектов - поиск объектов проводится в ограниченной области -окружности определенного радиуса e (Формула-предикат); 3) на изменение направления траектории - поиск проводится в пределах некоторого угла ±a, отложенного от направления скорости движения (Формула-предикат).
Строится модель траектории на всей последовательности W из n кадров путем назначения ребер между вершинами графа, имеющими одинаковый индекс. Качество назначений можно характеризовать функционалом:
n mk
J(E) = min I I(Ck(Fi(t-l),Ck(Fi(t)) (6)
k=1i=1
где п-число кадров; тк-число объектов, присутствующих в к-м кадре, Е -тк-мерный вектор ребер, Ск (1) - функция характеристик объекта ^ (1).
Нахождение минимума этого функционала представляет собой достаточно сложную задачу. Поэтому, чтобы её упростить, можно воспользоваться методом локальной оптимизации.
Тогда задачу минимизации функционала (5) можно свести к задаче последовательной минимизации функционала
п тк
^(Е) = Ё Ёт1п(Ск(р1(1-1),Ск(р1(1)), (7)
к=1/ =1
Выстраивая тем самым матрицу Е (инцидентности), состоящая из нулей, свидетельствующих об отсутствии ребра между соответствующими двумя вершинами, и кодов у1, свидетельствующих о наличии ребра между соответствующими двумя вершинами, принадлежащими 1-му объекту.
Такая замена задачи (6) позволяет снизить её сложность, что позволяет получить решение Е в реальном масштабе времени.
Для определения критериев оценивания траектории целесообразно ввести матрицу назначений Вк = (ру к) и матрицу стоимостей назначения
Вк = (йук), характеризующую стоимость отклонений траекторий от направления движения. Строки этих матриц соответствуют М траекториям, а столбцы - тк+1 точкам, присутствующим на к+1 кадре.
г 1, если ттраектори Т/ к соответствует только одна тточк Ху к+1;
0, иначе;
ьу.к -
при этом
М тк+1
Ёру.к£ 1 1 £у£тк+1; Ё ру.к£ 1, 1 £ 1 £М; ьу.ке{0,1}. (8)
/=1 у=1
То есть, матрица Вк = (ру к) описывает соответствие точек последовательных кадров.
Элементы матрицы Бк представляют собой стоимость й/у к, которую получает назначение точки Xj к+1 траектории Т1.к. Для вычисления й/у к может использоваться следующий функционал:
п-1 М"к _ь ,
^^к)- тіп Ё Ё Ё Щкаук - ™1&а (і) - ^2Яе (/)} АєИк-іі-1 /-1
где
іік
(^і.к харк к-1) (х/.к-1 хі.
х і.к-1 хі.к
х ].к -1 хі.к
М "к-1
ё ё
р-1 й-1
х
р. к
%рк к
.к-1 )-(х^.к-1
х
р. к
М "к-1 ( і
Ё Ё Vх/.к-1 хік\ р-1 й-1
1 тк-1/ \
0 < й/у к < 1, К-а (/) =- Ё (1 - Ь/п к р/а к представляет собой среднюю
тк-1 -1 п=1
1 М ,
стоимость выбора траектории T,k, а я с (у) = —— Ё (1 -
М -1 р=1
среднюю стоимость назначения точки Ху к траектории Т/к, а V - набор
матриц А, удовлетворяющих условиям (8).
Алгоритм построения траектории состоит из двух шагов - инициализации и назначения точек траектории.
Инициализация проводится по первым кадрам по принципу ближайшего соседа: каждой точке следующего кадра назначается ближайшего по критерию (9) точка предыдущего кадра.
Здесь возможны следующие случаи: 1) находится только одна точка Х/к, соответствующая точке Х/к-1; 2) находится несколько точек Хук,
близких по критерию (9) точке Х/к-1; 3) не находится ни одной точки, близкой по критерию (9) точке Х/ к-1. В первом случае, создается гипотеза о начале траектории Т1.к, которая должна подтвердиться или отвергнута путем анализа последующих кадров. Во втором случае, ищется точка на к+1 кадре, соответствующая точке Х/к-1. Если такая точка находится, на к-м кадре выбирается точка Х/.к , которая соответствует критерию (8) и отстоит от точек Х/ к-1 и Х/ к+1 на наименьшее расстояние. Из этих точек формируется начало траектории Т1.к. Иначе выбирается для последующего анализа другая точка Хук -1.
В третьем случае, делается попытка найти точку, соответствующую Х/к-1, на следующих кадрах. Если это не удается, отвергается гипотеза, что точка Х/к-1 является началом траектории Т1.п. Ищется другая точка Х у.к -1 и проверка гипотезы продолжается.
Таким выстраивается траектория Т1.п в виде последовательности
ребер
Туп = МХ у к-1} ЧХ у к й к = п}
причем каждая вершина у(ху к) связывается только с одной вершиной из
предыдущих кадров и не более чем с одной вершиной на последующих кадрах.
На заключительном этапе процедуры трекинга выполняется обновление списка имеющихся объектов. Объекты, не получившие соответствия, удаляются из списка, а каждый силуэт, размером больше заданного порога и не имеющий соответствия, считается новым объектом.
Для каждого обнаруженного объекта по оценкам траектории его движения определяются следующие параметры:
221
Ь
р,
Р1к "р/к
1) минимальная скорость движения объекта
xj.k — xj.k-1
, где tr - период смены кадров,
k
2) максимальная скорость движения объекта
xj.k xj.k -1
t r
к
3) угол изменения наклона положения объекта от кадра к кадру
г (!) - г (!)
. x j.к j.k-1 (1) (2)
aj к = arctg -^2)---(2)— ,где гj к гj к - первая и вторая компоненты
xj.k - xj.k-1 вектора координат x . к.
По полученным траекториям объектов определяются также наличие или отсутствие их скрещивания. Частным случаем скрещивания является заезд транспортного средства за какую либо преграду.
Для совокупности траекторий возможно вычисление следующих характеристик: 1) расстояние между траекториями; 2) скорость изменения расстояния между траекториями, для пары из множества объектов в конкретный момент времени; 3) ускорение изменения расстояния между объектами для пары объектов из множества объектов в конкретный момент времени.
Экспериментальные исследования предложенного метода трекинга показали, что задержки срабатывания при наступлении нештатных ситуаций макета системы видеоаналитики, оценивающей траектории автомобилей, построенного на основе системного блока HP Pro 3500 MT, цифровой мегапиксельной видеокамеры Arecont Vision фирмы Tamron и стандарта MPEG, не превышают 0.1 секунды. При этом точности различения и оценивания траектории интересующих объектов находились в допустимых пределах.
Список литературы
1. Лукьяница А., Шишкин Р. Цифровая обработка видеоизображений / Москва: «Ай -Эс -Эс», 2009. 518 с.
2. Липтон А. Видеоаналитика: мифы и реальность /Computerworld Россия №22, Изд-во «Открытые системы», 2008.
3. Security Focus. Электронный журнал. - www.secfocus.ru.
Токарев Вячеслав Леонидович. д-р техн. наук, доц. tokarev22@yandex.ru Россия, Тула, Тульский государственный университет,
<
>
>
Абрамов Дмитрий Александрович, асп., sipai-dima@mail.ru, Россия, Тула, Тульский государственный университет
TRACKING IN THE PROBLEMS OF SAFETY
V .L. Токагву, D. A. Abramov
The problems of constructing a system of video analysis to detect abnormal situations. We propose a method of tracMng the trajectories of objects of interest.
Keywords: video analysis system, tracMng the trajectories of objects.
Toкarev Vyacheslav Leonidovich doctor of technical science, docent, oa-rev22@yandex.ru, Russia, Tula, Tula State University,
Abramov Dmitry Alexandorovich, postgraduate, sipai-dima@mail.ru , Russia, Tula, Tula State University
УДК 004.75
РЕАЛИЗАЦИЯ СКВОЗНОГО ПРОЕКТИРОВАНИЯ СИСТЕМ МОНИТОРИНГА ИНФРАСТРУКТУРНЫХ ОБЪЕКТОВ. ЯЗЫК Р1МЬ
Н.В. Хлебцов, Ф.А. Данилкин, А.В. Новиков
В статье описан метод повышения эффективности реализации систем мониторинга инфраструктурных проектов за счет введения специального языка программирования Р1МЦ кроссплатформенного интерпретатора Р1МЕ и компилятора Р1М1-Р1МЕ. Описываются задачи связки Р1М1-Р1МЕ и ее применения в контексте систем мониторинга.
Ключевые слова: инфраструктурный проект, мониторинг, интерпретатор, Р1МЬ, Р1МЕ.
Возникновение и развитие чрезвычайных ситуаций (ЧС) является спонтанным и трудно прогнозируемым процессом, для локализации и ликвидации которого необходимо свести к минимуму время сбора информации о месте, типе и масштабе ЧС. Координирование действий аварийноспасательных служб должно базироваться на информации о динамике развития ЧС. Для решения этих задач может применяться комплексная система мониторинга инфраструктурных объектов.
Разработка Системы базируется на данных инфраструктурного про-
