Алгоритмы видеоаналитики для обнаружения и классификации нештатных ситуаций Текст научной статьи по специальности «Компьютерные и информационные науки»

One of the possible approaches to the formation of internal image of external fields intelligent unmanned machines decomposition method for dual pairs. This approach is able to analyze and control the object needs in the operation, for example, in their own security needs. The scheme kontseptulnoy model subsystems forming images of external objects.

Key words: dual pair, decomposition by dual pairs, stand-alone machines, self-preservation, images of fields objects.

Semenchev Evgeniy Aleksandrovich, candidate of technical sciences, docent, [email protected], Russia, Tula, Tula State University

УДК 004.932

АЛГОРИТМЫ ВИДЕОАНАЛИТИКИ ДЛЯ ОБНАРУЖЕНИЯ И КЛАССИФИКАЦИИ НЕШТАТНЫХ СИТУАЦИЙ

В. Л. Токарев, Д. А. Абрамов

Рассматривается задача математического обеспечения систем автоматического обнаружения и классификации нештатных ситуаций. Предложен вариант алгоритмического обеспечения системы, основным измерителем которой является видеокамера.

Ключевые слова: видеоаналитика, классификация нештатных ситуаций.

В настоящее время существенно возрос интерес к построению информационно-измерительных систем, использующих видеокамеры в качестве источника измерительной информации. Широкое распространение подобных систем обусловлено резким падением цен на видеокамеры, ростом производительности вычислительных систем, а также развитием методов и алгоритмов обработки изображений, позволяющих обеспечить необходимую разрешающую способность.

Одной из наиболее социально значимых задач обработки видеоизображения является задача принятия решения в режиме реального времени о классе и виде нештатной ситуации (НС), появляющейся в контролируемой зоне. Решение этой задачи, основанное на автоматизации всех этапов принятия решения о классификации НС, позволит уменьшить влияние «человеческого» фактора на время выдачи соответствующего сообщения, а также повысить оперативность принятия мер по ликвидации последствий, причинённых НС.

Однако сложность ее решения, связанная с необходимостью использования методов распознавания образов, накопления и обработки больших объемов экспериментальных данных, а также учета большого числа различных факторов [1], заставляет искать другие подходы, отличающиеся меньшей вычислительной сложностью, и позволяющие оперативно получать оценку ситуации, складывающейся в контролируемой зоне.

72

В статье предлагается один из вариантов такого подхода, заключающегося в построении интеллектуальной мультиагентной системы, использующей предварительно созданные базы правил.

Основные требования к таким системам: 1) реагирование на появление НС должно быть в реальном масштабе времени; 2) критерием качества системы должен быть минимум ложных «срабатываний» при ограничении на количество пропуска нештатных ситуаций.

Один из вариантов структуры такой системы приведен на рис. 1.

Система содержит два основных модуля: видеоподсистему с модулем предварительной обработки изображений (ВПСМ) и модуль принятия решений (МПР).

Автомат, регулирующий поведение объектов

Рис. 1. Структура системы

Предполагается, что контролируемая зона имеет четко очерченные границы, движение различных объектов по ней может быть в обе стороны, число классов объектов - сравнительно небольшое (до 5-10), размеры зоны позволяют использовать для наблюдения всего одну видеокамеру.

Предварительная обработка получаемых от видеокамеры некоторой последовательности изображений, содержащейся в специальном буфере, организованном по принципу FIFO, заключается: 1) в выделении подвижных объектов, например, методом покадровых сравнений [2]; 2) в выделении из множества подвижных объектов интересующих объектов, например, методом сегментации [3] и сравнения площади сегментированной поверхности с площадями образов интересующих объектов; 3) в вычислении параметров движения интересующих объектов и некоторых признаков, характеризующих ситуации, появление которых возможно в контролируемой зоне.

Вся информация, вырабатываемая в ВПСМ, содержится в непрерывно обновляемой базе данных, из которой она извлекается модулем принятия решений. Работа модуля ВПСМ предполагает инициализацию, которая заключается в следующем.

1. Формируется начальная модель фона наблюдаемой сцены

п

Во = ПI],

7 =1

где 1к_] - ]-е множество пикселов изображения наблюдаемой сцены; п -

размер окна фильтрации изображений.

2. На фон накладывается маска, т.е. делается разметка наблюдаемой зоны 7, разграничивающая отдельные участки 7;, различающиеся правилами поведения в них подвижных объектов. Для этого каждый

участок снабжается соответствующими атрибутами: сЦ \ ^Л-),

которые сохраняются в памяти базы правил модуля принятия решений.

3. Задаются множество Е возможных ситуаций, для распознавания которых предназначается система, и их признаки а = {а1,..., а п }.

В рабочем режиме модуля ВПСМ для каждого интересующего образа объекта И|еНк различаются три фазы: 1) появление (рождение) образа в наблюдаемой зоне; 2) сопровождение образа 3) исчезновение (уход) образа

В фазе «появление»:

1) матрица фона периодически обновляется

Вк = В к _1 П ф

Л л

к _ п

П ^

^ ]=к

(1)

где к - текущий момент дискретного времени; Ф - оператор медианной фильтрации;

2) выделятся множество подвижных объектов Бк методом вычитания фона О к = 1к _ Вк и последующей фильтрации результатов;

3) из множества Ок выделяется множество Нк интересующих объектов следующим образом.

В каждой полученной матрице Ок методом сегментации [3] выделяются объекты а- ), основной характеристикой которых является относительная площадь ^, которую занимает объект а- (^) на наблюдаемой сцене. В базе правил ВПСМ хранятся шаблоны Щ- (8- )е О' и правила выделения интересующих объектов:

Щ\ < 5 ® а^) = Н- е Нк, щ)е °к, щ )е , (2)

где знак V означает симметрическую разность двух множеств пикселей, одно - сегментированная область изображения, второе - область шаблона Щ- (8- )е О';

4) затем при наличии в множестве Нк нескольких образов к (я), принадлежащих одному классу, т.е. которым соответствует один и тот же шаблон а- (Я- )е О', выполняется идентификация образов объектов, для того чтобы различать их поведение в наблюдаемой зоне. Для этого для каждой пары схожих образов определяются и последовательно сравниваются одни и те же параметры: форма сегментированных областей, цвет, яркость, направление движения и др. После нахождения параметра различия р] сравнение прекращается и каждому образу присваивается

свой идентификатор Н] (8], р]):

(к ] (у ] } Нт |8 ] — Ят ) п(р/ФРтеР) ) ^ , р ] )е нк, (3)

где Пр- фр] еР) - процедура поиска различных параметров образа объектов Н з (я з ),Нт (ят).

Если же в матрице Нк нет схожих образов Нз (я з), Нт (ят)

— Ят

к нет схожих образов ] ] т т

этот этап опускается. Оба правила (1) и (2) выполняются до тех пор, пока в множестве Ок не обнаружится ни одного нового объекта.

В фазе «сопровождение» каждому новому идентифицированному образу интересующего объекта назначается агент q(a1, а2,..., ап) с определенным набором атрибутов а. Агент - программный модуль, реализующий алгоритм рефлексного типа с использованием модели [4].

Каждый агент д] (а(-)) вычисляет координаты нахождения

соответствующего объекта в процессе движения в наблюдаемой зоне и определяются значения атрибутов а.

Каждый атрибут аШ е а отображает значение одного из признаков

ситуации оеЕ, возможной в наблюдаемой зоне. Определяются и вычисляются значения этих атрибутов. Все признаки определяются по ограниченной последовательности изображений наблюдаемой сцены, обновляемой в реальном времени в режиме «скользящего окна».

Каждому агенту Ч^а^^) соответствует строка в таблице базы данных АГЕНТЫ, в столбцах таблицы размещаются значения атрибутов

аЩт-), т = 1,...,пагентов. Эта база данных является источником входной информации для МПР.

В фазе «исчезновение (уход) объекта», которая наступает с момента, когда координаты агента выходят за пределы контролируемой зоны, агент возвращается в базу агентов, а соответствующая строка в базе данных АГЕНТЫ обнуляется.

В основе модуля принятия решений используется база знаний, включающая базу правил классификации нештатных ситуаций, которая в общем случае имеет вид

Р/

ЭкЭЬ;- е

«Срабатывание» одного из этих правил происходит при получении значения ИСТИНА соответствующего предиката, что указывает на тип появившейся в момент времени к нештатной ситуации о^е Е.

Примером задач, решаемых подобными системами, может служить задача обнаружения и классификации НС, возникающих в контролируемой зоне в результате поведения некоторого множества интересующих объектов определенных классов (интересующих объектов), по результатам обработки последовательности видеоизображений, получаемой от подсистемы видеонаблюдения.

Задача формулируется следующим образом.

ВПСМ формирует из поступающего на вход видеопотока скользящее «окно» - последовательность кадров {¿о^Д = 1,2,3,...М} (временной срез видеопотока) с изображениями контролируемой зоны.

Образ контролируемой зоны Ъ в видеопамяти ВПСМ предварительно разбит на три части (рис. 2): Зоны и т2 предназначены для движения транспортных средств, зона для движения пешеходов.

ЕС

Светофор для пешеходов

г3 II <=

[Г 22

ГТ

Светофор для транспорта '

Рис. 2. Образ контролируемой зоны

Каждая зона снабжается следующим набором атрибутов: д^ - допустимое направление движения в данной зоне, разрешенное (д!р(к)=1) или запрещенное (д^{к)=$) движение в к-й момент времени в данной зоне. Значения атрибутов д^р (к) определяются регуляторами

76

V\k)

1, если С ) = 1, 0, если С ) = 0,

где i - идентификатор класса интересующих объектов; С k)- сигнал от автомата, регулирующего поведение интересующих объектов (светофора): С k')=1 - движение разрешено, С [г)=0 - движение запрещено.

На последовательности кадров= 1,2,3,...,N}, составляющих «окно» в ВПСМ, выделяется множество подвижных объектов Ak = {ai,i = 1,...,mk}, методом сегментации и сравнения получаемых площадей с площадями шаблонов проекций объектов выделяется подмножество интересующих объектов Hk= \hj,j = 1,...,lk}i Ak . Здесь

j идентификатор объекта. Последовательность {(Ok,k = 1,2,3,...N} хранится в некотором FIFO-буфере, содержимое которого с каждым дискретным моментом времени k обновляется на граничных участках.

Множество интересующих объектов Н разбивается на два класса: ß1 - средства легкового и грузового транспорта и ß2 - пешеходы, Н=Ь1иЬ2. Для каждого класса определены правила допустимого поведения в наблюдаемой зоне Z.

В первых двух зонах z1,z2eZ (рис .2) на каждой из них для hj е ßß разрешено движение только в одну сторону (это правило rßß-*) со скоростью, не превышающей допустимую max vß1 (это правило rß^), и на расстоянии одного объекта от другого не меньше допустимого min dß (это

hj eß1 A

правило rß(3) ); при этом не пересекать третью часть зоны z3, ограничивающей пешеходный переход зон z1 и z2, при запрещающем (красном) сигнале светофора (это правило rß^). В третьей зоне z3 разрешено объектам hj е ß2 движение в обоих направлениях, но только при разрешающем (зеленом) сигнале светофора (это правило rß^); запрещено движение в поперечном направлении по зонам z1 и z2 при любом сигнале светофора (это правило rß(2) ).

Для каждой НС определяется соответствующее правило:

р1 - появление в зоне z1 или z2 объекта hj е ßß с атрибутом нарушения правил:

Р1: ЗкЗН] е р1 ^д} (а(-) )а(-) (к) ф ^ J ® °1 (к),

где - ситуация "выезд объекта Н] на встречную полосу движения"; р2 - появление в зоне 71 или 72 объекта Н] е Ь с атрибутом нарушения правил;

.(О

р 2: ЗкЗН]е

( / Р1 Ч] (а 2°,

а 2 )(к) > тах V«

®О 2(к),

где 02 - ситуация "превышение объектом Н] е Д допустимой скорости движения"; р3 - появление в зоне 71 или 72 объектов Н] е Ь и Нт е Ь с атрибутом нарушения правил;

Р3: ЗШ], Нт ер1

Ч] (а3-) )аз)(к) < тп

I "1"т

"]"т тФ ]

®03(к ),

где 03 - ситуация "сближение объекта Н] е Ь с другим объектом Нт е Р1"; р4 - появление в зоне 71 или 72 объектов Н] е Ь и Нт е Ь с атрибутом нарушения правил;

Р4 : ЗкЗН],Нт е Р1

Ч](а4-) )а4-) (к) > т1п 1, й]т)

I VlVm

тФ ]

® 04(к),

где 04 - ситуация "«подрезание объектом Н] е Ь объекта Нт е Р1" ; р5 -появление в зоне 71 или 72 объектов Н] е Ь и Ьт е Ь с атрибутами нарушения правил;

р5 : ЗкЗН], Нт ер1^д7 (а!р )(^2г)(к))д(а2г)(к) Ф ^(к),

где 05 - ситуация "проезд Н] е Ь на запрещающий сигнал светофора"; р6 - появление в зоне 73 объекта Ь] е Ь с атрибутом нарушения правил;

р 6 : ЗкЗН] е (З1 ((д ] (а2-) )(43)(к) = ^2%) Ф о)) ®а6(к),

где Об - ситуация "появление объекта Н] е Ь в пешеходной зоне (73) при

разрешенном движении в зоне 73"; р7 - появление в зоне 71 или 72 объекта Н] е Ь с атрибутами нарушения правил;

р7 : ЗкЗН] е Р2 (Ч] (а2-), (Н] > V 22 ])д ((

2 ^ > [21 V 22 ])л (а2-)(к) Ф 0)) ® 07(к),

78

где 07 - ситуация "появление объекта bj & Р2 зоне 71 или 72 при разрешенном движении транспорта в зонах 71 и 72", hj > 2^ - обозначение присутствия объекта hj в зоне 2^; р8 - появление в зоне 71 или 72 объектов hj & Ь и hm & Р1 с атрибутами нарушения правил;

р8: , hm & Ь

qj ^2

(О а(0

ш' ,а

3

а^ (k) < ш1п d а

\lj\lm т Ф 7

л\ах' (к) = о)

®08(к ):

где 08 - ситуация "столкновение объектов hj & а и hm & а".

То есть основная таблица базы данных АГЕНТЫ представляет собой матрицу М размером т (максимальное число агентов) х 1= (число атрибутов для каждой зоны: 1=1,2,3), в клетках которой располагаются значения предикатов (левой части правил р^.

В этом случае правило распознавания ситуации сводится к следующему: если в матрице М появилась хотя бы одна единица (соответствующий предикат становится истинным), то это свидетельствует о наступлении НС вызванным объектом, идентификатор которого определяется номером строки матрицы М, а тип НС определяется номером I «сработавшего» правила.

В заключение можно отметить следующее.

В статье рассмотрен подход к построению системы обнаружения и классификации нештатных ситуаций, причиной которых может быть неправильное поведение подвижных объектов. Предложенные алгоритмы видеоаналитики обладают особенностями, позволяющими их рассматривать как основу системы обнаружения и классификации различных аномалий в поведении объектов. Основным достоинством предложенных алгоритмов является их сравнительно невысокая сложность. Это обеспечивает системе высокую оперативность при практическом отсутствии ложных «срабатываний».

Полученные при апробации рассмотренных в настоящей работе решений результаты подтвердили их эффективность и возможность использования в более широком классе задач.

Список литературы

1. Математические методы распознавания образов: 15-я Всероссийская конференция: сборник докладов. г. Петрозаводск, 11 - 17 сентября 2011 г. М.: МАКС Пресс, 2012.

2. Leo Grady and Eric L. Isoperimetric Graph Partitioning for Image Segmentation IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. Vol. 28. No. 3. P. 469 - 475.

3. Лукьяница А. А., Шишкин А.Г. Цифровая обработка видеоизображений. М.: Изд-во «Ай-Эс-Эс Пресс», 2009. 518 с.

4. Рассел С., Норвиг П. Искусственный интеллект. Современный подход. 2-е изд. М.: ИД «Вильямс», 2006. 1408 с.

Токарев Вячеслав Леонидович, д-р техн. наук, доц. tokarev22@yandex. ru, Россия, Тула, Тульский государственный университет,

Абрамов Дмитрий Александрович, асп., sipai-dimaamail.ru, Россия, Тула, Тульский государственный университет

ALGORITHMS VIDEO ANALYTICS FOR DETECTION AND CLASSIFICATION OF

EMERGENCY SITUA TIONS

V.L. Tokarev, D.A. Abramov

The problem of mathematical software of automatic detection and classification of emergency situations is considered. The option algorithmic support system, the main meter of which is the camera is proposed.

Key words: video analytics, classification of emergency situations.

Tokarev Vjacheslav Leonydovich, doctor of technical science, docent, toka-rev22ayandex.ru, Russia, Tula, Tula State University,

Abramov Dmeetry Alecsandrovich, postgraduate, sipai-dimaa mail.ru, Russia, Tula, Tula State University