Научная статья на тему 'Реализация пользовательского интерфейса системы видеомониторинга на основе онтологического подхода'

Реализация пользовательского интерфейса системы видеомониторинга на основе онтологического подхода Текст научной статьи по специальности «Автоматика. Вычислительная техника»

45
1
Поделиться
Ключевые слова
АДАПТИВНЫЙ ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС / ADAPTIVE USER INTERFACE / ОНТОЛОГИЧЕСКИЙ ПОДХОД / ONTOLOGICAL APPROACH / ГРАФИЧЕСКИЙ ИНТЕРФЕЙС / GRAPHICAL INTERFACE / ОКНО-КОНТЕЙНЕР / СИСТЕМА ВИДЕОМОНИТОРИНГА / SYSTEM OF THE VIDEO MONITORING / WINDOW CONTAINER

Аннотация научной статьи по автоматике и вычислительной технике, автор научной работы — Алфимцев А.Н., Локтев Д.А., Локтев А.А.

Рассматривается задача проектирования и реализации пользовательского интерфейса для управления мультикомпонентной системой видеомониторинга. Разработанные программные модули учитывают возможность влияния оператора-пользователя на различных этапах эксплуатации комплекса видеомониторинга и возможность встраивания системы безопасности предприятия или отдельно взятого объекта в более крупную систему обеспечения безопасности на транспорте, объектах инфраструктуры, зданиях и сооружениях.

Похожие темы научных работ по автоматике и вычислительной технике , автор научной работы — Алфимцев А.Н., Локтев Д.А., Локтев А.А.,

Implementation of user interface of the system of video monitoring on the basis of the ontological approach

We consider the problem of designing and implementing the user interface, for control of multicomponents system of video monitoring. The developed software modules take into account the possible influence of the operator of the user at different stages of the operation of the monitoring and the ability to embed security system of the enterprise or single object within a larger system of ensuring safety of transport, infrastructure objects, buildings and constructions.

Текст научной работы на тему «Реализация пользовательского интерфейса системы видеомониторинга на основе онтологического подхода»

УДК: 519.685

РЕАЛИЗАЦИЯ ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА СИСТЕМЫ ВИДЕОМОНИТОРИНГА НА ОСНОВЕ ОНТОЛОГИЧЕСКОГО ПОДХОДА

А.Н. Алфимцев,

канд. техн. наук, доцент, Московский государственный технический университет им. Н.Э. Баумана E-mail: alfim@bmstu.ru Д.А. Локтев,

аспирант, Московский государственный технический университет им. Н.Э. Баумана E-mail:loktevdan@yandex.ru А.А. Локтев,

д-р физ.-мат. наук, доцент,

Московский государственный университет путей сообщения E-mail:aaloktev@yandex.ru

Аннотация. Рассматривается задача проектирования и реализации пользовательского интерфейса для управления мультикомпонент-ной системой видеомониторинга. Разработанные программные модули учитывают возможность влияния оператора-пользователя на различных этапах эксплуатации комплекса видеомониторинга и возможность встраивания системы безопасности предприятия или отдельно взятого объекта в более крупную систему обеспечения безопасности на транспорте, объектах инфраструктуры, зданиях и сооружениях.

Ключевые слова: адаптивный пользовательский интерфейс, онтологический подход, графический интерфейс, окно-контейнер, система видеомониторинга.

Abstract. We consider the problem of designing and implementing the user interface, for control of multicomponents system of video monitoring. The developed software modules take into account the possible influence of the operator of the user at different stages of the operation of the monitoring and the ability to embed security system of the enterprise or single object within a larger system of ensuring safety of transport, infrastructure objects, buildings and constructions.

Keywords: adaptive user interface, the ontological approach, graphical interface, window container, system of the video monitoring.

В данной статье делается попытка учесть многие вопросы взаимодействия различных модулей в составе единой системы безопасности [1-2], которые позволяют проводить обработку информации в автоматическом или полуавтоматическом режиме на рабочем месте пользователя, администратора или специалиста службы безопасности [3]. Существенное внимание уделяется подпрограммам получения изображения подвижных и неподвижных объектов, как в помещении, так и вне его, формализация его с помощью постоянно обновляемой базы данных; визуального распознавания с помощью вычислительных алгоритмов, реализованных на языке написания сценариев; создания клиентских и серверных приложений, которые могли бы обрабатывать поступающую информацию и экспортироваться на другие рабочие станции компьютерной сети предприятия или внешних контрагентов [4-5]; создания шаблонов ситуационного интерфейса, которые могут модернизироваться под изменяющиеся задачи и объекты распознавания [6-7]. Отличительной особенностью настоящей работы также является и то, что полученные алгоритмы являются не только средством решения поставленных задач [8], но и самостоятельными объектами исследования, для которых определяются вычислительная сложность, оптимальность [9], сложность программной реализации на межсистемных платформах.

ПОСТАНОВКА ЗАДАЧИ

Система контроля и управления доступом (СКУД) включает: считывающие устройства, устройства преграждающие управляемые, управляющее программное обеспечение, контроллеры и т.д. Одним из основных элементов такой системы являются процедуры и алгоритмы идентификации, каждый из них имеет свои достоинства и недостатки. На устройства распознавания объектов могут влиять условия окружающей среды, наличие очков, контактных линз, фоновых шумов, все это может привести к некорректному считыванию устройством информации. Поэтому наибольший интерес представляет распознавание и прослеживание объекта по всему его маршруту следования. Технологии распознавания лица хорошо работают со стандартными видеокамерами, которые транслируют данные и управляются персональным компьютером.

Для оценки возможностей средств наблюдения основными параметрами являются: фокусное расстояние, угол поля зрения и изображения, светосила, разрешение, частотно-контрастная характеристика.

В основе используемой в работе методики распознавания образов заложен алгоритм adaptive boosting (адаптивное усиление) или сокращенно AdaBoost [8]. Смысл алгоритма заключается в том, что если имеется набор эталонных объектов и множество простых классификаторов, то на основе их синтеза можно составить один более совершенный и мощный классификатор. При этом в процессе составления или обучения финального классификатора акцент делается на эталоны, которые распознаются «хуже».

AdaBoost вызывает слабый классификатор в цикле, после каждого вызова обновляется распределение весов Dкоторые отвечают важности каждого из объектов обучающего множества. На каждой итерации веса любого неверно классифицированного объекта возрастают, таким образом, новый классификатор «фокусирует свое внимание» на этих объектах и минимизирует взвешенную ошибку классификации:

m

h = arg min e j, здесь e' = X D (i tУ Ф hj (x' Я, (1)

£1 - взвешенная ошибка классификатора Н, если е/ > 0,5, то выполнении е алгоритма прекращается.

После этого строится результирующий классификатор

( T

в котором at = — In

H (x) = sign

Xa ht (x)

(2)

Таким образом, после выбора оптимального классификатора для распределения В объекты х , которые классификатор идентифицирует корректно, имеют веса меньшие, чем объекты, идентифицирующиеся некорректно. Следовательно, когда алгоритм тестирует классификаторы на распределении Вон будет выбирать классификатор, который лучше идентифицирует объекты, неверно распознаваемые предыдущим классификатором. Для построения отдельных классификаторов используются примитивы Хаара [9].

Для управления описанными модулями в составе единой системы видеомониторинга предлагается использовать одну из разновидностей гра-

Et

фического пользовательского интерфейса, WIMP-интерфейс («window, icon, menu, pointing device» - окно, значок, меню, манипулятор).

В общем случае, любое средство для создания графического интерфейса должно решать две главные задачи: сокращать цикл разработки (обладать производительностью) и обеспечивать защиту инвестиций в проект (минимизировать доработки) [2]. Для этого к таким интерфейсам предъявляются следующие требования: поддержка информационной технологии работы пользователя с программным продуктом; гибкость; мобильность; удобство сопровождения; многократное использование элементов экранных изображений (схем). При этом предлагается учитывать характеристики пользователей в качестве критериев интерфейсной адаптации [3-4]. Для максимальной производительности пользователя интерфейс должен быть удобным или эргономичным [5-6]. Эргономика интерфейса определяется очень простым способом: чем больше действий пользователь во время работы может выполнять одним устройством, тем он эргономичнее. Для создания пользовательского интерфейса необходимо продумать диалоги и задачи пользователя, WIMP-интерфейс, формирование текстов программы, применяемые графические сцены, а также связь разрабатываемого интерфейса с прикладной программой.

ОНТОЛОГИЧЕСКИЙ ПОДХОД

Подход, использующий онтологии для представления используемых при проектировании интерфейса понятий, позволяет более подробно и качественно описать проектируемый пользовательский интерфейс для дальнейшего его перевода в программный код, чем другие методологии. При применении онтологического подхода к автоматизации профессиональной деятельности необходимо выделить системы понятий, использующиеся специалистами рабочей группы при проектировании пользовательского интерфейса.

Структура системы понятий WIMP-интерфейсов состоит из множества элементов интерфейса [6]. Каждый элемент интерфейса определяется своим типом, множеством параметров, событий и функций. Основными элементами интерфейса, предназначенными для группировки элементов в связанные группы и представленные в виде прямоугольных областей экрана, являются элементы интерфейса типа «окно-контейнер». Элементы интерфейса, предназначенные для опе-

раций ввода/вывода данных и вызова команд, принадлежат типу «элемент управления», тип «вспомогательный элемент» используется для описания элементов интерфейсов двух предыдущих типов. С каждым элементом интерфейс связывается множество его событий, определяемых именем и множеством параметров. События определяют реакции элемента интерфейса при его взаимодействии с пользователем. Для описания множества возможных действий над элементом интерфейса используются функции. Каждая функция определяется именем, множеством параметров и типом возвращаемого значения.

Наиболее эффективным средством представления информации являются графические методы ее отображения, при этом используются графические сцены, которые состоят из базового графического изображения, простых и составных фрагментов и примитивов. Базовое графическое изображение (база) - произвольный графический рисунок, схема, эскиз и т.д., разбитый на фрагменты и являющийся основой для нанесения на него различных вспомогательных изображений. База имеет свою систему координат и локальное время заданного формата. Особую значимость эти атрибуты приобретают при описании маршрутов движения объектов (примитивов) по базе. База имеет следующие атрибуты: имя, образ, точка отсчета, формат времени. Примитив - вспомогательное изображение, наносимое на базовое изображение, для добавления нового графического объекта на сцену. После нанесения примитива на базу он может передвигаться по заданному маршруту и изменять свое изображение при пересечении каких-либо областей других примитивов. Примитив имеет следующие атрибуты: имя, свойства, координаты.

Любой диалог пользователя с программным средством ведется в соответствии с некоторым сценарием, который зависит от типа пользователей, их требований, функций прикладной программы и является, соответственно, компонентом пользовательского интерфейса. Система понятий, связанная со сценарием диалога, определяет множество возможных состояний диалога и действий, которые выполняются в каждом состоянии. Состояние диалога определяется событием, которое возникает в элементе интерфейса. Действия задают последовательность инструкций, которые выполняются в ходе реакции на событие.

При использовании онтологического подхода выделяются следующие системы понятий, в терминах которых осуществляется проектирование пользовательского интерфейса:

1) Модель онтологии системы понятий диалога (ОСПД) описывает структуру терминов системы понятий диалога в виде связей между ними.

2) Модель онтологии задач пользователя (ОЗП) описывает задачи, которые он может решить с помощью программного средства.

3) Модель онтологии WIMP-интерфейсов состоит из двух частей: элементы интерфейса типа «окно-контейнер» предназначены для группировки элементов интерфейса в семантически связанные группы; события элементов интерфейса Eventsi={Eventij} задают множество возможных реакций элемента интерфейса на события, возникающие в ходе взаимодействия с пользователем.

4) Модель онтологии для формирования текстов, которая позволяет строить и использовать текстовые фрагменты в пользовательском интерфейсе.

5) Модель онтологии графических статических и динамических сцен на плоскости, при описании этой модели используются следующие типы переменных: Z - множество всех целых чисел; N - множество всех натуральных чисел; R - множество всех действительных чисел; Strings - множество всех строк; Images - множество всех графических рисунков; Colors - множество всех цветов; Coords={(X,Y): X,YE.Z} - множество всех координат; Bool - логический тип; LineTypes - множество всех толщин линий; Figures - множество всех геометрических фигур.

6) Модель онтологии сценария диалога (ОСД) - описывает начальное окно, которое появляется на экране монитора после запуска программного средства, структуру реакций на события, типы конструкций, доступных при описании реакций на события, типы инструкций, доступных при описании реакций на события, а также стандартные функции диалога.

7) Модель онтологии связи интерфейса с прикладной программой описывает структуру программных интерфейсов Interfaces, используемых при взаимодействии интерфейса и прикладной программы.

На рис. 1 схематически показана структура визуализации на основе онтологического подхода.

РЕАЛИЗАЦИЯ ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА

На основе предложенной методики были разработаны и реализованы следующие компоненты интерфейса:

<&г>

\Л/1МР-интерфейс, формирование текстов, графические сцены

Рис. 1. Визуализация на основе онтологического подхода

1. Охраняемая территория делится на сектора, причем здание входит в отдельный сектор.

2. Представлено здание в 3D виде. Наружные камеры по фасадам, внутренние - по этажам. Можно выбрать или указателем, или путем ввода в командную строку номера интересующего участка.

3. Этаж с подсветкой номеров помещений-участков и номеров камер. Здесь же нужно, чтобы был показан уровень доступа в каждое помещение (возможно, подсветка по периметру).

4. Возможна организация картинок с камеры по помещениям и по маршрутам (вход - лифт - туалет, комната охраны - вход и т.д.).

5. Рабочие режимы, которые подстраиваются под охрану, в одном окне с сигнализацией об опасности, даже если окно закрыто.

6. При получении картинки с отдельной камеры распознанные и нераспознанные объекты выделяются по-разному. Показываются параметры нахождения объекта (время, где был (какими камерами был определен или номер помещения-участка).

7. Когда появляется картинка с одной камеры или с нескольких, то работает режим распознавания. Возможно, несколько режимов: наблюдения, распознавания, анализа (сравнения), когда выводятся различные данные об объектах, в том числе и за предыдущие даты.

8. После работы с изображением одиночной камеры появляется возможность работы с БД.

9. В большинстве окон и модулях возможно ручное и автоматическое распознавание и вообще работа.

10. Ведется журнал log-данных всех происшествий, всех перемещений распознанных объектов (или отмеченных), а также всех действий оператора-охранника.

11. В случае нераспознавания объекта отдельные кадры съемки сохраняются, объект отмечается и передается от камеры к камере.

В первом окне (рис. 2) показан вид всей охраняемой территории: здания и окружающей его территории, который разбит на пронумерованные сегменты, причем здание относится к отдельному сегменту. Перейти в другое окно возможно с помощью кнопки «Перейти в другое окно» и дальнейшего ввода номера нужного окна в командную строку и нажатия «Enter» либо с помощью кнопок «Назад «Вперед

Перейти в другое окно

Режим активного выделения

Вид всей охраняемой территории

1 ! ? ! 3

Здание

7

4 | 5 | 6

Строка состояния

Командная строка

Сигнал тревоги

Рис. 2. Первое окно

Во втором окне представлен вид здания либо в нормальном режиме, либо в режиме моделирования (рис. 3), либо в режиме прозрачности.

В третьем показывается план выбранного ранее этажа здания с камерами. Возможно перейти к просмотру по камерам, по комнатам, по маршрутам. В четвертом окне (рис. 4) представлено множество камер в выбранной ранее комнате либо по выбранному ранее маршруту. После перехода на просмотр отдельной камеры применяется метод распознавания Виола-Джонса с применением примитивов Хаара.

Далее возможно 4 варианта развития событий:

1-й вариант: человек распознан как известный, при этом возможно выбрать любого из известных по номеру (если их несколько), просмотреть данные об этом человеке и управлять его доступом к помещениям.

$|0„,о2 1 М

Рис. 3. Второе окно - режим моделирования здания

Рис. 4. Четвертое окно

2-й вариант: если человек распознан как неизвестный, то возможно выбрать любого из неизвестных по номеру (если их несколько), изменить освещение в комнате для попытки распознать его как известного либо внести в БД.

3-й вариант: есть входящие и не входящие в БД лица, при этом можно выбрать внесенные и не внесенные в БД объекты по номеру, изменить освещение, посмотреть данные об известном человеке (рис. 5).

Щ Окно5 - |П| Х|

Этаж 1

Камера 1-

Рис. 5. Пятое окно - распознанные и нераспознанные лица вместе

4-й вариант: распознавания не происходит, т.е. либо никаких объектов в поле зрения камеры нет, либо невозможно провести распознавание объекта. В этом случае возможно изменить освещение и попытаться распознать еще раз либо посмотреть соседние камеры.

ЗАКЛЮЧЕНИЕ

В ходе проведения исследований был рассмотрен состав и основные функции систем контроля и управления доступом, математически описана используемая в данной работе методика, основанная на алгоритме распознавания образов adaptive boosting, который использует примитивы Хаара. Были перечислены требования к созданию пользовательских интерфейсов и задачи, которые они должны решать. На основе рассмотренного онтологического подхода к разработке человеко-машинного интерфейса и принципов построения пользовательских интерфейсов был спроектирован комплекс визуального распознавания объектов.

В работе был создан комплекс приложений, отвечающих за человеко-машинный интерфейс, который позволяет достаточно свободно вирту-

ально перемещаться пользователю по зданию от камеры к камере. Для тестирования приложения визуального распознавания объектов был использован видеоряд, полученный на конференции, проходившей в Московском государственном строительном университете. В ходе тестирования были распознаны многие объекты в виде лиц участников, были выполнены основные операции при работе с базами данных. Все вышеперечисленное позволяет надеяться на то, что система будет протестирована и в других условиях, а затем использована в жилых и общественных зданиях, объектах инфраструктуры и транспорта.

ЛИТЕРАТУРА

1. Данилов О. Альтернативные интерфейсы // Компьютерное обозрение. №4, 1999.

2. Алфимцев А.Н., Девятков В.В. Интеллектуальные мультимодаль-ные интерфейсы. - Калуга, 2011.

3. Костюк В.И., Ходаков В.Е. Системы отображения информации и инженерная психология - Киев, 1977.

4. Зинченко В.П., Моргунов Е.Б. Введение в практическую эргономику. - М., 1990.

5. Артемьева И.Л. Многоуровневые математические модели предметных областей // Искусственный интеллект, Т. 4, 2006.

6. Грибова В.В., Тарасов A.B. Модель онтологии предметной области «Графический пользовательский интерфейс» // Информатика и системы управления, №1(9), 2005.

7. Грибова В.В., Клещев A.C. Концепция разработки пользовательского интерфейса на основе онтологии // Вестник ДВО РАН, 2005. №6.

8. Bardram J. Collaboration, Coordination, and Computer Support: an activity theoretical approach to the design of Computer Supported Cooperative Work, Ph.D. thesis, University of Aarhus, 1998.

9. Langley P. User modeling in adaptive interfaces // Proc. of the Seventh Intern.Conf on User Modeling. 1997. P. 357-370.