CC BY
44
УДК 004.72
DOI: 10.17586/0021-3454-2016-59-11-906-912
КОРПОРАТИВНАЯ ИНФОРМАЦИОННАЯ СИСТЕМА ОБСЛУЖИВАНИЯ ПОЛЬЗОВАТЕЛЕЙ КАК КОМПОНЕНТ КИБЕРФИЗИЧЕСКОГО ИНТЕЛЛЕКТУАЛЬНОГО ПРОСТРАНСТВА
Д. К. Левоневский, И. В. Ватаманюк, А. И. Савельев, А. В. Денисов
Санкт-Петербургский институт информатики и автоматизации РАН, 199178, Санкт-Петербург, Россия E-mail: [email protected]
Рассматривается корпоративная информационная система как компонент ки-берфизического интеллектуального пространства, предоставляющего многомодальные информационно-навигационные сервисы. Представлена структура информационной системы и приведены сценарии обслуживания посетителей с использованием киберфизического окружения.
Ключевые слова: киберфизические системы, многомодальные интерфейсы, интеллектуальное пространство, информационно-навигационные сервисы
Введение. Киберфизические системы (КФС) предоставляют широкий спектр возможностей в различных сферах человеческой деятельности. КФС состоит из физической части (сенсоры, актуаторы), взаимодействующей с окружающей средой, и интеллектуальной части (вычислительные устройства) [1]. Поскольку КФС совмещают вычисления, коммуникации и физическое взаимодействие [2], их использование незаменимо в системах, для которых полнота данных, время отклика и точность являются особо важными характеристиками.
КФС — это общее понятие, которое объединяет разработки в различных областях, таких как медицина [3] (контроль состояния здоровья [4], телехирургия [5, 6], ассистивные системы для пожилых и лиц с ограниченными возможностями [6]), робототехнические промышленные системы [7, 8], управление робототехническими мультиагентными системами [9], автономные мобильные системы [10, 11], управление автомобильным движением, генерация и распределение электроэнергии [12, 13], разработка и оснащение интеллектуальных пространств [14, 15], Интернет вещей [16], игровая индустрия и индустрия развлечений и т.д. [2, 17]. Несмотря на некоторую расплывчатость термина КФС от традиционных бортовых систем, систем реального времени и сенсорных сетей отличают следующие особенности:
— наличие вычислительного потенциала в каждом физическом компоненте системы;
— высокая степень автоматизации;
— обеспечение сетевого взаимодействия на многих уровнях системы;
— сохранение высокой степени интеграции при пространственном и временном масштабировании;
— возможность динамической реорганизации и реконфигурации [18].
Одна из наиболее востребованных сфер применения КФС — интеллектуальные пространства и, в частности, область человекомашинного многомодального взаимодействия в рамках интеллектуальных пространств. Слияние данных сенсоров КФС позволяет человеку взаимодействовать с ней путем использования различных модальностей (речь, жесты, артикуляция лица, направление взгляда и т.д.). Многомодальный человекомашинный интерфейс благодаря избыточности обрабатываемых данных позволяет снизить количество ошибок и предоставляет наиболее естественный для человека способ взаимодействия с окружением [19, 20].
Архитектура корпоративной информационной системы. Рассматриваемый подход к распределению сенсорных, сетевых, вычислительных и сервисных задач между компонента-
ми киберфизической системы (мобильными роботами, встроенными устройствами, мобильными клиентскими устройствами, стационарным сервисным оборудованием, облачными вычислительными и информационными ресурсами) предполагает, что мобильным робототехни-ческим комплексам отводятся только те функции, которые не могут быть реализованы стационарными устройствами (например, сопровождение человека роботом). Среди стационарных компонентов киберфизической среды выделяется распределенная корпоративная информационная система, в задачи которой входит отслеживание событий (приход и уход сотрудников и гостей, проведение мероприятий), регистрация и распознавание посетителей, хранение их профилей, взаимодействие с посетителями с помощью сенсорных экранов, трансляция информационных сообщений на стационарные экраны.
Рассмотрим более подробно архитектуру системы, отвечающей за обработку событий во времени, а также диспетчеризацию и отображение информационных материалов. Среди существующих систем этому набору задач наиболее точно соответствуют системы Digital Signage. К гибкости, динамичности и расширяемости компонентов киберфизической среды предъявляются высокие требования, поэтому следует тщательно рассмотреть существующие открытые решения Digital Signage (Xibo, Concerto v2, Vodigi и др.). Выявлено, что эти системы имеют следующие недостатки: отсутствие средств шаблонизации, т.е. возможности автоматически формировать множество медиафайлов из одного шаблона, используя внешний источник (например, базу сотрудников организации); высокая инерционность системы даже при соответствующих настройках, что критично при необходимости отображения мгновенных оповещений (например, приветствие сотрудника системой, сигнал тревоги). Кроме того, клиентские приложения недостаточно проработаны (например, в системе Xibo высокая нагрузка на браузер при большом количестве объектов в расписании), а способы задания условий для активации событий не являются гибкими; также можно отметить существенную зависимость системы от платформы (например, есть клиенты системы Xibo для платформ Windows и Android, но для Ubuntu существует только альфа-версия).
Для удовлетворения имеющихся требований разработана новая система для отображения цифрового контента, состоящая из сервера, мониторов и администраторских терминалов, взаимодействующих по сети.
Ключевым компонентом системы является сервер, к функциям которого относится хранение информации о пользователях, мониторах и их группах, отслеживание событий, хранение медиаконтента, формирование расписаний отображения медиаконтента для каждого монитора, формирование и передача мониторам медиаконтента и управляющих команд, предоставление администратору и операторам веб-интерфейса для управления системой. Основными компонентами сервера, архитектура которого представлена на рис. 1, являются база данных, где хранится информация об объектах информационной системы, сервер приложений, отвечающий за выполнение задач сервера, и веб-сервер, предоставляющий доступ клиентам (администраторам, операторам, мониторам).
Рис. 1
Алгоритмы, лежащие в основе функционирования сервера, опираются на объектно-ориентированную модель данных. Классы, определяющие объекты, упорядочены в структуру. Фрагмент системы классов показан на рис. 2.
Рис. 2
Все классы наследуют базовому типу TGeneric. Благодаря этому к основным свойствам, не зависящим от специфики типа, можно обращаться через унифицированный интерфейс. Иерархия включает такие типы, как пользователь информационной системы (TUser), группа пользователей (TUserGroup), монитор (TMonitor), медиафайл — видеоизображение, HTML (TMediafile), событие, которое активируется при определенных условиях, например, в заданный момент времени (TEvent) и др.
Основная функция сервера — динамическое формирование расписания медиафайлов для монитора. Расписание представляет собой упорядоченный список (очередь). Новые ме-диафайлы добавляются в конец списка по мере того, как медиафайлы из его начала воспроизводятся и исключаются из очереди.
Алгоритм обновления расписания (т.е. добавления в него N очередных медиафайлов) для монитора M состоит из следующих шагов.
1. Определение множества активных событий путем проверки условий их активации.
2. Определение множества активных событий {EM}, ассоциированных с мониторомM.
3. Определение множеств активных событий {Eq}, ассоциированных с группами мониторов G1, G2, ..., Gn, которые содержат монитор M.
4. Определение полного множества активных событий для монитора:
{E} = {Em } u {Eg1 } u {Eg2} u ... u {E^}.
5. Исключение из расписания медиафайлов, ассоциированных с событиями, не входящими в множество {E}.
6. Определение множества медиафайлов {F}, ассоциированных с множеством {E}.
7. Упорядочение множества {F} по времени последней активизации (в порядке возрастания).
8. Добавление первых N файлов из множества {F} в конец расписания.
9. Обновление времени последней активизации для файлов из множества {F}.
10. Ожидание следующего запроса на обновление.
Операции поиска и сортировки, составляющие основу алгоритма, эффективно выполняются сервером базы данных. Перенесение вычислительно сложных задач на сервер базы данных позволяет добиться их выполнения за время, удовлетворяющее требованиям поставленной задачи. Так, пп. 1—7 приведенного алгоритма могут быть выполнены посредством одного SQL-запроса. Рассмотрим, к примеру, время выполнения запроса для определения 10 очередных медиафайлов для монитора при различном количестве медиафайлов в базе данных. Рис. 3 иллюстрирует зависимость времени генерации (¿) очереди медиафайлов от размера базы данных N и показывает, что даже при большом количестве записей (порядка 100 тыс.) запрос выполняется за приемлемое время (менее 1 с), что намного меньше времени трансляции ме-диафайла.
t, с 0,2 0,15 0,1 0,05 0
10
100
1000 Рис. 3
10000
100000 N
Монитор представляет собой стационарный программно-аппаратный комплекс, предназначенный для трансляции медиаконтента в соответствии с расписанием. Он состоит из дисплея и неттопа, подключенного к серверу информационной системы. Для работы монитора на неттоп устанавливается веб-браузер с поддержкой HTML5. UML-диаграмма, описывающая взаимодействие монитора и сервера, приведена на рис. 4, а. Она определяет характер и последовательность действий компонентов системы при трансляции медиафайлов, в частности процессов инициализации (функции init, checkIn), получения расписания (getSchedule), предзагрузки контента (preload) и демонстрации контента (display). Компонентами монитора являются контроллер (Controller) и модуль просмотра (Viewer). Контроллер соединяется с сервером, получает информацию о расписании и передает ее модулю просмотра, который выполняет предзагрузку медиафайлов и их отображение.
Терминалы администратора и операторов системы предоставляют доступ к управлению мониторами, событиями, пользователями и медиаконтентом. Административный интерфейс сервера предоставляется через Web. Таким образом, на терминале администратора достаточно наличия веб-браузера. Схема интерфейса представлена на рис. 4, б.
а) б)
Viewer
Controller
Т
Server
init()
checkIn(id)
true getScheduleO
preload(schedule)
display(schedule[0]) ^-
___ready()__^
^preload(schedule)
schedule
getSchedule()
-1
schedule £--------
Главное меню
Мониторы
События
Контент
Расписание
Просмотр
Пользователи
Выход
Корпоративная информационная система
Мониторы
Расписание
Активные события
Рис. 4
Сценарии многомодальных информационно-навигационных сервисов. Рассмотрим сценарии обслуживания пользователи на примере разрабатываемого киберфизического интеллектуального пространства СПИИРАН. Пользователи подразделяются на следующие категории: сотрудники института; студенты; представители делегаций; одиночные гости; экскурсанты музея школы К. Мая и музея СПИИРАН; прочие (разнорабочие, курьеры и т.д.). Основное отличие сотрудников института от остальных категорий посетителей — наличие индивидуального КБГО-пропуска. Остальным категориям пользователей предлагается выбрать соответствующий их статусу пункт меню на сенсорном экране и следовать дальнейшим указаниям. Сценарии многомодальных сервисов регистрации сотрудников института и студентов представлены на рис. 5, а, б соответственно, меню для посетителей — на рис. 5, в—г.
а)
Начало
б)
Сохранить снимок на сервере
Соотнести снимок с ГО пользователя
Аутентифицировать сотрудника
Зарегистрировать время входа/выхода
Конец
Начало
Студент аутентифицирован ? ^^ Да
X Нет
Зарегистрировать информацию о вузе и
группе
1
Предложить меню
1
Ожидать ответа
пропускной системы
1
Сделать и сохранить
снимок
1
Соотнести снимок
с вузом и группой
1
Зарегистрировать
время входа/выхода
в)
Информация о СПИИРАН
Структура СПИИРАН
Расписание группы/ преподавателя
Найти аудиторию
Позвонить преподавателю
Аудиогид
Робот-гид
г)
Конец
Информация о СПИИРАН
Структура СПИИРАН
Демонстрационное видео
Позвонить сотруднику
Найти аудиторию
Аудиогид
Робот-гид
Рис. 5
Заключение. Информационно-навигационные сервисы киберфизического интеллектуального пространства СПИИРАН находятся на стадии внедрения.
Разработанная корпоративная информационная система, продемонстрировавшая в ходе экспериментов достаточно высокую производительность при работе в режиме реального времени, будет интегрирована в киберфизическую среду организации. Данная система использует стандартные сетевые технологии, не привязана к конкретным программно-аппаратным платформам, соответствует критериям расширяемости и переносимости.
Внедрение киберфизического интеллектуального пространства позволяет упростить и
ускорить процедуру регистрации и идентификации пользователей, а также предоставить им
удобный инструмент, позволяющий ориентироваться в здании и получить необходимую информацию, обратившись к любому сотруднику при помощи приложения видеоконференцсвязи.
СПИСОК ЛИТЕРАТУРЫ
1. Alur R. Principles of Cyber-Physical Systems. Cambridge, MA: MIT Press, 2015.
2. Lee E. A., Seshia S. A. Introduction to Embedded Systems, A Cyber-Physical Systems Approach. 2011 [Электронный ресурс]: <http://LeeSeshia. org>.
3. Lee I., Sokolsky O. Medical cyber physical systems // Proc. of the 47th Design Automation Conf. ACM, 2010. P. 743—748.
4. Hackmann G. et al. Cyber-physical codesign of distributed structural health monitoring with wireless sensor networks // Parallel and Distributed Systems, IEEE Transact. 2014. Vol. 25, N 1. P. 63—72.
5. Lee G. S., Thuraisingham B. Cyberphysical systems security applied to telesurgical robotics // Computer Standards & Interfaces. 2012. Vol. 34, N 1. P. 225—229.
6. Eren H., Webster J. G. Telemedicine and Electronic Medicine. CRC Press, 2015.
7. Wang L., Torngren M., Onori M. Current status and advancement of cyber-physical systems in manufacturing // J. of Manufacturing Systems. 2015. Vol. 37, N 2. P. 517—527.
8. Lee J., Bagheri B., Kao H. A. A cyber-physical systems architecture for industry 4.0-based manufacturing systems // Manufacturing Letters. 2015. Vol. 3. P. 18—23.
9. Fink J., Ribeiro A., Kumar V. Robust control for mobility and wireless communication in cyber-physical systems with application to robot teams // Proc. of the IEEE. 2012. Vol. 100, N 1. P. 164—178.
10. Wan J. et al. Cyber-physical systems for optimal energy management scheme of autonomous electric vehicle // The Computer Journal. 2013. Vol. 56, N 8. P. 947—956.
11. Wan J. et al. Context-aware vehicular cyber-physical systems with cloud support: architecture, challenges, and solutions // Communications Magazine, IEEE. 2014. Vol. 52, N 8. P. 106—113.
12. Bu S., Yu F. R. A game-theoretical scheme in the smart grid with demand-side management: Towards a smart cyber-physical power infrastructure // Emerging Topics in Computing, IEEE Transact. 2013. Vol. 1, N 1. С. 22—32.
13. Li H., Lai L., Poor H. V. Multicast routing for decentralized control of cyber physical systems with an application in smart grid // Selected Areas in Communications, IEEE Journal. 2012. Vol. 30, N 6. P. 1097—1107.
14. Zeng J. et al. A systematic methodology for augmenting quality of experience in smart space design // Wireless Communications, IEEE. 2015. Vol. 22, N 4. P. 81—87.
15. Bai Z., Huang X. Design and implementation of a cyber physical system for building smart living spaces //Intern. Journal of Distributed Sensor Networks. 2012.
16. Kimura A. et al. Smart appliance network as cyber physical systems: Creating value to meet various consumer lifestyles // IEEE 4th Global Conf. on Consumer Electronics (GCCE). 2015. P. 262—264.
17. Khaitan S. K., McCalley J. D. Design techniques and applications of cyberphysical systems: A survey // Systems Journal, IEEE. 2015. Vol. 9, N 2. P. 350—365.
18. Miclea L., Sanislav T. About dependability in cyber-physical systems // Design & Test Symposium (EWDTS): 9th East-West. IEEE. 2011. P. 17—21.
19. Sebe N. Multimodal interfaces: Challenges and perspectives // J. of Ambient Intelligence and Smart Environments. 2009. Vol. 1, N 1. P. 23—30.
20. TurkM. Multimodal interaction: A review // Pattern Recognition Letters. 2014. Vol. 36. P. 189—195.
Сведения об авторах
Дмитрий Константинович Левоневский — СПИИРАН, лаборатория информационно-вычислительных систем и технологий программирования; науч. сотрудник; E-mail: [email protected]
— аспирант; СПИИРАН, лаборатория речевых и многомодальных интерфейсов; E-mail: [email protected]
— СПИИРАН, лаборатория речевых и многомодальных интерфейсов; науч. сотрудник; E-mail: [email protected]
— СПИИРАН, лаборатория речевых и многомодальных интерфейсов; мл. науч. сотрудник; E-mail: [email protected]
Поступила в редакцию 01.06.16 г.
Ссылка для цитирования: Левоневский Д. К., Ватаманюк И. В., Савельев А. И., Денисов А. В. Корпоративная информационная система обслуживания пользователей как компонент киберфизического интеллектуального пространства // Изв. вузов. Приборостроение. 2016. Т. 59, № 11. С. 906—912.
Ирина Валерьевна Ватаманюк Антон Игоревич Савельев Александр Вадимович Денисов
Рекомендована СПИИРАН
CORPORATE INFORMATION SYSTEM OF USER SERVICE AS A COMPONENT OF CYBER-PHYSICAL INTELLECTUAL SPACE
D. K. Levonevskiy, I. V. Vatamaniuk, A. I. Saveliev, A. V. Denisov
St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences,
199178, St. Petersburg, Russia E-mail: [email protected]
Corporate information system is considered as a component of cyber-physical intellectual space, providing multimodal information and navigation services. The information system structure is analyzed, service scenarios for various types of users of cyber-physical environment are presented.
Keywords: cyber-physical systems, multimodal interfaces, intellectual space, information navigation services
Data on authors
SPIIRAS, Laboratory of Information Systems and Programming Technologies; Scientist; E-mail: [email protected] Post-Graduate Student; SPIIRAS, Laboratory of Speech and Multimodal Interfaces; E-mail: [email protected] SPIIRAS, Laboratory of Speech and Multimodal Interfaces; Scientist; E-mail: [email protected]
SPIIRAS, Laboratory of Speech and Multimodal Interfaces; Junior Scientist; E-mail: [email protected]
Dmitry K. Levonevskiy —
Irina V. Vatamaniuk —
Anton I. Saveliev —
Alexander V. Denisov —
For citation: Levonevskiy D. K., Vatamaniuk I. V., Saveliev A. I., Denisov A. V. Corporate information system of user service as a component of cyber-physical intellectual space // Izv. vuzov. Priborostroenie. 2016. Vol. 59, N 11. P. 906—912 (in Russian).
DOI: 10.17586/0021-3454-2016-59-11-906-912
