CC BY
32
УДК 004.896
В. Ю. Будков, А. Л. Ронжин
ИНФОРМАЦИОННАЯ МОДЕЛЬ СОПРОВОЖДЕНИЯ РАСПРЕДЕЛЕННЫХ МЕРОПРИЯТИЙ В ИНТЕЛЛЕКТУАЛЬНОМ ЗАЛЕ СОВЕЩАНИЙ
Рассматривается проблема информационно-технического сопровождения распределенных совещаний и проанализированы основные этапы организации мероприятий с территориально распределенными участниками. Предложена информационная модель, описывающая способы обработки и обмена потоками данных между удаленными участниками в зависимости от ситуации в интеллектуальном зале совещаний.
Ключевые слова: интеллектуальное пространство, распределенные мероприятия, аудиовизуальная обработка данных, протоколирование дикторов, информационная значимость.
Введение. Для распределенных мероприятий характерна ситуация, при которой часть участников находится в зале совещаний и имеются удаленные участники, использующие персональные и мобильные устройства для подключения к веб-системе трансляции совещаний. Системы сопровождения таких мероприятий получили наибольшее развитие с возникновением научной парадигмы окружающего интеллектуального пространства [1], обеспечивающего проактивное ненавязчивое персонифицированное обслуживание участников. Так как под окружающим интеллектуальным пространством понимается глобальное единое пространство, то его создание в ближайшее время затруднительно, поэтому сейчас ведутся исследования по разработке отдельных менее масштабных прототипов интеллектуальных пространств, например „умная" комната, „умный" дом, „умный" город [2, 3].
Существующие исследовательские прототипы интеллектуальных залов представляют собой распределенную сеть аппаратно-программных модулей, активационных устройств, мультимедийных средств и аудиовизуальных сенсоров. С увеличением количества решаемых задач и обслуживаемых пользователей становится сложно контролировать множество программных и аппаратных модулей, задействованных в интеллектуальном пространстве, поэтому необходимо математическое обеспечение и программные средства, реализующие управление совместной работой распределенных модулей.
Анализ существующих систем сопровождения. При разработке систем сопровождения распределенных мероприятий выделяют несколько этапов, требующих автоматизации [4]: 1) организация совещания, где определяются основные участники и утверждается план совещания; 2) подготовка совещания, в ходе которой производится оповещение участников и проверка готовности их участия; 3) проведение совещания, включающее обсуждение и подготовку протокола; 4) завершение совещания, где утвержденный протокол рассылается участникам; 5) контроль решений совещания, включающий рассылку напоминаний и оценку выполнения решений; 6) анализ материалов совещания, собранных в ходе предыдущих этапов, с использованием базы данных мероприятия для поиска и просмотра необходимой информации.
Для выявления основных проблем существующих систем сопровождения распределенных мероприятий был проведен их сравнительный анализ по пяти типам характеристик: 1) входные модальности, используемые для анализа и записи поведения участников во время проведения совещания; 2) основные типы выходных данных, используемых при взаимодействии с пользователем системы; 3) основные виды применяемого оборудования; 4) сервисы
обработки аудиовизуальных данных, записанных в ходе мероприятия; 5) дополнительные возможности систем сопровождения.
Проанализируем кратко ряд систем сопровождения по приведенным выше характеристикам.
Система Webinar.ru служит для проведения онлайн-мероприятий с участием одного или нескольких выступающих и подключением до нескольких тысяч слушателей. Выступающие имеют возможность представлять слайды презентации, различные текстовые документы, а также свой рабочий стол. Система предоставляет возможность общения с использованием текстового чата. Система ориентирована на поддержку и проведение вебинаров, тренингов.
Система Cisco WebEx имеет, по сравнению с предыдущим сервисом, расширенные возможности в области обслуживания удаленных участников распределенных мероприятий: в частности, реализована поддержка мобильных устройств с операционными системами Android и IOS, поддержка VoIP-телефонии, а также применяются сенсорные панели для создания зарисовок от руки, которые транслируются другим участникам.
Система Openmeetings с открытым исходным кодом также служит для проведения онлайн-мероприятий. Передача данных производится с помощью сервера Red5. Система Openmeetings позволяет проводить онлайн-мероприятия с участием одного или нескольких выступающих без необходимости установки на компьютерах пользователей дополнительного программного обеспечения. В качестве клиентского приложения можно использовать обычный браузер. Система поддерживает совместную работу с офисными документами и совместное ведение записей, а также позволяет просматривать записи в различных форматах.
Система WebHuddle с открытым исходным кодом использует браузер для запуска клиентского приложения, написанного на языке Java. Система не поддерживает видеосвязь, но участники могут показывать презентационные материалы и передавать текстовые сообщения.
Meetecho — веб-ориентированная система, предназначенная для проведения распределенных мероприятий с использованием гетерогенных устройств. Система включает в себя набор инструментов, позволяющих делать зарисовки, передавать изображение с экрана пользователя, показывать презентационные материалы, проводить опросы среди участников мероприятия. Доступ к мероприятию может осуществляться с помощью планшетов и смартфонов под управлением систем Windows Mobile, Android и IOS.
Перечисленные системы Webinar.ru, Cisco WebEx, Openmeetings, WebHuddle, Meetecho обладают широкими функциональными возможностями в области телекоммуникаций, но проблемам автоматической обработки речи, анализа поведения участников во время диалога и другим вопросам, связанным с требованиями, предъявляемыми к информационным системам сопровождения распределенных мероприятий, уделено недостаточно внимания.
Основной целью разработки систем протоколирования формальных мероприятий является автоматизация процесса стенографирования выступлений участников. Однако автоматическое распознавание разговорной речи остается на сегодняшний день одной из основных нерешенных проблем в области речевых технологий. Процесс автоматического распознавания речи представляет собой преобразование акустического речевого сигнала в последовательность слов, которая затем может использоваться для анализа и интерпретации смысла речевого высказывания. Одним из возможных способов повышения точности распознавания речи является настройка дикторозависимых параметров системы автоматической обработки речи. Поэтому не менее важной задачей при обработке аудиозаписей выступлений является этап диаризации дикторов, обеспечивающий сегментацию реплик каждого диктора в однока-нальном аудиосигнале и последующую группировку всех речевых фрагментов, относящихся к определенному диктору.
В задаче диаризации дикторов, в отличие от задачи аутентификации, число дикторов, участвующих в дискуссии, заранее неизвестно, и поэтому соответствующие модели речи дик-
торов необходимо создавать и обучать в процессе анализа записей автоматически, что существенно усложняет обработку речевого сигнала. Другим фактором, снижающим качество работы систем диаризации, является наличие в звуковом сигнале таких явлений, как „перекрывающаяся" речь (когда одновременно разговаривают несколько людей), артефакты речи (чмокание, цокание языком) и невербальные паузы (кашель, смех), а также короткие реплики. Эксперименты показывают, что длительность „перекрывающейся" речи в условиях конференции, совещания или деловой встречи может достигать 70 % от общего объема аудиозаписи. Кроме того, на качество записи существенно влияют особенности помещения, расположение дикторов и характеристики записывающей аппаратуры.
Рассмотрим информационную модель сопровождения распределенных мероприятий и ряд методов обработки мультимедийных сигналов, применяемых при трансляции совещаний.
Информационная модель сопровождения распределенных мероприятий. В предлагаемой модели сопровождения мероприятий выделяются три основных этапа (рис. 1). Разработанные для модели авторами настоящей статьи методы и программное обеспечение ориентированы на обработку мультимедийных сигналов, записываемых во время мероприятия, и подготовку отчетных материалов по его окончании [5—7].
I
Подготовительный этап
Регистрация Регистрация новых Подготовка оборудования
мероприятия участников
Основной этап
Мультимедиазапись Анализ Трансляция
участников мультимедиапотоков мультимедиапотоков
Завершающий этап
Архивирование мультимедиазаписей Обработка мультимедиазаписей Формирование мультимедиаотчета
Рис. 1
Подготовительный этап включает в себя регистрацию мероприятия, подготовку оборудования и регистрацию участников. Вначале в систему сопровождения мероприятия вносятся следующие данные: время, место проведения, разрешения на доступ к трансляции мероприятия и т. д. После этого участники могут зарегистрироваться в системе и подписаться на участие в данном мероприятии. Перед началом мероприятия производится подготовка и настройка необходимого мультимедийного оборудования.
Основной этап включает в себя трансляцию и запись аудио- и видеопотоков и других мультимедийных данных, получаемых из источников, расположенных в зале совещаний, а также из удаленных участников. Выбор наиболее актуальной информации, которая транслируется удаленным участникам, производится на основе анализа текущей ситуации в зале.
На завершающем этапе сопровождения по окончании мероприятия производится анализ мультимедийных записей, их архивирование и создание отчета по мероприятию. Обработка данных, например идентификация участников, добавление новых не зарегистрированных ранее участников, ведется как в ручном, так и в автоматическом режиме. Формирование отчета производится по шаблонам, которые могут редактироваться вручную для получения необходимого формата.
Для описания предложенной модели сопровождения мероприятий введем следующие обозначения. На подготовительном этапе формируются основные сведения по предстоящему мероприятию: М = <Мь МР, МТь, МТе, Ми >, где Мр — логотип мероприятия; МР — список презентаций; МТь, МТе — время начала и окончания мероприятия соответственно; Ми — множество
участников, включающее Ыц inner — множество участников, которые будут находиться в зале совещаний, и Ыи outer — множество удаленных участников, которые будут подключаться к дискуссии через сеть Интернет.
В ходе мероприятия производится формирование множества информационных потоков I, поступающих из источников нескольких типов, составляющих множество
ST {Svideo_inner, Svideo_outer, Saudio_inner, Saudio_outer Sprojector, Stouch_board, Sevent_server}-,
где Svideo_inner, Saudio_inner - видеокамеры и микрофоны, установленные в зале; Svldeo_outer,
Saudio_outer — видеокамеры и микрофоны, встроенные в клиентские устройства удаленных участников; Sprojector — проектор, установленный в зале; Stouch_board — сенсорная панель для рукописных записей, установленная в зале; Sevent_server — центральный сервер, выдающий информацию о мероприятии, собранную на подготовительном этапе, и формирующий управляющие команды в ходе мероприятия; в зависимости от числа подключенных удаленных слушателей и оснащения зала имеется N источников данных: {Si, S2,..., S,..., SN} eST.
1 2
Каждый источник Si формирует информационный поток пакетов данных (Ii , Ii ,...
j к
..., Ii,..., Ii ), где K — число пакетов, полученных за время мероприятия. Каждый пакет содержит следующий набор параметров: Ij=<D, f tb, te, w, Si, u>, где D — последовательность бинарных данных, f — формат передаваемых данных, tb, te — время начала и окончания записи данных соответственно, w — частота дискретизации данных в пакете, Si — источник данных, u — некоторый участник из множества Ыи, предоставляющий текущий пакет данных. В предложенной модели сопровождения мероприятий использовались следующие форматы данных: f e {PCM, AVI, M-JPEG, VP8, H.264, BMP, JPEG, PNG, PPT, DOCX, TXT, BIN, CFG}, где первые десять являются стандартными для аудио- и видеоданных, изображений, презентаций и текстовых документов, а последние три служат для внутренней передачи служебных данных и конфигурационных параметров в текстовом и бинарном виде.
Выбор информационных потоков, используемых для передачи удаленным участникам, производится на основе событийной модели ситуации в зале. Множество событий включает следующие типы:
E {Eparticipant_act, Eparticipant_talk, Eparticipant_out, Eremote_participant_act, Eremote_participantjalk, Eremote_participant_out, Eprojector_act, Enew_slide, Eslide_obsolete , Eprojector_off, Etouchboard_act, Enew_sketch , Esketch_obsolete , Etouchboard_off , Eparticipant_sil, Eremote_participant sil},
где Eparticipant _act — появление участника в зале, Eparticipant_talk — появление выступающего участника в зале, Epamcipant_out — выход участника из зала, Eremote_participant_act — появление удаленного участника, Eremote_participant_talk — появление выступающего удаленного участника, Eremote_participant_out — отключение удаленного участника, Eprojector_act — загрузка презентации, Enew_slide — появление нового слайда презентации, Eslide_obsoiete — истечение максимального времени показа нового слайда презентации, Eprojector_off — отсутствие презентации, Etouchboard_act — включение сенсорной доски, Enew_sketch — появление новой записи на сенсорной доске, Esketch_obsolete — истечение максимального времени показа новой записи на сенсорной доске, Etouchboard_off — выключение сенсорной доски, Eparticipant_sil — отсутствие аудиоактивности участника, Eremote_participant_sil — отсутствие аудиоактивности удаленного участника.
Каждое событие содержит данные об источнике и времени наступления события.
Учитывая, что при выводе мультимедийного контента на устройство удаленного участника могут быть использованы встроенные средства вывода только аудио- и видеоданных, в множестве ST можно выделить два подмножества, отвечающие за эти типы данных:
STaudio <Saudio_inner Saudio_outer> и STvideo <Svideo_inner, Svideo_outer, Sprojector Stouch_board, Sevent_server>.
В результате анализа поступивших событий из множества E в текущий момент времени может быть сформирован только один информационный поток, поступающий из источников
подмножества $>Таилю, и выбрано несколько информационных потоков, поступающих из источников подмножества $>Тщлео- Число одновременно отображаемых графических информационных потоков зависит от возможностей клиентского устройства.
Схема, отображающая метод формирования текущего мультимедийного контента на основе поступающих информационных потоков и анализа событий в зале совещаний, приведена на рис. 2.
Рис. 2
На основе событий Е производится расчет информационной значимости Ж мультимедийных потоков и сортировка пакетов I, формируемых устройствами аудиозаписи, проектором и сенсорной доской. Информационная значимость Ж каждого пакета I выбирается в зависимости от зарегистрированных событий, причем наличие аудиоактивности влияет на значимость аудио- и видеопотоков:
Wvideo
2 F Л F
' participant _ act participant _ talk•>
1 F
' participant _ act•>
Waudio
1, F
participant _ talk >
0, F
0, F
participant _ sil >
Wvideo
outer = S
2, F
participant _ out ■>
л fr
' participant _ act participant _ talk>
1, F ,
' remote _ participant _ act>
Waudio
1,F
0, F
remote _ participant _ out
3, F,
Wprojector =
new _ slide >
2 F
' slide _ obsolete ■>
1 F
^ ^projector_act'
0 F ■
' projector _ o/T'
outer = ^
3, Fn
remote _ participant _ talk >
0, F
remote _ participant _ sil ;
Wtouch board =
'new _ sketch >
2, F ,
' sketch _ obsolete ■>
1 F
' touchboard _ act'
0 F
' touchboard _ o/T '
На вход блока формирования мультимедийного клиентского контента поступают пакеты 1$ТУ1Сео>, Ьтыю, представленные в виде списка, упорядоченного по убыванию значения Ж, где с учетом характеристик клиентского устройства осуществляется компоновка контента из множеств выбранных видео- и аудиопакетов соответственно: ОзТугСео_Сеу, ОзТАисСю_Сеу. Уст-
ройство характеризуется следующими параметрами: Fc
dev
<Fdev os, F
os, F dev browser, Fdev resolution
Fdev_connection_speed>, где Fdev_os — операционная система устройства, Fdev_browser — используемый браузер, Fdev_resolution — разрешение экрана; характеристики Fdev_os и Fdev_browser отвечают за выбор формата передачи видеопотоков (VP8, M-JPEG, JPEG); за выбор качества видеопотока и частоты обновления кадров отвечает характеристика Fdev_connection_speed; на основе характеристики Fdev_resolution выбирается расположение и количество форм для вывода мультимедийного контента.
Например, в случае использования мобильного устройства с ограниченным размером экрана имеется возможность применить только одну форму для вывода видеоконтента, находящегося на первом месте в списке Iswideo. Если разрешение экрана допускает размещение нескольких форм, то выводится подмножество видеопотоков, находящихся вверху этого
списка. Было апробировано четыре варианта расположения форм, при этом компоновка для максимального разрешения экрана содержала формы для вывода слайда презентации, рукописного наброска и видеоданных, записываемых видеокамерами, направленными на аудиторию, текущего выступающего, удаленных участников.
При формировании отчетной документации по мероприятию в зависимости от заданного сервером формата 4rep = <^rep_data, ^rep_data_position> производится генерация контента множеств OsTVideo_rep, OsTAudio_rep , где ^repjata содержит список необходимых типов пакетов данных, отображаемых в отчете, а x¥rep_data_position — их расположение. При формировании отчета по мероприятию в оффлайн-режиме накладываются менее жесткие требования по скорости обработки данных, и могут быть привлечены средства автоматизированной обработки речи и текста [8—12].
Заключение. Предложенная информационная модель сопровождения участников распределенных мероприятий характеризуется применением средств автоматической обработки мультимедийных сигналов в целях автоматизации процесса трансляции и подготовки отчетных материалов по результатам мероприятия. В основу модели положен метод формирования текущего мультимедийного контента, использующий событийную модель анализа информационной значимости аудиовизуальных потоков при подготовке данных для трансляции удаленному участнику и отчетных материалов по мероприятию. Проведен сравнительный анализ функциональных характеристик существующих систем сопровождения веб-конференций и разработанной модели.
Статья подготовлена по результатам работы, выполняемой при поддержке Российского фонда фундаментальных исследований (проект № 13-08-0741-а).
список литературы
1. Zelkha E, Epstein B. From Devices to Ambient Intelligence / Digital Living Room Conference. 1998. June.
2. Юсупов Р. М., Ронжин А. Л. От умных приборов к интеллектуальному пространству // Вестник РАН. 2010. Т. 80, вып. 1. C. 45—51.
3. Aldrich F. Smart Homes: Past, Present and Future / Inside the Smart Home / Ed. R. Harper. London: SpringerVerlag, 2003. P. 17—39.
4. Эффективные совещания [Электронный ресурс]: <http://am-meetingpoint.com/2013/02/16/effektivnye-soveshhaniya-podgotovka-provedenie-kontrol/>.
5. Ронжин А. Л., Будков В. Ю. Технологии поддержки гибридных e-совещаний на основе методов аудиовизуальной обработки // Вестник компьютерных и информационных технологий. 2011. № 4. С. 31—35.
6. Ронжин А. Л., Карпов А. А., Кагиров И. А. Особенности дистанционной записи и обработки речи в автоматах самообслуживания // Информационно-управляющие системы. 2009. Т. 5, вып. 42. С. 32—38.
7. Ронжин Ал. Л., Будков В. Ю., Ронжин Ан. Л. Формирование профиля пользователя на основе аудиовизуального анализа ситуации в интеллектуальном зале совещаний // Тр. СПИИРАН. 2012. Вып. 23. С. 482—494.
8. Мещеряков Р. В. Структура систем синтеза и распознавания речи // Изв. Томск. политехн. ун-та. 2009. Т. 315, № 5. С. 121.
9. Азаров И. С., Вашкевич М. И., Лихачев Д. С., Петровский А. А. Изменение частоты основного тона речевого сигнала на основе гармонической модели с нестационарными параметрами // Тр. СПИИРАН. 2014. Вып. 32. С. 5—26.
10. Тиунов С. Д., Мещеряков Р. В., Черных Д. В. Оптимизация вычисления одновременной маскировки речевого сигнала // Тр. СПИИРАН. 2014. Вып. 32. С. 45—57.
11. Качковская Т. В. Использование темпоральных характеристик для сегментации речевого потока на крупные смысловые единицы (на материале русского языка) // Тр. СПИИРАН. 2014. Вып. 32. С. 68—81.
12. Басов О. О., Носов М. В., Шалагинов В. А. Исследование характеристик джиттера периода основного тона речевого сигнала // Тр. СПИИРАН. 2014. Вып. 32. C. 27—44.
Сведения об авторах
Виктор Юрьевич Будков — канд. техн. наук; СПИИРАН, лаборатория речевых и многомодальных интерфейсов; научный сотрудник; E-mail: [email protected] Андрей Леонидович Ронжин — д-р техн. наук, профессор; СПИИРАН, лаборатория речевых и многомодальных интерфейсов; зам. директора по научной работе; E-mail: [email protected]
Рекомендована СПИИРАН Поступила в редакцию
10.06.14 г.
УДК. 519.711.72
А. Н. Павлов, Д. А. Павлов, Б. В. Москвин, К. Л. Григорьев
МОДИФИЦИРОВАННАЯ МОДЕЛЬ ГИБКОГО ПЕРЕРАСПРЕДЕЛЕНИЯ ТЕХНОЛОГИЧЕСКИХ ОПЕРАЦИЙ ИНФОРМАЦИОННОГО ВЗАИМОДЕЙСТВИЯ
Представлена модификация математической модели процесса планирования децентрализованной обработки информации в динамически изменяющихся условиях с учетом временных ограничений на выполнение операций обработки, хранения и передачи информационных потоков в космических системах.
Ключевые слова: динамическая сеть, информационное взаимодействие, неявные временные ограничения.
Анализ основных тенденций развития современных информационных технологий показывает, что несмотря на значительный рост производительности аппаратно-программных средств и повышение интенсивности передачи потоков данных существенно возрастают требования потребителей к оперативности доставки информации, ее полноте и качеству, а также возникают новые более информационно-емкие задачи.
Эта проблема особенно актуальна для стремительно развивающегося космического сектора информационного обеспечения гражданских и военных потребителей, так как помимо известных проблем, имеющих место в любой информационно-вычислительной системе, на качество функционирования космических систем (КС) влияет ряд ограничений, а именно: динамическое изменение структуры информационного взаимодействия КС, обусловленное преимущественно баллистикой движения космических аппаратов (КА); особенности целевого функционирования КС; слабая пропускная способность каналов космической связи (по сравнению с пропускной способностью наземных каналов связи); функционирование КС в рамках жестких временных и ресурсных ограничений.
Существующие подходы к управлению информационными КС (ИКС) зачастую обращены к так называемым „слепым" методам реконфигурации, как правило, сводящимся к имитационному моделированию разрабатываемых и известных систем, к рассмотрению частных сторон их функционирования и выявлению лишь общих характеристик. В современных условиях такой подход к управлению сложными ИКС представляется неперспективным, так как не позволяет ответить на главные вопросы — как оптимально (рационально) распределять информационные потоки; где, когда и сколько информации необходимо получать, хранить, обрабатывать и отправлять потребителю в динамически изменяющихся условиях и при жестких временных ограничениях.
В качестве примера ИКС может быть рассмотрена система, представляющая собой информационную сеть КА и обеспечивающая обработку и информационное взаимодействие КА
