CC BY
39
УДК 62-503.57:621.391 М:10.15217/1з8п1684-8853.2016.2.68
МОДЕЛИ КОДИРОВАНИЯ ПОЛИМОДАЛЬНОЙ ИНФОРМАЦИИ
О. О. Басова, канд. техн. наук
И. С. Кипяткова6, канд. техн. наук, старший научный сотрудник
А. И. Савельев6, научный сотрудник
И. А. Саитова, доктор техн. наук, профессор
аАкадемия Федеральной службы охраны Российской Федерации, Орел, РФ бСанкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербург, РФ
Постановка проблемы: имеющиеся предпосылки для отказа от традиционных принципов разделения передаваемой информации на услуги связи и возможность реализации полимодальных инфокоммуникационных систем обусловливают необходимость разработки теоретических основ построения последних. Цель: формализация моделей кодирования полимодальной информации, а также обоснование методов ее передачи на основе результатов моделирования. Методы: для оценки качества кодирования многомодальной информации при заданных ресурсах сети передачи данных предложена модификация теоретико-множественной модели. Результаты: представлены аналитические выражения, описывающие зависимости качества кодирования полимодальной информации и объема, требуемого для передачи максимального числа сообщений различных модальностей, от параметров модифицированной модели. На основе анализа существующих и перспективных методов передачи сделан вывод о том, что современные средства телекоммуникаций способны обеспечить доставку полимодальной информации с требуемым качеством к абонентскому терминалу корреспондента. Перспективной в этом смысле является реализация сети передачи данных, инвариантной к применяемой технологии передачи.
Ключевые слова — полимодальная инфокоммуникационная система, модальность, абонентский терминал, сеть передачи данных, теоретико-множественная модель.
Введение
В процессе совершенствования национальные информационные инфраструктуры развитых стран эволюционировали [1] от узкоспециализированных сетей связи (телеграфных, телефонных и др.) сначала в телекоммуникационные сети, а затем в инфокоммуникационные системы. В настоящее время уже имеются предпосылки для отказа от традиционных принципов разделения передаваемой информации на услуги связи и возможность реализации полимодальных инфоком-муникационных систем (ПИКС) [2-7]. Под ПИКС следует понимать взаимоувязанную совокупность систем обработки и хранения информации и их объединяющих телекоммуникационных сетей. Целью ее функционирования является сбор, обработка, хранение, защита, передача и распределение, отображение и использование многомодальной информации, учитывающей смысл передаваемых сообщений, личность абонентов (пользователей), их настроение, физиологическое и психоэмоциональное состояния [8-10].
Очевидно, что новые возможности инфоком-муникационного обслуживания пользователей ПИКС должны быть заложены на этапе проектирования. При синтезе (моделировании, проектировании, оптимизации) ПИКС ее удобно представить в виде двух условно автономных подсистем: совокупности абонентских терминалов и сети передачи данных (СПД) [11]. Общее модельное понятие «сеть передачи данных» используется для составных физических или логических кана-
лов связи и формирующих их узлов коммутации транспортной сети и сетей доступа. При ориентации на предоставление ПИКС единственной услуги в виде «соединение с сетью» практически важными являются две основные задачи синтеза.
Прямая. Имеются сведения об объемах сообщений (наборе модальностей), которые необходимо передать. Требуется определить объем ресурсов СПД, чтобы обеспечить заданное качество приема переданной полимодальной информации.
Двойственная. Имеются заданные ресурсы СПД. Требуется передать максимальный объем сообщений заданного качества (в том числе с оптимальным выбором модальностей, методов их обработки: объединения/разделения, синхронизации, кодирования).
Решение прямой и двойственной задач синтеза ПИКС требует разработки теоретических конструкций (моделей) для оценки качества кодирования многомодальной информации при заданных ресурсах СПД и объема указанного ресурса, необходимого для передачи максимального числа сообщений различных модальностей с заданным качеством, а также обоснования выбора методов передачи таких сообщений на основе результатов моделирования.
Математические модели кодирования сообщений различных модальностей
Практика математического описания систем кодирования, использующих процедуры параметрического анализа и синтеза, скалярного и век-
торного квантования, свидетельствует о целесообразности применения для этих целей аппарата теории множеств и теории вероятностей [12-15].
С учетом существующей модели адаптивной системы кодирования речевого сигнала [16, 17] теоретико-множественная модель подсистемы кодирования сообщений различных модальностей может быть представлена следующим образом (рисунок).
Модель основана на предположении, что коммуникативный акт абонентов происходит с обязательным использованием вербального речевого канала. При этом используется известное представление сигналов на входе подсистемы кодирования в виде сообщений дискретного источника, рассматриваемых как точки в Р-мерном пространстве [12, 18]. Каждую точку этого пространства удобно представить в виде вектора Ар е {Кр}.
Пространство состояний многомодального абонентского терминала
{М}Н
1 » 1
2 2
о о о о
Н
А
{Л} {ф} >
■ кан1,1
кан^
Пространство служебной информации на выходе канала связи
■ Теоретико-множественная модель кодирования сообщений различных модальностей
Индекс P, показывающий размерность вектора сообщения, для сокращения записи в дальнейших рассуждениях опущен. Пространство, образуемое множеством точек А, рассматривается как пространство сообщений {А}. При этом в дальнейшем рассматривается параметрическое кодирование избыточных сообщений [16].
Входом подсистемы кодирования (см. рисунок) являются множества {Аю }, ю = реализаций сообщений источников различных модальностей. К ее внутренним параметрам относятся:
1) число W источников (модальностей);
2) количество Kw, ю = 1 значений случайной величины, описывающей w-й источник сообщений на интервале анализа Та;
3) вид отображений параметрического анализа Гп а, определяемый вариантом формирования, комбинирования и отображения множества параметров Хю анализируемых сообщений Аю;
4) число рю, ю = 1,щ и вид представления кодируемых параметров Хю,у, ]' = 1, рю источников многомодальной информации;
5) вид отображений Гк ю = 1,Ж, ] = 1, рю, определяющих процедуры квантования наблюдаемых параметров источников многомодальной информации;
6) число уровней квантования Оу каждого (]' = 1, Р1 +... + рщ) наблюдаемого параметра источников информации, определяющих мощности подмножеств кодированных параметров {С11 на входе СПД;
7) вид отображения статистического анализа Гс а, определяющего процедуру классификации исходных сообщений W источников;
8) число H состояний абонентского терминала {М}, определяющих множество вариантов распределения информационной емкости канала связи по множествам кодируемых параметров W источников:
{М} = {°Гк1Д } ...х{^«Гк1,р }х ...х{^°Гк щд }х ...
щ,рщ }х{°1}х...х{0р}х ...
... х {°р! +...+рщ+1 } х ... х {р +...+рщ },
где No
Гк w,j
— номер возможного отображения
Г
к wj, w = 1,W, j = 1,pl +... + pW. Значения Oj = 1
обеспечивают возможность исключения у-х подпространств из структуры пространства кодируемых параметров. В частном случае однозначного соответствия значений Оу и отображений Гк множество
{М} = {01}х... х{Ор }х... ... х { °р1 +...+рщ +1}х ..^К +...+рщ }.
Для высокоадаптивной системы [10] число возможных состояний абонентского терминала может быть бесконечно большим: Н = {М}1 = да.
С учетом искажений, получаемых при кодировании, и влияния канала связи, задаваемого отображением Гкан, при известном отображении Гдк, однозначно определяющем процедуру декодирования, математическое описание всей подсистемы кодирования относительно внешнего параметра, характеризующего качество кодирования сообщений различных модальностей, может быть представлено в следующем виде:
(
DcyM
w=1
{a}{a }]
Pc
W q=1
(
Dw
{A} {A}} Dq [{A}, {A}]
\2 ^
(1)
/ /
где Dw {A}, {A}, w = 1,W — среднеквадрати-
ческая ошибка между множествами исходных и восстановленных сообщений или энергия шума при восстановлении сообщений w-го источника; ст — эмпирический коэффициент, определяющий
U
степень влияния штрафа; Pc А^;Аwi —
i=1
энергия сообщений w-го источника.
Представленный выше перечень внутренних параметров подсистемы кодирования сообщений различных модальностей позволяет сформулировать математическую модель такой системы относительно внешнего параметра — скорости передачи (выдачи информации): W pw
log П П 0j + г + log dp+ log H
B,
'(W):
w=1 j=pw_1 + 1
T
х я
-[бит/c], (2)
где r =
log2
число проверочных
1+1 сП
V 1=1
разрядов, а ¿и — исправляющая способность помехоустойчивого кода; С1п — число сочетаний из п по I; dф = |{ф}| — мощность подпространства {ф}е{Б}, характеризующего множество вариантов помехоустойчивого кодирования.
Для подсистемы кодирования с одним источником информации (речевым сообщением) [16] скорость передачи
log П0j + r + log dp
B(1) =-
j=1
T
■*■ я
-[бит/c]. (3)
В соответствии с теорией информации [18, 19] наибольший выигрыш относительно суммарной скорости передачи может быть достигнут при совместном кодировании зависимых источников,
w
т. е. источников, между которыми имеются корреляционные взаимосвязи. При этом величина выигрыша совместного кодирования по сравнению с раздельным определяется степенью корреляции источников.
В работе [12] теоретически обоснованы условия, при которых возникают корреляционные зависимости между сообщениями независимых избыточных источников речевых и видеосообщений на ограниченных интервалах наблюдения. Наличие данных зависимостей подтверждено экспериментально путем постановки и решения задачи поиска коэффициентов линейного преобразования сообщений независимых дискретных источников. Наличие корреляционных зависимостей между другими модальностями требует проведения соответствующих исследований. Показано, что выигрыш по величине (1) при совместном кодировании по сравнению с раздельным увеличивается при уменьшении скорости передачи сообщений одного источника. При одинаковом количестве данных, затрачиваемых на кодирование каждого сообщения Ж источников, величина ошибки при их восстановлении в точке приема при совместном кодировании существенно меньше, чем при раздельном, причем выигрыш систем совместного кодирования по ошибке аппроксимации каждого сообщения в сравнении с системами раздельного кодирования растет при увеличении числа кодируемых источников (модальностей). В указанном случае в большей степени расширяется номенклатура скоростей В.
Возможность реализации последней в существующих и перспективных СПД обсуждается [7], основные выводы представлены ниже.
Методы передачи многомодальной информации через сеть передачи данных
Самой доступной сегодня для ПИКС является электрически инвариантная СПД с коммутацией пакетов. В таких системах единица канального ресурса составит значение порядка 64 Кбит/с, что обеспечит достаточную чувствительность всей системы к изменению числа активных модальностей. Для моделирования таких СПД ПИКС имеется возможность использовать существующий инструментарий анализа современных мульти-протокольных телекоммуникационных сетей, в качестве источников нагрузки которых будут выступать многомодальные абонентские терминалы. Для построения теоретической модели СПД с коммутацией пакетов необходимо выделить, определить и формально описать ее структурные элементы, охарактеризовать их основное назначение и специфику процессов функционирования.
Основными элементами сетей связи с накоплением являются абонентские терминалы, узлы коммутации и связывающие их каналы связи. Существенное влияние на качество синхронизации модальностей при их автономной обработке и передаче соответствующих блоков данных через СПД с коммутацией пакетов будет оказывать сетевая задержка. Под сетевой задержкой понимается интервал времени между моментом, когда первый бит базы данных поступает в сеть с коммутацией пакетов, и моментом, когда последний бит этого блока покидает сеть.
Наличие сетевой задержки и ее случайный характер свидетельствуют о том, что в СПД с коммутацией пакетов целесообразно реализовать совместную обработку модальностей в абонентском терминале, а соответствующие базы данных передавать с использованием механизмов обеспечения гарантированного качества обслуживания в СПД.
Перспективным для ПИКС является реализация в СПД принципов построения оптических транспортных сетей, инвариантных к технологии передачи. Метод передачи в таких СПД будет определяться текущим множеством активных пользователей и составом используемых модальностей в их абонентских терминалах.
В настоящее время вместо традиционных гомогенных волоконно-оптических линий связи на практике все чаще реализуются гетерогенные волоконно-оптические линии связи, использующие в различных спектральных каналах оптического волокна разные сетевые технологии. При наличии средств согласования режимов функционирования многомодальных абонентских терминалов и сети передачи данных появляется возможность организации в последней каналов и трактов, адаптивно «подбирающих» наиболее эффективную сетевую технологию (БуТБМ или Б1ТБМ) под текущее распределение объемов и типов модальностей в сообщениях.
Изложенное выше подтверждает необходимость редукции объекта исследования (ПИКС) на две условно-автономные подсистемы: множества многомодальных абонентских терминалов и СПД, способную с заданным качеством обеспечить обслуживание поступающей нагрузки. Естественно, такой подход обусловливает необходимость оптимизации в дальнейшем целого ряда функциональных характеристик элементов СПД для обслуживания многомодальных сообщений от абонентского терминала, что потребует новых теоретических исследований в предметной области.
Заключение
Возможность обслуживания сообщений от многомодальных абонентских терминалов узлами коммутации и каналами связи осложняется
расширившейся номенклатурой скоростей передачи. Анализ существующих и перспективных методов передачи блоков данных в СПД позволил сделать вывод о том, что современные средства телекоммуникаций способны обеспечить доставку объектов учета с требуемым качеством к абонентскому терминалу корреспондента. В СПД с БуТБМ потребуется значительный расход ресурса пропускной способности, однако в такой инфраструктуре проще обеспечить синхронизацию модальностей. В СПД с Б1ТБМ потребуется использовать более сложные алгоритмы обеспечения гарантированного качества доставки
Литература
1. Саитов И. А. Основы теории построения защищенных мультипротокольных оптических транспортных сетей телекоммуникационных систем: монография. — Орел: Академия ФСО России, 2008. — 220 с.
2. Басов О. О., Саитов И. А. Основные каналы межличностной коммуникации и их проекция на ин-фокоммуникационные системы // Тр. СПИИРАН. 2013. № 7. С. 122-140.
3. Gregory F. D., Dai L. Multisensory Information Processing for Enhanced Human-Machine Symbiosis // Human Interface and the Management of Information. Information and Knowledge Design: Proc. of 17th Intern. Conf., HCI Intern. 2015, Los Angeles, CA, USA, Aug. 2-7, 2015/ Yamamoto (Ed.). 2015. Part I. LNCS 9172. P. 354-365.
4. Ронжин А. Л., Карпов А. А. Многомодальные интерфейсы: основные принципы и когнитивные аспекты // Тр. СПИИРАН. 2006. № 3. Т. 1. C. 300319.
5. Карпов А. А., Лале А., Ронжин А. Л. Многомодальные ассистивные системы для интеллектуального жилого пространства // Тр. СПИИРАН. 2011. № 19. C. 48-64.
6. Карпов А. А., Ронжин А. Л. Многомодальные интерфейсы в автоматизированных системах управления // Изв. вузов. Приборостроение. 2005. Т. 48. № 7. С. 9-14.
7. Басов О. О., Саитов И. А. Методы передачи полимодальной информации // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 2. С. 293-299.
8. White T. L., Krausman A. S. Effects of Inter-Stimulus Interval and Intensity on the Perceived Urgency of Tactile Patterns. Applied Ergonomics. 2015. Vol. 48. P. 121-129.
9. Ронжин Ал. Л., Будков В. Ю., Ронжин Ан. Л. Формирование профиля пользователя на основе аудиовизуального анализа ситуации в интеллектуальном
блоков данных. Из-за наличия стохастических задержек блоков данных в таких СПД сложнее обеспечить синхронизацию модальностей при их автономной обработке. В настоящее время имеются объективные предпосылки для реализации СПД, инвариантной к применяемой технологии передачи. Эта возможность определяется широким (от абонента к абоненту) применением оптических технологий в транспортной инфраструктуре ПИКС.
Исследование выполнено при частичной поддержке бюджетной темы № 0073-2014-0005 и грантов РФФИ № 15-07-06744 и 16-19-00044.
зале совещаний // Тр. СПИИРАН. 2012. № 4(23). С.482-494.
10. Басов О. О., Карпов А. А., Саитов И. А. Методологические основы синтеза полимодальных инфоком-муникационных систем государственного управления: монография. — Орел: Академия ФСО России, 2015. — 272 с.
11. Басов О. О., Саитов И. А. Качество функционирования и эффективность полимодальных инфоком-муникационных систем // Тр. СПИИРАН. 2014. № 1(32). С. 152-170.
12. Устинов А. А. Стохастическое кодирование видео- и речевой информации: в 2 ч. / под ред. проф.
B. Ф. Комаровича. — СПб.: ВАС, 2005.
13. Speech Recognition and Coding. New Advances and Trends. NATOASISeries. — Germany, 1995. — 464 p.
14. Липкин И. А. Статистическая радиотехника. Теория информации и кодирования. — М.: Вузовская книга, 2002. — 216 с.
15. Афанасьев А. А., Богачев Г. В., Рыболовлев А. А. Теоретико-множественная модель липредера с адаптацией распределения информационных ресурсов к статистическим характеристикам кодируемых параметров. — Орел: Академия ФАПСИ, 2002. — 60 с.
16. Басов О. О. Математическая модель системы кодирования речевого сигнала с многопараметрической адаптацией // Телекоммуникации. 2008. № 7.
C. 7-13.
17. Basov O. O. A Conceptual Model of Multicriterion Adaptation of the Linear Predictive Voice Coding Procedure // Telecommunications and Radio Engineering. 2009. N 10(68). P. 923-931.
18. Csiszar I., Korner Ya. Information Theory: Coding Theorems for Discrete Memoryless Systems. — Cambridge University Press, 2011. — 600 p.
19. Feng H., Effros M. On the Rate Loss of Multiple Description Source Codes // IEEE Trans. on Information Theory. 2005. Vol. 51. N 2. P. 671-683.
UDC 62-503.57:621.391 doi:10.15217/issn1684-8853.2016.2.68 Polymodal Information Encoding Models
Basov O. O.a, PhD, Tech., [email protected]
Kipyatkova I. S.b, PhD, Tech., Senior Researcher, kipyatkova@ iias.spb.su
Saveliev A. I.b, Researcher, [email protected]
Saitov I. A.a, Dr. Sc., Tech., Professor, [email protected]
aAcademy of Federal Agency of Protection of Russian Federation, 35, Priborostroitelnaya St., 302034, Orel, Russian Federation
bSaint-Petersburg Institute for Informatics and Automation of RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation
Introduction: The existing prerequisites to reject traditional principles of dividing transmitted information into communication services and to implement polymodal infocommunication systems (PICS) illustrate the necessity to develop a theoretical basis for building PICS. Purpose: Formalization of models for encoding polymodal information, and justification of methods of its transmission based on simulation results. Methods: For assessing the quality of multimodal information encoding with given data transmission network resources, we propose a modification of a set-theoretical model. Results: Analytical expressions are presented which describe the dependency of the multimodal information encoding quality, as well as that of the volume required for transferring the maximum number of messages of different modalities, on the modified model parameters. Based on the analysis of the existing and prospective transmission methods, a conclusion can be made that modern telecommunication facilities can ensure the delivery of multimodal information with the required quality to the subscriber terminal. In this respect, a data network implementation invariant to the applied transmission technology has a great potential.
Keywords — Polymodal Infocommunication System, Modality, Subscriber Terminal, Data Transmission Network, Set-Theoretical Model.
References
1. Saitov I. A. Osnovy teorii postroeniia zashchishchennykh mul'tiprotokol'nykh opticheskikh transportnykh setei tele-kommunikatsionnykh sistem [Fundamentals of the Theory Ofbuilding Secure Multiprotocol Optical Transport Networks of Telecommunication Systems]. Orel, Akademiia FSO Rossii, 2008. 220 p. (In Russian).
2. Basov O. O., Saitov I. A. Basic Channels of Interpersonal Communication and their Projection on the Infocommuni-cations Systems. Trudy SPIIRAN, 2013, no. 7(30), pp. 122140 (In Russian).
3. Gregory F. D., Dai L. Multisensory Information Processing for Enhanced Human-Machine Symbiosis. Proc. of 17th Intern. Conf. "Human Interface and the Management of Information. Information and Knowledge Design", Los Angeles, CA, USA, 2015, part I, LNCS 9172, pp. 354-365.
4. Ronzhin A. L., Karpov A. A. Multimodal Interfaces: Main Principles and Cognitive Aspects. Trudy SPIIRAN, 2006, iss. 3, vol. 1, pp. 300-319 (In Russian).
5. Karpov A. A., Lale A., Ronzhin A. L. Multimodal Assistive Systems for a Smart Living Environment. Trudy SPIIRAN, 2011, no. 19, pp. 48-64 (In Russian).
6. Karpov A. A., Ronzhin A. L. Multimodal Interfaces in Automated Control Systems. Izvestiia vuzov. Priborostroenie, 2005, no. 7(48), pp. 9-14 (In Russian).
7. Basov O. O., Saitov I. A. Methods of Transfer of Polymodal Information. Nauchno-tekhnicheskii vestnik informat-sionnykh tekhnologii, mekhaniki i optiki, 2015, no. 2(15), pp. 293-299 (In Russian).
8. White T. L., Krausman A. S. Effects of Inter-Stimulus Interval and Intensity on the Perceived Urgency of Tactile Patterns. Applied Ergonomics, 2015, vol. 48, pp. 121-129.
9. Ronzhin Al. L., Budkov V. Yu., Ronzhin An. L. User Profile Forming Based on Audiovisual Situation Analysis in Smart Meeting Room. Trudy SPIIRAN, 2012, no. 4(23), pp. 482-494 (In Russian).
10. Basov O. O., Karpov A. A., Saitov I. A. Metodologicheskie osnovy sinteza polimodal'nykh infokommunikatsionnykh sistem gosudarstvennogo upravleniia [Methodological Ba-
sis for Synthesis of Polymodal Infocommunication Systems for the State Administration]. Orel, Akademiia FSO Rossii Publ., 2015. 271 p. (In Russian).
11. Basov O. O., Saitov V. A. Functioning Quality and Effectiveness of Polymodal Infocommunicational Systems. Trudy SPIIRAN, 2014, no. 1(32), pp. 152-170 (In Russian).
12. Ustinov A. A. Stokhasticheskoe kodirovanie video- i rechev-oi informatsii [Stochastic Coding of Video and Speech Information]. V. F. Komarovich ed. Saint-Petersburg, VAS Publ., 2005. Vol. 1. (In Russian).
13. Speech Recognition and Coding. New Advances and Trends. NATO ASI Series. Germany, 1995. 464 p.
14. Lipkin I. A. Statisticheskaia radiotekhnika. Teoriia infor-matsii i kodirovaniia [Statistical radio Engineering. Information Theory and Coding]. Moscow, Vuzovskaia kniga Publ., 2002. 216 p. (In Russian).
15. Afanas'ev A. A., Bogachev G. V., Rybolovlev A. A. Teo-retiko-mnozhestvennaia model' lipredera s adaptatsiei raspredeleniia informatsionnykh resursov k statisticheskim kharakteristikam kodiruemykhparametrov [A Set-Theoretical Model of a Linear Prediction Vocoder with Adaptation of Information Resources Distribution to the Statistical Characteristics of Encoded Parameters]. Orel, Akademiia FAPSI Publ., 2002. 60 p. (In Russian).
16. Basov O. O. Mathematic Model of the Speech Coding System with a Multiparameter Adaptation. Telekommunikatsii, 2008, no. 7, pp. 7-13 (In Russian).
17. Basov O. O. A Conceptual Model of Multicriterion Adapta-tionof the Linear Predictive Voice Coding Procedure. Telecommunications and Radio Engineering, 2009, no. 10(68), pp. 923-931.
18. Csiszar I., Körner Ya. Information Theory: Coding Theorems for Discrete Memoryless Systems. Cambridge University Press, 2011. 600 p.
19. Feng H., Effros M. On the Rate Loss of Multiple Description Source Codes. IEEE Trans. on Information Theory, 2005, no. 2(51), pp. 671-683.
