CC BY
353
УДК 621.396.67
Задержка в мультимедийных системах
А.В. Баринов
Рассмотрены основные функциональные требования к мультимедийным системам и сделан акцент на временные задержки в элементах этих систем.
The basic functional requirements are considered and the emphasis is put on time delays in multimedia systems elements.
Сегодня существует большое количество различных аудио- и видеосистем, которые применяются в повседневной жизни: 1Р-телефония, видеоконференцсвязь, потоковое вещание, видео по запросу и т.п. Каждая из этих систем использует какую-либо технологию для реализации своего функционала. При этом одним из важнейших вопросов является приемлемое качество, для достижения которого система должна строго отвечать определенным требованиям, рекомендациям и нормам. Поэтому особое внимание обращается на временную задержку сигналов в мультимедийных системах.
Рассмотрим этот вопрос на простейшем примере систем видеоконференцсвязи (ВКС). На ри-
сунке представлен процесс преобразований сигнала в ходе типичного соединения ВКС «точка-точка». Так как системы ВКС являются системами реального режима времени, где любые задержки играют большую роль, то для них было введено понятие качество обслуживания - QoS (Quality of Service), которое регламентирует основные временные значения. Это понятие сформировалось в службах связи для описания определенного набора технических характеристик систем передачи данных. Поскольку само понятие «качество обслуживания» является интегральным, то и система характеристик, включаемая в него, отражает разные аспекты функционирования мультимедийной систе-
Процесс преобразований сигнала в ходе типичного соединения ВКС «точка-точка»
мы. Поэтому можно выделить несколько категорий параметров QoS (табл. 1).
Таблица 1. Категории параметров QoS
Характеристики системы мультимедиа Технико-экономические параметры
Производительность Пропускная способность канала, полная задержка передачи данных
Представление данных Разрешающая способность воспроизведения изображения, частота кадров, метод сжатия
Уровень синхронизации медиапотоков Временной сдвиг аудио- и видеокомпонент при их воспроизведении в приемнике
Восприятие пользователем Субъективная оценка качества изображения и звука
Конечно, значимость различных групп этих характеристик изменяется в зависимости от типа мультимедийных систем (например, видео по требованию или ВКС), но коммуникационная система должна гарантировать согласованный уровень качества обслуживания, соответствующий требованиям приложения.
Пользователь является центральным звеном информационной системы и источником требований к характеристикам качества обслуживания. Поэтому мультимедийное приложение должно располагать интерфейсом, позволяющим пользователю относительно просто сформулировать свои требования к качественным характеристикам функционирования системы. Хороший интерфейс в максимально возможной степени скрывает от пользователя внутреннюю специфику системы параметров QoS (часто просто непонятную неспециалисту) и предоставляет возможность задания их в простых терминах разрешающей способности и числа цветовых компонент изображения, частоты кадров и качества звука (например, «телефонное» или уровня CD). Естественно, что характеристики QoS в реальных системах не являются независимыми, а некоторые из них могут быть просто противоречивыми (например, размер изображения и время задержки передачи). Поэтому, с одной стороны, пользователь должен представлять основные взаимосвязи системы параметров, а с другой, интерфейс приложения должен уметь пересчитать требования пользователя в системные параметры, установить их, по крайней мере, принципиальную реализуемость, а в случае необходимости потребовать коррекции исходных требований. В современ-
ных системах ВКС такие функции интерфейса реализуются все в большей степени.
Международный союз производителей мультимедийных систем (Multimedia Communication Forum - MMCF) был сформирован с целью усиления координации усилий фирм-производителей этих систем в области обеспечения их совместимости и стандартизации. MMCF сосредоточил основное внимание на определении системы параметров QoS сетевых компьютерных приложений совместной работы (Multimedia Desktop Collaboration Applications). Системы ВКС принадлежат к этой категории, и поэтому некоторые положения документа MMCF «Multimedia Communications Quality of Service» относятся непосредственно к ним. В рекомендациях ITU-T I.350 были определены критерии оценки качества сервиса и свойств сети.
К числу основных параметров качества телесервиса систем совместной работы документ MMCF относит следующие.
Задержка передачи аудиопотока (Audio Transfer Delay). В приложениях, обеспечивающих интерактивный обмен речевыми сообщениями, задержка передачи аудиопотока может быть причиной двух нежелательных эффектов: в условиях пренебрежимо малого уровня эхо такая задержка может оказывать негативное влияние на динамику обмена сообщениями, а при наличии заметного уровня эхо рост времени задержки может привести к дополнительному возрастанию уровня эхо и вывести из строя оборудование. Рекомендации ITU-T G.131 содержат эмпирическое правило, согласно которому необходимо применение специальных средств эхоподавления, если время передачи аудиосообщения превышает 25 мс. Для соединений с адекватным эхоподавлением задержка передачи аудиопотока зависит от уровня интерактивности. Рекомендации G.114 установили, что при наличии средств подавления эхо задержка передачи аудиосообщений в пределах 0...150 мс приемлема для большинства приложений, в пределах 150. 400 мс - для приложений с низким уровнем интерактивности и жестким режимом администрирования конференции, задержка более 400 мс является недопустимой для всех сетевых приложений. Таким образом, для телекоммуникационных приложений совместной работы задержка передачи аудиопотоков не должна превышать 150 мс, а в отдельных случаях, для приложений с очень высокой степенью интерактивности, она должна быть не более 100 мс.
Ширина полосы пропускания аудиоканала (Audio Frequence Range). Этот параметр должен соответствовать требованиям рекомендаций G.711 и G.722 - 3,1 кГц и 6,7 кГц соответственно.
Уровень аудиосигнала (Audio Level). Очевидно, что значение сигнала должно примерно соответствовать аналогичному показателю для обычного телефонного оборудования, т.е. быть не менее -20 дБ.
Период беспомехового аудиоприема (Audio Error Free Interval). Всевозможные искажения (щелчки, шипения и т.п.) могут быть следствием помех, возникающих в канале передачи. Время беспомехового приема является типичным интервалом времени, в течение которого указанные явления не наблюдаются.
Задержка передачи видеопотока (Video Transfer Delay). Параметр не является критичным, так как задержка даже до значения 600 мс практически не ощутима в ходе обычной конференции.
Разностная задержка передачи видео- и аудиопотоков (Video/Audio Differential Delay). С позиций QoS существенно как само значение, так и постоянство разностной задержки видео/аудио. Субъективный эффект этого параметра не до конца изучен, но отмечается, что 50 % пользователей определяют как соответствующую норме сессию видеоконференцсвязи, в которой ВА-задержка изменялась в пределах от -120 до +250 мс. Установлено также, что с увеличением частоты кадров видеоряда негативный эффект ВА-задержки возрастает. Поэтому для приложений с частотой видеокадров более 15 кадр/с задержка должна находиться в пределах 100 мс.
Частота кадров видеоряда (Video Frame Rate). При передаче любых сюжетов частота менее 5 кадр/с неприемлема. При передаче же динамичных сюжетов и частоте менее 15 кадр/с изображение может производить впечатление «дергающегося».
Видеоразрешение (Video Resolution). Этот параметр определяет возможность различения деталей изображения в пространственном измерении.
Период беспомехового видеоприема (Video Error Free Interval). Искажение изображения типа обозначения границ блоков, нарушений цветности, «дергания» границ могут являться следствием помех в канале передачи (в дополнение к погрешностям кодера/декодера). Время беспомехового видеоприема - это оценка типичного временного интервала, в течение которого указанные явления не фиксируются.
Дифференциальная задержка передачи данных и аудио (Delay Sensitive Data/Audio). В состав
данных, чувствительных ко времени передачи, входят данные, отражающие положение указателей «контрольная информация» и «информация эхоподавления». Наличие разностной задержки в передаче «данные-аудио» (ДА) может оказать очевидное негативное влияние на совместную работу пользователей. Источником такой задержки может быть как терминал, так и сеть.
Период беспомеховой передачи времячувст-вительных данных (Delay Sensitive Data Error Free Interval). Типичными проявлениями ошибок такого рода являются ошибочное положение указателей, ошибки в передаваемом тексте, неадекватная реакция приложений на управляющие воздействия пользователей.
Скорость передачи данных (Data Rate). «Данные» в этом случае включают в себя текст, графику, неподвижные изображения, бинарные файлы. Для их передачи с требуемым уровнем достоверности используются «надежные» протоколы с коррекцией ошибок.
MMCF установил, что приложения совместной работы должны отвечать как минимум трем классам качества обслуживания. Значения основных параметров телесервиса мультимедийных систем приведены в табл. 2.
Таблица 2. Значения основных параметров качества обслуживания
Параметр QoS Класс QoS-приложения
1 2 3
Задержка аудио, мс < 400 < 400 < 150
Полоса аудиоканала, кГц 0,3...3,4 0,3...3,4 0,05.6,8
Уровень аудиосигнала, дБ -20 -20 -20
Интервал беспомехового аудиоприема, мин > 5 > 15 > 30
Задержка видео, мс < 600 < 250 < 100
ВА-дифференциальная задержка, мс не определено -400...+200 -150...+100
Частота кадров, кадр/с не определено > 5 > 25
Видеоразрешение, пиксель не определено 176x144 352x288
Интервал беспомехового приема видео, мин не определено > 15 > 30
ДА-дифференциальная задержка, мс < 1000 < 200 < 100
Интервал беспомехового приема данных, мин > 5 > 15 > 30
Скорость передачи данных, кбит/с >5 > 50 >500
Также немаловажным параметром является задержка, вносимая каналом связи. Поэтому MMCF определил систему параметров качества сетевого сервиса (Network QoS). Рассматривая эти параметры, следует помнить о наличии трех базовых сетевых технологий: коммутации каналов (ISDN), коммутации ячеек (ATM) и коммутации пакетов (Ethernet, TCP/IP, X.25). С позиций качества обслуживания приложений реального времени, к которым относятся системы ВКС, эти три типа сетей отличаются своей способностью обеспечивать изохронность передачи трафика. Однако система параметров качества сетевого сервиса, предложенная MMCF, инвариантна к типу сети, что является ее положительным свойством.
Максимальная задержка передачи (Maximum Transfer Delay). Задержка передачи представляет собой временной интервал между моментом запроса на передачу информационной единицы, фиксируемым на передающем интерфейсе «Пользователь-Сеть», и моментом окончания ее приема, фиксируемым на приемном интерфейсе «Пользователь-Сеть».
Информационной единицей является байт -для сети с коммутацией каналов, ячейка - для ATM-сети и пакет - для сети с пакетной коммутацией. Время передачи может изменяться в зависимости от уровня загрузки сетевых каналов. Максимальная допустимая задержка передачи (DMAX) определяется как предельное время передачи по сети информационной единицы при нормальных условиях ее загрузки. Сервис считается недоступным, если задержка передачи превышает значение DMAX. Физическая природа этой задержки передачи очевидна - это сумма времени распространения сигнала в физической среде и времени обработки информационной единицы на сетевых узлах коммутации. Для сетей с коммутацией каналов, реализованных на волоконнооптических линиях длиной L, км, рекомендации G.114 дают следующую формулу вычисления времени передачи, мс, в одном направлении:
D = 3 + 0,05 х L .
В соответствии с этим выражением, например для LAN, имеющей протяженность физических каналов 2 км, задержка составит 13 мс, а для WAN-сети (до 27 тыс. км) - 140,5 мс. В сетях ATM и пакетной коммутации время передачи будет превосходить эти значения.
Вариация времени задержки передачи (Transfer Delay Variation). Свойства физической
среды передачи принципиально ограничивают снизу значения времен передачи. Для каждой сетевой среды существуют свои значения минимального времени передачи (Dmin). Предельное значение вариации времени передачи не должно превосходить величину, вычисленную по формуле
Dvar = Dmax Dmin .
Полное время задержки передачи (Equivalent Transfer Delay). Задержка передачи, фиксируемая на интерфейсе пользователя, включает в себя задержку передачи в сети и задержку буферизации принимаемых данных в приемном терминале, вводимую для компенсации вариации задержки в канале. Поскольку точное значение последней в текущий момент времени неизвестно и может быть разным (в зависимости от производителя оборудования), то обычно задержку буферизации устанавливают равной Dvar.
Скорость передачи информации пользователя (User Information Transfer Rate). Этот параметр определяется отношением числа бит в информационной единице, передаваемых через интерфейс «Пользователь-Сеть», к временному интервалу от начала передачи текущей информационной единицы до начала передачи последующей. Указанный объем данных, бит, не включает в себя накладные расходы на обслуживание стека протоколов, обеспечивающих передачу данных. Скорость передачи информации пользователя изменяется в зависимости от состояния сети, загруженности каналов и т.п. Этот параметр может служить мерой объема сервиса, запрашиваемого у сетевого провайдера для обслуживания приложения.
Коэффициент безошибочного приема (Error Free Seconds Ratio). Ошибочный прием информационной единицы фиксируется на приемном интерфейсе «Пользователь-Сеть». Интервал времени продолжительностью 1 с, в течение которого не было зафиксировано принятых с ошибками информационных единиц, определяется как единица безошибочного приема (Error Free Second). Отношение общего числа таких интервалов к общему времени передачи информации и определяет коэффициент безошибочного приема. Критерии по этому параметру для приложений 2-го и 3-го классов QoS соответствуют уровню ошибок в сетевых каналах не более 10-6.
Предельно допустимый уровень ошибочного приема (Severely Impaired Seconds Ratio). Этот параметр характеризует суммарный эффект следующих негативных явлений:
возникновение очень высокого уровня ошибок в сетевых каналах, когда отношение ошибочных битов к их общему числу достигает 10-3;
прием информационных единиц, которые не передавались;
потеря информационных единиц, которые были переданы.
Источником таких нарушений могут быть ошибки маршрутизации, сбои коммутационного оборудования, аномальные явления в физической среде передачи информации. Каждый из перечисленных эффектов измеряется числом односекундных интервалов, в течение которых были зафиксированы указанные нарушения. Количественно уровень ошибочного приема определяется отношением общего числа таких односекундных интервалов к длительности периода приема. Значения параметров сетевого сервиса применительно к ВКС приведены в табл. 3.
Таблица 3. Значения параметров сетевого сервиса ВКС
Параметры качества обслуживания Класс QoS
1 2 3
Полное время задержки передачи, мс < 200 < 200 < 100
Скорость передачи данных, кбит/с > 10 > 100 > 1000
Коэффициент безошибочного приема, % > 94 > 97 > 99
Предельный уровень ошибочного приема, % < 0,3 < 0,1 < 0,05
Таблица 4. Требования ВКС, предъявляемые к каналу связи
Параметр Характеристика Примечание
Задержка прохождения пакетов Не более 150 мс в каждом направлении Рекомендуется
Неравномерность получения пакетов (Jitter) Не более 50 мс Критично
Потери пакетов Не более 1 % Критично
Обеспечение качества обслуживания IP Precedence, DiffServ Рекомендуется
Полоса пропускания Для каждого соединения требуемая скорость связи + 20.30% Критично
Поскольку канал связи является одним из важнейших звеньев в системе ВКС, к нему предъявляются высокие (с точки зрения других сервисов) требования, не только регламентируемые в QoS, но и самими производителями оборудования. Важнейшие параметры приведены в табл. 4.
Одной из наиболее значимых характеристик канала связи для организации ВКС является неравномерность получения данных (Jitter). В сетях с коммутацией пакетов - это неравномерность получения пакетов. Так как система ВКС - это система реального режима времени, для нее является важным приход закодированной аудио- и видеоинформации в строго определенное время. В принципе, современные системы ВКС мировых производителей в этой области способны обеспечить приемлемое качество сеанса ВКС даже при неравномерности получения пакетов в 100 мс. Для того чтобы уменьшить это значение, канал связи, обеспечивающий соединение, должен иметь гарантированную полосу пропускания на всем пути от одной точки до другой. Это одно из важнейших требований при организации канала связи для систем ВКС при работе с провайдером канальных услуг.
Естественно, канал связи является одним из основных звеньев, вносящим коррективы в сеанс ВКС и отвечающим за качество сеанса. Однако помимо задержки, вносимой каналом связи, сама станция (кодек) ВКС вносит определенную задержку при кодировании и декодировании аудиовидеоинформации. Подробно процессы кодирования и декодирования можно рассмотреть на рисунке, приведенном выше. В общем, процесс кодирования информации можно обозначить как ряд преобразований и фильтраций с целью уменьшения избыточности исходного сигнала до определенного(заданного) уровня. Процесс декодирования информации - это обратные преобразования, которые, как правило, занимают приблизительно в 3 раза больше времени по отношению к времени кодирования [4]. Отметим некоторые основные аспекты этого процесса.
Помимо задержки кодирования / декодирования информации современные станции ВКС умышленно вносят задержку при кодировании информации в звуковой тракт (так как кодирование звука менее трудоемкий процесс, нежели видео) для максимальной синхронизации выходящих аудио- и видеопотоков. При декодировании специально вносится задержка в несколько миллисекунд для синхронизации, упорядочивания и устранения временной неравномерности (Jitter) меж-
ду пакетами, приходящими из канала связи. Данная задержка равна приблизительно 20 мс и автоматически подстраивается станцией во время сеанса ВКС, в зависимости от сетевых условий. Некоторые станции ВКС имеют возможность пользовательской настройки такой задержки. Этот буфер, в несколько десятков миллисекунд, используется станциями ВКС для уменьшения влияния неблагоприятных сетевых условий на сеанс ВКС. Многие производители систем ВКС имеют запатентованные технологии работы с этим буфером.
В общую задержку также входит, задержка при преобразованиях свет-сигнал/сигнал-свет, т.е. время на отображение информации и преобразование ее из аналогового сигнала в цифровой. На сегодняшний день существует множество систем отображения информации: CRT, PDP, TFT-LCD, LEP, DLP, OLED.
Однако в широкоформатном варианте на настоящий момент одной из самых прогрессивных является технология цифровой обработки света DLP (Digital Light Processing), которая имеет ряд неоспоримых преимуществ:
высокое качество изображения, свободное от помех, поскольку цифровая технология резко снижает вероятность искажений и потерь информации при ее передаче и обработке;
безупречно точное воспроизведение уровней цвета и шкалы серых тонов, каждый кадр изображения создается с помощью цифровой шкалы;
возможность создания однородного по яркости, контрастности и цветности полиэкранного изображения, воспринимаемого зрителем действительно единым;
высочайшая надежность микрозеркального устройства DMD (Digital Micromirror Device), формирующего изображение;
основой DLP-проектора является DMD-кристалл с расположенными над ним сотнями тысяч микроскопических зеркал размером 13^13 мкм.
В малоформатном отображении сегодня одной из быстроразвивающихся является LEP-технология - создание дисплеев на основе светоизлучающих полимеров LEP (Light Emitting Plastics). Устроен такой дисплей просто - два дополнительных слоя полимера нанесены непосредственно на TFT-матрицу и подложку. В LEP высокие яркость и контрастность, что должно обеспечивать читаемость дисплея в любых условиях. Также положительные качества - компактность и легкость. Толщина дисплея не превышает 1 мм (с учетом защитного стекла - не более 2 мм), мас-
са исчисляется граммами. Немаловажным параметром считается и диапазон рабочих температур. При -30...+60°С LEP-дисплей работоспособен, отличается приличной механической прочностью, и его даже можно изгибать.
Задержка же при отображении информации варьируется в зависимости от типа используемой технологии. Современные LCD-панели имеют задержку на отображение информации не более 15 мс.
В преобразовании свет-сигнал в настоящее время преобладает технология, в которой используются приборы с зарядовой связью (ПЗС). За истекшие годы в технологии их изготовления был достигнут потрясающий прогресс. Типоразмер выпускаемых приборов охватывает как миниатюрные матрицы с шагом элементов 3.5 мкм (одна из последних разработок Sony), так и гигантские кристаллы форматом 5 тыс. на 5 тыс. элементов и размером кристалла почти 8x8 см2 и даже 7 тыс. на 9 тыс. элементов (фирма Philips).
У ПЗС есть и свои проблемы. Самая серьезная из них - специфическая, ни на что не похожая технология изготовления и чрезвычайно жесткие требования к однородности исходного кремния и степени совершенства технологического процесса.
Время обработки сигнала в ПЗС-матрицах составляет не более 40 мс, что вполне приемлемо как для бытового телевидения, так и для использования этих приборов в ВКС.
Следует отметить, что материал этой статьи является продолжением цикла ранее опубликованных работ [14-17].
ЛИТЕРАТУРА
1. Михайлов В. А., Шурбелев А. П. Видеокамеры. От телевизионной камеры к видеокамере. - 625, 2000, №9, с.5-38, Сетевой ресурс: www.625-net.ru.
2. Техническая спецификация АЦП фирмы Burr-Brown-
ADS7811. 2000, с. 1-9, Сетевой ресурс:
http://focus.ti.com/docs/prod/folers/print/ads7811.html.
3. Техническая спецификация видеопроцессора фирмы
Texas Instruments TLV990A. 2000, с. 1-21, Сетевой ресурс: http://focus.ti.com/docs/prod/folders/
print/tlv990a.html.
4. Техническая спецификация видеопроцессора фирмы Equator BSP-15. 2001, с. 1-96., Сетевой ресурс: ftp://equator.com/pub/sonic/bsp15/h263+decoder_ref.pdf.
5. Ненормативный документ Международного союза производителей мультимедийных систем (Multimedia Communication Forum - MMCF), MMCF «Multimedia Communications Quality of Service» 1995, с. 43-50., Сетевой ресурс: www.mmcf.com.
6. Техническая спецификация сетевого интерфеса
компании Realtec rtl8139C(L)+. 2004, с.1-103, Сетевой ресурс: http://www.realtek.com.tw /down-
loads/downloads 1-3.aspx ?spec = True& compamodel =RTL 8139C(L) %2b.
7. Техническая спецификация LCD монитора фирмы Samsung LN-R408D. 2005, с.1-10., Сетевой ресурс: http ://downloadcenter. samsung. com/content /UM/ 200503/20050308144247765_BN68-00803A-0Eng.pdf.
8. Лазовский Л. Ю. Приборы с зарядовой связью: прецизионный взгляд на мир. - 625, 2005, №7, с.2-26, Сетевой ресурс: www.625-net.ru.
9. Сетевой ресурс: www.compression.ru.
10. Сетевой ресурс: www.videoexpert.home.att.net.
11. Сетевой ресурс www.iujitsu.com.
12. Сетевой ресурс www.ietf.tw.
13. Сетевой ресурс www.ti.com.
14. Петраков А. В. Анализ качеств и пути совершенствования бесфильмовых измерительных линий «Телевизионная система-ЭВМ» в экспериментах ядерной физики // Материалы I Всесоюзного совещания по автоматизации научных исследований в ядерной физике. - Киев: АН УССР, 1967, с. 132-133.
15. Петраков А. В. Быстродействие линий «Телевизионная система-ЭВМ» при измерении координат объектов // Техника средств связи. Сер. Техника телевидения, 1980, вып. 5, с. 101-105.
16. Петраков А. В. Высокоточные телевизионные комплексы для измерения координат однократных быс-тропротекающих процессов. Автореферат диссертации д-ра техн. наук. - М.: МИФИ, 1983.
17. Петраков А. В. Автоматические телевизионные комплексы для регистрации быстропротекающих процессов. - М.: Энергоатомиздат, 1987.
Поступила 22. 09. 2006 г.
