Научная статья на тему 'Программная система аудиовидеоконференц-связи для локальных и корпоративных IP-сетей'

Программная система аудиовидеоконференц-связи для локальных и корпоративных IP-сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
133
40
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Программная система аудиовидеоконференц-связи для локальных и корпоративных IP-сетей»

 М Г

М (1,1) (5,0)

Г (0,5) (3,3)

Ясно, что наиболее выгодным для них является молчание. Однако простое рассуждение показывает, что, не имея никаких контактов между собой и к тому же не очень доверяя друг другу, каждый из узников, поразмыслив, придет к выводу, что нужно сознаваться.

Задачей ЭП является поиск такой игровой стратегии, которая позволит минимизировать средние потери при многократном повторении игровой ситуации. Можно представить каждую совместную игровую стратегию одним из состояний конечного автомата. Эксперименты с автоматами показали, что примерно в течение первых 20 ходов преобладает стратегия молчания, хотя уже после 5-10 ходов начинает встречаться стратегия кооперативного поведения, которая в дальнейшем однозначно становится доминирующей.

В заключение отметим, что ГП и ЭП в качестве аналога процессов, происходящих в живой природе, на практике доказали свою эффективность при решении ^Р-полных задач оптимизации, они дополняют арсенал эвристических мето-

дов поиска субоптимальных решений и широко используются в инженерных разработках. Развитие ГП и ЭП нельзя связывать лишь с решением оптимизационных задач. Автоматический синтез программ, формирование стратегий поведения и взаимодействия программных агентов в много-агентных средах являются областями, где представляется возможность оценить преимущества ГП и ЭП. Во взаимодействии с внешним миром с их помощью формируются и «выживают» успешные программы, а неспособные к адаптации «отмирают».

Список литературы

1. Курейчик В.М., Родзин С.И. Эволюционные алгоритмы: генетическое программирование. Обзор. - Изв. РАН. ТиСУ. - 2002. - №1. - С. 127-137.

2. Rodzin S.I. Schemes of Evolution Strategies // Proc. of 2002 IEEE Int. Conf. on AI' Systems (ICAIS, sept. 2002). IEEE Comp. Society: Los Alamos, California. P. 375-380.

3. Koza J.R. Genetic Programming. Cambridge: MA: MIT Press, 1992, 1994.

4. Курейчик В.М. Генетические алгоритмы. Состояние. Проблемы. Перспективы. - Изв. РАН. ТиСУ. - 1999. - №1. - С. 144-160.

5. Holland J.H. Adaptation in natural and artificial systems. An Arbor: the Uni of Michigan press, 1975.

6. Родзин С.И. Гибридные интеллектуальные системы на основе алгоритмов эволюционного программирования // Новости искусственного интеллекта. - 2000. - №3. - С. 159-170.

ПРОГРАММНАЯ СИСТЕМА АУДИОВИДЕОКОНФЕРЕНЦСВЯЗИ ДЛЯ ЛОКАЛЬНЫХ И КОРПОРАТИВНЫХ IP-СЕТЕЙ

П.П. Кравченко, Н.Ш. Хусаинов, А.А. Хаджинов, К.В. Погорелое, А.Н. Шкурко

Интенсивное развитие информационных технологий в области управления предприятием и производством, базирующееся на использовании локальных сетей, растущая потребность в оперативных ау-диовидеокоммуникациях и обмене данными в реальном масштабе времени между несколькими сотрудниками обосновывает актуальность использования эффективных средств многосторонней связи, отличающихся простотой в использовании, набором необходимых функциональных возможностей, доступной ценой. По существу, сформировалась потребность в установке и использовании дешевого и программно реализуемого "офисного компьютерного аудиовидеотелефона".

Администрирование локальных и корпоративных сетей, применение современного сетевого оборудования позволяет использовать при организации конференц-связи более эффективные протоколы и алгоритмы контроля и управления загруженностью канала связи по сравнению с решением этой задачи для глобальных сетей. Следствием этого является возможность адаптивного управления субъективным

качеством передаваемых аудиоданных (изменение частоты дискретизации, передача не только речи, но и пения, музыки и т.п.) и видеоданных (изменение частоты кадров, увеличение размеров изображения) с целью обеспечения максимально высокого качества при текущей загруженности канала связи. К тому же количество участников сеанса конференц-связи в локальных сетях может быть существенно выше, чем в глобальных сетях за счет более высокой пропускной способности каналов связи. Это накладывает серьезные требования на трудоемкость алгоритмов компрессии/декомпрессии аудио- и (что еще более важно) видеоданных, особенно при организации многоточечных (многосторонних) конференций.

Общими для рассмотренных и протестированных авторами наиболее известных и доступных систем конференц-связи для IP-сетей (NetMeeting фирмы Microsoft, CU-SeeMe фирмы WhitePine, LiveLAN фирмы PictureTel и др.) являются следующие недостатки:

- организация многоточечной аудиовидео- и документ-конференции невозможна без использова-

ния выделенного специального модуля (устройства) многоточечной конференции (Multipoint Control Unit, MCU);

— относительно высокая трудоемкость существующих алгоритмов компрессии аудио- и, особенно, видеоинформации и, следовательно, их низкая эффективность при одновременной работе с несколькими медиа-потоками;

— ориентация аудио- и видеокодеров на поддержание постоянной скорости выходных потоков независимо от реальной текущей (динамически изменяющейся) пропускной способности канала связи;

— высокая стоимость существующих систем многоточечной конференц-связи.

Решение указанных проблем предлагается авторами в рамках разработки новой программной системы многоточечной конференц-связи для локальных и корпоративных IP-сетей ВКС "Дельта-конференция". При этом особое внимание уделяется вопросам аудио-, видеокомпрессии, автоматического управления скоростью выходного потока аудиови-деокодера, временной синхронизации и программной реализации модулей системы многоточечной конфе-ренц-связи.

Принципы построения архитектуры системы ВКС "Дельта-конференция"

Одним из принципиальных отличий разработанной системы ВКС является отказ от использования какого-либо выделенного специализированного модуля управления видеоконференцией MCU. Взаимодействие осуществляется между программными терминалами, имеющими одинаковый набор функциональных программных модулей, предназначенных для решения задач захвата, кодирования, синхронизации, буферизации, передачи, приема, декодирования и воспроизведения медиа-данных, а также управления качеством кодирования видео- и аудиопотоков (рис.1).

Для обмена сигнальной и управляющей информацией в реальном масштабе времени используются логические каналы управления и контроля, организуемые в виде полного графа на базе протокола TCP/IP (протокол с гарантированной доставкой пакетов). Обмен медиа-данными выполняется с использованием широковещательных пакетов, что позволяет значительно повысить эффективность использования канала связи.

Рассмотрим принципы организации и функционирования некоторых блоков архитектуры системы ВКС.

Разработка аудиокодеков

Разработка алгоритмов аудиокомпрессии выполнена на основе разработанных в Таганрогском государственном радиотехническом университете (ТРТУ) алгоритмов оптимизированных дельта-преобразований второго порядка [1].

Исходный аудиосигнал разбивается во времени на небольшие интервалы (кадры), для каждого из которых вычисляются оптимальные параметры кодирования. Далее выполняется обработка сигнала с использованием разностного алгоритма оптимизированного дельта-преобразования второго порядка с вычисленными параметрами.

Трудоемкость операции декодирования одного отсчета оценивается двумя операциями целочисленного сложения, а кодирование отсчета звукового сигнала незначительно сложнее. Компрессия аудиоданных в алгоритме дельта-преобразования второго порядка осуществляется за счет замены многоразрядного представления исходных отсчетов звукового сигнала однобитными значениями величин дельта-битов. Особенностями кодека аудиоинформации на основе алгоритма дельта-преобразования второго порядка являются возможности адаптивной подстройки скорости выходного потока к текущей пропускной способности канала связи, а также кодиро-

Устройство захвата аудио

Приложение СВКС

Блок управления

Блок управления качеством кодирования

Сетевой TCP модуль

Интерфейс управления устройством захвата аудио

Интерфейс управления устройство м

захвата видео

Интерфейс управления кодером аудио

Интерфейс управления кодером видео

Интерфейс Интерфейс

управления управления

мультиплексором трансмиттером

Устройство захвата видео

Кодер видео

Мультиплексор

Кодер аудио

Трансмиттер

Соединение фильтров

Объект управления соединением фильтров

Логический канал управления и контроля

Логический канал обмена медиаданными

Рис.1. Пример организации взаимодействия блоков системы ВКС при передаче данных

вания звуковых сигналов различной природы (речь, пение, музыка) на основе единого алгоритмического подхода.

Разработка видеокодеков

Для эффективного устранения пространственных и временных избыточностей, присутствующих в любом видеосигнале, современные стандартизованные подходы к видеокомпрессии предполагают использование как внутрикадровой, так и межкадровой компрессии. При этом высокая трудоемкость стандартизованных видеокодеков обусловлена в основном низкой производительностью методов межкадрового кодирования, которые, хотя и позволяют обеспечить межкадровую компрессию в 2-8 раз выше по сравнению с внутрикадровой, но занимают порядка 70-80 % от общей трудоемкости видеокодека. Применение разработанных в ТРТУ алгоритмов компрессии видеоинформации характеризуется сравнительно низкой трудоемкостью, что позволяет осуществлять кодирование и декодирование видеопотоков в реальном времени без применения дополнительных аппаратных средств.

При внутрикадровом кодировании с использованием разработанных алгоритмов из кадра выделяется пространственная составляющая с пониженной дискретизацией. Полученное "прореженное" изображение обрабатывается стандартным алгоритмом оптимизированных дельта-преобразований второго порядка с дополнительной компенсацией (при необходимости) резких скачкообразных изменений сигнала с использованием дифференциальной импульсно-кодовой модуляции (ДИКМ). Оставшиеся пикселы изображения преобразуются в разности между исходным изображением и его закодированной "прореженной" составляющей, которые квантуются с использованием логарифмической шкалы квантования и затем могут быть дополнительно сжаты, например, арифметическим кодером.

Сущность предложенного авторами метода межкадровой компрессии состоит в том, что при сжатии формируется разностный кадр из непересекающихся блоков размером 4x4 пиксела. Затем к каждому блоку (по необходимости) применяется алгоритм кодирования на основе корректирующих матриц, отражающих (путем чередования знаков единичных коэффициентов) наиболее вероятные структуры блоков разностных кадров. Для кодирования блока выполняется поиск оптимальной матрицы (из фиксированного множества размером 64 или 128 матриц) и масштабирующего множителя посредством вычисления свертки пикселов разностного блока и коэффициентов матрицы. В случае необходимости обеспечения требуемого качества кодирования возможно итерационное (от 1 до 3 итераций) применение алгоритма. При этом количество итераций зависит от требуемой скорости выходного потока кодера.

Теоретические оценки и приведенные ниже результаты экспериментальных исследований подтвердили существенный выигрыш по быстродействию данного подхода по сравнению со стандартными методами видеокомпрессии.

Особенности программной реализации

Разработанные в ТРТУ алгоритмы аудио- и видеокомпрессии, синхронизации, буферизации и адаптации выходной скорости аудио- и видеокодеров легли в основу реализации базовых функциональных программных модулей ВКС "Дельта-конференция". Аудио- и видеокодеки реализованы в виде динамических библиотек (DLL), что позволяет использовать эти кодеки в других программах обработки мультимедийных данных под управлением ОС Windows. По желанию пользователя, для обработки аудиовидео-информации в разрабатываемой системе видеокон-ференц-связи имеется возможность использования других зарегистрированных в операционной системе кодеков.

Для организации стандартизованного интерфейса аудио- и видеокодеков с приложениями Windows использовалась библиотека средств разработчика Microsoft SDK DirectX 8.0 и интерфейс мультимедиа-приложений DirectShow, что позволило добиться высокой эффективности при одновременной обработке нескольких потоков медиа-данных с сохранением аппаратной независимости системы.

Тестирование и экспериментальные исследования

Основной целью проведения экспериментальных исследований системы передачи информации является интегрированная оценка параметров качества обслуживания (QoS) системы, включающая в себя оценки требуемой пропускной способности канала связи, полной задержки передачи видеопотока, предельной разрешающей способности воспроизведения изображения, частоты кадров, субъективные оценки качества изображения и звука, объем трафика, генерируемого системой ВКС.

Для проведения экспериментальных исследований разработанной программной модели использовались ПК на базе процессоров Intel Celeron и Pentium с тактовой частотой от 0,8 до 1,7 ГГц, объемом оперативной памяти от 128 до 256 Мб, работающие под управлением ОС Windows XP или Windows 2000. Сеть - Ethernet 100Мбит/с, сетевой концентратор - Compex Passive Hub.

В качестве источников видеосигнала использовались цифровые Web-камеры Creative PC-CAM 300 USB и Logitech Easy Cam, обеспечивающие ввод изображения размером от 120x160 до 640x480 пикселов и имеющие автоматически подстраиваемую (неуправляемую) частоту кадров (~5 кадров/сек до ~25 кадров/сек) и временную задержку в зависимости от освещенности (низкой или высокой).

Для моделирования различной сетевой нагрузки на канале связи использовался пассивный вариант сетевого концентратора. Особенность его работы состоит в том, что все клиенты разделяют между собой сетевую среду топологии "шина". Таким образом, присоединение к концентратору указанного типа дополнительной пары рабочих станций, генерирующих интенсивный сетевой трафик, позволяет промоделировать увеличение нагрузки на канал связи. Для генерации трафика в заданном объеме использовалось

вспомогательное программное обеспечение, позволяющее задавать величину нагрузки на канал связи от нулевой до максимально возможной для конкретного типа сетевого оборудования. Сбои во время сеансов передачи данных моделировались разрывом физического канала связи между передающей и приемной сторонами.

На основании результатов проведенных экспериментальных исследований можно сделать вывод о работоспособности и эффективности разработанной программной системы аудиовидеоконференц-связи по 1Р-сетям. По всем критериям оценки мультимедиа-систем разработанный программный продукт соответствует требованиям категории 2 (бизнес-качество), а по некоторым (частота кадров, разрешение) - категории 3 (экстра-качество) [2]. Особенностью системы, базирующейся на алгоритмической простоте методов сжатия аудио- и видеоинформации, является возможность одновременного программного (без аппаратной поддержки) декодирования и воспроизведения до 8 принимаемых аудиови-деопотоков с высоким качеством звукового и видеосигналов (аудиопоток - до 44 КГц, видеопоток - до 25 кадров/сек) и программное (без аппаратной поддержки) кодирование при этом собственного видеопотока при общей загруженности сетевого канала около 10 Мбит/сек.

Следует отметить "устойчивость" системы, то есть быстрое восстановление после потери связи между передающим и приемным модулями (например, при "перезапуске" передающего модуля, физическом разрыве соединения), адекватную реакцию на потери или искажения пакетов и эффективную реализацию механизма буферизации и выравнивания скорости генерируемого и принимаемого системой информационного трафика.

Пример, иллюстрирующий одновременный прием, декодирование и воспроизведение видеопотоков от нескольких источников одним клиентом конфе-ренц-связи, приведен на рисунке 2.

На данный момент разработка существует в виде опытного образца программной системы конференц-связи ВКС "Дельта-конференция" с поддержкой двусторонних и многосторонних конференций в локальных 1Р-сетях. Реализованы возможности обмена аудио- и видеопотоками между участниками конференции, адаптивного автоматического управления

качеством (объемом) передаваемых аудио/видеоданных, ограничения несанкционированного доступа к передаваемым медиа-данным, контроля подключения новых участников к сеансу связи.

Полученные результаты позволяют говорить о перспективности разработанных методик кодирования и передачи данных по сети, возможности их использования при разработке систем видеоконференц-связи, видеонаблюдения, систем с передачей и хранением аудиовизуальной информации общего и специального назначения (в том числе с защитой от несанкционированного доступа), разработки аппаратных средств аудиовидеокомпрессии на основе отечественной и зарубежной элементной базы. Отдельные программные модули (в частности аудио- и видеокомпрессии/декомпрессии) могут рассматриваться как готовые функциональные блоки компрессии при проектировании технических систем различного назначения.

Список литературы

1. Кравченко П.П. Основы теории оптимизированных дельта-преобразований второго порядка. Цифровое управление, сжатие и параллельная обработка информации. - Таганрог: Изд-во ТРТУ, 1997.

2. Синепол В.С., Цикин И.А. Системы компьютерной ви-деоконференц-связи. - М.: ООО "Мобильные коммуникации", 1999.

СИСТЕМА РАСПОЗНАВАНИЯ ЖЕСТОВ

К.М. Нюнькин

В работе рассматриваются вопросы, связанные с построением системы распознавания жестов для управления мобильными роботами.

При распознавании жестов необходимо обнаруживать на изображении руки человека и прослеживать изменение их положения или формы с течением времени. Для этого обычно используют

либо детектирование движения [1], либо обнаружение областей, имеющих цвет кожи, [2] либо оба этих подхода совместно [3]. Как правило, обнаруживаемые жесты имеют достаточно большой масштаб. В таких ситуациях обычно наряду с цветом используется детектирование областей движения. При распознавании мелкомасштабных

i Надоели баннеры? Вы всегда можете отключить рекламу.