CC BY
20
Доклады БГУИР
2012 № 4 (66)
УДК 004.932.2
КОДЕК ДЛЯ ОБРАБОТКИ И ПЕРЕДАЧИ ПАНОРАМНЫХ ВИДЕОДАННЫХ
К.А. ВОЛКОВ, В.К. КОНОПЕЛЬКО
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 30 января 2012
Произведен анализ требуемой скорости передачи панорамных видеоданных для стационарных и мобильных сетей видеонаблюдения. Предложен кодек, учитывающий информацию о подвижных объектах, расположенных вне поля зрения оператора.
Ключевые слова: панорамные видеоданные, видеокодек, оператор.
Введение
Для уменьшения объема передаваемой информации в сетях видеонаблюдения используется эффективное кодирование. Существующие методы эффективного кодирования используют для сжатия видеоданных пространственную, статистическую и временную избыточность, а также особенности зрительной системы человека при восприятии цветных и полутоновых изображений [1, 2]. Дополнительно уменьшить объем передаваемой информации позволяет использование того факта, что не вся передаваемая информация может быть воспринята оператором и, следовательно, не требует передачи, что особенно актуально для панорамного видеонаблюдения. В работе проведен анализ требуемой скорости канала передачи данных для полноразмерных панорамных видеоизображений. Предлагается и исследуется метод эффективного кодирования панорамного видеоизображения с использованием обратной связи от оператора.
Анализ требований при передаче панорамного видеоизображения
Проведен натурный эксперимент по оценке требуемой пропускной способности канала для передачи панорамного видеоизображения. В ходе эксперимента осуществлялось измерение скорости передачи видеоданных от фасеточной сборки шести видеокамер [3] в формате MotionJPEG с частотой 25 кадров/с, разрешением камеры 768x576 пикселов и качеством сжатия 70%. Условия эксперимента соответствуют стандартным параметрам цифровых систем видеонаблюдения. Результаты измерений представлены на рис. 1. На графике центр круга соответствует средней скорости, радиус - колебаниям скорости передачи данных. Полученные значения сопоставлены с максимальной декларируемой скоростью различных технологий передачи данных, которые используются в стационарных и мобильных сетях видеонаблюдения (МСВН). Выявлено, что для передачи видеоданных по беспроводным сетям в реальных условиях (не выше 50-70% от максимальной декларируемой скорости передачи) могут быть использованы только данные от одиночных видеокамер или полноразмерное панорамное изображение с низким разрешением 384x288x6.
Проведен анализ условий работы оператора МСВН. Установлено, что для осуществления наблюдения оператором достаточно передавать только фрагмент панорамного изображения. Это связано с ограниченностью поля зрения человека, что позволяет значительно сократить требования к пропускной способности каналов для передачи видеоинформации.
Для проведения наблюдения в условиях ограниченного пространства широкое применение нашли нашлемные системы индикации (НСИ) [1, 2, 4]. При этом видеоизображение НСИ должно согласовываться с изменением направления взгляда оператора при повороте головы,
что помогает увеличить эффективность работы оператора в условиях стресса и снижения концентрации внимания.
1024х768х6
ViMa*. 802.16d-
Vi-Fi 802.1La, Wi-Fi 802.1Lg"
ViMa*.802.16e-
■■ Bluetooth v.3.0 802.1
10BASE5 802.3, 1 10BASE2 802.3a
Рис. 1. Требуемая скорость передачи панорамных видеоданных
Проведен анализ существующих программных и аппаратных решений для панорамных видеокодеков компаний Spherical Panorama, Inc., Remotereality, EGG Solution Inc., Google Inc. и др. Установлено, что представленные видеокодеки специализируются на выделении и передаче отдельного участка панорамного изображения, выбор которого пользователем производится вручную. Данный подход оправдан для использования в кинематографии, образовательном видео, виртуальном туризме. Однако он не эффективен для задач видеонаблюдения, поскольку не позволяет оперативно выбирать требуемую область пространства для отображения, а также не предоставляет информации о подвижных объектах, расположенных вне ее.
Для осуществления эффективной передачи панорамных видеоизображений предлагается модифицировать классическую схему системы видеокодирования [5-7], включив в ее состав управляющую обратную связь между оператором и видеокодером, по которой передается информация о направлении взгляда оператора (рис. 2).
Видеокамера
Видеокодер
Канал передачи
Видеодекодер
Устройство отображения
Оператор
Датчик направления взгляда
Рис. 2. Структура видеокодека с обратной связью для передачи панорамных видеоданных
Видеокодер осуществляет формирование панорамного видеоизображения из видеосигналов фасеточной сборки видеокамер или подвижной сканирующей видеокамеры [3, 8], выделяет движущиеся объекты на сформированном панорамном видеоизображении [9] и соответствующий полю зрения оператора фрагмент панорамного видеоизображения, производит интеграцию в выделенный фрагмент видеоизображения информации (в виде пиктограмм) о подвижных объектах, расположенных вне поля зрения оператора, и выполняет эффективное кодирование сформированного видеоизображения.
Видеодекодер выполняет декодирование видеоизображения для отображения в НСИ. Для предлагаемого видеокодека может применяться любая существующая программная или аппаратная реализация видеодекодера, поддерживающая используемый видеокодером формат эффективного кодирования.
Датчик направления взгляда оператора осуществляет определение угловой ориентации головы оператора в двух плоскостях. Это можно реализовать на основе оптического принципа определения положения головы оператора в двух плоскостях [10, 11]. Данное решение не требует специальной модификации шлема, пригодно для работы оператора в условиях стесненного рабочего пространства с множеством металлических поверхностей и наличием вибраций, обеспечивает достаточную точность детектирования угла перемещения [1, 12].
768х576х6
640х480х6
1024x768
384х288х6
768х576
Видеокодек с обратной связью
Для представления информации о подвижных объектах, расположенных вне поля зрения оператора, возможно использование стрелочных индикаторов с указанием относительной позиции и индикаторов в виде азимутальной диаграммы (рис. 2). В мобильных системах видеонаблюдения в качестве эффективного кодирования можно использовать протокол MotionJPEG. Данное решение предъявляет минимальные требования к кодирующему и декодирующему оборудованию (по сравнению с MPEG-4, Н.264 и др.) и позволяет применить недорогие компьютеры с малой вычислительной мощностью, габаритами, энергопотреблением и использовать программные библиотеки с открытым кодом.
б в
Рис. 2. Образец синтезированного изображения для НСИ: а - фрагмент исходного панорамного видеоизображения; б - стрелочная индикация подвижных объектов; в - азимутная индикация подвижных объектов
Согласно предложенной структурной схеме выполнена программно-аппаратная реализация видеокодека (рис. 3), которая предполагает выполнение следующих операций.
Рис. 3. Функциональная схема видеокодека с обратной связью
1. Формирование множества областей движения A(t) = |\a(i,t)|(._QN_ [9]. Исходный кадр M (t) _ ||m(w, h, t )||(w_or _i h_0H _1 видеоданных (t е[0,Г _ 1]) размером W x H попиксельно
сравнивается с фоновым изображением MBq (t), найденные замкнутые области различий соответствуют областям движения.
2. Коррекцию фонового изображения MBG (t) с учетом кадра M (t).
3. Выделение ограничивающих прямоугольников областей движения Rln (t)
и Rout (t) с
учетом углов направления взгляда оператора (а, ß) в двух плоскостях. Определяются ограничивающие прямоугольники R(t) _||r(i,t)||(i_o N_i) для выделенных областей движения A(t).
Множество ограничивающих прямоугольников разделяется на множество Rjn (t) прямоугольников, расположенных в поле зрения оператора и множество Rout (t) прямоугольников, расположенных вне поля зрения.
4. Синтез изображения M(t) _ ||m(w,h, t)|(w_o"W_i h_0H_1) на основе исходного кадра
M (t) и информации об ограничивающих прямоугольниках Rjn (t) и Rout (t) .
5. Формирование сжатого изображения Mc (t) на основе синтезированного изображения M (t).
6. Передачу сжатого изображения Mc (t) по сети от кодера к декодеру.
7. Восстановление изображения M(t)из сжатого изображения Mc (t) и отображение его оператору.
8. Определение углов (а, ß) направления взгляда оператора [10] и передача данной информации по сети к декодеру.
Произведен натурный эксперимент для определения быстродействия отдельных программных блоков. В эксперименте тестирования кодера и декодера использовались идентичные компьютеры со следующей конфигурацией: чипсет Zotac IONITX-G-E Nvidia ION, процессор Intel Atom N330 dual-core 1,6 GHz, ОЗУ 2xDDR2-800 1Гб. Результаты эксперимента приведены в таблице.
Время обработки одного кадра программными блоками видеокодека
Программный блок Время обработки, мс
Блок выделения областей с движущимися объектами 10
Блок синтеза видеоизображения (с наложением пиктограмм) 2
Блок кодирования видеоизображения 22
Блок декодирования видеоизображения 8
Блок определения положения головы оператора 12
Анализ данных таблицы показывает, что задержка на обработку одного видеокадра кодером составляет 34 мс, т.е. система может работать в режиме реального времени для видеопотока с частотой 25 кадров/с.
Заключение
В работе проведен анализ требуемой скорости и показана возможность отказа от передачи полноразмерного панорамного видеоизображения. Предложен видеокодек с обратной связью, осуществляющий передачу фрагмента панорамного видеоизображения с учетом направления взгляда и поля зрения оператора. Проведен натурный эксперимент для определения быстродействия программных блоков, подтвердивший работоспособность предложенного видеокодека для систем видеонаблюдения реального времени. Видеокодек может использоваться в стационарных и мобильных сетях видеонаблюдения для контроля технологических процессов на предприятиях, охраны объектов, проведения исследований в различных областях науки и техники.
CODEC FOR THE PROCESSING AND TRANSFER OF PANORAMIC VIDEO
DATA
К.А. VOLKOV, V.K. KONOPELKO Abstract
An analysis of the required transfer rate of panoramic video data for stationary and mobile surveillance networks is done. A codec which takes into account information about moving objects located out of sight of the operator is proposed.
Список литературы
1. Кучерявый А.А. Бортовые информационные системы. Ульяновск, 2004.
2. King P. // SID 95 digest. 1995. P. 663.
3. Волков К.А., Сиротко И.И. // Телекоммуникации: сети и технологии, алгебраическое кодирование и безопасность данных: материалы международного научно-технического семинара. 2011. С. 57-61.
4. Sherman R. // Avionics Magazine. 2001. Vol. 25, №3. P. 25-27.
5. Chen T. // IEEE Transactions of circuits and systems for video technology. 1993. Vol. 3, №2. P. 116-137.
6. Ghanbari M. Standard Codecs-Image Compression to Advanced Video Coding. UK., 2003.
7. IainR. // The Robert Gordon University. UK., 2003.
8. Волков К.А., Конопелько В.К. // 5-я Международная научная конференция по военно-техническим проблемам, проблемам обороны и безопасности, использованию технологий двойного применения. 2011. С. 101-103.
9. Волков К.А. // Докл. БГУИР. 2010. №5. С. 92-98.
10. Волков К.А. // Телекоммуникации: сети и технологии, алгебраическое кодирование и безопасность данных : материалы международного научно-технического семинара. 2011. С. 61-65.
11. Mulder A. Human Movement Tracking Technology. Technical Report 94-1, Simon Fraser University School of Kinesiology, 1994.
12. Warwick G. // Flight International. 2000. Vol. 158, №4748. P. 38-39.
