CC BY
15
2013
УДК 004.932.2
Доклады БГУИР
№ 4 (74)
СИСТЕМА ПАНОРАМНОГО ВИДЕОНАБЛЮДЕНИЯ С УПРАВЛЯЮЩЕЙ
СВЯЗЬЮ ОТ ОПЕРАТОРА
К.А. ВОЛКОВ, В.К. КОНОПЕЛЬКО, ИИ. СИРОТКО, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 02 апреля 2013
Предложена модель системы панорамного видеонаблюдения с управляющей связью от оператора. Проведено экспериментальное исследование параметров системы панорамного видеонаблюдения, обеспечивающих комфортные условия работы оператора. Выработаны рекомендации по использования вариантов системы для различных компоновочных решений рабочего места оператора и пропускной способности канала передачи видеоданных.
Ключевые слова: панорамное видеоизображение, видеокодек.
Введение
Одной из основных задач видеокодирования является компактное представление видеоданных, что особенно актуально для мобильных сетей из-за ограниченной пропускной способности каналов связи. Разрабатываемые с 1980-х годов методы эффективного кодирования (сжатия) видеоданных ориентированы на передачу изображения для пассивного наблюдателя. При сжатии видеоинформации используется устранение внутрикадровой (пространственной и статистической) и временной (на основе межкадровой разности или компенсации движения) избыточности [1, 2]. При этом поле зрения и направление взгляда зрителя (оператора) определяется направлением и параметрами камеры. Существующие кодеки позволяют достичь значительного (до 101 —102 раз) сжатия передаваемых данных, однако они не эффективны для задач передачи панорамных изображений, поскольку их разрешение значительно превосходит разрешение обычной видеокамеры. Использование при кодировании информации о секторе наблюдения позволяет дополнительно сжать передаваемую информацию. Для этого предлагается модифицировать классическую схему системы передачи видеоданных, включив в нее управляющую связь от оператора к видеокодеру для использования информации о секторе наблюдения (рис. 1) [3].
Рис. 1. Модель канала передачи видеоданных с оператором
В работе исследуются параметры функционирования системы передачи панорамных видеоданных, обеспечивающие комфортные для оператора условия видеонаблюдения. Для определения угловой ориентации головы оператора использовался оптический принцип, по-
скольку он не требует специальной модификации шлема, пригоден для работы оператора в условиях стесненного рабочего пространства с множеством металлических поверхностей и наличием вибраций [4]. Для устранения внутрикадровой избыточности в работе применялся видеокодек Мойоп1РБО.
Модель системы панорамного видеонаблюдения
К параметрам, влияющим на комфортность оператора при эксплуатации системы панорамного видеонаблюдения, относятся дискретность и задержка реакции системы на изменение угловой ориентации головы оператора (УОГО), максимальная угловая скорость перемещения сектора наблюдения, минимальные частота кадров и качество формируемого изображения в нашлемной системе индикации. С точки зрения проектирования системы, при принятии компоновочных решений также важным параметром является точность определения угловой ориентации головы оператора, зависящая от расположения оператора относительно следящей камеры, характеристик используемого оборудования, светового загрязнения рабочего пространства [5]. Поскольку аналитически произвести такие оценки достаточно трудно, была разработана упрощенная модель системы панорамного видеонаблюдения, не формирующая панорамное изображение, а осуществляющая трансляцию с управляемой видеокамеры, перемещающейся синхронно с головой оператора (рис. 2).
Рис. 2. Структурная схема управления поворотной камерой
Функционирование системы осуществляется следующим образом. Изображение через оптический фильтр, устраняющий одну из компонент цвета для облегчения дальнейшей обработки, поступает на цифровую следящую видеокамеру. Изображение от видеокамеры подвергается цифровой фильтрации: применяется медианный фильтр для устранения помех типа «соль-перец» [6]. Далее оно передается в блок сегментации, который осуществляет выделение областей, соответствующих проекциям маркеров. Полученный результат передается в блок вычисления пространственных координат маркеров, в котором определяется положение маркеров в пространстве относительно камеры [4]. Далее информация поступает в блок вычисления вектора направления, который определяет угол поворота головы оператора и передает его в блок вычисления угла поворота подвижной камеры. Задача данного блока заключается в устранении случайных движений головы, обусловленных спецификой моторики оператора (тремором). После чего данные об угле передаются на блок управления поворотом видеокамеры, обеспечивающий изменение ее ориентации в пространстве.
В модели системы использовалась нашлемная система индикации НСИ-05Б и стереоскопическая поворотная видеокамера с двумя степенями свободы. Определение УОГО осуществляется либо одной следящей камерой с разрешением 640*480 пикселов, частотой кадров 25 Гц и углом обзора 60°, либо парой аналогичных камер, размещенных со стереобазой 150 мм. В качестве маркеров для шлема использовались инфракрасные светодиоды АЛ164В5, разнесенные на расстояние до 120 мм.
Экспериментальная оценка характеристик
Для определения влияния оптических фильтров и расстояния между шлемом и следящей видеокамерой на функционирование системы был проведен натурный эксперимент. Шлем
с установленными маркерами размещался на различных расстояниях от следящей камеры на штативе, обеспечивающем вращение в двух плоскостях с различной скоростью. Следящей камерой были сделаны видеозаписи (с применением светофильтров) для различных условий освещенности помещения: при искусственном освещении и естественном освещении в пасмурную и солнечную погоду. По условиям эксперимента, в каждом видеокадре должно присутствовать 4 маркера в известных позициях. Число ложных обнаруженных маркеров на 1000 кадров (Бгг1) и число пропущенных маркеров на 1000 кадров (Бгг2) фиксировалось автоматически. Результаты проведенного эксперимента приведены в таблице.
Таблица 1. Зависимость качества обнаружения инфракрасных маркеров (пропущенные/ложные) от условий
освещенности и применяемых светофильтров
Светофильтр Искусственное освещение (50-60 Лк) Пасмурная погода (380-400 Лк) Солнечная погода (2800-3000 Лк)
Без фильтра Бгг1 = 37 Бгг2 = 5 Бгг1 = 54 Бгг2 = 8 Бгг1 = 197 Бгг2 = 54
Синий Бгг1 = 9 Бгг2 = 2 Бгг1 = 11 Бгг2 = 3 Бгг1 = 24 Бгг2 = 17
Красный Бгг1 = 7 Бгг2 = 0 Бгг1 = 8 Бгг2 = 2 Бгг1 = 36 Бгг2 = 15
Зеленый Бгг1 = 8 Бгг2 = 0 Бгг1 = 8 Бгг2 = 2 Бгг1 = 23 Бгг2 = 14
Желтый Бгг1 = 10 Бгг2 = 2 Бгг1 = 20 Бгг2 = 4 Бгг1 = 30 Бгг2 = 11
Поляризационный Бгг1 = 2 Бгг2 = 2 Бгг1 = 7 Бгг2 = 0 Бгг1 = 23 Бгг2 = 7
Черный Бгг1 = 9 Бгг2 = 2 Бгг1 = 8 Бгг2 = 2 Бгг1 = 14 Бгг2 = 13
Для оценки точности определения УОГО исследовались три варианта системы:
1) система с определением УОГО в одной (горизонтальной) плоскости;
2) система с определением УОГО в двух плоскостях с помощью одной следящей камеры;
3) система с определением УОГО в двух плоскостях с помощью пары следящих камер.
На рис. 3 представлена зависимость погрешности определения УОГО в горизонтальной
плоскости от расстояния между центром системы маркеров и камерой при различных углах наклона плоскости маркеров к горизонту (что соответствует наклону головы). На рис. 4 представлена зависимость погрешности определения УОГО в двух плоскостях (максимальное значение по двум плоскостям) от расстояния между центром системы маркеров и центром стреобазы пары следящих камер. Поскольку для всех вариантов освещения (50 - 3000 Лк) получены одинаковые величины погрешности, то исследования влиянии уровня освещенности рабочего пространства оператора на точность определения координат не приводились.
2 1,8 3 1
и
51
я
&■1
£ и О
| 0,8 а>
а. 0,6 о
= 0,4 0,2
Л К
Г* £ Г
>
Л И У
# Перпендикулярно Ш Под углом 30 А Под углом 45 1 1 1 1
О
0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2 Расстояние до следящей камеры, метры
Рис. 3. Зависимость погрешности определения УОГО в горизонтальной плоскости от расстояния
до следящей камеры
/
f ■
/ 1 t Одна камера Ш Пара камер
1
03 0,4 0,5 0,6 0,7 0,8 0,9 1 1,1 1,2 1,3 1,4
Расстояние до следящей камеры, метры
Рис. 4. Зависимость погрешности определения УОГО в двух плоскостях от расстояния
до следящей камеры
Для определения человекозависимых характеристик был проведен ряд экспериментов, в ходе которых операторы осуществляли видеонаблюдение в условиях разнообразных ландшафтов с различной интенсивностью движения объектов. Поскольку блоки обработки изображения являются программными, а сам процесс занимает около 10 мс, то это позволило добавить искусственную контролируемую задержку реакции системы на изменение положения головы оператора, моделируя задержку передачи данных в сети.
Определенные в результате эксперимента комфортные для оператора значения параметров системы приводятся в табл. 2. Полученные значения соответствуют величинам критической скорости мелькания изображений (10 - 30 Гц), времени сохранения ощущения (0,2 -0,5 с), латентного периода зрительной реакции (160 - 240 мс), угловой дискретности представления информации (2 - 3°), которые используются при разработке бортовых информационных систем [5].
Таблица 2. Значения параметров системы панорамного видеонаблюдения
Параметр Комфортное значение Примечание
Максимальная угловая скорость перемещения, не менее 30°/сек Меньшая скорость вызывает дезориентацию и затрудняет фокусировку взгляда из-за ощутимого рассогласования изображения и направления взгляда при резком повороте головы оператора.
Дискретность реакции на изменение УОГО 2 - 3° Большая дискретность затрудняет фокусировку взгляда на изображении из-за наличия случайных вибраций и мелкой моторики движении головы (тремора); меньшая дискретность повышает утомляемость оператора из-за отрывистости перемещения изображения.
Задержка реакции на изменение УОГО, не более 200 мс Большая задержка вызывает дезориентацию и затрудняет фокусировку взгляда из-за ощутимого рассогласования изображения и направления взгляда из-за опережающего избыточного поворота головы оператора.
Частота кадров в НСИ 25 Гц (минимально 15 Гц) Меньшая частота кадров приводит к утомляемости оператора.
Коэффициент качества (Quality) изображения (MJPEG) 70% (минимально 30 %) Большее сжатие вызывает видимое «замыливание» изображения и трудность визуального обнаружения мелких объектов.
Поскольку передача данных между кодером и декодером может осуществляться по беспроводному каналу, скоростные характеристики которого могут значительно варьироваться, возникает задача выбора характеристик передаваемого изображения. Уменьшение объема передаваемой информации возможно путем уменьшения частоты кадров, уменьшения коэффициента качества (Quality) изображения MotionJPEG и снижения разрешения [1]. В ходе экспериментального видеонаблюдения с использованием канала передачи видеоданных с пропуск-
ной способностью 3 - 7 Мбит/сек было установлено, что влияние данных характеристик на субъективное качество воспринимаемого оператором изображения нелинейно.
В табл. 3 приводятся рекомендуемые характеристики видеоданных для различной пропускной способности канала, при котором обеспечивается наилучшее субъективное восприятие изображения. При использовании методов кодирования, устраняющих межкадровую избыточность (МРБО-4 и Н.264), коэффициент сжатия может быть увеличен, за счет чего требования к пропускной способности канала могут быть снижены [1, 2].
Таблица 3. Рекомендумые характеристики видеоизображения для различных пропускных способностей каналов
передачи информации
Скорость канала передачи данных, Мбит/сек Частота кадров, Гц Коэффициент качества М1РБО, % Разрешение изображения, пикселы
> 7 25 70 768x576
5,5 - 7 20 -24 70 768x576
3,7 - 5,5 20 40-70 768x576
2,8 - 3,7 15 - 20 40 768x576
2,6 - 2,8 15 30 - 40 768x576
1,3 - 2,6 15 30-60 384x288
Анализ результатов эксперимента
Анализ полученных результатов эксперимента позволяет сделать следующие выводы.
1. Использование светофильтров значительно увеличивает качество распознавания маркеров, т.к. приводит к уменьшению соответствующей цветовой составляющей фона для оптического диапазона, но не оказывает воздействия на отображение инфракрасных маркеров, которые имеют белый цвет. Эффективно дополнительное применение поляризационного фильтра, поскольку позволяет сократить количество бликов, которые алгоритмом обработки ошибочно принимаются за маркеры.
2. Выделение маркеров при значительных углах наклона плоскости маркеров к горизонту затруднено из-за особенностей диаграммы направленности излучения инфракрасных светодиодов. При близком расположении камеры и маркеров сокращается возможность перемещения оператора относительно камеры. Поэтому, целесообразно располагать камеру на расстоянии 0,5-1,4 м от оператора; при этом обеспечиваются комфортные условия работы и требуемая точность определения УОГО.
3. Для определения УОГО в одной плоскости или определения УОГО в двух плоскостях при близком расположении камеры и маркеров (до 1 м) целесообразно использование одиночной следящей видеокамеры.
4. Для определения УОГО в двух плоскостях на расстоянии свыше 1 м целесообразно использование пары следящих видеокамер.
5. Время обработки одного кадра составляет около 10 мс для всех вариантов системы, причем основную часть времени занимают операции в цифровом фильтре и блоке сегментации изображения (суммарно 8-9 мс). Таким образом, использование оптического принципа для определения УОГО оправдано, поскольку обеспечивается требуемое быстродействие (табл. 2).
6. Контролируемая следящей видеокамерой с указанными характеристиками площадь составляет 1,33-3 м2 при расстоянии 1-1,5 м между камерой и плоскостью маркеров, что позволяет с использованием одного комплекта оборудования определять одновременно УОГО для двух расположенных рядом операторов, причем их взаимное расположение может быть произвольным. Поскольку основные блоки системы могут использоваться совместно, время обработки одного кадра следящей видеокамеры для определения УОГО двух операторов увеличивается незначительно (до 11 мс).
7. Для обеспечения наилучшего восприятия оператором изображения в НСИ при понижении скорости передачи, каждая из характеристик видеоданных (частота, разрешение, качество) не может изменяться отдельно от других. При уменьшении скорости канала целесообразно сначала уменьшать частоту кадров, затем качество и разрешение изображения.
Заключение
Предложена модель системы панорамного видеонаблюдения, использующая управляющую связь от оператора для сжатия видеоданных. Определены требования к дискретности и задержке реакции системы на изменение угловой ориентации головы оператора, максимальной угловой скорости перемещения сектора наблюдения. Установлены параметры видеокодека, обеспечивающие комфортное восприятие видеоинформации оператором при пропускной способности канала связи в диапазоне 1,3 - 7 Мбит/сек с использованием метода устранения внут-рикадровой избыточности MJPEG. Выработаны рекомендации по использования вариантов системы с одной и двумя следящими камерами для различных компоновочных решений рабочего места оператора.
Полученные результаты могут использоваться при разработке стационарных и мобильных систем панорамного видеонаблюдения с оператором для контроля технологических процессов на предприятиях, охраны объектов, проведения научных исследований в области зоологии, метеорологии и др.
SYSTEM OF PANORAMIC VIDEO SURVEILLANCE WITH THE OPERATOR
К.А. VOLKOV, V.K. KANAPELKA, I.I. SIROTKO, V.Yu. TSVIATKOU
Abstract
The model of panoramic video surveillance system with the operator is offered. The pilot research of parameters of panoramic video surveillance system, providing comfortable working conditions of the operator is conducted. Recommendations on uses of options of system for various layout solutions of a workplace of the operator and capacity of the channel of transfer of video data are developed.
Список литературы
1. Тропченко А.Ю., Тропченко А.А. Методы сжатия изображений, аудиосигналов и видео. СПб, 2009.
2. AloisM. Bock. Video Compression Systems. UK, 2009.
3. Волков К.А. Конопелько В.К. //Докл. БГУИР. 2012. № 4 (66). С. 12-16.
4. Волков К.А. // Матер. междунар. научн.-техн. семинара «Телекоммуникации: сети и технологии, алгебраическое кодирование и безопасность данных: материалы международного научно-технического семинара». Минск, 2011. С. 33-39.
5. Кучерявый А.А. Бортовые информационные системы. Ульяновск, 2004.
6. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. М., 2006.
