CC BY
127
КОДИРОВАНИЕ И ПЕРЕДАЧА ИНФОРМАЦИИ X
УДК 004.67+004.627
ОБ ИЕРАРХИЧЕСКОМ КОДИРОВАНИИ В ЦИФРОВОЙ СИСТЕМЕ ВИДЕОНАБЛЮДЕНИЯ
Т. М. Сухов31, начальник сектора отдела телевизионных систем, соискатель аЗАО «Научно-производственная фирма «ТИРС», Санкт-Петербург, РФ
Цель: существующие системы видеонаблюдения обладают рядом недостатков, одним из которых является низкая устойчивость к воздействию пакетных ошибок в каналах связи. Целью исследования является усовершенствование системы видеонаблюдения с использованием дискретного псевдокосинусного преобразования и принципа постоянной цветовой яркости для повышения устойчивости, порождаемого ею потока видеоданных к ошибкам, возникающим в каналах связи. Результаты: описаны основные функциональные блоки системы видеонаблюдения с использованием дискретного псевдокосинусного преобразования и принципа постоянной цветовой яркости в целях последующей доработки в части применения иерархического кодирования. Рассмотрены методы иерархического кодирования для кодеков с использованием дискретного (псевдо-)косинусного преобразования. Произведено сравнение типов иерархического кодирования применительно к системе видеонаблюдения с использованием дискретного псевдокосинусного преобразования и принципа постоянной цветовой яркости в условиях ограниченных аппаратных ресурсов, которое показало, что наиболее выгодным вариантом с точки зрения аппаратной реализации является применение иерархического кодирования с масштабированием по качеству. Исследование влияния потери пакетов в канале связи на иерархический поток видеоинформации, порожденный системой с использованием дискретного псевдокосинусного преобразования, принципа постоянной цветовой яркости и иерархического кодирования, показало, что применение иерархического кодирования с масштабированием по качеству может дать выигрыш пикового отношения сигнал/шум до 6 дБ относительно базовой схемы кодирования без иерархического расширения. Практическая значимость: результаты исследований иерархического кодирования позволили создать систему с улучшенными в части помехоустойчивости характеристиками передачи цветовой информации для аппаратных реализаций системы видеонаблюдения.
Ключевые слова — дискретное псевдокосинусное преобразование, иерархическое кодирование, система видеонаблюдения.
Введение
Системы видеонаблюдения являются одной из областей обработки видеоинформации, имеющей потенциал для улучшения потребительских характеристик. Большое распространение системы видеонаблюдения получили как в охранных системах, так и в бытовых, таких как видеодомофоны, автомобильные видеорегистраторы и пр.
Однако существующие системы видеонаблюдения обладают рядом недостатков, таких как плохая передача четкости насыщенных цветовых деталей видеоизображений, большая вычислительная сложность и, как следствие, высокое энергопотребление.
Большинство методов кодирования видео для достижения эффекта сжатия используют два типа избыточности — временную и пространственную [1]. Системы цифрового видеонаблюдения устраняют при обработке видеоинформации временную и пространственную избыточность за счет применения стандартизованных кодеков, таких как MJPEG и MPEG. Кодеки на базе стандартов семейства MPEG (MPEG-2, MPEG-4, H.264/MPEG-4 AVC) обеспечивают высокую эффективность сжатия видеоданных, так как при помощи алгоритмов оценки и компенсации дви-
1 Научный руководитель — доктор технических наук, профессор кафедры радиоэлектронных систем управления Балтийского государственного технического университета им. Д. Ф. Устинова Л. Л. Полосин.
жения учитывают межкадровую зависимость отсчетов видеоинформации [2]. Однако данные алгоритмы обладают высокой вычислительной сложностью. Кодеки на базе стандарта MJPEG (MJPEG, JPEG2000) учитывают только внутри-кадровую зависимость отсчетов видеоинформации и поэтому обладают низкой вычислительной сложностью, но при этом уступают по эффективности сжатия.
Одним из существенных недостатков применения в цифровых системах видеонаблюдения стандартизованных кодеков является использование принципа постоянной яркости как первичного звена преобразования цветовых отсчетов в яр-костные и цветоразностные отсчеты. Применение принципа постоянной яркости приводит к потере четкости видеоинформации в моноцветных деталях и потере яркости насыщенных цветов [3, 4].
Альтернативой системам видеонаблюдения, построенным на стандартизованных кодеках, может стать система, реализованная с использованием дискретного псевдокосинусного преобразования (ДПКП) и принципа постоянной цветовой яркости (ПЦЯ) [5].
Улучшения потребительских характеристик в системе видеонаблюдения с использованием ДПКП и принципа ПЦЯ можно достичь применением иерархического кодирования видеоинформации, которое позволит улучшить помехоустойчивость системы видеонаблюдения.
Система видеонаблюдения с использованием ДПКП и принципа постоянной цветовой яркости
Улучшения передачи цветовой информации в системах видеонаблюдения наряду с упрощением системы сжатия можно достичь, применив систему с использованием ДПКП и принципа ПЦЯ (рис. 1).
Кратко последовательность обработки видеоданных описывается следующим алгоритмом.
Данные поступают с видеосенсора в формате RGB в Блок прямого цветового преобразования, где преобразовываются входные отсчеты в выходные согласно принципу ПЦЯ, после чего в Кадровом буфере происходит накопление восьми кадров и формирование непересекающихся кубов размером 8x8x8 отсчетов. Далее выделяется один куб размерностью 8x8x8 отсчетов, который поступает в Анализатор движения, где анализируется количество движения внутри куба. В зависимости от типа куба в Блоке ДПКП и квантования производится вычисление трехмерного ДПКП (ДПКП-3) и квантование, либо двумерного ДПКП (ДПКП-2) по плоскостям и квантование
коэффициентов. Затем в Блоке статистического кодирования формируется массив кодовых слов кода Хаффмана для каждого куба. Блок передачи производит разбиение сжатого потока на пакеты и передачу информации по каналу связи. Блок управления выдает значение коэффициента квантования для каждого куба в зависимости от требуемой скорости битового потока и количества бит в буфере передатчика.
Прием пакетов и сборку осуществляет Блок приема. Сформированный поток поступает в Блок статистического декодирования, где производится извлечение кодовых слов кода Хаффмана. Далее поток передается в Блок восстановления и обратного ДПКП, после чего блоки раскладываются в Кадровый буфер. Для отображения из Кадрового буфера извлекается каждый из восьми кадров по порядку и передается в Блок обратного цветового преобразования, где выполняется восстановление отсчетов согласно принципу ПЦЯ.
Подробно принцип ПЦЯ и его использование описаны в работах [3-5]. Основными преимуществами принципа ПЦЯ является сохранение четкости видеоинформации при передаче цветовой информации с прореживанием цветоразностных
Требуемая скорость битового потока R
Количество бит b в буфере
■ Рис. 1. Функциональная схема системы видеонаблюдения
видеоотсчетов и сохранение четкости в моноцветных насыщенных деталях видеоизображений.
Анализатор движения внутри куба оценивает блок и задает три возможных типа кодирования трехмерного куба: статический куб, куб с умеренным движением и динамический куб [2, 5]. Если куб оценен как статический, то кодер производит запись в поток двух бит на повторение куба, декодер в таком случае восстанавливает блок полностью из предыдущего накопленного набора видеоданных. Динамические кубы обрабатываются по плоскостям, так как трехмерное преобразование приводит к появлению специфичных визуальных искажений. Куб с умеренным движением обрабатывается с использованием ДПКП-3.
Пространственно-временная избыточность устраняется применением ДПКП-3 в кубах видеоинформации размерностью 8x8x8. ДПКП-3 является целочисленной реализацией трехмерного дискретного косинусного преобразования (ДКП-3) в сочетании с квантованием коэффициентов преобразования без операции деления [2]. Отличие вычисления преобразования с применением ДПКП-3 состоит в том, что используется аппроксимированная матрица
H
( 8 8 8 8 8 8 8 8 1
12 10 6 3 -3 -6 -10 -12
8 4 -4 -8 -8 -4 4 8
10 -3 -12 -6 6 12 3 -10
8 -8 -8 8 8 -8 -8 8
6 -12 3 10 -10 -3 12 -6
4 -8 8 -4 4 8 -8 4
3 -6 10 -12 12 10 6 -3
Одномерное ДПКП может быть вычислено следующим образом: X = Б ■ Н ■ х = (Н • X) ® d, где X — матрица значений ДПКП; Б — диагональная матрица; х — матрица входных значений; d = Б ■ е (е — единичный вектор-столбец длины 8); ® — поэлементное умножение.
Обратное ДПКП может быть вычислено как х_ = Нт ■ X, где хг — матрица восстановленных
значений. Производя вычисление ДПКП по трем осям (строкам, столбцам и «времени»), можно произвести вычисление ДПКП-3 [2, 6, 7].
Процедура квантования без операции деления может быть реализована с операциями умножения и арифметического сдвига [2, 6, 7].
Применение ДПКП-3 обеспечивает сравнимый с MPEG-4 коэффициент сжатия видеоинформации в сочетании со сравнительно невысокой вычислительной сложностью. Согласно исследованиям ФГУП «НИИТ» [8], для реализации кодека на основе ДКП-3 потребовалось меньше вычислительных ресурсов по сравнению с кодеком MPEG-4.
Поток формируется в функциональном блоке передачи, формат пакета видеоданных изображен на рис. 2 (белым цветом указаны поля заголовка пакета, серым — данные кубов).
Поле PacketType содержит информацию о типе пакета (0 — пакет видеоданных, 2 — сервисный пакет, содержащий временные метки), StartCube — порядковый номер куба, CubeCount — количество кубов в пакете, Size — размер пакета, QP — коэффициент квантования для первого куба в пакете. Поле данных Data содержит тип куба (CubeType), изменение шага коэффициента квантования (DeltaQP) для следующего за этим полем куба, далее записываются кодовые слова кода Хаффмана. Сначала записывается низкочастотный коэффициент (DC_code) и за ним кодовые слова кода Хаффмана высокочастотных коэффициентов (AC(i)_code, где i — порядковый номер кодового слова). Окончание куба фиксируется записью кодового слова end of block (EOB).
Максимальный размер пакета примем равным 1000 Б. Очередной пакет формируется, пока суммарный размер коэффициентов кода Хаффма-на куба меньше, чем размер оставшегося места в текущем пакете. Если суммарный размер коэффициентов кода Хаффмана куба не вмещается в текущий пакет, то происходит переход к формированию следующего пакета.
Представленная выше система видеонаблюдения может быть доработана и улучшена в целях повышения помехоустойчивости видеоданных.
16 бит 16 бит 16 бит 16 бит 16 бит
PacketType StartCube CubeCount Size QP Data
CubeType DeltaQP DC _code AC (0)_code AC (n)_code EOB
2 бита 4 бита
■ Рис. 2. Формат пакета потока видеоданных
6 бит
Для удобства изложения назовем функциональные блоки от блока прямого цветового преобразования до блока передачи базовым кодером, а блоки от блока приема до блока обратного цветового преобразования — базовым декодером.
Представим иерархическое кодирование для системы сжатия видеоинформации с использованием ДПКП. Но перед этим рассмотрим основы иерархического кодирования видеоинформации.
Иерархическое представление видеоинформации для Д(П)КП
Иерархическое представление видеоинформации было предложено для стандартов H.262/ MPEG-2, H.263 и MPEG-4 Visual. Подробно механизмы иерархического кодирования для стандарта H.264/MPEG-4 AVC изложены в работе [9]. В англоязычной литературе используется термин Scalable Video Coding (SVC) — масштабируемое (иерархическое) кодирование видео. В русскоязычной терминологии термины «масштабируемое» и «иерархическое» кодирование видео будем считать тождественными.
Иерархическое кодирование — представление видеоданных в целях адаптации их для различных потребностей и предпочтений конечных пользователей, а также различных возможностей приемной (декодирующей) аппаратуры и различных сетевых условий.
Целью иерархического кодирования является порождение такого потока видеоданных, в котором содержится один или более потоков разного уровня, которые могут быть декодированы как по отдельности базовым декодером видеоинформации, так и иерархическим декодером видеоин-
формации в зависимости от аппаратной мощности декодирующей аппаратуры и (или) характеристик канала передачи данных.
Для общего понимания приведена схема кодирования и декодирования разных уровней иерархической видеоинформации (рис. 3).
Имеется иерархический кодер ДПКП, на вход которого подается полноформатное полнокадровое видеоизображение. Кодер порождает иерархический поток видеоданных. Поток содержит информацию в виде иерархических слоев, первый из которых несет основную видеоинформационную составляющую и называется базовым слоем, остальные слои являются дополняющими, полученными при помощи базового слоя, и называются расширяющими слоями. Базовый слой может быть декодирован при помощи декодера ДПКП (описан ранее, далее — базовый декодер). Расширяющие слои могут быть декодированы иерархическим декодером и суммированы с базовым слоем таким образом, что выходное изображение получает дополнительную информацию либо в виде пространственного увеличения видеоизображения (увеличение разрешения), либо в виде увеличения кадровой скорости видеоряда.
Использовать иерархическое кодирование целесообразно по следующим причинам. Во-первых, аппаратное устройство не способно производить декодирование большого количества видеоинформации, т. е. ограничена вычислительная сложность аппаратуры декодирования. Во-вторых, пропускная способность канала связи ограничена: при получении базового потока можно произвести декодирование уменьшенной по разрешению и кадровой скорости видеоинформации, в то время как при увеличении пропускной
QCIF@15 Гц
CIF@15 Гц
Исходный видеоряд
4CIF@30 Гц
■ Рис. 3. Схема кодирования и декодирования иерархического кодека
способности канала связи качество декодированной видеопоследовательности будет улучшено за счет добавления пространственных уточняющих деталей и увеличения кадровой скорости видеоинформации.
Рассмотрим виды иерархического кодирования для системы сжатия с использованием Д(П)КП. Как и для стандарта H.264/MPEG-4 AVC, имеется 3 вида иерархического кодирования: пространственное, временное и иерархическое кодирование с масштабированием по качеству.
Пространственное иерархическое кодирование
Пространственное иерархическое кодирование видеоинформации (рис. 4) предполагает, что кадры исходного видеоряда будут уменьшены в 2 раза (или более) в Блоке уменьшения кадров. Уменьшенные изображения накапливаются в Кадровом буфере базового слоя, после чего из него извлекаются блоки размерностью 8x8x8 отсчетов. Далее сжатие производится так же, как описано ранее в системе сжатия видеоинформации с использованием ДПКП, с тем исключением, что кубы, после того как были проквантованы коэффициенты спектра, поступают в Блок вос-
становления и обратного ДПКП и далее в ветку формирования расширяющего слоя.
Расширяющий слой формируется следующим образом. Кадры из Кадрового буфера расширяющего слоя поступают в Блок увеличения и вычитания базового слоя, который содержит восстановленные кадры базового слоя, увеличенные в 2 раза. Из исходных кадров производится вычитание восстановленных кадров базового слоя, после чего формируются кубы расширяющего слоя. Далее сжатие разностных кубов расширяющего слоя производится аналогично сжатию кубов базового слоя.
Блок управления 1 управляет скоростью выходного потока базового слоя, изменяя значение коэффициента квантования для каждого куба. Блок управления 2 регулирует скорость битового потока расширяющего слоя аналогичным образом.
Таким образом, на выходе пространственного иерархического кодера имеются базовый и расширяющий потоки. Для порождения двух и более расширяющих слоев требуется для каждого расширяющего потока ввести дополнительную ветку сжатия, которая будет получать разност-
Требуемая скорость битового потока R
Требуемая скорость битового потока R
■ Рис. 4. Схема пространственного иерархического кодирования
ную информацию от предыдущих слоев и формировать дополнительный расширяющий поток.
Распределение видеоинформации по слоям показано на рис. 5, а-в. Базовый слой занимает примерно 25 % от основного потока, 75 % приходится на расширяющий слой.
Пространственное иерархическое кодирование с использованием ДПКП-3 более подробно изложено в работе [11].
Времен^е иерархическое кодирование
Иерархическое кодирование с масштабированием по времени (рис. 6) представляет собой, по сути, применение двух и более базовых ко-
деров ДПКП с тем исключением, что Кадровый буфер 1 принимает только нечетные кадры, а Кадровый буфер 2 принимает только четные кадры. Исходный видеоряд в данном случае представляет собой ряд с вдвое большим количеством кадров (16 кадров). Блок управления 1, изменяя значение коэффициента квантования, порождает базовый слой с требуемой скоростью битового потока. Блок управления 2 аналогично порождает расширяющий слой с требуемой скоростью битового потока для расширяющего слоя.
Распределение видеоинформации по слоям для иерархического кодирования по времени показано на рис. 7, а-в.
■ Рис. 5. Декодированные кадры иерархического кодирования по пространству: а — исходное изображение видеоряда («foreman») [10]; б — декодированный кадр базового слоя; в — декодированный кадр базового и расширяющего слоев
Требуемая скорость битового потока R
Требуемая скорость битового потока R
■ Рис. 6. Схема иерархического сжатия по времени
■ Рис. 7. Представление декодированных слоев иерархического кодирования по времени: а — исходная видеопоследовательность; б — декодированный кадр базового слоя; в — декодированный кадр расширяющего слоя
Рассмотрев более детально принципы временного иерархического кодирования, можно сделать вывод, что любой из порожденных иерархическим кодером потоков в данной схеме является базовым и может быть декодирован по отдельности базовым декодером ДПКП с уменьшенной кадровой скоростью.
Однако, чтобы получить полнокадровый видеоряд, требуется произвести перемежение и интерполяцию кадров базового и расширяющего слоев.
Иерархическое кодирование с масштабированием по качеству
Отличие сжатия видеоинформации с применением иерархического кодирования видеоинформации с масштабированием по качеству (рис. 8) от базового кодирования видеоинформации заключается в том, что из кодовых слов кода Хаффмана, полученных в блоке Статистический кодер, коэффициенты распределяются в базовый слой и расширяющие слои. При этом расширяющих слоев может быть два и более.
Распределение коэффициентов по слоям показано на рис. 9. Базовый слой состоит из низкочастотных коэффициентов трехмерного куба (ОС-коэффициентов). Расширяющий слой 1 состоит из высокочастотных коэффициентов блока (показаны серым цветом), согласно обходу по зигзагу
для трехмерного куба. Расширяющий слой 2 состоит из оставшихся высокочастотных коэффициентов куба (показаны белым цветом).
Восстановленные изображения декодированных иерархических слоев показаны на рис. 10, а-г. Базовый слой занимает около 13 % от суммарного потока, расширяющий слой 1 занимает около 29 %, расширяющий слой 2 занимает 58 %.
После декодирования базового слоя кадр видеоряда представляет собой блочное изображение, где базовой единицей отображения является блок 8x8 пикселей, яркость в котором определяется ОС-коэффициентом. При декодировании базового слоя и расширяющего слоя 1 изображение дополняется деталями и становится более четким. При декодировании всех слоев (базового и двух расширяющих) получается наиболее четкое изображение для заданного критерия сжатия (при сжатии установлено ограничение 1 Мбит/с на весь поток видеоданных).
Распределение по слоям можно производить в зависимости от характеристик канала связи, для которого планируется применять систему сжатия и передачи видеоинформации. К примеру, первый расширяющий слой можно увеличить до коэффициентов диагонали АСо 71-АС0 о 7, тем самым перераспределив поток таким образом, что расширяющий слой 1 займет 50 %, а расширяющий слой 2 займет 37 %.
■ Рис. 8. Схема иерархического сжатия с масштабированием по качеству
■ Рис. 10. Представление иерархического кодирования с масштабированием по качеству: а — исходное видеоизображение; б — базовый слой; в — базовый поток и расширяющий поток 1; г — базовый поток и расширяющие потоки 1 и 2
Сравнение типов иерархического кодирования для применения в системе видеонаблюдения
Отметим преимущества и недостатки иерархических моделей кодирования в применении к описанной ранее системе видеонаблюдения с использованием ДПКП и принципа ПЦЯ.
Критериями ограничения будем считать вычислительную сложность системы сжатия и требуемый объем оперативной памяти для хранения кадров.
Пространственное иерархическое кодирование требует увеличения объема памяти для хранения дополнительных уменьшенных кадров. При увеличении количества расширяющих слоев потребуется дополнительное увеличение объемов памяти для хранения разностных кадров. Кодирование каждого из расширяющих слоев приводит к запуску дополнительного кодера ДПКП. Кроме того, требуется производить увеличение и уменьшение кадров с вычитанием, что намного увеличивает количество вычислительных ресурсов, требуемых для формирования пространственных иерархических потоков.
Применение иерархического кодирования с масштабированием по времени требует увеличения объема оперативной памяти для хранения вдвое большего количества кадров, потому как
уменьшение ДПКП по «времени» до четырех (вместо восьми) отсчетов существенно скажется на коэффициенте сжатия каждого из слоев. Относительно вычислительных операций потребуется запуск двух кодеров, работающих в параллель, но каждому из кодеров отводится вдвое больше времени для сжатия потока, т. е. не потребуется существенных затрат в вычислительном отношении.
Иерархическое кодирование с масштабированием по качеству не требует значительного увеличения объемов оперативной памяти, и вычислительная сложность ограничивается только формированием потоков по отдельности, что является приемлемым для рассмотренных ограничений в применении к описанной ранее системе видеонаблюдения.
Система видеонаблюдения с использованием ДПКП, принципа постоянной цветовой яркости и иерархического кодирования
Сравнение типов иерархического кодирования в применении к системе видеонаблюдения с использованием ДПКП и принципа ПЦЯ позволяет сделать вывод, что иерархическое кодирование видеоинформации с масштабированием
Требуемая скорость битового потока R
к
Анализатор куба Блок управления
движения г
> к Тип ДКП Г > ЯР
Кадровый Блок ДПКП и
буфер квантования
> 1
Блок прямого цветового преобразования Блок статистического кодирования
Блок формирования слоев иерархического потока
Слой 1
Слой 2
Слой 3
Блок передачи иерархического потока
Количество бит Ь в буфере
ьо н
у V
о й о Кс
Каналы связи
Блок формирования
потока из иерархических слоев
4 Слой 1
Слой 2
Слой 3
ьо
У V
о й о
КС
Блок приема иерархического потока
■ Рис. 11. Схема иерархического кодирования для системы видеонаблюдения с использованием ДПКП и принципа ПЦЯ
по качеству является наименее требовательным к вычислительным аппаратным ресурсам, вследствие чего его реализация является преимущественной для применения в системе видеонаблюдения с использованием ДПКП. Схема системы видеонаблюдения с использованием ДПКП, принципа ПЦЯ и иерархическим кодированием потока показана на рис. 11.
Обработка видеоинформации производится аналогично обработке в базовом кодере ДПКП с тем исключением, что из коэффициентов кода Хаффмана Блок формирования слоев иерархического потока формирует базовый слой и два расширяющих. Базовый слой (слой 1), как описано выше, содержит только низкочастотные коэффициенты кубов, слои 2 и 3 являются расширяющими.
Блок передачи иерархического потока, получая каждый из слоев, формирует пакеты иерархических слоев и передает их по отдельному логическому (либо физическому) каналу связи.
Рассмотрим распределение коэффициентов по слоям иерархического потока видеоинформации. Количество слоев определим по количеству логических (либо физических) каналов передачи данных. Для нашего случая определим три канала с пропускными характеристиками 512, 1024 Кбит/с и 54 Мбит/с. Трехмерные кубы коэффициентов ДКП содержат информацию о видеоизображении, которая описывает пространственно-временные характеристики. Низкочастотный коэффициент куба содержит информацию о яркости всего блока. Высокочастотные коэффициенты, в зависимости от расположения, описывают пространственные (коэффициенты по горизонтали и вертикали) и временные (коэффициенты по «времени») изменения внутри куба. Более эффективно использовать обход по зигзагу, соответствующий убыванию частот появления ненулевых коэффициентов преобразования в кубе [2]. Исходя из описанного выше, при формировании слоев можно выделить низкочастотные коэффициенты в базовый слой, а в расширяющие слои (в зависимости от их количества) поместить высокочастотные коэффициенты. Так как следующи-
ми по значимости коэффициентами в кубе ДКП-3 являются коэффициенты, расположенные потрем направлениям от низкочастотного, логично вынести эти три коэффициента в расширяющий слой 1 (см. рис. 9). Оставшиеся коэффициенты поместим в расширяющий слой 2. Рассмотрим более подробно формирование иерархического потока.
Формирование иерархического потока и пакетов в системе видеонаблюдения с использованием ДПКП, ПЦЯ и иерархического кодирования производится таким же образом, как и для базового кодера (см. рис. 2), при этом заголовок пакета полностью аналогичен заголовку пакетов потока, порожденного базовым кодером видеоинформации. Размер пакета соответствует размеру пакета базового кодера. Формат поля данных пакета иерархических слоев видеоданных изображен на рис. 12.
Базовый слой иерархического потока (рис. 12, а) содержит тип куба (СиЪеТурё), изменение шага коэффициента квантования (DeltaQP) для следующего за этим полем куба, далее записывается кодовое слово низкочастотного коэффициента (DC(i)_code, где I — порядковый номер куба) кода Хаффмана.
Расширяющие слои (рис. 12, б) формируются согласно заранее заданным границам размещения коэффициентов кода Хаффмана. Границы слоев задаются следующим образом: базовый слой — низкочастотные коэффициенты кода Хаффмана (DC_code); расширяющий слой 1 — высокочастотные коэффициенты кода Хаффмана в диапазоне от двух до пяти (при зигзагообразном сканировании коэффициентов куба); расширяющий слой 2 — высокочастотные коэффициенты кода Хаффмана в диапазоне от шести до 512 (при зигзагообразном сканировании коэффициентов куба). При этом если в диапазоне расширяющего слоя встречается код конца блока (ЕОВ), то он записывается в этот расширяющий слой.
Для увеличения помехоустойчивости и лучшего восстановления принятой видеоинформации можно произвести передачу базового слоя по наиболее помехоустойчивому каналу связи либо применить коды, исправляющие ошибки.
2 бита 4 бита 2 бита 4 бита
CubeType DeltaQP DC(0)_ code CubeType DeltaQP DC(1)_ code
6 бит
AC(0)_code AC(1) _code EOB AC(i)_code AC(n)_code
а)
б)
■ Рис. 12. Формат пакета иерархического потока видеоданных: а — базовый слой; б — расширяющие слои
Например, построив систему с передачей по каналам третьего (3G), четвертого (4G/LTE) поколения и Wi-Fi, можно производить отсылку базового слоя и по 3G-, и по 4G/LTE-сетям, а расширяющие слои передавать по 4G/LTE и Wi-Fi.
Сравнение базовой и иерархической систем видеонаблюдения с использованием ДПКП и принципа постоянной цветовой яркости
Рассмотрим характеристики базовой и иерархической систем видеонаблюдения. При сжатии тестовой видеопоследовательности «foreman» была установлена следующая характеристика: ограничение на порождаемый кодером поток видеоданных — не более 1 Мбит/с.
При иерархическом кодировании с масштабированием по качеству фактическое количество кодов Хаффмана остается таким же, как и у базового кодера, поэтому избыточность порожденного потока зависит только от того, как коэффициенты кода Хаффмана будут распреде-
лены по пакетам. Для видеопоследовательности foreman» иерархический поток по объему превысил на 0,6 % поток, порожденный базовым кодером. Это связано с тем, что при формировании пакетов, описанном выше, используется ограничение в 1000 Б на размер пакета. Так как кодовые слова кода Хаффмана имеют различную длину (от 2 до 26 бит), то их распределение, учитывая ограничение на длину пакета, может влиять на размер суммарного выходного иерархического потока видеоинформации. Однако для другой видеопоследовательности и других параметров сжатия может наблюдаться ситуация, когда поток базового кодера больше, чем иерархического.
Таким образом, избыточность иерархического потока сопоставима с избыточностью потока базового кодера видеоинформации.
Графики зависимости пикового отношения сигнала к шуму (PSNR) для потока без ошибок, потока базового кодера, иерархических потоков 1 и 2 приведены на рис. 13, а-г.
а)
38
36
34 И
ч 32 /
g30 /
ш 28
А
26
24
22
20
183 184 185 186 187 188 189 190 191 192 Номер кадра
б)
38 36 34
И
ч 32
I30
£28 26
24
22
20
____Г
153 154 155 156 157 158 159 160 161 162 Номер кадра
в)
38 36 34
И
ч 32 «30
4P 28
А
26 24 22 20
176 177 178 179 180 181 182 183 184 185 Номер кадра
г)
38 36 34
И
ч 32 |30
£28 26
24
22
20
без ошибок иерархический 1
, : г
**
С
8 9 10 11 12 13 14 15 16 17
Номер кадра
- базовый
- иерархический 2
■ Рис. 13. Зависимость PSNR от количества ошибок для видеопоследовательности «foreman» при потере пакета с вероятностью 0,01 (а); 0,05 (б); 0,1 (б); 0,15 (г)
В иерархическом потоке 1 следующее распределение потоков: базовый — 13 %, расширяющий слой 1 — 29 %, расширяющий слой 2 — 58 %. Иерархический поток 2 содержит потоки со следующим распределением: базовый — 24 %, расширяющий слой 1 — 47 %, расширяющий слой 2 — 29 %. Размер пакета для обоих иерархических потоков — не более 1000 Б.
По приведенным результатам можно сделать вывод, что выигрыш от применения иерархического кодирования с масштабированием по качеству может достигать 6 дБ, однако при различных распределениях потоков по иерархическим слоям может происходить потеря данных, которая ведет к падению PSNR до 3 дБ и более.
Из-за отличного от базового распределения коэффициентов в сформированном иерархическом потоке восстановленные изображения после воздействия ошибок канала связи выглядят иначе (рис. 14, а, б).
На рисунке видно, что при пропадании пакета, относящегося к базовому потоку, изображение искажается в соответствии с позициями пропавших кубов. В то же время при пропадании пакета из расширяющего слоя иерархического потока изображение не искажается полностью, а лишь становится более «блочным». Критичным является случай потери пакета с базовыми коэффициентами — в этом случае характер визуального искажения аналогичен характеру искажений базового кодека.
Реализованный режим иерархического кодирования позволяет улучшить потребительские характеристики системы видеонаблюдения с использованием Д(П)КП и принципа ПЦЯ, потому что является более эффективным для системы видеонаблюдения в каналах связи с ошибками.
Заключение
В работе рассмотрены три основных типа иерархического кодирования видеоинформации для систем с использованием ДПКП. Произведено сравнение типов иерархического кодирования видеоинформации. На основе сравнения выбран тип иерархического кодирования для системы видеонаблюдения с использованием ДПКП и принципа ПЦЯ. Произведено сравнение базовой и иерархической систем видеонаблюдения.
Система видеонаблюдения с применением иерархического кодирования порождает поток, сопоставимый по объему с потоком базовой системы видеонаблюдения без иерархического кодирования. Иерархический поток более устойчив к воздействиям канальных ошибок, что делает предпочтительным применение системы видеонаблюдения с использованием иерархического кодирования при передаче видеоинформации по беспроводным каналам связи.
При потере пакетов, относящихся к расширяющим слоям иерархического потока видеоданных, выигрыш PSNR относительно базового кодера может достигать 6 дБ. Потери пакетов, относящихся к базовому слою иерархического кодера, вносят искажения, сопоставимые с потерей пакетов потока базового кодера.
За рамками статьи остался вопрос, связанный с помехоустойчивым кодированием базового и расширяющих слоев видеоинформации. Требуется также рассмотрение критериев предпочтительного распределения потока между слоями с учетом различной чувствительности слоев к потере пакетов.
Литература
1. Санкин П. С., Литвинов М. Ю. Особенности оценки содержимого сжатого видеопотока // Информационно-управляющие системы. 2009. № 3. С.45-48.
2. Беляев Е. А., Сухов Т. М., Шостацкий Н. Н.
Сжатие видеоинформации на основе трехмерного дискретного псевдокосинусного преобразования для энергоэффективных систем видеонаблюдения // Компьютерная оптика. 2010. Т. 34. № 2. С.260-272.
3. Полосин Л. Л. Принцип постоянной цветовой яркости в телевидении // Телевизионная техника и связь. 1995. Спец. выпуск. С. 28-37.
4. Сухов Т. М., Беляев Е. А. Использование принципа постоянной цветовой яркости для передачи видеоинформации // Изв. вузов. Приборостроение. 2011. Т. 1. С. 55-59.
5. Сухов Т. М. Сжатие цветовой информации с использованием аутентификации видеоданных в системах видеонаблюдения // Вопросы радиоэлектроники. Сер. Техника телевидения. 2013. Вып. 2. С. 70-79.
6. Sun W. В., Chen H. X., Tang H. Y. Research on 3D Integer SDCT Transform and Quantization //
The Imaging Science Journal. 2012. Vol. 60. N 5. P. 285-293.
7. Malvar H. S., Hallapuro A., Karczewicz M., Kerofsky L. Low Complexity Transform and Quan-tization//IEEE Transactions on Circuits and Systems for Video Technology. 2003. Vol. 13. N 7. P. 598-603.
8. Умбиталиев А. А. Перспективы развития цифрового телерадиовещания: комплексное решение внедрения цифрового телевидения в регионах // Вопросы радиоэлектроники. Сер. Техника телевидения. 2008. Вып. 2. С. 3-8.
9. Schwarz H., Marpe D., Wiegand T. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard//IEEE Transactions on Circuits and Systems for Video Technology. 2007. Vol. 17. N 9. P. 1103-1120.
10. YUV Video Sequences. http://trace.eas.asu.edu/ yuv/ (дата обращения: 01.02.2014).
11. Belyaev E., Sukhov T., Kai Liu. Scalable Video Coding Based on Three-Dimensional Discrete Pseudo Cosine Transform // Proc. of the 10th Intern. Conf. on Next Generation Wired / Wireless Advanced Networking, Saint-Petersburg, 23-25 Avg. 2010. P. 448-459.
UDC 004.67+004.627
Scalable Video Coding in Digital CCTV
Sukhov T. M.a, Head of the sector by department of television technology, Post-Graduate Student, [email protected] aJSC «Scientific and Production Company «TIRS», 19, Ural'skaia St., Saint-Petersburg, Russian Federation
Purpose: The existing CCTV systems have several drawbacks; one of them is low resistance to packet errors in communication channels. The purpose of this study is to enhance the existing video surveillance system using discrete pseudo cosine transformation and the principle of constant color brightness to increase resistance of the generated video stream to errors in communication channels. Results: There have been described the major functional blocks of a CCTV system using discrete pseudo cosine transformation and the principle of constant color brightness for subsequent improving the application of scalable video coding. There have been considered methods for scalable video codecs using a discrete (pseudo-) cosine transformation. There have been compared types of scalable video coding applied to the surveillance system using discrete pseudo cosine transformation and the principle of constant color brightness in terms of limited hardware resources, it has shown that the application of scalable video coding with SNR scaling is the most effective scalability regarding of hardware implementation. Investigation of the influence of packet loss in a communication channel on the scalable video stream generated by the system using discrete pseudo cosine transformation, the principle of constant color brightness and scalable coding has demonstrated that the application of scalable video coding with SNR scaling can lead to improve peak signal-to-noise ratio up to 6 decibels comparing to the basic coding scheme without scalable expansion. Practical relevance: The research results of scalable coding have allowed creating a coding system with the improved noise resistance characteristics regarding transmission of color information for hardware implementations of video surveillance systems.
Keywords — Discrete Pseudo-Cosine Transform, Scalable Video Coding, CCTV.
References
1. Sankin P. S., Litvinov M. Yu. Special Characteristics of the Compressed Video Stream Content Estimate. Informa-tsionno-upravliaiushchie sistemy, 2009, vol. 60, no. 3, pp. 45-48 (In Russian).
2. Belyaev E. A., Sukhov T. M., Shostackiy N. N. Video Compression Based on Thee-Dimensional Pseudo Cosine Transform for Video Surveillance Systems. Komp'iuternaia optika, 2010, vol. 34, no. 2, pp. 260-272 (In Russian).
3. Polosin L. L. Color Brightness Principle in Television. Televizionnaia tekhnika i sviaz', Spetsial'nyi vypusk, 1995, pp. 28-37 (In Russian).
4. Sukhov T. M., Belyaev E. A. Application of Invariant Color Brightness Principle for Video Information Transmission. Izvestiia vuzov. Priborostroenie, 2011, vol. 1, pp. 55-59 (In Russian).
5. Sukhov T. M. Compression of Color Information with Authentication of the Video Data in CCTV. Voprosy radioelektroniki. Ser. Tekhnika televideniia, 2013, vol. 2, pp. 70-79 (In Russian).
6. Sun W. B., Chen H. X., Tang H. Y. Research on 3D Integer SDCT Transform and Quantization. The Imaging Science Journal, 2012, vol. 60, no. 5, pp. 285-293.
7. Malvar H. S., Hallapuro A., Karczewicz M., Kerofsky L. Low Complexity Transform and Quantization. IEEE Transactions on Circuits and Systems for Video Technology, 2003, vol. 13, no. 7, pp. 598-603.
8. Umbitaliev A. A. Prospects for the Development of Digital Broadcasting: an Integrated Solution of Digital TV in the Regions. Voprosy radioelektroniki. Ser. Tekhnika televi-deniia, 2008, vol. 2, pp. 3-8 (In Russian).
9. Schwarz H., Marpe D., Wiegand T. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard. IEEE Transactions on Circuits and Systems for Video Technology, 2007, vol. 17, no. 9, pp. 1103-1120.
10. YUV Video Sequences. Available at: http://trace.eas.asu. edu/yuv/ (accessed 1 February 2014).
11. Belyaev E., Sukhov T. and Kai Liu. Scalable Video Coding Based on Three-Dimensional Discrete Pseudo Cosine Transform. Proc. 10th Int. Conf. on Next Generation Wired/ Wireless Advanced Networking. Saint-Petersburg, 2010, pp. 448-459.
