CC BY
388
Основные методы сжатия данных в передаче цифровых видеоизображений
В настоящее время, активно развиваются методы и устройства сжатия спектра цифровых телевизионных сигналов, основанные на уменьшении избыточности. При этом в цифровых системах телевидения различают несколько видов избыточности сигналов изображения: пространственная — присутствует, когда значения элементов изображения коррелированны в пределах некоторой части изображения (видеокадра), т.е. можно передать значение одного пикселя, а значения других пред сказать с д опустимой ошибкой; временная—корреляция между одноименными пикселями наблюдается в последовательности нескольких видеокадров, т.е. техника предсказания и передачи движения может быть распространена на несколько кадров; энтропийная — непрерывно изменяющийся сигнал квантуется, т.е. заменяется дискретно изменяющимся сигналом, а для кодирования квантованныхуровней используется метод Хаффмена, при котором длина кодовой комбинации является обратно пропорциональной частости появления конкретных уровней; психовизуальная —
к-----слова- метоцы сжогиЯ характеризуется тем, что глаз не способен различать из-за инерционности зрения очень мелкие
данных, цифровая видеоинформация, детали, высокочастотные цветовые переходы и кратковременное воспроизведение не периодиче-
метод Хаффмена. ских изображений. Рассмотрены современные методы сжатия цифровой видеоинформации.
Андрейко Д.Н.,
Инженер 1 категории Филиал РТРС "МРЦ", [email protected]
Комаров П.Ю.,
Заместитель директора Филиала РТРС "МРЦ", [email protected]
Игнатов Ф.М.
профессор кафедры ТиЗВ, МТУСИ, [email protected]
К настоящему времени усиленно развиваются методы сжатия цифровых изображений. К методам сжатия относятся методы разностного кодирования, поскольку разности амплитуд отсчетов представляются меньшим числом разрядов, чем сами амплитуды. Разностное кодирование реализовано в методах дельта-модуляции и её разновидностях.
Методы МРЕЭ используют предсказывающее кодирование изображений. Так, если передавать только изменившиеся во времени пиксели изображения, то достигается сжатие в несколько десятков раз. Методы МРЕЭ становятся мировыми стандартами для цифрового телевидения. Метод сжатия с потерями МРЕЭ 2 , например, обеспечивает коэффициент сжатия до 20:1.
Для сжатия данных об изображениях используют также методы, основанные на потере малосущественной информации. Не различимые для глаза оттенки кодируются одинаково, коды могут при этом стать короче. В этих методах передаваемая последовательность пикселей делится на блоки, в каждом блоке производится преобразование Фурье, устраняются высокие частоты, передаются коэффициенты разложения для оставшихся частот. По ним в приемнике изображение восстанавливается.
Другой принцип сжатия воплощен во фрактальном кодировании, при котором изображение, представленное совокупностью линий, описывается уравнениями этих линий [2]. Если восстановленные данные совпадают с данными, которые были до сжатия, то это есть сжатие без потерь.
Кодирование повторов (^Е) применяется в основном для сжатия растровых изображений (графических файлов). Один из вариантов
метода 1Р1Е предусматривает замену последовательности повторяющихся символов на строку, содержащую этот символ, и число, соответствующее количеству его повторений.
Недостатком методов сжатия без потерь является сравнительно не большой коэффициент сжатия — до 5:1.
Другая группа методов сжатия — методы сжатия видеоданных с потерями информации, где восстановленное изображение после декодирования спектра видеосигнала отличается от исходного, которое было до его кодирования, то есть искажение изображения и, соответственно, потеря информации. Но зачастую речь идет о той информации, которую зрительная система не в состоянии воспринять. Коэффициент сжатия данных, который обеспечивают эти методы, может достигать 50:1.
Для кодирования высокообъёмных видеопотоков используются методы, к которым предъявляется ряд весьма жестких и противоречивых требований. Эти методы должны при высоком качестве восстановленных изображений обеспечить высокую степень сжатия, поскольку цифровые потоки несжатых изображений чрезмерно велики. Также они должны обеспечивать произвольный доступ к любому кадру, что необходимо при монтаже фильма. Должна быть обеспечена синхронизация видео и аудиодорожек (сигналов), а также помехоустойчивость самой передачи. К настоящему времени для этих целей разработана группа методов сжатия, объединенная в стандарт МРЕЭ 2, МРЕЭ 4. В стандарте МРЕЭ 2, МРЕЭ 4 использованы принципы сжатия изображений, основанные на устранении межкадровой (временной), внутрикадровой (пространственной) и психофизической избыточности.
Иерархическая сеточная интерполяция. Этот метод основан на многоуровневом представлении цифрового изображения. Суть его состоит в том, что в запоминающем устройстве хранится двумерный массив отсчетов изображения, прореженного в 2Р раз по каждой координате (1Р-целое, неотрицательное число), и набор поправок, дополняющих его до массивов, имеющих коэффициенты прореживания 2К"', 2К"2 и тд., вплоть до полного изображения. На каждом иерархическом уровне прореженный двумерный массив отсчетов используется для восстановления пропущенных отсчетов следующего, более детального уровня. Для дополнительного уменьшения объема данных квантованные разности подвергаются статистическому кодированию (кодированию без потерь информации).
Адаптивное кодирование. Существует группа методов компрессии изображений, особенность которых заключается в том, что на этапе кодирования из сигнала выделяется некоторый набор его отсчетов так, чтобы по ним можно было построить аппроксимирующую функцию, описывающую сигнал с требуемой точностью. Наибольший интерес представляют методы, в которых отсчеты берутся адаптивно, в соответствии с текущим поведением сигнала.
Смысл методов адаптивных выборок заключается в том, что из последовательности отсчетов выделяется некоторое число "существенных", а остальные восстанавливаются по "существенным" с необходимой точностью.
Достоинством методов адаптивных выборок является их относительная простота и гарантированное значение максимальной ошибки восстановления. Их недостатком является полное игнорирование двумерного характера функции яркости — вся обработка ведется в рамках одномерного видеосигнала.
Фрактальное кодирование. При использовании фрактального метода сжатия кодируется по существу не само изображение, а алгоритм его построения. В основе этого метода лежит замечательная особенность реальных изображений, заключающаяся в том, что в них многократно повторяются с небольшими вариациями отдельные фрагменты, например листья в кроне дерева, окна в здании, пешеходы на улице, чешуя на теле рыбы и тд. И хотя эти фрагменты различаются между собой в деталях, тем не менее, в них много общего.
Процесс сжатия начинается с того, что берется два идентичных экземпляра кодируемого изображения А и Б, один из них разделяется на неперекрывающиеся блоки, называемые ранговыми областями, а на втором задается набор доменов, которые могут взаимно перекрываться. Домены должны включать в себя характерные фрагменты, которые в дальнейшем используются для построения исходного изображения при его декомпрессии. Затем начинается кодирование изображения подбором для каждой ранговой области наиболее подходящего домена, посредством которого распределение яркости в ранговой области может быть аппроксимировано распределением яркости в домене.
В том случае, если не удается таким путем достичь удовлетворительной аппроксимации распределения яркости в ранговой области распределением яркости в преобразованном домене, ранговая область делится на четыре части и процесс повторяется. Номера доменов, использованных при кодировании каждой ранговой области, а также коэффициенты аффинного преобразования сжимаются энтропийным кодированием и записываются в файл. Файл сжатого изображения содержит заголовок с информацией о расположении ранговых областей и доменов, а также таблицу эффективно упакованных аффинных коэффициентов для каждой ранговой области.
Алгоритм декодирования изображений не столь нагляден. Этот алгоритм заключается в том, что берутся два экземпляра одного и того же изображения А и Б, распределение яркости в которых безразлично. На этих изображениях выделяются ранговые области и домены, а затем, используя известные значения аффинных коэффициентов, по доменам, выделенным на изображении В, находятся распределения яркости в ранговых областях изображения А. Затем изображения А и Б меняются местами, и операция повторяется. При многократном повторении этой операции распределение яркости в изображениях А и Б будет приближаться к распределению яркости в исходном изображении.
Фрактальный метод сжатия изображений обеспечивает высокие степени сжатия, составляющие от 50 до 500 раз в зависимости от типа изображения и допустимого уровня шума преобразования.
Методы сжатия высокообъемных видеопотоков. Различные методы сжатия были разработаны для движущихся изображений, кото-
рые впоследствии были объединены аббревиатурой MPEG (экспертная группа по движущимся объектам в составе ISO). Есть несколько различных вариантов MPEG: MPEG 1, MPEG 2 и MPEG 4, MPEG 7 принятых впоследствии как стандарты для мультимедийного оборудования, цифровых видеодисков (DVD) и ТВ высокой чёткости (HDTV).
MPEG работает с движущимися объектами. Но важно подчеркнуть, что MPEG — не алгоритм сжатия, а скорее сжатый поток информации, т.е. MPEG определяет организацию цифровой информации для записи, воспроизведения и передачи. Фактически алгоритмы сжатия зависят от различной используемой аппаратуры и могут отличаться по своему качеству
Работа стандарта MPEG схожа с работой по сжатию в соответствии со стандартами серии Н и JPEG. Основное отличие состоит в том, что MPEG использует на очередном шаге межкадровую зависимость. MPEG проверяет сходство между текущим и/или предыдущим кадром и/или следующим кадром. Причем MPEG оказывается в два раза производительнее JPEG, но MPEG-кодеки значительно сложнее, чем JPEG-кодеки.
Стандарт MPEG 4 предоставляет возможность формирования трех видов цифровых потоков: элементарного пакетированного потока, программного пакетированного информационного потока и транспортного пакетированного потока. Определение "элементарный" означает, что цифровой поток состоит из одного вида информации: аудиоданных, видеоданных или данных пользователя. Программный пакетированный информационный поток формируется внутренним мультиплексором, объединяющим в определенной последовательности элементарные пакетированные потоки сжатых видеоданных и элементарные пакетированные потоки сжатых звукоданных. На входы этого же мультиплексора подаются без сжатия служебные данные и синхрослова (рис. 1).
Элементарный пакет сжатых аудиоданных Элементарный пакет сжатых видеоданных Служебные данные
несжатые_____________
Синхрослова несжатые
Рис. 1. Принцип формирования информационного пакетаЦифровые данные передаются пакетами, что необходимо для обеспечения постоянной скорости передачи и занятия постоянной ширины частотной полосы
Процесс объединения происходит тактовыми сигналами, подаваемыми на адресные входы мультиплексора в определенной последовательности, и осуществляется на системном уровне. Программный поток может иметь до 32 элементарных потоков аудиоданных, до 16 элементарных потоков видеоданных и до 16 потоков служебных данных Программный информационный поток не имеет кодов защиты от ошибок и предназначен для передачи цифровой информации по каналу связи, свободному от помех, например, внутри телестудии.
Для локального ТВ наибольший интерес представляет транспортный поток, так как он наиболее удобен и приспособлен для передачи цифрового сигнала по каналам связи. Он также удобен для хранения информации.
Если канал приема/передачи не свободен от ошибок, то вместо программного формируется транспортный пакетированный цифровой поток. Пакет транспортного потока состоит из информационной части и головной.
о. 1- О — <■>
X Программный
& £ £* = информационный
А пакет
2
Внутренний мультиплексор из элементарных потоков формирует информационную часть — блок цифрового пакета фиксированной длины в 187 байтов и синхрослово в 1 байт.
Информационная часть затем дополняется головной частью и байтами кода Рида-Соломона, обеспечивающими защиту от ошибок блока информационных байтов (рис. 2).
Рис 2. Структура пакета транспортного потока информационных данных с защитой от ошибок кодом Рида-Соломона
Для сокращения количества видеоданных, как в рамках кадра с изображением, так и в рамках последовательности видеокадров, можно использовать самые разнообразные методы. В рамках кадра изображения сокращение данных можно произвести простым удалением избыточной информации, что окажет свое влияние на разрешение изображения. В рамках последовательности кадров сокращение видеоданных можно произвести с помощью таких методов, как кодирование по отличиям, которое используется в большинстве стандартов сжатия видеоизображения, в том числе и H.264. При кодировании по отличиям кадр сравнивается с опорным кадром (т.е. предыдущим или P-кадром) и кодируются только изменившиеся по отношению к опорному кадру пиксели. Таким образом, сокращается количество пиксельных значений для кодирования и отправки.
В формате Motion JPEG три изображения в показанной выше последовательности кодируются и отправляются как отдельные уникальные изображения (I-кадры) без какой-либо зависимости друг от друга.
При кодировании по отличиям (применяемом в большинстве стандартов сжатия видеоизображения, в том числе и в H.264) полностью кодируется только первое изображение (I-кадр). В двух последующих изображениях (P-кадрах) ставятся ссылки на первое изображение в отношении статичных элементов (в данном случае в отношении дома) и кодируются только движущиеся элементы (в данном случае бегущий человек) с использованием вектора движения, что, таким образом, снижает объем информации для отправки и хранения. Объем кодирования можно дополнительно снизить, если обнаружение и кодирование по отличиям базируется на блоках пикселей (макроблоках), а не на отдельных пикселях, следовательно, сравниваются более крупные участки и кодируются только блоки со значительными отличиями. Снижаются также и затраты, сопутствующие указанию меняющегося места действия. Впрочем, кодирование по отличиям существенно не снизит объем данных, если видеоряд содержит много движущихся объектов. И здесь можно использовать такие технологии, как поблочная компенсация движения. Поблочная компенсация движения учитывает то, что многое из того, что создает новый кадр в видеопоследовательности, можно найти на предыдущих кадрах, но, возможно, в другом месте действия. Данная техника разделяет кадр на ряды макроблоков. Новый кадр (например, P-кадр) можно составить или "предсказать" по блочно, посредством поиска совпадающего блока в ссылочном кадре. При обнаружении совпадения кодер просто кодирует положение найденного совпадающего блока в ссылочном кадре. Кодирование так называемого вектора движения требует меньше бит, чем кодирование фактического содержания всего блока.
Эффективность H.264 выводит технологию сжатия видеоизображения на новый уровень. Стандарт H.264 вводит новую передовую схему внутреннего предсказания при кодировании I-кадров. Данная схема может значительно сократить размер (в битах) I-кадра при сохранении высокого качества при помощи успешного предсказания маленьких блоков пикселей в рамках макроблока внутри кадра. Это происходит посредством попытки найти совпадающие пиксели среди ранее закодированных пикселей, которые ограничивают новый пиксельный блок 4x4 для внутреннего кодирования. Путем повторного использования уже закодированных пиксельных значений можно значительно сократить размер данных в битах. Новое внутреннее предсказание — это ключевой элемент технологии H.264, уже доказавший свою высокую эффективность. Для сравнения: даже если в потоке H.264 использовать только I-кадры, размер получившегося файла будет гораздо меньшим, чем для потока Motion JPEG, в котором используются только I-кадры.
При этом внутренне предсказанное изображение отправляется "бесплатно". Для создания изображения на выходе необходимо закодировать только содержимое остаточного изображения и режимы внутреннего предсказания.
В H.264 также улучшена поблочная компенсация движения, применяемая при кодировании P- и B-кадров. Кодер H.264 может выбирать для поиска совпадающих блоков (вплоть до субпиксель-ной точности) некоторых или многих участков внутри одного или внутри нескольких ссылочных кадров. Для улучшения поиска совпадений можно также настраивать размер и форму блоков. На участках, где внутри ссылочного кадра нельзя найти никаких совпадающих блоков, используются внутренне закодированные макроблоки. Высокая степень гибкости поблочной компенсации движения в H.264 эффективна в местах видеонаблюдения за большим количеством людей, где следует сохранять требуемое для этой области применения качество изображения. Компенсация движения является наиболее востребованным аспектом видеокодера, а различные способы и уровни, при которых возможна ее реализация посредством кодера H.264, помогают повысить эффективность сжатия видеоизображения.
Со стандартом H.264 типичные блочные объекты, заметные на видеоизображениях с высокой степенью сжатия по стандартам Motion JPEG и MPEG (в отличие от H.264), можно уменьшить благодаря встроенному деблокирующему фильтру. Этот фильтр автоматически сглаживает края блоков, создавая почти идеальное развернутое видеоизображение.
H.264 представляет собой огромный шаг вперед в технологии сжатия видеоизображения. Этот стандарт предлагает различные технологии, позволяющие добиться лучшей эффективности сжатия благодаря применению более точных схем внутреннего предсказания, а также большей устойчивости к ошибкам. Он открывает новые возможности для создания передовых видеокодеров, способных значительно повысить качества изображения, увеличить частоту кадров и разрешение при сохранении той же скорости передачи данных (по сравнению с предшествующими стандартами) или же, напротив, обеспечить видеоизображение того же качества при меньшей скорости передачи данных. H.264 представляет собой первый образец совместной работы Международного телекоммуникационного союза, Международной организации по стандартизации и Международной электротехнической комиссии по типовым международным стандартам сжатия видеоизображения.
Из-за своей гибкости H.264 нашел применение в таких разнообразных областях как: DVD высокой четкости, например, Blu-ray, видеотрансляция, в том числе трансляция телевидения высокой четкости, онлайн-хранилища видеоматериалов, например, YouTube,
14
T-Comm, #9-2013
мобильная телефонная связь третьего поколения, в таких программах, как Quick Time, Flash и в операционной системе MacOS X на компьютерах Apple, а также в игровых видеоприставках, например, PlayStation 3. Благодаря поддержке во многих отраслях промышленности и разработки программных приложений, рассчитанных на удовлетворение потребительских и профессиональных потребностей, H.264, как ожидается, заменит другие, используемые на сегодняшний день, стандарты и методы сжатия. С более широким распространением формата H.264 в сетевых камерах, видеокодерах и программном обеспечении для управления видеонаблюдением, разработчикам и интеграторам систем требуется уверенность в том, что выбранные ими продукты и поставщики поддерживают этот но-
вый открытый стандарт. На данный момент сетевое видеооборудование, поддерживающее как H.264, так и Motion JPEG — это идеальный выбор, обеспечивающий наивысшую степень универсальности и интеграции.
Литература
1. Севальнев ЛА Международный стандарт кодирования с информационным сжатием MPEG-2. Журнал "625", №1, 1997. — С. 58-62.
2. Зубарев Ю.Б, Кривошеев М.И., Красносельский И.Н. Цифровое телевизионное вещание. Основы, методы, системы. — М.: НИИР-ИОИ, 2001.
Basic methods of data compression in the transmission of digital videos AndreykoD.N. [email protected], Komarov P.Y., [email protected], Ignatov F.M. [email protected]
Abstract
Currently, the rapidly developing methods and devices compression range of digital television signals, based on the reduction of redundancy. In the digital television system there are several types of redundancy of the image signals: space — is present when the values of pixels are correlated within some parts of the image (still image), ie You can pass the value of a single pixel, and the values predicted with other allowable error; time — the correlation between the same pixels is observed in the sequence of several video frames, ie technology transfer and prediction of motion can be spread a few frames; entropy — continuously varying signal is quantized, ie replaced by a discrete variable signal and for encoding the quantized levels Huffman method, in which the length of the codeword is inversely proportional to the relative frequency of occurrence of specific levels; Psychovisual — is characterized by the fact that the eye can not distinguish because of the inertia of very small parts, high color transitions and playback is not a short-term periodic images. This article describes modern methods of digital video compression.
