CC BY
88
5. Семенов А.В. Синтез дискретных следящих систем с неминимально-фюовыми объектами управления // IX Всероссийская научная конференция молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление»: Сборник материалов. - Таганрог: Изд-во ТТИ ЮФУ, 2011. - Т. 2. - С. 139-142.
Статью рекомендовал к опубликованию д.т.н., профессор Н.И. Витиска
Гайдук Анатолий Романович - Технологический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге; e-mail: [email protected]; 347904, г. Таганрог, ул. Слесарная, 26, кв. 2; тел.: 88634626287; кафедра систем автоматического ; . . .; .
Семенов Александр Валерьевич - e-mail: [email protected]; 347922, г. Таганрог, ул. Шевченко, 2; тел.: 88634312350; кафедра систем автоматического управления; аспирант.
Gaiduk Anatoly Romanovich - Taganrog Institute of Technology - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; 2, Slesarnaya street, app. 26, Taganrog, 347904, Russia; phone: +78634626287; the department of automatic control systems; dr. of eng. sc.; professor.
Semenov Alexander Valerevich - e-mail: [email protected]; 2, Shevchenko street, Taganrog, 347922, Russia; phone: +78634312350; the department of automatic control systems; postgraduate student.
УДК 621.396
М.К. Чобану СИСТЕМА СЖАТИЯ ДИНАМИЧЕСКИХ ИЗОБРАЖЕНИЙ
Рассмотрены особенности систем сжатия динамических изображений в связи с возрастающими требованиями к видеоинформационным системам. Представлены системы ТВ-вещания сегодняшнего и завтрашнего дня, включая системы со многими видами, требования, предъявляемые к современным системам сжатия, включая реализацию многомерно- , -лов. Приведены результаты синтеза многомерных неразделимых многоскоростных систем, включая методы синтеза ортогональных и биортогональных вейвлет-систем, и их реализации на цифровых сигнальных процессорах.
Сжатие изображений; многоскоростные системы; вейвлеты.
M.K. Tchobanou DYNAMIC IMAGES COMPRESSION SYSTEM
The peculiarities of dynamic images compression system due to the increasing demands of video information systems are given. Today TV systems are given, as well as future multi-view systems, the requirements to be met by a modern compression system are presented, including the implementation of multi-dimensional wavelet transform, and the perspectives of modern video coding systems are presented. The results of the synthesis of multidimensional multirate nonseparable systems, including orthogonal and biorthogonal systems, and their implementation on digital signal processors are considered.
Image compression; multirate system; wavelet; digital signal processors.
Следует различать два основных типа сжатия изображений - сжатие данных и сжатие изображений [1]. Сжатие данных сокращает число бит, требуемых для хранения или передачи любого вида данных (числовых, текстовых, двоичных, изображений, звука и т.д.), используя статистические свойства данных. Уменьше-
ние объема данных происходит за счет вычислительных затрат на сжатие и распаковку. Сжатие данных выполняется без потерь. Большинство методик сжатия данных, включая кодирование по длинам серий (RLE) и алгоритм LZW (Лемпеля-- ), , , которые часто присутствуют в двоичных данных компьютерных приложений. При кодировании без потерь обычно степень сжатия равна приблизительно двум ( ).
При сжатии изображений обычно между пикселями или большими частями изображения имеется сильная вертикальная, горизонтальная или иная корреляция. Такие методы преобразования эффективны для сжатия цветных или полутоновых изображений. Дискретное косинусное преобразование (ДКП) было разработано, оптимизировалось и теперь является предпочтительным методом при сжатии изображений с непрерывным спектром тонов [2]. Сжатие удаляет из сигналов избыточность. Однако избыточность является существенной для получения данных, устойчивых к ошибкам в трактах передачи. В итоге сжатые данные являются более чувствительными к ошибкам, чем распакованные данные. Таким образом, системы передачи с использованием сжатых данных должны включать в себя более мощные методологии исправления ошибок и избегать методов сжатия, известных своей чувствительностью. Перцептуальные кодеры с потерями вводят ошибки ,
быть перепутан по ошибкам с первым. По возможности следует избегать последовательного соединения различных систем сжатия, так как это приводит к дополни.
( ) ( ) -, .
Эффективное видеокодирование (Advanced Video Coding - AVC), разработанное Объединенной видео группой (JVT) и одобренное как Рекомендация H.264 (МСЭ-Т) и как Часть 10 MPEG-4 (ISO/IEC), первоначально предназначалось для сжатия динамических изображений, которые используют восьмибитовые массивы , 4:2:0. ,
AVC 2-2,5 -
том MPEG-2 при том же качестве изображения [3].
, , новые профили высокого уровня, внесенные в Поправку о расширениях повышенного качества (FRExt). В стандарте определены 16 различных уровней. Важным является наложение ограничений на вычислительную сложность обработки и ем, . оказывают размер изображения и частота кадров. Уровни также накладывают ограничения на число опорных изображений. Имеется ряд проблем, связанных с эффективной перекодировкой различных алгоритмов сжатия, например, между широко используемыми стандартами MPEG-2 и AVC/H.264 [4]. Для определенных приложений, таких как трехмерное телевидение (3D-TV), следует рассмотреть новые разработки, такие как алгоритм H.264/SVC (Масштабируемое видеокодирова-
- Scalable Video Coding).
На рис. 1 показаны тенденции развития алгоритмов кодирования и полученные степени сжатия в их историческом развитии. Логарифмический рост потока , , -медийных и связных приложений. Историческое развитие методов сжатия и полученные потоки сжатого видео свидетельствуют, с одной стороны, о прогрессе в . , , в секунду и т.д. уже не может быть поддержан существующими методами кодиро-
. XXI . -
темы цифрового телевизионного вещания и его модификации - телевидение по-(HD) (HDTV). -
, ,
аудиовизуальной информации приводит к стандартизации еще более качественных телевизионных систем - объемного (SD-телевидения) и телевидения ультравысо-кой четкости ТУВЧ (Ultra HDTV - UHDTV или Super Hi-Vision - SHV), реализующего возможности цифрового кино.
_ 10G
1G
том
ЮМ
1М
Ofii 1 .„.Г 1
One < І inal 1
Oric inal > i | JPEG2000
< № MPEG-2
> MPEG-2 ) MPEG-4 (H.2 i')
Spatial Resolution (ptx*l/fram«)
Standard TV HDTV 4k Cinema 8k Super
Hi-Vision
0.4 M
2.1 M
8.8 M
33.2 M
Puc. 1. Тенденции развития алгоритмов кодирования
В ближайшие годы в мире ожидается пик развития ТУВЧ-индустрии. Однако активное внедрение системы ТУВЧ, в особенности стандарта 4320р с разрешением вдоль строк в 7680 пикселей и числом строк 4320, в настоящее время существенно ограничивается отсутствием высокоэффективных кодеков реального времени [5]. Ниже приведены основные параметры модификаций этих телевизионных систем.
1
Основные форматы ТВ-изображений
Тип, наименование формата Размер кадра, обозначение Модель цветности, количество бит Частота кадров в секунду, тип развертки Скорость цифрового потока, Мбит/е
ТПЧ, w720p - HD 1280x720 4:2:0, 12 4:2:2, 16 50 или 60, прогрессивная 264 - 844
ТВЧ w1080i -HD 1920x1080 4:2:2, 16 25 или 30, чересстрочная 790 - 940
w1080pUHD 4:2:2, 20 50 или 60, прогрессивная 790 - 1900
ТУВЧ w1080p -UHD 1920x1080 H0 (2K) 4:2:2, 24 60, прогрессивная 2370
w2160p -UHD 3840x2160 H1(4K) 9490
w3240p -UHDV 5760x3240 H2(6K) 4:4:4, 36 38400
w4320p -UHDV 7680x4320 H3(8K) 68300
В связи с бурным развитием упомянутых выше приложений, предпринята попытка создать новый стандарт и подход к сжатию видео. Название этой инициа-
- (Future Video Coding - High
Efficiency Video Coding или HVC). Для решения поставленной задачи по созданию нового метода кодирования видеосигналов предложены подходы, среди которых основными являются следующие: Кодирование видео с полноцветными компонентами; интракодирование с помощью вейвлет-преобразования; оптимизация энтропийного кодирования CABAC (распаршлеливание); объектно-ориентированное предсказание; интер- и интрапредсказание на основе вейвлетов.
Для применения вейвлет-преобразования требуется разработка и реализации многомерной многоскоростной системы. В [6] приведены основные методы, алгоритмы и характеристики требуемого программного и аппаратного обеспечения.
До недавнего времени большинство разработок было сконцентрировано на одномерных сигналах, а обработка многомерных (ММ) сигналов реализовывалась через тензорное (раделимое) произведение. Лишь небольшое число исследователей в мире сконцентрировали свои исследования и разработки на «истинном» ММ-случае обработки сигналов. Под истинным ММ-случаем понимается допущение и неразделимой дискретизации, и неразделимой фильтрации. Использование неразделимых фильтров ведет к большему числу степеней свободы и синтезу лучших фильтров для обработки ММ-сигналов. Неразделимая децимация позволяет строить устройства, лучше приспособленные к визуальной системе человека.
б
Рис. 2. Основные многоскоростные системы: а - банк фильтров анализа/синтеза;
б - трансмультиплексор [7]
Автором и его коллегами была реализована ММ многоскоростная система [6]. Это была портируемая версия с большими техническими возможностями ( ), ,
(DSP). Она позволила оценить трудоемкость и понять проблемы, возникающие при реализации программной части. Модуль дискретного вейвлет-преобразования (ДВП) использует разделимые и неразделимые 2D^^^№Tpbi с разделимой четырехканальной децимацией. Модуль ДВП и остальные модули написаны на ANSI C как кроссплатформенная библиотека, которая впоследствии была успешно порти-
« ».
системы состоят из двух наборов (банков) фильтров - банка анализ а и банка синтеза [6]. В зависимости от того, в каком порядке они соединены, можно получить . , -
клады вается на подполосовые составляющие, и далее восстанавливается обратно в банке анализа, такая система называется банком фильтров (БФ) анализа/синтеза (устоявшегося названия нет, поэтому в статье это устройство будет называться просто "многоскоростной системой", см. рис. 2).
Если поменять порядок следования банка анализа и банка синтеза, в этом случае набор сигналов подается на вход банка синтеза, с выхода которого комбинированный сигнал подается на вход банка анализа, производящего его разложение на составляющие. Такая система называется банком фильтров синтеза/анализа или (в данном случае имеется устоявшееся название) трансмультиплексором. В табл. 2 приведены разработанные классы биортогональных и ортогональных фильтров. Современные сигнальные процессоры, предназначенные для обработки изображений и видео, обладают внутренней памятью порядка 64-х, 128-ми Кбайт. Эта память расположена на микросхеме и обладает высоким быстродействием.
2
Основные методы синтеза многомерных многоскоростных систем
Метод/ тип Матрица децимации М Число каналов/ носитель Гладкость Импульсная хар-ка/фаза Свободные параметры Размерность
Преобр-е переменных/ биортог. Фиксир. Два/ четн. Парам. Парам./ ЛИН. Есть Любая
Достройка матрицы/ биортог. Любая Любое/ нарам. Парам. Парам./ лин.-нул. Есть Любая
/ биортог. Любая Два/ нечетн. Любая п/2”1 / . Нет Любая
Техника лифтинга/ . Любая Любое/ любой Любая Парам./ лин.-нул. Нет Любая
Преобр-е Кэли/ ортогон. Любая Любое/ нарам. Любая ./ иррац. . Есть Любая
Структурный метод/ . Разделимая Четыре/ четн. Парам. ./ иррац. . Есть 2-Э
Внешние блоки памяти, подключаемые к процессору, обладают большим ( ), -венно меньшей скоростью работы. Большинство приложений, работающих в ре,
обрабатываемых данных из-за относительно низкой скорости доступа. Объем же данных превышает размер внутренней памяти. Например, в случае обработки одного кадра размером 640x480 требуемый объем памяти составляет 600 Кбайт. Для повышения быстродействия в этом случае используются следующие методики: кэширования и создания буферов малого размера во внутренней памяти.
Кэширование является механизмом, заложенным в сигнальный процессор и , . процессор отслеживает обращения во внутреннюю память. Анализирует частоту обращений к определенным ячейкам и создает во внутренней памяти копии тех , .
, , обращение, и копирует ее во внутреннюю память. Кэширование позволяет существенно повысить быстродействие в случае, если программист учитывает особенности работы кэша. Одним из условий является обращение в память по последовательным адресам и минимизация переходов. При использовании буферов во внутренней памяти кадр, хранимый во внешней памяти, разбивается на блоки меньше.
Блоки последовательно переписываются во внутреннюю память, обрабаты-, . каждого блока. Например, алгоритм JPG использует в своей работе блоки размером 8x8. Свертка с разделимыми фильтрами, широко применяемыми при выпол-
- , , по столбцам кадра. В первом случае обращения к памяти за коэффициентами про,
-,
, .
столбцов обращения к памяти происходят не последовательно, а с шагом, равным размеру строки исходного изображения, что не желательно для кэш-памяти, а также требует дополнительных вычислений смещения адреса коэффициента.
В случае организации стандартного строкового буфера во внутренней памяти, возникают сложности при расширении сигнала по столбцам, которое необходимо для выполнения вейвлет-декомпозиции. Это связано с тем, что в строковом буфере сигнал в столбце представлен не полностью. Была разработана методика выполнения вейвлет-преобразования с применением DMA контроллера, используемого для организации транспонирования группы столбцов исходного изображения из внешней памяти во внутренний строковый буфер.
Таблица 3
Вычислительные ресурсы
Размер изображения Число циклов Время, с
640x480 13622170 0,09
352x288 3659071 0,025
176x144 740909 0.005
Операция транспонирования позволяет перейти от свертки столбца к свертке строки, что существенно увеличивает быстродействие. С точки зрения повышения качества появляется возможность простой реализации периодического расширения сигнала по столбцам при использовании внутреннего буфера, объем которого меньше исходного изображения. С применением данной методики разработчик может использовать одну функцию свертки, тогда как обычно необходимо использовать две различные функции для обработки строк и столбцов. В коде программы не используются специфические особенности конкретных сигнальных процессо-.
Texas Instruments. Вычислительные ресурсы (циклы процессора) на организацию работы с внутренним буфером по разработанной методике приведены в табл. 3 для максимально возможного числа уровней декомпозиции [6].
Полученные алгоритмы для сигнальных процессоров обладают повышенным быстродействием по сравнению с существующими аналогами и могут быть реализованы в системах обработки и передачи видеоданных по радиоканалам с низкой
.
операций сравнения вейвлет-коэффициентов при их сортировке и высвободил значительную часть машинного времени на обработку данных.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Symes P. Digital Video Compression, Mc- Graw-Hill Companies, Inc., 2004.
2. Poynton C. Digital Video and HDTV Algorithms and Interfaces. 2003. - 796 p.
3. Wiegand T., Sullivan G. J., Bjontegaard, Luthra A. Overview of the H.264/AVC Video Coding Standard, IEEE Trans. on CSVT, July 2003.
4. Kalva H. Issues in H.264/MPEG-2 Video Transcoding, Submitted to CCNC ’04.
5. Дворкович В., Чобану М. Проблемы и перспективы развития систем кодирования динамических изображений // MediaVision. - 2011. - № 2-5; 7-8.
6. Чобану М. Многомерные многоскоростные системы обработки сигналов. - М.: Техносфера, 2009. - 480 с.
Статью рекомендовал к опубликованию д.т.н., профессор В.И. Джиган.
Чобану Михаил Константинович - Федеральное государственное унитарное предприятие «Главный радиочастотный центр»; e-mail [email protected]; г. Москва, Дербеневская наб. 7, стр. 18; тел.: 84957481863; заместитель начальника Управления научных исследований и разработки цифровых систем передачи информации; д.т.н.; профессор.
Tchobanou Mikhail Konstantinovich - Federal State Unitary Enterprise "General Radio Frequency Centre”; e-mail [email protected]; 7, Derbenevskaya quay, p. 18, Moscow, Russia; phone: + 74957481863; deputy head of the division of research and development of digital communication systems; dr. of eng. sc.; professor.
