CC BY
128
УДК 621.396.4
ВОЗМОЖНОСТЬ ИСПОЛЬЗОВАНИЯ ЧИРПЛЕТ-ПРЕОБРАЗОВАНИЯ ДЛЯ КОМПРЕССИИ
АУДИО- И ВИДЕОИНФОРМАЦИИ В БЕСПРОВОДНЫХ РАДИОСЕТЯХ
И.Н. Тульский
В основе данной работы лежит математический аппарат “чирплет” (сЫгрМ) преобразования. Полученные в ходе работы результаты позволяют увеличить пропускную способность каналов приема-передачи, упростить общие программные алгоритмы обработки аудио и видеоинформации, снизить нагрузку на терминал передачи и улучшить эксплуатационные характеристики различных сервисов потоковой доставки мультимедиа сообщений
Ключевые слова: чирплет, преобразование, сжатие, мультимедиа, изображение
В современном, быстро развивающемся мире все большее место занимают беспроводные глобальные и локальные радиосети. Абонентами радиосетей, на сегодняшний день, являются миллионы людей, различные предприятия и организации. Сфера услуг, предоставляемых абонентам мобильных сетей, разнообразна и постоянно пополняется. Одной из таких услуг является мобильное телевидение, со сложными элементами мультимедийных сообщений, графикой, аудио и видеоинформацией. Большинство сервисов предоставления мультимедийной информации в беспроводных радиосетях используют в качестве компрессии и обработки мультимедиа данных математический аппарат быстрого - оконного Фурье-преобразования, и в последнее время вейвлет-преобразования.
Однако, применяемые на сегодня методы компрессии, по большей своей части и в силу стандартов навязанных производителями аудио и видео - форматов, не соответствуют стандартам радиосетей третьего и четвертого поколения и не учитывают специфику каналов и устройств мобильной связи: низкую помехоустойчивость, небольшие размеры дисплея, малые объемы памяти, низкие вычислительные возможности терминала.
На сегодняшний день основной задачей, в беспроводных радиосетях, является повышение эффективности и улучшения эксплуатационных характеристик сервисов доставки мультимедийной информации, и упрощение программных алгоритмов обработки аудио и видеоинформации в терминалах. Актуальны проблемы повышения эффективности по сжатию, обработке, доставке и восстановлению аудио и видеоинформации в мобильных радиосетях.
Методы сжатия удобно рассматривать в
Тульский Иван Николаевич - СФУ, аспирант,
тел. (923)271-63-34
виде общей схемы, состоящей из трех основных шагов (не все шаги обязательны).
1. Снижение межэлементной корреляции.
2. Квантование элементов данных.
3. Кодирование данных.
Несколько уменьшить длину кода цифрового изображения можно, если использовать алгоритмы энтропийного (статистического) кодирования: по Хаффмену, арифметиче-
ское кодирование и др. Данные алгоритмы позволяют в точности восстановить цифровое изображение после декодирования, т.е. выполняют сжатие данных без потерь информации и включают в себя только третий из приведенных выше этапов общей схемы сжатия. Однако для обработки цифровых изображений применение указанных алгоритмов статистического кодирования в чистом виде, т.е. как отдельного инструмента, крайне не эффективно, поскольку межэлементная вероятностная зависимость элементов данных в этих алгоритмах не учитывается. Поэтому внимание оказалось прикованным к двум первым составляющим общей схемы сжатия данных. Появились методы, основанные на применении линейных преобразований, скалярном и векторном квантовании, анализе структурных особенностей изображений. Как правило, эти методы осуществляют сжатие с потерей информации, т.е. восстановленное после сжатия изображение представляет исходный цифровой оригинал с некоторой ошибкой, однако величина ошибки может быть столь мала, что человеческий глаз ее не замечает. При этом достигается сжатие данных изображения в 10-30 раз.
В качестве критериев для необходимости разработки новых алгоритмов, проведен анализ следующих проблем:
• Возможности сжатия аудио и видеоинформации в мобильных радиосетях третьего и четвертого поколения;
• Необходимость применения новых методов и алгоритмов сжатия мультимедийной информации;
• Обзор существующих методов сжатия и восстановления аудио и видеоинформации, применяемых в беспроводных радиосетях третьего и четвертого поколения.
На основании вышеизложенных критериев, в качестве наиболее универсального метода, и простого математического аппарата, схожего по свойствам с математическим аппаратом вейвлет-преобразований, взято адаптивное
чирплет-преобразование. Для анализа нестационарных процессов, в которых информативным является сам факт изменения частотновременных характеристик сигнала (речь, музыка, изображение), требуются базисные функции, способные выявлять как частотные, так и временные характеристики, т.е. обладающие частотно-временной локализацией [1]. Одним из способов решения данной задачи является использование математического аппарата чир-плет-функций, в частности, чирплет-разложе-ния сигнала, при котором, в отличие от оконного преобразования Фурье, базисную функцию не только смещают во времени, масштабируют, но и определяют наклон частоты, чтобы получить многократное перекрытие сигнала.
В обработке изображений и звуков, период чаще всего изменяется линейно. Примером этого может служить градации цвета, изменение яркости, переход от одного цвета к другому, повышение частоты голоса, звуки окружающей среды и т.д. [2]. Абоненты мобильных радиосетей имеют терминалы с малыми размерами дисплеев (экранов). Пользователь такого терминала при сжатии изображения или звука с потерями, не заметит, какое либо ухудшение качества мультимедийной информации. Поэтому чирплет-преобразование в данном случае более полезно, чем Фурье или вейвлет — преобразования.
Чирплет - это, кусочек ЛЧМ - сигнала [chirp]. Точнее, чирплет — результат умножения такого сигнала на окно, что обеспечивает свойство локализованности во времени. В условиях частотно-временного пространства мелкие ЛЧМ - импульсы существуют как вращающиеся, сдвинутые, деформированные структуры, движущиеся от традиционного параллелизма по временной и частотным осям, типичным для волн (Фурье и оконное преобразование Фурье или вейвлеты) [3]. Таким образом, чирплет-преобразование является повернутым, взвешенным или иначе измененным мозаичным представлением частотно-временной плоскости
[3] рис.1. Чирплет преобразование - это скалярное произведение входного сигнала с семейством элементарных математических функций, именуемых чирплетами [3].
Рис.1. Сопоставление сигнала во временной и частотной области
Адаптивное чирплет - разложение сигнала S(t) , есть сумма чирплет - всплесков (функций) gn (t), и может быть представлена в виде суммы:
да
S(t) = S Cngn (t), n=0
gt) =V +Jjn(t-tn)+Jen(t~tn)2 f
I ^ J
где crn, tn , an и pn - шкала времени, текущее
время, начальная частота, чирплет - всплески, соответственно.
Чирплет- всплески можно описать следующей формулой:
,2 , Го ,2
| Cn | = max I {n(tX gn(t)1|
(1)
где
Sn(t) = Sn-1(t) - Cn-1 gn-1(t), S0(t) = S(t),
Sn (t), является остаточной ортогональной проекции Sn-1 (t) на gn-1 (t), где
n-1
Sn (t) = S(t) - S Cigi (t).
i=1, i Ф n
(2)
Таким образом, разложение сигналов можно получить с помощью формул (1), (2).
Следуя из выше сказанного адаптивное чирплет - преобразование - это разложение сигнала по всевозможным сдвигам и сжатиям некоторых элементарных математических функций.
Различают три основных области приме -нения двумерных унитарных преобразований для обработки изображений. Во-первых, преобразования используются для выделения характерных признаков изображения. Например, постоянная составляющая спектра Фурье пропорциональна средней яркости изображения, а высокочастотные составляющие характеризуют
ориентацию и резкость контуров. Другой областью применения преобразований является кодирование изображений, когда оцифровке (квантованию с конечным числом уровней) подвергается не само дискретное изображение, а его спектр, что во многих случаях позволяет добиться заметного сокращения длины кода. Третья область приложений - это сокращение размерности при выполнении вычислений; иначе говоря, в процессе спектральной обработки (например, фильтрации) малые по величине коэффициенты преобразования можно отбросить без заметного ухудшения качества обработки.
Следует отметить что, для сжатия изображения использовался подтип, так называемых р-чирплетов. По своим свойствам они схожи с вейвлетами. Если вейвлет-преобразование основано на вейвлетах имеющих форму g (ах + Ь) , то чирплеты р- типа выражаются
как g(-------)) , где а -масштаб, Ь -сдвиг, с -
(сх +1)
“чип-рэйт” (наклон частоты).
Алгоритм разложения изображения с помощью чирплет-преобразования схож с алгоритмом вейвлет- преобразования.
Для качественной оценки, написана программа компрессии статического, цветного изображения при помощи чирплет - преобразования. Исходное изображение взято с разрешением 1024х770.
Рис. 2. Исходное слева и восстановленное справа изображение, после сжатия методом Фурье преобразования
На рис. 2, исходное с лева изображение и восстановленное после компрессии с помощью математического аппарата Фурье-
преобразования. Изображение воспроизведено с разрешением 256х192. Данное разрешение взято как средний размер экрана мобильного терминала (РЛЬМ, сотовый телефон, и т.д.). Если восстановить изображение сжатого с помощью Фурье-преобразования, до исходного разрешения 1024х770, то качественного ухудшения изображения не будет, однако незначительно заметно размытие переднего фона. Это
связанно с отбрасывание части комплексных отсчетов, относительно заданных порогов. Несмотря на это, для глаза человека, изображение, видимое с разрешением 256х192, не отличается от исходного.
Рис. 3. Исходное слева и восстановленное справа изображение, после компрессии с использованием вейвлет - преобразования
При использовании вейвлет - преобразования изображение также как и при сжатии при помощи Фурье преобразовании, с разрешением 256х192, не отличается от исходного. Однако при оценке восстановленного изображения с разрешением 1024х770, на нем появляется зернистость, размывается задний фон. Очевидно, что качество компрессии изображения зависит от использования фильтров, при данном сжатии использован фильтр Добеши 4-го порядка как наиболее эффективно реализуемые на платформе мобильных устройств.
Рис. 4. Исходное слева и восстановленное справа изображение, после компрессии с использованием чир-плет - преобразования
Аналогичный результат дает и чирплет-преобразование. На изображении с разрешением 1024х770, заметно общее размытие изображения, зашумление картинки схожее с Гауссовским шумом.
Все эти алгоритмы сжатия, возможно, реализовать с минимальными потерями информации. На рисунках отраженна возможность их использования в беспроводных радиосетях. Несовершенство написанной программы, отражает качество восстановленного рисунка, однако возможно более четкое воспроизведение при изменении программных алгоритмов.
Процентное соотношение количества восстановленной информации приведено в табл.1.
Таблица 1 Процентное соотношение количества восстановленной информации____________
Типы преобразований
Дискретно-косинусное пре-образование Фурье Дискретное, ортогональное вейвлет-преобразование Адаптивное чир-плет-преобра-зо-вание
Процент восстановленной информации 92% 85% 81%
Необходимо отметить, что бинарный поток, сформированный методом чирплет - сжатия, также как и методом вейвлет - сжатия, обладает особой гибкостью - как “внутри” кадра, так и между кадрами, во временной (частотновременной) области. Это означает, что возможны различные пути прогрессивной загрузки аудио и видеопоследовательности: как поочерёдная загрузка всех кадров, так и одновременная. Данное свойство позволяет добиться высокой помехоустойчивости передаваемых данных по радиоканалу в современных радиосетях.
Большинстве сотовых терминалов в качестве базового алгоритма сжатия видеоизображения принят 3ОР-кодек, являющийся дальнейшим развитием кодека H.263. Этот кодек изначально разработан для передачи изображения по каналам связи со скоростью меньше 64 кбит/с, обеспечивает высокую степень сжатия изображения, но даёт объективно невысокое качество восстановления формы движущихся объектов, при смене кадров.
Поддержка 3GP в мобильных терминалах осуществлена на программном уровне. Также на программном уровне реализованы алгоритмы защиты передаваемой информации.
Так, в стандарте сетей 3G, производят стандартную защиту информации для ошибок в процессе передачи (FEC - forward error correction), при этом количество избыточной вносимой информации составляет более 25%. Следует отметить, что с одной стороны, это позволяет на приёмной стороне устранить некоторые ошибки, возникшие при передаче. Но, с другой стороны, данный метод обладает рядом недостатков.
Во-первых, избыточное кодирование увеличивает общее количество бит, необходимых
для передачи по радиоканалу, и, таким образом, общая эффективность сжатия снижается. Схема FEC-кодирования была разработана для некоторого «типично-наихудшего» состояния радиоканала. Для каналов, вносящих меньшее количество ошибок в передаваемые данные, конечная эффективность подобной схемы кодирования становится ниже.
Во-вторых, при ухудшении канала и падении его характеристик ниже расчётных, система кодирования не сможет корректно обработать пакет данных и изображение будет безнадёжно испорчено.
И, наконец, в-третьих, при использовании перемежения бит в целях исправления пакетных (bursty) ошибок возрастает время, необходимое для обработки и окончательного приёма пакета. В случае передачи файла (download) это не является критичным, но при передаче потокового видео по мобильным сетям это приводит к появлению общей задержки, а также расходует ограниченный ресурс памяти терминала пользователя.
Для сравнительной оценки общего объема мультимедийной информации сжатой различными алгоритмами, взят размер сжатого изображения различными методами. Данные по объему сжатого файла сведены в табл. 2.
Таблица 2 Данные по объему сжатого файла
Алгоритм сжатия Статическое изображение, разрешением 1024х768 Статическое изображение, разрешением 800х600 Статическое изображение, разрешением 1920х1080
дискретнокосинусного преобразование Фурье 102 Кб 115 Кб 157 Кб
дискретное, ортогональное вейвлет-преобразование 92 Кб 54 Кб 98 Кб
адаптивное чирплет- преобразо- вание 75 Кб 52 Кб 91 Кб
ИСХОД- НЫЙ РАЗМЕР 1.57 Мб 980 Кб 1.93 Мб
Исходя из данных табл. 2, можно сделать вывод, что, несмотря на незначительное ухуд-
шение качества изображения по сравнению с вейвлет и Фурье-преобразованием, объем сжатого файла методом чирплет-преобразования меньше по сравнению с вышеперечисленными методами.
Еще одним критерием для определения качественной оценки, используется оценка сложности программы, в которую входят три метрики:
• метрики размера программ;
• метрики сложности потока управления программ;
• и метрики сложности потока данных программ;
Данная оценка проведена для метрики размера программ по методу “ХОЛСТЕДА ” и метрики сложности потока управления программ по методу “МАККЕЙБА”.
Основу метрики “Холстеда” составляют четыре измеряемых характеристики программы:
п1 - число уникальных операторов программы, включая символы- разделители, имена процедур и знаки операций (словарь операторов);
п2 - число уникальных операндов программы (словарь операндов);
N1 - общее число операторов в программе;
N2 - общее число операндов в программе.
Для вычисления цикломатического числа “Маккейба” 2(0) применяется формула
2(0)=е^+2р, где:
е - число дуг ориентированного графа О;
V - число вершин;
р - число компонентов связности графа.
Данные расчеты сведены в табл. 3.
Таблица 3
Расчеты методами Холстеда и Маккейба
Алгоритм сжатия Метрика Холстеда Цикломатиче-ское число “Маккейба”
Быстрое оконное Фурье-преобразование 41 24
дискретное, ортогональное вейвлет- преобразование 26 15
адаптивное чирплет- преобразова- ние 17 13
зования, это достигнуто возможностью, применения элементарных математических функций при написании программы и простой реализацией алгоритма.
В качестве дополнительного критерия для оценки верности воспроизведения, может служить объективный критерий верности воспроизведения. В основу объективного критерия верности воспроизведения заложен метод среднеквадратичного отклонения (СКО) разности выходного и входного изображения. СКО рассчитывается по формуле:
1 М-1N-1 - 2
Е. Е„ [$(X, у) - /(X, у)]2
MN х=0 у=0
1/2
где
/ (х, у) -входное изображение:
У(х, у) -приближение, получаемое в результате сжатия:
еско - СКО разности изображений:
МхК -размер изображения.
Результаты расчетов приведены в табл. 4. Другим близким объективным критери-
ем верности воспроизведения является отношение сигнал-шум сжатого-востановленного изображения, рассчитываемого по формуле:
М -1N-1, „ .2
Е Е (((х,у))
у=( )-''
SNR = ■
х=0 у=0
где
М -1N-1,. \2
Е Е ((х,у)-/(х,у)) х=0 у=0
SNR - средний квадрат отношения сиг-
ск
нал-шум.
Результат расчетов приведен в табл. 4.
Таблица 4
Результат расчетов е ,
ско ск
Алгоритм сжатия е ско ХШск
Быстрое оконное Фурье-преобразование 6,78 10,39
дискретное, ортогональное вейвлет- преобразование 6,93 9,88
адаптивное чирплет- преобразова- ние 6,98 9,796
Очевидно, что наименьшие значения получаться при использовании чирплет - преобра-
Полученные результаты, позволяют сказать, что, мультимедиа информация, сжатая посредством чирплет-преобразования, позволит: -увеличит пропускную способность каналов приема-передачи:
-упростит общие программные алгоритмы обработки аудио и видеоинформации;
-снизить нагрузку на терминал передачи; -улучшить эксплуатационные характеристики различных сервисов потоковой доставки мультимедиа сообщений, без явных ухудшений качества.
Делая вывод, на основе выше перечисленных данных, можно утверждать, что применение математического аппарата чирплет-преоб-разования для сжатия мультимедийной информации с потерями является более эффективным, чем использование аппарата дискретнокосинусного преобразования Фурье, или вейвлет-преобразования, поскольку позволяет добиться существенно более меньшего размера файла, при сопоставимом качестве изображения, а также, благодаря использованию простого программного алгоритма и стандартных математических функций, позволяет существенно снизить нагрузку на процессор и оперативную память.
Перечисленные преимущества чирплет-преобразования являются особенно важными при построении на их основе сервисов для мобильных устройств, которые являются устройствами с ограниченными вычислительными возможностями.
Литература
1. S. Mann, Adaptive chirplet transform, Optical Engineering, Vol. 31, No. 6, pp1243-1256, June 1992; introduces Logon Expectation Maximization (LEM) and Radial Basis Functions (RBF) in Time-Frequency space;
2. Дьяконов В. П., Вейвлеты. От теории к практике, М.: СОЛОН-пресс, 2002, 448 с.
3. D. Mihovilovic and R. N. Bracewell, "Adaptive chirplet representation of signals in the time-frequency plane" Electronics Letters 27 (13), 1159—1161 (20 June 1991).
Сибирский федеральный университет
POSSIBILITY OF USE OF CHIRPLET-TRANSFORMATION FOR THE COMPRESSION OF AUDIO AND VIDEO INFORMATION IN WIRELESS RADIO NETWORKS
I.N. Tulskiy
At the heart of the given work, the mathematical apparatus of chirplet transformation lays. The results received during work allow to increase channel capacity of reception-transmission, to simplify the general program algorithms of processing of audio and video information, to lower loading on the transmission terminal and to improve operational characteristics of various services of multimedia messages streaming
Key words: chirplet, transformation, compression, multimedia, image
