Научная статья на тему 'Специализированная СБИС преобразования видеоданных'

Специализированная СБИС преобразования видеоданных Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
212
51
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ДИСКРЕТНОЕ КОСИНУСНОЕ ПРЕОБРАЗОВАНИЕ / СФ-БЛОК / ТРАНСКОДЕР

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Умбиталиев Александр Ахатович, Шипилов Николай Николаевич, Ибатуллин Салех Мансурович, Фахми Шакиб Субхиевич

Рассматривается новый подход к распространению компрессированного видеоконтента с одновременным использованием двух альтернативных технологий сжатия движущихся изображений: 1) на основе трехмерного дискретного косинусного преобразования (не стандартизованная на сегодняшний день технология); 2) на основе двумерного дискретного косинусного преобразования цифрового телевизионного сигнала (технология, предусмотренная стандартами MPEG-2, MPEG-4/AVC, Н.264). В рамках указанного подхода предлагается метод и сложно-функциональный блок быстрого преобразования потока видеоданных, сжатых по технологии трехмерного дискретного косинусного преобразования, в компрессированный поток стандартного формата MPEG-2.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Умбиталиев Александр Ахатович, Шипилов Николай Николаевич, Ибатуллин Салех Мансурович, Фахми Шакиб Субхиевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Специализированная СБИС преобразования видеоданных»

Литература

1. Ожиганов А.А. Псевдослучайные кодовые шкалы // Изв. вузов. Приборостроение. - 1987. - Т. 30. -№ 2. - С. 40-43.

2. Ожиганов А.А. Алгоритм размещения считывающих элементов на псевдослучайной кодовой шкале // Изв. вузов. Приборостроение. - 1994. - Т. 37. - № 2. - С. 22- 27.

3. Ожиганов А.А., Тарасюк М.В. Размещение на псевдослучайной кодовой шкале считывающих элементов с постоянным шагом // Изв. вузов. Приборостроение. - 1994. - Т. 37. - № 11- 2.

4. Ожиганов А.А., Тарасюк М.В., Медунецкий В.М. Преобразователи угла на основе композиции из псевдослучайных кодовых шкал // Изв. вузов. Приборостроение. - 1995. - Т. 38. - № 5-6. - С. 20-23.

5. Агульник А.Р., Мусаелян С.С. Построение нелинейных двоичных последовательностей // Радиоэлектроника. - 1983. - № 4. - С.19- 28.

6. Макуильямс Ф.Д., Слоан Н.Д. Псевдослучайные последовательности и таблицы // ТИИЭР. - 1976. -Т. 64. - № 12. - С. 80-95.

Ожиганов Александр Аркадьевич - Санкт-Петербургский государственный университет информационных

технологий, механики и оптики, доктор технических наук, профессор, ojiganov@mail.ifmo.ru

Прибыткин Павел Александрович - ОАО «Авангард», начальник сектора, pavel.pribitkin@gmail.com

УДК 621.391

СПЕЦИАЛИЗИРОВАННАЯ СБИС ПРЕОБРАЗОВАНИЯ ВИДЕОДАННЫХ А.А. Умбиталиев, Н.Н. Шишлов, С.М. Ибатуллин, Ш.С. Фахми

Рассматривается новый подход к распространению компрессированного видеоконтента с одновременным использованием двух альтернативных технологий сжатия движущихся изображений: 1) на основе трехмерного дискретного косинусного преобразования (не стандартизованная на сегодняшний день технология); 2) на основе двумерного дискретного косинусного преобразования цифрового телевизионного сигнала (технология, предусмотренная стандартами MPEG-2, MPEG-4/AVC, Н.264). В рамках указанного подхода предлагается метод и сложно-функциональный блок быстрого преобразования потока видеоданных, сжатых по технологии трехмерного дискретного косинусного преобразования, в компрессированный поток стандартного формата MPEG-2. Ключевые слова: дискретное косинусное преобразование, СФ-блок, транскодер.

Введение

По данным исследований, суммарный поток видеоданных (IPTV, видео по требованию, обмен индивидуальными видеоматериалами) составит в 2013 г. не менее 90% пользовательского телекоммуникационного трафика, а на долю только лишь интернет-видео придется более 60% всего пользовательского трафика Сети. В связи с указанной тенденцией чрезвычайно актуальной становится проблема эффективного сжатия видеоданных в магистральных телекоммуникационных сетях с использованием новых прогрессивных технологий компрессии телевизионного сигнала при сохранении обширной инсталлированной базы цифровых абонентских приемников, телеприставок и видеоплееров. В успешном решении данной проблемы заинтересованы практически все субъекты мультимедийного рынка: магистральные операторы, Интернет-провайдеры, операторы кабельного телевидения и конечные пользователи. Действительно, повышение степени сжатия передаваемого видеоматериала без ухудшения его качества может обеспечить существенное увеличение доходов магистральных операторов и Интернет-провайдеров, предоставляющих мультимедийные услуги по сбалансированным ценам, поскольку в этом случае становится возможным значительный рост удельного объема услуг, приходящихся на единицу сетевого трафика. В то же время окажутся защищенными инвестиции операторов кабельного телевидения и интересы миллионов потребителей видеоконтента, эксплуатирующих абонентское оборудование стандартов MPEG-2, MPEG-4/AVC, Н.264.

Актуальность проблемы

К числу современных решений в сфере многоуровневого кодирования распространяемого видеоконтента следует отнести транскодеры Cisco ART [1], позволяющие преобразовывать видеопоток MPEG-4/AVC в формат MPEG-2, не выходя за рамки общей для указанных стандартов технологии компрессии видео на основе двумерного дискретного косинусного преобразования отсчетов (2ДКП-технология). 2ДКП-технология компрессии видео применяется обычно в сочетании с теми или иными методами предсказания и компенсации движения [2]. С теоретической точки зрения предсказание движения относится

к классу так называемых трудно формализуемых задач, для которых характерна следующая особенность. При формализации любой задачи для уточнения понятия цели явно или неявно должна задаваться некоторая оценочная функция (функция полезности), выражающая степень приближения к цели или устанавливающая порядок предпочтения возможных вариантов достижения цели. Для трудно формализуемых задач полностью определить такую функцию либо невозможно, либо связанные с ней вычисления чрезвычайно громоздки. Указанная особенность характерна для видеокодеков, поддерживающих стандарты MPEG-2, MPEG-4/AVC, H 264. Так, полный перебор векторов движения для видео стандартного разрешения в соответствии с Н.264 требует производительности вычислений более 1022 операций в секунду. Поэтому на практике обычно применяют упрощенные алгоритмы предсказания движения, которые позволяют снизить сложность вычислений. Однако затраты на их реализацию все равно остаются значительными и составляют 60-80% от всех вычислительных затрат. При этом упрощенные алгоритмы поиска более чем в 3 раза ухудшают эффективность кодирования за счет пропуска так называемых локальных минимумов [3, 4].

Вместе с тем, в контексте декорреляции, видеосигнал как многомерная функция имеет оптимальное разложение по всем своим аргументам. Другими словами, для устранения временной корреляции нет существенных формальных оснований использовать средства, отличающиеся от применяемых для пространственной декорреляции сигнала. Кроме того, большинство практически значимых классов изображений характеризуются экспоненциальной автокорреляционной функцией [5], а для модели стационарного сигнала с такой автокорреляционной функцией асимптотически (при большом обрабатываемом блоке) оптимальным разложением, обеспечивающим максимальную скорость сходимости ряда, является дискретное косинусное преобразование [6]. Результаты сравнительной оценки альтернативных технологий [3] показывают, что трехмерное дискретное косинусное преобразование отсчетов (ЗДКП-технология) обеспечивает примерно полуторакратный выигрыш в степени сжатия видеоинформации при сохранении субъективного качества изображений.

Технология преобразования

С учетом вышеизложенного наиболее рациональным на сегодняшний день представляется распространение видеоконтента по схеме: «исходный видеоматериал ^ ЗДКП-кодирование ^ магистральная передача ^ преобразование магистрального транспортного потока, включающее 3ДКП/2ДКП-транскодирование ^ локальное распределение ^2ДКП-декодирование ^ отображение» (рис. 1).

Магистра льный

Рис. 1. Распространение видеоконтента с использованием двух технологий компрессии изображений

Для кодирования исходного контента может быть использован российский 3ДКП-кодер, первый СБИС-прототип которого экспонировался на международной выставке МАТЕХРО-2009 [7]. Для 2ДКП-декодирования применим любой декодер, поддерживающий стандарт MPEG-2. Система преобразования транспортного потока может быть выполнена в виде СБИС класса «система на кристалле» (СнК [8]) и должна содержать ряд сложно-функциональных блоков (СФ-блоков [9]), обеспечивающих:

- анализ магистрального транспортного потока и выделение в нем элементарных 3 ДКП-потоков;

- преобразование каждого элементарного 3ДКП-потока в элементарный поток MPEG-2, т.е. собственно 3ДКП/2ДКП-транскодирование;

- формирование транспортного потока MPEG-2.

В зависимости от структуры магистрального транспортного потока и способов его обработки в состав системы преобразования может входить один или несколько одинаковых СФ-блоков 3ДКП/2ДКП-преобразования.

Тривиальным решением задачи 3ДКП/2ДКП-преобразования является последовательное 3ДКП-декодирование и 2ДКП-кодирование элементарного потока (рис. 2). Однако такое решение характеризуется неоправданно высокой аппаратной и временной сложностью, поскольку оно эквивалентно пятикратному одномерному дискретному косинусному преобразованию отсчетов (тройному обратному в 3 ДКП-декодере и двойному прямому в 2ДКП-кодере).

Эле ме тарный 3ДКП-поток

Восстановленный (несжатый) элементарный поток

3ДКП-декодер

2ДКП-кодер (Кодер MPEG-2)

Элементарный поток MPEG-2

Рис. 2. Тривиальная схема 3ДКП/2ДКП-транскодера

Модифицированное обратное одномерное ДКП

С целью упрощения структуры 3ДКП/2ДКП-транскодера предлагается метод ускоренного преобразования элементарного 3ДКП-потока в элементарный поток МРБО-2, основанный на учете свойства разделяемости многомерного дискретного косинусного преобразования [10] и совмещении операций деквантования/квантования трансформант с их вычислением. Суть предлагаемого метода поясняется схемой на рис. 3 и состоит в следующем.

В результате энтропийного декодирования и обратного сканирования каждой очередной порции элементарного 3ДКП-потока формируется трехмерный массив Р,дКП, содержащий 8 х 8 х М

квантованных 3ДКП-трансформант -Р3ДКП (х, у, /), где х = 0,7 и у = 0,7 - пространственные координаты,

а t = 0, M -1 - временная координата трансформанты -Р3ДКП (х, y, t). В типичном случае М фиксировано и

равно 8. В более общем случае [3] величина М варьируется в диапазоне от 1 до 8.

Полученные квантованные 3 ДКП-трансформанты подвергаются модифицированному обратному одномерному ДКП по временной координате t согласно формуле

^Дкп (х, y, z) = Х у(х, y, z, t) • ^Двкп (х, y, t) • cos ^ (2Z2^1)TCt ) , (1)

M при t = 0,

I— 03ДКП (х, y, z) - коэффициент

. — при t Ф 0,

Чм V

63ДКП(х, У, z)

где z = 0,M -1, у(х, y, z, t) = a(t) ^3ДКП ^ ' У , a(t) =

62ДКП(х, у)

квантования 3ДКП-трансформанты ^3ДКП (х, y, z), б2ДКП (х, y) - коэффициент квантования 2ДКП-трансформанты ^2ДКП (х, у).

Несложно заметить, что используемые в формуле (1) обобщенные коэффициенты

( t) (t) ^3ДКП (х, У, z) ф

у(х,y, z,t) = a(t) —-- реализуют совмещенную функцию нормировки и переквантования

62ДКП(х, У)

трансформант. Значения этих коэффициентов могут быть рассчитаны заранее, а их количество равно 128М (8 х 8 х M значений для t = 0 и столько же значений для t Ф 0). При этом результатом модифицированного обратного одномерного ДКП квантованных 3ДКП-трансформант являются M двумерных массивов, каждый из которых содержит 8 х 8 квантованных 2 ДКП-трансформант.

Двумерные массивы квантованных 2ДКП-трансформант, относящиеся к M последовательным видеокадрам типа Intra [2], загружаются в буфер транскодера (см. рис. 3), а затем сканируются и подвергаются энтропийному кодированию в соответствии со стандартом MPEG-2.

Заключение

Следует подчеркнуть, что рассмотренная выше модификация обратного одномерного дискретного косинусного преобразования 3ДКП-трансформант не отличатся по своей сложности от обычного одномерного ДКП и позволяет совместить во времени сразу три процедуры преобразования (см. рис. 3), а именно, деквантование 3ДКП-трансформант, вычисление восьми двумерных массивов 2ДКП-трансформант и квантование 2ДКП-трансформант. Дополнительное ускорение процесса 3ДКП/2ДКП-

преобразования может быть достигнуто за счет заблаговременного расчета и хранения в памяти транско-

( (2z + ^ т. „

дера всех произведении вида у(x, y, z, t) • cos I-I. Количество таких произведении равно 128М

^ 2M )

что при М=8 составляет 213. В случае представления указанных произведений в виде 32-разрядных чисел, объем памяти, потребной для их хранения, составит 32 Кбайт, что по современным меркам вполне приемлемо для СнК средней сложности [11].

Рис. 3. Структурная схема СБИС преобразования видеоданных

Таким образом, в отличие от тривиального решения (см. рис. 2), предлагаемый СФ-блок транскодера (см. рис. 3) обеспечивает высокоскоростное преобразование элементарного ЗДКП-видеопотока [12, 13] в элементарный поток MPEG-2 без использования трудоемких многомерных преобразований отсчетов. Полученные авторами результаты сравнительной оценки VHDL-моделей показывают, что сложность СФ-блока 3ДКП/2ДКП-транскодера примерно на порядок ниже совокупной сложности 3ДКП-декодера и 2ДКП-кодера, а задержка преобразуемого элементарного потока меньше соответствующей совокупной задержки в 2-3 раза.

Литература

1. Norkin Andrey, Atanas Gotchev, Karen Egiazarian, Jaakko Astola, Low-complexity multiple description coding of video based on 3D block transforms // EURASIP Journal on Embedded Systems. - January 2007. - V. 2007. - № 1. - Р. 39-39.

2. Ричардсон Я. Видеокодирование. H. 264 и MPEG-4 - стандарты нового поколения. - М.: Техносфера, 2005. - 368 с.

МЕТОД ТЕМАТИЧЕСКОГО СВЯЗАННОГО РАНЖИРОВАНИЯ ДЛЯ АВТОМАТИЧЕСКОГО..

3. Umbitaliev А.А., Fahmi Sh. S., Shipilov N. N. et all. A Versatile Real Time Video Codec Based On Three-Dimensional Discrete Cosine Transform. // Ibc 2008, RAI International Congress and Exhibition Centre Amsterdam. The Netherlands. Conference 11-15 September 2008. - Р. 386-391.

4. Lee M., Chan R., Adjieroh D. Quantization of 3D-DCT coefficients and scan order for video compression // J. Vis. Commun. Image Represent. - Dec. 1997. - № 8. - Р. 405-422.

5. Цифровое кодирование телевизионных изображений / Под ред. Цуккермана И.И. - М.: Радио и связь, 1981. - 240 с.

6. Ахмед Н., Рао К.Р. Ортогональные преобразования при обработке цифровых сигналов: Пер. с англ. / / Под ред. И.Б.Фоменко. - М.: Связь, 1980.

7. Шипилов Н.Н., Фахми Ш.С. Свидетельство о государственной регистрации программы. Дискретное косинусное преобразование видеосигналов NIIT VCS 3D-DCT. Заявка 2008613380 от 22.07.2008, пат. 75817, рег. 20.08.08.

8. Немудров В. , Мартин Г. Системы на кристалле. Проблемы проектирования и развития. - М.: Техносфера, 2004. - 216 с.

9. Стешенко В., Руткевич А., Гладкова Е. и др. Проектирование СБИС типа «система на кристалле». Маршрут проектирования. Синтез схемы // Электронные компоненты. - 2009. - № 1. - С. 14-21.

10. Raymond Westwater, Borko Furht. Real-Time Video Compression: Techniques and Algorithms. - Kluwer Academic Publishers, 1996. - 164 р.

11. Твердотельная революция в телевидении / Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцу-лин А.К., Шипилов Н.Н. - М.: Радио и связь, 2006. - 312 с.

12. Фахми Ш.С., Зубакин И.А. Адаптивный алгоритм кодирования видеоинформации на основе трехмерного дискретного косинусного преобразования // Изв. вузов России. Радиоэлектроника. - 2010. -Вып. 1. - С. 49-54.

13. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования. № 2375838, заявка № 2008145795 (приоритет от 19.11.2008) Фахми Ш.С., Ибатуллин С.М., Ибатулин В.Ф., Иванов К.В., Шипилов Н.Н., Умбиталиев А.А., Цыцулин А.К. Зарегистрировано в гос. реестре изобретений РФ 10.12. 2009 со сроком действия 19.11.2028.

Умбиталиев Александр Ахатович

Шипилов Николай Николаевич

Ибатуллин Салех Мансурович Фахми Шакиб Субхиевич

ФГУП «НИИ Телевидения», доктор технических наук, профессор, директор, niitv@niitv.ru

ФГУП «НИИ Телевидения», кандидат технических наук, профессор, зам. директора, niitv@niitv.ru

ФГУП «НИИ Телевидения», инженер, NPK41@LENTA.ru

ФГУП «НИИ Телевидения», кандидат технических наук, доцент,

Shakeebf@mail.ru

УДК 004.912

АВТОМАТИЧЕСКОЕ СВОДНОЕ РЕФЕРИРОВАНИЕ НОВОСТНЫХ СООБЩЕНИЙ С.Д. Тарасов

Приводится обзор современных методов и алгоритмов автоматического сводного реферирования, обосновываются основные недостатки этих методов. Формируются требования к методу, который смог бы преодолеть эти недостатки. Рассматривается разработанный автором метод тематического связанного ранжирования для задач автоматического сводного реферирования. В обоснование эффективности разработанного метода приводятся результаты экспериментальной оценки качества полученных сводных рефератов.

Ключевые слова: сводное реферирование, автоматическое сводное реферирование, сводный реферат, методы и алгоритмы автоматического сводного реферирования.

Введение

Одной из самых серьезных проблем современного общества является лавинообразное увеличение объема информации, которую должен воспринимать, хранить и использовать человек в процессе своей трудовой деятельности. Согласно последним исследованиям, до 2020 г. количество информации и потребности в ней будут расти экспоненциально. В таких условиях особую важность приобретают методы автоматической классификации и реферирования информации, позволяющие знакомить специалистов и других заинтересованных людей с необходимыми им документами, представленными в сжатом виде, но с сохранением смысла.

i Надоели баннеры? Вы всегда можете отключить рекламу.