CC BY
14Телевидение и обработка изображений
УДК 621.387
А. К. Колесов
Санкт-Петербургский государственный университет телекоммуникаций
им. проф. М. А. Бонч-Бруевича
I Кодирование телевизионных изображений в мобильной стереовидеосистеме
Обоснованы принципы передачи стереоскопических изображений в одном канале с одним кодеком. Показана избыточность ортогональной структуры дискретизации, стандартизованной для цифрового кодирования изображений. Уплотнение двух видеосигналов достигнуто благодаря эффективной дискретизации, основанной на моделях пространственного спектра широкого класса изображений и разрешающей способности зрения.
Стереоскопические изображения, шахматная дискретизация, кодирование, компрессия
Практическое применение стереоскопические телевизионные системы находят в мобильных дистанционно управляемых роботах, используемых, например при чрезвычайных ситуациях. В городских условиях из-за многократных отражений радиосигнала от зданий и от других сооружений целесообразно применять цифровой радиоканал с COFDM-мо-дуляцией. Такой радиоканал для прикладного телевидения описан в [1]. В качестве стандарта цифрового кодирования в системе DVB-T (наземное вещательное телевидение) принят международный стандарт кодирования изображений МРЕО-2, поэтому разработанные и выпускаемые модуляторы и демодуляторы COFDM рассчитаны на транспортный поток этого стандарта. Однако в прикладном телевидении необязательно придерживаться стандарта, принятого для вещательного телевидения.
Новые кодеки, например на основе вейвлет-преобразования и трехмерного дискретного косинусного преобразования [2], могут существенно повысить эффективность цифрового радиоканала. Для обеспечения совместимости таких кодеков с модемами COFDM необходимо, чтобы структура транспортного потока в этих кодеках соответствовала МРЕО-2. Так как в стереосистеме необходимо передавать одновременно два изображения (левое и правое), то требуются дополнительный кодер, мультиплексор и в два раза больший цифровой поток. Однако увеличение цифрового потока связано с увеличением индекса модуляции в COFDM, что снижает помехоустойчивость системы. В настоящей статье рассмотрена возможность мультиплексирования сигналов телевизионной стереосистемы без увеличения цифрового потока.
Пространственный спектр телевизионных изображений. Результаты изучения пространственных спектров изображений дают основания полагать, что изображения натурных объектов имеют общие особенности. Исследования широкого класса изображений показали, что распределение амплитуд пространственных спектров как естественных объ-
12 © Колесов А. К., 2008
Рис. 1
ектов, так и объектов, созданных человеком, принципиально одинаково и анизотропно. Амплитуды спектральных компонентов с повышением пространственной частоты уменьшаются медленнее в осевых направлениях и наиболее быстро в направлениях, составляющих угол 45° с осями [3], [4]. Этот факт подтвержден, в частности, насыщенным мелкими деталями изображением "корабли" (рис. 1, а) - одним из лучших тестовых изображений, рекомендованных МККР для оценки искажений, возникающих при дискретизации. На рис. 1, б показаны сечения пространственного спектра этого изображения и проведены изолинии, аппроксимирующие границы этих сечений.
В качестве параметра анизотропии спектра выбрано отношение а = FXy|Fx , где Еху
и Fx - ширины полос частот до граничной изолинии в направлении /ху под углом 45° к
оси пространственных частот и в горизонтальном направлении /х соответственно.
В процессе исследования измерялись амплитуды спектра на граничных изолиниях относительно амплитуды самой низкочастотной компоненты (составляющая, соответствующая нулевой частоте, не учитывалась). Для 30 отобранных изображений статистическая обработка результатов измерений на ЭВМ показала, что среднее значение параметра анизотропии а = 0.66 при стандартном отклонении 5 = 0.09. Среднее значение затухания амплитуд спектра на граничной изолинии относительно самой низкочастотной компоненты оказалось равным 65 дБ при стандартном отклонении 5 = 3.8 дБ. На основании полученных результатов составлена статистическая модель пространственного спектра (рис. 2).
Для широкого класса изображений достаточно обоснованно можно представить границы в статистической модели пространственного спектра в форме ромба.
Аналитическое выражение статистической модели пространственного спектра, полученное в [5], достаточно близко аппроксимирует полученные в исследовании результаты.
Рис. 2
Пространственно-частотные характеристики зрения. Соответствие между статистикой изображений и свойствами зрительной системы выявляется и при изучении анизотропии разрешающей способности зрения. Уточнение формы границ пространственно-частотной характеристики зрения показало, что она приблизительно повторяет форму границ энергетического спектра реальных изображений. Измерения проводились с помощью телевизионной системы по методике из [6].
Значения относительной контрастной чувствительности при различной ориентации штрихов миры на телевизионном экране после нормировки показаны в таблице. Наибольшая контрастная чувствительность (величина, обратная глубине модуляции, при которой мира перестает различаться) характерна для вертикального положения миры.
В соответствии с таблицей на рис. 3, а приведены границы разрешающей способности зрения. В области верхних пространственных частот свойства зрения существенно анизотропны. На рис. 3, б представлены результаты измерения пространственно-частотной характеристики, заимствованные из [7]. Таким образом, при анализе дискретизации будем представлять идеализированные границы пространственного спектра в виде ромба, что также близко совпадает по форме с частотными границами разрешающей способности зрения.
В качестве эксперимента приведенная модель пространственного спектра использована для ограничения спектра изображения космического корабля (рис. 4, а), как это пока-
Ориентация штрихов Относительная
миры относительно контрастная
вертикали, .. чувствительность
0 1.0
20 0.61
30 0.53
45 0.46
60 0.5
70 0.67
90 0.8
fy, период/90 120
150
180
fy, период/
20 10 0 - 10 - 20
- 30 - 20 - 10 0 10 20 fx, период/ б
О
Рис. 4
зано на рис. 4, б. После обратного преобразования Фурье восстановленное изображение визуально не отличалось от исходного изображения. Оценка искажений по отношению "сигнал/шум" составила около 45 дБ.
Эффективная пространственная дискретизация. На основании принятой модели спектра рассмотрим возможность эффективной пространственной дискретизации изображения, используя теорию дискретизации [8].
Дискретизированное изображение можно представить аналитически в виде произведения функции распределения яркости изображения В (х, у) на дискретизирующую функцию (х, у), отличную от нуля только в тех точках на плоскости, где берутся выборки. Дискретизирующая функция является суммой двумерных дельта-функций 5 (х, у) и записывается в следующем виде:
Бп (х,у) = ХГ^^5(х-тХ)5(у-пУ), т, п = 0, ± 1, ±2, ..., (1)
где X, У - шаги (периоды) дискретизации по горизонтали и по вертикали соответственно в кадре при первичной дискретизации аналогового изображения в цифровой формат 4СШ (720^576 отсчетов). Множитель перед суммой в выражении (1) нормирующий. Эта функция отлична от нуля только в узлах ортогональной решетки (рис. 5, а).
Соответствующая ей спектральная дискретизирующая функция, определяемая как преобразование Фурье выражения (1), есть
\2
Dc ( ю*, юу ) = ( 2п)2 X Е 5 ( ю* - 2п т1Х) 5 (юу - 2п nY)
(2)
где юх и Юу - круговые пространственные частоты в горизонтальном и в вертикальном
направлениях соответственно.
Спектр изображения ^сш после дискретизации в формате 4СШ может быть представлен как свертка спектра £ (юх, юу) исходного изображения В (х, у) и спектральной
б
т n
О
О
О
о
X
-©-
2X
-е-
о
о
о
о
о
Рис. 5
дискретизирующей функции (2): ^сш (юх,юу) = £ (юх,юу) (юх, юу), где операции математической свертки. Результат свертки имеет вид
^ЮТ (®х,®у) = ЕЕ£[юх -т(2п/х),®у -п(2п/¥)] .
**
- знак
(3)
На рис. 6, а показан фрагмент спектра изображения, описываемого выражением (3). Центры показанных спектров - точки, в которых функция (2) отлична от нуля. В начале координат (т = 0, п = 0) находится центр основного (полезного) спектра изображения, а остальные спектры, так называемые побочные, появились при дискретизации. Центры
Y
x
x
Ф x
п x
п/ Y
Ф x
ш
ш
б
а
этих спектров - различные сочетания индексов т и п в выражениях (2) и (3). На фрагменте показаны только те побочные спектры, которые прилегают к основному спектру и поэтому могут вносить заметные искажения в изображение.
Как видно из рис. 6, а, при ортогональной структуре дискретизации, когда границы спектра представлены в форме ромбов, половина спектрального пространства имеет "пустоты", что указывает на неэффективность такой структуры для типовых изображений.
На рис. 5, б показана шахматная структура дискретизации, которая получается при исключении каждого второго отсчета по строке из ортогональной структуры со сдвигом фазы от строки к строке на 180°.
Соответствующим образом перед децимацией должен ограничиваться спектр изображения при предварительной фильтрации (рис. 4, б).
В пространственной области фильтрация представляет собой свертку изображения с импульсной характеристикой фильтра. Изображение после предварительной фильтрации В\ о (х, у) записывается в виде
Вп ф (х у ) = В4С№ (х у ) * *<^п ф (х у), (4)
где В4С1р (х, у) - исходное изображение, оцифрованное в формате 4СШ; Gп ф (х, у) - импульсная характеристика фильтра.
Преобразование Фурье выражения (4) дает частотную характеристику фильтра. От порядка цифрового ФНЧ зависит крутизна спада частотной характеристики.
Спектр профильтрованного изображения определяется произведением:
£ф (шх, шу) = (ш х, ш у ) Н ( ш х,
ш у) (5)
где Н (ю х, ю у) - частотная характеристика фильтра.
Второй операцией при преобразовании форматов является собственно децимация. Для описания децимации методами теории дискретизации необходимо записать новую дискретизирующую функцию, отражающую сокращенное число выборок в шахматном порядке (см. рис. 5, б). Для того чтобы можно было воспользоваться этой дискретизи-рующей функцией для выделения выборок, ее необходимо сгладить, т. е. получить непрерывную огибающую импульсных выборок дискретизирующей функции [9]. Новая дис-кретизирующая функция имеет вид
Бд ( х, у ) = кХУ £ £ 5 (х - ткХ - пХ) 5 (у - пУ ), (6)
т п
где к = 2 - индекс децимации.
Периоды следования выборок после децимации составили кХ по горизонтали и У по вертикали.
Сгладив функцию (6), получим выделяющую функцию
Дв (х,у) = Вд (х,у) «М^МП^ .
Преобразовав это выражение по Фурье, получим спектральную выделяющую функцию
De в (юX, юy ) = [(2п)2Д] 5 (юx ) S (юy ) [5 (юx - VX) + 5 (юy - 2п/Y)] .
(7)
Спектр изображения после децимации £д (юх, юу) находится с помощью свертки
спектра (3) и спектральной выделяющей функции (7). При этом в выражение (3) следует подставить спектр (5) профильтрованного перед децимацией изображения. В результате свертки получим
') = 1ЕЕ[юх -т(я/X),шу + т(я/У) + п(2п/У)] .
(
(Ox ,(0y\ = -
(8)
m n
Число выборок осталось прежним, как в формате 4СШ, но все исключенные при децимации выборки приравнены к нулю. Поэтому амплитуды спектральных составляющих за счет нулевых выборок уменьшены на той же площади в два раза, на что указывает множитель перед двойной суммой в выражении (8). При этом спектры не перекрываются (рис. 6, б и 7), несмотря на то, что центры прилегающих побочных спектров в диагональных направлениях после децимации приблизились к основному спектру.
Поскольку побочные спектры не перекрываются с основным спектром, они могут быть подавлены с помощью тех же фильтров, которые использовались для ограничения спектра перед децимацией. Такая фильтрация изображения с введенными нулевыми выборками при децимации есть интерполяция.
Как отмечено ранее, множитель 12 в выражении (8) указывает на уменьшение амплитуд спектра изображения с нулевыми выборками по сравнению с исходным форматом 4СШ. Поэтому для восстановления амплитуд спектра необходимо усилить их после интерполяции в два раза.
Спектр изображения после интерполяции такой же, как на рис. 4, б, т. е. восстановленное изображение соответствует профильтрованному перед децимацией изображению в формате 4СШ с выборками, расположенными в шахматном порядке.
Пиковое отношение "сигнал/шум" между исходным (нефильтрованным) изображением и изображением, восстановленным после децимации, составляет 46 дБ. Это значит, что двукратное сокращение выборок в шахматном порядке не внесло видимых искажений.
Цифровое кодирование стереоизображений в телевизионной системе. Ранее показано, что изображение может быть восстановлено после прореживания отсчетов в шахматном порядке. Если в телевизионной стереосистеме левое и правое изображения прореживать в указанном порядке (со сдвигом дискретизирующей решетки в одном канале на 180°), а потом их совместить, то два изображения будут объединены в исходном формате 720*576 пикселей (рис. 8).
б
Рис. 8
В настоящей статье рассмотрены преобразования в пространственной области, поэтому в качестве преобразований в канале связи использовано JPEG-кодирование, которое используется во всех алгоритмах кодирования, основанных на блочном дискретном косинусном преобразовании, для устранения пространственной избыточности (MJPEG, MPEG-2, MPEG-4, трехмерное дискретное косинусное преобразование и др.). Общепринятым для таких алгоритмов является эксперимент по восстановлению уплотненных изображений. Применительно к рассматриваемой задаче проведен эксперимент по восстановлению изображений левого и правого каналов после сжатия на основе двумерного дискретного косинусного преобразования.
На рис. 9 приведено составное стереоизображение с вложенными друг в друга изображениями левого и правого каналов, сжатое по алгоритму JPEG в 10 раз. Выделенное и отфильтрованное изображение левого канала показано на рис. 10. Визуально исходное
б
Рис. 10
(рис. 10, а) и восстановленное (рис. 10, б) изображения различить не удается. Пиковое отношение "сигнал/шум" имеет высокое значение 46 дБ.
Рассмотренный метод позволяет повысить эффективность использования цифрового радиоканала с COFDM-модуляцией и сохранить высокую помехоустойчивость системы при передаче стереоскопических телевизионных изображений без видимых искажений.
Дальнейшие исследования направлены на применение неразделимого двумерного вейвлет-преобразования, в основу которого заложена шахматная дискретизация.
Библиографический список
1. Белонучкин П. П., Шикин М. В., Шостацкий Н. Н. Цифровой радиоканал с COFDM для прикладного цифрового телевидения / // Вопросы радиоэлектроники. Сер. "Техника телевидения". 2006. Вып. 2. С. 12-15.
2. Колесов А. К., Шостацкий Н. Н. Помехоустойчивое цифровое кодирование телевизионных изображений для мобильных систем // Тр. учеб. заведений связи. 2008. Вып. 179. С. 58-72.
3. Kinoshita K. Image transmission carrier and image spectrum in generalized photographic system // NHK Technical monograph. 1964. № 3. 36 р.
4. Цифровое кодирование телевизионных изображений / Под ред. И. И. Цуккермана. М.: Радио и связь, 1981. 239 с.
5. Красильников Н. Н. Теория передачи и восприятия изображений. М.: Радио и связь, 1986. 246 с.
6. Цуккерман И. И., Шостацкий Н. Н. Анизотропия пространственно-частотной характеристики зрения // Физиология человека. 1978. T. 1. С. 4-6.
7. Ginsburg A. P. The perception of visual form: a two dimensional filter analysis // Переработка информации в зрительной системе: Тез. докл. IV симп. по физиологии сенсорных систем. Л., 1-5 нояб. 1976. // Л., Ленуправиздат, 1976. C. 46-50.
8. Игнатьев Н. К. Дискретизация и ее приложения. М.: Связь, 1980. 264 с.
A. K. Kolesov
Saint-Petersburg state university of telecommunication named on prof. M. A. Bonch-Bruevich Television images coding in mobile stereo video system
Principles of stereoscopic images transmission by single channel with single codec are proved. Two video signals multiplexing is achieved by effective discretization, based on the space spectrum model of wide class of images and vision resolution. The orthogonal discretization structure accepted by digital picture coding standards, as shown below, is redundant.
Stereoscopic images, quincunx discretization, coding, compression
Статья поступила в редакцию 9 декабря 2008 г.
