CC BY
151
£1—
УДК 621.396
СИСТЕМЫ МНОГОСКОРОСТНОЙ ОБРАБОТКИ МНОГОМЕРНЫХ СИГНАЛОВ. Ч. I1
М. К. Чобану
Московский энергетический институт (технический университет)
Рассмотрены методы и средства цифровой обработки многомерных сигналов, получившие за рубежом интенсивное развитие в последние 20—30 лет. Приведены примеры приложений, в которых необходима многоскоростная обработка многомерных сигналов.
ВВЕДЕНИЕ
Сейчас можно говорить о новом научно-техническом направлении в области теории систем и технологий обработки сигналов — разработке теории многомерных (ММ или M-D — multidimensional) систем и методов обработки многомерных сигналов, развитие которых стимулируется важными практическими задачами. В англоязычной литературе термин multidimensional обычно используется для обозначения тех систем, о которых идет речь в данной статье (многомерных), a multivariate (или multivariable) и MIMO (multiple inputs multiple outputs) — для обозначения систем со многими входами/выходами.
Многомерные сигналы описываются функциями нескольких переменных и могут обрабатываться только многомерными системами, т. е. системами, описываемыми функциями многих переменных и уравнениями относительно многих неизвестных. Интенсивное развитие данного направления началось с 1960-х гг. и базируется на теории одномерных и многомерных сигналов и систем, а также на теории функций многих переменных, компьютерной алгебре, теории вейвлет-преобразования, функциональном анализе, теории вероятностей и случайных процессов, теории линейной и нелинейной аппроксимации и др.
Под многомерными сигналами понимаются сигналы, зависящие от нескольких пространственных и временной координат: двумерные неподвижные изображения, трехмерные томографические снимки или видеосигналы, четырехмерные томографические сигналы, зависящие от времени. Эффективное преобразование таких сигналов осуществляется путем применения многомерных многоскоростных (multirate) систем. С их помощью сигнал может быть представлен в виде, более удобном для решения многих прикладных задач, таких, как сжатие информации (с потерями или без потерь),
1 Работа выполнена при поддержке РФФИ и японского общества ^РБ, фант № 06-07-91751-ЯФ_а.
удаление шумов, распознавание образов и др. Многоскоростные системы состоят из цифровых фильтров и устройств изменения плотности отсчетов в пространственно-временной области, поэтому сигналы в различных частях системы обрабатываются с различной скоростью. Применение таких систем позволяет строить различные схемы кратномасштабного анализа на основе вейвлетов.
В последнее время большое развитие получает практика применения вейвлетов для решения задач сжатия и обработки изображений и видео, являющихся нестационарными по своей природе [1—4]. Вейвлет-преобразования позволили одновременно снизить сложность и повысить эффективность кодеков. Ядром стандарта №Ев-2000 служит разделимое вейвлет-преобразование. В будущем неизбежным станет применение неразделимого вейвлет-преобразования в различных стандартах сжатия ММ сигналов.
К задачам цифровой обработки многомерных сигналов относятся задачи обработки радио- и гидролокационных сигналов, геофизических, акустических и световых полей, передачи данных в локальных и глобальных сетях, обработки неподвижных изображений и видео в целях их архивирования или сжатия, обработки сигналов в медицине (рентгеновская и ультразвуковая томография), метеорологии, космонавтике, ядерной физике и др. Эти направления исследований нашли отражение в приоритетных направлениях развития науки, технологий и техники «Информационно-телекоммуникационные технологии и электроника», «Экология и рациональное природопользование» и «Космические и авиационные технологии», а также в перечне критических технологий «Информационно-телекоммуникационные системы», «Мониторинг окружающей среды» и «Распознавание образов и анализ изображений».
Резко возрос интерес к решению задач анализа, синтеза, обработки, кодирования, сжатия ММ сигналов для их передачи, хранения, архивирования, защиты от несанкционированного доступа, восстановления в системах связи (проводных и беспроводных) при наличии ограничений (на скорость передачи, на полосу пропуска-
ния, на динамический диапазон и т. д.). Это относится к обработке неподвижных изображений (2-0 сигналов), видеосигналов (З-Б сигналов), меняющихся во времени томографических снимков (4-0 сигналов).
В то время как большинство разработок было сконцентрировано на одномерных сигналах и ММ случай был реализован лишь через тензорное произведение, некоторые исследователи сконцентрировали усилия на «истинном» ММ случае. Под истинным ММ случаем нужно понимать то, что допускается и неразделимая дискретизация, и неразделимая фильтрация. Хотя истинный ММ подход может страдать от некоторых недостатков (высокой вычислительной сложности, потенциальных проблем устойчивости в случае ММ рекурсивной фильтрации), он дает некоторые неоспоримые преимущества. Применение неразделимых фильтров ведет к большему числу степеней свободы и синтезу лучших фильтров. Неразделимая децимация позволяет строить схемы, лучше приспособленные к визуальной системе человека.
1. ОСНОВНЫЕ ПРИЛОЖЕНИЯ: ВОЗНИКАЮЩИЕ ПРОБЛЕМЫ, ВОЗМОЖНЫЕ ПУТИ ИХ РЕШЕНИЯ
Существует ряд приложений, в которых цифровая обработка ММ сигналов играет ключевую роль. Среди них системы:
— сжатия ММ сигналов (многоскоростные системы, трансмультиплексоры);
— обработки мультиспектральных сигналов дистанционного зондирования Земли;
— 3-Б визуализации (трехмерное телевидение, световые и акустические поля).
1.1. Системы сжатия многомерных сигналов
Фундаментальная проблема в цифровых системах состоит в сокращении избыточности информации. Разработка эффективных способов и методов сжатия 1-Б и ММ сигналов служит предпосылкой эффективного использования каналов связи и обеспечивает сохранение действующих частотных планов, высвобождение большой части частотного пространства для предоставления пользователям таких видов услуг, как телевидение высокой четкости, трехмерное телевидение, видеоконференции, многопрограммное заказное телевидение и звуковое вещание.
Цифровые многоскоростные системы. Цифровые многоскоростные банки фильтров были впервые введены в работе [1] для сжатия речи. В дальнейшем они стали шире применяться, главным образом, для кодирования подполос речи, статических изображений и видео [2—4]. При разработке основ теории исходили из того, чтобы отсутствовали наложение и искажение сигналов. Речь шла о синтезе систем, достигающих точного восстановления сигнала в одном или нескольких измерениях, от двухканальных ортогональных банков до многоканальных систем. Для выполнения этих требований усилия были сконцентрированы на фильтрах с дробно-рациональными функциями преобразования, т. е. на линейных инвариантных к сдвигу системах.
Многоскоростные системы состоят из двух наборов (банков) фильтров — банка анализа и банка синтеза (рис. 1). Наряду с банками анализа и синтеза, многоскоростная система включает в себя устройства квантования и кодирования/декодирования подполосовых сигналов (на рисунке не показаны). В зависимости от порядка соединения банков фильтров можно получить
Рис. 1. Два варианта соединения банков анализа и синтеза:
а — банк фильтров анализа/синтеза («многоскоростная система»; б — банк фильтров анализа/синтеза (трансмультиплсксор)
различные устройства. Если на вход банка анализа подается сигнал, который разлагается на подполосовые составляющие и далее восстанавливается обратно в банке синтеза, такая система называется банком фильтров анализа/синтеза (устоявшегося названия нет, поэтому в данной работе это устройство будет называться просто «многоскоростной системой», см. рис. 1, а). Если поменять порядок следования банка анализа и банка синтеза, то набор сигналов будет подаваться на вход банка синтеза, с выхода которого комбинированный сигнал будет поступать на вход банка анализа, производящего его разложение на составляющие. Такая система называется банком фильтров синтеза/анализа или (в данном случае имеется устоявшееся название) трансмультиплексором (см. рис. 1, б). Важно, что обе системы описываются по сути одними и теми же уравнениями. Полученные для таких систем результаты в равной степени применимы как к трансмультиплексорам, так и к М1МО системам. Аппарат многомерных полиномиальных полифазных матриц позволяет решать и задачу синтеза таких систем, включая случай, когда число входных сигналов отличается от числа выходных сигналов [2, 5].
Банк анализа состоит из фильтров Н^г) и децимато-ров •ІМ (М — матрица децимации), банк синтеза — из интерполяторов ТМ и фильтров /](г), где г = (гр ..., гл), I) — число измерений сигнала, / = 0, 1,..., т — 1. В работе рассматривается случай максимально децимированной многоскоростной системы, когда число каналов т = = |ёетМ|. На рис. 1, а показан только один уровень разложения входного сигнала х(г) на т каналов, в общем случае такому разложению может быть повторно подвергнут любой из таких подполосовых сигналов, и такое разложение может повторяться многократно.
Условия точного восстановления сигналов. Входной сигнал х(г) поступает на вход банка анализа, а именно на вход фильтров Н^г), затем прореживается (децими-руется) в соответствии с матрицей децимации М. На выходе банка анализа получаются т подполосовых сигналов (каналов), которые далее попадают в блок передачи сигнала, где они могут кодироваться, квантоваться, сжиматься и т. д. (на рис. 1, а кодирующее устройство не показано). После передачи данных декодированные подполосовые сигналы поступают в банк синтеза, где сначала происходит интерполяция сигналов, а затем их
фильтрация. Восстановленный сигнал X — это сумма подполосовых сигналов на выходе банка синтеза. В г-области выходной сигнал для двухканальных систем (т = 2) описывается равенством
2х(т) =х(х)\Н0(х)Р0(х) + Н^Р^х)] +
+ х(-г)\Н0(-г)Г0(г) + Н^-г)Г^г)].
Если восстановленный сигнал идентичен первоначальному, не считая задержки и масштабирования, то система анализа-синтеза называется банком фильтров со свойством точного восстановления сигнала. Свойство точного восстановления сигнала записывается как
х(г) = ^х(г), где х* — ММ сдвиг, ^ = (£|‘, ..., 1$ )■ Зрение человека чувствительно к фазовому искажению. Так как фазового искажения можно избежать, применяя
фильтры со свойством линейной фазы, то желательно, чтобы все фильтры, составляющие банк фильтров, обладали этим свойством в случае обработки изображений или видеосигналов.
Важнейшим блоком многоскоростной системы является блок децимации. Если одномерная децимация может быть выполнена единственным способом, то в случае двух или более измерений это не так. Многомерная децимация представлена решеткой, которая может быть разделимой или неразделимой. Другим важнейшим блоком являются цифровые фильтры. Синтез ММ цифровых фильтров для многоскоростных систем включает в себя учет таких проектных ограничений, как, например, ортогональность, линейная фаза, регулярность и др., необходимых для синтеза эффективных систем сжатия, удаления шумов и т. д. Фильтры сами по себе могут быть как разделимыми, так и неразделимыми, независимо от вида решетки.
1.2. Мультиспектральные системы
Мультиспектральные или многоканальные системы дистанционного зондирования поверхности Земли с аэрокосмических носителей широко применяются для решения задач экологии, океанографии, геологии, картографии, в сельском хозяйстве. Примером такой системы служит спектрометр видимого и инфракрасного диапазонов АУ1ШБ [6]. Покрывая достаточно широкий диапазон волн, спектрометр имеет 224 канала записи 16-битной информации об изображениях размером 512 х 614 пикселей каждое. Тем самым один мультиспектральный сигнал занимает примерно 134 Мбайт. При необходимости оперативной оценки и обработки сигнала, а также при его передаче и (или) архивировании возникают проблемы, связанные с его большим объемом. Поэтому задача создания средств автоматической оценки и обработки сигналов дистанционного зондирования очень актуальна.
Как показано в работе [7], отдельные компонентные изображения мультиспектрального сигнала могут обладать различными шумовыми свойствами и очень высокой степенью коррелированности между кадрами (рис. 2 и 3).
а б
Рис. 2. Примеры кадров мультиспектрального сигнала [7]:
а — кадр с высоким отношением сигнал/шум; б — кадр с низким отношением сигнал/шум
Рис. 3. Характеристики двух мультиспектральных сигналов [7]:
а — отношение сигнал/шум (сигнал 1); б — то же (сигнал 2); в — коэффициент корреляции (сигнал 1); г — то же (сигнал 2)
Можно заметить, что более низкий коэффициент корреляции для некоторых кадров многоканального сигнала дистанционного зондирования обусловлен высоким уровнем шума (см. рис. 3). Это особенно заметно, если сравнить зависимости отношения сигнал/шум см. рис. 3, а, б), пикового отношения сигнал/шум (см. рис. 3, д, е) и коэффициента корреляции (см. рис. 3, в, г).
Применение известных алгоритмов фильтрации для каждого кадра в отдельности не позволит в полной мере учитывать и эффективно использовать корреляционные связи между компонентами многоканальных сигналов. Разработка и применение методов и средств декорреляции таких сигналов с помощью ММ многоскоростных систем позволит существенно сжимать (с потерями или без потерь) и эффективно обрабатывать мультиспект-ральные сигналы дистанционного зондирования. Схожие задачи решаются при обработке ММ сигналов рентгеновской и ультразвуковой томографии.
1.3. Системы визуализации многомерных сигналов
Трехмерное телевидение. В различных областях физики, химии, биологии, аэрофотосъемки и других имеются огромные ММ наборы данных, которые необходимо визуализировать, анализировать и обрабатывать. Эти приложения нуждаются в специальных ММ средствах визуализации. Создание системы трехмерного телевидения может стать стартовой точкой для таких систем визуализации.
Современные достижения в науке и повышенный спрос со стороны приложений позволили начать разработку таких систем телевидения. Необходимо решение вопросов обработки сигналов, записи, трехмерного воспроизведения, сжатия, передачи, создания трехмерных дисплеев, а также разработки систем сжатия (с потерями и без потерь) трехмерных сеток произвольной формы и размеров, описывающих объемные объекты (рис. 4). Можно утверждать, что для решения этих вопросов эффективным будет применение только неразделимых методов обработки ММ сигналов.
Среди приложений отметим наряду с системами мультимедиа трехмерное кино, применения в медицин-
вейвлет-преобразования вейвлет-преобразования
Рис. 4. Вейвлет-преобразование на ММ квазирегулярной сетке:
а — наибольшее разрешение V ; б — более грубое разрешение V _ р в — самое грубое разрешение Уд [9]
ских целях, в реальных трехмерных играх, телеконференции с эффектом присутствия, показ культурных ценностей.
Система обработки световых полей. В так называемой интерактивной фотореалистичной ММ графике применяется метод световых полей (light fields) для записи и воспроизведения ММ сигналов с помощью специальных камер и систем линз (рис. 5). При этом сохраняется проблема сокращения избыточности и сжатия в общем случае пяти- или четырехмерного сигнала, объем которого достигает десятков и сотен гигабайт. С этой целью в работе [10] предложено использовать иерархический алгоритм кодирования. В работе [11] впервые предложен иерархический алгоритм кодирования ММ неразделимых сигналов, который может быть применен для сжатия сигналов световых полей.
Метод трассировки лучей является одним из двух основных способов рендеринга изображения. На рис. 5 показана система регистрации светового поля. Она работает согласно алгоритму формирования трехмерных сцен, использующему законы геометрической оптики для расчета освещенности поверхности объектов. Для этого прослеживаются и регистрируются траектории лучей, исходящих от источника освещения к каждому элементу сцены, а затем к наблюдателю. Возможна также и объемная визуализация (метод формирования изображения, при котором представляется не только общий вид, но и внутреннее строение трехмерного объекта).
Зона просмотра делится на элементарные изображения размером М х N пикселей в соответствии с разрешением 3-D объекта, который будет визуализирован.
Рис. 5. Система регистрации светового поля [10]
Далее ищется точка Р пересечения с объектом линии, соединяющей центр С и заданную линзу. Таким образом, точка /’становится точкой на поверхности объекта. Далее определяются яркость и цвет точки Р. Данная процедура повторяется для всех элементарных изображений.
2. ТЕХНОЛОГИЧЕСКИЙ ПРОРЫВ. ПРЕДПОСЫЛКИ СОЗДАНИЯ ММ МНОГОСКОРОСТНЫХ СИСТЕМ
Новейшие технологии, возникшие на стыке вычислительной техники (цифровых систем на основе СБИС, сигнальных процессоров, ПЛИС и др.), электросвязи и последних достижений (алгебраической геометрии, теории нелинейного вейвлет-преобразования, теории аппроксимации), стали в технически развитых странах источником и основой исследований и разработок в области создания принципиально новых цифровых телекоммуникационных систем, способных предоставить пользователю практически неограниченные информационные услуги.
В последние 10—15 лет стали появляться теоретические работы, позволившие приступить к построению теоретических основ цифровой обработки ММ сигналов. Часть работ наших ученых (пионерские работы в этой области появлялись в свое время, в основном, в нашей стране — это работы В. А. Котельникова, А. Н. Колмогорова, В. А Якубовича, А. А. Суслина и др.) была замечена и применена за рубежом только в последние годы в связи с резко возросшей необходимостью разработки ММ цифровых систем.
Разработки в области цифровой обработки сигналов уже привели к созданию ряда стандартов (из последних можно отметить №Ев-2000 для сжатия неподвижных изображений, стандарты сжатия видео Н.263х, Н.264/АУС и разрабатываемый Н.265, МРЕв-4) и производству специализированных СБИС и сигнальных процессоров. Однако задача создания методов и средств соответствующего аппаратного комплекса для многоскоростных систем, удовлетворяющего заданным требованиям (по коэффициенту сжатия, по качеству восстановленного после сжатия сигнала, по быстродействию и др.), разработанного и реализованного в наиболее общем — неразделимом виде, и пригодного для широкого внедрения, до недавнего времени еще не была решена. Во второй части данной работы будут рассмотрены результаты синтеза таких систем с помощью полиномиального подхода, оказавшегося наиболее плодотворным среди известных. Сейчас довольно мало отечественных работ и разработок в области современных способов цифровой обработки многомерных сигналов. Эта важнейшая область мало отражена в ныне существующих программах обучения специалистов. На кафедре электрофизики в Московском энергетическим институте в течение последних 25 лет развивалась научная школа цифровой обработки сигналов. Первоначально основное внимание уделялось 1-Б сигналам. Последние 10 лет именно обработка ММ сигналов является объектом исследований научной группы кафедры, что отражено в большом числе публикаций, выступлений на российских и зарубежных конференциях, в проведении собственных семина-
ров и секций на конференциях, в учебных планах преподаваемых дисциплин [11 — 19].
ЗАКЛЮЧЕНИЕ
В ближайшем будущем применение неразделимых многоскоростных систем в научных исследованиях и технике станет неизбежным, и они станут единственным средством эффективного решения широкого класса прикладных задач. На сегодня уже имеются некоторые результаты, позволяющие приступить к разработке и реализации таких систем. Во второй части работы будет рассмотрена задача синтеза многомерных неразделимых многоскоростных систем с помощью полиномиального подхода.
ЛИТЕРАТУРА
1. CroisierA., Esteban D., Galaud C. Pcrfcct channcl splitting by use of intcrpolation/dccimation/trcc decomposition techniques // Intern. Confer. Inform. Sci. Svst. — Greece, 1976. — p. 443-446.
2. Vaidyanathan P. P. Multirate Systems and Filter Banks. — Englewood Cliffs: Prentice Hall, 1993.
3. Woods J. W. Subband Image Coding. — 3300 AH Dortrecht. — Netherlands: Kluwer Academic Publishers, 1991.
4. Tekalp A. Digital video processing. — Prentice Hall, 1995.
5. Tchobanou M., Woodbtirn C. Design of M-D filter banks by factorization of M-D polynomial matrices // Proc. 3rd International Conference on Information, Communications, and Signal Processing - ICICS'2001. - Singapore, 2001. - P. 111.
6. AVIRIS / Jet Propulsion Laboratory, CA, USA <http:// aviris.jpl.nasa.gov/>.
7. Preliminary automatic analysis of characteristics of hypespec-tral AVIRIS images / V. Lukin, N. Ponomarenko, M. Zria-khov, A. Kaarna // Proc. of Intern. Conf. on Math. Methods in Electromagnetic Theory. — Kharkiv, 2006.
8. Onitral L., Smolic A., Sikora T. An overview of a new european consortium: Integrated three — dimensional television — capture, transmission and display (3DTV) // Proc. EW1MT04, European Workshop on the Integration of Knowledge, Semantic and Digital Media Technologies. — London, 2004. — P. 25-26.
9. Lounsbery М., Derose Т. I)., Warren J. Multiresolution analysis for surfaces of arbitrary topological tvpe // ACM Transactions on Graphics. - 1997. - Vol. 16. Nl.-P. 34-73.
10. Light field compression using disparity-compensated lifting and shape adaptation / C. Chang, X. Zhu, P. Ramanathan, B. Girod // IEEE Trans. Image Proc. — 2006. — Apr. — Vol. 15, N 4. - P. 793-806.
11. Performance improvement of hierarchical non — separable image coding algorithm (in English) / M. Tchobanou, O. Bolshakova,
A. Chernikov, et al. // Первая междунар. науч.-техн. ш:ко-ла-семинар «Современные проблемы оптимизации в инженерных приложениях» (1WOPE — 2005). — Ярославль, 2005. - Т. 1. - С. 18.
12. Onitral L., Smolic A., Sikora Т. An overview of a new European consortium: Integrated three-dimensional television-cap-ture, transmission and display (3DTV) // Proc. EW1MT04, European Workshop on the Integration of Knowledge, Semantic and Digital Media Technologies. — London, 2004. — P. 25-26.
13. Lounsbery М., Derose T. D., Warren J. Multiresolution analysis for surfaces of arbitrary topological tvpe // ACM Transactions on Graphics. - 1997. - Vol. 16, N 1. - P. 34-73.
14. Light field compression using disparity-compensated lifting and shape adaptation / C. Chang, X. Zhu, P. Ramanathan,
B. Girod // IEEE Trans. Image Proc. — 2006. — Apr. — Vol. 15, N 4. - P. 793-806.
15. Бородкин E. А., Чобану М. К. Теоретические основы цифровой обработки сигналов. — М.: МЭИ, 1994. — 135 с.
16. Tchobanou М. Polynomial methods for multi-dimensional filter banks' design // Proc. X European Signal Processing Conf. EUS1PCO-2000. - Tampere, Finland, 2000.
17. Чобапу М. К., Миронов В. Г. Состояние и перспективы развития методов цифровой обработки многомерных сигналов.
Ч. 1. Теория // Электричество. — 2002. —11. — С. 58—69.
18. Чобану М. К. Состояние и перспективы развития методов цифровой обработки многомерных сигналов. Ч. 2. Приложения // Электричество. — 2003. — 1. — С. 58—73.
19. Чобану М. К. Многомерные многоскоростные системы и многомерные вейвлет функции. Ч. 1. Теория // Вестник МЭИ. - 2003. - Т. 2. -'С. 75-82.
Я (495) 362-74-63
e-mail: cmk2@orc.ru
Статья представлена к публикации членом редколлегии
J1. П. Боровских. □
Уважаемые чиіїаіїели/
Если вы не успели или забыли подписаться на журнал "Проблемы управления", то через редакцию Вы можете оформить льготную подписку в любое время и с любого номера (дешевле, чем через каталоги агентств), а также приобрести номера журнала за прошедшие годы.
Можно также заказать электронные версии как необходимого вам номера журнала, так и отдельных статей.
Обратитесь в редакцию по тел. (495) 334-92-00 или пришлите заказ по адресу (pu@ipu.ru) — и подписка будет оформлена за один день. Расходы по пересылке журнала редакция берет на себя. Не забудьте указать свой полный почтовый адрес!
Наш адрес: 117997, Москва, В-342, ГСП-7, Профсоюзная ул., 65, ИПУ РАН, оф. 272.
-
П.
