CC BY
24
Доклады БГУИР
2011 № 8 (62) УДК 621.391
ЭФФЕКТИВНОЕ КОДИРОВАНИЕ ИЗОБРАЖЕНИЙ ОТ РАСПРЕДЕЛЕННЫХ В ПРОСТРАНСТВЕ ВИДЕОКАМЕР С УСТРАНЕНИЕМ МЕЖРАКУРСНОЙ
ИЗБЫТОЧНОСТИ
О.ДЖ. АЛЬ-ФУРАЙДЖИ, В.К. КОНОПЕЛЬКО, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 10 декабря 2011
Предложен метод распределенного эффективного кодирования многоракурсных изображений, учитывающий межракурсную избыточность их перекрывающихся фрагментов, формируемых несколькими видеокамерами. Метод основан на определении границ областей соответствия фрагментов многоракурсного изображения с использованием реперных точек. Метод позволяет повысить коэффициент сжатия многоракурсных изображений за счет исключения повторной передачи информации об областях соответствия их перекрывающихся фрагментов.
Ключевые слова: распределенное эффективное кодирование, многоракурсные изображения, межракурсная избыточность изображений.
Введение
В настоящее время постоянно расширяется круг задач, связанных с применением сетевого видеомониторинга, предполагающего использование множества видеокамер, объединенных через телекоммуникационную сеть с серверами обработки и распределения видеоданных. Это охрана территорий, оптическая локация и навигация, виртуальный туризм и т.д. [1]. Одной из центральных проблем в данных системах является сжатие видеоинформации в целях сокращения ее объема при передаче, уменьшения нагрузки на каналы связи и сетевые узлы, а также экономии памяти при записи и хранении. Для сжатия видеоданных используются методы эффективного кодирования, основанные на устранении статистической (кодирование Хаффмана [2], арифметическое кодирование [3]), пространственной (JPEG [4], JPEG2000 [5], EZW [6], SPIHT [7], SPECK [8]) и временной (Cinepak [9], MotionJPEG [10], MPEG [11]) избыточности видеоданных. Данные методы позволяют достичь высоких коэффициентов сжатия при кодировании изображений от одного источника (т.е. одноракурсных). Однако они не эффективны при кодировании подвижных и неподвижных изображений в условиях сетевого видеомониторинга, т.к. не учитывают корреляцию между фрагментами многоракурсного изображения, формируемыми несколькими видеокамерами с перекрывающимися секторами обзора. Данный недостаток приводит к избыточной передаче многоракурсных изображений, увеличению загруженности сети и нагрузки на серверы обработки видеоданных. Он может быть устранен в результате определения границ соответствующих областей фрагментов многоракурсного изображения и исключения повторной передачи информации об этих областях. Идеи распределенного кодирования впервые сформулированы в работах [12, 13], однако они носят общий характер и не могут непосредственно использоваться для сжатия видеоданных в условиях сетевого видеомониторинга.
Целью работы является разработка метода распределенного эффективного кодирования многоракурсных изображений с устранением межракурсной избыточности их фрагментов на основе определения соответствующих областей этих фрагментов.
Методы определения соответствующих областей и сшивки изображений
Для определения границ соответствующих областей перекрывающихся фрагментов многоракурсных изображений могут использоваться различные методы локализации и параметризации реперов и поиска соответствия.
Наиболее распространенными методами локализации и параметризации реперов являются SIFT (Scale Invariant Feature Transform) [14] и SURF (Speeded-Up Robust Features) [15].
Метод SIFT [14] использует многоуровневое кратномасштабное представление изображения, формируемое с помощью обычного и дифференциального преобразований Гаусса [16], для локализации реперных областей изображения, устойчивых к изменению яркости, контраста и действию шума. Как правило, используются 4 уровня кратномасштабного представления, каждый из которых объединяет группу из 5 аппроксимированных образов изображения одного масштаба, полученных в результате свертки с ядром Гаусс-фильтра размером 11x11, 15 х15, 21 х 21, 29 х 29 пикселей и 4 дифференциальных гауссовских образов, полученных в результате пиксельной разности аппроксимированных образов одного масштаба с близкими значениями ядра Гаусс-фильтра. Аппроксимированные образы верхнего уровня в 4 раза меньше по сравнению с аппроксимированными образами соседнего нижнего уровня и формируются в результате децимации.
В методе SURF реперные области локализуются в пространстве Хессиан-матрицы [15], формируемой в результате свертки интегрального изображения и бокс-фильтров (аппроксимированных Гаусс-фильтров). Использование интегрального изображение позволяет существенно сократить вычислительную сложность локализации реперных областей [16]. Метод SURF оперирует пятью уровнями кратномасштабного представления изображения, на каждом из которых формируются по 4 аппроксимированных образа. При этом используются 30 различных бокс-фильтров размером 9х9, 15х15, 21х21, 27х27, 39х39, 51х51, 75х75, 99х99, 147 х 147, 195 х195, 291 х 291 и 387 х 387 пикселей. Поиск реперных точек осуществляется в трехмерном пространстве с использованием методов, предложенных в работах [17, 18].
Для пары перекрывающихся фрагментов (рис. 1,а) многоракурсного изображения локализация и параметризация реперов включает следующие шаги: выделение реперных областей (рис. 1,6), локализация реперов и формирование идентификационных параметров (дескрипторов) реперов (рис. 1,в). Эти шаги выполняются для каждого фрагмента независимо.
Следующим этапом является поиск соответствий фрагментов, который включает два основных этапа: поиск уникальных реперов на каждом фрагменте (рис. 2,а) и поиск соответствий между уникальными реперами двух фрагментов (рис. 2,6).
Наиболее эффективным методом поиска соответствующих областей является RANSAC (RANdom SAmple Consensus) [19]. Он основан на вычислении матрицы соответствия, которая устанавливает связь между четырьмя случайно выбранными уникальными реперами на одном из фрагментов и уникальными реперами другого фрагмента. Поиск продолжается до тех пор, пока ошибка совмещения фрагментов, преобразованных согласно матрицы соответствия, не станет меньше заданного порога.
После определения соответствующих областей фрагментов многоракурсного изображения может осуществляться их сшивка, которая предполагает геометрическое преобразование фрагментов (рис. 3,а) на основе информации об относительном положении соответствующих реперов на этих фрагментах, обрезку изображений в области перекрытия (рис. 3,6) и совмещение обрезанных изображений со сглаживанием границы (рис. 3,е) [20].
в
Рис. 1. Операции локализации и параметризации реперов на изображениях: а - исходные изображения; б -выделение реперных областей; в - локализация реперов и формирование их идентификационных параметров
в о
о
а
Рис. 2. Операции поиска соответствующих областей изображений: а - поиск уникальных реперов;
б - поиск соответствующих реперов
в
Рис. 3. Операции сшивки изображений: а - геометрическое преобразование фрагментов; б - обрезка фрагментов в области перекрытия; в - совмещение обрезанных фрагментов
Метод распределенного эффективного кодирования многоракурсных изображений с устранением межракурсной избыточности фрагментов
Для уменьшения объема передаваемых видеоданных и снижения нагрузки на каналы передачи, узлы коммутации и маршрутизации в условиях сетевого видеомониторинга предлагается метод распределенного эффективного кодирования многоракурсных изображений, учитывающий межракурсную избыточность их перекрывающихся фрагментов, формируемых несколькими видеокамерами. Метод основан на определении границ областей соответствия фрагментов многоракурсного изображения с использованием реперных точек. Суть метода заключается в использовании информации о соответствующих областях фрагментов многоракурсного изображения для исключения повторного кодирования и передачи информации о пикселях этих областей. Метод позволяет повысить коэффициент сжатия многоракурсных изображений за счет устранения межракурсной избыточности их фрагментов, уменьшить нагрузку на каналы и узлы в сети за счет исключения повторной передачи информации о пикселях соответствующих областей и снизить нагрузку на серверы обработки многоракурсных изображений за счет распределенной обработки перекрывающихся фрагментов на уровне видеокодеров.
Метод состоит из следующих шагов.
1. Выделение реперных областей на фрагментах многоракурсного изображения. Для каждого г -го фрагмента ЫР (7) = |\тР (7,у, х^^ многоракурсного изображения фор-
мируются матрицы МУ (7) = ||тУ (7,п)||( и Мх (7) = |\тх (7, п)||( координат контур-
ных пикселей, устойчивых к изменению масштаба, яркости и контраста фрагментов, где 7 = 0,I -1; У , X - размеры фрагментов по вертикали и горизонтали; I - число фрагментов; п - номер контурного пикселя; N (7) - число контурных пикселей, устойчивых к изменению масштаба, яркости и контраста 7 -го фрагмента.
2. Локализация реперов на изображении. Для каждого 7 -го фрагмента МР (7) многоракурсного изображения формируются матрицы МУ (7) = ||?иУ (7,п^ и
Мх (7) = ||тх (7, п)Ц( _о ^ координат реперных пикселей, где N (7) - число реперов 7 -го
фрагмента, удовлетворяющее условию N (7) < N (7) .
3. Параметризация реперов. Для каждого 7 -го фрагмента ЫР (7) многоракурсного изображения формируется набор Мв (7)= Мв (7,п) , —, идентификационных параметров ре-
(п=0,АТ (7 )-1)
перов, где Мв (7, п) = ||тв (7,п, р- идентификатор п -го репера 7 -го фрагмента;
тв (7, п, р) - р -й элемент идентификатора п -го репера; Р - число элементов в идентификаторах.
4. Поиск уникальных реперов в пределах каждого фрагмента. Для каждого 7 -го фрагмента ЫР (7) многоракурсного изображения формируются матрицы МУ (7) = тУ (7,п)
1(п=0,А (7 )-1)
и Мх (7) = ||тх (7, п)||( координат и набор Мв (7) = ||МД (7,п)||( ^^ ^ идентификацион-
ных параметров уникальных реперных пикселей, где Мв (7, п) = ||тв (7,п, р- идентификатор п -го уникального репера 7 -го фрагмента; тв (7, п, р) - р -й элемент идентификатора п -го уникального репера; N (7) - число уникальных реперов 7 -го фрагмента, удовлетворяющее
условию N (7) < АА (7) . Идентификаторы уникальных реперов 7 -го фрагмента должны удовлетворять условию
—3М0 (7, п) —3М0 (7, п2) (УтП (7, п1, р) 3 тв (7, щ, р2) (тв (7, п1, р) = тв (7, п2, р2))) (1)
при п1 е[0,N(7)] , п2 е [0,N(7)] , р1 = 0,Р -1, р2 е[0,Р].
5. Обмен идентификационными параметрами реперов между видеокодерами соседних узлов. Если фрагменты МР (7) и МР (/) многоракурсного изображения сформированы видеокамерами 7 и / с перекрывающимися секторами обзора, то между соответствующими видеокодеками осуществляется обмен координатными и идентификационными параметрами уникальных реперов
{тУ (7, п1 ) , тх (7, п1 ) ,МВ (и п Й^бда) и {тУ (J, п2 ), тх ( J, п2 ) ,МВ ( J, п2 )}(п2=0^(/)-1) фрагментов
МР (7) и МР (/) . Обмен координатными и идентификационными параметрами уникальных реперов может осуществляться через концентратор или непосредственно (рис. 4).
. Видеокамера с I видеокодером
\/Л \ Т / • Сервере
1 / / \ I / видеодекодером
а б
Рис. 4. Обмен идентификационными параметрами реперов между видеокодерами:а - через концентратор; б - напрямую
6. Поиск соответствий фрагментов. Для каждого 7 -го фрагмента МР (7) многоракурсного изображения в 7 -м видеокодеке формируются наборы
{{тУ (ипк),тУ (к,пк)}\тх пк),тх (к,пк)}% =0-Що=Г) координат соответствующих уникальных реперов, где I (7) - число фрагментов, перекрывающихся с рассматриваемым 7 -м фрагментом; Ык (7) - число соответствующих уникальных реперов для 7 -го и к -го фрагментов. Уникальный репер 7 -го фрагмента с номером ni (ni = О, N (7) -1) , координатами и идентификатором {тУ (7, п1), тх (7,п1),Ыв (7,п1)} и уникальный репер к -го фрагмента с номером пк (пк = О,N(к) -1), координатами и идентификатором {тг (к,пк ),тх (к,пк ),Ыв (к,пк )} считаются соответствующими, если выполняется условие
^тп (i, п, Р,) Зтп (к, пк , Рк ) (тп (i, п, Р>) = тп (к, пк , Рк )) , (2)
где рг = О,Р -1, Рк е[0,Р].
При выполнении условия (2) фиксируются координаты соответствующих реперов:
т (i, пк ) = т (i, п), т (k, п ) = т (k, п), тх (i, п ) = тх (i, п), тх (k, п ) = тх (^ п).
7. Обрезка фрагментов. В каждом 7 -м видеокодере формируется обрезанный фрагмент МР (7) = |\тр (7,у, х)||( многоракурсного изображения в результате удаления половины области перекрытия, где У , х - размеры обрезанного фрагмента, У < У , х < х .
8. Эффективное кодирование обрезанных фрагментов. Каждый 7 -й видеокодер осуществляет эффективное кодирование 7 -го обрезанного фрагмента МР (7) с коэффициентом
CRC (7) сжатия, в результате чего формируется сжатый фрагмент Мс (7) = \тс (7,I) , —* , где
II 11(1=0,Ьр (г)-1)
LD (7) - длина (число бит) сжатого 7 -го фрагмента. Значения коэффициента CRC (7) сжатия и длины LD (7) сжатого 7 -го фрагмента связаны между собой выражением
BDP / У • х - Бо/2
где 80 = К0 • У • х - площадь перекрытия фрагментов; К0 - коэффициент перекрытия фрагментов.
Полный коэффициент CRD (7) сжатия 7 -го фрагмента многоракурсного изображения с учетом координатных и идентификационных параметров реперов вычисляется с помощью выражения
где BDP - битовая глубина фрагментов многоракурсного изображения; BDD - битовая глубина идентификаторов.
При равномерном распределенном эффективном кодировании фрагментов многоракурсного изображения (когда площади перекрытия и коэффициенты сжатия фрагментов примерно одинаковы) выражение (4) определяет коэффициент сжатия многоракурсного изображения в целом.
9. Передача сжатых фрагментов на сервер. Каждый 7 -й видеокодер осуществляет передачу 7 -го сжатого фрагмента Mс (7) многоракурсного изображения на сервер.
В результате выполнения данных шагов на декодер поступают сжатые обрезанные фрагменты многоракурсного изображения, которые после декодирования подвергаются геометрическому преобразованию и совмещению с другими фрагментами.
Оценка эффективности распределенного кодирования многоракурсных изображений с устранением межракурсной избыточности фрагментов
Оценка эффективности разработанного метода распределенного кодирования многоракурсных изображений с устранением межракурсной избыточности произведена с использованием коэффициента сжатия. На рис. 5 представлены зависимости полного коэффициента CRD (1)
сжатия обрезанного фрагмента многоракурсного изображения от числа N (1) уникальных реперов (рис. 5,а) и коэффициента К0 перекрытия (рис. 5,6) при фиксированных значениях BDP = 8, Y = 480, X = 640, BDD = 8, Р = 64 . Предполагается, что обрезанный фрагмент при распределенном эффективном кодировании и необрезанный фрагмент при обычном эффективном кодировании сжимаются с одинаковым коэффициентом CRC (1) .
а б
Рис. 5. Зависимости полного коэффициента С(1) сжатия фрагмента многоракурсного изображения: а -от числа N (1) уникальных реперов; 6 - от коэффициента К0 перекрытия
Из рис. 5 видно, что выигрыш от использования распределенного эффективного кодирования многоракурсных изображений достигает 30%. С уменьшением коэффициента К0 перекрытия, увеличением коэффициента CRC (1) сжатия и числа N (1) уникальных реперов эффективность распределенного кодирования снижается. Это справедливо для распределенного эффективного кодирования неподвижных и подвижных многоракурсных изображений без устранения временной избыточности (например, с использованием метода MotionJPEG).
Заключение
Предложен метод распределенного эффективного кодирования многоракурсных изображений, учитывающий межракурсную избыточность их перекрывающихся фрагментов, формируемых несколькими видеокамерами. Метод основан на определении границ областей соответствия фрагментов многоракурсного изображения с использованием реперных точек. Метод позволяет повысить коэффициент сжатия многоракурсных изображений за счет устранения межракурсной избыточности их фрагментов, уменьшить нагрузку на каналы и узлы в сети за счет исключения повторной передачи информации о пикселях соответствующих областей и снизить нагрузку на серверы обработки многоракурсных изображений за счет распределенной обработки перекрывающихся изображений на уровне видеокодеров. Показано, что предложенный метод позволяет повысить коэффициент сжатия на величину до 30% по сравнению с обычным эффективным кодированием при площади перекрытия фрагментов около 50% и использовании для поиска соответствий не более 20 уникальных реперов.
EFFECTIVE CODING OF IMAGES FROM DISTRIBUTED VIDEO CAMERAS IN THE SPACE WITH ELIMINATING FRAGMENTS REDUNDANCY BETWEEN
THE MULTI-VIEWPOINTS
O.J. AL-FURAIJI, V.K. KANAPELKA, V.Yu. TSVIATKOU
Abstract
A method of distributed effective coding for the multi-viewpoint images is proposed. This method takes into account the redundancy between viewpoints of their overlapping fragments which are generated by multiple video-cameras. It is based on determining the region boundaries of corresponding fragments in the multi-viewpoint image using feature points. The method improves the compression ratio of the multi-viewpoint images by eliminating the re-transmission of information about corresponding regions of their overlapping fragments.
Литература
1. Kopf J., Uyttendaele M., Deussen O. et al. // ACM Transactions on Graphics. 2007. Vol. 26, №3. P. 1-10.
2. D.A. Huffman // Proceedings of the I.R.E. 1952. Vol. 40. P. 1098-1101.
3. Witten I.H., NealR.M., Cleary J.G. // Communications of the ACM. 1987. Vol. 30, №6. P. 520-540.
4. Wallace G.K. // Communications of the ACM. 1991. Vol. 34, №4. P. 31-44.
5. Christopoulos C., Skodras A., Ebrahimi T. // IEEE Transactions on Consumer Electronics. 2000. Vol. 46, №4. P. 1103-1127.
6. Shapiro J.M. // IEEE Transactions on Signal Processing. 1993. Vol. 41, №12. P. 3445-3462.
7. Said A., Pearlman W.A. // IEEE Transactions on Circuits and Systems for Video Technology. 1996. Vol. 6, №3. P. 243-250.
8. Islam A., Pearlman W.A. // Visual Communications and Image Processing, Proceedings of SPIE. 1999. Vol. 3653. P. 294-305.
9. Wootton C. Focal Press: First edition. USA, 2005.
10. Pons J., Malumbers M.P., Garcia R. // IASTED, ACTA Press (AI'2000). 2000. P. 302-308.
11. Le Gall D. // Communications of the ACM. 1991. Vol. 34, №4. P. 46-58.
12. Slepian D, Wolf J.K. // IEEE Transactions on Information Theory. 1973. Vol. 19, №4. P. 471-480.
13. WynerA.D., Ziv J. // IEEE Transactions on Information Theory. 1976. Vol. 22, №1. P. 1-10.
14. Lowe D.G. // International Journal of Computer Vision. 2004. Vol. 60, №2. P. 91-110.
15. Bay H., Ess A., Tuytelaars T. et al. // Computer Vision and Image Understanding. 2008. Vol. 110, №3. P. 346-359.
16. GonzalesR.C., WoodsR.E. Prentice-Hall: Second edition, 2002.
17. Neubeck A., Gool L.V // ICPR '06 Proceedings of the 18th International Conference on Pattern Recognition. 2006. Vol. 3. P. 850-855.
18. Brown M., Lowe D. // In British Machine Vision Conference, Cardiff, Wales, 2002. P. 656-665.
19. FischlerM.A., BollesR.C. // Communications of the ACM. 1981. Vol. 24, №6. P. 381-395.
20. Brown M., Lowe D.G. // IJCV. 2007. Vol. 74, №1. P. 59-73.
