CC BY
25
6. Mezaris, V. A test-bed for region-based image retrieval using multiple segmentation algorithms and the MPEG-7 experimentation Model: The Schema Reference System [Text] / V. Mezaris, H. Doulaverakis, R. Medina Beltran de Otalora, S. Herrmann, I. Kompa-tsiaris, M. G. Strintzis // Proc. 3rd International Conference on Image and Video Retrieval.- 2004.-T. 3115. - pp. 592-600.
7. Sridhar, V. Region-based Image Retrieval using Multiple Features [Text] / V. Sridhar, M. A. Nascimen, X. Li // Proceedings of the Visual Information Systems Conference.- 2002.-pp. 61-75.
8. Sural, S. Segmentation and histogram generation using the HSV color space for image retrieval [Text] / S. Sural, G. Qian, S. Pramanik // Proceedings of IEEE International Conference on Image Processing.- 2002.- pp. 589-592.
9. Shin, M. C. Does colorspace transformation make any difference on skin detection? [Text] / M. C. Shin, K. I. Chang, L. V. Tsap // Proceedings of the Sixth IEEE Workshop on Applications of Computer Vision.- 2002. - pp. 275-284.
10. Martin, D. A Database of Human Segmented Natural Images and its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics [Text] / D. Martin, C. Fowlkes, D. Tal, J. Malik. - Proceedings 8th Intel Conference Computer Vision.-2001. -t.2. - pp. 416-423.
------------------------□ □-----------------------------
Запропоновано палітровий метод ефективного кодування цифрових відеозображень, що використовує адаптивне квантування відеокадрів в просторі кольорів та їх представлення у однобайтовому палітровому графічному форматі. Метод забезпечує ступінь стиску, в середньому у 2,98 рази при збереженні доброї якості візуального сприйняття та не потребує розробки спеціального декодеру
Ключові слова: ефективне кодування відеозображень, адаптивне квантування, стиснення, палітровий графічний формат
□-----------------------------------□
Предложен палитровыйметод эффективного кодирования цифровых видеоизображений, который использует адаптивное квантование видеокадров в пространстве цветов и их представление в однобайтовом палитровом графическом формате. Метод обеспечивает степень сжатия, в среднем в 2,98 раза при сохранении хорошего качества визуального восприятия и не требует разработки специального декодера
Ключевые слова: эффективное кодирование видеоизображений, адаптивное квантование, сжатие, палитро-вый графический формат ------------------------□ □-----------------------------
УДК 004.932.2:519.68
ПАЛІТРОВИЙ МЕТОД ЕФЕКТИВНОГО КОДУВАННЯ ЦИФРОВИХ ВІДЕОЗОБРАЖЕНЬ
В. Ю. Кум и ш
Старший викладач Кафедра мереж та систем поштового
зв’язку
Одеська національна академія зв’язку ім. О.С. Попова вул. Ковальська 1, м. Одеса, Україна, 65029 E-mail: kumish@mail.ru
1. Вступ
По оцінкам експертів компанії С^СО глобальний Інтернет-трафік за останні 5 років виріс вчетверо і в 2015 році буде складати 1 зетабайт (270 байт) на рік. При цьому в 2012 році 57% трафіку склали відеодані, і це значення має сягнути 69% в 2017 році [1]. Також спостерігається істотний зріст глобального мобільного трафіку, що в 2012 році склав 885 петабайт (250 байт) на місяць, з них 51% відеодані [2]. Значну долю цих відео-даних складає потокове відео, до якого, для забезпечення роботи в режимі реального часу, ставляться жорсткі вимоги щодо швидкості кодування/декодування.
Також серед відеотрафіку та локально збережених відеоданих слід виділити істотну частку спеціалізованих даних, які призначаються для змістовного аналізу в системах комп’ютерного зору, а саме: виділення та розпізнавання тексту й автомобільних номерів; від-стеження (трекінгу) об’єктів в охоронних системах,
автоматизації медичних досліджень, наприклад для аналізу ангіограм та рентгенограм; неруйнівного контролю якості та ін. Оскільки змістовний аналіз також повинен виконуватись в режимі реального часу, в подібних системах також висуваються вимоги щодо швидкості кодування/декодування відео. Тому актуальним науковим напрямком є розробка простих і ефективних методів кодування та стиснення відео.
Простоту, низьку обчислювальну складність та високу швидкість процесів кодування/декодування забезпечує палітрізація відеозображення. Палітрові методи й алгоритми кодування відео зображень, в яких відеокадри кодуються окремо й незалежно один від одного та послідовно пакуються в мультимедійні контейнери набули широкого розповсюдження на початку 90-х років. До методів цієї категорії слід віднести: Microsoft Run Length Encoding (MRLE) [3], Microsoft Video 1 (MV1) [4], CDXL [5], FLIC [6] та ін. Однак, для всіх цих форматів характерні істотні спотворення фотореалі-
Е
©
стичних зображень з причин невідповідності кольорів зображення кольорам палітр, що використовуються у цих форматах. З огляду на це, проблема розробки палітрових методів ефективного кодування цифрових відео зображень, що забезпечували б достатню якість візуального сприйняття, є актуальною.
2. Аналіз існуючих палітрових методів кодування відеозображень
Алгоритми MRLE та MV1 стали найпоширенішими, оскільки були включені в стандартну поставку Microsoft Video for Windows. Алгоритм MRLE [3] передбачає перетворення повнокольорових відеокадрів у зображення в кольорах системної палітри (256 кольорів) з глибиною 8 біт на піксел з послідуючим стисненням цих кадрів за допомогою версії алгоритму RLE, що позначається BI_RLE8. BI_RLE8 підтримує три типи блоків даних: стиснений рядок даних, дані без стиску та службові (керуючі) дані. Кожний блок починається з пари байтів. У стисненому рядку даних: перший байт містить довжину послідовності пікселів одного кольору, а другий - код даного кольору в палітрі кольорів. Блок даних без стиску містить перший байт нульовий, другий зі значенням, що перевищує 0x02 , й має значення довжини послідовності не стиснутих даних та самі дані. Якщо даних непарна кількість, в кінець послідовності записується нульовий байт.
Керуючі блоки також починаються нульовим байтом, та розділяються за значенням другого: 0x00 -перехід на новий рядок (якщо рядок не закінчений, він заповнюється до кінця нулями); 0x01 - кінець зображення (якщо зображення не закінчено, воно заповнюється до кінця нулями); 0x02 - перехід до нового положення на зображенні (нове положення позначається наступними двома байтами - кількістю стовпців й рядків, на які треба переміститися). Даний набір керуючих блоків у сукупності з сортуванням палітри за частотою дозволяє пропускати довгі послідовності нульових кодів за допомогою маркерів кінця рядка або кінця зображення.
Оскільки алгоритм MRLE не використовує міжка-дрове стиснення ступінь стиснення для нього складає 6-9 разів. Також слід зазначити, що для фотореалістич-них зображень представлення в кольорах системної палітри неможливе без втрат та спотворень, внаслідок невідповідності кольорів. Це призводить до низької якості візуального сприйняття декодованого відео, внаслідок чого даний алгоритм не може ефективно використатися для кодування повнокольорових віде-озображень.
Алгоритм Microsoft Video 1 [4] має дві версії: перша оброблює палітризовані зображення в кольорах системної палітри з глибиною кольору 8 біт, друга - по-внокольорові зображення з глибиною 16 біт на піксел (RGB555). В обох версіях зображення відеокадру розбивається на блоки 4 x 4 піксели. Для кожного блоку передбачені 4 режими кодування: режим пропускання, одноколірний, двоколірний та восьмиколірний режими. Для визначення режиму, як і в алгоритмі MRLE використовуються двобайтові керуючі коди: (ba,bb).
Код, в якому 0x84 < bb < 0x88, позначає n блоків в режимі пропускання, тобто вміст даних блоків не
зберігається, та при відтворенні заповнюється ідентично до попереднього блоку. Число пропущених блоків визначається, як п = Ьа + 256 ■ (Ьь - 0x84) і максимально становить птах = 1023 блоки. Відповідно, код, що містить 0x80 < Ьь < 0x84 або 0x88 < Ьь < 0x90, позначає кодування блоку в одноколірному режимі, тобто заповнення всіх пікселів блоку одним кольором: Ьа - в палітровій версії або (Ьа,ЬЬ) - в повно кольоровій.
Двоколірний режим позначається кодом, в якому 0x0 < ЬЬ < 0x80. В даному режимі блок кодується 4 значеннями: (Ьа,ЬЬ,са,сЬ) : (са,сЬ) - значення кольорів, що можуть приймати піксели даного блоку; (Ьа,ЬЬ) - послідовності бінарних флагів, для верхньої та нижньої половин блоку (рис. 1), що визначають колір пікселу з
пари (Са,СЬ).
Рис. 1. Маска для блоку 4 х 4 піксели
Аналогічним чином, в восьмиколірному режимі, що позначається кодом, в якому Ьь > 0x90, кожний блок зображення розбивається на комірки 2 х 2 піксели ( с -с4, рис. 1). В такому випадку весь блок кодується 10 значеннями: (Ьа,Ьь,с1 ,с ,с2 ,с2 ,с3 ,с3 ,с4 ,с4ь): (С ,С; ) - значення кольорів, що можуть приймати піксели і - ої комірки, і < 4; Ьа,ЬЬ - послідовності бінарних флагів, що визначають для і - ої комірки колір пікселу з пари (с ,с( ) .
Кольори кожного блоку (комірки) визначаються шляхом векторного квантування зображення у просторі кольорів і в палітровій версії представлені одно-байтовими кодами палітри, а в повнокольоровій - дво-байтовими значеннями кольору (RGB555).
Алгоритм MV1 використовує міжкадрове стиснення, за рахунок чого ступінь стиснення для нього, в середньому, складає 20 разів. Однак, при стисненні фотореалістичних зображень, особливо при використанні палітрової версії алгоритму, спостерігаються істотні спотворення та артефакти на зображенні. Як і в випадку MRLE, це зумовлено невідповідністю кольорів зображення кольорам системної палітри.
Спотворенням та артефактам при стисненні зображення можна запобігти, якщо використовувати для зберігання кожного окремого зображення свою адаптивну палітру кольорів, отриману з використанням алгоритм адаптивного квантування кольорів. В [7] розроблений метод квантування кольорових зображень, який дозволяє адаптивно зменшити кількість кольорів повнокольорового зображення від 51 до 911 разів в залежності від його характеру та сформувати для кожного зображення свою незалежну адаптивну палітру. При цьому якість квантованого зображення у більшості випадків висока, а в окремих випадках - добра. Після квантування кількість кольорів у середньому зменшується в 314 разів.
На підґрунті даного методу квантування був запатентований спосіб зберігання цифрових кольорових зображень із постійною довжиною коду [8] та відпо-
відний растровий апаратно-незалежний однобайтовий палітровий графічний формат [9], в яких використовується попереднє зменшення надлишковості кольорів, що дає можливість використовувати для кодування кольору 8 біт на піксел та відповідну кожному зображенню адаптивну палітру. В результаті досягається скорочення об’єму зображення в 2,96 рази та зберігається достатня якість візуального сприйняття.
Виходячи зі сказаного вище, метою роботи є розробка палітрових методів ефективного кодування відео зображень, позбавлених недоліків алгоритмів кодування MRLE та Microsoft Video 1, за рахунок попереднього адаптивного зменшення надлишковості кольорів кадрів відео зображення [7] і представлення кадрів у однобайтовому палітровому графічному форматі [9].
3. Палітровий метод ефективного кодування цифрових відеозображень з постійною довжиною коду
Розроблений палітровий метод ефективного кодування цифрових відеозображень з постійною довжиною коду полягає в наступному:
1. Адаптивне квантування кадрів відео зображення в просторі кольорів за методом [7];
2. Представлення кожного окремого кадру разом зі своєю незалежною адаптивною палітрою у однобайтовому палітровому графічному форматі з постійною довжиною коду [9];
3. Зберігання кадрів відео зображення, представлених у однобайтовому палітровому графічному форматі, в мультимедійному контейнері (Audio Video Interleave, AVI) в палітровому режимі (Paletted AVI).
Для реалізації методу було розроблене програмне застосування для представлення кадрів відео зображення у однобайтовому палітровому графічному форматі та їх подальшого зберігання в мультимедійному контейнері AVI. Формат AVI дозволяє зберігання палітрового відео та передбачає на цей випадок наявність програмного заголовку для кожного кадру відео послідовності, куди будемо записувати заголовок одноба й тового па літ рового г рафічного ф ормат у. Даний заголовок містить адаптивну палітру у вигляді чотирибайтових значень RGB кольорів, четвертий байт використовується для зберігання альфа-каналу (прозорості). Основна частина файлу відеокадру містить інформацію про кольори пікселів зображення, закодовані відповідними номерами кольорів адаптивної палітри.
Під час відтворення зображення виконується обернене перетворення: однобайтні коди замінюються на відповідні чотирибайтові значення кольору в палітрі.
Дослідимо ступінь стиснення запропонованого методу. Для цього будемо використати спеціалізовану базу тестових відео послідовностей TUM Multi Format Test Set [10], а саме 7 відеопослідовностей, загальною протяжністю 1900 кадрів з роздільною здатністю 720 х576 та 320х 240 пікселів, прогресивною розгорткою, апаратно стиснутих методом Digital Video (DV) в колірній системі YUV зі ступенем стиснення 5 разів. Дані відеоуривки відносяться до різних жанрів: кінофільм та новини, містять різні
типи руху об’єктів та різні швидкості руху камери. Результати представлення відеокадрів в однобайтовому палітровому графічному форматі представлені в табл. 1.
Таблиця 1
Представлення відеокадрів в палітровому графічному форматі
Ім’я файлу Роздільна здатність Середня кількість кольорів Розмір файлу відеокадру в форматі ВМР (24 біт на піксел), байт Розмір файлу відеокадру в палітровому форматі (8 біт на піксел), байт
testament1 720x576 259,9 1 244214 415 798
testament2 720x576 256 1 244214 415 798
testament3 720x576 256 1 244214 415 798
testament4 720x576 256 1 244214 415 798
testament5 720x576 256 1 244214 415 798
Girl 320 x 240 242,4 230 454 77 878
Street 320 x 240 250,8 230 454 77 878
Результати дослідження ступеню стиснення розробленого методу ефективного кодування цифрових відеозображень наведені в табл. 2.
Таблиця 2
Результати ефективного кодування цифрових відеозображень палітровим методом з постійною довжиною коду
Ім’я файлу Кількість кадрів Розмір відеофайлу без ефективного кодування (24 біти на піксел), байт Розмір відеофайлу після палітрового ефективного кодування (8 біт на піксел), байт Ступінь стис- нення
testament1 350 435 468 800 145 437 412 2,99
testament2 400 497 677 824 166 213 012 2,99
testament3 350 435 468 800 145 437 412 2,99
testament4 325 404 364 288 135 049 612 2,99
testament5 475 590 991 872 197 376 412 2,99
Girl 295 67 748 864 22 821 028 2,97
Street 314 72 126 976 24 295 276 2,97
За результатами аналізу можна заключити, що ступінь стиснення для розробленого методу, в середньому складає 2,98 рази.
Оскільки розроблений метод кодування вносить зміни в колірний контент зображення тільки на етапі зменшення колірної надлишковості, якість візуального сприйняття зображення визначається показниками якості адаптивного методу квантування [7]. Порівняємо показники якості алгоритму кодування М^Е та запропонованого методу. Вхідні та декодовані зображення, а також бітова карта помилок квантування зображені на рис. 2.
Е
г д
Рис. 2. Порівняння якості візуального сприйняття запропонованого методу та алгоритму кодування М^Е: а - кадр вхідного відеозображення; б - кадр, закодований алгоритмом М^Е; г - кадр, закодований запропонованим методом; в, д - бітові карти помилок квантування
З рис. 2, б видно, що після кодування MRLE отримуємо спотворене постерізоване зображення, що містить істотні артефакти в градієнтних областях. За рахунок адаптивного квантування зображення кодоване розробленим методом в значній мірі позбавлене цього недоліку та має добру якість візуального сприйняття. Порівняння бітових карт помилок квантування також свідчить на користь розробленого методу, виявляючи, що в даному методі палітра підібрана більш точно, і колірні похибки не розповсюджені по всій карті, а локалізовані на невеликих проблемних ділянках зображення.
Для об’єктивної оцінки якості візуального сприйняття наведемо значення пікового співвідношення сигнал/завада (Peak Signal-to-Noise Ratio, PSNR), що для алгоритму MRLE, в середньому по
всім тестовим відео [10] , склало PSNRmrle = 34,99 дБ, а для розробленого методу PSNRpalette = 46,1 дБ.
Також слід відзначити, що оскільки в розробленому методі кадри відеозображення зберігаються в мультимедійному контейнері AVI в палітровому режимі (Paletted AVI) зі стандартною структурою заголовку та розширенням .avi, відтворення закодованого відео може здійснюватися існуючим програмним забезпеченням, тобто немає необхідності розроблювати окремий декодер.
4. Висновки
По роботі можна зробити наступні висновки:
- кодування цифрових відезобра-жень розробленим палітровим методом ефективного кодування з постійною довжиною коду забезпечує скорочення об’єму зображення, в середньому, в 2,98 рази за рахунок представлення відеокадрів у однобайтовому палітровому графічному форматі і, відповідно, кодування кольору пікселів однобайтовими індексами в адаптивній палітрі;
- розроблений метод кодування відеозображень забезпечує збереження доброї якості візуального сприйняття з PSNRpalette = 46,1 дБ за рахунок адаптивного зменшення кількості кольорів повнокольорового зображення;
- при використанні запропонованого палітрового методу ефективного кодування відеозображень з постійною довжиною коду відсутня необхідність змінювати декодер.
Література
1. Cisco Visual Networking Index: Forecast and Methodology, 2012-2017 [Електронний ресурс].- Режим доступу: \www/ URL: http://www.cisco.com/en/US/solutions/collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c11-481360_ns827_Networki-ng_Solutions_White_Paper.html.- 14.06.2013.
2. Cisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2012-2017 [Електронний ресурс]. - Режим доступу: \www/ URL: http://www.cisco.com/en/US/solutions/collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c11-520862. html. - 14.06.2013.
3. RGB Pixel Formats [Електронний ресурс].- Режим доступу: \www/ URL: http://www.fourcc.org/rgb.php. - 14.06.2013.
4. Description of the Microsoft Video-1 Decoding Algorithm [Електронний ресурс]. - Режим доступу: \www/ URL: http://multim-edia.cx/video1.txt. - 14.06.2013.
5. Патент на винахід “Apparatus and method for transferring interleaved data objects in mass storage devices into separate destinations in memory” № 5293606 від 08.03.1994 / C. E. Sassenrath.
6. Kent, J. The FLIC File format [Text] / J. Kent // Dr. Dobb’s Journal, 1992.- т.18.- №3.
7. Загребнюк, В. И. Адаптивное цветовое квантование изображений [Текст] / В. И. Загребнюк, А. М. Яворский. - К: Электро-
ника и связь, 2008. - №5 - С. 30.
8. Патент на корисну модель «Палітровий спосіб зберігання цифрових кольорових зображеннь із постійною довжиною коду» №44313 від 25.09.2009 р. авторів / Воробієнко П. П., Загребнюка В. І., Кумиша В. Ю.
9. Загребнюк, В. І. Однобайтові палітрові графічні формати для зберігання цифрових кольорових зображень [Текст] / В. І. За-
гребнюк, В. Ю. Кумиш // Восточно-Европейский журнал передовых технологий. - 2009. - №4/ 2. - C. 63- 66.
10. Technische Universitat Munchen, Institute for Data Processing. TUM Multi Format Test Set [Електронний ресурс]. - Режим доступу: \www/ URL: http://www.ldv.ei.tum.de/videolab. - 14.06.2013.
