CC BY
21
СЖАТИЕ И ВОССТАНОВЛЕНИЕ ТРАНСПОРТНОЙ ВИДЕОИНФОРМАЦИИ НА ОСНОВЕ АДАПТИВНОГО ТРЕХМЕРНОГО КОСИНУСНОГО ПРЕОБРАЗОВАНИЯ
Хасан Язид Абдулхамид,
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия, Midocom@mail.ru
Рыжов Николай Геннадьевич,
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия, ngryzhov@mail.ru
Соколов Юрий Михайлович,
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия, yura.sokolov.45@mail.ru
Фахми Шакиб Субхиевич,
Институт проблем транспорта им. Н.С. Соломенко Российской академии наук;
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия, shakeebf@mail.ru
DOI 10.24411/2072-8735-2018-10280
Ключевые слова: сжатие, восстановление, квантование, трехмерное косинусное преобразование, транспортная видеоинформации, адаптивность, сканирование.
Предложен метод сжатия и восстановления транспортной видеоинформации, полученной из различных камер видеонаблюдения на транспорте, основанный на использовании адаптивного трехмерного дискретного косинусного преобразования. Кодирование и декодирование видеопоследовательностей, как правило, преследует две цели: уменьшить пространственную избыточность между элементами изображения с учетом внутрикадро-вой корреляции и временную избыточность между последовательными кадрами с учетом межкадровой корреляции. При этом принятые всех известные стандартны видеокодеков 26-х и MPEG-х.) для снижения избыточности по времени используют принцип предсказания и компенсации движения по интерполированным позициям сэмплов в опорном кадре. Предложенный метод основан на использовании адаптивного косинусного преобразования в пространстве сигнала и по времени, и отличается произвольными размерами кубов в зависимости от пространственных и временных статистических характеристик сигнала изображений. Полученные результаты показывают, что предложенный алгоритм может улучшить эффективность сжатия и восстановления видеоинформации с учетом специфики транспортных сюжетов. Высокая производительность достигается при малой и средней интенсивности движения транспортных средств. При этом вычислительная сложность алгоритма уменьшается более, чем в 6 раз при сохранении качества восстановленных видеопотоков по сравнению с стандартными кодеками. Предложенные алгоритмы на основе адаптивного косинусного преобразования позволяют: во-первых, уменьшить скорость передачи транспортных видеопоследовательностей в 2-3 раза по сравнению с классическим косинусным преобразованием с размером кубов (8 8 8). Во-вторых, существенно сокращение вычислительных затрат при реализации транспортных видеоинформационных систем наблюдения реального времени по сравнению со стандартными кодеками. Результаты работы могут быть рекомендованы специалистам в области кодирования и декодирования видеоинформации для обеспечения необходимой скорости передачи при заданном уровне искажений. Получены результаты тестирования алгоритма и приведен сравнительный анализ предложенного метода с известными методами MPEG2 и MPEG4.
Информация об авторах:
Хасан Язид Абдулхамид, аспирант кафедры систем автоматизированного проектирования, Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия
Рыжов Николай Геннадьевич, к.т.н., доцент, заведующий кафедрой систем автоматизированного проектирования Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия
Соколов Юрий Михайлович, к.т.н., доцент кафедры систем автоматизированного проектирования Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия
Фахми Шакиб Субхиевич, д.т.н., доцент, ведущий научный сотрудник Института проблем транспорта им. Н.С. Соломенко Российской академии наук, г. Санкт-Петербург, профессор кафедры систем автоматизированного проектирования Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В.И. Ульянова (Ленина), г. Санкт-Петербург, Россия
Для цитирования:
Хасан Я.А., Рыжов Н.Г., Соколов Ю.М., Фахми Ш.С. Сжатие и восстановление транспортной видеоинформации на основе адаптивного трехмерного косинусного преобразования // T-Comm: Телекоммуникации и транспорт. 2019. Том 13. №6. С. 53-59.
For citation:
Hasan Y.A., Ryzhov N.G., Sokolov Yu.M., Fahmi Sh.S. (2019). Compression and restoration of transport video information on the basis of adaptive three-dimensional cosine transformation. T-Comm, vol. 13, no.6, pр. 53-59. (in Russian)
ТРАНСПОРТ
Введение
Методы кодирования и декодирования изображений за последние десятилетия стали весьма актуальной областью исследований 111- Главной задачей обработки видеоинформации является сокращение избыточности на изображеннях и построения компактных форм представления изображений для хранения и передачи визуальных данных но каналу связи [2]. Важная объединяющая характеристика большинства изображений заключается в том, что имеются локальные области, где соседние пиксели сильно коррелированны и следовательно, имеют избыточную информацию. Для более компактного и экономного представления изображения можно испоЛьзуются различные схемы декоррелянни, которые разделяются на два класса: пространственные [3] и спектральные )4|.
Суть спектрального кодирования изображений часто заключается в применении дискретного косинусного преобразования (ДКП> 15,6], обеспечивающего хороший компромисс между способностью сжатия видеоинформации и вычислительной сложностью. Наиболее распространенным стандартом является -ГРЕС [7| - известная технология сжатия, использующая ДКП и достигающая высокой степени сжатия с меньшей потерей данных. Другим стандартом сжатия видео является МРЕв [8], обеспечивающий лучший коэффициент сжатия видео с низкой скоростью передачи при высоком качестве восстановления.
В данной статье предлагается новый адаптивный метод кодирования и декодирования изображений на основе адаптивного трёхмерного ДКП (АДКЗ1-30) с использованием модифицирован ной габлипы квантования лдя кубов различного размера [9],
В работе предложена методика оценки информационных показателей качества устройств сжатия изображений с использованием ДКП-ЗЭ. Пред л оженн ая методика использует модифицированную таблицу квантования и метод преобразования куба трехмерного изображения в одномерный массив (Ю), обеспечивающая лучшую эффективность кодирования путём изменения размера куба для ДКП с учетом пространственной корреляции н пределах одного кадра и временной межкадровой корреляции по времени. Для повышения производительности алгоритма сжатия изображении используется пирамидально-рекурсивный метод 110,11) для определения неравномерной сетки, которая в дальнейшем и определяет размер кубов в последовательности кадров вн-деогютока. Результирующее 215-изображение преобразуется в ЗП-кубики. размеры которых определяются на основе типа изображения (низкая или высокая детализация). Затем ДКП-31) Применяется к Полученным кубам.
Параллельная реализация предложенного алгоритма используется для увеличения времени вычислений двумя способами: первый использует процесс распараллеливания вычислений с использованием 8РМО (одна программа с несколькими данными), а другой метод использует графический процессор. 1 Грограм м и ров ание с языком СиПА. Производительность предложенного алгоритма оценивается с использованием некоторых из наиболее часто используемых тестовых изображений в литературе по сжатию. Результаты тестирования показывают, что предложенный алгоритм превосходит известных методов по информационным показате-
лям качества видеосистем: степени искажения, коэффициента сжатия и сложности устройств кодирования.
Поетановка задачи исследования
Проблема сжатия изображении, которой десятилетиями занимается большое количество организаций и специалистов, имеет множество решений в связи с разнообразием часто не формализованных критериев качества, априорной информации о сигналах (статистики наблюдаемых сюжетов) и имеющихся ограничений. При отом часто остается открытым вопрос об оптимальности того или иного метода кодирования. Чаще всего используются критерии достигаемого сжатия при заданной ошибке передачи, или приближения к эпенлон-эгпропии источника.
Существующие многочисленные методы кодирования чаше всего решают не столько проблему оптимизации сжатия, сколько проблему преодоления априорной неопределенности о статистике сигналов в совокупности с нечётко (¡формулированными требованиями к сложности кодера. Это часто переводит решение проблемы оптимизации сжатия из-ранга статистического синтеза в ранг эвристического синтеза (изобретательства). Вне зависимости от типа синтеза кодера традиционно целью кодирования источника (эффективного кодирования или сжатия видеосигналов) считается экономия пропускной способности каналов связи. При этом наблюдается определенный разрыв между формализацией внешних характеристик кодера - сжатия н потери информации, и его внутренних характеристик, в первую очередь* вычислительной сложности.
Объединение этих внешних и внутренних характеристик: необходимо осуществлять на основе методологии яекторно-го синтеза систем, известного в теории систем и радиотехнике [! 2 ]. В работе, в от л и ч и е от существующих подходов решения задач кодирования, развивается новая концепция учета не только степени приближения к эпсилон-энтропии источника, но и специфику транспортной видеоинформации с учетом ограничения вычислительных ресурсов транспортных видеосистем наблюдения.
Конструктивным шагом па пути применения методологии векторного синтеза кодера источника непрерывных за-шумленных сигналов явилось введение критерия качества кодера источника, включающего взвешенную сумму потери полезной информации, скорости передачи и вычислительной, сложности кодера.
Возможность широкого использования предложенного критерия эффективности кодирования обусловлена разнообразием весовых коэффициентов (векторов концепции системы по терминологии академика И. П. Моисеева |12J), соответствующих различным прикладным системам передачи зашумленных изображении. В частности, существенное различие в векторах концепции телевизионных, транспортерных и специальных бортовых системах приводят к обоснованию применения в них принципиально различных классоа кодера источника, например, с использованием или без использования адаптации к статистическим характеристикам сигналов. В отличие от распространенного на ранних этапах развития теории синтеза оптимальных видеосистем передачи и обработки информации критерия эффективпость-етоимоегь [13).
Предложенная в работе развитая концепция векторного синтеза кодеров непрерывных источников опирается исключительно на информационные показатели качества транспортных видеосистем: точность, скорость и сложность. Это позволило с единых позиций рассмотреть и определить потенциальные сферы применения различных классов кодеров непрерывных источников - в том числе, и нспользуюшнх спектральные преобразования изображений, и обрабатывающих непосредственно входные сигналы.
Оценка движения играет ключевую роль в Каждом видеокодере. Например, в Гибридном кодировании с компенсацией движения в известных кодеках, как семейства MPEGx и Н.26х движение напрямую влияет на временную точность прогнозирования и является основным фактором эффективности кодера [4, 14].
(3 предложенной методе сжатия, на основе адаптивного косинусного преобразования, движение также играет решающую роль, поскольку оно напрямую влияет на способа определении размера Кубов п соответствующие способа и коэффициента сканирования. Однако в АДКП-ЗО движение Может быть представлено явно в пространствен повременной области в виде вектора или неявно через пара-моры ориентации расположения доминантной энергии в пространственно-временном частотном пространстве. Эта двойственность представления движения позволяет разработать два различных подхода к оценке вектора параметров ориентации, необходимых д.тя оптимального размера кубов И способа сканирования коэффициентов ДКП.
Появление в последнее время технологии «система ría кристалле» и современных САПР на базе репрограммнруе-мых логических интегральных схемах привело к формализованному учёту сложности устройств кодирования и декодирования изображении. Формализация, стимулированная созданием и развитием новой элементной базы вычислительной техники в виде сложно-функциональных блоков в составе видеосистем на кристалле 112,13].
Оптимизация алгоритмов сжатия и восстановления видеоинформации должна выполняться с учетом, не только точность восстановления (среднсквадратического отклонения - С КО) и скорости создания кода (/? - числа бит на пиксель), как принято в большинстве реализуемых на сегодняшней день алгоритмах, но и с учетом сложности устройств i IV) [15,16].
Эти три величины взаимосвязаны и выбор оптимальных параметров устройств сжатия и восстановления необходимо осуществлять по критерию минимума целевой функции {Р), включающей весовые коэффициенты [£■,} этих трёх информационных показателей качества: степени искажения восстановленных изображений (Д/), скорости передачи (R) и сложности устройств кодирования (IV) [16].
Таким образом, задача оптимизации при синтезе видеосистем на кристалле в целом и, транспортных в частности, сводится к поиску оптимальных значений информационных показателен качества при заданных соответствующих весовых коэффициентах, в то же время, обеспечивающих минимум целевой функции [16];
Р = симт+ с,/г(е)+ í 2 »;(£)+ c^Ej-Mnm.
Заметим, что определение множества решений е учетом ограничений для данной функции является труднейшим эта-
пом всего процесса оптимизации при проектировании видеосистем из-за антагонистических и конфликтных ситуаций, в условиях вероятностной и нечеткой неопределенно^ сти статистических характеристики нестационарного источника изображений.
В данной работе решаются задачи:
- разработки адаптивного метода спектрального косинусного преобразования изображений, учитывающего пространствен но-времен ной корреляции вндеопотоков. полученных из различных камер наблюдения на транспорте:
- определения информационных показателей качества системы сжатия изображений: точность, как среднеквадра-тм чес кого отклонения (CKQ), скорости передачи (Й) и сложность кодирующих устройств {№');
- сравнения результатов исследовании с известными методами Кодирования и декодирования изображений (МPEG2 и MPEG4) для различных классов изображений транспортной системы наблюдения.
Описание предложенного адаптивного метода ДКП-ЗО
Адаптивное трёхмерное ДКП (АДКП-ЗО). ДКП Представляет собой важный инструмент декорреляции из-за симметричности функции косинуса и осуществляет уплотнение энергии путём извлечения только необходимых коэффициентов частотной области сигнала. Другими словами ДКП позволяет четко разделить исходное изображение на две области - высокочастотную (DC - коэффициенты ДКП) 11 низкочастотную (АС - коэффициенты ДКП) [1,4].
Процесс сжатия и восстановления изображений включает четыре этапа (рис. 1).
Этап 1, Формирование неравномерной сетки ДКП.
Важным этапом при реализации адаптивного метода спектрального кодирования транспортной видеоинформации является формирование неравномерной сетки для выполнения ДКП.
Для определения оптимальных размеров кубов, подвергающихся в дальнейшем АДКП-ЗО производится анализ пространственной корреляции локальных областей первого кадра куба и анализ временной корреляции для определения числа кадров куба.
Анализ пространственной корреляции и разбиение изображения на полигоны различной квадратной формы и размера на основе пирамидально-рекурсивного метода (ПРМ) сжатия видеоинформации (рис. I). Подробное описание данного метода можно найти в работах [10,1 Г).
Алгоритм сжатия видео АДКП-ЗО, основанный на трехмерном ДКП берет цифровой транспортный видеопоток полного движения и делит его на группы по N кадров.
Каждая группа рассматривается как трехмерное изображение, где X и Y-проетрапет венные компоненты, а Z-временная составляющая. Первый кадр изображен! г я разделенный па предыдущем этане па полигоны размером (например, JPEG полигон имеет размер 8x8), образующих N\N\N (где N четное) кубов.
Анализ временной корреляции выполняется па основе сравнения спектральных коэффициентов ДК11 кубов размера 4x4x4 в пределах кубов большего 32x32x32 или 64x64x64.
55
¥
ТРАНСПОРТ
Транспортный вйдедпотокн
В БД
Канал
Блок управления
ДКП 4*4x4 | ДКП 8-Ях4 |
| Гпр1нлнтзлм|пе~| || Вертикалы юс
I ■ - 1
* 1 " 1 'Г ННдкп ; |
Знгзагскан.
I
f
ПРМ ВОССТа-ПОВЛСНИЯ
Адаптивное сканированне и дскнан киинис
арифметическое декодирование
Канал
¿-I Л'Ч A/-I
z х i/(w>
F( и, V, и* )=а( и, L )а{ v, N )а( w\ М) eos£x+l)wt cos(2>t+1);ot cos(2z+l)vni
2L
2N
2 M
где Р - значение коэффициента прямого косинусного преобразования, х.у,г- координаты пикселя в трёхмерном пространстве куба размером М^ИХ-Ь, и, V, и>—координаты коэффициента преобразования. €*.((,/)= ¡ш
при / - и ( ПрН этом
• [,ри ' * о
)' принимает значение М, N или ¿.
б) для обратного АДКП-ЗО определяется по формуле:
Лх>и)=
Т-\ М-\ iV-l f/jliw1
и=0 (И)
2M
2 N
Рис. 1. Структурная схема видеосистемы сжатия и восстановления транспортной видеоинформации
Для определения типа движения и соответствующего количества кадров в кубе задаются значения порогов (#), которые определяют скорости движения объектов (в нашем случае, транспортных средств) на дорогах путём сравнения значений коэффициентов ДКП. Далее вычисляется разность коэффициентов первого кадра и последнего (А) и сравнивается с заданными порогами:
— при Д</?| - движение отсутствует и ДКП по времени не выполняется;
— при р\ <Д<р± — движение слабое и размер куба устанавливается равным 16^16x16;
— при р! <Д<р1 — движение среднее и размер куба равен 8x8x8;
— при Д>й - движение сильное и размер куба равен 4x4x4.
Этап 2. ДКП-ЗЭ
В кодеке на основе АДКП-ЗО видеопоследовательность делится на несколько кубов где М^Я-это размеры
матрицы пикселей изображения, а - количество последовательных кадров.
АДКП-ЗО представляется как:
а) для прямого АДКП-ЗО:
где f\x,y,z)- значение яркости пикселя с координатами (х,у,г) в пределах куба после обратного ДКП.
Параллельная архитектура для вычисления АДКП-20 основана на методе декомпозиции фреймов строк и столбцов и использует один и тот же одномерный АДКП-1D модуль для всех трех измерений.
Этап 3, Адаптивное сканирование и квантования.
Эффективное сканирование в любой схеме сжатия- это оптимальное упорядочивание квантованных коэффициенты ДКП в вектор, подходящий для последующего энтропийного кодирования и передачи по каналу связи.
В известных работах по ДКП-ЗО кодированию были предложены различные порядки сканирования коэффициентов ДКП, такие как плоскостное сканирование, 3D расширение зигзагообразного сканирования [17] и более сложное, параболическое сканирование [18]. Однако ни один из этих паттернов сканирования не приспосабливается к движению в кодируемой видеопоследовательности, т.е. все они игнорируют тот факт, что важные элементы имеют тенденцию группироваться вдоль плоскости, ориентация которой определяется доминирующим движением в видеопоследовательности. Это приводит к неоптимальному упорядочению коэффициентов и более коротким нулевым сериям, что, в свою очередь, снижает эффективность кодирования длин серии и в конечном счете на общего коэффициента сжатия.
Данное обстоятельство четко демонстрируется при анализе геометрических форм транспортных средств (рис. 2).
I ¡редложенный порядок сканирования коэффициентов позволяет оптимально обеспечить порядок сканирования коэффициентов ДКП и тем самим увеличить общий коэффициент сжатия.
Процесс адаптивного сканирования транспортного видеопотока характеризуется следующими свойствами:
1) обход квантованных коэффициентов должен быть по результату определения анизотропии (направления) в пределах каждого кадра (например, зигзагообразное сканирование в JPEG / MPEG) и работе, в отличие от известных косинусных преобразований, используются следующие обходы (рис. 2):
- горизонтальное сканирование;
- вертикальное сканирование;
- зигзагообразное сканирование.
2) порядок сфуп пировал на нулевые и ненулевые коэффициенты для последующего кодирования длин серии;
3) обеспечение максимальной длинны нулевых серий коэффициентов ДКП, чтобы завершающий кодер капала мог сохранить большего количества битов.
111864 280 105-56 20-2321 19-31)420,2 -71 7 0 Т 0 -1 Q-21D12 ■2 -2 -1 0 0 0 0 000 000 ÎJIJOÎJUU
1Ш5
101 4 S-1-1 0 00 оооооаио 00000000 00000000 BOOOOOUO 00000000 1ОО [I о о и о оооооооо
3324000000 зоооооооо
«оыоооо гооооооо
1001 00000 О ¡>000000 00100000 —>00000000 —-
5О00В000 00000000
1000000 00000000
, 1000000 000000(10
■50000000 00000000
tipinimTj-[j.HL>c
, ч:::|.1 ;-. -11 II .'
Bt'p!h..i;. |.л
скаинрамшне
TOW 1 -103-58 522Û-13; ■ 135 14 ВО -43 -II 4M M 153-76 33 33-13 52-С-12 — 13 20 6 40 45-2510 — 1514-22-il -1 1 О
ÏÎ
-701-26 301112-1 •21 43 30-13 1 70110 .13-11-3-2-11002
«0-3-1 1 ООО -301 00000 -4О С 1 0000 >-10000000 -1OOOO0GO -10000000 00000000 00000000
Ъп-шг^кан
Рис. 2. Способы сканирования блоков ДКП изображении
В работе в качестве исходных визуальных данных были взяты видеопотоки из различных камер наблюдения на дорогах мегаполиса. Все транспортные видеоинформации разделены на три группы в зависимости от типа движения и интенсивности транспортных средств (рис. 1).
В результате исследования большого объема видеоданных были сформулированы три класса видеопотоков: а) видеопоток без движения (ВБД), б) видеоноток со средним движением (ВСД) и в) видеопоток с высоким движением (ВВД) (рис. 1).
Адаптивное квантование выполнялось с порогами, полученные с учетом статистических характеристик распределения спектральных коэффициентов и уровнями - в серединах интервалов квантования [5, 6].
Следует отметить важную особенность предложенного метода и заключающего в том, что при высокой степени пространственной корреляции в пределах кадра ДКП не выполняется и на этапе восстановления всем пикселям присваиваются среднее значение яркости. При высокой степени межкадровой корреляции (отсутствие движения), то ДКП по времени также не выполняется и обработка куба в ограничивается ДКП для первого кадра.
Этап 4. Арифметическое кодирование
Завершающим этапом процесса кодирования является энтропийное кодирование. Подобно сжатию неподвижных изображений [19], используется кодирование Хаффмана. После квантования и адаптивного сканирования все ненулевые коэффициенты подвергаются кодированию длин серии рядом с предшествующими нулевыми коэффициентами, т. е. используется кодирование длин серий [20,21]. Для А ДКП-ЗО коэффициентов были получены новые словари кодов (таблица).
Следует отметить, интервал ОС-коэффициента составляет от 0 до 4095. Весь интервал разделен на 13 по дин тер валов, первый из которых содержит только значение 0, второй - значения 1 и 1, Третий - значения 3, 2,2,3 и т. д.
Каждый DC-коэффициент сначала определяется его интервал, а затем кодируется его положением в интервале. Для каждого подинтервала предлагается уникальное кодовое слово. Пусть интервал |2 —3| представлен кодовым словом 001, тогда код энтропии для значения DC = 3 будет 00100, а для DC= 2 будет 00101 и т.д. Как упоминалось выше, в пределах одного блока (куба) коэффициенты переменного тока переупорядочиваются с помощью адаптивного сканирования), ■затем кодирование длин серий и заканчивается идентификатором endot-block (ЕОВ). Предполагая, что N = 4,8,16 и 32, кубы содержат от 255 до 32767 АС-коэффициентов. Подобно AD-коэффициентам, весь интервал возможных значений делится на 11 подинтервалов и теоретически значения длины пробега варьируются от 0 до 32767. Таким образом, предлагаемый словарь кодов для АС-коэффициентов содержит (511-32767)х 11+ЕОВ=(5,622-360437) уникальных кодовых слов [22].
Согласно обширному словарю кодов, менее распространенные значения АС представлены широкими кодовыми словами (см. таблицу). Например, кодовое слово для субинтервала (256-511) имеет ширину 15 бит, для (512-1,023) 26 бит и для субинтервала ( 1,024-2,047) необходимо 27 бит,
В выходном битовом потоке за каждым кодовым словом следует число, определяющее значение коэффициента в по-динтервале. Очевидно, что при условии различных временных измерений в видеокубе словарь кодов Хаффмана для АС-коэффициентов, типа и порядка сканирования должны быть изменены.
Таблица кодовых слов ДКП-ЗО
Интервал Новое кодовое слови Число бит
[ЕОВ] 001000 6+0
Ш 01 2+1
[2-31 000 3+2
[4-71 110 3+3
[8-15] 1001 4+4
116-31 [ 10100 5+5
[32-631 0010011 7+6
[64-1271 10111000 S+7
[128-2551 00110001100 11+8
[256-511] 00110101001., 15+9
[512-1,023] 00110001101.. 26+10
[1024-20471 001100011010... 26-11
Результаты исследований различных транспортных видеопотоков
Эксперименты проводились над тремя различными транспортными видео потокам и: а) видео поток с малым движением, б) со средним движением и в) с высоким движением.
Главным преимуществом использования косинусного преобразования с переменным размером кубов, как в пространстве сигнала, так и по времени является:
6) существенное снижение вычислительной сложности (в среднем более, чем в 6 раз) по сравнению с стандартом MPEG и в среднем 2-3 раза больше по сравнению с известным косинусным преобразованием фиксированного размера блоков (рис, 3).
а) значительное уменьшение среднеквадратического отклонения СКО по сравнению с известными ДКП-ЗО и MPEGx. При этом скорости передачи видеоинформации почти не отличаются для всех кодеков и равна /?=0,01 бит/пиксель (рис. 4). А коэффициент сжатия предложенного
57
¥
ТРАНСПОРТ
метода, в среднем, в 2-3 раза больше для случаев видеопотока со слабым л средним движением.
кг 80 60 40 20 10
j ^W (оперУпикссль)
Л \ ! \ j — • ■» MPEG2 _ ЛДК11-Ю i
.........vo..... V \ ____\ _ ДКП-jD j •--i-. MPEG4 i
>4. ** —. i i — j
ч 4 Чь* .....i
V — f* ' ■ [
1 *
КСбит/пиксель)
0 0.1*10'" 0,9х 10" 0,01 0,09 0,1 0,9 1,2 Рис, 3. Зависимость сложности алгоритма от скорости передачи
Потенциальным применением предлагаемого трехмерного адаптивного ДКП подхода могут быть портативные цифровые устройства, такие как мобильный телефон, беспилот-иики, интеллектуальные камеры наблюдения и др.
351 L
......■* t............Wvii MPEG2 -
__и, АДКП-.Ю
ско
\\v \........ф- ДКП-ЗП
S. U--u MPEG4
—l»i......i>*......................
25, 20 15 10 ОД
0 0,1x10 " 0.9x10г 0Д1 0.09 0Л 09 Рис. 4. Зависимость СИГ/ШУМ от скорости передачи передачи
Заключение
Сжатие изображений является чрезвычайно важной частью современных интеллектуальных транспортных видеосистем наблюдения. Имея возможность сжимать видеоинформации до доли их исходного размера, можно сэкономить ценное и дорогое дисковое пространство памяти. С появлением технологии «система на кристалле», передача изображений с мест чрезвычайных ситуации и аварий в диспетчерский центр управления в реальном времени становится возможным в современных транспортных видеосистемах на кристалле.
Из вышеприведенного исследования можно сделать следующие основные выводы:
1) предлагаемый метод на основе адаптивного косинусного преобразования принимает меньше значение средне-к в ад рати чес кого отклонения, чем методы МРКС2, МРЕС4 и классический метод косинусного преобразования без адаптации размеров кубов в 2-2,5 раза;
2) применение адаптивного способа определения размеров кубов для косинусного преобразования позволило уве-
личить коэффициента сжатия в среднем в 3 раза при сохранении субъективного качества по сравнению с вышеуказанными методами;
3) полученные статистические характеристики и зависимости количества блоков различного размера, подвергающихся косинусному преобразованию, от степени однородности областей изображений позволяют уменьшить вычислительную сложность устройств кодирования и декодирования видеоинформации в транспортных системах наблюдения более, чем в 6 раз при сохранении качества видеоинформации.
Литература
1. Gonzalez it. С. and iVooik RE. Digital Image Processing, 3rd ed. Upper Saddle River, NJ: Prentice Hall, 2008, pp. 547-635.
2. Sayood K, Introduction to Data Compression. 3rd ed. Amsterdam, Boston: Elsevier, 2006, pp. 6-10.
3. Крюкова M.C., Фахми Ш.С. и др Методы, алгоритмы кодирования и классификация изображений морских судов ft Морские интеллектуальные технологии, № I {43). Т.3.2010. С. 145-155,
4. Ричардсон Ян. Вндеокоднрование. 11.264 и MPEG-4 — стандарты нового поколения. М.: Техносфера, 2005. 368 с.
5. Фахми Ш.С.. Зубакнн И.Л. Адаптивный алгоритм кодирования видеоинформации на основе трехмерного дискретного косинусного преобразования Н Изв. вузов России. Сер. Радиоэлектроника. 2010, Вып. I. С. 49-54.
6. Фахми Ш. С, Ибатушин С. М.и др. Пате кг ¡'Ф № 2375КЗ 8, Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования. Опуб. 10.12, 2009, Б. И. № 34.
7. Wallace С.К. "The JPEG still picture compression standard // IEEE Transactions on Consumer Electronics, vol. 38, no. 1. pp. 18-34, Eeb. 1992.
8. Sikoru T. MPEG digital video-coding standards И IEEE Signal Processing Magazine, vol. 14, no. 5, pp. 82-100, Sep. 1997.
9. Mulla A„ Baviskar J„ Baviskar A and Warty C. Image compression scheme based on zig-zag 3D-DCT and LDPC coding // Proc. International Conference on Advances in Computing, Communications and Informatics, 2014, pp. 2380-2384.
10. Фахми Ш.С. Альмахрук M. №. Соколов Ю. М„ Бобровский А. П.. ЕидМ. М, Сале-ч А. Точность, скорость и сложность устройств каадронания изображений по опорным точкам И Научно-технический вестник информационных технологии механики и оптики. 2016. Том 16. №4. С, 678-689,
11. Фахми Щ С, Альмахрук М„ Сфем А.. БоброваШй А, И.. End ММ. Информационные показатели качесгва устройств кодирования по опорным точкам // Вопросы радиоэлектроники, сер. Т ехника телевидения, 2016, вып. 3. С. 86-9!.
12. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981.488 с.
13. Ленин Б, Р.. Щкцрц В. Вероятностные модели и методы и системах связи и управления. М„ Радио и сиять, 1985, 312 с.
14. Методы компьклерной обработай изображений / под ред. СоЙфера В.Л. уч, для ВУЗов. М.: ФИЗМАТЛИТ, 2003, 784 с.
15. Фахми Ш.С., Цыцулин А.К.. Колесников Е.И.. Очкур С.В. Функционал взаимообмена сложности и точности систем кодирования непрерывного сигнала // Информационные технологии. 20i I. № 4. С.71-77.
16. Фахми Ш.С. Концепция проектирования интеллектуальных транспортных видеосистем на основе технологии «система на кристалле» И Журнал университета водных коммуникации, 2013. Выи, !1 (XVI11),C, 79-88.
17. В. Уео, В. Liu, Volume rendering of DCT-based compressed 3D scalar data, IEEE Trans. Visualization and Computer Graphics I (11(1995)29-43.
18. M. Lae, R. Chan. D. Adjeroh, Quantization of 3D-DCT eoe cients and scan order for video compression, J. Vis. Commtni. image Represent. 8 (4) (1997)405-422.
19. Lee MC, Chu nK.W„ Adjeroh DM. Quantization of3D-DCT coefficients and Scan Order for Video Compression H Journal ol'visual communication and image representation. Vol. 8. No. 4, Dee., 1997, pp. 405-422.
20. Bozinovic N„ Kowad.l. Scan order and quantization for 3D-DCT coding. S&T/SP1E Symposium on Image and Video Communications and Proc., Jul. 8-11, 2003,
21. Mehanna A., Aggoun A.. Abditlfatah O.. Swash M.R. and Tsekleves E. Adaptive 3D-DCT based compression algorithms for integral images // Broadband Multimedia Systems and Broadcasting, pp. 1-5, 2013.
22. Priyudarxhini K.S. and Shurvani O.S. A survey on parallel computing of image compression algorithms // Proc, international Conference, Computational Systems for Health & Sustainability, April 2015. pp. 178-183.
58
IP
COMPRESSION AND RESTORATION OF TRANSPORT VIDEO INFORMATION ON THE BASIS OF ADAPTIVE THREE-DIMENSIONAL COSINE TRANSFORMATION
Hasan Yazeed A., Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia, Midocom@mail.ru Ryzhov Nikolai G., Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia, ngryzhov@mail.ru Sokolov Yuri M., Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia, yura.sokolov.45@mail.ru Fahmi Shakeeb S., Solomenko Institute of Transport Problems of the Russian Academy of Sciences; Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia, shakeebf@mail.ru
Abstract
The method of compression and restoration of transport video information obtained from various surveillance cameras in transport, based on the use of adaptive three-dimensional discrete cosine transformation. Encoding and decoding of video sequences, as a rule, pursues two goals: to reduce the spatial redundancy between image elements taking into account intra-frame correlation and temporal redundancy between successive frames taking into account inter-frame correlation. At the same time, all known video codecs (H. 26-x and MPEG-x) to reduce time redundancy, the principle of predicting and compensating the motion of interpolated sample positions in the reference frame is used. The proposed method is based on the use of adaptive cosine transformation in the signal space and time, and is characterized by arbitrary cube sizes depending on the spatial and temporal statistical characteristics of the image signal. The results show that the proposed algorithm can improve the efficiency of compression and recovery of video information, taking into account the specifics of transport subjects. High performance is achieved at low and medium traffic. In this case, the computational complexity of the algorithm is reduced by more than 6 times while maintaining the quality of the restored video streams compared to standard codecs. The proposed algorithms based on the adaptive cosine transformation allow: first, to reduce the transmission speed of transport video sequences by 22.5 times compared to the classical cosine transformation with the size of cubes (8 8 8). Secondly, significantly reducing the computational cost of the implementation of transport video surveillance systems in real time compared to standard codecs. The results of the work can be recommended to specialists in the field of encoding and decoding of video information to provide the necessary transmission speed at a given level of distortion. The results of testing the algorithm and a comparative analysis of the proposed method with the known methods MPEG2 and MPEG4.
Keywords: compression, reconstruction, quantization, three-dimensional cosine transform, the transport of video information, the adaptive scanning.
References
1. Gonzalez R.C. and Woods R.E. (2008). Digital Image Processing, 3rd ed. Upper Saddle River, N.J: Prentice Hall, pp. 547-635.
2. Sayood K. (2006). Introduction to Data Compression, 3rd ed. Amsterdam, Boston: Elsevier, pp. 6-10.
3. Kryukov M.S. Fahmi S.S. etc. (2019). Methods, algorithms of coding and classification of images of sea vessels. Marine intelligent technologies. No. 1 (43). Vol. 3, pp. 145-155.
4. Richardson Ian. Video coding. H. 264 and MPEG-4 - new generation standards. Moscow: Technosphere, 2005. 368 p.
5. Fahmi sh. S., Zubakin I. A. (2010). Adaptive algorithm of video information coding based on three-dimensional discrete cosine transformation. Izv. University of Russia. Ser. Radionics. Issue. 1, pp. 49-54.
6. Fahmi S. S., Ibatullin S. M. et al. Patent RF № 2375838. Method of encoding and decoding video based on three-dimensional discrete cosine transformation. Pub. 10.12. 2009, B. I. № 34.
7. Wallace G.K. (1992). The JPEG still picture compression standard. IEEE Transactions on Consumer Electronics, vol. 38, no. 1, pp. 18-34, Feb. 1992.
8. Sikora T. (1997). MPEG digital video-coding standards. IEEE Signal Processing Magazine, vol. 14, no. 5, pp. 82-100, Sep. 1997.
9. Mulla A. Baviskar J., Baviskar A., and Warty C. (2014). Image compression scheme based on zig-zag 3D-DCT and LDPC coding. in Proc. International Conference on Advances in Computing, Communications and Informatics, pp. 2380-2384.
10. Fahmi Sh.S., Almagro M.M., Sokolov Yu.M., Bobrowski A.I., Eid, M.M., Salem A. (2016). Precision, speed and complexity of the device coding of images using control points. Scientific and technical journal of information technologies, mechanics and optics. Vol. 16. No. 4, pp. 678-689.
11. Fahmi Sh. S., Almagro M., Salem, A., Bobrovsky A. I., Eid, M. M. (2016). An Information measure of the quality of encoders at the pivot points. Questions of radio electronics, ser. Television engineering, vol. 3, pp. 86-91.
12. Moiseev N.N. (1981). Mathematical problems of system analysis. Moscow: Science. 488 p.
13. Levin B.R., Schwartz V. (1985). Probabilistic models and methods in communication and control systems. Moscow: Radio and communication. 312 p.
14. Methods of computer image processing. Edited by V.A. Soifer academic year for Universities. Moscow: FIZMATLIT, 2003, 784 p.
15. Fahmi Sh.S., Sycolin A.K., E.I. Kolesnikov, S.V. (2011). Occur the functionality of the interchange complexity and accuracy of coding systems a continuous signal. Information technology. No. 4, pp. 71-77.
16. Fahmi Sh.S. (2013). The Concept of designing intelligent transport video systems based on the technology "system on a chip". Journal of the University of water communications. Issue. II (XVIII), pp. 79-88.
17. Yeo B., Liu B. (1995). Volume rendering of DCT-based compressed 3D scalar data. IEEE Trans. Visualization and Computer Graphics 1 (1), 29-43.
18. Lee M., Chan R., Adjeroh D. (1997). Quantization of 3D-DCT coe_cients and scan order for video compression, J. Vis. Commun. Image Represent. 8 (4), 405-422.
19. Lee M.C., Chan K.W., Adjeroh D.A. (1997). Quantization of 3D-DCT coefficients and Scan Order for Video Compression. Journal of visual communication and image representation, Vol. 8. No. 4, Dec, pp. 405-422.
20. Bozinovic N., Konrad J. (2003). Scan order and quantization for 3D- DCT coding. S&T/SPIE Symposium on Image and Video Communications and Proc., Jul. 8-11, 2003.
21. Mehanna A., Aggoun A., Abdulfatah O., Swash M.R., and Tsekleves E. (2013). Adaptive 3D-DCT based compression algorithms for integral images. Broadband Multimedia Systems and Broadcasting, pp. 1-5.
22. Priyadarshini K.S. and Sharvani G.S. (2015). A survey on parallel computing of image compression algorithms. Proc. International Conference, Computational Systems for Health & Sustainability, April 2015, pp. 178-183.
Information about authors:
Yazeed A. Hasan, postgraduate of Computer Aided Design, Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia
Nikolai G. Ryzhov, PhD, Associate Professor, head of Computer Aided Design, Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia
Yuri M. Sokolov, PhD, Associate Professor of Computer Aided Design, Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia
Shakeeb S.Fahmi, Dr.Tech.Sc, docent, Leading researcher, Solomenko Institute of Transport Problems of the Russian Academy of Sciences;
Professor of Department of Computer Aided Design Saint Petersburg Electrotechnical University "LETI", St. Petersburg, Russia
