Научная статья на тему 'Адаптивное трехмерное косинусное преобразование транспортных сюжетов'

Адаптивное трехмерное косинусное преобразование транспортных сюжетов Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
163
23
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СЖАТИЕ / ТРАНСПОРТНЫЕ ВИДЕОПОТОКИ / КОСИНУСНОЕ ПРЕОБРАЗОВАНИЕ / КОРРЕЛЯЦИЯ / ВЫЧИСЛИТЕЛЬНАЯ СЛОЖНОСТЬ / COMPRESSION / TRANSPORT VIDEO STREAMS / COSINE TRANSFORM / CORRELATION / COMPUTATIONAL COMPLEXITY

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Хасан Я. А., Фахми Ш. С.

Предмет статьи. Предложен метод кодирования и декодирования видеоинформации, полученной из камер видеонаблюдения на транспорте, основанный на использовании адаптивного трехмерного дискретного косинусного преобразования. Сжатие видео, как правило, преследует две цели: уменьшить пространственную избыточность между элементами изображения и временную избыточность между последовательными кадрами. Основным принципом пространственного кодирования является учет корреляции яркостей соседних пикселей, а для межкадрового кодирования основной принцип использование предсказания и компенсации движения по интерполированным позициям сэмплов в опорном кадре во всех известных стандартных видеокодеках, таких как H.26х и MPEG-х. Метод основан на использовании адаптивного косинусного преобразования в пространстве сигнала и по времени и отличается произвольными размерами кубов в зависимости от пространственных и временных статистических характеристик сигнала изображений. Основные результаты показывают, что предложенный алгоритм может улучшить эффективность кодирования и декодирования изображений с учетом специфики транспортных сюжетов. Высокая производительность достигается при малой и средней интенсивности движения транспортных средств. При этом вычислительная сложность алгоритма уменшается в 4-5 раз при сохранении качества восстановленных видеопотоков по сравнению с стандартными кодеками. Практическая значимость. Предложенные алгоритмы на основе адаптивного косинусного преобразования позволяют, во-первых, уменьшить скорость передачи транспортных видеопоследовательностей в 2-2,5 раза по сравнению с классическим косинусным преобразованием с размером кубов (8 × 8 × 8). Во-вторых, существенное сокращение вычислительных затрат при реализации транспортных видеоинформационных систем наблюдения реального времени по сравнению со стандартными кодеками. Результаты работы могут быть рекомендованы специалистам в области кодирования и декодирования видеоинформации для обеспечения необходимой скорости передачи при заданном уровне искажений.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Хасан Я. А., Фахми Ш. С.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Adaptive three-dimensional discrete cosine transform of transport images

Subject of Research. The paper presents encoding and decoding method for video information obtained from video surveillance cameras in transport. The method is based on the usage of adaptive three-dimensional discrete cosine transform. Video compression typically has two goals: to reduce spatial redundancy between image elements and temporal redundancy between successive frames. The basic principle of spatial encoding is the consideration of the correlation of the adjacent pixel brightnesses, and the basic principle of interframe encoding is prognosis and motion compensation for the interpolated sample positions in the reference frame in all known standard video codecs such as H. 26х and MPEG-x. Method. The method is characterized by applying an adaptive cosine transform in the signal space and with respect to time, and the sizes of the cubes are unspecified depending on spartial and time statistical characteristics of the image signal. Main Results. The results show that the proposed algorithm can improve the encoding and decoding efficiency of images taking into account the specifics of the transport images. The best performance is achieved at low and medium traffic intensity. At the same time, the algorithm computational complexity is reduced by 4-5 times while maintaining the quality of the restored video streams in comparison with codec standards. Practical Relevance. The proposed algorithms based on adaptive cosine transform give the possibility: firstly, to decrease the transmission rate of the transport sequences by 2-2.5 times compared to the classical cosine transform with the size of cubes equal to (8 × 8 × 8); secondly, to reduce significantly computational costs in the implementation of transport video surveillance systems in real time compared to standard codecs. The results of the work can be recommended to specialists in the field of video information encoding and decoding to provide the necessary transmission speed at a given distortion level.

Текст научной работы на тему «Адаптивное трехмерное косинусное преобразование транспортных сюжетов»

НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ май—июнь 2019 Том 19 № 3 ISSN 2226-1494 http://ntv.itmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTCS May—June 2019 Vol. 19 No 3 ISSN 2226-1494 http://ntv.itmo.ru/en/

ИНШОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

УДК 519.25, 004.93+ 621.397.13.037.372 doi: 10.17586/2226-1494-2019-19-3-482-491

АДАПТИВНОЕ ТРЕХМЕРНОЕ КОСИНУСНОЕ ПРЕОБРАЗОВАНИЕ ТРАНСПОРТНЫХ СЮЖЕТОВ Я.А. Хасан^ Ш.С. Фахми^

аСанкт-Петербургский государственный электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация

ьИнститут проблем транспорта им. Н.С. Соломенко Российской академии наук, Санкт-Петербург, 199178, Российская Федерация Адрес для переписки: [email protected] Информация о статье

Поступила в редакцию 01.04.19, принята к печати 25.04.19 Язык статьи — русский

Ссылка для цитирования: Хасан Я.А., Фахми Ш.С. Адаптивное трехмерное косинусное преобразование транспортных сюжетов // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 3. С. 482-491. doi: 10.17586/2226-1494-2019-19-3-482-491

Аннотация

Предмет статьи. Предложен метод кодирования и декодирования видеоинформации, полученной из камер видеонаблюдения на транспорте, основанный на использовании адаптивного трехмерного дискретного косинусного преобразования. Сжатие видео, как правило, преследует две цели: уменьшить пространственную избыточность между элементами изображения и временную избыточность между последовательными кадрами. Основным принципом пространственного кодирования является учет корреляции яркостей соседних пикселей, а для межкадрового кодирования основной принцип — использование предсказания и компенсации движения по интерполированным позициям сэмплов в опорном кадре во всех известных стандартных видеокодеках, таких как Н.26х и MPEG-х. Метод основан на использовании адаптивного косинусного преобразования в пространстве сигнала и по времени и отличается произвольными размерами кубов в зависимости от пространственных и временных статистических характеристик сигнала изображений. Основные результаты показывают, что предложенный алгоритм может улучшить эффективность кодирования и декодирования изображений с учетом специфики транспортных сюжетов. Высокая производительность достигается при малой и средней интенсивности движения транспортных средств. При этом вычислительная сложность алгоритма уменшается в 4-5 раз при сохранении качества восстановленных видеопотоков по сравнению с стандартными кодеками. Практическая значимость. Предложенные алгоритмы на основе адаптивного косинусного преобразования позволяют, во-первых, уменьшить скорость передачи транспортных видеопоследовательностей в 2-2,5 раза по сравнению с классическим косинусным преобразованием с размером кубов (8 х 8 х 8). Во-вторых, существенное сокращение вычислительных затрат при реализации транспортных видеоинформационных систем наблюдения реального времени по сравнению со стандартными кодеками. Результаты работы могут быть рекомендованы специалистам в области кодирования и декодирования видеоинформации для обеспечения необходимой скорости передачи при заданном уровне искажений. Ключевые слова

сжатие, транспортные видеопотоки, косинусное преобразование, корреляция, вычислительная сложность

doi: 10.17586/2226-1494-2019-19-3-482-491

ADAPTIVE THREE-DIMENSIONAL DISCRETE COSINE TRANSFORM

OF TRANSPORT IMAGES Ya.A. Hasana, Sh.S. Fahmiab

aSaint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation

bSolomenko Institute of Transport Problems of the Russian Academy of Sciences, Saint Petersburg, 199178, Russian Federation Corresponding author: [email protected] Article info

Received 01.04.19, accepted 25.04.19 Article in Russian

For citation: Hasan Ya.A., Fahmi Sh.S. Adaptive three-dimensional discrete cosine transform of transport images. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 3, pp. 482-491 (in Russian). doi: 10.17586/2226-1494-2019-19-3-482-491

Abstract

Subject of Research. The paper presents encoding and decoding method for video information obtained from video surveillance cameras in transport. The method is based on the usage of adaptive three-dimensional discrete cosine transform. Video

compression typically has two goals: to reduce spatial redundancy between image elements and temporal redundancy between successive frames. The basic principle of spatial encoding is the consideration of the correlation of the adjacent pixel brightnesses, and the basic principle of interframe encoding is prognosis and motion compensation for the interpolated sample positions in the reference frame in all known standard video codecs such as H. 26х and MPEG-x. Method. The method is characterized by applying an adaptive cosine transform in the signal space and with respect to time, and the sizes of the cubes are unspecified depending on spartial and time statistical characteristics of the image signal. Main Results. The results show that the proposed algorithm can improve the encoding and decoding efficiency of images taking into account the specifics of the transport images. The best performance is achieved at low and medium traffic intensity. At the same time, the algorithm computational complexity is reduced by 4-5 times while maintaining the quality of the restored video streams in comparison with codec standards. Practical Relevance. The proposed algorithms based on adaptive cosine transform give the possibility: firstly, to decrease the transmission rate of the transport sequences by 2-2.5 times compared to the classical cosine transform with the size of cubes equal to (8 x 8 x 8); secondly, to reduce significantly computational costs in the implementation of transport video surveillance systems in real time compared to standard codecs. The results of the work can be recommended to specialists in the field of video information encoding and decoding to provide the necessary transmission speed at a given distortion level. Keywords

compression, transport video streams, cosine transform, correlation, computational complexity

Введение

Проблема обработки видеоинформации на транспорте, которой десятилетиями занимается большое количество организаций и специалистов, имеет множество решений в связи с разнообразием, часто не формализованных критериев качества, априорной информации о сигналах (статистические свойства транспортных сюжетов) и имеющихся ограничений [1, 2]. При этом остается открытым вопрос об оптимальности того или иного способа преобразования и представления изображений для дальнейшей передачи в реальном времени. Чаще всего используется критерий возможно достигнутого коэффициента сжатия при допустимом уровне искажения [3, 4].

Основной целью интеллектуальных транспортных систем для создания проекта «Умный город» является повышение безопасности, эффективности и координации в развитии транспортной инфраструктуры с применением информационных технологий и коммуникаций. Для этого необходимо иметь системы, способные собирать дорожную информацию и осуществлять мониторинг дорожного движения [5, 6]. Следовательно, сжатие видеоинформации становится актуальной проблемой для передачи больших объемов визуальных данных, которые необходимо доставлять в центры управления и регулирования [6, 7].

Наиболее распространенным способом сжатия и передачи видеоинформации является дискретное косинусное преобразование (ДКП), особенность которого состоит в том, что некоторые локальные участки изображения можно охарактеризовать небольшим количеством трансформант ДКП [8-10]. При этом использование ДКП основывается на предпосылке, что пиксели на изображениях обладают определенной степенью пространственной корреляции. Также аналогичным образом пиксели в последовательных кадрах имеют высокую временную корреляцию. Следовательно, суть процесса сжатия сводится к тому, что пространственные (коррелированные) данные преобразуются в трансформанты (некоррелированные коэффициенты) ДКП. Очевидно, что преобразование должно использовать тот факт, что информационное содержание отдельного пикселя относительно невелико, т. е. в значительной степени визуальный вклад пикселя можно предсказать, на основе аппроксимации соседних с ним пикселей [11, 12].

Постановка задачи адаптивного сжатия и передачи изображений

Появление в последнее время технологии «система на кристалле» и современных системах автоматизированного проектирования на базе реконфигурируемых систем, подлежащих репрограммированию, привело к формализованному учету сложности устройств кодирования и декодирования изображений. Формализация, стимулированная созданием и развитием новой элементной базы вычислительной техники, выполненной в виде сложно-функциональных компонентов в составе видеосистем на кристалле [2]. Учет сложности при синтезе видеосистем на кристалле требует пересмотра понятия «эффективное» кодирование, так как в круг величин, связанных с кодированием нестационарного источника, входят не только точность восстановления (среднеквадратическое отклонение) и скорость создания кода (R — число бит на пиксель), но и сложность устройств кодирования (W). Эти три величины взаимосвязаны, и выбор устройств кодирования и декодирования необходимо осуществлять с учетом этих трех показателей качества: точности, скорости и сложности [13].

На основе вышесказанного для определения оптимальных значений информационных показателей качества видеосистемы в работе [14] предложен показатель эффективности Р, включающий взвешенную сумму {P} совокупности частных информационных показателей качества кодирующих устройств, которые связаны с ошибкой передачи е:

— степень искажения исходной информации А/;

— скорости передачи R;

— сложности декодера;

— сложности WK кодера.

Совокупность весовых коэффициентов {ci} при этих показателях — есть «вектором концепции системы» [15]. Задача оптимизации при синтезе видеосистем на кристалле в целом сводится к поиску оптимальных значений информационных показателей качества при заданных соответствующих весовых коэффициентах, в то же время обеспечивающих минимум целевой функции [14]:

Р ^^.(е) = c0AI(e) + ci*(s) + c2 W^s) + c3 Wj,(e)^min.

Данное выражение аналогично функции Лагранжа в виде линейной комбинации трехмерной функции с коэффициентами, называемыми множителями Лагранжа, разница в том, что предложенный показатель обеспечивает поиск области допустимых решений для реализации различных кодеков, а не поиск оптимального решения в виде экстремума. Поскольку все вышеуказанные информационные показатели противоречивы и не могут быть удовлетворены одновременно, то данное обстоятельство приводит к поиску области решений, где выбор тех или иных значений весовых коэффициентов определяется на начальном этапе проектирования целью исследования и разработки кодека. Сам процесс определения множества решений с учетом ограничений для данной функции является труднейшим этапом всего процесса оптимизации при проектировании видеосистем.

В данной работе решаются задачи:

— разработки адаптивного спектрального косинусного преобразования (АДКП) изображений;

— определения области решений, приводящих к минимуму эффективного показателя качества (P);

— сравнения результатов исследований с известными методами кодирования и декодирования изображений для различных классов изображений транспортной системы наблюдения.

Следует отметить, что процесс кодирования и декодирования изображений включает кодер/декодер источника и кодер/декодер канала. Если первый кодер/декодер имеет целью минимизации скорости передачи, выраженной числом бит на пиксель, то второй кодер/декодер должен передать сжатую видеоинформацию с учетом пропускной способности канала связи при максимальном ее сохранении.

В данной работе рассматриваются алгоритмы кодирования нестационарного источника изображений для построения транспортных видеосистем передачи реального времени, а также проведен сравнительный анализ результатов сжатия изображений с другими методами преобразования: классический алгоритм трехмерного косинусного преобразования ^Kn-3D) [16-18] и известный алгоритм передачи видеостандарта MPEG1 [3, 13].

Описание адаптивного алгоритма ДКП

Адаптивное трехмерное ДКП (АДKП-3D). ДКП представляет собой важный инструмент декорреля-ции из-за симметричности функции косинуса и осуществляет уплотнение энергии путем извлечения только необходимых трансформант частотной области сигнала. Другими словами, ДКП позволяет четко разделить исходное изображение на две области — высокочастотную и низкочастотную [13, 16].

В кодеке на основе АДKП-3D видеопоследовательность делится на несколько кубов M х N х L, где M х N — это размеры матрицы пикселей изображения, а L — количество последовательных кадров.

АДKП-3D представляется как:

а) для прямого АДKП-3D:

су ч . . , , , . . , л 'd't}^ ... ч cos(2x + 1)vtt cos(2y+ Х)ик cos(2z + l)wn

F(u,v,w) = a(u,L)a(v,N)a(w,M) Zll f{x,y,z)--—r^---~br1---—,

x=o y=о z=o 2 L 2 N 2 M

где F — значение коэффициента прямого косинусного преобразования; x, y, z — координаты пикселя в трехмерном пространстве куба размером M х N х L; u, v, w — координаты коэффициента преобразования;

.. ,ч VT77, при г = 0

a(ij) = ( __, при этомj принимает значение M, N или L.

k/2/y, при i Ф 0

б) для обратного АДKП-3D определяется по формуле:

f(x,y,z) = Z Z Z a(H,Z)a(v,AOa(w,M)F(M,v,w)cos ( 2£ J cos ( 2M J cos (v ^—j,

где f(x,y,z) — значение яркости пикселя с координатами (x,y,z) в пределах куба после обратного ДКП (ОДКП).

1 MPEG (англ. Moving Picture Experts Group; произносится «эмпэг» — рус. Экспертная группа по движущимся изображениям) — группа специалистов, образованная международной организацией ISO для выработки стандартов сжатия и передачи цифровой видео- и аудиоинформации.

Использование этих особенностей позволяет обоснованно избегать ненужных вычислений и тем самым существенно сократить вычислительную сложность процесса и, следовательно, потребных ресурсов.

Методика определения размера видеокубов. Идея состоит в том, чтобы учитывать специфики транспортных сюжетов: во-первых, степени корреляции локальных областей изображений в пространственно-временной области сигнала на этапе косинусного преобразования для достижения равновесия в системе связи, т.е. минимальной возможной скорости создания источником информации (энтропии) и скорости передачи информации по каналу связи (пропускная способность) [19]. Во-вторых, учет особенности транспортных сюжетов, заключающейся в том, что статистические характеристики изменяются в процессе наблюдения, что приводит к необходимости применения различных размеров блоков ДКП (рис. 1).

а б в

Рис. 1. Изменение размера блока косинусного преобразования: а — транспортные средства со слабым движением, б — транспортные средства с сильным движением, в — транспортные средства со средним движением, г — пространственная сетка слабого движения, д — пространственная сетка сильного движения, е — пространственная сетка среднего движения, ж — восстановление потока слабого движения, з — восстановление потока сильного движения, и — восстановление потока среднего движения для транспортных

сюжетов со среднем движением

1. Крупные блоки с высокой степенью корреляции (6,.. .,1) и отсутствием движения — данные блоки могут иметь размер 32 х 32 и более и над ними не выполняется ДКП, а на этапе восстановления пикселям

присваиваются среднее значение яркости (белые блоки на рис. 1, г, д, е). Важно заметить, что из-за отсутствия движения ДКП по времени также не выполняется.

2. Средние блоки со средней степенью корреляцией (4,.. .,6) и движением — блоки размером 16 х 16 и 8 х 8 (рис. 2).

3. Маленькие блоки с высоким движением и без корреляции (0,..,3) — блоки размера 4 х 4.

Использование этих особенностей транспортных изображений в процессе наблюдения за дорогами

позволяет обоснованно избегать ненужных вычислений и тем самым существенно уменьшить количество операций, необходимых для выполнения ДКП-3D особенно для тех кубов, где первый кадр максимально коррелирован и движение в кубе отсутствует.

На рис. 2 показана работа предложенного алгоритма АДКП-3D и формирование различных размеров блоков ДКП в пространственной области и кубов ДКП во временной области. Это исключает потребность в оценке движения и вычислении соответствующих векторов, требуемых для реализации стандарта MPEG.

Рис. 2. Формирование видеокубов в зависимости от типа движения

Алгоритм принимает полный цифровой видеопоток и делит его на группы кадров. Каждая группа рассматривается как трехмерное изображение. Первый кадр в видеопотоке разбивается на блоки различного размера на основе пирамидально- рекурсивного метода. С помощью этих блоков и формируются кубы разного размера. Затем каждый куб кодируется независимо и с учетом вышеупомянутых особенностей сюжетов.

Процесс кодирования состоит из трех этапов:

1) выполнения ДКП-3D;

2) квантование;

3) энтропийное кодирование.

На этапе декодирования все три этапа инвертируются и выполняются в обратном порядке [8].

Методика определения нужного размера видеокуба основана на трех важных принципах.

Во-первых, если соседние коэффициенты АДКП-2D в кубе почти равны во временной размерности, то это означает, что куб не содержит движения или очень низкого движения, тогда применяется АДКП-2D только к первому блоку первого кадра вместо всего куба.

Во-вторых, если куб содержит среднее движение, то размер куба меняется на новый куб (рис. 2).

В-третьих, если куб содержит высокую скорость движения, то выполняется АДКП-3D для двух кубов отдельно.

В предлагаемом методе выбор режима и операция изменения размера выполняются в процессе временного косинусного преобразования, таким образом, АДКП-2D должен быть сначала выполнен. Адаптация с учетом пространственной корреляции в пределах кадра применяется также с учетом временной корреляции в последовательности кадров путем применения ДКП по времени.

Архитектура ДКП-3Д

Предложенный АДКП-3D алгоритм с переменным размером видеокуба работает в трех режимах для анализа и определения типа движения в каждом кубе (рис. 3).

видеопоток

Рис. 3. Архитектура транспортной видеосистемы

Режим 1. Малое или полностью отсутствует движение.

Данный режим выполняет анализ пространственной корреляции и разбиение изображения на блоки для построения неравномерной сетки на основе пирамидально-рекурсивного метода (ПРМ). Подробное рассмотрение данного метода можно найти в работах авторов [20, 21].

Анализ временной корреляции и определение типа движения. Выбор между АДКП-3D и алгоритмом аппроксимации двумерного ДКП производится путем вычисления абсолютной разности пикселей (Ду) коэффициентов мощности сигнала и нескольких коэффициентов низкочастотной области. Далее сравнение Ду с заданным порогом (р(), где I = я — порог корреляции в пределах кадра, I = г — порог для оценки скорости движения между кадрами. Ду вычисляется между первым кадром и остальными кадрами в видеокубе по следующей формуле:

Ду(г) = 7111^,0-^,0)1 V е {1, 2,3,....,7},

4 ы=оу=о

если одно из результирующих значений превышает фиксированный порог, то это означает, что имеется движение, и выполнение аппроксимации невозможно, и запускается процедура АДКП-3D. В противном случае выполняется двумерное ДКП только к первому блоку куба. На приемной стороне кодека пиксели реконструированного блока будут дублироваться в остальных семи блоках.

Задаваемые пороги (ря) для определения степени корреляции в пределах одного кадра методом ПРМ и пороги (рг) определения типа движения в пределах видеокуба отличаются тем, что пространственный порог зависит от меры неопределенности и широкополосности [22]. Порог определения типа движения зависит от скорости движения объектов транспортных средств.

Таким образом, определение оптимальных значений порогов осуществляется на основе принципа максимального приближения к эпсилон-энтропии источника изображений при заданном искажении [19].

Режим 2. Среднее движение в пределах видеокуба.

Вычисление размера АДКП-3D включает следующие шаги.

Шаг 1. После вычисления АДКП-2D каждого блока и определения границы высокочастотной и низкочастотной областей кадра, осуществляется ДКП по времени первого куба (4 х 4 х 4) и последнего куба (4 х 4 х 4) в группе кадров по формулам:

(=0 о

(=4 О

Шаг 2. Для видеокубов размером 32 х 32 х 32,...,4 х 4 х 4 выполняется адаптивное квантование с заданным коэффициентом качества (О;), которое зависит от анизотропии коэффициентов, полученных в результате ДКП:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ГР(и,у,м>) = Ум,у е {0,1,.,7}, 0 < п < 3 и г = 1,2.

Шаг 3. Первый и второй шаги позволяют определить тип движения и количество нулевых и ненулевых коэффициентов, что является главным условием вычисления размер куба. Данное обстоятельство приводит к уменьшению вычислительной сложности при сохранении качества восстановленных видеопотоков. Затем сравниваются Ау преобразованных кубов высокочастотной и низкочастотной областей. Если Ау меньше порога, то устанавливается нужный размер видеоблока ДКП.

Шаг 4. Поскольку высокочастотные коэффициенты усекаются до нулей, то необходимо выполнить обратный ДКП (ОДКП) по времени для первых блоков каждой группы по следующей формуле:

[/^(и,у,0) Щи,у,1)]т = 1/21/2

где г = 1, 2.

1Р„ви,(и,у,1) =

' 1 г

. 1 -1. . Ft{u,v, 1)

i/F^K.v.i) если t = 0,1 1 JFx{u,v,t-T) если t = 2,3'

где I (inverse) — операция обратного косинусного преобразования, а Fnew — новое значение коэффициентов ДКП.

Режим 3. Высокое движение транспорта.

Если имеется высокая интенсивность движения, то это означает, что временная информация не сильно коррелирована и нужно устанавливать меньший размер куба (4 х 4 х 4). Далее кодирование куба рассматривается следующим образом:

1) выполнить ДKП-2D для каждого куба;

2) рассчитать Av среди блоков. Если Av < pt, то кодировать как режим 1;

3) если Av > pt, то требуется выполнить ДКП-Ш вдоль временного направления для каждого из остальных последовательных блоков, где pt — заданное значения отклонения между кадрами по времени;

4) вычислить Av двух кубов. Если Av < pt, то выполняется кодирование в режиме 2. В противном случае выполняется кодирование в режиме 3.

Результаты исследований различных транспортных видеопотоков

Эксперименты проводились над тремя различными транспортными видеопотоками:

1) видеопоток с малым движением;

2) со средним движением;

3) с высоким движением.

Для вычисления отношения исходного сигнала к шуму (СИГ/ШУМ) сначала вычисляется среднеквадратичная ошибка (СКО), используя следующее уравнение:

СКО2 =

N М

II(/0'J)-/'0'J))2

'•=U=1_

NM

где M и N — количество строк и столбцов изображения соответственно, f f — яркости пикселов с координатами (i, j) — яркости пикселов исходного и результирующего изображений соответственно. Затем СИГ/ ШУМ вычисляется по следующей формуле:

СИГ/ШУМ= 10log10 (2552/СКО).

Главным преимуществом использования косинусного преобразования с переменным размером кубов как в пространстве сигнала, так и по времени является:

— незначительное превышение СИГ/ШУМ по сравнению с известными ДKП-3D и MPEG, при этом коэффициент сжатия в 2 раза больше для случаев видеопотока со слабым и средним движением (рис. 4);

— существенное снижение вычислительной сложности (в среднем в 4-5 раз) по сравнению со стандартом MPEG и в среднем 1,5-2 раза больше по сравнению с известным косинусным преобразованием фиксированного размера блоков (рис. 5).

Потенциальным применением предлагаемого трехмерного адаптивного ДКП подхода могут быть портативные цифровые устройства, такие как мобильный телефон, беспилотники, интеллектуальные камеры наблюдения и др.

Рис. 4. Зависимость сигнал/шум от коэффициента сжатия (Ксж) для различных кодеков

W (операции/пиксель)

Рис. 5. Зависимость сложности от скорости для различных кодеков

Заключение

Сжатие изображений является чрезвычайно важной частью современных интеллектуальных транспортных систем наблюдения. Имея возможность сжимать изображения до доли их исходного размера, можно сэкономить ценное и дорогое дисковое пространство памяти. Кроме того, передача изображений с мест чрезвычайных ситуации и аварий в диспетчерский центр управления в реальном времени становится возможным.

Из вышеприведенного исследования можно сделать следующие основные выводы:

1) предлагаемый метод на основе адаптивного косинусного преобразования принимает большее значение отношения сигнала к шуму, чем метод классический алгоритм косинусного преобразования и метод MPEG;

2) применение адаптивного способа определения размеров блоков для косинусного преобразования привело к увеличению коэффициента сжатия на 10-20 % при сохранении субъективного качества по сравнению с известными алгоритмами MPEG и JPEG;

3) поскольку метод классического косинусного преоброзования является более простым в реализации, то переход к адаптивному варианту потребует увеличения сложности на 20-30 %, а при реализации с использованием программируемых схем увеличение сложности не превышает 10 % от общей сложности;

4) получены статистические характеристики и зависимости количества блоков, подвергающихся косинусному преобразованию, различного размера от степени однородности областей изображений, позволяющие уменьшить вычислительную сложность устройств передачи видеоинформации в 1,2-3 раза.

Литература

1. Turan J., Ovsenik L., Kazimirova Kolesarova A. Video surveillance systems // Acta Electrotechnica et Informatica. 2010. V. 10. N 4. P. 46-53.

2. Фахми Ш.С. Концепция проектирования интеллектуальных транспортных видеосистем на основе технологии «система на кристалле» // Вестник государственного университета морского и речного флота им. адмирала С.О. Макарова. 2013. № 2. С. 79-88.

3. Нгуен В.Ч., Тропченко А.А. Быстрый алгоритм поиска по тестовой зоне для межкадрового кодирования // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 3. С. 483-489. doi: 10.17586/2226-1494-2017-17-3-483-489

4. Tropchenko A., Tropchenko A., Nguyen V.T. Research of block-based motion estimation methods for video compression // Tem Journal-Technology, Education, Management, Informatics. 2016. V. 5. N 3. P. 277-283.

5. Velazquez-Pupo R., Sierra-Romero A., Torres-Roman D. et al. Vehicle detection with occlusion handling, tracking, and OC-SVM classification: a high performance vision-based system // Sensors. 2018. V. 18. N 2. P. 374-385. doi: 10.3390/s18020374

6. Islam K., Raj R. Real-time (vision-based) road sign recognition using an artificial neural network // Sensors. 2017. V. 17. N 4. P. 853-885. doi: 10.3390/s17040853

7. Фахми Ш.С., Еид М.М., Костикова Е.В., Мукало Ю.И., Крюкова М.С., Зайдулин С.М. Классификация транспортных средств в реальном времени // Вопросы радиоэлектроники. Серия: Техника телевидения. 2018. № 3. С. 89-94.

8. Зубакин И.А., Фахми Ш.С. Адаптивный алгоритм кодирования видеоинформации на основе трехмерного дискретного косинусного преобразования // Изв. вузов России. Сер. Радиоэлектроника. 2010. № 1. С. 49-54.

9. Умбиталиев А.А., Цыцулин А.К., Шипилов Н.Н., Ибатул-лин С.М., Ибатулин В.Ф., Фахми Ш.С. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования. Патент РФ № 2375838. Опуб. 10.12.2009, Бюл. 34.

10. Fahmi Sh.S., Ibatullin S.M. et al. A versatlie real time video codec based on three-dimensional discrete cosine transform // RAI International Exhibition and Congress Centre. Amsterdam, The Netherlands, 2008. P. 386-391.

11. Masram B.Y., Karule P.T. High speed 3D-DCT/IDCT CORDIC algorithm for DSP application // European Journal of Advances in Engineering and Technology. 2017. V. 4. N 12. Р. 941-950.

12. Servais M., de Jager G., Video compression using the three dimensional discrete cosine transform (3D-DCT) // Proc. South African Symposium on Communications and Signal Processing. Grahamstown, South Africa, 1997. P. 27-32. doi: 10.1109/comsig.1997.629976

13. Ричардсон Я. Видеокодирование. H.264 и MPEG-4 - стандарты нового поколения. М.: Техносфера, 2005. 368 с.

14. Цыцулин А.К., Фахми Ш.С., Колесников Е.И., Очкур С.В. Функционал взаимообмена сложности и точности систем кодирования непрерывного сигнала // Информационные технологии. 2011. № 4. С. 71-77.

15. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981. 488 с.

16. Lee M.C., Chan K.W., Adjeroh D.A. Quantization of 3D-DCT coefficients and scan order for video compression // Journal of Visual Communication and Image Representation. 1997. V. 8. N 4. P. 405-422. doi: 10.1006/jvci.1997.0365

17. Bozinovic N., Konrad J. Scan order and quantization for 3D-DCT coding // Proc. Visual Communications and Image Processing. Lugano, Switzerland, 2003. V. 5150. P. 1204-1215. doi: 10.1117/12.503324

18. Peterson H.A., Ahumada A.J., Watson A.B. An improved detection model for DCT coefficient quantization // SPIE Proceedings. 1993. V. 1913. P. 191-201. doi: 10.1117/12.152693

19. Хромов Л.И. Информационная теория связи на пороге XXI века. СПб.: НИИТ, 1996. 88 с.

20. Альмахрук М.М., Бобровский А.И., Еид М.М., Соколов Ю.М., Салем А., Фахми Ш.С. Точность, скорость и сложность устройств кодирования изображений по опорным точкам // Научно-технический вестник информационных

References

1. Turan J., Ovsenik L., Kazimirova Kolesarova A. Video surveillance systems. Acta Electrotechnica et Informatica, 2010, vol. 10, no. 4, pp. 46-53.

2. Fahmi Sh.S. The concept of intelligent transport video systems design based on technology "system on chip". Vestnik Gosudarstvennogo Universiteta Morskogo i Rechnogo Flota imeni Admirala S.O. Makarova, 2013, no. 2, pp. 79-88. (in Russian)

3. Nguyen Van Truong, Tropchenko A.A. Fast test zone search algorithm for interframe encoding. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2017, vol. 17, no. 3, pp. 483-489 (in Russian). doi: 10.17586/2226-1494-2017-17-3-483-489

4. Tropchenko A., Tropchenko A., Nguyen V.T. Research of block-based motion estimation methods for video compression. Tem Journal-Technology, Education, Management, Informatics, 2016, vol. 5, no. 3, pp. 277-283.

5. Velazquez-Pupo R., Sierra-Romero A., Torres-Roman D. et al. Vehicle detection with occlusion handling, tracking, and OC-SVM classification: a high performance vision-based system. Sensors, 2018, vol. 18, no. 2, pp. 374-385. doi: 10.3390/s18020374

6. Islam K., Raj R. Real-time (vision-based) road sign recognition using an artificial neural network. Sensors, 2017, vol. 17, no. 4, pp. 853-885. doi: 10.3390/s17040853

7. Fahmi Sh.S., Eid M.M., Kostikova E.V., Mucalo Yu.I., Kryuko-va M.S., Zaidullin S. M. Classification of vehicles in real time. Voprosy Radioelektroniki. Seriya: Tekhnika Televideniya, 2018, no. 3, pp. 89-94. (in Russian)

8. Zubakin I. A., Fahmi Sh. S. Adaptive algorithm of coding and decoding of the video information on the basis of three-demensional discrete cosine transform. Izvestiya Vysshyh uchebnih zavedeniy Rossii. Radioelectronica, 2010, no. 1, pp. 49-54. (in Russian)

9. Umbitaliev A.A., Tsytsulin A.K., Shipilov N.N., Ibatullin S.M., Ibatulin V.F., Fakhmi Sh.S. Method of coding and decoding video information based on three-dimensional discrete cosine transformation. Patent RU 2375838, 2009.

10. Fahmi Sh.S., Ibatullin S.M. et al. A versatlie real time video codec based on three-dimensional discrete cosine transform. RAI International Exhibition and Congress Centre. Amsterdam, The Netherlands, 2008, pp. 386-391.

11. Masram B.Y., Karule P.T. High speed 3D-DCT/IDCT CORDIC algorithm for DSP application. European Journal of Advances in Engineering and Technology, 2017, vol. 4, no. 12, pp. 941-950.

12. Servais M., de Jager G., Video compression using the three dimensional discrete cosine transform (3D-DCT). Proc. South African Symposium on Communications and Signal Processing. Grahamstown, South Africa, 1997, pp. 27-32. doi: 10.1109/ comsig.1997.629976

13. Richardson J. H.264 and MPEG-4 Video Compression. Video Coding for Next Generation Multimedia. Wiley, 2003.

14. Tsytsulin A.K., Fahmi Sh.S., Kolesnilov E.I., Ochkur S.V. Functional interchange of transmission rate and complexity of the coder continuous signal. Informatsionnye Tekhnologii, 2011, no. 4, pp. 71-77. (in Russian)

15. Moiseev N.N. Mathematical Problems of System Analysis. Moscow, Nauka Publ., 1981, 488 p. (in Russian)

16. Lee M.C., Chan K.W., Adjeroh D.A. Quantization of 3D-DCT coefficients and scan order for video compression. Journal of Visual Communication and Image Representation, 1997, vol. 8, no. 4, pp. 405-422. doi: 10.1006/jvci.1997.0365

17. Bozinovic N., Konrad J. Scan order and quantization for 3D-DCT coding. Proc. Visual Communications and Image Processing. Lugano, Switzerland, 2003, vol. 5150, pp. 1204-1215. doi: 10.1117/12.503324

18. Peterson H.A., Ahumada A.J., Watson A.B. An improved detection model for DCT coefficient quantization. SPIE Proceedings, 1993, vol. 1913, pp. 191-201. doi: 10.1117/12.152693

19. Khromov L.I. Information Theory of Communication at the Frontier of the XXI Century. St. Petersburg, NIIT Publ., 1996, 88 p. (in Russian)

20. Almahrouq M.M., Bobrovsky A.I., Eid M.M., Sokolov Y.M., Salem A., Fahmi Sh.S. Precision, speed and complexity of

технологий, механики и оптики. 2016. Т. 16. № 4. С. 678-689. ёок 10.17586/2226-1494-2016-16-4-678-688

21. Крюкова М.С., Фахми Ш.С. и др. Методы, алгоритмы кодирования и классификация изображений морских судов // Морские интеллектуальные технологии. 2019. Т. 3. № 1(43). С. 145-155.

22. Зубакин И.А., Фахми Ш.С. Классификация нестационарных изображений и разработка методики оценки алгоритмов кодирования источника // Науч. тех. вестник СПбГУ ИТМО. 2010. № 2(66). С. 54-59.

devices for image coding by control points. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, vol. 16, no. 4, pp. 678-688. doi: 10.17586/2226-1494-2016-16-4-678-688

21. Kryukova M.S., Fakhmi Sh.S. Methods, coding algorithms and classification of images of ships. Morskie Intellektual'nye Tekhnologii, 2019, vol. 3, no. 1, pp. 145-155. (in Russian)

22. Zubakin I.A., Fahmi Sh.S. Non-stationary images classification and development of source coding algorithms estimation method. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2010, no. 2, pp. 54-59. (in Russian)

Авторы

Хасан Язид Абдулхамид — аспирант, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация, ORCID ID: 0000-0002-3409-7811, [email protected]

Фахми Шакиб Субхиевич — доктор технических наук, доцент, профессор, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация; ведущий научный сотрудник, Институт проблем транспорта им. Н.С. Соломенко Российской академии наук, Санкт-Петербург, 199178, Российская Федерация, Scopus ID: 55657598100, ORCID ID: 0000-0003-2614-8735, [email protected]

Authors

Yazeed A. Hasan — postgraduate Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, ORCID ID: 0000-0002-3409-7811, [email protected]

Shakeeb S. Fahmi — D.Sc., Associate Professor, Professor, Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation; Leading scientific researcher, Solomenko Institute of Transport Problems of the Russian Academy of Sciences, Saint Petersburg, 199178, Russian Federation, Scopus ID: 55657598100, ORCID ID: 0000-0003-2614-8735, [email protected]

i Надоели баннеры? Вы всегда можете отключить рекламу.