CC BY
0
ТЕЛЕКОММУНИКАЦИИ
УДК 621.327:681.5
ОБОСНОВАНИЕ НАПРАВЛЕНИЯ ДЛЯ СНИЖЕНИЯ БИТОВОГО ОБЪЕМА ВИДЕОСНИМКОВ В ИНФОКОММУНИКАЦИОННЫХ СИСТЕМАХ
СОРОКУН А.Д._
Формируется методологический базис относительно взаимного размещения двух ключевых составляющих видеоснимка в одной кодовой конструкции, на основе чего создается метод компоновки ключевых составляющих видеоснимка. Формируются заполненные кодовые конструкции (ЗКК) путем размещения сегмента кодового слова, содержащего значение кода элементов массива длин ОКГ, в кодовые конструкции, содержащие информацию о кодовом значении для строк массивов значимых элементов совокупности ОКГ
Ключевые слова: инфокоммуникационные системы, битовый объем, кодирование.
Key words: infocommunication systems, bitrate, coding. Введение
Видеоинформация - наиболее сложный вид для хранения, обработки и воспроизведения. Все форматы сжатия используют высокую избыточность информации в изображениях, разделенных малым интервалом времени. Между двумя соседними кадрами обычно изменяется только малая часть сцены - например, происходит плавное смещение небольшого объекта на фоне фиксированного заднего плана. Соответственно снижение объемов видеоданных для повышения производительности функционирования инфокоммуникаци-онных систем с заданным качеством видеосервиса является актуальной научно-прикладной задачей. 1. Постановка задачи
Комплекс требований относительно построения методов компрессии (снижения битового объема (СБО)) определяется исходя из следующих аспектов:
1) класс видеоинформационного сервиса, определяющий требования относительно производительности используемых информационных технологий и телекоммуникационных сетей, включая возможность применения мобильных и беспроводных технологий обмена информацией;
2) уровень потребителя информации (конечного пользователя). Здесь формируется пакет требований относительно: достоверности информации и ее полноты; направленности хранения или передачи в телекоммуникационных сетях; наличия этапов последующего анализа с использованием автоматических и/или автоматизированных режимов.
Такие аспекты определяют методологические базисы относительно построения технологий и методов снижения битового объема (СБО).
2. Формирование методологического базиса относительно взаимного размещения двух ключевых составляющих видеоснимка в одной кодовой конструкции
Основными базисами здесь являются следующие 1. Первый базис определяет композицию типов избыточности, которые закладываются в методологию формируемых методов и технологий СБО. При этом первый базис оказывает ключевое влияние на:
а) уровень снижения битового объема;
б) временные задержки, включая время обработки и передачи в телекоммуникационных сетях;
в) уровень визуальных оценок ВРВ.
В общем случае технология СБО предполагает наличие возможности для исключения нескольких видов избыточности. Здесь для видеоснимков, насыщенных структурными деталями, необходимо закладывать возможность относительно дополнительного исключения избыточности, не связанной с понижением уровня визуальных оценок ВРВ. Это позволяет обеспечить требуемый уровень достоверности информации.
Первый базис, применительно к подходу по обработке видеоснимков на основе выявления и описания совокупности значимых областей когерентности, характеризуется такими особенностями:
1) предусматривается сокращение локальной психовизуальной избыточности. Данный этап реализуется в процессе неравномерного прореживания (неравномерной субдискретизации) областей когерентности по элементам, имеющим равные или небольшие значения. Здесь предполагается, что отсутствие существенных отклонений между значениями элементов ОКГ указывает на то, что данные описывают область плавного изменения фона видеоснимка. В этом случае визуальная оценка ВРВ с учетом психовизуальных особенностей зрительного аппарата будет на допустимом уровне;
2) сокращаются избыточности, не связанные с понижением уровня визуальных оценок ВРВ, а именно структурно-статистической природы. Здесь учитываются закономерности локального и глобального характера.
Локальные закономерности учитываются в процессе выявления и регрессионного описания областей когерентности с использованием структурного подхода. Действительно, область когерентности включает в себя участки видеоснимка, имеющие линейную статистическую зависимость, а в процессе описания значимых элементов ОКГ учитываются ограничения структурного характера, а именно локальное свойство неравенства смежных значимых элементов ОКГ и ограниченность верхнего уровня их амплитуды.
Глобальные закономерности учитываются в процессе формирования совокупностей для значимых элементов ОКГ и для их длин, и построения на этой основе двумерных массивов, соответственно G^ и
AR^n, U =1, U. Здесь проявляется свойство неравномерности между граничными элементами соседних значимых областей когерентности и ограничения на динамические диапазоны в строках массивов ar(u) и g(u), .
3) для участков видеоснимка (или всего видеоснимка) формируются такие две ключевые промежуточные составляющие:
- неравномерная линейно-масштабирующая составляющая участка видеоснимка, которая структурируется в виде двумерного массива ARm^ и
строится на основе совокупности длин областей когерентности;
- значимая координатно-яркостная составляющая участка видеоснимка, которая структурируется в виде двумерного массива G^ ^ и строится на основе совокупности элементов значимых областей когерентности.
2. Второй базис определяет наличие предварительных этапов по преобразованию изображений. Здесь включаются различные виды сортировок и преобразования исходной цветовой модели RGB в цветораз-ностные модели. Цветоразностные модели используются для выделения составляющей, несущей основную нагрузку по яркости видеоснимка, и составляющих (обычно двух), которые дополняют цветовую насыщенность изображения. Относительно предложенного подхода по обработке видеоснимков наиболее предпочтительным является формирование цветоразностной модели YcrCb или YUV. Это позволяет в условиях допустимого уровня визуальных оценок ВРВ получить:
- составляющие, характеризующиеся неравнозначным вкладом в визуальную оценку ВРВ. Яркостная составляющая наиболее весомо влияет на уровень визуальной оценки ВРВ. Наоборот, цветовые дополнения допускают понижение уровня визуальной оценки ВРВ;
- снижение динамического диапазона элементов для составляющих цветовой насыщенности, в том числе повышение размеров участков видеоснимка, характеризующихся своей когерентностью. Здесь создаются условия для увеличения размеров областей когерентности и количества незначимых элементов в них.
3. Третий базис определяет непосредственно типы и параметры технологий кодирования, используемых для компактного представления полученных на предварительных этапах ключевых составляющих
видеоснимка.
Важность данного этапа заключается в том, что:
1) во-первых, непосредственно за счет установления параметров технологий обработки для заданных условий по временным задержкам на обработку создается возможность для достижения баланса между с одной стороны уровнем снижения битового объема (СБО), а с другой - уровнем визуальных оценок по восприятию реконструируемых видеоснимков (ВРВ);
2) во-вторых, реализуется формирование конечных кодовых конструкций для промежуточных составляющих, которые будут использоваться в процессе пакетирования и передачи в телекоммуникационных сетях.
Рассмотрим реализацию третьего методологического базиса для предложенных подходов относительно обработки видеоснимков. Третий методологический базис для предложенного подхода по обработки видеоснимков наполняется следующими особенностями:
1) для достижения баланса между уровнями СБО и визуальных оценок ВРВ используются такие параметры: показатель 5(^оЬ) глобальной чувствительности отклонения значений элементов области когерентности и показатель 5(1ос) локальной незначимости элементов ОКГ. Данные показатели создают возможность, с одной стороны, для увеличения длины области когерентности и количества незначимых элементов в них, а с другой - сохранения значимой информации на текущем участке видеоснимка о структурных деталях;
2) формируется технология кодирования массивов
^ и дт ^ с учетом выявленных структурных
закономерностей для наибольшего сокращения соответствующих типов избыточности в условиях избежания дополнительного роста служебных данных. 4. Четвертый базис определяет взаимную компоновку ключевых составляющих видеоснимка по совокупности значимых когерентности в кодограммах конечного представления.
Компоновочное размещение кодовых представлений двух ключевых составляющих видеоснимка позволяет упростить процесс их реконструкции. Это объясняется тем, что заполненные кодовые конструкции будут содержать одновременно всю информацию, необходимую для восстановления целого участка изображения.
В процессе построения метода компоновки ключевых составляющих видеоснимка (ККСВ) предлагается учитывать следующее.
1. Строить конечное кодовое описание по принципу заданной упес равномерной длины. Для такого условия появляется возможность упростить кодовый ин-
терфейс между протоколами машинной обработки и подготовкой для передачи в телекоммуникационных сетях. Например, в качестве величины Упес допускается выбирать ургос, кратную размерам машинных
кодов, с учетом платформы аппаратно-программной реализации.
2. Компоновку ключевых составляющих видеоснимка предлагается осуществлять на основе интеграции кодовых конструкций неравномерной линейно-масштабирующей составляющей в кодовые слова значимых координатно-яркостных составляющих. Здесь такую интеграцию предлагается проводить путем заполнения кодовых конструкций значимых элементов областей когерентности сегментами кодовых слов, полученных для совокупности длин ОКГ. Для такого варианта компоновки ключевых составляющих обеспечивается возможность распределения сегментов кодовых слов массивов дЯт П для
наибольшего количества кодовых конструкций массивов 0(и), , что объясняется:
т,к
1) во-первых, меньшим количеством элементов массива дктп относительно массива О^ в условиях
их физического сопряжения, т.е. данные массивы строятся для соответствующих совокупностей областей когерентности. Действительно, для одной ОКГ может формироваться несколько значимых элементов, т.е. RX > 1;
2) во-вторых, тем, что в общем случае динамический диапазон длин областей когерентности
будет меньшим, чем динамический диапазон w(g)i
ее значимых элементов, w(R)l < w(g)1.
Значит, количество кодов для массива дЯ^1 )п будет
меньшим чем количество кодов, формируемых для массива О(и) .
т,к
Наличие незначимых старших бит для кодового слова, содержащего значение , обусловлено, с одной стороны, условием построения равномерных кодограмм; с другой - неравномерностью значений значимых элементов области когерентности. Тогда выполняется неравенство
V(g)i = ([^Е^] + 1) < \ес, (1)
указывающее на наличие локальной кодовой избыточности.
Здесь Е^) - значение кодового описания для элементов >й строки массива О^; - количество бит на представление величины Е^) в режиме равномерного кодоописания; Упес - заданное количество бит.
В соответствии с выражением (1) количество DV кодовой избыточности оценивается по формуле:
AV = vnec - V(g)i . (2)
Понятно, что устранение такой избыточности позволит дополнительно снизить битовый объем. Выводы
На основе изложенного материала можно заключить, что сформирован методологический базис относительно взаимного размещения двух ключевых составляющих видеоснимка в одной кодовой конструкции. На основе этого создан метод компоновки ключевых составляющих видеоснимка, который базируется на следующих отличительных особенностях:
- равномерное кодоописание, что позволяет упростить кодовый интерфейс между протоколами машинной обработки и подготовкой для передачи в телекоммуникационных сетях;
- интеграция кодовых конструкций неравномерной линейно-масштабирующей составляющей в кодовые слова значимых координатно-яркостных составляющих на основе заполнения кодовых конструкций значимых элементов областей когерентности сегментами кодовых слов, полученных для совокупности длин ОКГ.
Здесь формируются заполненные кодовые конструкции (ЗКК) путем размещения сегмента кодового слова, содержащего значение кода элементов массива длин ОКГ, в кодовой конструкции, содержащие информацию о кодовом значении для строк массивов значимых элементов совокупности ОКГ. Это обеспечивает:
- дополнительное сокращение локальной кодовой избыточности, обусловленной наличием незначимых старших бит, имеющих нулевые значения в базовой кодовой конструкции, сформированной на основе кода для значимых элементов областей когерентности массивов;
- упрощение процесса реконструкции видеоснимка и снижение количества операций на обработку. Литература:
1. Alimpiev, A.N., Barannik, V.V., and Sidchenko, S.A. The method of cryptocompression presentation of videoinformation resources in a generalized structurally positioned space // Telecommunications and Radio Engineering. 2017. Vol. 76. No 6. Р. 521-534. DOI: 10.1615/TelecomRadEng.v76.i6.60.
2. Barannik, V., Tupitsya, I., Shulgin, S., Sidchenko, S. and Larin, V. The application for internal restructuring the data in the entropy coding process to enhance the information resource security. International Symposium «IEEE East-West Design & Test». Yerevan, Armenia. Oct. 14-17, 2016. Р. 325
- 328. DOI: 10.1109/ewdts.2016.7807749.
3. Barannik, V., Krasnoruckiy, A., Larin, V., Hahanova, A. and Shulgin, S. Model of syntactic representation of aerophoto images segments. Modern Problems of Radio Engineering,
Telecommunications and Computer Science, (TCSET'2018): XlVth Intern conf., Lviv-Slavske, Ukraine, febr. 23-25, 2018. P. 974-977. DOI: 10.1109/TCSET.2018.8336356.
4. Richardson J. Video encoding H.264 and MPEG-4 -standards of the new generation [text]. / J. Richardson D.: TECHNOSPHERE, 2012. P. 156 - 192.
5. Wang S., Zhang X., Liu X., Zhang J., Ma S. and Gao W. Utility-Driven Adaptive Preprocessing for Screen Content Video Compression // IEEE Transactions on Multimedia. March 2017. Vol. 19, no. 3. P. 660-667.
6. Gonzales R.C. and Woods R.E. Digital image processing. Prentice Hall, New Jersey. Edition. II, 2002. 1072 p.
7. Kubasov D. V. Review of methods of motion compensation / D. S. Vatolin / Computer graphics and multimedia. K.: KPI, 2010. Vip. No. 3 (2). P. 33-43.
8. Tsai W.J. and Sun Y.C. Error-resilient video coding using multiple reference frames // 2013 IEEE International Conference on Image Processing. Melbourne, VIC. 2013. P. 1875-1879.
9. Zhang Y., Negahdaripour S. and Li Q. Error-resilient coding for underwater video transmission // OCEANS 2016 MTS/IEEE Monterey, Monterey, CA. 2016. P. 1-7.
10. Stankiewicz O., Wegner K., Karwowski D., Stankowski J., Klimaszewski K. and Grajek T. Encoding mode selection in HEVC with the use of noise reduction // 2017 International Conference on Systems, Signals and Image Processing (IWSSIP). Poznan. 2017. P. 1-6.
11. Baccouch H., Ageneau P. L., Tizon N. and Boukhatem N. Prioritized network coding scheme for multi-layer video streaming // 2017 14th IEEE Annual Consumer Communications & Networking Conference (CCNC). Las Vegas, NV, USA. 2017. P. 802-809.
12. Bai X., Wang J. Towards temporally-coherent video matting // Proc. of the 5th international conference on Computer vision/computer graphics collaboration techniques. MIRAGE'11, Springer-Verlag. 2011. P. 63-74.
13. Christophe E., Lager D., Mailhes C. Quality criteria benchmark for hiperspectral imagery // IEEE Transactions on Geoscience and Remote Sensing. Sept 2005. Vol. 43. No 9. P. 2103-2114.
14. Zheng B. and Gao S. A soft-output error control method for wireless video transmission // 2016 8th IEEE International Conference on Communication Software and Networks (ICCSN), Beijing, 2016. Р. 561-564.
15. Miano J. Formats and image compression algorithms in action [Text]. K.: Triumph, 2013. - 336p.
16. Ding Z., Chen H., Gua Y., Peng Q. GPU accelerated interactive space-time video matting // Computer Graphics International. 2010. P. 163 168.
17. Lee S. Y. Yoon J. C. Temporally coherent video matting // Graphical Models 72. 2010. P. 25-33.
18. Sindeev M., Konushin A., Rother C. Alpha-flow for video matting. Technical Report. 2012. P. 41-46.
Сорокун Антон Дмитриевич, соискатель Национального авиационного университета. Научные интересы: семантическая обработка изображений. Адрес: Украина, 61023, Киев, ул. Космонавта Коморова, 1, тел. 38 063-52189-90, vvbar.off@gmail.com; orcid.org/0000-0001-8469-641X.
Sorokun Anton Dmitrievich, applicant, National Aviation University. Research interests: semantic image processing. Address: Ukraine, 61023, Kiev, st. Cosmonaut Komorov, 1, tel. 38 063-521-89-90, vvbar.off@gmail.com; orcid.org/0000-0001-8469-641X.
