Технология кодирования предсказанных кадров в инфокоммуникационных системах Текст научной статьи по специальности «Компьютерные и информационные науки»

ТЕЛЕКОММУНИКАЦИИ

УДК 621.382

ТЕХНОЛОГИЯ КОДИРОВАНИЯ ПРЕДСКАЗАННЫХ КАДРОВ В ИНФОКОММУНИКАЦИОННЫХ СИСТЕМАХ

ХИМЕНКО В.В._

Рассматривается метод кодирования информативных элементов последовательности предсказанных кадров. Ключевые слова (Key words) предсказанные видеокадры, дифференциально-описанная спектрограмма, информативные элементы; predicted video frames, differential-described spectrograms, informative elements.

1. Введение

Для сокращения межкадровой интегрированной структурной избыточности с учетом особенностей информативной составляющей дифференциально-описанной спектограммы (ДОС) предлагается

осуществлять их обработку по блоковому принципу.

Блоковая обработка информативной составляющей Ef ДОС :

Ef = {e(1)f;...; e(T)f ;... e(nirf )f } обеспечивает условия для:

- выявления дополнительных структурных закономерностей, обусловленных неравномерностью соседних информативных (значимых) элементов e^)^-1, т.е. наличием спектральных перепадов между соседними элементами информативной ДОС Ef.

- сокращения количества алгоритмических операций при определении количества элементов, для которых формируется первая часть обобщенного синтаксического представления (ОСП) ДОС, в процессе отбора элементов для формирования составляющих обобщенного кодового значения с использованием значимых (информативных) элементов ДОС и их линейно-масштабирующих составляющих;

- снижения сложности обработки и вероятности возникновения потерь целостности, обусловленных топологической сложностью относительно установления соответствия между структурными компонентами синтаксического описания последовательности Р-кадров и их кодовыми конструкциями в едином битовом потоке. В данном случае за счет формирования единого блокового кода для ДОС упрощается топология кодовых конструкций всей последовательности предсказанных кадров, а именно:

- исключаются маркерные разделители между кодограммами структурных компонент последовательности Р-кадров;

- сокращается количество служебных сведений, используемых для позиционирования кодограмм в едином битовом потоке для последовательности Р-кадров.

В процессе формирования эффективного синтаксического представления информативной ДОС еЩ^ требуется учитывать, что при формировании линейно-масштабирующих составляющих допускается наличие условия эквивалентности в ограниченном интервале ейх значений элементов е(т)(к'^

ДОС. В этом случае в процессе обработки допускается наличие коррекций значений спектральных диапазонов с учетом модели зрительного восприятия видеокадров. Следовательно, дополнительное использование технологий устранения психовизуальной избыточности в процессе формирования синтаксического представления информативной ДОС и вектора линейно-масштабирующих составляющих может быть причиной лавинного размножения ошибок и, как следствие, ухудшения качества или полного разрушения последовательности видеокадров. Поэтому для обеспечения заданного уровня целостности информации необходимо осуществлять обработку дифференциально-описанной спектрограммы без внесения потерь. Для этого сформулируем и проведем решение следующей задачи. 2. Постановка задачи

Требуется получить систему соотношений

Fe{E(x; yf sfix;dr"; D'inf} для определения

-(М). ^(М)

кодового значения QE(%;у)^)е информативной

составляющей Е(х;у)^ -1 ДОС (одномерная последовательность в двухосновном позиционном прореженном пространстве), а именно:

С(Е(х; у)(^)е = Ре{Е(Х; у)(^; 8&; Н™;

при следующих ограничениях:

e(T)f < d(x)in(fk,') He^

emmn) = 2min T{en(x)(k,^)};

emkaX) = max {e(x)(k^)};

=|evk-) _ e(k.n)

I max min

| +1_ sign(x_ 1);

e(T)f Ф e(T(sign(nffif _т) +1)&

2 <T< T

(M)

T = 1, n

inf

Здесь приняты такие обозначения:

Е(х;у)(У) - (к; 1)-а информационная дифференциально-описанная спектрограмма для (х; у)-го слота последовательности ДОТ кадров; Б lnf - двохкомопнентный вектор динамических диапазонов ^(т)!'^-1 элементов информативной ссоставляющей Е(х; у)(Пкг^) дифференциально-описанной спектрограммы, а именно:

Б ^ = {аа)^ = а^а^};

ае - величина общего динамического диапазона последовательности Е^^, т.е.:

аеМ) = |е(кЛ

- е(кЛ шах ^тт

I +1;

еЩ^'1 - минимальное значение элемента в информативной составной дифференциально-описанной спектрограммы, что вычисляется как:

еШ? = шшМт)^};

2 <т< Т

Процесс синтеза такого функционала

(к Л _(М) —-(к,£)

ре{Е(х;у)£т ^; йе ;Б'' mf } зависит от интерпретации информативной составляющей Е(х; у)(П^) ДОС. В нашем случае для учета выявленных структурных закономерностей в последовательности Е(х;у)(П^ предлагается использовать ее интерпретацию как одномерной последовательности в двухосновном (базис оснований задается вектором

Б' и ) позиционном прореженном пространстве (ОПДППП или ОПДП3), т.е. в одноосновном

(основание Нек'^) позиционном пространстве с учетом наличия неравенства между ее соседними элементами.

Это позволяет описать и учесть наличие выдвинутых закономерностей для последовательностей Е(х; у)(П/), заданных системой (1), путем:

еШах1 - максимальное значение элемента в инфор- -мативной ДОС, которое определяется по формуле:

еШаХ) = тах{е(т)(П^};

2 <т< Т

а(т)1ПкЛ - динамический диапазон значений элементов е(т)1(Пк£:^) инфомативной ДОС в условиях выявления локально-структурных закономерностей, а именно с учетом наличия условия неровности значений сопредельных элементов, т.е.:

е(т)(П^ * е(т(sign(nlnf-т) + ^ (2)

ейх - значение интервала эквивалентности элементов ДОС.

Согласно выражению (1), для динамического диапазона ац)^'^ первого элемента е(1)(Пк/) информативной ДОС выполняется соотношение:

а(1)1п^к-") = аеМ) -«-1) = аеМ) = |еШаХ - еЩ?|+1.

Это обусловлено тем, что для первого элемента вектора значимых (информативных) компонент ДОС отсутствует предыдущий элемент, а следовательно, не накладываются ограничения, которые обусловлены наличием сопредельных элементов с неравными значениями.

3. Суть метода эффективного кодирования информативных элементов последовательности предсказанных видеокадров

Процесс формирования кодового значения С(Е(х;у)(П/))е для информативной составляющей Е(х;у)(п[/) дифференциально-описанной спектрограммы рассматривается как синтез метода, представленного функционалом

варьирования значениями и количеством оснований позиционного пространства в соответствии

с содержанием вектора Б щ- ;

-(к/)

- прореживания множества О(nlnf;de )е допустимых последовательностей с учетом устанавливаемых запретов согласно условию неравенства соседних элементов, т.е.

е(т)т/) * е(т (sign(nmf -т) + ^, т = . Поэтому решение сформулированной задачи, а именно формирование системы выражений для определения кодового значения С(Е(х; у)^/^ предлагается осуществлять в рамках структурного подхода на базе кодовых конструкций позиционных чисел.

В рамках определения кодовых значений позиционных чисел при наличии дополнительных структурных ограничений необходимо вначале создать

соотношения для оценки величины ; Б и )е,

задающей количество допустимых ОПДП3 в зависимости от их длины в условиях, когда их элементы удовлетворяют системе ограничений (1). В

-(к

этом случае речь идет об объеме Р(пм;Б '' 1пг )е

множества О (п1П-;Б'' допустимых ОПДП3.

Согласно сформулированной интерпретации ин-

-(к

формативной ДОС величина Р(пм;Б'' ^ )е будет определяться с использованием следующего соотношения:

Q(nmf; Б'' 1пг )е = Па(т)

'' (к,£) = 1nf _

ninf -(к/)

= П (ае ) -slgn(т-1))=

т=1

шах - еШь +1)(аек'^ )

= (е(М) - „(М)

равны соответственно (е^Ш^, е(2)(]к/),..., е(т)(1к/)), а оставшиеся (п^ -т) элементов принимают значения соответственно системе ограничений (1), то количество таких последовательностей будет равно величине

-1)

-1

. (3)

Здесь учитывается двухосновность позиционного пространства (система выражений (1)), которому принадлежат информативные ДОС. При этом определение оснований проводится с учетом индекса их позиции в информативной ДОС по следующему соотношению:

¿(т)^ = ае^ -^п(т- 1) = (еШк;Х) - еЩ?) +1-sign(т-1)

аеа&Л е(2)(^,.., е(т)f);nшf;Б %?)е. В частном случае, когда для элемента е(т)(]к^) вы-

(4)

т = 1; т > 2 .

-(к

Величину Q(nlnf;Б'' ^ )е согласно структуре множества допустимых позиционных чисел можно интерпретировать как количество

Q(e(0)f');nmf;D' Щ,0)е допустимых ОПДП3 (информативных ДОС), у которых первый элемент равен е (О)^/'*, а остальные пм элементов принимают значения соответственно системе ограничений (1). С учетом этого величина

Q(e(0)1nY); пм; Б Шт0)е будет равна:

т=1

:(М)

n1nf -1

полнятся ограничение на динамический диапазон,

(к О )

т.е. е(т)у: ' < ¿е , и не устанавливается требование относительно неравенства с предшествующим элементом, величина

Q(е(1)[nУ),..., е(т)(к'); пш; Б ^е будет конкретизироваться следующим выражением:

Q(е(1)f'),.., е(т)^^ < аек'^; пи ; Бе =

п1П£_ т — (кЛ

= П (ае*" -я№(т-1)) =

т=1

(аек'') - sign(т - l))nlnf -

(5)

Теперь допустим, что в этой схеме значение т -го элемента уже не является фиксированным, т.е. будет принимать некоторые значения в диапазоне е(т)т£тт <П< е(т)(1к/) -1, так чтобы выполнялось условие неравенства с предыдущим (т-1)-м эле-

Q(e(0)f; пшГ ; Б''£Г)е = Q(nшf; Б''ШГ ')е =

= П (ае ) -^(т -1)).

т=1

Здесь важно отметить, что значение начального (дополнительного, вспомогательного) элемента е(0)(]1к^) выбирается так, чтобы обеспечить выполнение условия:

е(0)2г° * е(1)^.

По аналогии получаем, что если значение первого элемента допустимых ОПДП3 (информативных

ДОС) будет равно е (^У , а остальные (п1П- -1) элементов принимают значения соответственно системе ограничений (1), то количество

(к Л —Т,(к,?- ) „

Q(e(1)inf ; n1nf; Б '' 1nf )е таких последовательностей будет находиться исходя из выражения:

-(к л ВД-1 —(к л

Q(e(l)(,kf: ; ПщГ; Б'' ^ ))е = П (ае * ) -sign(т-1)) =

ментом, т.е. е (

.е. е(т- 1)^ * е(т)(пк/). Тогда

количество

= (ае - sign(т- 1)) После этого в общем случае получаем, что если первые т элементов допустимых последовательностей в ОПДП3 (информативных ДОС) будут

Q(е(1)1rkf^е(2)(к°,..., е(т- 1)^, п)е последовательностей, предшествующих последовательности, у которой первые т элементов равны

(еЮ^, е^)^ ),..., е(т-1)^ ), п), а оставшиеся (п^ -т) элементов принимают значения соответственно системе ограничений (1), будет вычисляться с использованием такого соотношения:

«еа)^, е(2)<кл,..., е(т- 1)™, п)е =

= П-Р(е(1)(кг0, е(2)£^),..., е(т)(1к(,<'); Пм;Б. (6)

Синтез системы соотношений для кодирования ОПДП3 предлагается осуществлять в два этапа. Первый этап заключается в определении кодового значения С '(Е(х;у)(,к/))е информативной дифференциально-описанной спектрограммы как последовательности в одноосновном позиционном пространстве с фиксированным значением основания,

равного аеМ). Здесь информативные ДОС рассматриваются без учетом неравенства между ее соседними элементами.

Соответственно, с учётом полученного на первом этапе соотношения, организуется синтез выражения для определения кодового значения

С(Е(х;У)^)е информативной ДОС с наличием неравенства между ее соседними элементами, т.е. как последовательности в двухосновном позиционном прореженном пространстве. Для этого требуется исключить количество запрещенных позиционных чисел, которые содержат равные соседние элементы. Поэтому на втором, завершающем этапе синтеза функционального выражения

и(т)(к^ = е'(т)? - ¡¡щц(1 - з1мп(е(т- 1)? - е^т)™))

= I е'(т)(к^)

^ е'(т)? < е(т-1)?

(к, )

М ' '__ ......__

е'(т)?-1, ^ е'(т)? > е(т- 1)(к^)

-ад

Ре{Е(х;у)^;еf1X;dГ"'^"щ? нужно в процессе формирования кодового значения С(Е(%; у)?1)е дополнительно учитывать условие, состоящее в том, что между соседними элементами информативной дифференциально-описанной спектрограммы не может быть равенства. Следовательно, необходимо учитывать дополнительное условие, состоящее в неравенстве соседних элементов в информативной ДОС Е(%; у)

С учетом этого получим следующее соотношение для нахождения величины

Р(е(1)(пк1,'),..., е(т- 1)(пк1?/), е(т? )е, а именно: Р(е(1)(к,^,..., е(т-1? е(т)1Г)е =

= е(т);ПкЛ • (а

~ЛкЛ)

- 81ЯП(Т- 1))

п1п? -т

- 81вп(1 - 8Щп(е(т- 1)? - е(т)1

х (аекЛ - Б1§п(т- 1))п1п? -т =

= (е'(т)? - ®1§п(1 - 81мп(е(т- - е'(т)^))) х

х (аек,^) - 81мп(т- 1))п1п?-т.

(9)

е (т)? * е (т^п(пш? -т) + 1)?) * е (т + 1)(к?'

(к/) Ш"

(М)

, т.е.:

(к, )

ест)? <

т = 1, п

1п? •

Для заданных условий допустимыми будут такие последовательности, которые не содержат пар соседних элементов, имеющих равные значения, т.е. дополнительно выполняются соотношения (7). Соответственно запрещенными последовательностями будут такие комбинации, которые содержат хотя бы одну пару равных по значению соседних элементов информативной ДОС. Отсюда предлагается определить количество

д(е(1? е(2)(пУ\..., е(т -1? п)е последовательностей, предшествующих последовательности, у которой первые т элементов равны

(е(1)? ), е^)^,..., е(т - 1? п), а оставшиеся (п^ - т) элементов принимают значения в соответствии с системой ограничений (1), т.е. когда дополнительно накладывается условие относительно исключения случаев равенства между значениями соседних элементов следующим образом:

Полученное выражение позволяет определить количество допустимых последовательностей, пред-^ т < п1п? шествующих последовательности, у которой пер-(7) вые т элементов равны

(*)?>,.., е(т-1? е(т);Г), а оставшиеся (п1п? - т) элементов принимают значения в соответствии с системой ограничений (1), т.е. когда дополнительно накладывается условие относительно исключения случаев равенства между значениями соседних элементов с учетом исключения ситуаций, когда выполняется равенство е(т? = е(т-1?

Искомое кодовое значение С(Е(х; у)^^ информативной ДОС как одномерной последовательности в двухосновном прореженном позиционном пространстве определяется по формуле:

п1п? е(т)1п? 1

С(Е(х; У? е = £ £ Q(е(1)1nk/),..,, е(т)1Г)е ,

т=1 е(т)1(к/) =е(к;^).

или с учетом использования вспомогательного параметра и(т)(к,^) получим

ад

С(Е(х;У)^^ )е = £ и(т)(к^ • (аекЛ - 81вп(т- 1))п1п?-т , (10)

•'1п?

Q(е(1)1kf'),...,е(т-1)1íf),е(т)!(k•'Ь =

)

- S1gn(т -1

(к, ) > т (к, )

е(т)1пкЛ(НеМ) - sign(т- 1))п1п?-т

^ е(т-1)

)е =

т=1

и(т)(к^ = е '(т)? - sign(1 -sign(е(т-1)? - е '(т)™)) =

> е(т)

(е(т)ЩкЛ -1) (а

т(к/)

Ш"

^ е(т- 1)ЗЙт° < е(т)1Г.

- sign(т -1))

п1п? -т

(8)

_ 1е ' (т)(кЛ

^ е '(т)? < е(т- ^

е '(т)?-1, ^ е '(т)? > е(т-1)?.

(11)

Для упрощения записи системы (8) введем вспомогательный параметр и(т)(к, ) , который определяется как:

При определении количества допустимых последовательностей в ОПДП3 имеет значение соотношение между текущим и предыдущим элементами информативной ДОС. В качестве нулевого значения е(0)? ) последовательности Е(х; у)?'* пред-

лагается использовать следующее условие:

e(0)f = d™. (12)

Такой выбор обусловлен, с одной стороны, тем, что на значения элементов, предшествующих элементу e (1)1(n/), не накладываются ограничения относительно нулевого элемента, а с другой - обеспечивается неравенство:

e(0)gf° = d™ > e(1f В противном случае нарушается взаимооднозначность представления, когда e (1)f = 0 . Значит, система выражений (10) - (12) задает функциональное соотношение

Fe{E(x;y)(f );еflx;de ; D"mf } для определения кодового значения С(Е(%;у)^/-1^ для информативной составляющей Е(%;y)f дифференциально-описанной спектрограммы, рассматриваемой как одномерная последовательность в ДП3 в условиях соответствия системе ограничений (1). 4. Выводы

Можно заключить, что система выражений (10) -(12) обеспечивает:

1) формирование кодового значения для информативной ДОС, образованной значимыми компонентами диффренциально-описанной спектрограммы последовательности кадров Р-типа, рассматриваемой как одномерная последовательность в ДП3 в условиях: наличия адаптивных ограничений на динамические диапазоны их элементов; исключения вариантов равенства между значениями соседних элементов;

2) исключение запрещенных последовательностей, для которых:

- значения элементов превышают уровень выявленного адаптивного значения динамического диапазона информативной ДОС;

- выполняется условие равенства между соседними элементами информативной ДОС. Литература:

1. Richardson J. Video encoding H.264 and MPEG-4 -standards of the new generation [text]. / J. Richardson D.: TECHNOSPHERE, 2012. 156 - 192 p.

2. S. Wang, X. Zhang, X. Liu, J. Zhang, S. Ma and W. Gao, "Utility-Driven Adaptive Preprocessing for Screen Content Video Compression," in IEEE Transactions on Multimedia, vol. 19, no. 3, pp. 660-667, March 2017.

3. R.C. Gonzales and R.E. Woods, "Digital image processing," in Prentice Hall, New Jersey, edition. II, 2002 -1072 p.

4. Kubasov D.V Review of methods of motion compensation / D. S. Vatolin / Computer graphics and multimedia. -K.: KPI, 2010. - Vip. No. 3 (2). P. 33-43.

5. W. J. Tsai and Y. C. Sun, "Error-resilient video coding using multiple reference frames," 2013 IEEE International Conference on Image Processing, Melbourne, VIC, 2013. R 1875-1879.

6. Y. Zhang, S. Negahdaripour and Q. Li, "Error-resilient coding for underwater video transmission," OCEANS 2016 MTS/IEEE Monterey, Monterey, CA, 2016. R. 1-7.

7. O. Stankiewicz, K. Wegner, D. Karwowski, J. Stankowski, K. Klimaszewski and T. Grajek, "Encoding mode selection in HEVC with the use of noise reduction," 2017 International Conference on Systems, Signals and Image Processing (IWSSIP), Poznan, 2017. R. 1-6.

8. H. Baccouch, P. L. Ageneau, N. Tizon and N. Boukhatem, "Prioritized network coding scheme for multi-layer video streaming," 2017 14th IEEE Annual Consumer Communications & Networking Conference (CCNC), Las Vegas, NV, USA, 2017. R. 802-809.

9. Bai X., Wang J. Towards temporally-coherent video matting. Proceedings of the 5th international conference on Computer vision/computer graphics collaboration techniques. MIRAGE'11, Springer-Verlag. 2011. P. 63-74.

10. Christophe E., Lager D., Mailhes C. Quality criteria benchmark for hiperspectral imagery. IEEE Transactions on Geoscience and Remote Sensing. Sept 2005. Vol. 43, No 9. P. 2103-2114.

11. B. Zheng and S. Gao, "A soft-output error control method for wireless video transmission," 2016 8th IEEE International Conference on Communication Software and Networks (ICCSN), Beijing, 2016. R. 561-564.

12. J. Miano. Formats and image compression algorithms in action [Text] - K.: Triumph, 2013. 336 p.

13. Ding Z., Chen H, Gua Y., Peng Q. GPU accelerated interactive space-time video matting. In Computer Graphics International. 2010. P. 163-168.

14. Lee S. Y. Yoon J. C. Temporally coherent video matting. Graphical Models 72. 2010. P. 25-33.

15. SindeevM., Konushin A., Rother C. Alpha-flow for video matting. Technical Report. 2012. P. 41-46.

16. Tan K. H., Ghanbari M. Layered image coding using the DCT pyramid. IEEE Trans. Image Proc. 1995. V. 4, № 4. P. 512-516.

17. Barannik V., Tarasenko D., Podlesny S., Barannik D. The video stream encoding method in infocommunication systems. Modern Problems of Radio Engineering, Telecommunications and Computer Science, (TCSET'2018): XVIth Intern conf., (Lviv-Slavske, Ukraine, February 2325, 2018). Lviv-Slavske: 2018. P. 538 - 541.

18. Vladimir Barannik; Andrii Krasnorutsky; Vladimir Lar-in; Anna Hahanova; Sergii Shulgin Model of syntactic representation of aerophoto images segments. Modern Problems of Radio Engineering, Telecommunications and Computer Science, (TCSET'2018): XVIth Intern conf., (Lviv-Slavske, Ukraine, February 23-25, 2018). Lviv-Slavske: 2018. P. 974 - 977.

19. Barannik V., Ryabukha Yu., Tverdokhlib V., Dodukh A., Suprun O., Tarasenko D. Integration the non-equilibrium position encoding into the compression technology of the transformed images // East-West Design & Test Symposium (EWDTS). - IEEE, 2017. P. 1-4.

20. Barannik V.V., Ryabukha Yu.N., Tverdokhleb V.V., Baranmk D.V. Methodological basis for constructing a method for compressing of transformants bit representation, based on non-equilibrium positional encoding. 2nd IEEE International Conference on Advanced Information and Communication Technologies, AICT 2017, Proceedings, Lviv, 2017. Р. 188 - 192.

Поступила в редколлегию 11.06.2018 Рецензент: д-р техн. наук, проф. Баранник В.В.

Хименко Виктория Викторовна, аспирант кафедры ИСИ ХНУРЭ. Научные интересы: обработка информации. Адрес: Украина, 61166, Харьков, пр. Науки, 14, email: vika.iv55@gmail.com

Himenko Viktoria Viktorovna, postgraduate student of the Department of INI of the Kharkov National University of Radio Electronics. Scientific interests: information processing. Address: 61166, Kharkiv, Nauka ave.14, e-mail: vika.iv55 @gmail. com.