CC BY
77
9. Kotenko S.V., Rumyantsev K.E., Storchak S.A., Pan'kov A.A., Bakulin K.I. Sistema for-mirovaniya virtual'nogo verbal'nogo obraza lichnosti [System for creating a virtual verbal image of the person], Svidetel'stvo № 2010613972 RF. 18.06.2010. 10. Kotenko V. V. Otsenka informatsionnogo obraza issleduemogo ob"ekta s pozitsiy teorii virtual'nogo poznaniya [Оценка информационного образа исследуемого объекта с позиций теории виртуального познания], Izvestiya TRTU [Izvestiya TSURE], 2006, No. 4 (48), pp. 42-48.
Статью рекомендовал к опубликованию д.т.н., профессор И.Л. Синютин.
Котенко Станислав Владимирович - Южный федеральный университет; e-mail: [email protected]; 347928, г. Таганрог, ул. Чехова, 2, к. 227; тел.: +78634315507; кафедра информационной безопасности телекоммуникационных систем; аспирант.
Котенко Владимир Владимирович - e-mail: [email protected]; кафедра информационной безопасности телекоммуникационных систем; доцент; к.т.н.; доцент.
Першин Иван Митрофанович - Филиал федерального государственного автономного образовательного учреждения высшего профессионального образования «СевероКавказский федеральный университет» в г. Пятигорске; e-mail: [email protected]; 357500, г. Пятигорск, пр. 40 лет Октября, 56; тел.: +79187903619; заместитель директора по научной работе; д.т.н.; профессор.
Kotenko Stanislav Vladimirovich - Southern Federal University; e-mail: [email protected]; 2, Chekhov street, Taganrog, 347928, Russia; phone: +78634315507; the department of informative safety of the telecommunication systems; postgraduate student.
Kotenko Vladimir Vladimirovich - e-mail: [email protected]; the department of informative safety of the telecommunication systems; cand. of eng. sc.; associate professor.
Pershin Ivan Mitrofanovich - Branch of federal public autonomous educational institution of higher professional education the "North-Caucasus Federal University" in Pyatigorsk; e-mail: [email protected]; 56, etc. 40 of October, Pyatigorsk, 357500, Russia; phone: +79187903619; deputy of director on the advanced study; dr. of eng. sc., professor.
УДК 681.3.014
С.В. Скороход, П.П. Кравченко, Н.Ш. Хусаинов
АНАЛИЗ РЕАЛИЗАЦИИ СРЕДСТВ ЗАЩИТЫ ПОТОКОВОГО ВИДЕО В ФОРМАТЕ JPEG2000 ОТ ОШИБОК В КАНАЛЕ ПЕРЕДАЧИ ДАННЫХ ДЛЯ БОРТОВЫХ СИСТЕМ ВИДЕОТРАНСЛЯЦИИ
Обсуждается опыт реализации средств помехоустойчивого кодирования видеопотока в формате jpeg2000, передаваемого в реальном масштабе времени по зашумленно-му каналу. Подобная задача возникает в системах видеотрансляции беспилотных летательных аппаратов. Приводится краткое описание структуры кодового потока jpeg2000, кодированного и декодированного потоков JPWL. Рассмотрены вопросы реализации кодера и декодера JPWL. Сделан вывод о нецелесообразности использования маркера чувствительности к ошибкам в кодированном потоке JPWL в задачах, требующих кодирования в реальном масштабе времени. Сделан вывод об обязательном использовании маркера остаточной ошибки в декодированном потоке JPWL для обеспечения устойчивости работы декодера jpeg2000. Описаны технические решения, принятые при реализации кодера, приводится схема его функционирования. Описаны технические р е-шения, принятые при реализации декодера, приводится схема его функционирования. Проведен анализ способности стандартных средств защиты корректировать пакетные ошибки. Сделан вывод об их слабой устойчивости к пакетным ошибкам. Предложен
способ внутрикадрового чередования, позволяющий существенно улучшить защищенность кодового потока за счет преобразования пакетных ошибок в множество одиночных ошибок.
Jpeg2000; помехоустойчивое кодирование; видеотрансляция; зашумленный канал бортовая система.
S.V. Skorokhod, P.P. Kravchenko, N.S. Khusainov
ANALYSIS OF THE IMPLEMENTATION OF REMEDIES STREAMING
VIDEO FORMAT JPEG2000 ERROR IN THE DATA TRANSMISSION CHANNEL FOR ON-BOARD VIDEO BROADCAST SYSTEMS
This article discusses the experience of implementing means error-correcting coding of the video stream in a format jpeg2000, transmitted in real time by a noisy channel. A similar problem arises in the UAV video broadcast systems. A brief description of the structure of the codestream jpeg2000, encoded and decoded streams JPWL. The problems of implementation of the encoder and decoder JPWL considered. Conclusion against using markers of sensitivity to errors in the encoded stream JPWL tasks requiring encoding in real time, is done. It is concluded that the mandatory use of a marker of residual error in the decoded stream JPWL to ensure the sustainability of the decoder jpeg2000. Describes the technical solutions adopted in the implementation of the encoder is a diagram of its operation. Describes the technical solutions adopted in the implementation of the decoder, a diagram of its operation. Analysis of the ability of the standard remedies to correct burst errors is performed. Concluded that their poor resistance to burst errors. Provides a method for intra-frame interleaving can significantly improve the resilience of the code stream by converting packet errors in a variety of single errors.
Jpeg2000; noiseless coding; videotransmission; a noisy channel; on-board system.
Введение. Задача видеотрансляции для бортовых систем, в частности беспилотных летательных аппаратов, предполагает наличие средств защиты от искажений, обусловленных воздействием окружающей среды на беспроводной канал передачи данных [1]. В качестве формата кодирования и передачи потокового видео использовался стандарт jpeg2000, достоинством которого является отсутствие межкадровых связей, что позволяет формировать принимаемый видеопоток на основе неискаженных кадров и их фрагментов. Задачей работы является разработка программного комплекса помехоустойчивого кодирования и декодирования в соответствии с имеющимися стандартами и анализ способности этих средств противостоять искажениям данных.
Структура кодового потока jpeg2000. Кодовый поток представляет собой данные одного кадра изображения, сгруппированные в разделы. Его структура изображена на рис. 1 [2].
Основной Заголовок Данные Заголовок Данные
заголовок тайла 1 тайла 1 тайлаN тайла N
Рис. 1. Структура кодового потока jpeg2000
Основной заголовок - данные об изображении в целом. Здесь задается размер, цветовая схема изображения, количество кодируемых фрагментов (тайлов).
Заголовок тайла - данные о прямоугольном фрагменте изображения и его привязке к координатной сетке, а данные тайла собственно содержат закодированный участок изображения. Фактически изображение складывается из независимых друг от друга прямоугольных тайлов, отсутствие части которых приводит к фрагментарным пробелам, но не к разрушению изображения в целом.
При этом потоковое видео формата jpeg2000 представляет собой практически несвязанную друг с другом последовательность кадров, воспроизводимых с заданной частотой.
Реализация стандарта JPWL. Защита кодового потока jpeg2000 от ошибок передачи данных в зашумленных каналах выполняется в соответствии со стандартом T.810 (далее JPWL) [3].
Средства JPWL могут использовать два способа защиты [4] :
♦ контрольные суммы CRC-16 или CRC-32 - позволяют только обнаружить присутствие ошибок в данных при использовании минимального объема кодов четности;
♦ коды Рида-Соломона RS(n,k) - предназначены не только для обнаружения, но и для исправления искаженных данных. Здесь n - длина кодового слова в байтах, включающего защищаемый фрагмент данных и коды четности, а k - количество байт защищаемых данных. Стандартом предусмотрено использование целого семейства RS-кодов от наиболее «слабых» RS(37,32) до наиболее «сильных» RS(128,32) и RS(160,64).
Защита кодового потока выполняется добавлением в него специальных сегментов. Стандартом предусмотрены четыре вида сегментов [3] :
1) EPC - возможность защиты от ошибок. Его задача - сообщить декодеру, что в кодовом потоке присутствуют средства JPWL. Он также несет в себе описание использованных методов защиты и, при необходимости, их параметры.
2) EPB - блок защиты от ошибок. Собственно реализует защиту данных с использованием избыточных кодов. Каждый блок может реализовать свой способ защиты из набора предопределенных способов. Содержит параметры применяемой защиты и коды четности.
3) ESD - дескриптор чувствительности. Задает степень чувствительности к ошибкам участков кодового потока. Чем больший вклад в формируемое изображение вносит фрагмент кодового потока, тем больше его чувствительность.
4) RED - дескриптор остаточной ошибки. Используется только в декодированном кодовом потоке. Описывает участки, которые либо полностью восстановлены, либо не были восстановлены декодером JPWL и содержат остаточные ошибки.
Структура кодированного и декодированного потоков JPWL изображена на рис. 2.
В процессе реализации средств JPWL для передачи потокового видео было сделано несколько выводов [5].
♦ Использование ESD в задачах, требующих кодирования и декодирования видео, в реальном масштабе времени является нецелесообразным, поскольку неоправданно увеличивает объем кодового потока и время кодирования.
♦ Сегмент RED является очень важным для правильной работы декодера jpeg2000 в условиях присутствия в видеопотоке неустранимых искажений. Однако не удалось найти приемлемого способа декодирования в случае чередования восстановленных и невосстановленных участков в пределах одного тайла. В связи с этим декодирование тайла выполняется до первого «испорченного» фрагмента.
Основной заголовок EPB-EPC-ESD Заголовок тайла 1 EPB-ESD Данные тайла 1 Заголовок тайлаN EPB-ESD Данные тайла N
a
Основной заголовок EPC-RED Заголовок тайла 1 RED Данные тайла 1 Заголовок тайлаN RED Данные тайла N
Ь
Рис. 2. Кодовые потоки JPWL: a - кодированный поток; Ь - декодированный поток
Обобщенная схема работы кодера JPWL приведена на рис. 3.
Рис. 3. Схема работы кодера JPWL
Исходными данными для кодера JPWL являются собственно кодовый поток jpeg2000, данные о чувствительности пакетов jpeg2000 к искажениям (степень влияния искажения пакета на искажение изображения) и параметры используемых средств защиты JPWL. Кодер выполняет разметку основного заголовка и каждого последующего тайла в выходном буфере. При этом данные о параметрах маркеров JPWL и их местоположении заносятся в таблицу разметки выходного буфера. После окончания прохода входного буфера вычисляется длина выходного потока как
сумма длины входного потока и длин всех добавляемых в него маркеров. Полученное значение длины помещается в таблицу разметки в параметры маркера EPC. Далее выполняется копирование на свои места во входном потоке исходных данных и параметров маркеров JPWL. Последним шагом кодирования является вычисление и вставка в выходной поток кодов четности маркеров EPB.
Обобщенная схема работы декодера JPWL приведена на рис. 4.
Декодер JPWL выполняет декодирование, последовательно анализируя основной заголовок и тайлы. При невозможности восстановления основного заголовка весь кадр отбрасывается. При невозможности восстановления заголовка тайла пропускается весь тайл и ищется начало следующего тайла. При этом пропущенный фрагмент помечается в таблице разметки входного буфера как испорченный. В случае успешного восстановления основного заголовка или заголовка тайла в таблицу разметки заносятся параметры и местоположение всех найденных маркеров JPWL.
Восстановление данных тайла выполняется только в случае успешного восстановления его заголовка. При этом часть данных тайла может оказаться скорректированной, а часть - нет. В этом случае создаются записи в таблице RED-интервалов, которые описывают начало и конец как исправленных, так и неисправленных фрагментов данных тайла.
По завершении просмотра входного буфера выполняется копирование данных в выходной буфер. При этом выполняется пропуск всех входных маркеров JPWL. При наличии записей в таблице RED-интервалов в основной заголовок вставляется сегмент EPC, сигнализирующий о присутствии в кодовом потоке сегментов RED, а в заголовки частично восстановленных тайлов добавляются сегменты RED, описывающие адреса восстановленных и невосстановленных участков.
Рис. 4. Схема работы декодера JPWL
Применение чередования. Рассмотрим вопрос способности стандартных способов защиты JPWL противостоять ошибкам передачи данных. Контрольные суммы CRC-16 и CRC-32 не способны восстанавливать искаженные данные. Коды Рида-Соломона RS(n,k) способны восстановить (п-к)/2 искаженных байт данных в кодовом слове длиной п байт, содержащем к байт информации.
Передача данных по сети выполняется пакетами [6-8]. На уровне транспортного протокола проверка целостности пакета основывается на контрольных суммах. При несовпадении контрольной суммы пакет отбрасывается. Таким образом, наиболее распространенным видом ошибок в кодовом потоке jpeg2000 является отсутствие непрерывного блока данных длиной, равной длине передаваемого пакета. Смогут ли RS-коды восстановить эту потерю?
Кодовое слово RS(n,k) состоит из двух частей, расположенных в разных частях кодового потока. Первую часть составляют избыточные коды четности длиной ^к байт. Вторая часть - к информационных байт, защищаемых от искажения. При потере пакета возможны три варианта.
1. Обе части кодового слова потеряны - восстановление невозможно.
2. Потеряны избыточные коды четности - восстановление невозможно.
3. Потеряны только информационные байты - восстановление возможно только если к<=(п-к)/2. Этому условию соответствуют только коды RS(160,64), Я8(80,25), RS(40,13), применяемые для защиты заголовков тайлов, и RS(96,32), RS(112,32), RS(128,32), применяемые для защиты данных тайлов. Остальные 14 предопределенных стандартом кодов не способны произвести восстановление.
Применение RS-кодов приводит к исправлению пакетной ошибки только в одном из трех перечисленных случаев. Но цена за это - более чем трехкратное увеличение выходного кодового потока JPWL в сравнении с входным потоком jpeg2000. В целом такой способ защиты данных нельзя назвать удовлетворительным.
При реализации JPWL успешно опробован алгоритм внутрикадрового чередования кодового потока, который позволяет существенно повысить способность Я8-кодов корректировать ошибки даже при применении «слабых» кодов с небольшим объемом избыточных данных.
Содержание алгоритма заключается в следующем. Основной заголовок защищается при помощи стандартных средств JPWL, но в сегмент ЕРС заносится информация о применении чередования. Остальная часть кодового потока (заголовки и данные тайлов) подвергается чередованию. На приемной стороне из сегмента ЕРС извлекается длина всего потока, вычисляется размер участка, подвергшегося чередованию, и выполняется обратная перестановка, преобразующая полученный поток в кодовый поток JPWL. Далее применяется стандартная коррекция ошибок [9, 10].
Проиллюстрируем этот метод на примере. Пусть имеется 100 К данных, подвергающихся чередованию, т.е. 100-210 байт. Пронумеруем их по порядку: 1, 2, 3 ... Для начала вычисляется квадратный корень длины данных, округленный в большую сторону. В нашем случае получим 10-25, или 320. Далее представим все чередуемые данные как прямоугольную таблицу и заполним ее по схеме, изображенной на рис. 4, т.е. по столбцам. Передачу же данных выполняем по строкам. Обратная перестановка приемником заключается в восстановлении исходного порядка байт, но при этом часть байт может быть потеряна и заполняется произвольными ненулевыми значениями.
Предположим теперь, что по сети данные передаются пакетами размером 960 байт и был потерян один пакет (на рис. 5 потерянные байты отмечены заливкой). При обратной перестановке такая пакетная ошибка будет равномерно распределена по всему кодовому потоку, создавая 320 ошибок по 3 байта подряд. В худшем случае для кодового слова RS(n,k) получаем 3 искаженных байта в массиве кодов четности и 3 искаженных байта среди информационных байт. Всего 6 искаженных байт. Для их успешной коррекции должно выполняться соотношение: ^-к)/2>=6. Этому условию соответствует предопределенный в стандарте достаточно «слабый» код RS(45,32), который увеличивает кодовый поток всего на 41 %.
Рис. 5. Чередование кодового потока
Выводы. В результате реализации средств JPWL разработаны кодер и декодер, реализующие защиту видеопотока jpeg2000 от искажений в канале передачи данных. При этом способность стандартных средств JPWL восстанавливать данные при наличии пакетных ошибок оказалась неудовлетворительной. В результате применения алгоритма внутрикадрового чередования, пакетные ошибки преобразуются в множество одиночных ошибок, распределенных по различным участкам кодового потока. Это существенным образом повышает способность стандартных средств защиты к их коррекции.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Попов В., Федутинов Д. Тенденции развития систем передачи данных при использовании БЛА // Зарубежное военное обозрение. - 2004. - № 4. - С. 47-52.
2. ITU-T Recommendation T.800. Information Technology - JPEG2000 Image Coding System: Core Coding System. - Введ. 2002-08-01. - Geneva: ITU-T Series T: Terminal for Telematic Services, 2003. - 212 p.
3. ITU-T Recommendation T.810. Information Technology - JPEG2000 Image Coding System: Wireless. - Введ. 2006-05-01. - Geneva: ITU, 2007. - 60 p.
4. Морелос-Сарагоса Р. Исскусство помехоустойчивого кодирования. Методы, алгоритмы, применение. - М.: Техносфера, 2005. - 320 с.
5. Дроздов С.Н., Жиглатый А.А., Кравченко П.П., Скороход С.В., Хусаинов Н.Ш. Об опыте практической реализации стандартов семейства JPEG2000 при разработке программной системы трансляции видеопотока в реальном масштабе времени в условиях ограниченного сетевого ресурса // Материалы Девятой Всероссийской научно-практической конференции "Перспективные системы и задачи управления" и Четвертой молодежной школы-семинара "Управление и обработка информации в технических системах". - Таганрог: Изд-во ЮФУ, 2014. - С. 459-472.
6. Network Working Group. RFC 5371. RTP Payload Format for JPEG 2000 Video Streams.
- Введ. 2008-10.01. - The Internet Security (IETF), 2006. - 31 p.
7. Network Working Group. RFC:2327. SDP: Session Description Protocol. - Введ. 1998-04-01.
- Cambridge: Изд-во Information Sciences Institute, 1998. - 42 p.
8. Network Working Group. RFC:2974. Session Announcement Protocol. - Введ. 2000-10-01.
- Marina del Rey: Изд-во Information Sciences Institute, 2000. - 18 с.
9. Скороход С.В. Анализ индексов ранжирования нечётких чисел треугольного вида // Известия ЮФУ. Технические науки. - 2010. - № 5 (106). - C. 91-96.
10. ITU-T Recommendation T.810. Information Technology - JPEG 2000 image coding system: Wireless. Amendment 1: IP based wireless networks. - Введ. 2012-01-01. - Geneva: ITU-T Series T: Terminal for Telematic Services, 2012. - 6 p.
REFERENCES
1. Popov V., Fedutinov D. Tendentsii razvitiya sistem peredachi dannykh pri ispol'zovanii BLA [Trends in the development of data transmission systems using unmanned aerial vehicles], Zarubezhnoe voennoe obozrenie [Foreign Military Review], 2004, No. 4, pp. 47-52.
2. ITU-T Recommendation T.800. Information Technology - JPEG2000 Image Coding System: Core Coding System, Vved. 2002-08-01, Geneva: ITU-T Series T: Terminal for Telematic Services, 2003, 212 p.
3. ITU-T Recommendation T.810. Information Technology - JPEG2000 Image Coding System: Wireless, Vved. 2006-05-01, Geneva: ITU, 2007, 60 p.
4. Morelos-Saragosa R. Isskusstvo pomekhoustoychivogo kodirovaniya. Metody, algoritmy, primenenie [Art of error correcting coding. Methods, algorithms, applications]. Moscow: Tekhnosfera, 2005, 320 p.
5. Drozdov S.N., Zhiglatyy A.A., Kravchenko P.P., Skorokhod S.V., Khusainov N.Sh. Ob opyte prakticheskoy realizatsii standartov semeystva JPEG2000 pri razrabotke programmnoy sistemy translyatsii videopotoka v real'nom masshtabe vremeni v usloviyakh ogranichennogo setevogo resursa [About the experience of practical implementation of the standards collection JPEG2000 when developing a software system broadcast video stream in real-time with limited network resource], Materialy Devyatoy Vserossiyskoy nauchno-prakticheskoy konferentsii "Perspektivnye sistemy i zadachi upravleniya" i Chetvertoy molodezhnoy shkoly-seminara "Upravlenie i obrabotka informatsii v tekhnicheskikh sistemakh" [The materials of the Ninth all-Russian scientific-practical conference "Advanced system management tasks and Fourth youth school-seminar "Management and processing of information in technical systems"]. Taganrog: Izd-vo YuFU, 2014, pp. 459-472.
6. Network Working Group. RFC 5371. RTP Payload Format for JPEG 2000 Video Streams, Vved. 2008-10.01, The Internet Security (IETF), 2006, 31 p.
7. Network Working Group. RFC:2327. SDP: Session Description Protocol, Vved. 1998-04-01, Cambridge: Изд-во Information Sciences Institute, 1998, 42 p.
8. Network Working Group. RFC:2974. Session Announcement Protocol, Vved. 2000-10-01, Marina del Rey: Izd-vo; Information Sciences Institute, 2000, 18 p.
9. Skorokhod S.V. Analiz indeksov ranzhirovaniya nechetkikh chisel treugol'nogo vida [Analysis of indexes ranking fuzzy numbers of triangular form], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2010, No. 5 (106), pp. 91-96.
10. ITU-T Recommendation T.810. Information Technology - JPEG 2000 image coding system: Wireless. Amendment 1: IP based wireless networks, Vved. 2012-01-01, Geneva: ITU-T Series T: Terminal for Telematic Services, 2012, 6 p.
Статью рекомендовал к опубликованию д.т.н., профессор В.П. Карелин.
Скороход Сергей Васильевич - Южный федеральный университет; e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 88634371746; кафедра математического обеспечения и применения ЭВМ; к.т.н.; доцент.
Кравченко Павел Павлович - e-mail: [email protected]; кафедра математического обеспечения и применения ЭВМ; д.т.н.; профессор.
Хусаинов Наиль Шавкятович - e-mail: [email protected]; тел.: 88634314945; кафедра математического обеспечения и применения ЭВМ; к.т.н.; доцент.
Skorokhod Sergey Vasilievitch - Southern Federal University; e-mail: [email protected]; 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +78634371746; the department of software engineering; cand. of eng. sc.; associate professor.
Kravchenko Pavel Pavlovich - e-mail: [email protected]; the department of software engineering; dr. of eng. sc.; professor.
Khusainov Nail' Shavkyatovich - e-mail: [email protected]; phone: +78634314945; the department of software engineering; cand. of eng. sc.; associate professor.
