CC BY
14
Оценка интенсивности зашумления в канале при передаче изображений в формате JPWL на основе экспериментальной модели
С. В. Скороход, Д. С. Скороход Южный федеральный университет, Ростов-на-Дону
Аннотация: Рассматривается задача передачи изображения в системе «передатчик -приемник» по зашумленному каналу передачи данных в формате JPEG 2000 и JPWL в условиях заранее неизвестной и изменяющейся интенсивности зашумления. Данная задача рассматривается для условий IP сети. В статье поставлена задача построить методики оценки интенсивности зашумления по результатам декодирования JPWL в приемнике и динамической адаптации параметров JPWL передатчика к текущей оценке интенсивности зашумления, обеспечивающие наивысшее качество декодированного изображения при наименьшей длине передаваемого кодированного потока. Проведено экспериментальное исследование взаимосвязи между параметрами JPWL, интенсивностью зашумления и качеством декодированного изображения. Показано, что для любого параметра JPWL существует область взаимно однозначного соответствия между процентом полностью восстановленных тайлов и вероятностью потери сетевого пакета. Описана методика оценивания интенсивности зашумления по результатам декодирования единичного изображения. Эту методику можно расширить до использования результатов декодирования серии изображений.
Ключевые слова: зашумленный канал, помехозащищенное кодирование, интенсивность зашумления, результат декодирования, JPEG 2000, JPWL, экспериментальная модель.
Введение
При передаче изображения с борта некоторого автономного или мобильного устройства по зашумленному каналу возникает задача использования средств помехозащищенного кодирования, которые могли бы обеспечить достаточную защиту передаваемого кодированного потока при его минимальной избыточности [1,2]. Если параметры канала заранее неизвестны, для ее успешного решения требуется определить интенсивность зашумления в канале, после чего можно подобрать соответствующий вариант защиты кодового потока, обеспечивающий приемлемое восстановление исходного изображения в приемнике. Оценка интенсивности зашумления может быть получена только в приемнике, который принимает и декодирует искаженный кодовый поток, и должна быть отправлена передатчику, чтобы он мог выполнить подбор параметров помехозащищенного кодирования.
Эта проблема рассматривается применительно к передаче изображения по IP сети в формате JPEG 2000 с использованием системы JPWL [3] в качестве средств помехозащищенного кодирования. Данная работа является продолжением [4-6], в которых проведено экспериментальное исследование зависимости качества восстановленного изображения в формате JPEG 2000 от параметров JPWL и уровня зашумленности канала, и выявлено наличие зависимости между значением меры сходства изображений PSNR и результатами декодирования JPWL в случае применения необратимого преобразования JPEG 2000 и метода внутрикадрового чередования кодового потока JPWL.
Целями настоящего исследования являются:
• проведение основанного на компьютерном моделировании экспериментального исследования, позволяющего выявить характер взаимосвязи между интенсивностью зашумления в канале, параметрами JPWL, результатами декодирования JPWL и качеством декодированного изображения,
• построение методики оценки приемником интенсивности зашумления в канале передачи данных по результатам декодирования JPWL.
Методика исследования
Передача данных по IP сети выполняется посредством сетевых пакетов. При передаче изображений в формате JPEG 2000 в качестве транспортного протокола используется протокол RTP [3], причем RTP пакеты могут содержать либо основной заголовок кодированного потока JPEG 2000 (или его фрагменты), либо кодированные данные тайлов - прямоугольных фрагментов изображения [7].
При использовании зашумленной IP сети может произойти искажение данных заголовков пакетов, результатом которого является потеря пакета и
всех содержащихся в нем данных. Поскольку основной заголовок является наиболее важной и уязвимой частью кодированного потока, а его удельный вес в общем объеме данных незначителен, для защиты пакетов, содержащих основной заголовок, может применяться избыточное дублирование пакетов, что обеспечивает практически гарантированную их доставку. Применение же избыточного дублирования к пакетам, содержащим данные тайлов, невозможно по причине их значительного количества.
В данном исследовании используются следующие допущения:
• пакеты основного заголовка имеют гарантированную доставку,
• пакеты с данными тайлов могут быть потеряны;
• интенсивность зашумления в канале передачи данных измеряется вероятностью потери сетевого пакета.
Для исследования используется исследовательский программный комплекс, описанный в [4, 5]. Этот программный комплекс построен из элементов системы видеотрансляции, которые подробно обсуждаются в [3].
Для исследования используется цветное изображение размером 1024х768 пикселей, которое предварительно кодируется методом JPEG 2000 с применением необратимого преобразования и разбиением изображения на тайлы размером 128х128 пикселей. Полученный кодированный поток подвергается обработке в системе JPWL, которая вставляет в него средства помехозащищенного кодирования и применяет метод внутрикадрового чередования [4]. В качестве средств помехозащищенного кодирования используются коды Рида-Соломона (RS-коды), стандартизованные для применения в системе JPWL [8]. Для защиты заголовков кодированного потока применяются предопределенные RS-коды [9], а для защиты данных -набор стандартизованных RS-кодов, которые варьируются в программе исследования. Полученный кодированный поток JPWL разбивается на предназначенные для передачи по IP-сети RTP пакеты [10]. В данном
исследовании длина RTP-пакета ограничена и не может превышать 1024 байт.
Полученный набор пакетов является исходным материалом для последующего моделирования, которое заключается в случайном выборе с заданной вероятностью некоторых из пакетов и удалении их из исходного набора, что имитирует потерю этих пакетов при передаче по зашумленной IP-сети. Далее выполняется обратное преобразование. Оставшиеся пакеты объединяются в кодированный поток JPWL, содержащий пакетные ошибки, т.е. утерянные фрагменты смежных данных. К нему применяется обратная внутрикадровая перестановка, которая преобразует каждую пакетную ошибку в множество одиночных ошибок, распределенных по всему кодированному потоку. Следующим этапом обработки является декодирование JPWL, которое выполняет коррекцию (если это возможно) одиночных ошибок и восстановление искаженных данных. При декодировании JPWL вычисляется статистика декодирования - количество полностью восстановленных тайлов исходного изображения, не содержащих остаточных ошибок. Последним этапом обработки служит декодирование JPEG 2000, восстановление полученного изображения и сравнение его с исходным путем вычисления меры сходства PSNR.
Переменными параметрами исследования являются применяемые при кодировании JPWL RS-коды для защиты данных и вероятность потери RTP-пакета. Программа исследования приведена в таблице 1.
Исследовательский программный комплекс
Для проведения исследования был разработан программный комплекс, схема функционирования которого изображена на рисунке 1.
Таблица № 1
Программа исследования
ЯБ-коды для защиты данных Вероятность потери ЯТР-пакета
ЯБ(37,32), ЯБ(38,32), ЯБ(40,32), ЯБ(43,32), ЯБ(45,32), ЯБ(48,32), ЯБ(53,32), Я8(56,32), Я8(64,32), ЯБ(75,32) 0 - 25 с шагом 1
ЯБ(80,32), ЯБ(85,32), ЯБ(96,32), ЯБ(112,32), ЯБ(128,32) 0 - 35 с шагом 1
Рис. 1. - Схема работы исследовательского программного комплекса
В качестве входных данных для работы программного комплекса используются: исходное изображение, исследуемый RS-код для реализации защиты кодированного потока средствами JPWL и исследуемая вероятность потери RTP-пакета. Комплекс может эксплуатироваться в пакетном режиме, что позволяет для заданного RS-кода провести последовательность экспериментов с различными значениями вероятности потери RTP-пакета. Дополнительным параметром является количество повторений цикла моделирования, для которого вычисляется статистика декодирования.
На первом подготовительном этапе реализуется кодирование изображения в формате JPEG 2000, транскодирование JPWL с применением заданного RS-кода и метода внутрикадрового чередования [10,11], разбиение полученного кодированного потока на RTP-пакеты для передачи по IP сети. Полученный набор пакетов является исходным набором данных при выполнении циклов моделирования пакетных потерь.
На этапе собственно моделирования реализуется заданное количество циклов моделирования. Цикл моделирования начинается с отбрасывания RTP-пакетов из сформированного на подготовительном этапе набора пакетов с установленной вероятностью потери пакета. Оставшиеся не отброшенные RTP-пакеты объединяются в единый кодированный поток JPWL, при этом участки отброшенных пакетов заполняются единичными значениями битов. Далее декодер JPWL сначала производит обратную перестановку кодированного потока, после чего декодирует его и корректирует ошибки данных, если это возможно. В процессе декодирования вычисляется количество полностью восстановленных тайлов кодированного потока, которое в последствии используется при вычислении статистики декодирования. Заключительным этапом цикла моделирования выступает декодирование JPEG 2000, в процессе которого формируется изображение полностью или частично восстановленных JPWL тайлов, а не
восстановленные или утерянные тайлы заменяются прямоугольниками серого цвета. Полученное изображение сравнивается с исходным путем вычисления меры сходства РБКЯ. Значение РБКЯ используется при вычислении статистики декодирования.
Результатом моделирования выступает обобщенная статистика декодирования, которая для каждого эксперимента (каждой пары значений используемого ЯБ-кода и вероятности потери ЯТР-пакета) включает в себя два усредненных значения: процент полностью восстановленных тайлов (ППВТ) от общего количества тайлов в кодированном потоке исходного изображения, РБКЯ исходного и декодированного изображения. Усреднение производится по общему количеству выполненных циклов моделирования в одном эксперименте. В данном исследовании для каждого эксперимента проводилось по 200 циклов моделирования.
Гипотезы и критерии
В исследовании проверяются две гипотезы.
Гипотеза 1. Для каждого ЯБ-кода из таблицы 1 существует интервал значений вероятности потери ЯТР-пакета, на котором можно установить взаимно однозначное соответствие между значением этой вероятности и усредненным ППВТ.
Гипотеза 2. Для каждого ЯБ-кода из таблицы 1 существует интервал значений вероятности потери ЯТР-пакета, на котором можно установить взаимно однозначное соответствие между значением этой вероятности и усредненным значением РБКЯ исходного и декодированного изображения. При этом интервалы значений вероятности из гипотез 1 и 2 совпадают между собой.
Критерием, подтверждающим гипотезу 1, является соответствие экспериментальной зависимости между вероятностью потери ЯТР-пакета и усредненным ППВТ графику, изображенному на рисунке 2а, для каждого ЯБ-
кода. На рисунке 2а выделены три интервала значений вероятности, обозначенные буквами Б, О и Н. Интервал Б задает диапазон вероятностей потери пакета, для которых выбранный ЯБ-код успешно исправляет все возникшие ошибки и все тайлы восстанавливаются полностью. Для вероятностей из интервала О ЯБ-код корректирует не все возникшие ошибки, что приводит к появлению частично восстановленных тайлов или полной потере тайлов изображения. По мере увеличения вероятности количество неустранимых ошибок возрастает, что отражается в резком падении усредненного ППВТ до нуля. Именно на этом интервале имеется взаимно однозначное соответствие между вероятностью потери ЯТР-пакета и усредненным количеством полностью восстановленных тайлов. Присутствие интервала О в графиках экспериментальных зависимостей, полученных для каждого из ЯБ-кодов, является подтверждением гипотезы 1. Интервал Н соответствует значениям вероятности, при которых ЯБ-код не может корректировать ошибки и изображение полностью теряется.
Рис. 2. - Критерии для подтверждения гипотез 1 и 2
Экспериментальная зависимость, построенная для подтверждения гипотезы 1, может несколько отличаться от графика, изображенного на рисунке 2а. Во-первых, для ЯБ-кодов со слабой корректирующей способностью область Б может состоять только из нулевого значения, т.е.
потеря даже 1% пакетов приводит к появлению частично восстановленных тайлов, в которых присутствуют остаточные ошибки. Во-вторых, график зависимости при переходе между интервалами F и G, G и H должен носить более гладкий вид.
Критерием, подтверждающим гипотезу 2, является соответствие экспериментальной зависимости между вероятностью потери RTP-пакета и PSNR исходного и декодированного изображения, приведенному на рисунке 2б, для каждого RS-кода. Как и в предыдущем случае, множество значений вероятности потери RTP-пакета разбивается на интервалы F, G и H. При вероятностях из интервала F все тайлы полностью восстанавливаются и изображение декодируется без потерь. Пороговая величина PSNR=33,26 получена экспериментальным путем и отражает погрешность, вносимую в исходное изображение кодером JPEG 2000 при используемом в эксперименте необратимом преобразовании. Интервал G соответствует области взаимно однозначного соответствия вероятности потери RTP-пакета и PSNR. Его присутствие во всех экспериментальных зависимостях, построенных для всех RS-кодов, будет являться подтверждением гипотезы 2. Здесь при увеличении вероятности происходит ухудшение показателей восстановления кодированного потока декодером JPWL, нарастает количество частично восстановленных или полностью утраченных тайлов, декодированное изображение деградирует к серому фону, а значение PSNR стремится к некоторой величине, равной PSNR исходного изображения и изображения серого цвета. Интервал H соответствует значениям вероятностей, при которых декодер JPWL не в состоянии успешно восстановить ни одного тайла и декодированное изображение всегда заполняется серым цветом.
На рисунке 3 приведены графики экспериментальных зависимостей, полученных в результате проведения компьютерного моделирования для RS-кода RS(64,32).
Рис. 3. - Графики экспериментальных зависимостей для Я8(64,32)
Для иллюстрации результатов эксперимента выбран ЯБ-код со «средней» корректирующей способностью из набора исследуемых стандартизованных ЯБ-кодов. Для каждой исследуемой экспериментальной зависимости можно выделить области Б, О и Н, соответствующие гипотезам 1 и 2 и рисунку 2. Во всех экспериментах коэффициент корреляции между ППВТ и РБКЯ превысил значение 0,94. Это означает, что форма графиков ППВТ и РБКЯ во всех случаях совпадает, что подтверждает совпадение области О для обеих зависимостей.
Полученные в экспериментах границы областей Б, О и Н для каждого из ЯБ-кодов приведены в таблице 2.
Анализ таблицы 2 и графиков зависимости на рисунке 3 показывает, что для каждого ЯБ-кода имеется область взаимно однозначного соответствия О, что является подтверждением обеих выдвинутых гипотез.
Таблица № 2
Результаты экспериментального исследования
RS-код F G H RS-код F G H
RS(37,32) 0 (0;7) [7;100] RS(64,32) [0;5) [5;23] (23;100]
RS(38,32) 0 (0;8] (8;100] RS(75,32) [0;7) [7;25) [25;100]
RS(40,32) 0 (0;9] (9;100] RS(80,32) [0;9) [9;27) [28;100]
RS(43,32) 0 (0;10] (10;100] RS(85,32) [0;11) [11 ;29) [29;100]
RS(45,32) [0;1) [1;12) [12;100] RS(96,32) [0;13) [13;32) [32;100]
RS(48,32) [0;1) [1 ;14) [14;100] RS(112,32) [0;15) [15;34) [34;100]
RS(53,32) [0;1) [1;16) [16;100] RS(128,32) [0;16) [16;35] (35;100]
RS(56,32) [0;2] (2;20) [20;100]
Оценка интенсивности зашумления в канале
Полученные результаты экспериментального исследования могут быть использованы для решения практических задач. В частности, для оценки интенсивности зашумления в канале передачи данных.
Пусть имеется некоторая система «передатчик - приемник», передатчик передает по зашумленной IP сети изображение в формате JPEG 2000 с применением средств JPWL и используемого в настоящем исследовании метода внутрикадрового чередования. Предположим, что система JPWL передатчика использует некий начальный RS-код RSi из числа стандартизованных RS-кодов, перечисленных в таблице 1.
Приемник декодирует полученный кодированный поток и подсчитывает статистику декодирования JPWL, т.е. количество полностью восстановленных тайлов. Общее количество тайлов может быть вычислено из размера изображения в целом и размера тайла. Эта информация содержится в основном заголовке кодированного потока, который, согласно
принятым допущениям, имеет гарантированную доставку. Далее вычисляем ППВТ p1, который сопоставляется с графиком соответствующей экспериментальной зависимости, построенной для RS1. По графику определяем область значений вероятности потери RTP-пакета (F, G или H), которая соответствует значению p1.
Если мы имеем область F, значит передатчик использует излишне избыточный код. Переходим к использованию в передатчике RS-кода RS2 с меньшей корректирующей способностью, после чего повторяем процедуру, вычисляя для вновь принятого изображения новое ППВТ p2. Если при этом нет RS-кода с меньшей корректирующей способностью и мы уже используем самый «слабый» код RS(37,32), значит помехи в канале отсутствуют.
Если мы имеем область H, значит передатчик использует слишком «слабый» код, который не может корректировать возникающие ошибки. Переходим к использованию в передатчике RS-кода RS2 с большей корректирующей способностью после чего повторяем процедуру, вычисляя для вновь принятого изображения новое значение ППВТ p2. Если при этом нет RS-кода с большей корректирующей способностью и мы уже используем самый «сильный» код RS(128,32), значит помехи в канале слишком велики, передача и прием изображений с использованием рассматриваемого набора средств невозможны.
Если мы имеем область G и взаимно однозначное соответствие, определяем вероятность потери RTP-пакета при помощи графика экспериментальной зависимости по имеющемуся ППВТ. Полученное значение вероятности является искомой оценкой интенсивности зашумления в канале.
Литература
1. ITU-T Recommendation T.810. Information Technology JPEG2000 Image Coding System: Wireless. Geneva: ITU, 2007. 60 p.
2. Альбекова З. М., Квашурин В. О., Тутик Н. А. Анализ эволюции технологии беспроводных сетей и прогнозы развития инфокоммуникационных сетей в России // Инженерный вестник Дона, 2016, №4. URL: ivdon.ru/ru/magazine/archive/n4y2016/3933.
3. Дроздов С. Н., Жиглатый А. Н., Кравченко П. П., Лутай В. Н., Скороход С. В., Хусаинов Н. Ш. Стандарт JPEG2000: базовые алгоритмы, примеры реализации и перспективы применения. Ростов-на-Дону, Изд-во ЮФУ. 2014. 255с.
4. Skorokhod S. V. The experimental studies of the jpwl tools ability to correct burst errors in a noisy channel when transmitting video in a jpeg 2000 format.-Journal of Theoretical and Applied Information TechNology, 10th November, 2015. Vol. 81, № 1, pр. 34-42, Date Views 05.11.2018, URL: jatit.org/volumes/Vol81No1/5Vol81No1.pdf
5. Skorohod S. V., Drozdov S. N., Khusainov N. S. Influence of Packet Errors in Noisy Channel on Quality of Transmitted Image in JPEG2000 Format Protected by JPWL.- International Journal of Control Theory and Applications, 2016, Vol. 9 (35), pp. 59-70. Date Views 05.11.2018, URL: serialsjournals.com/serialjournalmanager/pdf/1483182334.pdf
6. Скороход С. В., Дроздов С. Н., Скороход Д. С. Исследование зависимости качества декодированного изображения в формате JPEG 2000 от параметров JPWL и частоты пакетных ошибок в зашумленном канале // Инженерный вестник Дона, 2017, №4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4453.
7. Network Working Group RFC 5371. RTP Payload Format for JPEG 2000 Video Streams. The Internet Security (IETF), 2006. 31 p.
8. ITU-T Recommendation T.810. Information Technology JPEG 2000 image coding system: Wireless. Amendment 1: IP based wireless networks. Geneva: ITU-T Series T: Terminal for Telematic Services, 2012. 6 p.
9. Dufaux F., Baruffa G., Frescura F., Nicholson D. JPWL - an Extension of JPEG 2000 for Wireless Imaging.- URL: citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.514.7166&rep=rep1&type=pd f (date of access 15.11.2018).
10. Скороход С. В., Касьянов О. А. К вопросу робастности средств JPWL в условиях пакетных ошибок // Информатика и кибернетика, 2016, №3 (5), с. 72-79.
References
1. ITU-T Recommendation T.810. Information Technology JPEG2000 Image Coding System: Wireless. Geneva: ITU, 2007. 60 p.
2. Al'bekova Z. M., Kvashurin V. O., Tutik N. A. Inzenernyj vestnik Dona (Rus), 2016, №4. URL: ivdon.ru/ru/magazine/archive/n4y2016/3933.
3. Drozdov S. N., Zhiglatyy A. N., Kravchenko P. P., Lutay V. N., Skorokhod S. V., Khusainov N. Sh. Standart JPEG2000: bazovye algoritmy, primery realizatsii i perspektivy primeneniya. Rostov-on-Don, Izd-vo YuFU. 2014. 255p.
4. Skorokhod S. V. Journal of Theoretical and Applied Information TechNology, 10th November, 2015. Vol. 81, № 1, pp. 34-42, URL: jatit.org/volumes/Vol81No1/5Vol81No1.pdf
5. Skorohod S. V., Drozdov S. N., Khusainov N. S. International Journal of Control Theory and Applications, 2016, Vol. 9 (35), pp. 59-70, URL: serialsjournals.com/serialjournalmanager/pdf/1483182334.pdf
6. Skorohod S. V., Drozdov S. N., Skorohod D. S. Inzenernyj vestnik Dona (Rus), 2017, №4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4453.
7. Network Working Group RFC 5371. RTP Payload Format for JPEG 2000 Video Streams. The Internet Security (IETF), 2006. 31 p.
8. ITU-T Recommendation T.810. Information Technology JPEG 2000 image coding system: Wireless. Amendment 1: IP based wireless networks. Geneva: ITU-T Series T: Terminal for Telematic Services, 2012. 6 p.
9. Dufaux F., Baruffa G., Frescura F., Nicholson D. JPWL - an Extension of JPEG 2000 for Wireless Imaging. URL: citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.514.7166&rep=rep1&type=pd f (date of access 15.11.2018).
10. Skorokhod S. V., Kasyanov O. A. Informatika I Kibernetika? 2016, №3 (5), pp. 72-79.
