CC BY
10
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ /
удк 004.932 Научные статьи
doi:10.31799/1684-8853-2020-5-12-23 Articles
Применение штрихкодирования для цифрового маркирования видеопоследовательностей на основе частотных преобразований
А. Г. Зотина, канд. техн. наук, доцент, orcid.org/0000-0001-9954-9826, zotin@sibsau.ru М. Н. Фаворскаяа, доктор техн. наук, профессор, orcid.org/0000-0002-2181-0454, favorskaya@sibsau.ru аСибирский государственный университет науки и технологий им. академика М. Ф. Решетнёва, им. газеты «Красноярский рабочий» пр., 31, Красноярск, 660037, РФ
Постановка проблемы: защита цифровых данных представляет важную задачу для владельцев мультимедийных продуктов. Одним из эффективных путей ее решения является использование цифрового маркирования видеопоследовательностей. Проблема заключается в необходимости повышать устойчивость цифровых водяных знаков к транскодированию при передаче информации по незащищенным каналам связи. Цель: разработка метода встраивания информации в видеопоследовательности, обладающего повышенной устойчивостью к транскодированию. Методы: новый метод встраивания и извлечения текстовых цифровых водяных знаков основан на штрихкодировании и преобразовании Арнольда. Результаты: разработаны схемы слепого маркирования цифровых видеопоследовательностей в хроматических компонентах на основе дискретного вейвлет-преобразования и дискретного косинусного преобразования. Проведено экспериментальное исследование на устойчивость предложенного метода с использованием кодеков x264 (AVC/H.264) и x265 (HEVC/H.265). Выполнена оценка влияния транскодинга, которая показала высокую степень устойчивости частотного метода на основе вейвлет-преобразования. Экспериментально установлено, что для случаев транскодирования методом однопроходного сжатия видеопоследовательностей при значении параметра Constant Rate Factor, не превышающем 26, удается полностью восстановить встроенную текстовую информацию. Практическая значимость: разработанный метод позволяет надежно встраивать и извлекать текстовую информацию из видеопоследовательностей, подвергающихся сжатию методами высокоэффективного кодирования, при их передаче по незащищенным каналам связи, что является защитой авторских прав владельцев мультимедийных продуктов.
Ключевые слова — цифровой водяной знак, цифровое маркирование видеопоследовательностей, штрихкодиро-вание, преобразование Арнольда, дискретное вейвлет-преобразование, дискретное косинусное преобразование.
Для цитирования: Зотин А. Г., Фаворская М. Н. Применение штрихкодирования для цифрового маркирования видеопоследовательностей на основе частотных преобразований. Информационно-управляющие системы, 2020, № 5, с. 12-23. doi:10.31799/1684-8853-2020-5-12-23
For citation: Zotin A. G., Favorskaya M. N. Application of bar coding for digital watermarking of video sequences based on frequency transforms. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 5, pp. 12-23 (In Russian). doi:10. 31799/1684-8853-2020-5-12-23
Введение
Защита мультимедийных данных, передаваемых по незащищенным каналам связи, является важной задачей для владельцев мультимедийных продуктов. Она включает два основных направления — шифрование и сокрытие информации. Шифрование подразумевает использование криптографических методов защиты, а сокрытие данных включает стеганографические методы и цифровое маркирование. Основным назначением методов цифрового маркирования являют -ся аутентификация и защита авторских прав. Цифровое маркирование подразумевает внедрение в изображение или видеопоследовательность скрытого цифрового водяного знака (ЦВЗ), позволяющего обнаружить изменения видеоматериала, а также получить встроенную метаинфор-мацию из мультимедиаконтента. Встраивание ЦВЗ в видеопоследовательности используется для защиты авторских прав, контроля целост-
ности, а также для скрытой передачи служебной информации. Так, в случае защиты авторских прав в ЦВЗ встраивается информация об авторе, используемом программном обеспечении и иная информация, характеризующая авторство.
Подходы к встраиванию информации в видеопоследовательности
От передачи несжатого видеоматериала по незащищенным каналам связи отказались практически сразу ввиду чрезвычайно большого информационного объема и избыточности. Это привело к активному развитию технологий цифрового сжатия видеосигнала. В настоящее время широкое распространение получил стандарт H.264, или AVC (Advanced Video Coding), менее распространенным является формат H.265, или HEVC (High Efficiency Video Coding). При этом потребовалась защита изображений от несанкциониро-
ванного копирования. С 1990-х годов начали активно развиваться методы цифрового маркирования. Причем исследования продолжаются до сих пор, что вызвано появлением новых кодеков для передачи изображений и видеопоследовательностей с высоким и сверхвысоким разрешением, а также выявлением факторов искажения визуального контента в больших наборах данных, предназначенных для обучения глубоких сетей.
Процесс встраивания ЦВЗ в видеопоследовательность можно рассматривать с различных точек зрения. В одном из подходов видеоинформация рассматривается как последовательность битов. При этом в случае сохранения или передачи видеоинформации с использованием контейнеров будут формироваться соответствующие пакеты, зачастую имеющие избыточную информацию. Данная избыточная информация может быть использована в целях внедрения информации в форме ЦВЗ [1, 2].
Другой подход интерпретирует видеопоследовательность как множество последовательных кадров, отображаемых с высокой скоростью. При такой интерпретации можно использовать любой метод встраивания ЦВЗ, разработанный для статических изображений. При этом предполагается независимая обработка каждого кадра видеопоследовательности как во время встраивания, так и в ходе извлечения ЦВЗ. В рамках данного подхода реализуются известные алгоритмы встраивания ЦВЗ без модификации модулей, отвечающих за кодирование/декодирование видеопоследовательности. Однако применение алгоритмов для каждого кадра возможно только для цифрового маркирования видеопоследовательностей, не подвергающихся сжатию.
Также известен подход встраивания ЦВЗ, ис-пользущий временную характеристику видеопоследовательности и особенности кодирования, состоящие в том, что множество кадров интерпретируется как набор макроблоков, включающих I-кадры (ключевые кадры), P-кадры (кодирование с предсказанием) и B-кадры (кодирование с предсказанием и бинаправленным кодированием). При этом возможны разные формы реализации механизма встраивания, которые зависят от используемого кодека. Так, существует ряд алгоритмов, позволяющих встраивать ЦВЗ в сжатый поток MPEG напрямую, без процесса кодирования и декодирования [3, 4]. Однако у таких алгоритмов имеется значительное ограничение на объем встраиваемой информации, которое зависит от битрейта (количества бит, используемых для передачи/обработки данных в единицу времени). Помимо этого используется подход к встраиванию ЦВЗ, в рамках которого придется вносить изменения в модули кодирования/декодирования информации, в частности, при ис-
пользовании форматов сжатия AVC/HEVC [5, 6]. Метод встраивания визуальных ЦВЗ в I-кадры видеопоследовательностей предложен в статье [7]. Более полный обзор по цифровому маркированию видеопоследовательностей приведен в работе [8].
Методы цифрового маркирования визуальной информации
Методы цифрового маркирования разделяются на пространственные и частотные. При маркировании в пространственной области встраивание ЦВЗ происходит непосредственно в пикселы. Пространственные алгоритмы внедряют ЦВЗ в исходное изображение посредством изменений параметров яркости или цветовых компонентов. Например, при встраивании могут изменяться младшие биты — метод наименьшего значащего бита (Least Significant Bits — LSB). В методе Куттера — Джордана — Боссена отдельные биты водяного знака многократно внедряются в изображение путем изменения значения синего канала в пикселе. Само изменение пропорционально яркостной компоненте пиксела и может иметь как положительные, так и отрицательные значения в зависимости от значения встраиваемого бита водяного знака [9]. Недостатком пространственных методов является низкая устойчивость к нелегитимным операциям обработки изображения (например, зашумлению, изменению размера, фильтрации, сжатию).
Частотные методы обладают более высокой устойчивостью, так как ЦВЗ внедряется в частотные коэффициенты контейнера (изображения или кадра), которые вычисляются с использованием определенных преобразований. К частотным преобразованиям относят: дискретное преобразование Фурье (Digital Fourier Transform — DFT) [10], дискретно-косинусное и дискретно-синусное преобразования (Digital Cosine Transform — DCT и Digital Sine Transform — DST) [11], дискретное вейвлет-преобразование (Digital Wavelet Transform — DWT) [12], дискретное преобразование Адамара (Digital Hadamard Transform — DHT) [13] и др. Одним из методов, использующих дискретно-косинусное преобразование, является метод (алгоритм) Коха — Жао [14].
Процесс маркирования включает две основные операции: внедрение ЦВЗ в изображение или кадр на стороне отправителя и его извлечение на стороне получателя после передачи по незащищенным каналам связи. В алгоритме Коха — Жао внедрение бит встраиваемого сообщения осуществляется за счет изменения двух псевдослучайно выбранных коэффициентов среднеча-стотной области, сформированных в результате
применения дискретно-косинусного преобразования для неперекрывающихся блоков изображения размером 8 х 8 пикселов. Предполагается, что битовое представление встраиваемой информации меньше количества потенциально возможных блоков размером 8 х 8 пикселов. При этом желательно, чтобы исходное изображение имело размеры, кратные восьми пикселам.
Метод встраивания ЦВЗ с применением штрихкодирования
Из-за того, что сжатие видеопоследовательностей часто происходит автоматически с помощью кодека достоверно неизвестно типа, целесообразно выполнять цифровое маркирование I-кадров, отчасти учитывая движение в кадре. Отметим, что при формировании P- и B-кадров сохраняется не только информация о новых участках кадров, но и данные о перемещении блоков. Соответственно, чем больше группа кадров (Group Of Pictures — GOP), тем больше изменяется структура текущего кадра относительно ключевого кадра и сказывается эффект сжатия. По умолчанию в большинстве общедоступных AVC- и HEVC-кодеков максимальный размер GOP составляет 250 кадров, но может изменяться пользователем [15, 16]. Поскольку на уровне API кодеков не представляется возможным жестко установить ключевой кадр и управлять размером GOP в процессе кодирования, то первичным этапом маркирования видеопоследовательности будет выбор кандидатов на роль ключевых кадров [17].
Далее проводится оценка смежных кадров, расположенных за потенциально ключевым кадром, с целью определить потенциальные зоны движения. Кодирование видеопоследовательностей выполняется отдельно для яркостной компоненты и хроматических компонент в цветовом пространстве YCbCr. При этом в зависимости от разрешения кадра применяются различные цветовые схемы согласно рекомендациям сектора радиокоммуникаций Международного союза электросвязи (International Télécommunication Union Radiocommunication Sector — ITU-R). В случае стандартного вещания (SD) применяется схема BT.601, для телевидения высокой четкости (HDTV) с разрешением 1920 х 1080 пикселов применяется схема BT.709, а для видеопоследовательностей, соответствующих стандарту сверхвысокой четкости (UHDTV), когда разрешение кадра достигает 4K (3840 х 2160 пикселов) или 8K (7680 х 4320 пикселов), используется схема BT.2020 [18].
В качестве меры изменения блоков взята средняя абсолютная разница с учетом 50 % доли яр-костной компоненты (Y) и 25 % на каждую хроматическую компоненту (Cb, Cr). Расчет метрики
для блока БЬ размером N х N текущего кадра f происходит с учетом предыдущего кадра f - 1 следующим образом:
madbl =
S \Yf (p) - Yf-1 (P)\
peBL
2 x N2
S \Cbf(p)-Cbf-i(p)\ + S \Crf(P)-Crf-(P)|
peBL peBL
4 х N
где р — пиксел, принадлежащий блоку БЬ.
В случае если значение превышает некоторый порог ТЬс, то считается, что произошли существенные изменения и, скорее всего, это измененный блок.
Подготовка встраиваемой метаинформации
Обычно извлеченный ЦВЗ содержит искажения, вызванные непреднамеренными или преднамеренными атаками. Поэтому требуются механизмы, которые позволили бы восстановить ЦВЗ. Использование обычной графической формы не дает такой возможности из-за неизвестного характера искажений, соответственно, восстановление встроенной информации будет затруднительным. Для большей устойчивости встраиваемой мета-информации предлагается использовать штрих-кодирование. Штрихкод позволяет повысить вероятность корректного считывания информации, поскольку при потере части информации возможно восстановление полос штрихкода благодаря их известной геометрической форме. Для обеспечения наибольшей емкости встраиваемой информации решено использовать штрихкод Code 128, который учитывает латинские символы, цифры и специальные знаки: «Символы штрихового кода Code 128 состоят из трех штрихов и трех промежутков, имеющих модульное строение. Размер одного штриха и промежутка составляет от одного до четырех модулей. Каждый кодируемый символ представлен 11 модулями. Остановочный (стоп) знак состоит из 13 модулей» [19]. При формировании штрихкода для ЦВЗ решено сделать один модуль эквивалентным одному встраиваемому пикселу. Для восстановления штрихкода важен вертикальный размер полос. Экспериментально выяснено, что высота 16 пикселов является достаточной для реконструкции извлеченного штрихкода.
В целях лучшего сокрытия встраиваемых штрихкодов их отображение изменено следующим образом. Выполняется разделение штрихко-да на фрагменты размерностью 32 х 16 пикселов и происходит склейка в блоки 32 х 32 пиксела.
■ Рис. 1. Подготовка ЦВЗ: а — сформированный штрихкод с делением на блоки; б — слепок ЦВЗ; в — слепок ЦВЗ после преобразования Арнольда; г — графическое представление кода ЦВЗ
■ Fig. 1. Preparing of digital watermark: а — barcode divided into blocks; б — mask of a watermark; в — mask of a watermark after Arnold transform; г — graphic representation of watermark code
Данные блоки изменяются посредством преобразования Арнольда [20]. Для блока размерностью N х N преобразование Арнольда преобразует координаты (X, Y) элемента в новые координаты (Xnew, Ynew), используя следующие уравнения:
Xnew = (X + Y) mod N;
Ynew = (X + 2 х Y) mod N.
Особенностью преобразования Арнольда является то, что после определенного количества итераций получается его оригинальное значение. Для усложнения процесса злоумышленного декодирования информации используется различное количество итераций преобразования Арнольда для каждого ЦВЗ. Количество итераций определяется ключом (паролем). После преобразования блоки собираются в единое целое (слепок ЦВЗ). В дальнейшем с учетом информационной емкости кадра формируется код ЦВЗ, возможно, с циклическим повторением слепка. Пример выполнения этапа подготовки ЦВЗ в кадр размером 1280 х 720 пикселов представлен на рис. 1, а-г.
Оценить размер информационного сообщения (в битах) можно, используя выражение
V = (cntSim х 11 + Fpart) х LineH,
где cntSim — количество символов; LineH — размер штриха; Fpart — размер фиксированной части, определяемый как сумма блоков начала (11), конца (13) и контрольного символа (11).
Встраивание ЦВЗ
Схема внедрения ЦВЗ в предполагаемый ключевой кадр изображена на рис. 2. После перево-
да кадров в цветовую модель YCbCr происходит определение потенциальных границ встраивания (количества кадров относительно ключевого кадра). На этом этапе кадр разделяется на блоки и выясняется, сколько блоков было сформировано в результате перемещения (малый вектор движения) и сколько новых блоков появилось. Данный этап необходим, поскольку при формировании P- и B-кадров сохраняется информация о перемещении/изменении блоков, а не сами блоки.
Разбиение на блоки происходит в зависимости от схемы внедрения и выбранного уровня вейв-лет-преобразования. На основе предварительных оценок было решено использовать два уровня вейвлет-преобразования. В рамках второго уровня формируется энергия, характерная для блоков размерностью 8 х 8 пикселов, которую можно интерпретировать как средние частоты. Третий уровень дает более низкие частоты, что может быть полезно с учетом особенностей кодирования видеопоследовательностей. Так, в случае кодирования кодеками AVC/HEVC информация о кадре (без специального переопределения параметров) передается в виде макропикселов, сформированных по схеме YUV420 и YUV420p16 для 8- и 10-битных режимов соответственно. При такой схеме хроматические компоненты имеют вдвое меньшее разрешение, чем яркостная компонента. В случае использования схемы YUV444 разрешение хроматических компонент будет полностью соответствовать разрешению яркост-ной компоненты. Схема YUV422 обеспечивает хроматическим компонентам половину горизонтального разрешения и полное вертикальное разрешение. На рис. 3 показаны схемы разложения яркостной и хроматической компонент при формировании макроблоков, где X обозначает частоту дискретизации яркостного канала, определяющего ширину макропиксела, a — это число выборок хроматических компонет (Cb, Cr) в горизонтальном направлении в первой строке, а число b характеризует выборки компонент (Cb, Cr) во второй строке.
Вейвлет-преобразование разделяет сигнал на два компонента равного размера. Первый компонент характеризует низкочастотные области — аппроксимацию (approximation), второй компонент — высокочастотные области, описывающие детали (detail) или различие (difference). Поскольку в программном модуле встраивания ЦВЗ выполняются целочисленные вычисления, то для осуществления прямого и обратного преобразований решено использовать упрощенную реализацию вейвлетов Хаара, адаптированную для хранения в виде байт. В случае обработки одномерного дискретного сигнала S = вы-
числение компонент approximation (L) и detail (H)
■ Рис. 2. Схема внедрения ЦВЗ в кадр видеопоследовательности
■ Fig. 2. Flowchart of watermark embedding in a frame of video sequence
S2j = Lj + Hj -128; 32j+1 = Lj - (Hj -128).
В результате применения вейвлет-преобразо-вания к изображению путем поочередного одномерного вейвлет-преобразования строк и столбцов будут сформированы четыре области ЬЬ, ИЬ, ЬИ и ИИ. На рис. 4 показаны схема и пример выполнения вейвлет-разложения изображения для двух уровней. Для формирования третьего уровня разложения будет использоваться область низкочастотных компонент ЬЬ2.
Идея алгоритма встраивания в вейвлет-ко-эффициенты, полученные на заданном уровне разложения Ь хроматической составляющей СЬ, расширяет алгоритм Коха — Жао. Встраивание кода ЦВЗ происходит на основе пар псевдослучайных элементов областей ИЬЬ, ИИЬ, ЬИЬ. При этом комбинации пар для каждой частотной области будут соответствовать определенной схеме встраивания, сформированной на основе ключа. Поскольку использована упрощенная схема представления частотной области (диапазон 0...255), то для записи бита информации использовано следующее правило:
4:2:0
4:2:2
4:4:4
YCbCr
Y
(Cb, Cr)
=
+ 1 2 3 4
1 2
a = 2 b = 0
LUU
1 1
1 2 + ь 3 4
11 22
X=4 1 2 3 4
a=2 1 2 3 4
b =2 1 2 3 4
a =4 b =4
■ Рис. 3. Схемы разложения яркостной и хроматической компонент
■ Fig. 3. Schemes of decomposition of intensity and chromatic components
с учетом целочисленного представления (байт) происходит по формулам
Lj =
s2 j +s2j+1 2
= ^^ +128. j о
Обратное вейвлет-преобразование (восстановление сигнала) выполняется следующим образом:
Изображение кадра
Разложение Разложение LL1 HL1
по строкам L1 H1 по столбцам
LH1 HH1
LL1 HL1 Вейвлет -преобразование области LL1 LL2 HL2 HL1
LH2 HH2
LH1 HH1 LH1 HH1
■ Рис. 4. Схема вейвлет-преобразования с разложением на два уровня
■ Fig. 4. Scheme of wavelet transform with two-level decomposition
К1 > К2 + Бг, если Wbit = 1;
К1 < К2 - Бг х 0,5, если Wbit = 0,
где К1 и К2 — элементы частотной области; Бг — величина, характеризующая силу различия частотных коэффициентов (значение из диапазона 1...4); Wbit — бит встраиваемого сообщения.
В предлагаемом способе изменения коэффициентов при записи бита, в отличие от алгоритма Коха — Жао, предлагается изменять сразу оба коэффициента на идентичную величину, но с разным знаком.
В качестве альтернативной схемы встраивания ЦВЗ, но уже для яркостной компоненты или хроматической компоненты Сг, предлагается применить алгоритм Коха — Жао с использованием дискретно-косинусного преобразования размером
4 х 4 пикселов для первого уровня вейвлет-преоб-разования. В случае задействования всех доступных блоков изображения размером (1Н х 1№) информационная емкость встраиваемого сообщения для классического алгоритма Коха — Жао будет определена как (1Н х /^/64, поскольку данный алгоритм предусматривает встраивание одного бита в блок 8 х 8 пикселов. При использовании только вейвлет-преобразования уровня Ь максимальная информационная емкость встраиваемого сообщения определяется следующим выражением:
V = -
(1Н х Iw)
: .Pbit
-,2хЬ
где pbit — степень разреженности изменяемых коэффициентов.
Для двух уровней вейвлет-преобразования информационная емкость встраивания сообщения при = 1 будет в два раза выше, чем у алгоритма Коха — Жао, а при = 2 будет идентичная емкость. Для трех уровней вейвлет-пре-образования и степени разреженности, равной 1, информационная емкость будет в два раза ниже по сравнению с алгоритмом Коха — Жао. В случае комбинации вейвлет-преобразования с дискретным косинусным преобразованием области 4 х 4 пикселов информационная емкость встраивания сообщения вычисляется по формуле
V =
hh х iw ) 16 х 22xL '
При вейвлет-разложении первого уровня емкость встраивания сообщения будет полностью эквивалентна алгоритму Коха — Жао.
Извлечение ЦВЗ
Извлечение информационного ЦВЗ из кадра видеопоследовательности выполняется по схеме, представленной на рис. 5.
Декодированный кадр переводится в цветовую модель УСЬСг. Далее выполняется вейвлет-преобразование и считываются коды ЦВЗ из частотных областей ИЬЬ, ИИЬ, ЬИЬ. Во время счи-
тывания кода ЦВЗ (KD) происходит оценка пар коэффициентов из соответствующей частотной области следующим образом: если (K1 > K2), то KD = 1; если (K1 < K2), то KD = 0.
На основе полученных кодов формируется значение кода полного представления штрих-кода FKD с учетом количества повторений rpt и размера оригинальной встроенной информации, вычисляемой функцией size (при помощи специального маркера) согласно выражению
rpt-1
FKDi = Y, XKDk (i + r х size(W)),
r=0 k
k e {HLl , HHl , LHl }.
На основе кода FKD происходит формирование слепка, куда заносится значение 1 в случае, если FKDi > rpt х 2, и значение 0 в противном случае.
Полученный слепок ЦВЗ трансформируется в блочную структуру, для которой выполняется преобразование Арнольда. Для полученного представления штрихкода осуществляется реконструкция, учитывающая половинную высоту штриха.
Экспериментальные исследования
Эксперименты проводились с использованием видеопоследовательностей со следующими разре-
■ Рис. 5. Схема извлечения ЦВЗ на основе хроматической компоненты Cb
■ Fig. 5. Flowchart of watermark extraction based on chromatic component Cb
шениями: 1280 х 720, 1920 х 1080, 2560 х 1440 и 3840 х 2160. Для более достоверной оценки каждая исходная видеопоследовательность обрабатывалась в незакодированной форме с представлением цвета по схеме YUV444p16. Для встраивания ЦВЗ использовалось RGB-представление. В экспериментальном исследовании были задействованы кодеки x264 (AVC) и x265 (HEVC). Кодирование с применением x264 выполнялось в двух режимах — 8 и 10 бит. В случае кодека x265 применялся 10-битный режим. В кодеках использовались настройки по умолчанию с применением предустановленных настроек параметров — схема Medium. Для оценки влияния степени сжатия на устойчивость алгоритма встраивания ЦВЗ был задействован механизм регулировки качества однопроходного кодирования (параметр CRF — Constant Rate Factor), задающий переменный битрейт (Quality-controlled variable bitrate).
Оценка степени изменений в визуальном отображении кадров выполнялась с использованием метрик PSNR (Peak Signal-to-Noise Ratio), PSNR-HVS (Peak Signal-to-Noise Ratio taking into account Contrast Sensitivity Function), SSIM (Structural Similarity), MS-SSIM (Multiscale Structural Similarity) и UIQI (Universal Image Quality Index). Оценка устойчивости предложенного метода встраивания ЦВЗ выполнялась с использованием метрики BER (Bit Error Rate):
Np; IX если B1; Ф B2;;
BER(B1, Б2) = У p-, p; Л ;
fX N [0, если B1; = B2;,
где Б1 и B2 — последовательности бит до встраивания и после извлечения; N — размер последовательности.
Оценка максимального объема встраиваемой информации для рассматриваемых алгоритмов и используемого видеоматериала приведена в табл. 1.
Для оценки работы алгоритмов встраивания была подобрана комбинация параметров для встраивания ЦВЗ на основе DWT таким образом, чтобы объем встраиваемой информации был сопоставим с алгоритмом Коха — Жао. Так, для предлагаемого метода были определены следующие параметры: для уровня L = 2 степень разреженности измененяемых коэффициентов pbit = 2; дополнительно в экспериментальных исследованиях была использована комбинация L = 3 и pbit = 1. Усредненные данные оценок степени искажения кадра после встраивания ЦВЗ приведены в табл. 2.
Среднее время встраивания ЦВЗ для исследуемых реализаций представлено в табл. 3. Время рассчитано для 30 кадров, по каждому из которых сделано по 15 замеров. Замер выполнялся на компьютере с процессором Intel Core i5 3550 (3,3 ГГц).
Превосходство в скорости встраивания ЦВЗ с применением DWT по сравнению с алгоритмом Коха — Жао обусловлено тем, что при осуществлении вейвлет-преобразований не требуется проводить сложные вычисления. В алгоритме Коха — Жао основное время затрачивается на вычисление дискретного косинусного преобразования и обратного дискретного косинусного преобразования.
В ходе экспериментальных исследований с алгоритмом Коха — Жао при использовании видеопоследовательностей с разрешением 1920 х 1080 пикселов и выше было выяснено, что после сжатия с помощью кодеков x264 и x265 в случае, если показатель CRF выше 20, то восстановление встроенной информации является затруднительным и во многом будет зависеть от контента исходной последовательности. Это обусловлено особенностью кодирования видеопоследовательностей, так как кодек x264 использует макроблоки 16 х 16 пикселов, а кодек x265 — блоки с древовидной структурой кодирования от 64 х 64 до
■ Таблица 1. Максимальный объем встраиваемых данных, бит
■ Table 1. Maximum amount of embedded data, bits
Метод встраивания кода ЦВЗ (параметры) Размер кадра, пиксел
1280 х 720 1920 х 1080 2560 х1440 3840 х 2160
Коха — Жао 14 400 32 400 57 600 129 600
DWT (L = 2, pbit = 1) 28 800 64 800 115 200 259 200
DWT (L = 2, pbit = 2) 14 400 32 400 57 600 129 600
DWT (L = 2, pbit = 3) 9600 21 600 38 400 86 400
DWT (L = 2, pbit = 4) 7200 16 200 28 800 64 800
DWT (L = 3, pbit = 1) 7200 16 200 28 800 64 800
■ Таблица 2. Оценка искажения кадра при встраивании ЦВЗ
■ Table 2. Estimate of frame distortion during watermark embedding
Метод встраивания кода ЦВЗ Компоненты встраивания ЦВЗ Размер кадра, пиксел
1280 х 720 1920 х1080 2560 х1440 3840 х 2160
PSNR
Коха — Жао Cb 36,941 36,678 36,675 36,677
Y 35,743 35,982 35,971 37,079
RGB 37,851 37,674 37,644 37,659
DWT (L = 2, pbit = 2) Cb 37,615 37,431 37,865 38,045
DWT (L = 3, pbit = 1) Cb 34,481 34,468 34,753 35,019
PSNR-HVS
Коха — Жао Cb 100 000 100 000 100 000 100 000
Y 34,6531 34,4193 34,2877 34,2616
RGB 39,9231 39,3529 39,3681 39,3758
DWT (L = 2, pbit = 2) Cb 38,1900 37,4128 37,9958 38,0996
DWT (L = 3, pbit = 1) Cb 34,6241 33,8627 33,1627 34,1285
SSIM
Коха — Жао Cb 0,9427 0,9600 0,9693 0,9361
Y 0,9534 0,9663 0,9740 0,9451
RGB 0,9719 0,9778 0,9837 0,9665
DWT (L = 2, pbit = 2) Cb 0,9727 0,9803 0,9838 0,9698
DWT (L = 3, pbit = 1) Cb 0,9636 0,9720 0,9766 0,9622
MS-SSIM
Коха — Жао Cb 0,9393 0,9064 0,8902 0,8819
Y 0,9304 0,8875 0,8602 0,8575
RGB 0,9583 0,9272 0,9152 0,9131
DWT (L = 2, pbit = 2) Cb 0,9685 0,9508 0,9422 0,9388
DWT (L = 3, pbit = 1) Cb 0,9622 0,9367 0,9332 0,9293
UIQI
Коха — Жао Cb 0,9970 0,9893 0,9923 0,9934
Y 0,9973 0,9812 0,9866 0,9877
RGB 0,9974 0,9799 0,9879 0,9872
DWT (L = 2, pbit = 2) Cb 0,9981 0,9894 0,9906 0,9968
DWT (L = 3, pbit = 1) Cb 0,9964 0,9827 0,9846 0,9861
8 х 8 пикселов. Также следует учитывать, что при декодировании используется фильтр уменьшения блочности, что влияет на качество восстановления кадра.
При оценке устойчивости встраивания кода ЦВЗ с применением дискретного вейвлет-преоб-разования и использования кодека х264 выяснено, что в случае если показатель СИЕ равен 30, то показатель ВЕИ в среднем имеет значение 0,32
(рис. 6). Одновременно с этим возможна реконструкция штрихкода, основанная на использовании повторений. В случае если оригинальная запись сжималась с показателем СИЕ 18 или менее, то при транскодировании с применением значения СИЕ до 25 удается достичь значения ВЕИ, не превышающего 0,17, а с учетом цикличности записи слепка ЦВЗ полностью восстановить штрихкод. В случае многократного транскоди-
■ Таблица 3. Среднее время встраивания ЦВЗ, мс
■ Table 3. Average time of watermark embedding, ms
Метод встраивания кода ЦВЗ Компоненты встраивания ЦВЗ Размер кадра, пиксел
1280 х 720 1920 х1080 2560 х1440 3840 х 2160
Коха — Жао Cb 4634,04 10 498,31 18 789,35 42 148,45
Y 4616,81 10 483,12 18 862,77 41 969,31
RGB 14 021,37 31 885,08 57 334,18 126 405,21
DWT (L = 2, pbit = 2) Cb 157,64 298,37 496,57 969,30
DWT (L = 3, pbit = 1) Cb 150,96 294,76 473,34 954,12
0,5 0,4
й 0,3
№ м
0,2
0,1 0
-
llllll I I I I I I I I I
18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
CRF
■ x264 10 бит x264 8 бит x265 10 бит
■ Рис. 6. Показатель BER извлеченного кода ЦВЗ в зависимости от степени сжатия на основе показателя контроля качества CRF
■ Fig. 6. BER estimate of extracted watermark code depending on a compression degree based on CRF estimate
рования (2-4 раза) с показателем СИЕ, не превышающим значения 25, также полностью удалось восстановить штрихкод. При этом значение ВЕИ для кода ЦВЗ составило 0,19.
Заключение
Разработан метод внедрения текстового сообщения в видеопоследовательность с применением штрихкодирования и цифрового маркирования на основе дискретного вейвлет-преобразования. Построены схемы внедрения и извлечения ЦВЗ в 1-кадр видеопоследовательности, представленный в цветовой модели УСЬСг. Показано, что алгоритм Коха — Жао существенно проигрывает
Литература
1. Wang X., Reeves D. S., Ning P., Feng F. Robust network-based attack attribution through probabilistic watermarking of packet flows. Technical Report TR-2005-10, 2005, Department of Computer Science, NC State Univ., 15 p.
цифровому маркированию на основе штрихко-дирования по времени для видеопоследовательностей высокого и сверхвысокого разрешения. Проведенные эксперименты показали высокую устойчивость к транскодированию видеопоследовательности с использованием стандартных параметров кодека. Если оригинальная запись сжималась с показателем СИЕ 18 или менее, то при транскодировании с применением значения СИЕ до 25 значение ВЕИ не превышает 0,17, а с учетом цикличности записи слепка ЦВЗ штрихкод полностью восстанавливается. В случае многократного транскодирования (2-4 раза) с показателем СИЕ, не превышающим значения 25, также удалось полностью восстановить штрихкод. При этом значение ВЕИ для кода ЦВЗ составило 0,19.
2. Wolf P., Hauer E., Steinebach M. The video watermarking container: efficient real-time transaction watermarking. Proc. SPIE 6819, Security, Forensics, Stegano-graphy, and Watermarking of Multimedia Contents X, 2008, pp. 68190K.1- 68190K.10. doi:10.1117/12.766544
3. Liu Y., Zhou P. A survey of video watermarking based on motion vector. 2014 International Conference on
Computer, Communications and Information Technology (CCIT 2014), 2014, pp. 1951-6851. doi:10.2991/ ccit-14.2014.71
4. Wang P., Zhang Z., Ying J. A novel video watermark technique in motion vectors. 2008 International Conference on Audio, Language and Image Processing, 2008, pp. 1555-1559. doi:10.1109/ICALIP.2008. 4590271
5. Stutz T., Uhl A. A survey of H.264 AVC/SVC encryption. IEEE Transactions on Circuits and Systems for Video Technology, 2012, vol. 22, no. 3, pp. 325-339. doi:10.1109/TCSVT.2011.2162290
6. Ogawa K., Ohtake G. Watermarking for HEVC/H.265 stream. 2015 IEEE International Conference on Consumer Electronics (ICCE), 2015, pp. 102-103. doi:10.1109/ICCE.2015.7066337
7. Favorskaya M. N., Buryachenko V. V.Authentication and copyright protection of videos under transmitting specifications. In: Computer Vision in Advanced Control Systems-5. ISRL. Favorskaya M. N., Jain L. C. (eds). Springer, Cham, 2020. Vol. 175. Pp. 119-160. doi.org/10.1007/978-3-030-33795-7_5
8. Artru R., Roux L., Ebrahimi T. Digital watermarking of video streams: review of the state-of-the-art. ArXivprepring, 2019, arXiv:1908.02039v2. 33 p.
9. Lysenko N., Labkov G. Applying of Kutter-Jordan-Bossen steganographic algorithm in video sequences. 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), 2017, pp. 695-696. doi:10.1109/EICon-Rus.2017.7910651
10. Ganic E., Dexter S. D., Eskicioglu A. M. Embedding multiple watermarks in the DFT domain using low-and high-frequency bands. Proceedings of the SPIE: Security, Steganography, and Watermarking of Multimedia Contents, 2005, 5681, pp. 175-184. doi.org/ 10.1117/12.594697
11. Briassouli A., Tsakalides P., Stouraitis A. Hidden
messages in heavy-tails: DCT-domain watermark de_/
tection using alpha-stable models. IEEE Trans on Multimedia, 2005, vol. 7, no. 4, pp. 700-715. doi.org/ 10.1109/TMM.2005.850970
12. Zheng X.-B., Zhang X.-W., Sun M.-J. A blind digital watermarking algorithm based on wavelet transform. 2011 IEEE International Conference on Computer Science and Automation Engineering, 2011, pp. 679-682. doi:10.1109/CSAE.2011.5952937
13. Favorskaya M., Savchina E., Popov A. Adaptive visible image watermarking based on Hadamard transform. IOP Conference Series: Materials Science and Engineering, 2018, vol. 450, no. 5, MIST Aerospace, pp. 052003.1-052003.6. doi:10.1088/1757-899X/450/ 5/052003
14. Koch E., Zhao J. Towards robust and hidden image copyright labeling. IEEE Workshop on Nonlinear Signal and Image Processing, 1995, pp. 452-455.
15. X264 Settings. http://www.chaneru.com/Roku/HLS/ X264_Settings.htm (дата обращения: 15.01.2020).
16. x265 Documentation. https://x265.readthedocs.io/ en/default/index.html (дата обращения: 15.01.2020).
17. Favorskaya M. N., Buryachenko V. V. Detecting relevant regions for watermark embedding in video sequences based on deep learning. In: Intelligent Decision Technologies. IDT 2020. Smart Innovation, System and Technologies. Czarnowski I., Howlett R., Jain L. (eds). Springer, Singapore, 2020. Vol. 193. Pp. 129-139. doi:10.1007/978-981-15-5925-9_11
18. Broadcasting service (television). https://www.itu. int/rec/R-REC-BT/en (дата обращения: 15.01.2020).
19. ГОСТ ISO/IEC 15417-2013. Информационные технологии (ИТ). Технологии автоматической идентификации и сбора данных. Спецификация символики штрихового кода Code 128. М., Стандартинформ, 2014. 31 c.
20. Li M., Liang T., He Y. Arnold transform based image scrambling method. Proceedings of 3rd International Conference on Multimedia Technology(ICMT-13), 2013, pp. 1309-1316. doi:10.2991/icmt-13.2013.160
UDC 004.932
doi:10.31799/1684-8853-2020-5-12-23
Application of bar coding for digital watermarking of video sequences based on frequency transforms A. G. Zotina, PhD, Tech., Associate Professor, orcid.org/0000-0001-9954-9826
M. N. Favorskayaa, Dr. Sc., Tech., Professor, orcid.org/0000-0002-2181-0454, favorskaya@sibsau.ru
aReshetnev Siberian State University of Science and Technology, 31, Krasnoyarsky Rabochy Av., 660037 Krasnoyarsk,
Russian Federation
Introduction: Owners of multimedia products face an important problem of protecting their digital data. An effective way to solve it is digital watermarking of video sequences. The challenge is the need to improve the digital watermark tolerance for transcoding when the data are transmitted via unprotected channels. Purpose: Development of method for embedding data into a video sequence which would have a higher tolerance for transcoding. Methods: We propose a novel method for embedding and extracting textual digital watermarks based on the bar coding and Arnold transform. Results: Blind marking schemes have been developed for digital video sequences in chromatic components, based on the discrete wavelet transform and discrete cosine transform. An experimental study has been conducted to check the stability of the proposed method using encoders x264 (AVC/H.264) and x265 (HEVC/H.265). The estimation of transcoding impact has shown that the frequency method based on wavelet decomposition has a high degree of stability. It was discovered during the experiments that for the cases of video transcoding by single-pass compression with a Constant Rate Factor
not exceeding 26, the embedded textual information is fully restorable. Practical relevance: The developed method allows you to reliably embed or extract textual data from video sequences compressed using highly efficient coding methods during their transmission via unprotected channels, providing copyright protection for multimedia product owners.
Keywords — digital watermark, digital marking of video sequences, bar coding, Arnold transform, discrete wavelet transform, discrete cosine transform.
For citation: Zotin A. G., Favorskaya M. N. Application of bar coding for digital watermarking of video sequences based on frequency transforms. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 5, pp. 12-23 (In Russian). doi:10.31799/1684-8853-2020-5-12-23
References
1. Wang X., Reeves D. S., Ning P., Feng F. Robust network-based attack attribution through probabilistic watermarking of packet flows. Technical Report TR-2005-10, 2005, Department of Computer Science, NC State Univ.,
15 p.
2. Wolf P., Hauer E., Steinebach M. The video watermarking container: efficient real-time transaction watermarking. Proc. SPIE 6819, Security, Forensics, Steganography, and Watermarking of Multimedia Contents X, 2008, pp. 68190K.1- 68190K.10. doi:10.1117/12.766544
3. Liu Y., Zhou P. A survey of video watermarking based on motion vector. 2014 International Conference on Computer, Communications and Information Technology (CCIT 2014), 2014, pp. 1951-6851. doi:10.2991/ccit-14.2014.71
4. Wang P., Zhang Z., Ying J. A novel video watermark technique in motion vectors. 2008 International Conference on Audio, Language and Image Processing, 2008, pp. 15551559. doi:10.1109/ICALIP.2008.4590271
5. Stutz T., Uhl A. A survey of H.264 AVC/SVC encryption. IEEE Transactions on Circuits and Systems for Video Technology, 2012, vol. 22, no. 3, pp. 325-339. doi:10.1109/ TCSVT.2011.2162290
6. Ogawa K., Ohtake G. Watermarking for HEVC/H.265 stream. 2015 IEEE International Conference on Consumer Electronics (ICCE), 2015, pp. 102-103. doi:10.1109/ICCE. 2015.7066337
7. Favorskaya M. N., Buryachenko V. V. Authentication and copyright protection of videos under transmitting specifications. In: Computer Vision in Advanced Control Systems-5. ISRL. Favorskaya M. N., Jain L. C. (eds). Springer, Cham, 2020. Vol. 175. Pp. 119-160. doi.org/10.1007/978-3-030-33795-7_5
8. Artru R., Roux L., Ebrahimi T. Digital watermarking of video streams: review of the state-of-the-art. ArXiv pre-pring, 2019, arXiv:1908.02039v2. 33 p.
9. Lysenko N., Labkov G. Applying of Kutter-Jordan-Bossen steganographic algorithm in video sequences. 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), 2017, pp. 695-696. doi:10.1109/EIConRus.2017.7910651
10. Ganic E., Dexter S. D., Eskicioglu A. M. Embedding multiple watermarks in the DFT domain using low- and high-fre-
quency bands. Proceedings of the SPIE: Security, Steganography, and Watermarking of Multimedia Contents, 2005, 5681, pp. 175-184. doi.org/10.1117/12.594697
11. Briassouli A., Tsakalides P., Stouraitis A. Hidden messages in heavy-tails: DCT-domain watermark detection using alpha-stable models. IEEE Trans on Multimedia, 2005, vol. 7, no. 4, pp. 700-715. doi.org/10.1109/TMM.2005.850970
12. Zheng X.-B., Zhang X.-W., Sun M.-J. A blind digital watermarking algorithm based on wavelet transform. 2011 IEEE International Conference on Computer Science and Automation Engineering, 2011, pp. 679-682. doi:10.1109/CSAE. 2011.5952937
13. Favorskaya M., Savchina E., Popov A. Adaptive visible image watermarking based on Hadamard transform. IOP Conference Series: Materials Science and Engineering, 2018, vol. 450, no. 5, MIST Aerospace, pp. 052003.1-052003.6. doi:10.1088/1757-899X/450/5/052003
14. Koch E., Zhao J. Towards robust and hidden image copyright labeling. IEEE Workshop on Nonlinear Signal and Image Processing, 1995, pp. 452-455.
15. X264 Settings. Available at: http://www.chaneru.com/ Roku/HLS/X264_Settings.htm (accessed 15 January 2020).
16. x265 Documentation. Available at: https://x265.readthe-docs.io/en/default/index.html (accessed 15 January 2020).
17. Favorskaya M. N., Buryachenko V. V. Detecting relevant regions for watermark embedding in video sequences based on deep learning. In: Intelligent Decision Technologies. IDT 2020. Smart Innovation, System and Technologies. Czarnowski I., Howlett R., Jain L. (eds). Springer, Singapore, 2020. Vol. 193. Pp. 129-139. doi:10.1007/978-981-15-5925-9_11
18. Broadcasting service (television). Available at: https:// www.itu.int/rec/R-REC-BT/en (accessed 25 January 2020).
19. State Standard ISO/IEC 15417-2013. Information technology. Automatic identification and data capture techniques. Code 128 bar code symbology specification. Moscow, Stan-dartinform Publ., 2014. 31 p. (In Russian).
20. Li M., Liang T., He Y. Arnold transform based image scrambling method. Proceedings of 3rd International Conference on Multimedia Technology(ICMT-13), 2013, pp. 1309-1316. doi:10.2991/icmt-13.2013.160
