CC BY
73
I ЭТАЛОННАЯ ОЦЕНКА КАЧЕСТВА ОЦИФРОВАННЫХ СТАТИЧЕСКИХ ИЗОБРАЖЕНИЙ И ВИДЕОСИГНАЛОВ В СИСТЕМАХ БЕЗОПАСНОСТИ
Филиппов А.К. \ Шахтарин Б.И.2
Рассмотрены существующие проблемы оценки качества оцифрованных статических изображений и видеосигналов в системах безопасности с целью обеспечения таких важных элементов информационной безопасности, как достоверность и целостность. Проведен анализ ряда современных метрик (PSNR, SSIM и MS-SSIM) и методик эталонной оценки качества, наиболее широко распространенных в таких сферах, как цифровое кино и телевидение, видеоконференции. Рассмотрен ряд свойств и особенностей указанных метрик и методик, которые ограничивают их применение в системах охранных телевизионных, также известных как системы видеонаблюдения. Приведено краткое описание обобщенной математической модели, в которой видеоизображение рассматривается как комбинация четырех компонентов: гладких областей, контуров, текстур и шума. Базируясь на этой математической модели, разработан новый метод эталонной оценки качества статических изображений и видеосигналов, заключающийся в использовании метрик AEFи PWAE, предназначенных соответственно для оценки искаженности границ и величины максимального искажения яркости или цветности. Представлены детальное теоретическое обоснование предлагаемых метрик, описание методики их применения, а также экспериментальные результаты, демонстрирующие пригодность данного метода для оценки достоверности в системах, где применяется сжатие с потерями информации (в первую очередь, в системах видеонаблюдения).
Ключевые слова: сжатие с потерями информации, статические изображения, видеосигналы, системы охранные телевизионные, видеонаблюдение, эталонная оценка качества.
Введение
Современные угрозы (такие, как терроризм, нелегальная миграция, организованная преступность и многочисленные приграничные конфликты) обуславливают широкое распространение систем безопасности, функционирующих, используя различные физические принципы. К ним относятся технические средства охраны и защиты периметра, системы контроля и управления доступом к объектам, охранно-пожарные системы, а также системы видеонаблюдения, для которых в соответствии с ГОСТ Р 51558-2008 используется термин «системы охранные телевизионные» (СОТ). В последние 5-10 лет роль СОТ непрерывно возрастала: от вспомогательной подсистемы, роль которой сводилась, как правило, к проверке информации, поступающей от других подсистем, СОТ эволюционировали до статуса ключевого элемента систем безопасности. Во многом такой прогресс в развитии СОТ стал возможен благодаря переходу от аналоговых технологий к цифровым, которые и используются в настоящее время совместно с сетевыми технологиями, построенными, как правило, на основе IP(Internet Protocol)-протокола.
DOI: 10.21581/2311-3456-2017-2-61-74
Именно такое сочетание позволяет разрабатывать и проектировать недорогие, надежные и масштабируемые системы СОТ, использующие не уникальное (как было для аналоговых СОТ), а широко распространенное оборудование (в первую очередь, сетевые устройства) и элементную базу, предназначенную для цифровой обработки видеосигналов. Не удивительно, что одними из критически важных методов цифровой обработки видеосигналов, применяемых в СОТ, являются алгоритмы сжатия с потерями информации. Они позволяют существенно сокращать изначально большие объемы видеоданных до такого размера, который может быть передан по широко распространенным сетям связи (в частности, соответствующим стандартам IEEE 802.3 и IEEE 802.11) за счет ухудшения качества видеосигнала по сравнению с исходным, делая задачу оценки качества практически актуальной и теоретически значимой.
1. Постановка задач исследования
Как известно, одна из основных проблем при использовании сжатия с потерями состоит в выборе такого соотношения между объемом данных (англ. rate) и искажением (англ. distortion) видео-
1 Филиппов Алексей Константинович, кандидат технических наук, доцент, ООО «Техкомпания Хуавей», Москва, email: aleks_filippov@mail.ru
2 Шахтарин Борис Ильич, доктор технических наук, профессор, МГТУ им. Н.Э. Баумана, Москва, email: shakhtarin@mail.ru
изображения или видеопоследовательности, которое бы наилучшим образом соответствовало задачам, решаемым системой (в рассматриваемом случае, СОТ). Эта проблема известна как RD-оптимизация (Rate-Distortion optimization, RD optimization, RDO). С математической точки зрения, она может быть сформулирована как условной оптимизации (constrained optimization) [1]:
[D(R) ^ min IR < R '
(1)
где D(R) - величина искажения видеоизображения или видеопоследовательности (это значение зависит от объема данных R, получаемых на выходе кодера, что отражено в виде обозначения )); Rc - целевое значение объема данных, которое не должно быть превышено при кодировании, то есть объем данных R на выходе кодера должен быть меньше величины Rc. Принимая во внимание тот факт, что задачи условной более сложны, чем задачи безусловной оптимизации, целесообразно сводить задачи первого типа к эквивалентным (то есть с совпадающим решением) задачам второго типа.
Используя метод множителей Лагранжа, эквивалентная задача безусловной оптимизации может быть сформулирована как [1]
Jopt = min{j }
(2)
где J - это функционал, подлежащий оптимизации для всех доступных значений /:
J = Di +Щ, (3)
Л - скалярный параметр функционала оптимизации, известный как множитель Лагранжа. Следовательно, для поиска оптимального соотношения между потерей качества исходного изображения D и объемом данных R необходимо знать значения двух множеств (наборов) величин: {Д и }IN=-01, где N - это число доступных значений i (по сути, это число таких комбинаций D и R, при которых значения обоих величин находятся в приемлемых пределах). Если методика определения объема данных R очевидна, то оценка качества видеоизображений и видеопоследовательностей, а также степени их искаженности D по сравнению с оригиналом является актуальной научной проблемой, не имеющей удовлетворительного решения до настоящего времени как в общем виде, так и для многих практически важных приложений. Так, для СОТ критически важным требованием, предъявляемым к качеству видеосигнала, является обеспечение его достоверности (англ. signal
fidelity) [2]. В настоящей работе предлагается новый метод оценки качества статических изображений и видеосигналов, ориентированный именно на оценку их достоверности.
2. Аналитический обзор известных методов оценки качества оцифрованных изображений и видеосигналов
Как известно, методы оценки качества (англ. quality assessment) статических изображений и видеоданных разделяются на
- субъективные, то есть когда оценка осуществляется человеком посредством его органов зрения;
- объективные, то есть когда используются различные математически сформулированные критерии качества видеоизображений, называют также метриками (англ. metric), мерами (англ. measure) или индексами оценки качества (англ. quality assessment index, QAI).
Безусловно, субъективные методы имеют большое значение во многих применениях, где требуется оценка качества видеосигнала. Более того, для подавляющего большинства случаев именно субъективная оценка используются для верификации результатов объективной, и это совершенно обоснованно там, где пригодность качества видеосигнала для человеческого восприятия является конечной целью (например, киноиндустрия, телевидение, видеоконференции, сервисы передачи видеоданных, снятых пользователями). Однако, как было сказано выше, СОТ представляют собой особый случай, где, в первую очередь, требуется достоверность сигнала, определяемая как репрезентативность оцениваемого сигнала R по отношению эталонному S, который считается практически равным реальному сигналу Sr (искажениями в оптической подсистеме, шумами сенсора и ошибками преобразования сигнала из аналоговой формы в цифровую, как правило, или стараются компенсировать или пренебрегают в виду их малого влияния на сигнал S). Очевидно, что репрезентативность численно может оцениваться через степень близости R и S, что весьма похоже на математическое определение метрики, являющейся как раз мерой близости. Таким образом, особую роль в СОТ приобретают объективные методы оценки качества видеосигнала, которые включают в себя три большие группы [3]:
- эталонная оценка (англ. full-reference quality assessment): полностью известны как эталонный S (x, y), так и оцениваемый R(x, y) сигналы, то есть возможно провести их поэлементное сравнение;
- псевдоэталонная оценка (англ. reduced-reference quality assessment): оцениваемый сигнал R(x, y ) известен полностью, а об эталонном сигнале S (x, y ) имеются лишь некоторые сведения, а именно значения его характеристик (англ. features): например, диапазон частот, положение наиболее важных участков изображений (англ. Region of interest, ROI), максимальное и минимальное значение яркости пикселей, а также их распределения;
- неэталонная оценка (англ. no-reference quality assessment, известная также как «blind» quality assessment): известен только оцениваемый сигнал, а информация об эталонном сигнале отсутствует полностью, но имеются априорные сведения о типах присутствующих искажений. Например, оценка может производиться путем анализа перепадов между блоками, известных как блочные артефакты (англ. blocking artifacts) и образуемые после сжатия рядом кодеков (в частности, совестимыми со стандартом JPEG).
Очевидно, что эталонные методы оценки качества изображений обладают принципиально большей точностью, чем псевдоэталонные и неэталонных, а точность оценки - один из ключевых факторов при определении достоверности видеосигнала. Далее в настоящей работе рассматриваются только эталонные методы оценки качества, поскольку именно они, как правило, используются в кодеках для RD-оптимизации. Как показано на рис. 1, на стороне кодера имеется RDO-механизм, отсутствующий на стороне декодера. Как было показано выше, именно в нем производится эталонная оценка качества с тем, чтобы установить степен ь искажения D сжатого сигнала относительно эталонного, поскольку на стороне кодера доступны как эталонный, так и оцениваемый сигналы. Кодер
осуществляет перебор пар значений {Д(=о,)}^1 и {R (Pi К для набора значений параметра p, принимающего N различных значений, чтобы в результате найти такое его значение popt, при котором функционал оптимизации J (p ) оказывается вточ-ке минимума:
Pop = argmin(/ (рг )}. (4)
Эти переборы могут осуществляться независимо друг от друга (например, при реализации алгоритма полного перебора значений параметра p) или решение о необходимости следующей итерации может приниматься на основе информации о предыдущей итерации (например, при использовании RDO на основе метода градиентного спуска). Именно при осуществлении этих переборов, количество которых, как правило, определяет вычислительную сложность кодера, можно контролировать качество той части видеосигнала, которая обрабатывается в настоящий момент: если объем искажений Di для pi превышает некоторое заранее установленное значение DTHR, то такие значения параметра pi просто исключаются из дальнейшего рассмотрения:
J (Рг )=«> | D (p, )> DTHR . (5)
Как видно из рис. 1, на стороне декодера оценка качества для дополнительного подтверждения достоверности восстановленного видеосигнала может проводиться с применением псевдоэталонных или неэталонных методов.
Наиболее распространенным и широко применяемым критерием для эталонной оценки качества является пиковое значение сигнал/шум (англ. Peak Signal-to-Noise Ratio, PSNR), рассчитываемое как
( ,2 Ч\
PSNR = 10 kg
N x M x I ^max_{S (x, y )}
\ x=0,N-1 y=0M-1 N-1M-1
XI(S (x, y )-R(x, y ))
x=0 y=0
(6)
где 8(х,у) и Я(х,_у) эталонныйиоцениваемый (в случае оценои качества после сжатия с потерями, соответственно исходным и восстановлйнныий) двумерные сигналы размером N по оси абсцисс и Ай по оси ординат. Операция _шах-^(х, у)}
г г х=0,Ы-1 у=0,М-1
означает вы|бор максимально возможного значения, принимаемого исходные сигналом. тах_(хпу)}= 2" -1 для видеоизображе-
х=0,ЛТ-1 у=0М~1 1
ний, где цветовая плоскостьр представляется через п бит, то есть зоачение пиксгля Я (х,_у) для
А V
S N
à
^ RDO J
Р
с N
а
i>
Т
т
Рис. 1. Сжатие видеосигналов с потерями в СОТ
3
цветовой плоскости p находится в диапазоне от 0 до 2п -1 : Sp (x, y)e[o, 2n -1] (например, для 8-битного представления 28 -1 = 255 ). В ряде источников (например, в [4, 5]) считается, что именно PSNR отражает достоверность сигнала. Это утверждение базируется на том простом факте, что в расчете PSNR участвуют попиксельные разницы между исходным и восстановленным изображениями: S(x,y)-i?(x,y). Однако врядлитакуюточку зрения можно считать верной. В том, что в PSNR никак не учитывается корреляция между ошибкл-ми, которая может существенно влиять как субъективное восприятие видеосигнала, т-к и на его достоверность. Рассмотрим релулктаты простого эксперимента, представленнык на рис. 2:
- на рис. 2а показано исходное? изобрежение Lenna, имеющее 8-битное представлелие для каждого пикселя и раснешение512х512 ииеиелей;
- на рис. 2б полазкне изобиажение Lenea, к которому добавлен аддитивный гауксов белый шум (PSNR=34,65 дБ);
- на рис. 2б показано изображенне Lee-a, гду на лицо нанесено искажение в виде лииил черного цвета (PSNR=34,65 дБ).
При сравнении всех изображений между собой можно заметить, что
- изображения на рис. 2а и рис. 2б практически идентичны, то есть достоверность данного изображения, к которому добавлен некоррелированный шум, не вызывает сомнений, поскольку значение PSNR достаточно велико;
- изображения на рис. а и рис. 2в отничаются весьма существенно, поскольку подобное исрии-жение при идентификсцил объекта может быыь использовано как отличительный признаи, то есть изображение на рис. в не может быть приз нано
достоверным, что свидетельствует о том, что значение РБШ при добавлении коррелированных искажений не может использоваться для определения достоверности видеосигнала.
Весьма очевидна причина, порождающая указанную проблему: оценка производится для всего изображения, при этом величина илннженин в отдельных его частях фактич ески усредояотся - это, безусловно, не подходит для решения зн-дано опроделения дп>стовн|эиостн дидинсигналн. Следует подчедкнутн, чтн даннан нреблима тв-пихна не только для ХБОН, но и ден других широко распнострaненеых индексои оценки качества, в частнастн, .лн ББ1М (антл. ¡ДниоШга! Б1тПаНХу, струэту|аное подобил), котороя представляет со^ бой комНинацаю трех волнчад, сравоивающнн отиична сс:)(^т^1Этсте?(^:-1Н(^ яранити I: котраста с и ат|ауктуоа1 5 зэ вндоочэшслов о и у 1рос. 3) [ВД
еинм Д, уО = /ОН- д О: с (х > У )> ^х, у 3). (7>
тыр(жлиии (а: может ныть ореобразоватт к слн-ующему сидн [Э|:
+ С. )в (-)сг:д) д Эд )
о^) \01+о2а +С-)(
SSУlУ(ы,y) н
К2 +е-+<
еа
где PL* н
г=1
й
<Сс н
Е(се-к)2
е-i
й L Hl
Z^p-OIU—PJ
н-рнн
й-1
1, а Oi=(K,-Lf н
C2h{K2-LK и С3 - малеи нонстанты, кото-рке пржниуают слзчд^ункэнцие значкекя: К н ч,0)1, К2 = 0,03 л С3 н С2/2 [3, 7].
а) Исходное изображение Lenna
б) Изо бражение, к которому добав-
лен аддитивный гауссов белый шум
(PSNR=34,65 дБ)
в) Изображение, к которому добавлена линия черного цвета (PSNR=34,65 дБ)
Рис. 2. Сравнение влияния некоррелированных и коррелированных искажений на достоверность видеосигнала, а также на величину PSNR [6]
Выражение (8) широко используется для эталонной оценки качества видеосигналов после сжатия с потерями. Как правило, указанная формула применяется не ко всему изображению, а только к его локальной области О. Для практической реализации парадигмы локальной обработки при оценке качества изображений применяется метод скользящего окна (рис. 4), когда расчет некоторой метрики производится в окне, имеющем прямоугольную форму и размеры Н хЖ , где Н и Ш - соответственно её высота и ширина. После завершения очередного вычисления окно смещается на величину Дн по вертикали и на Дж по горизонтали, образуя перекрытие между соседними окнами, равное (Н -Дн )-(Ж -Дш). Как правило, последовательные смещения производятся только по одной из координатных осей. В [3] используется окно размером 8х8 и смещение в один пиксель. Изменения положения окна в обоих направлениях производится только в специфических случаях (например, при оценке качества вдоль границ). В завершении рассчитывается усредненное значение ББ1М (англ. теап ББ11\/1, МББ1М) для всех
М значений, которые были получены при обработке изображения скользящим окном:
1 М -1 , .
МШМ (х, у) = — 2 SSIM (х], у}.),
М ]=о
(9)
где х}- и у1 - эталонный и оцениваемый (искаженный) сигналы в окне у.
Рис. 4. Применение метода скользящего окна при решении задачи оценки качества видеосигналов
Рассмотрим то, насколько ББ1М может быть использован для оценки достоверности сигнала, снова проведя простой эксперимент. На рис. 5 пргдхтавлены! трап изобриже ния:
а) Фрагме\т исходного изображения |рппа
Т ) Фрагмент инображения, сжахого Какое./ кодером, совместимым со стандартом готировании ^Бй 2000: 38Я0=21,64 дБ; 4Э1М=0.8095
вф Ф^гмент изчХражения , исиажен ногг путгм днбавления части лиха другого челоиека: Р81Пи=21,23 дБ; 85!М=0.8И2 8
Риз. 5. Сравление влияния ижатия з потериниз и коррелирыванных иозажений на достоверность видоозихнала, а такжч на величины! РБЫР и ББ1М
- фрагмент исходного изображения Ьеппа,
- упомянутый выше фрагмент, подвергнутый компрессии с потерями;
- упомянутый выше фрагмент, искаженный путем подмены лица одного человека на лицо другого.
Для эталонной оценки качества изображений, представленных на рис. 5б и 5в, использовались одновременно РБШ и ББ!М. Полученные значения метрик отличаются на 0,41 дБ для РБШ и на 0,0067 для ББ!М, что не является значительной разницей, хотя, по сути, с оригиналом сравниваются лица двух разных людей. Следует подчеркнуть, что подмена лиц могла бы быть произведена более качество, а это позволило бы еще больше сблизить значения РБШ и ББ!М. Таким образом, можно сделать вывод, что ни ББ!М, ни ББ!М в сочетании с РБШ не могут с достаточно высокой надежностью гарантировать достоверность видеосигнала.
Основная причина, которая не позволяет указанным метрикам быть эффективными при оценке достоверности видеосигнала, обусловлена, в первую очередь, не в их математическими свойствами, а тем, что локальные оценки искажений усредняются для всего видеосигнала. Очевидно, что в примерах, показансв1х на рис. 5в и 5в, иссаждния
, локализидансые ни отделиных фригмднтаа у изображений, значительно провышают сридний уровень_Д ошибки для изображидий в оеоом, а.е.
> Б. Такимоб|эазом, дли получения достоверных результатов необходимо иро и зиодоич с |чавп е-ние величины искажения!) с аороиовым иначена-ем Бтнк, отражающим маосимально допустамую величину искижеаия пди сохранениа достоверности, не только для всего изображения, но и локально, чтобы исключить недостоверные фрагмаа-ты. Очевидно, что если для некоторой области О изображения величина искажения боо превышает Бтнк (БО > ИР)ТН]Д), то эта облесим О чолжна быть помечена как недостовернея, -ели вди изоброжсние целиком должно бзотв прдзнкио седостовероым. Не стоит поясняти, что в слцчсе оерноео варианте возникает весьма много сложностей. В частности, не понятно, вакнх размеров и формы должна быть
область Q. Если она будет достаточно большой, то это не позволит решить обозначенную выше проблему. В противном случае, объем дополнительно передаваемых и/или сохраняемых метаданных будет весьма значительным. В предельном случае, когда значение бинарного флага «Достоверен / Не достоверен» указывается для каждого пикселя отдельно, необходимо к основному изображению добавить еще и бинарное, что может существенно снизить эффективность процедуры компрессии. Таким образом, решение лучше принимать или для видеоизображения целиком или отдельно для каждого важного участка изображения (ROI), что не приведет к существенному увеличению объема метаданных. С другой стороны, при таком подходе даже относительно небольшое по размерам искажение может привести к тому, что все изображение или его достаточно большой фрагмент будут признаны недостоверными, а это может также негативно сказаться на эффективности сжатия, поскольку потребует увеличения объема передаваемых данных R без реальной на то необходимости. Каким же образом следует производить локальную оценку качества с целью определения достоверности?
Д ав а йте рассм отрим одну и з м одификаций метрики SSIM, которая называется IVUSSIM (Multia Scole SSIM) и япляется его многомасштабне1м расширением [7], ан еоат оцеека приизвоиатся не тол ько дон кихтднокц изоб |яаже ни ия, н о и дло её уоеньштнных варйинеов (рис 6). отатонтя мцт|оя-еи раскпятыиатося пса формуле
ояят-ййтр(и,у) = Оо(и,у)]м -ПМоозК^ -ЯуЫМ,, ос
о
пде j е [l,M] - порядковый индекс текущего масштаба, что окначает умкньшение размора изображения по вертиаали и гориаинтали по срав-никаак с иекадоым в 2ач рао (оуто на
рис. 9 симвклом «2 -]» »); ом, j к jj - яеличины, испплнзуемые в иачесаве весовым показателей для ттждой из аомпокент (чтобы можно было на-стртить их oтнocитплькую важность) [И]. СН целью упр оиде^ишяя Eit]ii3^]]]£î параметров депЯеII- в [7]
M
пеконто, итт aM = Р;. = у. и
I>,=i-
==г
Рис. б. MS-SSIM: многомасштабное расширение индекса оценки качества SSIM [7]
Как видно из рис. 6, оценка производится итерационно по мере масштабирования размеров изображений (как оригинального, так и искаженного). Во избежание эффекта наложения частот перед уменьшением размера изображения производится фильтрация с помощью фильтра низких частот (ФНЧ). Результаты, полученные после выполнения всех итераций, используются для расчета окончательного значения МБ-ББ!М по формуле (10). Подход, заключающийся в применении многомасштабной оценки качества видеосигналов и предложенный в [7], может быть применен к рассматриваемой задаче с целью установления размера минимально достоверного элемента. Необходимость такой процедуры обусловлена тем фактом, что в СОТ решаются задачи, предъявляющие различные требования к качеству достоверного видеоизображения [8]. Задачи можно разделить на три большие группы в порядке возрастания требований к качеству видеосигнала:
- детектирование (например, присутствия человека или транспортного средства);
- классификация (например, квалификация преступления и/ или подсчет числа его участников);
- идентификация (например, человека или транспортного средства).
Таким образом, определение размера минимально достоверного элемента видеоизображения позволяет оценить пригодность того или иного видеосигнала для решения перечисленных задач. Предлагаемый алгоритм оценки, совмещающий в себе метод скользящего окна с многомасштабным анализом и отвечающий требованиям, описанным выше, представлен на рис. 7, из которого видно, что для оценки искажений в принципе может быть использована любая метрика Б. На входе алгоритма задается начальный масштаб = 1. В процессе анализа рассчитывается значение
масштабом sj. На выходе алгоритма получается значение достоверного масштаба , соответствующее номеру итерации ], или констатируется тот факт, что достоверных масштабов, превышающих величину минимально допустимого масштаба £тт, не обнаружено по причине искажений, присутствующих в оцениваемом видеоизображении. Безусловно, сама по себе методология проведения измерений и принятия решения о достоверности изображения крайне важна, но это не исключает необходимости разработки такой метрики, которая бы наилучшим образом соответствовала требованиям, предъявляемым СОТ.
Следует подчеркнуть, что не всегда достаточно одной метрики, чтобы корректно оценить качество искаженного изображения. Однако при использовании двух и более метрик они должны быть логически непротиворечивыми (что выра-
метрики
А
внутри скользящего
окна с номером к и сравнивается с пороговым значением Д.нк. Размер скользящего окна к и количество М^ таких окон зависит от номера итерации], то есть определяется
Рис. 7. Оценка достоверности изображения с использованием многомасштабного анализа
жается, например, в одинаковых трендах), что не всегда выполняется. В частности, для сочетания PSNR и MS-SSIM могут наблюдаться различные тренды относительно среднего значения для некоторой базы видеопоследовательностей, как было показано в [9], например, для последовательности Sparkler. С тем чтобы избежать подобных ситуаций, можно использовать несколько метрик, ориентированных на оценку различного типа артефактов.
3. Обобщенная математическая модель о цифрованных изображений и видеосигналов
Математически оцифрованное статическое изображение P в градациях серого цвета (англ. grayscale still image) представляется как двумерная матрица Мх N, элементы которой находятся в диапазоне £> = [о,2и-1]:
PMхй = (Pij): Pij е I0,2" - 1Jc . Аналогичным образом видеосигнал V в градациях серого цвета можно определить как трехмерную матрицу
MxNxT: VM.X(vj): ^ е [о,2" - г]с= К»,
оде т е [0,Г-1]с: Кр используетст для обозначения дискретного времен и. Матемотическая модель, используема я в настоящей ртботе, исходит, главны м обр азом, из тех же самых предположений, которые изложены в [10], а именно: изображенио представляетдя собой композицию» трёх геометрически разделенных компонентов: гладкие области fsmooth (х, y), -текстуры ftex (х, y) и контуры /edge (x, y). Представленная модель отличается от трехкомпонентного варианта [10], как минимум, в двух аспектах. Во-первых, данная модель максимально формализована, что позволяет описать изображение в целом, а не просто ограничиться констатацией свойств каждой из компонент. Во-вторых, вводится четвертый компонент -шумовой сигнал fnoise (x, y). Следует подчеркнуть, что шум fnoise(x,y), генерируемый сенсором (шум сенсора) или носителем видеоданных (например, зернистость пленки, используемой для записи видеоданных в аналоговых системах), по своим свойствам отличается тем, что его воздействие на изображение заключается в искажении других компонент, с которыми шум пространственно не разделён. Таким образом, в самом общем виде изображение P(x,y) может быть представлено как
р( х, у) = ф(/ктоо1Ь (х, у), ftex (х, у ), /edge (х, у),
fnoise (x, У)), (11)
где ф() - оператор, генерирующий изображения путем композиции всех 4 компонент. Указан-
ный оператор может быть формально раскрыт следующим уравнением:
Р(X У) = /smooth У) • Xn^oth У) + ftex (x, У)' • Xntex (x, У) + /edge (X У) • Xo^ (X У) + /noise (X У), (12)
где xn - характеристическая (индикаторная) функция множества Q с К, определяемая как
Xn(x, У) = i ' ^ У) . Принимая обозначения
[0, (x,y) ^ П
XT„ ДхГ, У )= XQsmooth .У) , f0 (*> У) = /smooth У) ,
ХП (X' У ) = X Qtex HX У), f (X У) = /tex (X У) ,
Xq2 (X У) = XQedge (x, У) , f2 (X У) = /edge (X У),
выражение (11) может быть переписано следующим обраном:
P( V У) = Z (x, y) • f (x, y) + /noise (x, y), (13)
i=0
где R = 3 - количество пространственно разделенных компонент. Возьмем частные производные P(x, ж):
^ = flX^ X M^Mf^l=
ох ТИО ox дх ) дх
= gx и(х, yfbA ^ДТтНн,уГ + ^ХХ^ f (х, y ) =
дх дх дх
,=о
R-1
= КХ),(х: yfn0 + 5Х(х - хо, f (х, y)
дх дх
(14)
^ = 2 {^Ы Л (х, у ) + х (х 1 + =
ду 1=0 \ ду ду ) ду
=2 Хах у)^+2дхдхул (х, у) = ^
1=0 ду ду 1=0 ду (15)
= 2(х,у^ + + |х(у -уи )Л (х,у)
¡=о ЧУ ЧУ ¡=о
где дХ (х У) ^ (х - ^) и ХН = (У - У»,) дх ду
- частные производные характеристической функции множества, которые после дифференцирования фактически обращаются в дельта-функции Дирака, как показано на рис. 8. Прежде, чем перейти к дальнейшему рассмотрению проблемы, следует пояснить, почему к дискретизированным по времени и квантованным по уровню сигналам, которыми являются изображение Р( х, у) и видеосигнал ¥(х, у, , применяется операция взятия частных производных, типичная для использования с непрерывными сигналами. Это связано с тем, что как изображения, так и видеосигналы могут подвергаться субпиксельной интерполяции с целью увеличения их разрешения. Необходи-
мость такой операции может быть обусловлена различными причинами, например, требованием повышенной точности при предсказании видеосигналов, используя метод компенсации движения (англ. motion compensation) на основе расчета векторов смещения (движения). В целом, можно утверждать, что сигналы, подвергаемые субпиксельной интерполяции, будут близки по свойствам к непрерывным сигналам, что позволяет применять к ним методы дифференцирования и интегрирования.
Y
х = const
y = const
(Dirac
surface delta function)
0
X
R-1
f (x, y )
dx
ми множеств, а
d/no1Se (X y К. dfnoise (X У)
част-
dx dy
ные производные шумового сигнала. Наконец,
R-1
сингулярные слагаемые (у -Учл)f (х>У) и
R-1
i=0
Рис. 8. Взаимосвязь характеристической функции
множества и поверхностной дельта-функции Дирака Sni (Diracsurface delta function), используя условное геометрическое представление
Проведем анализ слагаемых, входящих в
выражения (14) и (15). (х,У)
д/ (х у) ,=0 (х, У)—^—представляют собой значе-
1=0 дУ
ния производных четырех компонент в областях, ограниченных характеристическими функция-
(х - x0i)f (х, y) описывают границы между
i=0
различными сегментами изображения. Таким образом, изменения указанных границ может оказывать существенное влияние на выражения (14) и (15), что и будет использовано нами в метриках, ориентированных на определение достоверности видеосигналов.
4. Предлагаемый метод эталонной оценки качества оцифрованных изображений и видеосигналов
Предлагаемый метод оценки качества оцифрованных изображений и видеосигналов заключается в использовании двух метрик [6, 11], одна из которых (PWAE, англ. Peak Weighted Absolute Error, пиковое значение взвешенной абсолютной ошибки) оценивает величину максимального искажения яркости или цветности, а вторая (AEF, англ. Activity Error Function, функция ошибки активности) используется для оценки искажения границ, а также подобных объектов (например, шума) в изображении. PWAE определяется как
PWAE = max (wc maxiS(x, y,c) - R(x,y,c)), (16)
c=0,C-1^ x, yeQ J
где с - это номер цветовой плоскости, C - общее число цветовых плоскостей, wc - весовой коэффициент, оценивающий значимость цветовой плоскости. PWAE позволяет контролировать максимальное значение яркостных и цветовых
! *
f
/ s,
z;
___
___
Z ГПН-
г
VST
5YX : k = 0
5Y : k = 1
5XY : k = 2
5X : k = 3
Рис. 9. Изображение и его производные по 4 направлениям
4
искажений, появляющихся внуери облести Q (в рассматрисаемом <^лууча^€? -с внутри скользящего окна), путем его сравнения с перогсвым знате-Расгтт снссения данноП метрики не требует значительные вы1числительны1>г ресурсов и может быть частично совмещен с расчетом AEF, которая использует значения численных производных как эталонного, так и оцениваемого изображений (рис. 9). Это связано с тем, что AEF ориентирована на оценку искажений геометрических контуров, которые по определению представляют собой границы объектов и сравнительно легко локализуются в пространстве, порождаемом путем взятия численной производной по определенному направлению, как это показано на рис. 9.
Очевидно, что для получения полной информации о контурах производные должны быть взяты, как минимум, в двух взаимно ортогональные направлениях (например, <BX с óY или SCY н XYX).
В рассматриннемом сримеуа ароипводсы1е вычисляются по формулам
xs (x' y,k ) =
Jr (х, y, k ) =
S(x-l,y + l)-S(x,y),k = 0
S(x,y + 1)-S(x,y),k = l S(x + ),y + — -S(x,y\k = 2' SS(x + ),y)^S)(x,y),k = 3
R(x-l,y + ))- R(x,y(,k = 0 R(x , y-) ) -R(x,y),k = ) R(x - \,y-R-R (x,y), k = 2' R( x -), y) - R( S' y), k = 3
сде cgn(ü) =
-1, если ы < у
0х если ы = 0 .. Формулы (1 9)-(21) 1, если ы > 0
( 1 —
( 18)
фактически представляют собой классификатор, позволяющий каееетвенно и количественно оцените те измененея, которые произошло, прежде всего, с пикселями, имеющими достаточно большие значения производны1х, по крайней мере, по одному направлению. Еели исходное изображение, подвергаемое комерессии с потерями, изначально не быто сильно зашумлено, то еакие пиксели, как правильно, находятся на границах объекеоа. Каким искажениям может быать подвергнута граница? Теоретически возможные четы1 ре варианта (рис. 10):
- значения яркостной и/или цветовых компонент, соответствующих пикселям на границе, может (Зыть или уееличены! (кариант 1 - лтжно усиленный гранипмО, или уменьшены! (вариант 2 -ложао ослабленныте греницыО;
+m
где переменная к используется для выбора направления, по которому берётся производная. Вы1ражения (17) и (18) используются для расчета производеые по яаправлению соответственно для эталонного и оцееиваеиого изображений. Затем полу/ченные результаты! зетерзретируются путем сопоставления значений ироепаодные (19-е1):
(
3)
4)
-m
Рис. ЫО. Внзможные вачиавты ийкнжения еичселей, ниходящихвя оа йранице оРьекта: физиееские смвсо формул (19)р(21) [6, 11]
Уь(ы,у,р) р
yd( ы У,к) = <
У f( ы, y, к) =
[К (, У, к) - \ (ы, y, к), если\ (ыт, y, к)| < \\ (ыт, y, к)| & sgn(\ (ы, y, к)) = sgnn(^R (х, y, к)), (19) [0, з oоаaльраIкcиуечC8^кс
( У, ) - Kr (х, y,к) ессли (ы, y, к} > |(ы (ы, y, к) & sgn(\ (х, y, к)) = sgn(\R (ы, y, к)) 01 (р y, ) с гсли sgn(i у, *)) * sgn<;^R (ы, y, к - 1
0, з остальных случаях
[К R(, y, П), есеи sgn^ Чы■,y,k)) * sgn^ (ы, y, к))
[о, З остальные: случаях
(20)
(21)
- граница может исчезнуть (вариант 3 - исчезнувшая граница), что, по сути, является частным случаем варианта 2, когда значение производной для данного пикселя по всем направлениям становится равным нулю (У к е [0,3]: (х, у, к) = 0);
- может появиться ложная граница (вариант 4).
Для определения степени влияния выше перечисленных эффектов и были введены 3 метрики, описываемые в виде формул (19) - (21):
Аь(х, у, к) и Ай(х, у, к) используются для оценки изменения амплитуды пикселя, если граница соответственно была ложно усилена или ложно ослаблена;
АДх, у, к) применяется для оценки изменения амплитуды пикселя при появлении ложной границы.
Очевидно, что метода расчета искажений для единичного пикселя не достаточно для того, чтобы оценить артефакты внутри области О (в частном случае, внутри скользящего окна) - требуется формула для вычисления интегральной метрики, которой, собственно говоря, и является ДЕР, определяемое как
АК¥ = (к)-(А (к) + Б, (к ) + Бъ (к)), (22)
к=0
где Пъ (к), Пй(к) и (к) - значения интегральных величин (компонент ДЕР), оценивающих искажения, вызванные соответственно ложным усиление границ, ложных ослаблением границ и ложным появлением границ; wl (к) - весовой коэффициент, учитывающий направление, по которому была рассчитана производная. Как было сказано выше, для полноты информационной картины производные должны быть взяты, как минимум, в двух взаимно ортогональных направлениях, то есть К > 1. В случае, если используются производные по 4 направлениям, К = 3, то есть
ЛЕЕ = КГ ^ (к )•(£>, (к) + Бй (к ) + Бъ (к)), (23)
к=0
где w
(k )=
Dd (к ) и Df (к )
зом:
N M
А (* ) = HW ^ь ('• J. k ),
H ' W i=0 j=0
A (k )=HW N M A ('•Л k ),
H ' W i=0 j=0
Df (k ) = Wë I t A2f fc j, k ),
H-w-
(26)
1=0 ]=0
где Н и Ш - соответственно высота и ширина окна в пикселях, для которого и производится расчет значений; wъ (к), wd(к) и wf (к) - коэффициенты, используемые для настройки веса каждого типа искажения. Поставляя (24)-(26) в (23), после выполнения элементарных математических преобразований получаем следующую формулу:
AEF = Х
: (к )
w.
N - M
f
w
(к )£lAf (U j, к )+
i=0 j=0
+ (k )HA2d (1, j, k )+wb (k )XlA2b (1, j, k )
1=0 j=0
1=0 j=0
(27)
На рис. 11 представлена геометрическая интерпретация формулы (27). Следует подчеркнуть, что масштаб каждой из координатных осей настраивается с помощью весовых коэффициентов (к), ^ (к) и (к). Таким образом, РШДЕ и ДЕР представляют собой набор метрик, позволяющий оценить искажения как яркостных и цветовых компонент, так и границ объектов, что в совокупности с рассмотренной выше методикой многомасштабной обработки и позволяет гарантировать достоверность изображения.
дь
k AEF
/
Ad
-k k = {0,2}
V2 . Величины Db(k),
1, k = {1,3}
рассчитываются следующим обра-
(24)
(25)
V
Рис. 11. Геометрическая интерпретация метрики AEF [6,11]
5. Экспериментальные результаты
На рис. 12б и 12в представлены увеличенные фрагменты изображений, декодированные в соответствии со стандартами JPEG и JPEG2000(JP2k) после сжатия с потерями. Как известно, стандарты кодирования JPEG и JPEG2000(JP2k), являющиеся самими популярными в области сжатия с потерями для статических изображений, радикально отличаются технологиями обработки видеоизображений и характеризуются существенно различающимися визуальными искажениями (артефактами).
Если для стандарта JPEG характерны блочные артефакты (англ. blocking artifacts, blockiness) по границам блоков 8х8, а также в несколько меньшей степени шумовые ореолы (англ. ringing artifacts) вокруг резких границ, являющиеся проявлениями эффекта Гиббса, то для JPEG2000 типично, в первую очередь, размытие мелких деталей (англ. blurring artifacts) и только во вторую - артефакты, обусловленные эффектом Гиббса. Следует заметить, что артефакты, вызванные блочной архитектурой JPEG кодека и эффектом Гиббса, приводят к ложному усилению существующих или к появлению ложных границ в изображении, в то время как размытие деталей проявляется в виде ложного ослабления или полного исчезновения границ.
Данные объективной оценки качества изображений, показанных на рис. 12б и 12в, представлены в табл. 1. Как видно, значения SSIM и MS-SSIM для каждого из сжатых изображений очень близки, а PSNR отличаются более, чем на 2 дБ. Как в таком случае можно оценить достоверность каждого из изображений? Чтобы ответить на этот вопрос, проведем анализ результатов, полученных при вычислении AEF.
На рис. 12б, сжатым JPEG-совместимым кодеком, доминируют искажения, обусловленные ложными (Df = 5.0204) и ложно усиленными (Db = 6.7319, Df + Db =1 .7523), а не ложно ослабленными (Dd = 10.7087) границами. Обратная ситуация наблюдается для рис. 12в, сжатого JPEG2000-совместимым кодеком: артефакты, вызванные ложно ослабленными (Dd = 8.8564) границами, превалируют над искажениями, обусловленными ложными (Df = 3.0519) и ложно усиленными (Db = 4.1457, Df + Db = 7.1976) границами. Всё это полностью согласуется с тех-
нологиями кодирования, используемыми в JPEG и JPEG2000, а также с приведенным выше описанием типовых визуальных артефактов, характерных для данных кодеков.
Принимая во внимание численные данные о компонентах AEF, можно сделать вывод о том, что достоверность изображения, показанного на рис. 12в выше, чем у изображения, представленного на рис. 12б. Это связано, прежде всего, с тем, что
- во-первых, абсолютные значения Df, Dd и Db в случае, показанном на рис. 12б, больше, чем для рис. 12в;
- во-вторых, доля ложных ( Df /Dd ) и ложно усиленных (Db/Dd ) границ на рис. 12б больше, чем на рис. 12в, а это означает появление ложных объектов, которые в случае криминалистической экспертизы могут быть неверно интерпретированы. В свою очередь, ложно ослабленные границы означают снижение амплитуды границы (вплоть до её исчезновения), что, безусловно, негативно сказывается на достоверности видеосигнала, но всё-таки в меньше степени, чем ложные границы.
Другим примером, демонстрирующим эффективность предложенного подхода, является успешное определение того, что достоверность изображения на рис. 5в является значительно более низкой, чем у рис. 5б. Значения PWEA и компонент AEF представлены в табл. 2. Из этих данных следует, что максимальное искажение амплитуды яркости сигнала в случае рис. 5в превышает аналогичный показатель у рис. 5б более, чем в 2.6 раза. Отношения для величин Df и Db составляют соответственно почти 2.3 и 3.2 раза, что свидетельствует о значительном росте числа ложных и ложно усиленных границ у рис. 5в по сравнению с рис. 5б. Однако число ложно ослабленных пиксе-
а) Фрагмент исходного изображения Lenna
б) Фрагмент изображения, сжатого IJG кодером, совместимым со стандартом JPEG
в) Фрагмент изображения, сжатого Kakadu кодером, совместимым со стандартом JPEG2000 (JP2K)
Рис. 12. Увеличенные фрагменты изображения Lenna, два из которых подвергнуты сжатию с потерями, используя стандартизованные кодеки (JPEG и JPEG2000)
Таблица 2.
Значения различных метрик, используемых для оценок качества искаженных изображений,
представленных на рис. 5
Таблица 1.
Значения различных метрик, используемых для оценок качества сжатых изображений,
представленных на рис. 12
Номер рисунка PSNR SSIM MS-SSIM AEF
Df Dd А DJ Dd DJ Dd
Рис. 14б 33.9230 0.9733 0.9853 5.0204 10.7087 6.7319 0.4688 0.6286
Рис. 14в 36.0920 0.9733 0.9860 3.0519 8.8564 4.1457 0.3446 0.4681
Номер рисунка PWAE AEF
Df Dd Db
Рис. 8б 54 2.0929 14.7946 1.5134
Рис. 8в 142 4.7552 13.0222 4.7883
Отношения значений метрик для рис. 8в к значениям у рис. 8б 2.6296 2.2721 0.8802 3.1639
лей на границах объектов меньше для рис. 5в, чем для рис. 5б. Подобные соотношения явным образом приводят к выводу о том, что изображение, представленное на рис. 5в, является очевидно недостоверным. Более подробная информация об экспериментальной верификации предложенного метода оценки качества может быть найдена в [6] и [11].
Заключение
В настоящей работе предложен метод оценки достоверности видеосигналов, позволяющий не только производить анализ изображений и видеоданных, но и адаптировать стандартные кодеки
(такие, как JPEG, JPEG 2000, H.264/AVC, H.265/HEVC) к требованиям систем безопасности, обеспечивая целостность и достоверность видеоинформации, что является одним из важнейших элементов ки-бербезопасности. Предложенный метод является вычислительно простым, что позволяет реализо-вывать его на стороне кодера в режиме реального времени. При этом изменения, вносимые в кодер, не являются нормативными, то есть сжатый поток остается совместимым со стандартом, что крайне важно в контексте тех усилий, которые прикладывает индустрия безопасности для унификации решений в области видеонаблюдения.
Рецензент: Цирлов Валентин Леонидович, кандидат технических наук, доцент МГТУ им. Н.Э. Баумана. E-mail: v.tsirlov@cnpo.ru
REFERENCE QUALITY ASSESSMENT OF THE DIGITIZED STATIC IMAGES AND VIDEO SIGNALS IN THE SECURITY SYSTEMS
Filippov A.K.3, Shakhtarin B.I.4
The paper considers the existing problems in assessing quality of the digitized static images and videosignals in the security systems to ensure such important elements of information security as accuracy and integrity. A set of modern metrics (PSNR, SSIM and MS-SSIM) and methods of reference quality assess-
3 Filippov Alexey, Ph.D., Associate Professor, Huawei Technologies Ltd., Moscow, aleks_filippov@mail.ru
4 Shakhtarin Boris, Dr.Sc., Professor, Bauman Moscow State Technical University, Moscow, shakhtarin@mail.ru
ment, which are most widely spread in such industries as digital cinema and TV, videoconferences have been analyzed. We have reviewed a set of properties and specifics of the above metrics and methods which limit their use in the closed circuit television systems, also known as video surveillance systems. It provides a brief description of a generic mathematical model, in which video image is considered to be a combination of four components: smooth areas, contours, textures and noise. Based on this mathematical model, a new method of reference quality assessment of static images and video signals, which consists in using AEF and PWAE metrics, which are designed accordingly for assessment of distortion of borders and values of maximum distortion of brightness or chromacity. The paper provides a detailed theoretical substantiation of the suggested metrics, description of the methods of their use, and experimental findings, which show suitability of this method for accuracy assessment in the systems that use compression with the loss of information (firstly, in the video surveillance systems).
Keywords: lossy compression, still and moving pictures, video surveillance systems, forensics, full-reference quality assessment
Литература (References):
1. Sullivan G.J.; Wiegand T. Rate-distortion optimization for video compression // IEEE Signal Processing Magazine. 1998. №6 (15). P. 74-90.
2. Filippov A., Norkin A., Alvarez J.R. Video Codec Requirements and Evaluation Methodology // The IETF NETVC (Internet Video Codec) Working Group draft, draft-ietf-netvc-requirements-06, 2017, 25 p. URL: https://datatracker.ietf.org/doc/draft-ietf-netvc-requirements/
3. Wang Z., Bovik A.C., Sheikh H.R., Simoncelli E.P. Image Quality Assessment: From Error Visibility to Structural Similarity // IEEE Transactions on Image Processing, 2004. №4 (13). P. 600-612.
4. Gonzalez R. C., Woods R.E. Digital Image Processing. Prentice Hall, 3rd edition, 2008, 976 p.
5. Iqbal M.I., Zepernick H.-J., Engelke U. Error sensitivity analysis for wireless JPEG2000 using perceptual quality metrics // The 2nd International Conference on Signal Processing and Communication Systems (ICSPCS 2008). 2008. P. 1-9.
6. Filippov A.K., Rufitskiy V.A. Image Quality Assessment for Forensic Applications // Contribution WG1N5672 to the 54th JPEG Meeting (Tokyo, Japan), 2011.
7. Wang Z., Simoncelli E.P., Bovik A.C. Multi-scale Structural Similarity for Image Quality Assessment // The 37th Asilomar IEEE Conference on Signals, Systems and Computers. 2003. №2. P. 1398-1402.
8. Nicholson D. Image Quality metrics requirements for video-surveillance forensics // Contribution WG1N5482 to the 52nd JPEG meeting (Brussels, Belgium), 2010.
9. Sychev M., Filippov A., Sixin L. «Future Video Coding 4K test sequences evaluation report» // Contribution m37074 to the 113th MPEG meeting (Geneva, Switzerland), 2015.
10. Ran X., Farvardin N. A perceptually motivated three-component image model - Part I: Description of the Model // IEEE Transactions on Image Processing, 1995, №4 (4). P. 401-415.
11. Filippov A.K., Rufitskiy V.A. A New Method of Image Quality Assessment for Video Surveillance and Forensic Applications // Proceedings of the 9th International Conference «Perspective technology in the mass media - PTMM'2011» (Vladimir, Russia, 2011), № 2. P. 21-24.
