CC BY
52
УДК 004.928
МОДЕЛИРОВАНИЕ ЗЕРНА ПЛЕНКИ ДЛЯ СОКРЫТИЯ АРТЕФАКТОВ КОДИРОВАНИЯ ВИДЕОКОДЕКОВ
СТАНДАРТА Н.264
(Работа выполнена при поддержке гранта РФФИ № 10-01-00697-а)
Д.Л. Куликов, к.ф.-м.н. (Московский государственный университет им. М.В. Ломоносова, [email protected]);
К.Н. Стрельников, к.ф.-мн. (Институт прикладной математики им. М.В. Келдыша, г. Москва, [email protected])
В данной статье предлагается новый подход к сокрытию артефактов блочности в видео, возникающих в процессе кодирования. Основная идея маскирования артефакта блочности, помимо использования базовых алгоритмов де-блокинга, заключается в реконструкции зерна пленки - специфичных среднечастотных искажений. Предложенный метод позволяет значительно снизить визуальную заметность артефактов блочности и замаскировать неточности работы алгоритмов подавления блочности. Для проверки качества работы предложенного метода используется экспертное сравнение по методологии БАМУ^.
Ключевые слова: видеокодеки, блочность, деблокинг, зерно пленки.
Большинство видеокодеков основано на блочном кодировании видео, в том числе популярные стандарты МРЕО-2, МРЕО-4 и Н.264. Артефакт блочности вызывает квантование частотных компонент в отдельно обрабатываемых неперекрывающихся блоках. Блочность возникает только на независимо кодируемых кадрах (/-фреймах), но из-за использования компенсации движения распространяется на все остальные кадры видео.
Блочность является самым заметным артефактом кодирования изображений и видео. Для его подавления существует множество различных алгоритмов.
Зернистость пленки - эффект, проявляющийся из-за неоднородности фотоэмульсии. При оцифровке фото- и видеоматериалов с достаточным разрешением зернистость хорошо заметна, и ее сохранение и передача важны для реалистичности изображения, особенно в художественных фильмах. Параметры зерна зависят от типа пленки и могут сильно варьироваться по амплитуде и спектральному составу.
Шум зерна на видеопленке случаен по времени и слабо коррелирован в пространстве, поэтому его компрессия затруднена. При невысоких битрейтах видеокодеки могут частично подавлять или сглаживать шум зерна, оставляя неестественно выглядящие шумовые пятна или слишком гладкую картинку.
Маскирование блочности
На рисунке 1 показан полный цикл обработки видеоданных, начиная от аналогового источника и заканчивая данными, отображаемыми на экране видеоаппаратуры. Блоки, которые предлагается добавить в стандартный цикл обработки, затони-рованы.
Первый шаг обработки на схеме - оцифровка. Если оцифровка видеоматериалов проведена с
достаточным разрешением, зернистость пленки остается хорошо заметной, сохраняя и передавая реалистичность изображения. Для трансляции видео или записи на CD, DVD изображение необходимо кодировать для уменьшения объема данных. При кодировании видео с высокой степенью сжатия зерно частично повреждается и возникают неприятные для глаза артефакты. Поэтому предлагается извлечь зерно пленки из видео при кодировании и наложить его заново перед отображением (во время декодирования).
Определение параметров модели зерна
Модель зерна
Передача через транспортный канал
Декодирование видеоданных
Подавление блочности /Декодированное / / видео / Модель зерна
Воссоздание зерна по модели /Видео для / jl отображения /
Рис. 1
Данный подход позволяет уменьшить артефакты, возникающие при кодировании видео, и понизить заметность такого существенного артефакта, как блочность.
Подавление шума
Для подавления зерна пленки предлагается использовать комбинацию пространственного и временного алгоритмов шумоподавления.
В качестве пространственного метода может использоваться хорошо зарекомендовавший себя алгоритм нелокального усреднения [1].
Основная идея данного алгоритма состоит в следующем. Пусть исходное изображение обозначено u={u(i) | ieI}, NL[o](i) - значение, полученное после работы алгоритма для пикселя i, вычисляемое как взвешенная средняя сумма всех пикселей изображения:
NL[u]( i) = Xffl(i,j)u(j),
где веса {ro(i, j)}j зависят от похожести пикселей i и j и удовлетворяют условиям 0<ro(i, j)<1 и
Z®( i'j) = !.
jeI
С целью повышения качества работы алгоритма шумоподавления он был модифицирован для использования временной информации (отыскать блок можно было не только по обрабатываемому кадру видео, но и по предыдущему). Для предыдущего кадра использовалась компенсация движения к текущему кадру.
Моделирование зерна
Шум зерна пленки нельзя моделировать широко распространенными моделями шумов (например, моделями белого и розового шума). В спектре шума зерна пленки преобладают низкие и средние частоты.
Существуют три основные модели зерна пленки.
1. Аддитивная модель шума зерна выражает оптическую плотность пленки в каждой точке как сумму сигнала (то есть попадающего на нее оптического потока), шума зерна и некоторого постоянного смещения: D = signal + noise + bias.
2. Автокорреляционная модель шума зерна может быть получена из разностного уравнения
nx,y+1 + nx,y-1 + nx+1,y '
+ nx_1y - (4 + K2)n = Cw
Х,У '
где п,у - шум зерна в точке (ж, у); K и C - параметры, зависящие от оптической плотности сигнала; wx,y - белый гауссов шум с нулевым средним.
3. Аддитивная модель шума, модулированного сигналом, выражается формулой r=s+kf(s)n, где г - наблюдаемый зашумленный сигнал; s - чистый сигнал; - зависимость уровня шума от уровня сигнала; k - константа, определяемая соотношением размера зерна и размера пикселя; п - гауссов шум, не зависящий от сигнала. Функция f для моделирования зерна пленки обычно выбирается в виде ^^^
Для маскирования артефакта блочности предлагается использовать разработанную авторами модель зерна пленки на основе спектральных образцов для интервалов яркости. Как показано в работе [2], данная модель позволяет моделировать шум, визуально не отличимый от зерна пленки, присутствовавшего в исходном видеопотоке.
Для выделения сигнала зерна пленки из сигнала изображения имеющееся изображение I представляется в виде суммы двух сигналов: I = I+Г, где I - идеальное изображение; Г -шум зерна пленки.
Идеальное изображение I неизвестно. Поэтому приблизим его изображением I, полученным из имеющегося изображения с помощью шумоподавления: I = D(I). Тогда сигнал зерна пленки можно приблизить разностью Г »I — I.
Для построения модели выбираются области изображения, свободные от текстур и границ, вносящих искажения в спектр шума. С целью исключения засветки при определении модели зерна выбираются образцы из областей со средней яркостью и малым количеством деталей изображения. Для выделения областей с описанными свойствами применяется алгоритм, основанный на сегментации на блочном уровне.
Из выделенных областей для каждого интервала яркости отбираются образцы зерна. По набору образцов, соответствующих одному интервалу яркости, вычисляется спектр, характеризующий зерно пленки на этом интервале.
Полученный набор спектров для нескольких диапазонов яркости представляет собой модель зерна пленки с зависимостью от яркости. Она позволяет определить спектр зерна пленки для любого значения яркости при помощи интерполяции.
Кодирование модели зерна
В стандарте H.264 предусмотрена возможность передачи параметров зерна пленки (ISO/IEC 14496-10). Однако описание параметров имеет компактную форму и не позволяет передавать описанную выше модель в полном объеме.
Для качественного представления модели зерна пленки предлагается использовать базу шаблонов зерна. При кодировании видеопотока построенный для интервала яркости спектр аппроксимируется одним из шаблонов зерна из базы.
Для идентификации предложенного подхода используются зарезервированное значение поля model_id и встроенный механизм описания интервалов яркости, а для сохранения идентификатора шаблона - поле comp_model_value.
Подавление блочности
Для борьбы с артефактом блочности существуют алгоритмы четырех типов: фильтрация внут-
ри цикла, постобработка, предобработка и метод блоков с наложением.
Фильтрация внутри цикла означает вставку фильтра подавления блочности в циклы кодирования и декодирования, как, например, в стандарте кодирования H.264.
Алгоритмы постобработки используют низкочастотные фильтры для сглаживания визуальных артефактов блочности.
Алгоритмы предобработки обрабатывают исходное изображение или видео таким образом, чтобы реконструированное изображение было наиболее близким к исходному даже при низком битрейте.
Метод блоков с наложением использует ортогональные преобразования специального вида и компенсацию движения для блоков с наложением. Это позволяет предотвратить появление пространственных разрывов на границах блоков и, как следствие, избавиться от артефакта блочности.
Для первоначального подавления блочности предлагается использовать алгоритм постобработки MSU Deblocking [3]. Основную идею работы алгоритма можно описать следующей последовательностью шагов:
1) вычисление меры блочности во всех точках границы;
2) вычисление меры блочности для отдельных сцен;
3) выбор варианта алгоритма обработки для текущей сцены согласно полученному значению;
4) вычисление нового значения пикселя с использованием алгоритма обработки для текущей сцены и вычисленной на первом шаге меры блоч-ности.
Мера блочности является произведением двух множителей, характеризующих величину дисбаланса на границе блоков и контрастность в блоках.
Сам алгоритм подавления блочности сглаживает разрыв яркости на краях блоков в зависимости от вычисленных значений метрики блочности.
Воссоздание зерна
Для генерации сигнала зерна пленки полученный амплитудный спектр увеличивается до размеров кадра с помощью бикубической интерполяции. Фазовая компонента спектра подставляется из фазового спектра белого шума. По заданным таким образом амплитудному и фазовому спектрам выполняется обратное преобразование Фурье. Полученный сигнал Г добавляется к исходному изображению как синтетическое зерно пленки.
Для наложения зерна пленки, зависящего от яркости, набор множителей Aj интерполируется на весь диапазон яркостей, и значение каждого пикселя определяется по формуле I* = I +
+ГА(1ху), где А(1х,у) - значение А, интерполированное в точке Ix,y.
Результаты экспертной оценки
Для оценки качества работы предлагаемого алгоритма обработки видео используется экспертная оценка, которая проводится по методологии SAMVIQ [4].
Были выбраны три видеопоследовательности, содержащие зерно пленки различной интенсивности - низкой, средней и высокой. Для кодирования использовались кодеки DivX и XviD. Первоначальное подавление блочности проводилось при помощи алгоритма MSU Smart Deblocking.
На рисунке 2 показаны результаты экспертной оценки видео. Более высокое значение MOS (Mean Opinon Score) означает, по мнению экспертов, более высокое качество видеоматериала (степень похожести на исходное видео).
Упрощенное описание эксперимента.
1. Экспертам показывают исходное видео (с подписью «оригинал»).
2. Затем показывают 4 видео, среди которых одно оригинальное, а 3 обработаны разными алгоритмами. Подписей к видео нет.
3. Эксперты оценивают, какое видео наиболее близко к оригинальному, по 100-балльной шкале.
4. Полученные численные результаты обрабатываются (нормировка, усреднение, работа с выбросами).
Обработанный результат для нескольких видео иллюстрирует график (рис. 2).
Средние значения MOS
10
9,6
Примечание: оригинал - исходное видео до сжатия кодеками, кодек - видео с артефактом блочности после сжатия кодеком, деблокинг - результат работы алгоритма подавления блочности, regrain - результат работы предлагаемого алгоритма.
Рис. 2
8
6
4
2
0
Как видно из экспертной оценки результатов работы предложенного алгоритма, его использование значительно уменьшает визуальную замет-ность артефактов блочности, что повышает общую оценку качества видео.
В заключение отметим, что в данной статье предложен новый алгоритм для уменьшения визуальной заметности артефакта блочности в видео на основе моделирования и реконструкции зерна пленки. Предложенный алгоритм повышает визуальное качество видео после обработки существующими алгоритмами подавления блочности, что подтверждает экспертная оценка, проводимая по методологии SAMVIQ.
Современные кодеки начинают включать поддержку моделирования зерна пленки в процесс кодирования. Использование предложенного алгоритма в алгоритмах подавления блочности, в
том числе в схеме кодирования внутри кодека, позволит повысить результирующее качество видеоматериала для пользователя.
Литература
1. Buades A., Coll B., Morel J.M. A non local algorithm for image denoising, IEEE Int. Conf. on Computer Vision and Pattern Recognition, CVPR 2005. Vol. 2, pp. 60-65.
2. Стрельников К., Куликов Д., Лукин А. Построение и применение модели зерна пленки на основе спектральных образцов // Graphicon-2007: тр. конф. М., 2007. С. 248-252.
3. Ватолин Д., Гришин С. Качественный метод дебло-кинга видео без использования информации о квантовании // GraphiCon.: тр. конф. 2004. С. 257-60.
4. EBU-UER BNP 056: SAMVIQ - Subjective Assessment Methodology for Video Quality. URL: http://www.itu.int/md/R03-WP6Q-C-0023/en (дата обращения: 12.06.2010).
5. Jacky Chan Kit Yan. Statistical Methods for Film Grain Noise Removal and Generation // Master's thesis, University of Toronto, Canada, 1997.
УДК 681.327.12.001.362
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ И АЛГОРИТМЫ ДЛЯ АНАЛИЗА ИЗОБРАЖЕНИЙ МИКРОСТРУКТУР ПЕРЛИТНЫХ СТАЛЕЙ
А.Н. Чичко, д.ф.-м.н.; О.А. Сачек; С.Г. Лихоузов, к.т.н.
(Белорусский национальный технический университет, г. Минск, [email protected], [email protected], [email protected])
Предложена методика компьютерного анализа для расчета межпластиночного расстояния в эвтектоидных колониях перлитной стали, позволяющая автоматизировать процесс обработки микроструктур. Приведены формулы для количественной оценки микроструктур, использующие интегральные зависимости для различных интервалов изменения межпластиночного расстояния.
Ключевые слова: обработка изображений, микроструктуры, перлитная сталь, функция распределения межпластиночных расстояний.
Развитие компьютерных технологий, связанных с обработкой изображений микроструктур сплавов, открывает новые возможности для ма-териаловедческих наук. В частности, математическая формализация структур сплавов создает основу для развития количественных методов анализа микроструктур сплавов [1] вместо традиционно используемых качественных методов анализа [2]. Известно, что изображение микроструктуры сплава отражает свойства фазовых составляющих в отраженном свете, если микроскоп световой, и во вторичных электронах, если микроскоп электронный. Полученные с помощью методов световой или электронной микроскопии изображения по форме представляют собой плоскостные многопиксельные изображения, по которым можно оценивать характеристики и соотношения фазовых составляющих [3]. В настоящей статье описан математический аппарат обработки изображений микроструктур, позволяющий на количественном уровне сравнивать микроструктуры стальной катанки, являющейся продукцией металлургического производства, между собой.
Суть развиваемого метода в том, что изображение микроструктуры заменяется множеством характеристик функции плотности распределения межпластиночных расстояний (обозначается как которая отражает особенности строения фазовых составляющих микроструктуры. На базе этой функции рассчитываются характеристики микроструктуры, используемые для ее оценки.
Традиционно при определении межпластиночного расстояния не используется функция плотности распределения по всей микроструктуре [3, 4]. При этом метод включает выбор колоний перлита по фотографиям микроструктуры, а также определение площадей выбранных колоний, числа пересечений на 10 мм для каждой колонии, среднего видимого межпластиночного расстояния для каждой колонии, истинного межпластиночного расстояния по экстраполяционной функции зависимости нарастающей суммы площадей колоний от среднего межпластиночного расстояния. Данный метод имеет низкий уровень автоматизации и во многом использует субъективные оценки в определении межпластиночных расстояний.
