CC BY
22
Автоматическое обнаружение и оценка цветовых искажений с использованием карт доверия
Грохольский С. Д., Лаврушкин С. В., Звездаков С. В., Ватолин Д. С.
Аннотация— В статье приведен метод автоматического обнаружения кадров с цветовыми искажениями между двумя ракурсами стереовидео, использующий карты доверия, с помощью которых определяется точность вычисления диспаратности между двумя ракурсами, что позволяет значительно повысить достоверность результата, сократив количество ложно-положительных срабатываний. Также в работе приведен подробный анализ метода, подтверждающий его эффективность.
Ключевые слова—Стереовидео, оценка качества, искажения цвета, карта доверия.
I. Введение
Каждый год выходит большое количество новых фильмов в формате 3D. Однако несмотря на увеличение количества произведенных фильмов и распространенность технологии, качество многих из них все еще остается низким. В результате большое количество людей испытывает ощутимый дискомфорт при просмотре трехмерного видео, зачастую приводящий к головной боли. Неудивительно, что все больше людей предпочитает просмотр фильмов в 2D формате, что ведет к значительному спаду популярности и развития стереокинематографа.
Как правило, причина дискомфорта при просмотре стереовидео заключается в несоответствии изображений левого и правого ракурсов. К таким несоответствиям можно отнести наличие геометрических искажений, расхождение по резкости, излишне большой горизонтальный параллакс, рассинхронизацию кадров по времени, расхождение ракурсов по цвету и другие. В данной статье рассматривается одно из самых
Статья получена 11 апреля 2017.
Работа выполнена с использованием оборудования, приобретенного за счет средств Программы развития Московского униврситета и при финансовой поддержке РФФИ в рамках научного проекта 15-01-08632 а.
Грохольский С. Д. — МГУ имени М. В. Ломоносова (email: stanislav.groholsky@graphics.cs.msu.ru).
Лаврушкин С. В. — МГУ имени М. В. Ломоносова (email: sergey.lavrushkin@graphics.cs.msu.ru).
Звездаков С. В. — МГУ имени М. В. Ломоносова (email: szvezdakov@graphics.cs.msu.ru).
Ватолин Д. С. — МГУ имени М. В. Ломоносова (email: dmitriy@graphics.cs.msu.ru).
распространенных типов искажений — несоответствие ракурсов по цвету.
Поэтому возникает необходимость оценки качества производимого стереоконтента на этапе его производства. Однако тестирование непосредственно с участием зрителей неэффективно по ряду причин. Во-первых, в виду субъективной оценки невозможно добиться точного результата, который бы достоверно отражал величину искажения в сценах. Во-вторых, необходимо провести эксперимент с большим количеством зрителей, так как искажения могут восприниматься по-разному. В-третьих, проведение тестирования с участием человека как правило занимает намного большое количество времени, которого и так мало на этапе производства. Поэтому необходимо решение, которое сможет точно и в автоматическом режиме отобрать фрагменты видео с искажениями, потенциально вызывающими дискомфорт.
В данной статье предлагается эффективный алгоритм, решающий проблему автоматического поиска кадров стереоскопического видео, содержащих расхождения по цвету между ракурсами.
Конечной целью алгоритма является вычисление значения именно качества видео относительно цветового искажения, а не самого значения цветовой разности, которое зачастую не является показателем наличия дефекта. В статье описан метод, в котором используется карта доверия. С целью уменьшения ложно-положительных срабатываний метода при вычислении оценки искажения карта доверия позволяет не учитывать области открытия (области, видимые в одном ракурсе и невидимые в другом), а также области кадра, для которых затруднено корректное сопоставление и компенсация (например, для крупных однородных областей). В дополнение к этому используется фильтрация карт доверия и цветовой разности, которая позволяет сократить влияние нежелательных выбросов на конечный результат.
II. Обзор области
Для оценки цветового искажения могут быть применены алгоритмы, используемые в методах
исправления цветовых искажений, путем количественной оценки применяемого исправления.
Алгоритмы исправления цветовой разницы делятся на глобальные [2], [3] и локальные [4], [5]. Отличие заключается в том, что исправление в глобальных методах не зависит от положения конкретного пикселя, в то время как в локальных методах исправление применяется в соответствии с положением каждой точки.
Так, например, один из глобальных методов цветокоррекции [2] основывается на вычислении функции преобразования, которая строится интерполированием значений функции, вычисленных в ключевых точках. В то же время другой метод [4], являющийся локальным, также основан на использовании ключевых точек, но, в отличие от предыдущего, вычисляет функцию преобразования лишь в области вокруг каждой точки.
Недостатком методов, основанных на использовании ключевых точек, в первую очередь является то, что эти точки покрывают изображение не полностью, поэтому в местах, не покрытых ключевыми точками, преобразование может быть выполнено некорректно. К тому же, для построения качественного преобразования требуется большое количество ключевых точек, что негативно сказывается на времени работы алгоритмов данного типа.
За основу предлагаемого алгоритма был взят локальный метод [1], использующий блочное сопоставление, что дает возможность вычислять значение искажения для каждого блока изображения отдельно, а также увеличить скорость вычисления.
III. БАЗОВЫЙ АЛГОРИТМ ОЦЕНКИ ЦВЕТОВЫХ ИСКАЖЕНИЙ
Основной алгоритм, на котором базируется предлагаемый, состоит из нескольких этапов:
1. Глобальная цветокоррекция правого ракурса;
2. Сопоставление правого и левого ракурсов;
3. Компенсация левого ракурса к правому на основе результатов сопоставления;
4. Отсечение части минимальных и максимальных значений разности между правым и скомпенсированным левым ракурсами, фильтрация изображений с целью восстановления отброшенных значений;
5. Вычисление нормированной суммы квадратов значений разности.
Существенным отличием от предыдущей версии алгоритма является использование карт доверия, что позволяет существенно сократить число ложно-положительных срабатываний алгоритма. Также предлагается модифицировать алгоритм фильтрации значений на шаге 4 базового алгоритма, и заменить функцию среднеквадратичной ошибки (MSE) на сумму абсолютных значений (SAD).
IV. ПРЕДЛАГАЕМЫЙ АЛГОРИТМ A. Использование карт доверия
В первую очередь проводится построение карт диспаратности для каждого из ракурсов с использованием блочного алгоритма сопоставления [8]. Для исключения неверных значений, возможных из-за ошибок при сопоставлении блоков, на основе вычисленных карт диспаратности строится карта доверия. При вычислении карты доверия используется алгоритм LRC (Left-Right Consistency) [7], а также учитывается блочная дисперсия. LRC — алгоритм оценки достоверности сопоставления. Рассматривается вектор диспаратности А в каждом блоке X исходного изображения. Затем находится соответствующий ему вектор диспаратности В из блока X + А второго изображения. В случае верного сопоставления модуль вектора А + В должен равняться нулю. Таким образом, значение LRC во всем блоке X можно вычислить как значение модуля вектора А — В, нормированное на размер блока.
Для каждого блока вычисляется значение дисперсии как среднее значение в блоке по каждому из цветовых каналов:
Dispr + Disp + Dispb
Disp =---,
3
Z (ImSi (p))2 (1)
7-4 • _ p&block
Dispi =~ у ,
Z ImSr ( p )
у p^block у
p — индекс позиции пикселя,
i — соответствующий цветовой канал (r, g, b).
Итоговый алгоритм вычисления значения доверия для каждого блока можно записать в следующем виде:
Conf = min (1 -1 x LRC, q x Disp), (2)
t и q — вещественные положительные коэффициенты,
LRC и Disp — значения LRC и дисперсии для текущего блока соответственно.
Наличие карты доверия позволяет исключить из рассмотрения области открытия, на которых, как правило, возникают ошибочные срабатывания базового алгоритма, а также области с неоднозначным сопоставлением (например, неструктурированные однородные области).
На Рис. 1 и Рис. 2 приведены примеры кадров, на которых заметна эффективность использования карт доверия.
Рис. 1. Фильм Pacific Rim, 1:49:32 a. — левый ракурс, b. — правый ракурс, c. — скомпенсированный левый ракурс, d. — визуализация результата базового алгоритма, e. — визуализация результата с использованием доверия,
f. — визуализация карты доверия.
Рис. 2. Фильм Oz the Great, 1:22:34 a. — левый ракурс, b. — правый ракурс, c. — скомпенсированный левый ракурс, d. — визуализация результата базового алгоритма, e. — визуализация результата с использованием доверия,
f. — визуализация карты доверия.
На примерах изображена визуализация работы алгоритма. Значение цвета пикселя отображает величину значения оценки цветового расхождения в точке. Черным обозначено отсутствие искажения, белым — максимально допустимое. На данных примерах расхождение по цвету между ракурсами отсутствует, однако в областях открытия базовый алгоритм работает неверно из-за невозможности корректного сопоставления блоков. Использование карты доверия позволяет определить области с неверным сопоставлением и исключить их из рассмотрения.
B. Фильтрация карт
Для снижения влияния нежелательных выбросов при вычислении результата, вместо отбрасывания крайних значений предлагается применить фильтрацию для каждого цветового канала и для карты доверия. Мы предлагаем использовать взвешенную медианную фильтрацию [6]. Использование дополнительных весов позволяет сохранить контуры объектов при обработке изображения, что значительно повышает точность работы алгоритма по сравнению с базовым методом.
C. Использование суммы абсолютных значений
В разделе V на основе экспериментальной оценки показано, что при тестировании алгоритма на наборе видеопоследовательностей, который был составлен из полнометражных фильмов, использование функции
среднеквадратичной ошибки показывает худшие результаты по сравнению с использованием функции суммы абсолютных значений.
Представим каждый пиксель изображения (ракурса) как тройку чисел с целыми значениями от 0 до 255, определяющих цветовые компоненты в пространстве RGB. Разностью двух изображений назовем матрицу троек, составленных из поэлементных разностей по всем пикселям изображения:
Diff (p ) = Img1 ( p )- Imgi ( p ),
(3)
Img1 и Img2 — изображения,
р — индекс позиции пикселя,
i — соответствующий цветовой канал (г, g, Ь).
Итоговый результат вычисляется как значение нормированной суммы по каждому пикселю абсолютных величин разности между правым и скомпенсированным левым ракурсами с учетом доверия:
Е ((|тг (р)| + \Diff, (Р)| + \Diffb, (р}|)хСап/(р))
peImage
Е Conf (Р)
primage
(4)
Diff (p) — значение разности между левым
и правым скомпенсированным изображением по i -му цветовому каналу пикселя с индексом p ,
Conf (p) — значение доверия для пикселя с индексом p .
V. Экспериментальная оценка
В данной части представлены результаты сравнения базового алгоритма и различных модификаций описанного алгоритма: сравнение результатов при использовании различных фильтров, функций MSE и SAD при вычислении итогового результата. При тестировании были использованы билатеральная фильтрация, медианная фильтрация, взвешенная медианная фильтрация, а также вычисление результата без фильтрации. Сравнения проводились на основе выборки, составленной из сцен 105 полнометражных фильмов. Были выбраны сцены, в кадрах которых значения базовой версии алгоритма превысили пороговое значение, подобранное заранее. Размер полученной выборки составил 957 кадров. Затем все выбранные кадры были вручную классифицированы как истинно-положительные и ложно-положительные. На основе полученной выборки были построены графики точность-полнота для каждой из версий алгоритма. Анализ графиков позволяет сравнить эффективность алгоритмов.
Точность и полнота — показатели, которые наиболее часто используются при оценке алгоритмов бинарной классификации. Точность показывает вероятность того, что если «объект» был помечен, как принадлежащий классу, то он действительно является принадлежащим этому классу. Полнота же показывает вероятность того, что «объект», действительно принадлежащий классу, был помечен как принадлежащий данному классу. Таким образом, лучшим алгоритмом будем считать тот, для которого значение точности больше при фиксированном значении полноты.
0.0 —I-1-1-1-1-1-1-1-
11.2 0.3 0.4 0.5 0.6 0.7 0.S 0.9 1.0
Полнота
Рис. 3. Сравнение базового алгоритма с различными модификациями
На Рис. 3 заметно, что вычисление оценки расхождения по цвету с использованием доверия позволяет получить более достоверные результаты. К тому же, использование суммы абсолютных значений в качестве функции ошибки позволяет улучшить результаты. Далее будем вести сравнение различных фильтраций, взяв за основу алгоритм, использующий доверие и сумму абсолютных значений в качестве функции ошибки.
Аналогично рассмотрим результаты применения фильтрации к картам цветовой разности и доверия. В сравнении результатов также участвовали базовый алгоритм и его модификация только с учетом доверия (использующая MSE в качестве функции стоимости сопоставления), однако они показали менее точные результаты, поэтому на Рис. 4 приведены результаты сравнения фильтраций только на конечной версии алгоритма. На графике видно, что взвешенная медианная фильтрация показывает лучший результат среди остальных фильтраций.
Полнота
Рис. 4. Сравнение различных фильтраций
Также был проведен анализ алгоритмов на искусственно сгенерированной выборке. Были выбраны стерео видеопоследовательности из набора данных Sintel [9], в которые было добавлено глобальное цветовое искажение между ракурсами. Считается, что изначально разница по цвету в последовательностях Sintel полностью отсутствует. Таким образом, реальная величина цветового несоответствия между ракурсами известна заранее, что позволяет сравнить значения, получаемые с помощью различных версий алгоритма, с реальными значениями. На Рис. 5 приведены результаты сравнения фильтраций для версии алгоритма, показавшей лучший результат в предыдущих сравнениях. Чем график проходит ближе к графику реального значения, тем достовернее считается результат.
На Рис. 5 видно, что на искусственно сгенерированных последовательностях в большинстве случаев взвешенная медианная фильтрация показывает лучшие результаты среди остальных кандидатов. С учетом явного лидерства на выборке из реальных
фильмов, взвешенная медианная фильтрация алгоритма. используется в финальной версии предложенного
21Ю 400 ММ) Я 00
Кадры последовательности Рис. 5. Сравнение результатов различных версий алгоритма с реальными значениями
1200
VI. Заключение
В данной работе были представлены несколько версий алгоритма автоматического определения кадров стереовидео с цветовыми искажениями между ракурсами. Для их оценки было проведено экспериментальное исследование работы алгоритма на двух выборках. Первая была составлена из сцен, выбранных из 105 полнометражных стереоскопических фильмов. Вторая выборка была получена путем добавления искусственных искажений
в видеопоследовательности, отобранные из фильма Sintel. В ходе тестирования было установлено, что предложенные модификации показали лучшие результаты по сравнению с базовой версией алгоритма.
Библиография
[1] A. Voronov, D. Vatolin, D. Sumin, V. Napadovskiy, and A. Borisov, "Towards automatic stereo-video quality assessment and detection of color and sharpness mismatch," International Conference on 3D Imaging, pp. 1-6, Dec. 2012.
[2] K. Yamamoto, "Ryutaro Oi color correction for multi-view video using energy minimization of view networks," International Journal of Automation and Computing, vol. 5, pp. 234-245, 2008.
[3] R. Fisher, S. Perkins, A. Walker, and E. Wolfart, "Hypermedia image processing reference," 2000. [Online]. Available: http://www.dsi.unive.it/~atorsell/Hipr.pdf
[4] J. Yu, H. Kim, H. Jang, and S. Nam, "A hybrid color matching between stereo image sequences," 3DTV Conference: The True Vision -Capture, Transmission and Display of 3D Video (3DTV-CON), pp. 1-4, May 2011.
[5] K. H. Won, S. Park, and S. K. Jung, "Adaptive and scalable color correction for stereoscopic 3D displays," IEEE International Conference on Consumer Electronics (ICCE), pp. 390-391, Jan. 2012.
[6] Q. Zhang, L. Xu, and J. Jia, "100+ Times Faster Weighted Median Filter (WMF)," IEEE Conference on Computer Vision and Pattern Recognition, pp. 2830-2837, 2014.
[7] G. Egnal and R. P. Wildes, "Detecting binocular half-occlusions: empirical comparisons of five approaches," IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 24, issue 8, pp. 1127-1133, Aug. 2002.
[8] K. Simonyan, S. Grishin, D. Vatolin, and D. Popov, "Fast video super-resolution via classification," IEEE International Conference on Image Processing (ICIP), pp. 349-352, 2008.
[9] D. J. Butler, J. Wulff, G. B. Stanley, and M. J. Black, "A naturalistic open source movie for optical flow evaluation," European Conference on Computer Vision (ECCV), pp. 611-625, Oct. 2012.
Automatic Detection and Estimation of Color Discrepancies in S3D Using Confidence Maps
S. Grokholsky, S. Lavrushkin, S. Zvezdakov, and D. Vatolin
Abstract—We propose a new confidence-map-based algorithm, which automatically detects the frames containing the color discrepancy between two views of a stereoscopic video, which uses the confidence maps. The use of confidence maps makes it possible to detect the unreliable disparity values and therefore leads to an improvement in the number of false positives produced by our approach. The detailed method analysis, confirming its effectiveness is provided in the end of the paper.
Keywords—Stereo, S3D, quality estimation, video, color mismatch, confidence map.
