CC BY
165
Алгоритм построения циклопического изображения на основе модели восприятия человека_
Алгоритм построения циклопического изображения на основе модели восприятия
человека
Зипа К.С., Игнатенко A.B.
МГУ им. М.В. Ломоносова kzipa@graphics. es. msu. ru, ignatenko@graphics. es. msu. ru
Аннотация. При восприятии стереоизображений у человека формируется целостный образ наблюдаемой сцены. Этот образ характеризуется глубиной объектов и их цветовыми характеристиками. Циклопическое изображение - это виртуальное одно-ракурсное изображение, формируемое мозгом человека при бинокулярном восприятии. Часто оно эквивалентно виду сцены со среднего ракурса (из средней точки между глазами). Построение такого изображения бывает необходимо для метрик качества стереоизображений, а также для построения многоракурсных изображений по стереопаре и карте глубины. Для некоторых классов сцен циклопическое изображение не совпадает напрямую с усредненным ракурсом. В статье представлен алгоритм, позволяющий получать циклопическое изображение, максимально приближенное к воспринимаемому человеком.
Ключевые слова: зрительная система человека, стереоизображения, циклопическое изображение.
1 Введение
При бинокулярном зрении человек не задумывается о восприятии различных изображений каждый глазом по-отдельности, всё изображение кажется единым. Объединение в целостный образ информации происходит в зрительной коре головного мозга. Полученное в результате изображение приблизительно соответствует тому, как если бы мы видели одним глазом, расположенным посередине между глазами. Такой виртуальный глаз называют циклопическим [Julesz, 1971], а воспринимаемое при бинокулярном зрении изображение - циклопическим. Геометрические законы восприятия объектов реального мира были сформулированы в виде законов Уэллса [Опо & Марр, 1995].
Законы восприятия яркости при бинокулярном зрении до конца не изучены. С восприятием яркости стереоизображения связаны такие понятия как бинокулярное слияние и бинокулярная конкуренция.
Бинокулярное слияние (или бинокулярная суммация) - эффект усиления контраста при бинокулярном зрении. Бинокулярное слияние возможна, если стимулы, представленные в обоих ракурсах, схожи. Если же стимулы сильно различаются, то возникает другая ситуация бинокулярная конкуренция, при которой наблюдатель видит быстрое переключение с одного ракурса на другой [Wolfe & Franz, 1988]. В момент,
когда виден один из стимулов, говорят, что он доминирует, а другой подавлен. В ряде случаев переключение может быть медленным, иногда один из сигналов полностью преобладает. Причины бинокулярной конкуренции могут быть следующие:
1) Увеличение контраста одного из стимулов ведет к увеличению времени доминации [Levelt, 1966].
2) Передние объекты подавляют фон, типичные объекты подавляют необычные (например, нормально ориентированные лица против повернутых) [Engel, 1956], [Yue & Blake, 1992].
3) Похожие объекты из разных ракурсов группируются [Sobel & Blake, 2002].
В этой работе производится попытка объединить известные законы контрастного восприятия стереоскопических изображений в общей модели построения циклопического изображения, которая будет включать в себя эффекты бинокулярного слияния и бинокулярной конкуренции.
Получение циклопического изображения актуально в таких областях как: метрики качества стереоизображений, построение многоракурсных изображений по стереоизображениям, оценка качества ювелирной продукции.
2 Постановка задачи
Основная цель заключается в построении по двум ракурсам, приведенным к усредненному, такого изображения, что при предъявлении человеку одновременно исходной стереопары и итогового результата, он сочтет их наиболее похожими по сравнению с другими методами.
Рис. 2. Пример стереопары
Алгоритм не рассматривает способы геометрических преобразований исходных стереопар для соответствия циклопическому ракурсу.
Алгоритм построения циклопического изображения
на основе модели восприятия человека_
3 Требования и ограничения на входные данные
Входные изображения должны быть предварительно приведены к центральному ракурсу. Размеры изображений должны быть согласованы между собой. Каждому пикселю левого изображения с координатами (х, у) должен соответствовать пиксель правого изображения с теми же координатами.
Рис. 2. Стереопара, приведенная к центральному ракурсу - вход алгоритма
4 Существующие методы
В задачах компьютерной графики построение циклопического изображения применялось в качестве вспомогательного средства для решения задач оценки качества изображений и для построения многоракурсных изображений по стереоизображениям и карте глубины. Параллельно ведутся исследования в области медицины и психофизиологии, выявляющие качественные закономерности в поведении нейронов зрительной коры головного мозга.
4.1 Методы построения циклопического изображения в задаче оценки качества стереоизображений
Впервые схема оценки качества стереоизображений, базирующаяся на основе модели циклопического зрения, была предложена в работе [Maalouf & Larabi, 2011] для псевдоэталонной метрики оценки качества. Циклопическое изображение строилось как полусумма приведенных ракурсов. Потом оно оценивалось метрикой для одноракурсных изображений. Более сложный алгоритм (уже для эталонных оценок) был представлен в работе [Chen M.J et al, 2013]. Полученные авторами статьи результаты показали более высокий коэффициент корреляции с субъективными оценками по сравнению с не-циклопическими алгоритмами. В работе [Зипа и Игнатенко, 2014] был предложен
комбинированный алгоритм на основе оценки контраста, показавший более высокие коэффициенты корреляции с субъективными оценками.
4.2 Модели сложения стереосигналов в психофизиологии
В условиях бинокулярного зрения показатели зрительных функций выше, чем для каждого глаза в отдельности. Первое предположение, почему это происходит, - благодаря статистике. Вероятность обнаружения у двух сенсоров выше, чем у одного. Если порог одного глаза 0.6 единиц, то статистическая вероятность обнаружить стимул двумя глазами составляет 0.84, что согласуется с экспериментальными данными. Этот подход был введен Pirenne [1943] и назван вероятностной суммацией.
Вторая теория состоит в том, что существует некоторый физиологический процесс, улучшающий входные данные с двух глаз. Эксперименты показали, что при определенных условиях повышение чувствительности порога было выше, чем может объяснить вероятностная суммация. Этот подход был назван нейронной суммацией. Оптимальная суммация возникает, когда одновременно стимулируются соотносящиеся точки двух сетчаток. Campbell and Green [1965] предложили другое объяснение: нейронные сигналы складываются, но фоновый некоррелированный шум уменьшается.
Meese [2011] предлагает многоуровневую модель бинокулярной суммации. Он подтверждает, что пространственная и бинокулярная суммация имеет место выше порога восприятия контраста. Современные психофизиологические модели более сложны, но зато лучше соответствуют результатам экспериментов.
Психофизиологические сконструированы таким образом, что их прямое применение к изображениям любой природы затруднительно - они не нацелены на получение изображений.
4.3 Недостатки существующих моделей
Более простые методы, используемые в компьютерной графике, работают для изображений с хорошим согласованием левого и правого ракурса. Методы психофизиологии не нацелены на получение реалистичных изображений и дают сильные артефакты. Результат этих методов невозможно интерпретировать как изображение, содержащее яркость.
В данной работе была произведена попытка применения базовых психофизиологических моделей к компонентам вейвлет-разложения исходной стереопары, что, с одной стороны, обеспечило отсутствие видимых артефактов, а с другой, приблизило результат к воспринимаемому человеком.
Алгоритм построения циклопического изображения
на основе модели восприятия человека_
5 Описание алгоритма
Алгоритм работает с изображениями, предварительно приведенными к целевому ракурсу. В областях перекрытий, где значения в одном из ракурсов неизвестны, итоговый цвет берется целиком из неперекрытой области на другом ракурсе. Во всех остальных областях моделируются процессы слияния и бинокулярной конкуренции.
При наличии слияния или бинокулярной конкуренции функции смешивания ракурсов сильно отличаются. Поскольку при бинокулярной конкуренции формируется не статическое изображение, а смена кадров, то цель алгоритма - привнести в итоговое изображение информацию с того ракурса, который доминирует более долгое время. Итак, необходимо определить:
1) Функцию смешивания в случае наличия слияния
2) Функцию смешивания в случае наличия бинокулярной конкуренции
3) Детектировать ситуацию, которая имеет место в данной области изображения (отличать случай слияния от случая бинокулярной конкуренции).
5.1 Разграничение слияния и бинокулярной конкуренции
Слияние возможно, если оба ракурса несильно друг от друга отличаются, то есть должны совпадать знаки и ориентация контраста, а также должны быть близки модули.
© © ф ©
© © ■ ■ ■ • • • ■ * ■
• ■ * ■ ■
Рис. 3. Пример изображений, демонстрирующих: а) (слева-вверху) элементы слияния (вертикальные элементы) и полной доминации (наклонные элементы), Ь) (справа-вверху) эффект бинокулярной конкуренции, с) (слева-внизу слияние на вертикальных элементах и доминацию на наклонных, (1) (справа-внизу) различный знак контраста.
Например, при просмотре рисунка За в стерео вертикальные и горизонтальные полосы имеют промежуточный цвет между серым и черным.
Выраженная бинокулярная конкуренция (Рис. 4) возможна при:
1) разном направлении контраста в данной области
2) разном знаке контраста в данной области
3) сильной разнице по модулю при одинаковом знаке контраста
При сильном преимуществе одного из ракурсов происходит полная доминация, когда один из стимулов полностью вытесняет другой. Полная доминация может произойти в случае, если на одном из ракурсов контраст отсутствует, например, при просмотре Рис. Зс. в стерео, наклонные линии с правого ракурса целиком заменят соответсвующие им белые области на левом изображении.
На бинокулярную конкуренцию значительное влияние оказывает знак контраста. На Рис. Зс1. контраст левого и правого стимула имеют разные знаки, но модуль правого сильнее. При наблюдении в стерео правый стимул большей частью доминирует над левым. В случае бинокулярной конкуренции, основанной на знаке контраста, преобладание абсолютного значения модуля стимула сказывается на соотношении длин фаз доминации-подавления. При кардинальном преобладании одного из модулей контраста происходит полная доминация.
Конкуренция контуров по направлениям всегда запрещает слияние (не существует доминирующего направления). Горизонтальное направление конкурирует с вертикальным, оба они конкурируют с диагональным. И всегда при наличии выраженных разных фаз происходит бинокулярная конкуренция.
На превращение конкуренции в полную доминацию могут повлиять такие факторы как абсолютный размер и относительный размер стимула, но мы не будем брать в расчет эти возможные эффекты, потому что точные законы альтераций бинокулярной конкуренции не входят в постановку задачи.
5.2 Функция смешивания ракурсов в случае слияния
Слияние происходит, если ракурсы не сильно друг от друга отличаются. Наиболее подходящим в результате опросов был выбран способ суммирования контраста по закону Минковского с показателем 2.
5.3 Определение доминирующего ракурса
Требуется произвести селекцию (выбор) одного из значений яркости. То есть присвоить на выходе значение одного из пикселей. В случае
Алгоритм построения циклопического изображения
на основе модели восприятия человека_
полной доминации или бинокулярной конкуренции выборка производится из изображения с большим модулем.
5.4 Описание итогового алгоритма
Алгоритм основан на обработке пары изображений на разных уровнях детализации. Для этого сначала оба изображения раскладываются в набор вейвлет-компонент (Рис. 4, шаг 1).
В результате разложения получается набор п*3+1 пар изображений, где п - количество масштабов. На каждом масштабе имеется три ориентации (горизонтальная, вертикальная и диагональная). Кроме этого остается ещё базовое изображение, имеющее не дифференциальные характеристики (контраст), а абсолютные (яркость).
Базовые компоненты усредняем. Остальные компоненты обрабатываем начиная с низких частот (компонент с низкой детализацией) и переходя к высоким частотам (компонентам с высокой детализацией). Параллельно с этим выполняем обратную сборку полученных компонент (Рис. 4, шаг 2).
Вход алгоритма Выход алгоритма
Компоненты вейвлет-разложения входных изображений
Компоненты вейвлет-разложения результирующего изображения
Рис. 4. Общая схема алгоритма
При обработке компоненты сначала определяем, какой случай имеет место для каждого пикселя (слияние или конкуренция). В области конкуренции выбираем компоненту, имеющую больший модуль контраста. В области слияния суммируем с сохранением знака. Под контрастом понимаем текущую компоненту вейвлет-разложения.
Считаем, что имеется случай конкуренции или доминации, если имеет место один из двух случаев:
1) Разница в знаке контраста (для устойчивости вводим минимально-детектируемую разницу) для текущего, либо одного из предыдущего масштабов;
2) Разница в направлении контраста.
В противном случае предполагаем, что имеет место фузия.
Для определения разницы в направлении контраста вначале рассматриваем для каждого уровня 3 направления (горизональ, вертикаль, диагональ) и определяем, является ли какая-то из них доминиующей в своем ракурсе. Текущая компонента в левом ракурсе преобладает, если она в п раз превышает сумму других компонент во втором ракурсе, и, если эти две компоненты, в свою очередь, не являются доминирующими. На рисунке 5 приведена схема обработки компоненты разложения. На рисунке 6 приведен пример работы алгоритма.
Выход
Рис. 5. Схема обработки компоненты разложения
Алгоритм построения циклопического изображения на основе модели восприятия человека_
Рис. 6. Слева - результат работы алгоритма, а справа - результат усреднения
изображений.
6 Проверка алгоритма
Проверка гипотез, легших в основу алгоритма производилась на тестовой базе из 15 образцов. Проверялись следующие алгоритмы:
A) усреднение яркости
Б) усреднение контраста
B) сложение контраста с показателем 2
Г) выборка максимального контраста
Испытуемому предъявлялось стереоскопическое изображение и два одноракурсных изображения с результатами двух алгоритмов и предлагалось выбрать тот, который дал наиболее хороший результат, либо не выбрать ни один в случае, если они дают слишком близкий результат. Предъявляемые алгоритмы выбирались алгоритмом случайным образом, результаты выбора записывались в файл. Тестирование занимало около 10 минут на одного испытуемого.
Победа определялась независимо для каждого тестового образца. Для каждого испытуемого считался % побед для пары <образец, метод>. Затем этот % усреднялся среди всех испытуемых. Полученные результаты приведены в таблице 1.
В результате опроса 5 испытуемых было выяснено, что при наличии бинокулярной конкуренции лучше всего срабатывает выбор максимального контраста. При отсутствии бинокулярной конкуренции лучше всего срабатывает сложение контраста с параметром Минковского, равным двум.
Таблица 1. Результаты тестирования.
Номер образца Ситуация (слияние, конкуренция) Усреднение яркости Усреднение контраста Усреднение с параметром 2 Выбор по принипу максимального модуля контраста
1 Слияние 18.7% 18.0% 21.3% 22.0%
2 Слияние 11.3% 7.3% 44.7% 16.7%
3 Конкуренция 16.7% 17.3% 29.0% 37.0%
4 Конкуренция 18.3% 20.7% 26.3% 34.7%
5 Конкуренция 26.3% 20.0% 26.7% 27.0%
6 Слияние 18.3% 15.0% 26.7% 20.0%
7 Слияние 6.7% 28.3% 5.0% 40.0%
8 Конкуренция 24.3% 10.7% 8.0% 57.0%
9 Конкуренция 16.3% 10.7% 18.0% 55.0%
10 Конкуренция 29.3% 4.0% 21.3% 45.3%
11 Конкуренция 38.7% 0.0% 11.3% 50.0%
12 Конкуренция 29.0% 11.7% 12.3% 47.0%
13 Конкуренция 46.7% 0.0% 11.3% 42.0%
14 Конкуренция 0.0% 0.0% 0.0% 20.0%
15 Конкуренция 20.0% 14.0% 21.3% 24.7%
Таким образом, в основе комбинированного алгоритма лежат прдположения, которые были подтверждены в ходе опросов. В ближайшее время планируется сравнение алгоритма с базовыми аналогами (исследованными в этой публикации) на сценах, приближенных к сценах реального мира.
Алгоритм построения циклопического изображения на основе модели восприятия человека_
Список литературы
[Julesz, 1971] Julesz, Bela. Foundations of Cyclopean Perception. Chicago: The University of Chicago Press, 1971.
[Ono & Mapp, 1995] Ono H., Mapp A. P. A restatement and modification of Wells - Hering's laws of visual direction. Perception 24(2), 1995, pp. 237 - 252
[Wolfe & Franz, 1988] Wolfe J. M., Franz S. L. Binocularity and visual search. Perception & Psychophysics, 44 (1), 1998, pp. 81-93.
[Levelt, 1966] Levelt W. J. M. The alternation process in binocular rivalry. British Journal of Psychology,. 57:3/4 (1966:Nov.) p.225.
[Engel, 1956] Engel E. The role of content in binocular resolution. Am J Psychology 6 (1956): 87-9
[Yue & Blake, 1992] Yue K., Blake R. Do recognizable figures enjoy an advantage in binocular rivalry. J Exp Psychology: Human Perception and Performance. 18,2002, pp. 1158-73
[Sobel & Blake, 2002] Sobel K., Blake R. How context influences predominance during binocular rivalry. Perception, 31. (2002), pp. 813-24
[Maalouf & Larabi, 2011] Maalouf A., Larabi M.-C. CYCLOP: A stereo color image quality assessment metric. Proc. IEEE Int. Conf. Acoust., Speech Signal Process. 2011, pp. 1161— 1164.
[Chen M.J et al, 2013] Chen M.J et al. Full-reference quality assessment of stereopairs accounting for rivalry. Signal Processing: Image Communication, Vol. 28 (9), 2013, pp. 1143-1155
[Зипа и Игнатенко, 2014] Зипа К.С., Игнатенко А.В. Алгоритм построения стереообраза в задаче эталонной оценки качества стереоизображений // Тихоновские чтения: Научная конференция. Тезисы докладов. 27-31 октября 2014 г. — МАКС Пресс Москва, 2014. — с. 12
[Meese & Baker, 2011] Meese, Т. S., & Baker, D. H. Contrast summation across eyes and space is revealed along the entire dipper function by a "Swiss cheese" stimulus. 2011. Journal of Vision, 11(1):23, pp. 1-23
[Pirenne, 1943] Pirenne M. H. Binocular and uniocular thresholds of vision. Nature, 1943; 48,43-63.
[Campbell & Green, 1965] Campbell F. W. and d. Green G Optical and retinal factors affecting visual resolution. J. Physiol. 181,1965, pp. 576-593
