CC BY
26
ПОЛЯРИЗАЦИЯ ПРИ СМЕШАННОМ ОТРАЖЕНИИ В ЗАДАЧЕ ТРЁХМЕРНОГО СКАНИРОВАНИЯ ОБЪЕКТОВ
В.А. Таамазян1
1 Московский физико-технический институт, Москва, Россия Аннотация
Предлагается новый метод разделения отраженной и рассеянной компонент света, а также оценки отражательных свойств объекта (включая коэффициент преломления), основанный на фундаментальной разнице в свойствах поляризации рассеянной и отражённой компонент. Метод базируется на информации о положении камеры и информации о поляризации света в каждом из положений. В конечном итоге предложенный метод позволяет также восстановить трёхмерную форму объекта. Показанные результаты дают достаточно высокую точность разделения компонент по сравнению с ранее предложенными методами и, в отличие от них, базируются на фундаментальных принципах отражения света.
Ключевые слова: рассеяние, отражение, поляризация, трёхмерное сканирование, форма из поляризации.
Цитирование: Таамазян, В.А. Поляризация при смешанном отражении в задаче трёхмерного сканирования объектов / В.А. Таамазян // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 764-771. - Б01: 10.18287/2412-6179-2018-42-5-764-771.
Введение
Влияние формы объекта на поляризацию отраженного света было известно веками и сформулировано в уравнениях Френеля. Этот принцип лежит в основе методов «Формы из Поляризации» (ФиП) [1], целью которых является реконструкция информации о трёхмерной форме объекта на основе данных о поляризации света, извлеченных из трёх и более фотографий объекта под разными углами поляризатора.
Классический подход к ФиП полагается на отражённый зеркально от объекта свет. С целью использовать также рассеянный свет, Atkinson и Hancock предложили метод, базирующийся исключительно на рассеянном от объекта свете (отсюда и далее рассеянная ФиП) [1]. Тем не менее, большая часть объектов в реальном мире отражает свет не исключительно рассеяно или зеркально, а в виде композиции двух этих типов отражения. Таким образом, «смешанное отражение» случается, когда и рассеянная, и зеркальная компоненты достигают камеры, делая использование методов ФиП непригодным.
Измерение нормалей поверхности объекта сопряжено с рядом проблем:
1. Необходимо знание о коэффициенте преломления объекта.
2. Необходимо, чтобы материал был либо Ламберто-вым, либо зеркальным.
3. Угол азимута нормали определён с точностью до п. Недавние публикации показали, что часть этих
неопределённостей может быть разрешена с использованием грубой карты глубин объекта, полученной с помощью 3D-сканера [2] (здесь и далее метод Polarized 3D), что позволило сделать первый шаг в сторону практического использования метода. Предложенный в данной публикации метод даёт ряд комплементарных преимуществ указанному методу.
В центре внимания - анализ смешанного отражения и его влияние на существующие методы ФиП. В работе показано, что смешанное отражение действительно негативно влияет на полученный методом
ФиП результат. В работе предложен метод анализа смешанного отражения на основе нескольких позиций камеры и показано сравнение с аналогичными методами.
Рамки работы: предложенный в работе вклад расширяет применимость ФиП, позволяя анализировать больший спектр возможных объектов с различными материалами. Предыдущие работы использовали последовательный подход, сначала разделяя поступивший свет на рассеянную и зеркальную компоненты, а затем используя подходящую модель ФиП. К примеру, Miyazaki et al. [3] сначала используют алгоритм разделения рассеянной и зеркальной компонент, предложенный Tan и Ikeuchi [4], после чего используется стандартный метод ФиП. Мы считаем, что более фундаментальный подход, основанный на уравнениях Френеля, позволит улучшить качество получаемых результатов.
В этой работе демонстрируется метод, использующий метод ФиП для декомпозиции рассеянной и зеркальной компонент отражённого света. Превосходя в качестве другие методы декомпозиции компонент света, этот метод позволяет оценить коэффициент преломления материала объекта.
1. Обзор публикаций
В контексте обзора релевантных публикаций предложенный метод является первым методом, объединяющим в себе оценку формы объекта для задачи его трёхмерного сканирования, разделение отражённой и рассеянной компонент света и попиксельную оценку коэффициента преломления объекта.
Уравнения Френеля описывают свойства электромагнитной волны, отражённой взаимодействующей с поверхностью объекта. При таком взаимодействии генерируются 2 волны - отражённая и преломлённая (рис. 1а). Уравнения Френеля связывают параметры отражённой волны (угол поляризации, степень поляризации) с параметрами материала поверхности, а также ориентацией нормали к поверхности.
Неполяризованный свет
I.Воздух
Объект Рассеяние
а) б) ^ в)
Рис. 1. Типы отражения от поверхности: (а) зеркальное отражение, (б) рассеянное отражение, (в) смешанное отражение
«Форма из Поляризации» (ФиП) - термин, используемый в компьютерном зрении для объединения класса методов, оценивающих ориентацию нормалей поверхности объекта на основе уравнений Френеля. Классическая ФиП базируется на измерениях параметров поляризации света, как правило, на основе трёх фотографий с разными углами поляризатора, закреплённого на камере. Существует два основных направления ФиП: на основе отражённого зеркально света (рис. 1а), а также на основе рассеянного света (рис. 16). Первый метод позволяет оценивать форму металлов [5], прозрачных объектов [6, 7], тёмных объектов [8] и даже океанских волн [9]. Второй метод базируется на анализе света, который претерпел рассеяние внутри объекта (возможно, в тонком слое у поверхности), из-за чего уравнения Френеля применяются в ином виде в данном случае. Подробное описание этого метода есть в Atkinson and Hancock [1].
Задача разделения отражённой зеркально и рассеянной компонент света решается широким классом вычислительных и оптических методов. Часть методов базируется исключительно на одном изображении и использует характеристики цветов объекта, однако данный класс методов подвержен возникновению артефактов. Например, Nishino et al. представил метод, базирующийся на независимых от угла обзора эффектах, чтобы определить рассеянную компоненту в фотографии [10]. Другие методы также используют анализ одного изображения и цветов объекта в этом изображении [10-13, 4]. В этой статье показана польза применения информации о поляризации света для решения этой задачи. Часть предыдущих методов, использовавших поляризацию для решения этой задачи, базировались на активной подсветке [14, 15]. Для случая отсутствия активной подсветки Nayar предложил метод, использующий информацию о поляризации света, отражённого от объекта, а также цвет [16]. Этот метод, а также похожий метод, предложенный Zickler et al. [17], хорошо справляются с задачей в случае плавного варьирования цвета на поверхности объекта.
Также ряд работ демонстрирует использование круговой поляризации для трёхмерной реконструкции объекта [18], исправление эффекта задымления в изображении [19], мультиплексирование освещения [20], создание панорам [21], подводное рассеяние света [22], а также трёхмерные дисплеи [23]. В сравнении с данными работами, фокус данной публикации состоит исключительно в решении задачи ФиП.
2. Модель формирования изображения
В данном параграфе в сжатой форме рассмотрен ФиП. Концептуально ФиП использует измерения из изображения для оценки нормали к поверхности, выраженной через угол азимута ф, и зенита 6, ф0 и 60 будут обозначать реальные (ground truth) значения этих углов.
Интенсивность света, отраженного от определенной точки объекта и поступившего в пиксель матрицы камеры, пройдя предварительно через поляризатор, может быть выражена в следующем виде:
1 ( Ф pol) =
+ Imax — 1 min 2
1 max +1
max min
(1)
cos (2 (фpol -Ф)),
где фро1 - угол оси поляризатора, ф - фаза поляризованного света, Imax и Imin - величины, показанные на рис. 2. Таким образом, так как для аппроксимации синусоиды необходимо три уравнения, измерив значение интенсивности при трёх разных углах поляризатора возможно оценить неизвестные величины ф, I и I
Jmax Jmin*
Сложности с оценкой азимута
Для оценки азимута нормали к поверхности ф0, изначально методы ФиП использовали зеркальное отражение [3, 25, 26]. Максимальное значение интенсивности отраженного света достигается, когда поляризатор сонаправлен с перпендикулярно поляризованной компонентой отраженного света, что следует из уравнений Френеля. Atkinson и Hancock [1] затем показали, что для рассеянной ФиП максимум достигается для параллельной компоненты, то есть происходит сдвиг фазы поляризованного света на п/2 относительно реального азимута нормали к поверхности, то есть ф0 = ф ± п /2.
*тах----
Угол Поляризатора Рис. 2. Интенсивность измеренного в камере света в зависимости от угла поляризатора
Две ключевых сложности при определении угла азимута нормали:
2
1. Уравнение (1) содержит косинус с аргументом, умноженным на 2, что означает, что при разнице между фазой поляризованного света в п разницы в измерениях не будет. Таким образом, определить азимут можно лишь с точностью до п. Данная неопределенность называется неопределённостью азимута.
2. Априори не известно, является ли поступивший в камеру свет отражённым зеркально или рассеянно, поэтому возникает неопределённость азимута в п /2. Данная неопределённость называется неопределённостью модели отражения.
Сложности с оценкой зенита
Оценка угла зенита полагается на величину степени поляризации света, вычисляемой следующим образом:
Р =
I -I
1 max 11
max J min ^max + ^min
(2)
Как и в случае с азимутом, тип отражения влияет на зависимость зенита от степени поляризации света. В случае зеркального отражения зависимость может быть записана следующим образом [27]:
2sin 9 tan9s¡n2 - sin2 9 ^
P =-2-2-2-, (3)
n2 - sin2 9 + tan2 9
где n - коэффициент преломления материала объекта, а 9 - угол зенита нормали к поверхности. Если известны коэффициент преломления материала, а также степень поляризации отражённого света, то можно найти угол зенита, решив уравнение выше. Этот метод успешно применяется для оценки формы металлических объектов [5].
Для рассеянного отражения уравнение, связывающее данные величины, выглядит несколько иначе [1]:
\2
,2а
Р =
1
n — I sin
2 + 2n2 — ^n + —I sin2 8 + 4cos8\/n2 - sin2 8
-. (4)
Оценка зенита сопряжена с двумя ключевыми сложностями:
1. Информация о коэффициенте преломления материала объекта, как правило, неизвестна.
2. Априори неизвестно, является ли поступивший в камеру свет отражённым зеркально или рассеянно, поэтому неясно, какое из уравнений выше использовать для оценки зенита. Предложенный ниже метод решает обе проблемы
оценки зенита.
3. Метод декомпозиции компонент Рассмотрим дихроматическую модель отражения, предполагающую, что интенсивность отражённого света содержит две ключевые компоненты:
I = I* + I* , (5)
где I* и I* относятся к интенсивности рассеянного и зеркально отражённого света соответственно. Преды-
дущие работы по ФиП вычисляли р из !тах и ^^ максимальной и минимальной интенсивности света для каждого пикселя при вращении поляризатора. Аналогично работе №уаг е! а1. [16] можно предположить, что вариации зеркально отражённой компоненты много больше вариаций рассеянной компоненты для поверхности со смешанным отражением, и поэтому измеренная степень поляризации света:
_^^ р I* -1 -1* (6)
Р = т;—-л—= р~г = , (6)
Is
1 m
IS — IS
1 max 1 min
+1 m in +
I
I
где Iтах и Iтп соответствуют максимуму и минимуму интенсивности зеркально отражённой компоненты света (см. рис. 2). Таким образом,
I* = I (1 -р п - 5ш2 8 + е ). (7)
2sin 8 tan 8у/ n2 — sin2 8
В уравнении (6) две неизвестных: интенсивность рассеянной компоненты света I* и коэффициент преломления п. В предположении Ламбертовского отражения, интенсивность рассеянной компоненты света не зависит от угла обзора. Коэффициент преломления, как свойство материала объекта, также не зависит от угла обзора. Таким образом, предлагаемый метод предполагает захват данных о поляризации отражённого света с нескольких ракурсов:
I* = / (п, е,, I,, рг) 4
= h
i—р,
n 2 — sin2 (
+ tan
2
2sin8, tan8,-^/n2 — sin2 8,
(8)
для i-го положения камеры среди N ракурсов. Для поиска Id решается нелинейная оптимизационная задача в следующей форме: Л N
{Id,n} = argminX(Id - f(n,8,,I,,Pi))2 . (9)
Id ,n i=1
Оптимизация производилась с помощью метода последовательного квадратичного программирования.
4. Экспериментальные результаты
Предложенный метод разделения рассеянной и отражённой зеркально компонент сравнивается с методом, предложенным Nishino et al. [10].
Симуляции
Все симуляции произведены в программном пакете Mitsuba Raytracer [28]. Рейтрейсер был модифицирован для реконструкции карты глубин, а также включает Matlab-скрипт для симуляции измерений поляризации. Как показано на рис. 3, был произведен рендер трёхмерной модели Stanford bunny с тремя различными материалами: диффузным, глянцевым и смесью материалов под тремя различными углами с шагом в 10 градусов. Затем производится разделение компонент предложенным методом, а также методом [10]. Как показано на рис. 3, в предложенном методе ошибка по сравнению с реальными значениями зеркальной компоненты существенно меньше, чем в [10].
Сцена
Ошибка разделения
Поляризатор
О_■
Глиняная поверхность
Глянцевая поверхность
Смешанная поверхность
Захваченное фото
Зеркально отражённая Зеркально отражённая Зеркально отражённая компонента компонента компонента
(Ground Truth)
i to
Ä
a
(предложенный метод)
(Nishino)
Л
^ s
ж §
з i
§ &
С ®
^ о с
о
0
1
о с
Рис. 3. Симуляция разделения компонент отражения. Произведён рендер трёхмерной модели Stanford bunny с тремя различными материалами: полузеркальным (глянцевым), глиняным и смесью материалов. Предложенный метод сравнивается численно с методом, предложенным Nishino et al. [10]. Показывается, что с помощью информации о поляризации света можно существенно уменьшить ошибку
На рис. 4 приведены примеры результатов оценки карты нормалей для рендера сферы в случае прямого использования методов ФиП, а также с использованием предложенного метода.
Видно, что ФиП не справляется с задачей в общем виде, а метод [10] также имеет существенные погрешности, в то время как предложенный метод позволяет восстановить карту нормалей с достаточно высокой точностью.
Ещё одним преимуществом предложенного метода является возможность одновременной попиксель-ной оценки коэффициента преломления материала. Сфера на рис. 4 имеет коэффициент преломления, равный 1,5. Предложенный метод вернул значение коэффициента преломления 1,49, таким образом, ошибка составила менее 1 %.
Эксперименты
Неподвижный глянцевый шар фотографируется с трёх ракурсов с расстояния 50 см с помощью камеры
Canon Rebel T3i с объективом EF-S 18 mm-55 mm f/ 3,5-5,6 IS II SLR и линейным поляризатором, а также четвертьволновой пластинкой, Hoya CIR-PL. Четвертьволновая пластинка располагается сразу после линейного поляризатора, что позволяет избежать изменений угла и степени поляризации из-за дополнительных отражений в объективе камеры. Угол между точками съёмки - 10 градусов. С каждого ракурса захватывается 3 фотографии с разными углами поворота поляризатора. На рис. 5 приведена фотография камеры и объекта, а также результаты реконструкции нормалей объекта с использованием методов ФиП, [10], а также предложенного метода. Результаты наглядно показывают, что предложенный метод лучше всего справляется с задачей разделения компонент и оценкой ориентации нормалей, снизив MSE практически в 2 раза.
Заключение
В настоящей работе предложен новый метод разделения компонент отражённого света с использо-
ванием комбинации разноракурсных изображений и информации о поляризации света. Несмотря на существование альтернативных способов решения задачи разделения компонент, предложенный метод
(Шщпз
является единственным, который базируется на фундаментальных физических принципах отражения и позволяет использовать комбинации различных методов.
Ошибка в оценке коэффициента преломления
Ошибка (MSE) 0,20-
-0;184-
0,15-
0,10-
0,070
0,05-
-0,010-
Нескорр. Предл. Nishino метод
£
Q
а а
со
тЖ ШШШ
>' fmlf
* «2Гг® ¥ \ чД щЗ/
(а) Ground Truth (б) Нескорр. (в) Предл. метод (г) Nishino
Рис. 4. Оценка карты нормалей, степени поляризованности света, зенита и коэффициента преломления с помощью предложенного метода в сравнении с ФиП и Nishino et al. [10] для симуляции глянцевого шара
Ошибка в оценке ЩВттшмШI
Ошибка (MSE) 0,12-
0,080,04-
ор
Q
0.
Нескорр. Предл. Nishino метод
(а) Ground Truth (б) Нескорр. (в) Предл. метод (г) Nishino
Рис. 5. Результаты экспериментов с использованием предложенного метода для оценки карты нормалей в сравнении с Nishino et al. [10]. Предложенный алгоритм позволяет существенно снизить MSE
Одним из основных преимуществ метода является возможность улучшения качества работы метода ФиП. Предыдущие методы ФиП не анализировали детально влияние смешанного отражения на результаты реконструкции. В данной публикации показано,
что использование физики отражения может быть применено не только для детального анализа влияния смешанного отражения на ФиП и, как следствие, уточнения ФиП, но и для разделения компонент отражения и оценки параметров материала объекта (для
решения этой задачи, как правило, используются от-калиброванные оптические установки [30]). С развитием мультиракурсных методов сканирования (например, KinectFusion [29]) кажется логичным использование подобного метода для уточнения результатов трёхмерного сканирования. Возможность оценки коэффициента преломления может не только уточнить ФиП, но и помочь в задаче распознавания и детектирования объектов.
Аналогично прошлым публикациям по ФиП в данной публикации используется предположение неполя-ризованного мира. Другими словами, считается, что весь свет, падающий на объекты, не поляризован. Стоит отметить, что ряд публикаций показывал реалистичность данного предположения, по крайней мере, для сцен без прямого солнечного света [2]. Количество захваченных фотографий для работы метода выше, чем у ряда альтернативных методов (например, Tan et al. [4]). Однако большое количество захваченных фотографий необходимо в том числе также для того, чтобы анализировать форму объекта и параметры поверхности.
Интересными будущими направлениями работы являются комбинирование метода с информацией о вариации цвета (аналогично [16]), а также расширение метода до случаев с поляризованным падающим на объект светом.
Литература
1. Atkinson, G.A. Recovery of surface orientation from diffuse polarization / G.A. Atkinson, E.R. Hancock // IEEE Transactions on Image Processing. - 2006. - Vol. 15, Issue 6. - P. 1653-1664. - DOI: 10.1109/TIP.2006.871114.
2. Kadambi, A. Polarized 3D: High-quality depth sensing with polarization cues / A. Kadambi, V. Taamazyan, B. Shi, R. Raskar. - In: Proceedings of the IEEE International Conference on Computer Vision. - 2015. - P. 3370-3378. -DOI: 10.1109/ICCV.2015.385.
3. Miyazaki, D. Polarization-based inverse rendering from a single view / D. Miyazaki, R.T. Tan, K. Hara, K. Ikeuchi. -In: Proceedings of the Ninth IEEE International Conference on Computer Vision. - 2003. - P. 982-987. - DOI: 10.1109/ICCV.2003.1238455.
4. Tan, R.T. Separating reflection components of textured surfaces using a single image / R.T. Tan, K. Ikeuchi // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2005. - Vol. 27, Issue 2. - P. 178-193. - DOI: 10.1109/TPAMI.2005.36.
5. Morel, O. Polarization imaging applied to 3D reconstruction of specular metallic surfaces / O. Morel, F. Meriaudeau, C. Stolz, P. Gorria // Proceedings of SPIE. - 2005. -Vol. 5679. - P. 178-186. - DOI: 10.1117/12.586815.
6. Saito, M. Measurement of surface orientations of transparent objects using polarization in highlight / M. Saito, Y. Sato, K. Ikeuchi, H. Kashiwagi // Systems and Computers in Japan. - 2001. - Vol. 32, Issue 5. - P. 64-71. - DOI: 10.1002/scj.1027.
7. Miyazaki, D. Transparent surface modeling from a pair of polarization images / D. Miyazaki, M. Kagesawa, K. Ike-uchi // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2004. - Vol. 26, Issue 1. - P. 73-82. - DOI: 10.1109/TPAMI.2004.1261080.
8. Miyazaki, D. Polarization-based surface normal estimation of black specular objects from multiple viewpoints / D. Miyazaki,
T. Shigetomi, M. Baba, R. Furukawa, S. Hiura, N. Asada // 2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission. - 2012. -P. 104-111. - DOI: 10.1109/3DIMPVT.2012.14.
9. Zappa, C.J. Retrieval of short ocean wave slope using po-larimetric imaging / C.J. Zappa, M.L. Banner, H. Schultz, A. Corrada-Emmanuel, L.B. Wolff, J. Yalcin // Measurement Science and Technology. - 2008. - Vol. 19, Issue 5. -055503. - DOI: 10.1088/0957-0233/19/5/055503.
10. Nishino, K. Determining reflectance parameters and illumination distribution from a sparse set of images for view-dependent image synthesis / K. Nishino, Z. Zhang, K. Ikeu-chi. - In: Proceedings Eighth IEEE International Conference on Computer Vision (ICCV 2001). - 2001. - Vol. 1. -P. 599-606. - DOI: 10.1109/ICCV.2001.937573.
11. Lin, S. Separation of diffuse and specular reflection in color images / S. Lin, H.-Y. Shum // In: Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001). - 2001. - Vol. 1. -P. I-341-I-346. - DOI: 10.1109/CVPR.2001.990495.
12. Lin, S. Diffuse-specular separation and depth recovery from image sequences / S. Lin, Y. Li, S.B. Kang, X. Tong, H.Y. Shum // ECCV '02 Proceedings of the 7th European Conference on Computer Vision. - 2002. - Part III. -P. 210-224. - DOI: 10.1007/3-540-47977-5_14.
13. Tan, R.T. Separating reflection components based on chromaticity and noise analysis / R.T. Tan, K. Nishino, K. Ikeu-chi // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2004. - Vol. 26, Issue 10. - P. 1373-1379. -DOI: 10.1109/TPAMI.2004.90.
14. Ma, W.C. Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination / W.-Ch. Ma, T. Hawkins, P. Peers, Ch.-F. Chabert, M. Weiss, P. Debevec // EGSR'07 Proceedings of the 18th Eurographics conference on Rendering Techniques. - 2007. - P. 183194. - DOI: 10.2312/EGWR/EGSR07/183-194.
15. Ghosh, A. Multiview face capture using polarized spherical gradient illumination / A. Ghosh, G. Fyffe, B. Tunwattan-apong, J. Busch, X. Yu, P. Debevec // ACM Transactions on Graphics. - 2011. - Vol. 30, Issue 6. - 129. - DOI: 10.1145/2070781.2024163.
16. Nayar, S.K. Separation of reflection components using color and polarization / S.K. Nayar, X.S. Fang, T. Boult // International Journal of Computer Vision. - 1997. -Vol. 21, Issue 3. - P. 163-186. - DOI: 10.1023/A:1007937815113.
17. Zickler, T. Reflectance sharing: Predicting appearance from a sparse set of images of a known shape / T. Zickler, R. Ramamoorthi, S. Enrique, P.N. Belhumeur // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2006. - Vol. 28, Issue 8. - P. 1287-1302. - DOI: 10.1109/TPAMI.2006.170.
18. Guarnera, G.C. Estimating surface normal from spherical stokes reflectance fields / G.C. Guarnera, P. Peers, P. Debevec, A. Ghosh // ECCV 12 Proceedings of the 12th international conference on Computer Vision. - 2012. - Vol. 2. - P. 340349. - DOI: 10.1007/978-3-642-33868-7_34.
19. Schechner, Y.Y. Instant dehazing of images using polarization / Y.Y. Schechner, S.G. Narasimhan, S.K. Nayar // Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001). - 2001. -Vol. 1. - P. I-325-I-332. - DOI: 10.1109/CVPR.2001.990493.
20. Cula, O.G. Polarization multiplexing and demultiplexing for appearance-based modeling / O.G. Cula, K.J. Dana, D.K. Pai, D. Wang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2007. - Vol. 29, Issue 2. -P. 362-367. - DOI: 10.1109/TPAMI.2007.39.
21. Schechner, Y.Y. Generalized mosaicing: Polarization panorama / Y.Y. Schechner, S.K. Nayar // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2005. - Vol. 27, Issue 4. - P. 631-636. - DOI: 10.1109/TPAMI.2005.79.
22. Treibitz, T. Active polarization descattering / T. Treibitz, Y.Y. Schechner // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2009. - Vol. 31, Issue 3. -P. 385-399. - DOI: 10.1109/TPAMI.2008.85.
23. Lanman, D. Polarization fields: Dynamic light field display using multi-layer LCDs / D. Lanman, G. Wetzstein, M. Hirsch, W. Heidrich, R. Raskar // ACM Transactions on Graphics. -2011. - Vol. 30, Issue 6. - 186. - DOI: 10.1145/2070781.2024220.
24. Schechner, Y.Y. Self-calibrating imaging polarimetry / Y.Y. Schechner // 2015 IEEE International Conference on Computational Photography (ICCP). - 2015. - DOI: 10.1109/ICCPH0T.2015.7168374.
25. Wolff, L.B. Constraining object features using a polarization reflectance model / L.B. Wolff, T.E. Boult // IEEE Transactions on Pattern Analysis & Machine Intelligence. - 1991. - Vol. 13, Issue 7. - P. 635-657. - DOI: 10.1109/34.85655.
26. Rahmann, S. Reconstruction of specular surfaces using polarization imaging / S. Rahmann, N. Canterakis // Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001). - 2001. - Vol. 1. -P. I-149-I-155. - DOI: 10.1109/CVPR.2001.990468.
27. Hecht, E. Optics / E. Hecht. - 4th ed. - San Francisco: Ad-dison-Wesley, 2002. - 698 p. - ISBN: 978-0-8053-8566-3.
28. Jakob, W. Mitsuba renderer [Electronical Resource] / W. Jakob. - URL: http://www.mitsuba-renderer.org (request date 26.09.2010).
29. Izadi, S. Kinectfusion: Real-time 3D reconstruction and interaction using a moving depth camera / S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shot-ton, S. Hodges, D. Freeman, A. Davison, A. Fitzgibbon // UIST '11 Proceedings of the 24th annual ACM symposium on User interface software and technology. - 2011. -P. 559-568. - DOI: 10.1145/2047196.2047270.
30. Wetzstein, G. Hand-held schlieren photography with light field probes / G. Wetzstein, R. Raskar, W. Heidrich // 2011 IEEE International Conference on Computational Photography (ICCP). - 2011. - 8 p. - DOI: 10.1109/ICCPHOT.2011.5753123.
Сведения об авторе
Таамазян Ваге Арамаисович, 1991 года рождения, окончил магистратуру Московского физико-технического института и Сколковского института науки и технологий в 2015 году. Поступил в очную аспирантуру Московского физико-технического института в 2015 году. Область научных интересов: трёхмерное сканирование, использование поляризации для задачи трёхмерного сканирования, компьютерная визуализация, компьютерное зрение. E-mail: vaheta@gmail.com .
ГРНТИ: 29.31.29.
Поступила в редакцию 25 февраля 2018 г. Окончательный вариант - 1 октября 2018 г.
SHAPE FROM MIXED POLARIZATION
V.A. Taamazyan1 1 Moscow Institute of Physics and Technology
Abstract
In this paper, we propose a new method that jointly uses viewpoint and polarization data to ho-listically separate diffuse and specular components, recover refractive index, and ultimately recover the 3D shape of an object. By involving the physics of polarization in the separation process, we demonstrate competitive results with a benchmark method, while recovering additional information (e.g. refractive index).
Keywords: scattering, polarization, three-dimensional sensing, shape from polarization, separating reflection components, refractive index estimation, polarized 3D.
Citation: Taamazyan VA. Shape from mixed polarization. Computer Optics 2018; 45(5): 764771. - DOI: 10.18287/2412-6179-2018-42-5-764-771.
References
[1] Atkinson GA, Hancock ER. Recovery of surface orientation from diffuse polarization. IEEE Transactions on Image Processing 2006; 15(6): 1653-1664. DOI: 10.1109/TIP.2006.871114.
[2] Kadambi A, Taamazyan V, Shi B, Raskar R. Polarized 3D: High-quality depth sensing with polarization cues. In Book: Proceedings of the IEEE International Conference on Computer Vision 2015: 3370-3378. DOI: 10.1109/ICCV.2015.385.
[3] Miyazaki D, Tan RT, Hara K, Ikeuchi K. Polarization-based inverse rendering from a single view. In Book: Proceedings of the Ninth IEEE International Conference on Computer Vision 2003: 982-987. DOI: 10.1109/ICCV.2003.1238455.
[4] Tan RT, Ikeuchi K. Separating reflection components of textured surfaces using a single image. IEEE Trans Pattern
Anal Mach Intell 2005; 27(2): 178-193. DOI: 10.1109/TPAMI.2005.36.
[5] Morel O, Meriaudeau F, Stolz C, Gorria P. Polarization imaging applied to 3D reconstruction of specular metallic surfaces. Proc SPIE 2005; 5679: 187-186. DOI: 10.1117/12.586815.
[6] Saito M, Sato Y, Ikeuchi K, Kashiwagi H. Measurement of surface orientations of transparent objects using polarization in highlight. Systems and Computers in Japan 2001; 32(5): 64-71. DOI: 10.1002/scj.1027.
[7] Miyazaki D, Kagesawa M, Ikeuchi K. Transparent surface modeling from a pair of polarization images. IEEE Transactions on Pattern Analysis and Machine Intelligence 2004; 26(1): 73-82. DOI: 10.1109/TPAMI.2004.1261080.
[8] Miyazaki D, Shigetomi T, Baba M, Furukawa R, Hiura S, Asada N. Polarization-based surface normal estimation of black specular objects from multiple viewpoints. 2012
Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission 2012: 104111. DOI: 10.1109/3DIMPVT.2012.14.
[9] Zappa CJ, Banner ML, Schultz H, Corrada-Emmanuel A, Wolff LB, Yalcin J. Retrieval of short ocean wave slope using polarimetric imaging. Measurement Science and Technology 2008; 19(5): 055503. DOI: 10.1088/09570233/19/5/055503.
[10] Nishino K, Zhang Z, Ikeuchi K. Determining reflectance parameters and illumination distribution from a sparse set of images for view-dependent image synthesis. In Book: Proc Eighth IEEE International Conference on Computer Vision (ICCV 2001) 2001; 1: 599-606. DOI: 10.1109/ICCV.2001.937573.
[11] Lin, S., Shum, H.Y.: Separation of diffuse and specular reflection in color images. In: Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001) 2001; 1: I-341-I-346. DOI: 10.1109/CVPR.2001.990495.
[12] Lin S, Li Y, Kang SB, Tong X, Shum HY. Diffuse-specular separation and depth recovery from image sequences. ECCV '02 Proceedings of the 7th European Conference on Computer Vision 2002; III: 210-224. DOI: 10.1007/3-540-47977-5_14.
[13] Tan RT, Nishino K, Ikeuchi K. Separating reflection components based on chromaticity and noise analysis. IEEE Trans Pattern Anal Mach Intell 2004; 26(10): 1373-1379. DOI: 10.1109/TPAMI.2004.90.
[14] Ma WC, Hawkins T, Peers P, Chabert CF, Weiss M, De-bevec P. Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination. EGSR'07 Proceedings of the 18th Eurographics conference on Rendering Techniques 2007: 183-194. DOI: 10.2312/EGWR/EGSR07/183-194.
[15] Ghosh A, Fyffe G, Tunwattanapong B, Busch J, Yu X, Debevec P. Multiview face capture using polarized spherical gradient illumination. ACM Transactions on Graphics 2011; 30(6): 129. DOI: 10.1145/2070781.2024163.
[16] Nayar SK, Fang XS, Boult T. Separation of reflection components using color and polarization. International Journal of Computer Vision 1997; 21(3): 163-186. DOI: 10.1023/A:1007937815113.
[17] Zickler T, Ramamoorthi R, Enrique S, Belhumeur PN. Reflectance sharing: Predicting appearance from a sparse set of images of a known shape. IEEE Trans Pattern Anal Mach Intell 2006; 28(8): 1287-1302. DOI: 10.1109/TPAMI.2006.170.
[18] Guarnera GC, Peers P, Debevec P, Ghosh A. Estimating surface normal from spherical stokes reflectance fields.
ECCV'12 Proceedings of the 12th international conference on Computer Vision 2012; 2: 340-349. DOI: 10.1007/978-3-642-33868-7_34.
[19] Schechner YY, Narasimhan SG, Nayar SK. Instant dehaz-ing of images using polarization. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001) 2001; 1: I-325-I-332. DOI: 10.1109/CVPR.2001.990493.
[20] Cula OG, Dana KJ, Pai DK, Wang D. Polarization multiplexing and demultiplexing for appearance-based modeling. IEEE Trans Pattern Anal Mach Intell 2007; 29(2): 362-367. DOI: 10.1109/TPAMI.2007.39.
[21] Schechner YY, Nayar SK. Generalized mosaicing: Polarization panorama. IEEE Trans Pattern Anal Mach Intell 2005; 27(4): 631-636. DOI: 10.1109/TPAMI.2005.79.
[22] Treibitz T, Schechner YY. Active polarization descatter-ing. IEEE Trans Pattern Anal Mach Intell 2009; 31(3): 385-399. DOI: 10.1109/TPAMI.2008.85.
[23] Lanman D, Wetzstein G, Hirsch M, Heidrich W, Raskar R. Polarization fields: Dynamic light field display using multi-layer LCDs. ACM Transactions on Graphics 2011; 30(6): 186. DOI: 10.1145/2070781.2024220.
[24] Schechner YY. Self-calibrating imaging polarimetry. IEEE International Conference on Computational Photography (ICCP) 2015. DOI: 10.1109/ICCPHOT.2015.7168374.
[25] Wolff LB, Boult TE. Constraining object features using a polarization reflectance model. IEEE Trans Pattern Anal Mach Intell 1991; 13(7): 635-657. DOI: 10.1109/34.85655.
[26] Rahmann S, Canterakis N. Reconstruction of specular surfaces using polarization imaging. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001) 2001; 1: I-149-I-155. DOI: 10.1109/CVPR.2001.990468.
[27] Hecht E. Optics. 4th ed. San Francisco: Addison-Wesley; 2002. ISBN: 978-0-8053-8566-3.
[28] Jakob W. Mitsuba renderer. Source: (http://www.mitsuba-renderer.org).
[29] Izadi S, Kim D, Hilliges O, Molyneaux D, Newcombe R, Kohli P, Shotton J, Hodges S, Freeman D, Davison A, Fitzgibbon A. Kinectfusion: Real-time 3D reconstruction and interaction using a moving depth camera. UIST '11 Proceedings of the 24th annual ACM symposium on User interface software and technology 2011: 559-568. DOI: 10.1145/2047196.2047270.
[30] Wetzstein G, Raskar R, Heidrich W. Hand-held schlieren photography with light field probes. 2011 IEEE International Conference on Computational Photography (ICCP) 2011. DOI: 10.1109/ICCPHOT.2011.5753123.
Author's information
Taamazyan Vage Aramaisovich, (b. 1991), graduated from Moscow Institute of Physics and Technology and Skolkovo Institute of Science and Technology in 2015. Entered Moscow Institute of Phyics and Technology PhD program in 2015. Vage's scientific interests include 3D scanning, polarization based 3D scanning, computational imaging and computer vision. E-mail: vaheta@smail.com .
Received February 25, 2018. The final version - October 1, 2018.
