CC BY
30
ОПТИЧЕСКИЕ И ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ И СИСТЕМЫ
УДК 612.8
DOI: 10.17586/0021-3454-2015-58-10-816-822
ИСПОЛЬЗОВАНИЕ НЕРАВНОМЕРНОЙ ШКАЛЫ КВАНТОВАНИЯ ИНТЕНСИВНОСТИ СВЕТА ДЛЯ ВЫЧИСЛЕНИЯ ГРАДИЕНТА ПОВЕРХНОСТИ ФОТОМЕТРИЧЕСКИМ МЕТОДОМ ТРЕХМЕРНОГО
СКАНИРОВАНИЯ
В. А. Кузнецов
Санкт-Петербургский государственный университет аэрокосмического приборостроения,
190000, Санкт-Петербург, Россия E-mail: [email protected]
Представлен метод, позволяющий снизить погрешность вычисления градиента поверхности независимо от используемой модели отражения света и тем самым расширить спектр сканируемых поверхностей. Уменьшение погрешности достигается за счет увеличения числа снимков объекта, процесс получения снимков аналогичен получению HDR-изображений. Эффективность и оптимальные параметры предлагаемого метода оценены для двух наборов тестовых объектов путем компьютерного моделирования процесса сканирования. В работе использованы аналитическая модель отражения и конфигурация из пяти источников света.
Ключевые слова: трехмерное сканирование, фотометрия, ошибка вычисления ориентации поверхности, HDR-изображения.
Введение. Фотометрический метод трехмерного сканирования, использующий модель отражения света поверхностью, часто применяется при обработке объектов средних размеров (до 3 м). Каждая технология имеет ряд преимуществ и недостатков, определяющих область их применения. Одной из важных характеристик, учитываемых при выборе технологии, является точность получаемой модели. Однако большинство технологий зависит от особенностей обрабатываемой поверхности и условий сканирования, в частности, на качество сканирования фотометрическим методом влияют отражательные свойства поверхности и взаимное расположение частей объекта. Для повышения качества получаемых моделей и расширения спектра обрабатываемых поверхностей необходимо снижать погрешности вычисления градиента в слабоосвещенных областях. В настоящей работе снижение погрешности достигается за счет использования дополнительных снимков объекта.
Метод вычисления градиента поверхности. Создание трехмерной модели проходит в несколько основных этапов: получение исходных снимков объекта Io, Ii, ... In, вычисление градиента поверхности в каждой точке изображения, интегрирование градиента (получение облака точек).
Методы сканирования [1—15] базируются на использовании зависимости яркости пиксела изображения In от ориентации и отражательных свойств поверхности, в то время как остальные факторы — направление и интенсивность Епад падающего на поверхность света —
могут считаться известными и неизменными для любой сканируемой поверхности. Число источников света должно быть равно или больше числа неизвестных параметров поверхности. Набор А снимков сферы при ^=30° представлен на рис. 1
1о 11 11 12 12
Рис. 1
В работе используется конфигурация системы сканирования [5, 16], включающая пять источников света Ь0, Ь1, ¿11, Ь2, Ь2 (рис. 2). Пять изображений позволяют вычислить градиент практически каждой видимой точки объекта.
¿2
Рис. 2
Ориентация поверхности может быть представлена как в виде градиента р, ц [1, 2, 9, 16], так и при помощи углов ДN, ФN , определяющих положение нормали к поверхности [5, 16]. Для того чтобы определить ориентацию поверхности, необходимо использовать модель отражения света — аналитическую [4—9] или эмпирическую [1—3].
Предлагаемый в настоящей работе метод уменьшения погрешности может быть использован для любой модели отражения света поверхностью, на основании которой происходят вычисления. Значения ошибки и другие величины приводятся для диффузно отражающих поверхностей и вычислены с использованием аналитической модели.
Ошибка вычисления градиента поверхности. Основным недостатком метода трехмерного сканирования является неравномерное распределение ошибки вычисления градиента поверхности. Это обусловлено тем, что интенсивность отраженного света зависит от угла 0 между нормалью к поверхности и направления падающего света. Например, для диффузно отражающей поверхности
Еотр = Епадк cos 0 .
где к — коэффициент отражения.
Следовательно, отношение сигнал/шум на изображениях для слабоосвещенных участков поверхности будет меньше, ошибка вычисления градиента поверхности возрастет [1, 5, 9].
Если даже ошибка, обусловленная квантованием изображений тр, не превышает в среднем 0,5° (0,01 рх/отсчет), то при получении координат точек ошибка может быть недопустимо высокой — 7 рх/отсчет, так как координаты точек вычисляются из градиентов поверхности путем интегрирования.
Для того чтобы уменьшить влияние погрешности на результат интегрирования, автором разработан локальный алгоритм интегрирования, использующий максимально возможную
величину ошибки для определения порядка интегрирования [16], с той же целью в глобальном алгоритме [17] используется вес градиента. Также влияние погрешности при определении координат точек может быть снижено за счет использования свойства интегрируемости [18].
При разнообразии подходов [16—18] к снижению чувствительности алгоритмов интегрирования к шуму качество полученной модели зависит от распределения ошибки вычисления приращений.
Для того чтобы ошибка, обусловленная квантованием, была распределена равномерно, необходимо, в зависимости от ориентации поверхности, использовать различную ширину кванта Ж (рис. 3).
Рис. 3
Такой подход может быть реализован за счет вычисления приращений только для предельно ярких точек изображения при постепенном увеличении интенсивности падающего света или выдержки фотокамеры. С ростом числа снимков распределение ошибки (в том числе и обусловленной наличием флуктуационного шума в изображениях) будет приближаться к равномерному. При использовании фотокамеры требуется очень большое количество изображений, причем на каждом снимке рассматриваются только некоторые пикселы. Для снижения вычислительной сложности можно ограничить число используемых снимков, при этом увеличивается диапазон яркости обрабатываемых пикселов.
Получение снимков объекта. Методика получения снимков, позволяющих вычислять приращения для слабоосвещенных участков поверхности с меньшей шириной кванта, по сути схожа с методикой получения НОЯ-снимков. Основное отличие состоит в том, что для НОЯ-изображения, полученного из нескольких изображений при разной выдержке, число квантов остается постоянным.
Набор снимков, использующийся для вычисления фрагмента в классическом варианте фотометрического метода [1—9], пример которого представлен на рис. 1, обозначим как А. Набор снимков, полученных при интенсивности падающего света Е пад//пор, обозначим как Б. В каждой точке осуществляется проверка для снимка из набора А: /(х,у)>/пор , и если условие выполняется, для вычисления р, ц будет использован снимок из набора А, в противном случае — из Б.
Для набора А максимальный уровень яркости соответствует Епад, тогда максимальный уровень яркости изображения из набора Б соответствует /пор изображения из А, при этом Ж= /пор/255, а число квантов, используемых для квантования интенсивности света, составит 2-256 - /пор.
С меньшей шириной кванта изображения 1о будут производиться вычисления для области объекта, где
1 /пор ■ , <-— .
ф + р 2^1 + Ц2 Епадк
Так как тот же уровень яркости на изображении II соответствует другой области объекта, с меньшей шириной кванта изображения II будут производиться вычисления для области, где
соб £ + | р| Бт £
7
I
1 + р + ч2
пор
Т к
пад
На рис. 4 представлено распределение ошибки вычисления приращенияр при ч=2,56 рх и 4=15° (сплошная кривая — неравномерная, пунктир — равномерная шкала квантования). При получении двух наборов снимков использовалось значение 1пор=68 у. е. Снижение ошибки произойдет при р = 1 рх за счет уменьшения ширины кванта изображения 1о, и при р « 1,62 рх за счет уменьшения ширины кванта изображения 11. т, рх
0,2 0,1 0 -0,1 -0,2
1 1 1
...............1.............. 1
|Л 1 гг" П"
1 : ;! ! .. 1
! ......п Г Л щ ММ И ' . :
.а ■ г ! ..... ■' 1 ¿мМ И] !
г 1 р - ¡1 Щ :; г ; *
: Г Ц| 1 ' 1
I
0,5
1,5
3,5
4,5 р, рх
2 2,5 3 Рис. 4
При большом диапазоне значений ошибки эффективность использования оценки максимального уровня ошибки снижается [16]. Для сокращения диапазона необходимо увеличение количества наборов снимков, при этом снижение уровня ошибки будет происходить только на участках р < 1,62 рх, где она и так достаточно мала, или где ошибка уже уменьшена за счет использования набора Б. Проанализировав экспериментальные данные, можно сделать вывод, что основное снижение ошибки дает использование двух наборов изображений.
Для сферы при 4=30° и использовании двух наборов снимков уменьшение ошибки составляет 33 %, при тех же параметрах освещения и трех наборах снимков — 43 %. Такой результат достигается при оптимальном значении 1пор =105 у.е. для двух наборов и /1=167,
1пор2 =72 — для трех наборов снимков.
Оптимальное значение пороговой яркости. Рассмотрим особенности применения метода с двумя наборами снимков объекта. В качестве тестового объекта используется сфера (см. рис. 1). На рис. 5 представлена зависимость среднего значения ошибки тср от значения 1пор (1 — 4=30, 2 — 60°) при 1пор=0 значение тср соответствует среднему значению ошибки вычисления ориентации поверхности при равномерной шкале квантования, т.е. без ис-
т
рав
пользования набора изображений Б. Применение наборов А и Б соответствует использованию неравномерной шкалы квантования, средняя ошибка вычисления градиента тнер в этом случае ниже при любых значениях 4 (см. таблицу).
4, 10 15 20 25 30 35 40 45 50 55 60
трав, рх 0,0167 0,0119 0,0095 0,0081 0,0072 0,0066 0,0061 0,0058 0,0055 0,0052 0,0050
тнер, рх 0,0122 0,0085 0,0067 0,0056 0,0048 0,0043 0,0040 0,0037 0,0035 0,0033 0,0031
Лпор , у-е- 125 119 115 109 105 102 101 100 99 97 96
Лр у-е- 157 156 154 152 149 147 144 141 137 134 130
т ср-10 , рх
1 1
1
______________
/
\ ; 2 ..............
4
-- -4.....
40
80
120 Рис. 5
160
200
, У-е-
Из рис. 5 видно, что при увеличении оптимальное значение /пОр , соответствующее минимальной средней ошибке, уменьшается. На рис. 6 показано, что при увеличении угла уменьшается средняя яркость изображений (1 — /ср, 2 — /пор ).
/пор, /ср, у-е-210 180 150 120 90 60 30 0
1
10
15 20
25
40 45 50 55
30 35 Рис. 6
Значение /ср вычисляется как среднее арифметическое яркостей 10, 11, 111, 12, 121 всех точек, видимых на снимке 10. Важно отметить, что для вычисления приращений р и q оптимальные значения /пор могут различаться, так как значение р вычисляется на основании
снимков 10, 11, 111 в то время как q — на основании снимков 10, 12, 121; /пор//ср =0,73 ± 0,04 . Для тестовой фигуры, полученной путем вращения овала Кассини, /пор//ср = 0,76 (96/126) при ^=35° и 0,72 (90/125) — при ^=65°. Средняя ошибка снизилась на 41 и 44 % соответственно; для сферы в зависимости от уменьшение средней ошибки составило 27—38 %.
Эффективность использования предложенного метода зависит от дисперсии значений приращений, которая, в свою очередь, определяет и среднюю яркость изображения. Помимо того, к уменьшению средней яркости приводит увеличение угла Таким образом, значение /ср определяет эффективность использования неравномерной шкалы квантования.
К ошибкам определения /пор на основании среднего значения яркости всех снимков приводит наличие затенений. Если на снимке 11 точка (х, у) затенена, а на смежном ему снимке 111 — освещена, тогда г1(х, у) может быть вычислено как
11 = 2сс^-10 -11.
Существует также возможность не учитывать затененные на изображениях 11, 11 , 12, 12 точки фигуры. Уменьшение средней ошибки для сферы в этом случае составило 22—26 %. Важно, что увеличение приводит также к уменьшению видимой области, вследствие чего
7
4
3
0
значение /пор растет, а эффективность метода уменьшается. При малом значении 4 =20° отношение /пор//ср = 0,91 (142/155).
Заключение. Использование двух наборов снимков увеличивает отношение сигнал/шум не только при наличии шума квантования, но и при наличии флуктуационного шума, так как его зависимость от ориентации поверхности имеет аналогичный характер. Метод тем эффективнее, чем больше угол 4 и дисперсия значений приращений, соответственно, чем меньше /ср.
При использовании предложенного метода необходимое количество снимков возрастает в два раза. Например, если в качестве осветителя применяется импульсная вспышка (газоразрядная лампа), то время ее перезарядки составляет 2,6 с. Для получения пяти снимков приблизительно потребуется 15 с, время для получения снимков всего объекта составляет 540 с. Время обработки объекта возрастает до 1080 с, не ограничивая область применения метода сканирования.
СПИСОК ЛИТЕРАТУРЫ
1. Woodham R. J. Photometric Method for determining surface orientation from multiple images // Optical Engineering. 1980. Vol. 19, N 1. P. 139—144.
2. Woodham R. J. Gradient and curvature from the photometric-stereo method, including local confidence estimation // J. Optical Society of America. 1994. Vol. 11, N 11. P. 3050—3068.
3. Hertzmann A., Seitz S. M. Example-based photometric stereo: shape reconstruction with general varying BDRFs // IEEE Transact. on Pattern Analysis and Machine Intelligence. 2005. Vol. 27, N 8. P. 1254—1264.
4. Красильников Н. Н. Цифровая обработка 2D- и 3D-изображений. СПб: БХВ-Петербург, 2011. 608 с.
5. Красильников Н. Н., Красильникова О. И. Исследование погрешностей определения координаты глубины при 3D-сканировании методом, основанным на диффузном отражении света // Информационно-управляющие системы. 2012. № 3. С. 2—8.
6. Красильников Н. Н., Красильникова О. И. Получение трехмерного изображения объекта путем измерения интенсивности диффузного отражения света различными точками его поверхности // Оптический журнал. 2010. Т. 77, № 6. С. 366—369.
7. Красильников Н. Н. Метод получения 3D изображений, основанный на диффузном отражении света сканируемыми объектами // Информационно-управляющие системы. 2009. № 6. С. 7—11.
8. Solomon F., Ikeuchi K. Extracting the shape and roughness of specular lobe objects using four light photometric stereo // IEEE Transact. on Pattern Analysis and Machine Intelligence. 1996. Vol. 18, N 4. P. 449—454.
9. Barsky S., Petrou M. The 4-source photometric stereo technique for three-dimensional surfaces in the presence of highlights and shadows // IEEE Transact. on Pattern Analysis and Machine Intelligence. 2003. Vol. 25, N 10. P. 1239—1252.
10. Яне Б. Цифровая обработка изображений / Пер. с англ. А. М. Измайловой. М.: Техносфера, 2007. 583 с.
11. Basri R., Jacobs D., Kemelmacher I. Photometric stereo with general, unknown lighting // Intern. J. of Computer Vision. 2007. Vol. 72, N 3. P. 239—257.
12. Lee K. M., Kuo C.-C. J. Surface reconstruction from photometric stereo images // J. of Optical Society of America. 1993. Vol. 10, N 5. P. 855—868.
13. Hernandez C., Vogiatzis G., Cipolla R. Multiview photometric stereo // IEEE Transact. on Pattern Analysis and Machine Intelligence. 2008. Vol. 30, N 3. P. 548—554.
14. Sato H., Nayar S., Ikeuchi K. Extracting shape and reflectance of glossy surfaces by using 3D photometric sampling method // IAPR Workshop on Machine Vision Applications. 28—30 November, 1990. P. 133—136.
15. Changsuk C., Haruyuki M. Obtaining 3-D shape from silhouette informations interpolated by photometric stereo // IAPR Workshop on Machine Vision Applications. 13—15 December, 1994. P. 147—150.
16. Кузнецов В. А. Прогнозирование ошибки вычисления ориентации поверхности, обусловленной квантованием, для метода трехмерного сканирования, основанного на диффузном отражении света // Научная сессия ГУАП: сб. докл. Ч. 1. Технические науки. СПб: ГУАП, 2013. С. 89—91.
17. Saracchini R., Stolfi J., Leitao H., Atkinson G., Smith V. Robust multi-scale integration method to obtain the depth from gradient maps // Computer Vision and Image Understanding. 2012. Vol. 116. P. 882—895.
18. Frankot R. T., Chellappa R. A method for enforcing integrability in shape from shading algorithms // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1988. Vol. 10. P. 439—451.
Сведения об авторе
Виталий Александрович Кузнецов — аспирант; Санкт-Петербургский государственный университет аэрокосмического приборостроения, кафедра информационно-сетевых технологий; E-mail: [email protected]
Рекомендована кафедрой Поступила в редакцию
информационно-сетевых технологий 27.06.15 г.
Ссылка для цитирования: Кузнецов В. А. Использование неравномерной шкалы квантования интенсивности света для вычисления градиента поверхности фотометрическим методом трехмерного сканирования // Изв. вузов. Приборостроение. 2015. Т. 58, № 10. С. 816—822.
NON-UNIFORM QUANTIZATION SCALE FOR SURFACE GRADIENT CALCULATION WITH PHOTOMETRY METHOD OF THREE-DIMENSIONAL SCANNING
V. A. Kuznetsov
Saint-Petersburg State University of Aerospace Instrumentation, 190000, St. Petersburg, Russia E-mail: [email protected]
A method reducing errors in surface gradient calculation is presented. The method is independent of employed model of light reflection and therefore extends the spectrum of scanning surfaces. The error reduction is due to increase in number of images obtained with the technique similar to the HDR imaging. Effectiveness and optimal parameters of the proposed method are evaluated for two test objects with the use of computer modeling of the scanning process. An analytical model for reflection and five light source configuration are used.
Keywords: 3D scanning, photometric stereo, surface orientation calculation error, HDR imaging.
Data on author
Vitaliy A. Kuznetsov — Post-Graduate Student; Saint-Petersburg State University of Aerospace
Instrumentation, Department of Information and Network Technologies; E-mail: [email protected]
For citation: Kuznetsov V. A. Non-uniform quantization scale for surface gradient calculation with photometry method of three-dimensional scanning // Izvestiya Vysshikh Uchebnykh Zavedeniy. Pri-borostroenie. 2015. Vol. 58, N 10. P. 816—822 (in Russian).
DOI: 10.17586/0021-3454-2015-58-10-816-822
