CC BY
10
Автоматическая калибровка нелинейности интенсивности в
проекционных системах
В.И. Гужов, И.О. Марченко, Д.С. Хайдуков, Е.Е. Серебрякова Новосибирский государственный технический университет
Аннотация: В статье рассматривается метод автоматического устранения нелинейности при регистрации интенсивности в проекционных системах. Ошибки при регистрации интенсивности влияют на точность фазовых измерительных систем, основанных на структурированном освещении объектов. Аппаратные средства гамма-коррекции не могут полностью устранить подобные искажения, поскольку вид обратной зависимости может быть более сложной функцией. Метод основан на проекции идеального клина и автоматической определения необходимых для регистрации уровней интенсивности. Ключевые слова: оптические измерительные системы, структурированное освещение, определение профиля, интенсивность, нелинейные искажения, цифровая обработка изображений.
В фазовых методах структурированного освещения используется проекция синусоидальной картины на объект. Эти методы широко используются для высокоточного измерения профиля объектов и неразрушающего контроля конструкций [1,2].
Для проекции модельных картин используются проекторы и цифровые фотокамеры для регистрации [3-8].
Человек более чувствителен к малейшим изменениям тёмных оттенков и менее чувствителен к достаточно большим изменениям в ярких тонах. Когда проецируется и регистрируется цифровое изображение, оно подвергается искажениям, для того чтобы удвоение значения интенсивности ближе соответствовало тому, что мы воспринимаем как удвоение яркости. Этот тип искажений называют гамма искажениями. Гамма искажения вносятся специально для того, чтобы светопередача соответствовала человеческому восприятию. Однако для измерительных систем необходимо искажения интенсивности устранить. Цель гамма-коррекции -откорректировать входные уровни яркости таким образом, чтобы камера воспринимала эти уровни линейно [9-11].
Для коррекции искажений интенсивности и в проекторе, и в камере обычно существуют аппаратные средства. Однако подобрать обратную функцию, соответствующую сумме искажений проектора и камеры, достаточно сложно. Кроме того, эта функция существенно зависит от характеристик отражающей поверхности и может быть более сложной чем обратная от степенной функции, описывающей гамма искажения.
Целью этой статьи является описание простого метода калибровки, который позволяет значительно снизить искажения интенсивности при использовании в проекционных методах.
Принцип гамма-коррекции
В качестве передаточной функции при нелинейных искажениях чаще всего используется степенная функция в виде
4* (Х У) = а •уУ , (1)
где I(х, у) - интенсивность по полю, У - уровень гамма искажений. При равенстве У единице характеристика передачи полутонов линейна.
Кроме гамма искажений, которые описываются выражением (1), могут возникать и другие типы искажений, связанные с неравномерностью освещения, неравномерностью отражения от исследуемой поверхности и т.п., которые могут иметь более сложный вид.
Современные проекторы имеют как минимум 256 уровней (8 бит) для передачи уровней освещенности. Использование предварительной гамма-коррекции при проекции позволяет достичь при 8 битах такого же разрешения, как и при 11 уровнях, как и при 8 уровнях при линейном кодировании.
На рис.1 показаны зарегистрированные картины интенсивности при проекции равномерного клина и при проекции клина с гамма-коррекцией.
Проекция равномерного клина
Картина интенсивностей при линейном кодировании
Картина интенсивностей с гамма-коррекций
Рис. 1. - Предварительная коррекция гамма-искажений
Принцип гамма-коррекции показан на рис.2. Если проектировать равномерный клин, то в результате искажений при проекции и регистрации можно зарегистрировать график интенсивности 1ге§. Для получения
равномерной характеристики Ь исходный сигнал необходимо исказить по закону, показанному на графике а.
'гев
а
Рис. 2. - Принцип гамма-коррекции
Нам необходимо подобрать обратную зависимость (график а на рис.2) для того, чтобы скорректировать проецируемое изображение так, чтобы интенсивность при вводе изображений была линейной.
Уровень нелинейных искажений может быть оценен способом, основанном на проекции идеального клина с возрастанием и убыванием интенсивности (рис. 3). Если сложить эти картины, то при правильной регистрации интенсивности получится прямая. Если же при проекции или регистрации возникают искажения, то отклонение суммы прямого и обратного клина от прямой будет сигнализировать о наличии нелинейных искажений.
Рис. 3. - Сумма прямого и обратного клина с искажениями интенсивности с
коэффициентом у = 2
Для небольшого числа градаций можно подобрать эти значения обратного закона (рис. 2 а) вручную. Но для большого числа градаций желательно сделать эту процедуру автоматической.
Калибровка проектора и камеры для устранения нелинейных
искажений
Для проекции изображения использовался проектор VPL-VW260ES с максимальным пространственным разрешением 4096х2160 пикселя. Для ввода использовалась фотокамера Canon EOS M50 с CMOS матрицей с разрешением 6000 x 4000 пикселей и с объективом EFS 18-200 мм.
Для автоматической калибровки будем использовать клин с 16 градациями яркости. Использование небольшого числа градаций (16 вместо 256) определяется шумами при отражении от диффузной поверхности объекта.
Если поверхность белого цвета, то при проекции нулевой интенсивности при отражении всегда будет фиксироваться некоторое значение отличное от нуля. В данном эксперименте при отсутствии освещения фиксируется значение интенсивности равное 16.
Идеальные значения для 16 градаций (рис.4):
{16, 32, 48, 64, 80, 96, 112, 128, 144, 160, 174, 190, 206, 222, 238, 255 };
I < I I I I fililí I - I I I I I - I I I I—I I I I I—I—Mil I—lili I lili I I I I I . I Mill I I I I . I—II II . I—I I II < I I I I I . I
у = 32
Рис. 4. - Идеальный клин, который необходимо получить на выходе
При проекции изображения клина возникают кроме искажений интенсивности также и геометрические искажения. Поэтому необходимо
определить начало и конец клина и выделить из изображения значимую часть. Для этого в клин добавляются белая и черная полосы в начале кадра. Необходимо для каждой ступени проецированного клина найти желаемое значение интенсивности, при освещении которым получим в результате регистрации значении соответствующее идеальному значению. Например: для второй ступени необходимо получить на выходе интенсивность со значением 32 (рис.4). Для этого проецируем на поверхность идеальный клин со значениями интенсивности от 0 до 255. На графике соответствующем идеальному клину получим исходное значение интенсивности равное 32 (рис.5). Это значение соответствует координате на введенном изображении клина равном 177.
1.11
к - 177 ¥ = 32
Рис. 5. - Значение для второй ступени на графике интенсивности при проекции равномерного клина от 0 до 255 уровней
Теперь необходимо найти соответствие введенного значения тому, которое мы проецировали. Для этого формируем идеальный клин с размерами, соответствующими введенному клину (рис.7). Координате равной 177 соответствует значение интенсивности равное 50 (рис.6).
Рис. 6. - Идеальный клин для нахождения искомых точек
Таким образом, можно определить все ступени обратного клина (рис.7).
{16, 50, 58, 65, 72, 78, 85, 94, 100, 108, 118, 132, 149, 168, 192, 255};
Рис. 7. - Обратный клин для коррекции нелинейности освещения
Если спроецировать такой клин и зарегистрировать его с помощью фотокамеры получим клин близкий к идеальному.
Билинейная аппроксимация клина
Для аппроксимации клина с 16 градациями интенсивности в клин, который имеет 256 градаций был разработан следующий простой алгоритм.
Для перевода клина с 16 градациями каждая ступенька разбивается на две. Первая часть ступени остается такой же, а вторая получает значение среднее между этой ступенью и следующей. Эта процедура может быть описана на Си подобном языке следующим образом:
double[] MasX2(double[] am) {
int nx = am.Length;
int nx2 = nx * 2;
double[] am2 = new double[nx2];
for (int i = 0; i < nx2-1; i++) {
if (i % 2 == 0) am2[i] = am[i/2];
if (i % 2 != 0) am2[i] = (am[i/2] + am[i / 2 + 1])/2;
}
return am2;
}
К сожалению, в результате становится на одну точку меньше, чем надо. Например, при увеличении из 16 ступенек становится 31. Это видно из таблицы №1.
Таблица №1
Разбиение 16 ступенек на две
1 2 3 15 16
1 1.5 2 2.5 3 3.5 15 15.5 16
1 2 3 4 5 6 29 30 31 32
Последняя 32 ступенька не определена или может повторять предыдущую (рис.8). В результате мы получим последовательность ступенек короче на пх/32, где пх - длина проецируемого массива.
Рис. 8. - Разбиение 16 ступенек на две
Для получения правильного клина необходимо расширить массив на их/32. При следующем делении на два необходимо расширить на пх/32+пх/64. При делении на 256 необходимо расширить клин на пх/32+пх/64+пх/128+пх/256 пикселей. В результате мы получим 241 ступень при диапазоне сигнала от 0 до 255 (рис.9).
Рис. 9. - Билинейная аппроксимация 16 ступенек
Учитывая погрешности при отражении от диффузной поверхности объекта такая погрешность аппроксимации будет несущественной.
Если обратный клин с 16 градациями аппроксимировать на 255 значений получим (рис.10)
Рис. 10. - Обратный клин для коррекции нелинейности с градациями
интенсивности от 0 до 255
Если его спроектировать на поверхность, после регистрации получим характеристику близкую к равномерной (рис.11).
Рис. 11- График интенсивности при проекции равномерного клина от 0 до 255 уровней после устранения нелинейности
Результаты суммирования прямого и обратного клина до устранения нелинейности и после показаны на рис.12. Из графиков видно, что нелинейность при передаче интенсивности практически отсутствует.
Рис. 12. - Сумма прямого и обратного клина до (сверху) и после (снизу)
коррекции
В трактах передачи цветного изображения гамма-коррекция осуществляется в каждом из трех каналов основных цветов. Предварительную гамму коррекцию с помощью обратного клина необходимо проводить программно при формировании картины освещения.
Выводы
В статье рассмотрен метод автоматического устранения нелинейности при регистрации интенсивности в проекционных системах. Метод основан на проекции идеального клина из 16 градаций интенсивности и автоматической определения необходимых для регистрации уровней интенсивности. Для построения таблицы перевода уровней интенсивности из 16 до 256 уровней предлагается использовать метод билинейной аппроксимации.
Автоматическая коррекция позволяет значительно снизить уровень нелинейности сигналов, что позволяет повысить точность измерения профиля объектов и исследования напряженно-деформированного состояния объектов фазовыми методами структурированного освещения.
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований «Разработка и исследование методов компьютерной голографической интерферометрии объектов сложной формы» (Грант № 18-08-00580) и Министерством Образования и Науки РФ (гос. задание № 8.12007.2018/11.12).
Литература
1. Гужов В.И., Плешкевич А.А., Поздняков Г.А., Сажин И.А. Исследование напряженно-деформированного состояния объектов методом структурированного освещения // Автоматика и программная инженерия. НГТУ. Новосибирск. 2017. № 3 (21). С. 77-85.
2. Веремеенко А.А., Венези Н.Л., Лобанов И.В. Обзор современных методов неразрушающего контроля строительных конструкций // Инженерный вестник Дона, 2018, № 2. URL: ivdon.ru/ru/magazine/archive/N2y2018/4918.
3. Padilla M., Servin M., Garnica G. Profilometry with digital fringe-projection at the spatial and temporal Nyquist frequencies // Optics Express, Vol. 25, No. 19, 2017, pp. 22292 - 22302.
4. Silva A., Flores J.L., Gaston A.M., Ayubi A., Ferrari J.A. Three-dimensional shape profiling by out-of-focus projection of colored pulse width modulation fringe patterns // Applied Optics. - Vol. 56. - No. 18. - 2017. - pp. 5198-5203.
5. Гужов В.И. Методы измерения 3D профиля объектов. Фазовые методы. Новосибирск: Изд-во НГТУ, 2016. 83с.
6. Гужов В.И., Ильиных С.П., Уберт А.И. Проекционный метод измерения рельефа // Научный вестник НГТУ, 2012, №1(46). С. 23-28.
7. Zhang S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques // Opt. Lasers Eng. 48, 2010, pp. 149-158.
8. Quan C., Chen W., and Tay C.J. Phase-retrieval techniques in fringe-projection profilometry // Opt. Lasers Eng. 48. - 2010, pp.235-243.
9. Hoang T., Pan B., Nguyen D., and Wang Z. Generic gamma correction for accuracy enhancement in fringe-projection profilometry // Opt. Lett. 35(12). -2010. - pp.1992-1994 (2010).
10. Zhang Z., A flexible new technique for camera calibration // IEEE Trans. Pattern Anal. Mach. Intell. 22(11). - 2000. - pp.1330-1334.
11. Zheng D., Da F. Gamma correction for two step phase shifting fringe projection profilometry // Optik (Stuttg.). - 124(13). - 2013. - pp.1392-1397.
References
1. Guzhov V.I., Pleshkevich A.A., Pozdnjakov G.A., Sazhin I.A. Automatics & Software Enginery. Novosibirsk. 2017. № 3 (21). pp. 77-85.
2. Veremeenko A.A., Venezi N.L., Lobanov I.V. Inzenernyj vestnik Dona (Rus), 2018, №2. URL: ivdon.ru/ru/magazine/archive/N2y2018/4918.
3. Padilla M., Servin M., Garnica G. Profilometry with digital fringe-projection at the spatial and temporal Nyquist frequencies. Optics Express, Vol. 25, No. 19, 2017,pp.22292 - 22302.
4. Silva A., Flores J.L., Gaston A.M., Ayubi A., Ferrari J.A. Three-dimensional shape profiling by out-of-focus projection of colored pulse width modulation fringe patterns. Applied Optics. - Vol. 56. - No. 18. - 2017. - pp. 5198-5203.
5. Guzhov V.I. Metody izmerenija 3D profilja ob'ektov. Fazovye metody [Methods for measuring the 3D profile of objects. Phase methods]. Novosibirsk: Izd-vo NGTU, 2016. 83p.
6. Guzhov V.I., Il'inyh S.P., Ubert A.I. Nauchnyj vestnik NGTU, 2012, №1(46). pp. 23-28.
7. Zhang S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques. Opt. Lasers Eng. 48. 2010. pp. 149-158.
8. Quan C., Chen W., and Tay C.J. Phase-retrieval techniques in fringe-projection profilometry. Opt. Lasers Eng. 48. 2010. pp.235-243.
9. Hoang T., Pan B., Nguyen D., and Wang Z. Generic gamma correction for accuracy enhancement in fringe-projection profilometry. Opt. Lett. 35(12). 2010. pp.1992-1994 (2010).
10. Zhang Z., A flexible new technique for camera calibration. IEEE Trans. Pattern Anal. Mach. Intell. 22(11). 2000. pp.1330-1334.
11. Zheng D., Da F. Gamma correction for two step phase shifting fringe projection profilometry. Optik (Stuttg.). 124(13). 2013. pp.1392-1397.
