CC BY
43
УДК 771.31.019:681.7.013:535.015
КАЛИБРОВКА ОПТИЧЕСКОЙ СИСТЕМЫ КОРРЕЛЯЦИОННЫМ МЕТОДОМ
А. В. Крайский, Т. В. Миронова
Описан простой способ определения и последующего исключения геометрических искажений, вносимых системой регистрации изображений, в том числе хроматической аберрации. Виртуальный калибровочный объект переносят на плоскую поверхность и фотографируют с помощью тестируемой оптической системы. Изображение сравнивают корреляционным методом с цифровым оригиналом, приведенным в соответствие с ракурсом снимка с помощью проективных преобразований.
Проблема калибровки съемочной аппаратуры и, в частности, компенсации дистор-сии вызывает широкий интерес. Она актуальна не только в фотограмметрии, но и в задачах, связанных с компьютерным зрением, а также с измерениями различного рода [1-3]. Цифровая регистрация информации и измерения на ее основе применяются также при исследовании потоков в газах и жидкостях [4-7]. Известно, что точность корреляционных измерений, основанных на измерении сдвигов частей изображения, составляет меньше десятой доли пикселя приемной матрицы [5]. Но такая точность недостижима при сравнении изображений, полученных при различных ориентациях камеры, так как геометрические дисторсионные искажения при регистрации составляют не десятые доли, а десятки пикселей, до трех - пяти процентов от размера приемной матрицы.
Основы теории калибровки цифровых камер были заложены еще в восьмидесятые годы [8, 9]. Среди отечественных исследователей вопросы, касающиеся калибровки цифровых камер, теории учета систематических искажений неметрических снимков в своих работах рассматривали Р.Н. Гельман [10], В.И. Юрченко [11] и другие.
В большинстве работ способ определения дисторсии основан на использовании калибровочного объекта, состоящего обычно из контрастных точек - узлов квадратной
сетки. Калибровочный объект фотографируется, и по соответствию координат точек изображения и объекта определяется величина дисторсии в узлах сетки. Затем определяются полиномиальные коэффициенты дисторсии (в большинстве случаев только радиальной). Ясно, что при таких объектах измерения проводятся не сплошь, по всему пространству кадра, а в небольшом по отношению к полному числу пикселей количестве точек, что приводит к необходимости какой-либо аппроксимации.
Довольно широкое распространение получил способ определения искажений снимков по степени кривизны линий, которые в природе прямые [8, 12].
Используется также метод компенсации дисторсии путем минимизации несоответствий положения точек объекта на разных изображениях [13].
Каждый из упомянутых способов предполагает использование какого-либо (в большинстве случаев полиномиального) приближения формы кривой дисторсии. В большинстве способов дисторсия полагается исключительно радиальной. Такие способы достаточны для исправления визуально заметной кривизны изображений, но для измерительных целей этого недостаточно. Для наиболее точной калибровки оптических систем используются прецизионные калибровочные стенды, требуется тонкая настройка положения калибруемой камеры. Затем следует достаточно сложный и долгий процесс обмера и расчетов. В НПП "Фотограмметрия", например, при налаженной поточной технологии процесс калибровки камеры занимает от двух дней до двух недель в зависимости от детальности исследования.
Цель данной работы - предложить простой способ определения геометрических искажений в оптической системе со сплошным полем искажений по кадру [14]. Нужно отметить, что в данном методе не требуется прецизионных измерений и не делается никаких априорных предположений о свойствах функции дисторсии. С помощью данного способа можно получить не только радиальную компоненту дисторсии, но и другие виды искажений, возможные в оптической системе (например, тангенциальную компоненту дисторсии, величину хроматической аберрации) для любой заданной точки кадра. Мы предлагаем использовать для калибровки специальным образом синтезированный калибровочный объект. Это двумерный массив чисел, содержащий информацию об интенсивности пикселей изображения, с функцией автокорреляции малого размера, напечатанный или представленный на плоскости каким-либо другим образом виде, напоминающий спекл-структуру. Это может быть, например, сетка со случайным бинарным заполнением ячеек. То есть синтезируют файл в любом графическом формате (например, BMP или JPEG, в последнем возникают незначительные шумы,
связанные со сжатием), содержащий изображение случайного распределения черных и белых точек. Затем этот графический файл отображают на плоскость в некотором масштабе, и полученную картину фотографируют тестируемой оптической системой (камерой). Параметры ориентирования оптической системы исключаются путем проективных преобразований, которые определяются из корреляционного соответствия выбранных реперных точек на фотографии и в исходном файле. Затем фотография объекта сравнивается корреляционным методом с содержимым исходного графического файла, приведенным в соответствие с ракурсом снимка с помощью проективных преобразований, которое назовем исходным неискаженным изображением. Для окрестности каждого пикселя приемной матрицы оптической системы (камеры) вычисляется значение смещения по двум перпендикулярным осям относительно идеального положения (соответствующего изображению камерой-обскурой). При этом никаких предположений о виде зависимости дисторсионной характеристики от координат не делается.
Полученную матрицу смещений можно использовать для коррекции изображений, получаемых при помощи данной оптической системы. Также при необходимости можно в явном виде определить параметры ориентирования камеры при съемке.
Для определения хроматической аберрации оптической системы производят сравнение цветовых каналов изображения. Полученную матрицу также можно использовать для коррекции изображений.
Искажения, вносимые печатающим устройством, пренебрежимо малы по сравнению с искажениями изображения при съемке (меньше в 30 - 50 раз).
Пусть Я(г) - известное бинарное распределение в плоскости объекта, а Р(Н(г)) преобразование исходного распределения, включающее в себя сдвиг, изменение масштаба, поворот и проективное преобразование. В случае отсутствия дисторсии (модель камеры-обскуры) это и будет распределение почернения в плоскости изображения.
Обозначим через О (г) матрицу смещений положений пикселей изображения в результате различного рода геометрических искажений (дисторсии, отклонения точки пересечения оптической оси с приемной матрицей от центра матрицы и т.д.). Тогда В(Р(Н(г))) - распределение в плоскости изображения с учетом искажений. Чтобы выделить матрицу смещений Б, мы сравниваем полученное в фотоаппарате изображение 0(Г^(И(г))) с исходным распределением, на которое наложено преобразование Р(Я(г)).
Первый шаг в осуществлении описываемого способа - это синтез калибровочного объекта. Общее число информационных элементов объекта и размер его при печати зависят от расстояния, с которого предполагается проводить съемку, и от фокусного
расстояния оптической системы. Практика показывает, что линейный размер изображения одного информационного элемента для оптимальной работы корреляционного метода должен быть не меньше трех пикселей приемной матрицы.
Рис. 1. (а) - плоскость изображения, (б) - плоскость объекта.
При съемке с некоторого расстояния под некоторым углом прямоугольный калибровочный объект виден не в виде прямоугольника, а в виде четырехугольника, все стороны которого, в общем случае, различны. Для определения характеристик искажений по всему полю зрения мы снимаем калибровочный объект так, чтобы его границы не попадали в кадр. На рис. 1 показана схема кадрирования при получении изображения калибровочного объекта, внутренняя рамка соответствует границам кадра. При этом на прямоугольную матрицу оптической системы отображается часть плоскости, которая также, в общем случае, является неправильным четырехугольником. Справа на рис. 1 изображена соответствующая ей область объекта, попавшая в кадр.
В общем случае виртуальная плоскость объекта и плоскость изображения связаны друг с другом преобразованиями поворота, сдвига, масштаба и проекции (т.е. степенью трапециевидности изображения прямоугольного объекта). Вся совокупность преобразований определяется восемью параметрами. Воспользуемся основной теоремой о проективном преобразовании плоскости (каковы бы ни были четыре точки А, В, С, Б плоскости, из которых никакие три не лежат на одной прямой, и четыре точки А', В', С', О' той же плоскости, из которых никакие три также не лежат на одной прямой, существует и притом только одно проективное преобразование, которое точки А, В, С, Б переводит соответственно в точки А', В', С", V) [15, 16]. Таким образом, для полного определения параметров преобразования необходимо и достаточно найти попарное соответствие четырех точек в плоскости объекта и четырех точек в плоскости изображения, причем
(в)
Рис. 2. Матрица горизонтальной составляющей смещения пикселей изображения (а), вертикальная составляющая (б), абсолютные значения смещений (в).
никакие три точки не должны лежать на одной прямой. Координаты х', у' точки в плоскости изображения связаны с координатами х,у в плоскости объекта дробно-линейными соотношениями:
, ах + Ьу + с , /х + ду + И,
х =- у =-.
¿х + еу + к ¿х + еу + к
Параметров в этом преобразовании 9, но только 8 из них независимые, все параметры могут быть умножены на одно и то же число. Таким образом, найдя соответствие между четверками точек, мы знаем закон преобразования координат между плоскостью объекта и плоскостью изображения, т.е. преобразование Р(11{г)). Теперь о выборе точек для определения параметров преобразования. Дело в том, что в плоскости изображения распределение соответствует не просто проективно преобразованному объекту, на проективное преобразование накладывается еще и дисторсионное искажение. Для максимальной точности определения параметров проективного преобразования в качестве реперных точек логично использовать угловые точки изображения. При этом
(в)
Рис. 3. После восстановления масштаба. Матрица горизонтальной составляющей смещения пикселей изображения (а), вертикальная составляющая (б), абсолютные значения смещений (в).
при сравнении изображения и калибровочного объекта, деформированного путем вышеуказанных преобразований для соответствия ракурсу съемки, мы получаем картину, изображенную на рис. 2. На рис. 2(а) показана матрица горизонтальной составляющей смещения пикселей изображения за счет дисторсии, на рис. 2(6) - вертикальная составляющая, на рис. 2(в) показано распределение абсолютных значений смещений в зависимости от координат в кадре. По вертикальной оси отложено значение сдвига в пикселях, по другим осям - условные координаты по полю кадра. Неискаженными остаются угловые области, где мы выбрали реперные точки, и центр. Смещение центра неискаженной области относительно центра кадра соответствует смещению точки пересечения оптической оси камеры с приемной матрицей относительно центра матрицы. В первом приближении (когда оптическая ось камеры пересекает плоскость приемной матрицы строго в центре) картина сдвигов симметрична. Таким образом, выбор точек
Рис. 4. Центральные горизонтальные сечения матриц смещений для различных цифровых фотоаппаратов (для минимального фокусного расстояния и размера кадра 1280 X 960 пикселей). По оси х - номера пикселей приемной матрицы по центральной линии, от левого края кадра до правого, по оси у - величина горизонтальной составляющей матрицы смещений.
Рис. 5. Угловая часть ^500x500,) матрицы абсолютной величины хроматических искажений для фотоаппарата Olympus SP350. Полный размер кадра 3264 X 2448. Сравнивались красный и синий каналы.
с априорно одинаковым значением дисторсии в качестве реперных приводит к нахождению истинных значений параметров проективного преобразования, за исключением
ПТ/FR
(а) (б)
Рис. 6. Результаты восстановления изображения (фотоаппарат Canon Power Shot А570). (а) - видно бочкообразное искажение, (б) - снимок, исправленный с помощью рассчитанной матрицы искажений.
масштаба. (Тем не менее, применение этой характеристики позволяет правильно провести коррекцию кривизны изображений.) Масштаб же восстанавливается с помощью естественного предположения о том, что искажения изображения минимальны в центре кадра. После введения поправки к масштабному преобразованию мы получаем искомое преобразование P(R(r)). Теперь при сравнении изображения и калибровочного объекта, к которому применено преобразование для соответствия ракурсу съемки, мы получаем картину распределения величины дисторсионного искажения, показанную на рис. 3. На рис. 3(a) показана матрица горизонтальной составляющей смещения, на рис. 3(6) - вертикальная составляющая, на рис. 3(в) - распределение абсолютных значений смещения в зависимости от координат в кадре. Видно, что в центральной части кадра искажения минимальны, сильнее всего дисторсия сказывается в угловых областях. Для обычных цифровых фотоаппаратов среднего класса максимальная величина смещения положения точек изображения относительно идеального составляет десятки пикселей, до трех - пяти процентов от линейного размера изображения.
Два распределения интенсивности - исходное неискаженное и второе, полученное при фотографировании, - сравниваются при помощи корреляционного метода. Положение пика взаимной корреляции соответствующих участков двух распределений дает величину ориентированного смещения для данной области, которое мы приписываем ее центру. Аналогичный метод используется, например, для определения градиентов оптической толщины в потоках [5-7].
После обработки всего кадра мы получаем величину дисторсионного сдвига в каждой точке кадра. При этом смещение вычисляется с точностью, существенно меньшей размера пикселя в фотографическом изображении, за счет аппроксимации функции взаимной корреляции поверхностью второго порядка.
Для определения матрицы смещений не требуется знания параметров внешнего ориентирования оптической системы. При желании их можно определить в явном виде. Так как нам известно соответствие координат изображения и объекта, то путем геометрических расчетов мы можем определить положение центра проекции в системе координат, связанной с объектом, то есть положение оптической системы и углы наклона ее оптической оси по отношению к плоскости объекта.
Для проверки работоспособности предложенного метода был прокалиброван ряд цифровых фотоаппаратов различных производителей. Фотографировался специально отпечатанный плоский калибровочный объект. Съемка проводилась "с руки", оптическая ось камеры была приблизительно перпендикулярна плоскости объекта. Для различных значений фокусных расстояний получены матрицы сдвига. На рис. 4 показаны центральные горизонтальные сечения матриц смещений для некоторых марок цифровых фотоаппаратов (для минимального фокусного расстояния и размера кадра 1280x960 пикселей). По оси х - номера пикселей приемной матрицы по центральной линии, от левого края кадра до правого, по оси у - величина горизонтальной составляющей матрицы смещений. Видно, что, хотя по порядку величины смещения в разных фотоаппаратах похожи, некоторые из моделей имеют свои особенности. Например, у фотоаппарата Canon EOS ÍOD (зеркальный со сменным объективом SIGMA UC-III) величина дисторсионного искажения почти в полтора-два раза меньше, чем у аппаратов со встроенными объективами. А у фотоаппарата Lumix FZ18 (объектив LEICA DC VARIO-ELMART с асферическими элементами) кривая дисторсии имеет перегиб, в результате чего на краях горизонтального разреза дисторсия уменьшилась примерно на 20%. Определение дисторсионной матрицы для одного значения фокусного расстояния объектива по одному кадру занимает не более одного часа на среднем компьютере.
Если оптическая система дает хроматические искажения, их можно оценить путем сравнения цветовых каналов цифрового изображения. На рис. 5 показана часть матрицы абсолютной величины хроматических искажений для фотоаппарата Olympus SP350. Изображена только угловая область размером 500x500 пикселей с максимальными искажениями (полный размер кадра 3264x2448). Сравнивались красный и синий каналы изображения, по вертикальной оси отложена абсолютная величина смещения
содержимого каналов друг относительно друга в пикселях. Следует отметить, что из всех исследованных фотоаппаратов, сколь-нибудь заметная хроматическая аберрация обнаружена только в этой модели.
После определения матрицы смещений можно исправлять изображения, полученные этой же оптической системой при таком же фокусном расстоянии. Для иллюстрации на рис. 6 приведены результаты восстановления описанным методом изображения, полученного с помощью фотоаппарата Canon Power Shot А570. На левом, неисправленном снимке видно заметное бочкообразное искажение. Справа - исправленный с помощью рассчитанной матрицы искажений снимок.
ЛИТЕРАТУРА
[1] Sheng-Wen Shih, Yi-Ping Hung, and We-Song Lin, Efficient and accurate camera calibration technique for 3-D computer vision in: Proc. SPIE 1614, 133 (1992).
[2] Ran Song and John E. Szymanski, Mosaics of images from architectural and heritage structures in: Proc. SPIE 6279, 62790R (2007).
[3] K. Ishitani, D. Daisuke et al., Easy and stable bronchoscope camera calibration technique for bronchoscope navigation system in: Proc. SPIE 6509, 650911 (2007).
[4] G. Meier, Experiments in Fluids No. 33, 181 (2002).
[5] В. H. Боркова, А. В. Крайский, Т. В. Миронова, Т. Т. Султанов, Краткие сообщения по физике ФИАН, N 7, 38 (2006).
[6] N. М. Skornyakova, Е. М. Popova, В. S. Rinkevichius, and А. V. Tolkachev, Correlation Processing of BOS pictures in: CD ROM Proceedings of 5th International Symposium on Particle Image Velocimetry. - Busan, Korea, (Busan University, Busan, 2003), Paper 3209.
[7] E. M. Popova, N. M. Skornyakova, B. S. Rinkevichyus, A. V. Tolkachev, The Investigation of heat transfer by Background Oriented Shlieren Method in: CD-ROM Proc. 12th International Symposium on Application of Laser Techniques to Fluid Mechanics. - Lisbon: 2004 (Lisbon Univ., 2004).
[8] D. C. Brown, Close-range camera calibration. Photogrammetric Engineering, 37(8), 855 (1971).
[9] R. Y. Tsai, IEEE Trans. Rob. Autom, RA-3(4), 323 (1987).
[10] P. H. Гельман, A. JI. Дунц, Геодезия и картография N 7, 23 (2002).
[11] В. И. Юрченко, Геодезия и картография N И, 23 (2000).
[12] Н. Farid and А. С. Popescu, J. Optical Society of America 18(9), 2072 (2001).
[13] G. Stein, Accurate internal camera calibration using rotation, with analysis of sources of error. In: ICCV, Cambridge, MA, June 1995 (Massachusets Inst, of Techn., 1995), p. 230.
[14] А. В. Крайский, Т. В. Миронова, Способ калибровки оптической системы. Заявка на получение патента РФ на изобретение per N 2008114699 от 17.4.2008.
[15] Н. В. Ефимов, Высшая геометрия (Наука, М., 1971).
[16] Р. Хартсхорн, Основы проективной геометрии (Мир, М., 1970).
Поступила в редакцию 5 мал 2008 г.
