CC BY
301
УДК 621.375.826
СУБПИКСЕЛЬНАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ ДЛЯ ИЗМЕРЕНИЯ ДАЛЬНОСТИ НА ОСНОВЕ ЦИФРОВОЙ ФОТОКАМЕРЫ
КозловВ.Л., Васильчук А.С.
Белорусский государственный университет, г. Минск, Республика Беларусь
Приводится методика субпиксельной обработки изображений для измерения расстояний и размеров объектов, основанная на обработке цифровых изображений стереопары, обеспечивающая повышение точности измерений. Представлены результаты экспериментальных исследований системы. (E-mail: [email protected])
Ключевые слова: измерение расстояний, цифровое изображение, субпиксельная обработка изображений.
Введение
В настоящее время для измерения расстояний широко используются лазерные дальномеры. Однако измерять расстояния до объектов можно также путем анализа фотографических изображений, полученных с помощью цифровой фотокамеры. Пассивные измерители расстояний по анализу цифровых изображений [1, 2] в сравнении с лазерными дальномерами обеспечивают следующие преимущества:
- скрытность измерений, т.е. измеряемые объекты не могут обнаружить, что по ним измеряется дальность и производится прицеливание, что важно для решения военных задач;
- значительно меньшее энергопотребление и низкая себестоимостью за счет отсутствия мощного дорогостоящего лазера;
- лазерные дальномеры не позволяют измерять размеры объектов, расстояния между объектами, в то время как измеритель на цифровой фотокамере позволяет измерять дальности до всех объектов, попадающих в поле зрения, размеры объектов и расстояния между объектами;
- измеритель на цифровой фотокамере позволяет измерять расстояния до тех объектов, до которых сложно проводить измерения с помощью лазерных дальномеров, например тонкие провода, антенны, находящиеся на большом расстоянии, объекты с низким коэффициентом отражения, зеркальные поверхности, птицы, животные, люди.
Приведенные данные свидетельствуют о более широких функциональных возможностях измерителя расстояний на цифровой фотокамере по сравнению с обычными лазерными дальномерами. В Российской Федерации выпускается ряд фотограмметрических комплексов, позволяющих измерять расстояния и размеры объектов по анализу цифровых фотографических изображений, полученных с помощью цифровой фотокамеры. Такие измерители используются главным образом для фиксации обстановки мест различного рода преступлений и происшествий. Основной недостаток этих систем заключается в том, что для проведения измерений в них необходимо использование мерных объектов и маркировочных конусов, располагаемых в центре измеряемой зоны. Это, во-первых, неудобно в режиме эксплуатации, а во-вторых, существенно ограничивает функциональные возможности. Кроме того, такие системы обладают невысокой точностью измерения, которая составляет 1-3 % от измеряемого расстояния, и ограниченным диапазоном измеряемых расстояний до ста метров, чего в большинстве случаев недостаточно. Из вышесказанного следует, что разработка методики и соответствующих аппаратных средств для измерения расстояний и размеров объектов по анализу цифровых фотографических изображений, не использующих мерный объект и обладающих более высокой точностью измерений, является актуальной задачей, так как ее решение может дать значительный экономический эффект при ис-
пользовании в различных областях человеческой деятельности.
Методика измерений
Предлагаемая методика измерения расстояний и размеров объектов основана на принципах фотограмметрии и корреляционной обработке цифровых изображений стереопары [1, 2]. Если расстояние между камерой и наблюдаемой сценой значительно превышает фокусное расстояние оптической системы, можно считать, что изображение строится в ее фокальной плоскости на расстоянии фокуса /[1]. Проекцией измеряемой точки трехмерного пространства М с координатами (X, У, 2), где 2 - расстояние, на фотоприемную матрицу является точка т с координатами (х, у), причем выполняются следующие соотношения:
К
м>1
+ Х,
У-
К
ы
(1)
где х0, уо - координаты главной точки относительно начала координат фотоприемника; w и И -расстояния между ячейками матричного фотоприемника вдоль строк и столбцов.
Трехмерный вектор точки т внутренних координат камеры будет иметь вид V = (х, у, 1), а трехмерный вектор, соответствующий координатам точки М в пространстве, равен М = (X, У, 2). Связь координат в пространстве с координатами в плоскости изображения [2] можно выразить соотношением (2) через постоянную матрицу К, которая определяется соотношением (3) и называется калибровочной, или матрицей внутренних параметров камеры:
2У = км,
(2)
(3)
Для определения координаты объекта достаточно знать его внутренние координаты на фотоприемной матрице V, расстояние до объекта 2 и калибровочную матрицу К. Для определения расстояния 2 используется стереоскопическая система. В пространстве произвольно выбираются два положения камеры (положение и ориента-
ция оптической оси). На практике сложно установить связь ориентации и координат двух положений регистрирующей камеры при случайной ориентации в пространстве, что существенно влияет на погрешность измерений. Поэтому использовалась методика измерений, при которой не изменялась угловая ориентация оптической оси камеры при перемещении в пространстве. Способ измерения заключается в получении двух цифровых фотографических изображений измеряемого объекта из двух точек пространства, разнесенных по горизонтали на известное расстояние. При этом дальность до объекта 2 из геометрии изображений определяется из соотношения:
2 = ■
Я
х'-х'
(4)
где разность (х' - х") - смещение (диспарант-ность) объекта в плоскости изображения на первом и втором снимках, соответственно, Ь - величина базы, /- фокус оптической системы. Зная дальности и координаты измеряемых объектов, можно оценить расстояния между ними. Аналогичным образом можно определять линейные размеры объектов.
Для определения разности координат объекта (смещения) в плоскостях первого и второго изображений стереопары, была разработана соответствующая методика корреляционной обработки изображений. В процессе обработки выполняется автоматическое сканирование одного изображения относительно другого и осуществляется поиск максимального соответствия, который проходит в два этапа: грубая оценка и уточнение.
На этапе грубой оценки координаты сходства определяется сдвиг между изображениями с разрешением в 1 пиксель. При этом задается окно сканирования, содержащее участок измеряемого объекта. Каждую итерацию окно сдвигается на один пиксель вдоль горизонтальной оси в системе координат изображения, затем вычисляется значение корреляционной функции. Далее проводится повторное независимое сканирование по осям ох и оу в области найденной точки максимума соответствия. Для определения меры сходства можно выбирать специфические методики, которые определяются видом используемой корреляционной функции. Например, если исследуемым объектом является объект с вертикальной осью симметрии, вид корреляционной функции значительно упрощается [3]. И наоборот, следует
значительно усложнить функцию корреляции и алгоритм поиска, если условия регистрации таковы, что нельзя пренебречь взаимным поворотом объекта и его перспективными искажениями [1]. Сдвиг между изображениями Дм = х' - х" определяется по положению максимального значения двухмерной нормированной корреляционной функции между выделенными изображениями в соответствии с выражением [4]:
Д(Дм,ЛУ) =
х+Дх^+Ду
X и1(х,у)-11)(12(х + Аи,у + Щ-Т2) X (Цх,у)-Т^ X (12(х+Ну+Ь)-Т2)2
(5)
где 11 - сигнал окна сканирования первого изображения; 12 - сигнал окна сканирования второго изображения; Дх, Ду - размер окна по горизонтали и вертикали; п = 1, 2; Дм, Ду - смещение одного изображения относительно другого по горизонтали и вертикали, соответственно. Выражение (5) после преобразований принимает вид:
Я(Дм,Ду) = -
^/Дх^/^х + Дм^ + Ду)-
X У
Дх-Ду
У_
Ах- Ду
£(/22(х + Ди,у + Ду)-
£/2(х + Ди,у + Ду)
V Х,у
Ах- Ду
(7)
Для сигнала 11 в процессе сканирования суммы не меняются, так как не зависят от Дм, Ду. Значение суммы 12 в выражении (7) можно преобразовать следующим образом:
(8)
(9)
Выражения (8), (9) пересчитывают значение суммы 12 при сдвиге окна вдоль оси Х и оси У соответственно в сторону возрастания. Первым слагаемым справа от знака равенства в обеих формулах является сумма, вычисленная на предыдущей итерации. Использование результатов предыдущей итерации обеспечивает уменьшение числа вычислительных процедур, а следовательно, уменьшение времени измерений. Аналогичные доводы и формулы будут справедливы
при вычислении суммы квадратов интенсивно-стей 122. Практический выигрыш по времени при вычислении корреляционной функции выделенных изображений с использованием формул (79), по сравнению с формулами (5), (6) имеет следующие значения. При размере окна сканирования 11 х 11 пикселей выигрыш составляет 2,5 раза, при окне 31 х 31 пиксель выигрыш составляет 5,12 раз, а при окне 60 х 60 пикселей выигрыш составляет 10 раз, что имеет существенное значение при работе системы в реальном масштабе времени.
На этапе уточнения разрешение поиска можно улучшить до сотых долей пикселя. Для уточнения величины сдвига Дм в субпиксельном диапазоне используется билинейная интерполяция сигнала с заданным шагом, алгоритм которой заключается в следующем. Обычно область уточнения выбирается шириной и высотой в 4 пикселя. В точке максимального значения корреляционной функции 1(х, у), полученного на этапе грубой оценки с точностью в один пиксель, строится сетка ячеек, соответствующих узлам интерполяции и ведется повторное сканирование с шагом равным Н = 1/к пикселя, где к - целое число (к = 5, ..., 20). Таким образом, вычисляется зна-
х-1-Ах,у+Ау х+Д*,_у+Ду
^12(х + Аи + 1,у + Ау) = ^?12(х + Аи,у + Ау)-
х,у х,у
у+Ду У+Ау
- 2(х + Аи,у + Ду) + ^/2(х + Дх + Дм + \,у + Ду),
У У
х+Лх,у+Лу х,у \-Аи,у- 1-ДУ4- V- \l. l - \1 "!)= £/2( х + Аи,у- х,у ьДу)-
х+Дх - X -Аи,ул -Ду)- х+Ах +- ^/2(х + Аи,у + Д>ч х - Ду + 1).
чение корреляционной функции для к2 узлов сетки. Интенсивность 1(х + ¡к, у + ]к) узла сетки вычисляется из выражения:
(10)
где к = 1/к - шаг сетки; ] - горизонтальный и вертикальный индексы узла соответственно; 1(х, у) - максимальное значение корреляционной функции, 1(х + 1, у), 1(х, у + 1), 1(х + 1, у + 1) -значения корреляционной функции в точках, ближайших к максимальному. Затем производится коррекция ошибки при помощи параболической интерполяции между узлом сетки с наибольшим значением корреляционной функции и его соседними узлами, локализирующая максимум параболы в заданном интервале. Допустим, найден узел сетки с максимальным значением интенсивности 1т и координатой хт. А его соседние узлы с координатами, хт + 1 и хт _ 1 имеют значения интенсивности 1т+1 и 1т _ 1, причем 1т + 1 < < 1т и 1т1 < 1т. Для уточнения величины смещения на заданном интервале проводится локализация максимума путем параболической интерполяции [5] соответствии с выражением:
(11)
Очевидно, что билинейная интерполяция дает разрешение в пределах одного пикселя, равное 1/к, а параболическая интерполяция имеет относительную погрешность 17 %. Следовательно, если взять к = 10, ..., 15, то разрешение при определении сдвига составит величину в 0,01 пикселя.
Характеристики измерительной системы
Абсолютная погрешность измерения расстояния определяется следующим выражением
(12)
где аи - эффективный размер пикселя, w - расстояния между чувствительными элементами фотоприемной матрицы вдоль строк, f - фокусное рас-
стояние оптической системы; r - разрешение обработки, Z - измеряемое расстояние. Знать точное значение расстояния между чувствительными элементами фотоприемной матрицы и значение фокуса объектива нет необходимости, так как в расчетную формулу входит отношение фокуса к размеру пикселя. Это отношение можно определить при калибровке системы на точно известном расстоянии. На рисунке 1 представлены зависимости абсолютной погрешности измерений от величины измеряемого расстояния для камеры Fujifilm FinePix REAL 3D, с матрицей размером 10 мегапикселей (1/2,3"). Калибровочный параметр au для построенных зависимостей определялся экспериментально. Из графиков следует, что при разрешении 0,05 пикселя и базе 7,5 см на расстояниях до 50 м достигается погрешность измерения лучше 1,5 см при фокусе объектива 18,9 мм и менее 5 см при фокусе 6,3 мм. Очевидно, что используя длиннофокусный объектив и фотоприемную матрицу большего размера, можно улучшить точность измерения дальности.
0 10 20 30 40 50 AZ, M
Рисунок 1 - Зависимости абсолютной погрешности измерений от измеряемого расстояния для фотокамеры Fujifilm FinePix REAL 3D: 1 - фокус 6,3 мм;
2 - фокус 18,9 мм
Интерфейс системы измерения расстояний и размеров объектов на основе анализа цифрового изображения представлен на рисунке 2. Приложение разработано для пользователя, и на экране отображается лишь первое изображение из стереопары. Интерфейс включает следующие пользовательские элементы: информационную строку (строка состояния); общие инструменты: открыть изображение, сохранить отчет, очистить отчет; функциональные инструменты: манипуляция с объектами, задать область измерения, задать связь между объектами или в области одного объекта, калибровка камеры (вычис-
I(x + ih, у + jh) = (1 - ih) • (1 - jh) ■ 1{х, у) + + (1 - jh)ih ■ I(x + 1, v) + (1 - ih) jh ■ I(x, у +1) +
+ ijh2 -/(> + 1,7+ 1),
1 (r,-x2){I -I ,) + 02-.r2 ,)(/ -I
_ v m+1_m s v m_m-1 s v m_m-l^v m_m+1 s .
2 ("Чи+l _ Xm X-^m _ Im-1 ) + iXm ~ Xm-1 Х^/и ~~ ^m+1 )
AZ =
/
au = — ■
Lci-rZ w
лить калибровочные параметры по объекту на известном расстоянии); переключение режима просмотра: включить/выключить отображение подписей расстояний, включить/выключить отображение второго изображения стереопары; вызов диалога установки параметров анализа; прокрутка и масштабирование области изображения; анализ достоверности результата измерений. Приложение позволяет пользователю определять дальность до всех объектов, расстояния между объектами и линейные размеры объектов.
На рисунке 2 представлен интерфейс измерительной системы на основе цифровой фотографии, функционирующий на входе в учебный корпус факультета радиофизики и компьютерных технологий БГУ. Цифрами белого цвета отмечены расстояния от фотоаппарата до объектов на фотографии: стоящий человек (X = 26,24 м), ко-
лесо автомобиля ^ = 26,81 м), бетонный столб ^ = 36,20 м), знак пешеходного перехода ^ = 40,10 м). Цифрами черного цвета приведены расстояния между объектами на фотографии: от автомобиля в центре до автомобилей, расположенных спереди (Ь = 13,22 м), сзади (Ь = = 1,74 м) и слева (Ь = 3,49 м). Для повышения точности при измерении расстояний между объектами система автоматически измеряет расстояние до выделенных точек объектов, при этом результат измерения дальности на экран не выводится. Приведенные данные показывают достаточно высокую эффективность использования разработанной методики для построения измерителя расстояний для решения задач криминалистики, а также обеспечения работы правоохранительных органов на местах дорожно-транспортных происшествий.
Рисунок 2 - Интерфейс системы измерения расстояний и размеров объектов на основе
анализа цифрового изображения
Заключение
По сравнению с известными выпускаемыми фотограмметрическими комплексами, разработанная система имеет преимущество - в ней не используются мерный объект и маркировочные конусы, что значительно упрощает процесс измерений. Этот фактор также существенно расширяет ее функциональные возможности. Такие системы следует использовать в ситуациях, когда невозможно разместить мерный объект в
центре измеряемой зоны, например в случае техногенных катастроф, взрывов, пожаров, наводнений и др. Кроме того, в разработанной системе использована субпиксельная методика обработки изображений, обеспечивающая разрешение порядка сотых долей пикселя, что позволяет существенно повысить точность измерений. Путем увеличения базы съемки, использования длиннофокусного объектива и фотоприемной матрицы большего размера можно расширить диапазон измеряемых расстояний до единиц ки-
лометров. Из выражения (12) можно оценить точность измерения расстояний для выбранного типа цифровой фотокамеры и конкретной дальности. Предлагаемая измерительная система может использоваться не только для решения задач криминалистики и обеспечения работы правоохранительных органов на местах преступлений, но и для решения ряда других промышленных и технологических задач, например в строительстве, геодезии, картографии и др.
Список использованных источников
1. Грузман, И.С. Цифровая обработка изображений в информационных системах / И.С. Груз-
ман [и др.]. - Новосибирск : НГТУ, 2000. -168 с.
2. Козлов, В.Л. Измеритель дальности и размерных параметров объектов на основе цифровой фотокамеры / В.Л. Козлов, И.Р. Кузьмичев // Вестник БГУ. - № 1. - 2011. - С. 33-37.
3. Patent US №5432594 G 01 C 3/00 Optical Distance Measurement Device Using Image Sensors For Determining Distance To Symmetric Objects. / Kenhi Ogawa. - 1995.
4. Патент РБ № 7502. Измеритель расстояний на цифровой фотокамере / В.Л. Козлов, И.Р. Кузьмичев. - 2011.
5. William H. Press Numerical recipes in C: the art of scientific computing / William H. Press // Cambridge University Press. - 2nd ed. - 1995. -994 p.
Kozlov V.L., Vasilchuk A.S.
Sub pixel image processing for distance measurement on the base of digital camera
The technique of sub pixel processing of the digital photographic images for precision distances and sizes measurements based on stereogram processing is offered. Experimental results of measuring equipment are presented. (E-mail: [email protected])
Key words: distances measurement, digital photographic image, sub pixel image processing.
Поступила в редакцию 29.03.2012.
