CC BY
172
АЛГОРИТМ КОРРЕКЦИИ ПРОЕКТИВНЫХ ИСКАЖЕНИЙ ПРИ МАЛОВЫСОТНОЙ СЪЁМКЕ
И. С. Холопов 1,2
1 Федеральное государственное бюджетное образовательное учреждение высшего образования «Рязанский государственный радиотехнический университет» (ФГБОУ ВО «РГРТУ»), Рязань, Россия, 2 Акционерное общество «Государственный Рязанский приборный завод» (АО «ГРПЗ»), Рязань, Россия
Аннотация
Рассмотрен алгоритм коррекции геометрических искажений изображений при маловысотной съёмке с помощью виртуальной камеры. Алгоритм основан на ориентации виртуальной камеры таким образом, чтобы её оптическая ось была коллинеарна нормали к плоскости съёмки, и оценивании матрицы томографии, связывающей координаты соответствующих пикселей реальной и виртуальной камер. Оценка матрицы гомографии возможна по информации от дополнительных сенсоров - датчика угловой ориентации и дальномера (высотомера), - по сигналам которых оцениваются угловая ориентация камеры и дальность до объекта съёмки. Исследовано влияние погрешности оценивания угловой ориентации камеры по сигналам трёхосного микроэлектромеханического акселерометра на качество коррекции по введённому критерию качества. Результаты эксперимента с откалиброванными видеокамерами Logitech C270 и uEye 5240 RE показали, что при погрешности оценки крена и тангажа камеры не более 1 ° алгоритм коррекции с виртуальной камерой обеспечивает величину показателя качества коррекции не менее 0,97.
Ключевые слова: проективные искажения, матрица гомографии, аффинные преобразования, углы Эйлера, трёхосный акселерометр.
Цитирование: Холопов, И.С. Алгоритм коррекции проективных искажений при маловысотной съёмке / И.С. Холопов // Компьютерная оптика. - 2017. - Т. 41, № 2. - С. 284-290. -DOI: 10.18287/0134-2452-2017-41 -2-284-290.
Введение
Проективные искажения являются характерным для маловысотной фото- и видеосъёмки типом геометрических искажений, нарушающих форму и истинное взаимное расположение объектов на кадре изображения. Коррекция проективных искажений выполняется при составлении планов или карт местности по результатам оптико-электронной аэрофотосъёмки [1]; при решении задач слежения за дорожной разметкой [2], реконструкции цифровой модели местности по стереоизображениям [3], формировании фото- и видеопанорам [4], совмещении изображений, снятых с разных ракурсов [5], съёмке текстов [6] и др.
В работах [3 - 5] коррекция проективных искажений предполагает оценку проективного преобразования, приводящего к совмещению выделенных соответствующих опорных точек на нескольких кадрах, снятых с различных ракурсов. При этом задачи обязательной компенсации проективных искажений в каждом из кадров не ставится. В [6] для оценки корректирующего геометрические искажения преобразования анализируются характерные только для текстовых блоков ключевые точки - начала и окончания абзацев, поэтому данный алгоритм применим лишь к частному случаю задачи компенсации проективных искажений. Наиболее общий подход, рассмотренный в [1], использует сведения об углах ориентации носителя камеры и его высоте над поверхностью съёмки и предполагает построение на интересующем участке наблюдаемой плоскости растра путем её разбиения на строки и оценку проективного преобразования для каждой такой строки, т. е. использует неоднородную обработку.
Целью работы является исследование алгоритма коррекции проективных искажений, как и в [1], опе-
рирующего информацией о взаимном угловом и пространственном положении регистрирующей камеры и объекта съёмки, но основанного на применении к исходному изображению однородного поэлементного матричного преобразования. Возможными областями практического применения алгоритма могут быть, например, обработка кадров автомобильных видеосистем кругового обзора и систем контроля размещения транспортного средства на проезжей части по линиям дорожной разметки, диагностики состояния дорожного покрытия, диагностики воздушных линий электропередач по результатам маловысотной аэросъёмки.
1. Математическая модель проективной камеры
Связь пространственных однородных 3Б-координат наблюдаемых точек пространства М,- = [X, У,, 2,, 1]т и однородных 2Б-координат их образов в плоскости изображения ш,- = [и,, V,, 1]т определяется матрицей проекции Р [7]:
ш,- = w1PM1, (1)
где Wi = Р<3>М,- - масштабный коэффициент, нормирующий последний элемент вектора ш, к единице, а символ <3> обозначает 3-ю строку матрицы Р.
При отсутствии дисторсионных искажений матрица Р представляется как произведение матрицы внутренних параметров камеры К размерности 3*3 на матрицу внешних параметров размерности 3*4, составленную из матрицы поворота системы координат камеры относительно внешней системы координат Я размерности 3*3 и пристыкованного к ней справа вектора-столбца линейного переноса (трансляции) X размерности 3*1:
Р = К[Щ],
где X = -ЯС, С - координаты оптического центра камеры во внешней системе координат.
Матрица внутренних параметров камеры имеет
/и 0 «0 :
где /« и - фокусные расстоя-
вид К =
Л 0
1
ния объектива, выраженные в единицах ширины и высоты пикселя соответственно, («0, у0) -2Б-координаты главной точки [7].
2. Проективные преобразования
К проективным относят линейные преобразования Ш2 = ИШ1, (2)
где ш1 и ш2 - соответственно однородные координаты пикселей изображения до и после преобразования,
Л11 /?12 И13
а И = Л21 К Л23 - матрица гомографии [7]
И31 К 1
Матрица томографии для проективного преобразования может быть представлена в виде произведения матриц аффинного Иа и собственно проективного Ир преобразований [8]:
И =
ИаИр,
" 1 0 0"
где Ир = 0 1 0 , Иа = ИДИ*, а
К К 1
5и 0 0" с -5 0" "1 0 Ли
^ = 0 5у 0 , Иг = 5 с 0 и И= 0 1 Ау
0 0 1 0 0 1 0 0 1
- соответственно матрицы, задающие преобразования масштабирования, поворота и параллельного переноса, с = соБф, 5 = sinф, ф - угол поворота, отсчитываемый в направлении против часовой стрелки, 5«, 5у и Л«, Ау - соответственно масштабные коэффициенты и смещение по горизонтали и вертикали.
Задача коррекции проективных искажений изображений обычно заключается в оценке матрицы, обратной матрице гомографии: ш1 = и-1ш2.
В зависимости от наличия либо отсутствия априорной информации о параметрах проективного преобразования и наблюдаемых объектах можно выделить несколько алгоритмов оценки матрицы И. 2.1. Оценка матрицы гомографии по особым точкам
Классический алгоритм оценки матрицы И [7] основан на решении переопределенной системы линейных алгебраических уравнений (СЛАУ)
та = о, (3)
где И = [V Й12, Мз, Й21, Й22, Й23, йз1, йз2, 1]т, с использованием БУБ-разложения:
Т = и8Ут,
где и и V - матрицы поворота в 9-мерном пространстве, 8 - диагональная матрица сингулярных чисел, а матрица Т размерности (2п)х9 составляется из п > 4
Т2Х9 =
пар уравнений, связывающих двумерные координаты п соответствующих характерных, или особых, точек (ОТ) на изображениях 1 и 2:
«1 у1 1 0 0 0 -и1и2 -иу2 -и1 0 0 0 «2 у2 1 -У«2 —У1У2 —У1
Решением (3) является последний столбец матрицы V, соответствующий минимальному сингулярному числу матрицы 8. Для уточнения элементов матрицы И также применяют двух- [9] и многоэтапные [5] алгоритмы.
2.2. Оценка матрицы гомографии при наблюдении объектов априорно известной формы Если априорно известно, что контур изображения представляющего интерес объекта аппроксимируется выпуклым п-угольником, п > 4, и занимает большую часть кадра, то поиск ОТ может быть реализован с помощью преобразований Хафа или Радона [10 - 12]. На изображении с проективными искажениями ОТ при этом выступают вершины п-угольника, координаты («1, у1) которых находят как точки пересечения п прямых, набравших в результате преобразования максимальное число «голосов». Координаты ОТ на изображении без искажений («2, у2) задаются исходя из формы желаемого изображения объекта (рис. 1). Для оценки И по соответствующим ОТ («1, у1) и («2, у2) составляется матрица Т и решается СЛАУ (3).
Рис. 1. Изображение с проективными искажениями (слева)
и желаемое изображение без искажений (справа); пунктиром показаны прямые, выделенные по результатам преобразования Хафа или Радона
Алгоритмы на основе априорных сведений о форме объектов успешно применяются, например, для устранения проективных искажений при съёмке напечатанных текстов [6]: отдельных листов, страниц журналов и разворотов книг.
При наблюдении реальных сцен априорная информация о наблюдаемых объектах, как правило, отсутствует, а гипотеза об аппроксимации их контуров многоугольниками не выполняется. Поэтому на практике поиск ОТ геометрических соответствий для коррекции проективных искажений затруднителен.
3. Оценка матрицы гомографии по информации об угловой ориентации камеры и дальности до объекта съёмки
Введём следующие ограничения:
• наблюдаемые объекты лежат в плоскости, угловая ориентация которой относительно плоскости горизонта априорно известна и задается вектором нормали п;
• возможна оценка угловой ориентации камеры относительно плоскости горизонта и линейного расстояния до наблюдаемой плоскости;
• дисторсионные искажения объектива камеры скомпенсированы.
Первое из указанных ограничений, как правило, соответствует реальным условиям наблюдения [13] и справедливо, например, при маловысотной аэрофотосъёмке и использовании данных о рельефе от цифровых карт местности (ЦКМ).
В случае принятых ограничений коррекция проективных искажений может быть выполнена с помощью виртуальной камеры (ВК) [14, 15], оптическая ось которой ориентирована коллинеарно вектору нормали п. Геометрическая постановка задачи коррекции с помощью ВК приведена на рис. 2. Реальная камера (РК) размещается в точке С1 с высотой (в геометрическом понимании) над плоскостью съёмки У1, виртуальная - в точке С2 с высотой У2. Также введём дополнительное ограничение, чтобы точка пересечения оптических осей РК и ВК лежала в наблюдаемой плоскости.
Г, ъ
Рис. 2. Взаимное расположение реальной и виртуальной камер Матрица гомографии при известных внутренних и внешних параметрах пары проективных камер и наблюдении плоскости определяется выражением [7]:
Н = К^Я - (Ш^/ёЖт1,
(4)
где К1 и К2 - матрицы внутренних параметров РК и ВК соответственно, ё и п - соответственно расстояние до плоскости съёмки и вектор нормали к ней (согласно построениям рис. 2 ё = У2, п = [0, 0, -1]т).
Угловая ориентация РК относительно плоскости горизонта (показана на рис. 2 пунктиром) может быть оценена, если на её корпусе закреплён предварительно откалиброванный [16] микроэлектромеханический малогабаритный трёхосный акселерометр (ТОА). Если его ось У направлена вдоль оптической оси РК, ось X - вправо, а ось 2 дополняет систему координат ТОА до правой тройки векторов, то крен уа и тангаж 9а определяются выражениями [17]:
у = а1ап2(ах, а) (5)
9а = -а!ап2[аг, (а^^у + а^ту)],
(6)
где [ах, ау, аг]т - вектор показаний ТОА с учётом калибровочных коэффициентов [16]. Соответствующий этим углам кватернион поворота [18]:
qа = [^(9а/2)^(Уа/2), ^(9а/2>т(у/2),
sin(9а/2)sin(yа/2), sin(9а/2)cсs(yа/2)]т.
Для оценки угловой ориентации РК в системе координат ВК необходимо также учитывать углы ориентации наблюдаемой плоскости, поэтому кватернион поворота системы координат РК относительно ВК: * *
q = qвк ^п ^а, где qп =
sin(9п/2)sin(yп/2), sin(9п/2)cсs(yп/2)]T -кватернион поворота наблюдаемой плоскости, 9п и уп - её тангаж и крен относительно плоскости горизонта,
qвк = [^(9вк / 2), 0, 0, sin(9вк / 2)]т = [1/72, 0, 0, -1/>/2 ]т - кватернион поворота ВК (6ък=-я/2), а символы «*» и «•» обозначают соответственно ква-тернионное сопряжение и умножение [18].
В некоторых частных случаях можно оценить кватернион поворота qп без априорных сведений от ЦКМ: например, при съёмке дорожного покрытия с автомобиля участок поверхности, по которой он движется, приближенно можно считать плоскостью, а нормаль п к ней оценивать по дополнительному ТОА, оси которого коллинеарны строительным осям транспортного средства.
В соответствии с формулами для параметров Родрига-Гамильтона [18] от элементов кватерниона можно перейти к матрице поворота:
К =
1- 2^у2 - 2д2 2 (дЛу - ад) 2 (ад + ад)
2(чя, + чд) 1-2д,2 - 2Ч2 2(- ЧЛ ) 2(ЧхЧ2 - чл,) 2(+ чл) 1 -2Чх2 -2Чу2.
(7)
где д» и [дх, Чу, д]т - соответственно скалярная и векторная части кватерниона q.
Координаты точки начала системы координат РК в системе координат ВК с учётом введённых ограничений определяются из геометрических построений рис. 2:
С1 = [0, ^91, ^2 - ^]т,
где 91 = atan2(qwqx - ЧуЧ?, ч*>2 + Чу2 - 0,5) [18].
Для оценки высоты РК над плоскостью съёмки У1 может применяться дальномер, который выполняет измерение наклонной дальности Б:
V =
По оценённым Я и С1 вычисляется вектор трансляции [7] для подстановки в (4):
1 = -ЯСь (8)
Матрица внутренних параметров ВК К2 может варьироваться значениями параметров /,2 и /2 для масштабирования скорректированного изображения; координаты главной точки ВК (м02, у02) = (^2/2, Н/2), где W2 и Н2 - ширина и высота кадра ВК соответственно.
Таким образом, алгоритм компенсации проективных искажений состоит из следующих этапов. 1. Получение кадра с РК.
2. Оценка ориентации РК относительно плоскости горизонта по (5), (6) и наклонной дальности D до плоскости съёмки.
3. Выбор точки установки ВК (высоты V2 над плоскостью съёмки) и матрицы её внутренних параметров K2. Оценка параметров R и t, связывающих системы координат ВК и РК, по (7) и (8) соответственно.
4. Оценка матрицы томографии H по (4).
5. Применение матрицы H к целочисленным пиксельным координатам формируемого ВК-изображения (без геометрических искажений) для поиска соответствующих им пиксельных координат в изображении с РК и интерполяция яркости.
4. Критерий качества коррекции проективных искажений. Моделирование коррекции проективных искажений при ошибках оценивания угловой ориентации камезры
В качестве показателя качества коррекции проективных искажений примем нормированную величину, равную отношению минимального угла amm изображения плоского объекта прямоугольной формы к максимальному amax:
g = min {a,.}/max (a,.} , i = 1,4. (9)
i / i
Чем ближе g к единичному значению, тем выше качество коррекции.
Влияние ошибок измерения угловых координат исследовалось методом имитационного моделирования в среде Mathcad, где были заданы матрицы внут-
"900 0 640"
ренних параметров РК Ki =
900 0
360 1
и ВК
K2 =
3375 0 0
0
3375 0
640 360 1
высоты
Vi = 800 мм,
¥2 = 3000 мм, 9п = Уп = 0, 9а = я/4, у = -я/10 и координаты объекта наблюдения (квадрата с длиной стороны Е) в системе координат ВК: М1 = [-0,5Е, -0,5Е, У2, 1]т, М2 = [0,5Е, -0,5Е, У2, 1]т, Мэ = [-0,5Е, 0,5Е, У2, 1]т, М4 = [0,5Е, 0,5Е, У2, 1]т, Е = 500 мм.
Для имитации ошибок измерений в модели сигналов микроэлектромеханического ТОА [16] задавалась нормированная к модулю вектора ускорения свободного падения величина постоянного смещения 5 по каждой из его осей чувствительности. Для каждого значения 5 по (1) и (2), (4) - (7) рассчитывались пиксельные координаты ОТ на изображениях РК и ВК соответственно, и вычислялся показатель качества коррекции по (8). Результаты моделирования приведены в таблице и на рис. 3.
При отсутствии коррекции (кадр с РК) показатель качества для выбранной модели составил у = 0,76.
Из результатов модельного эксперимента следует, что для абсолютной ошибки оценивания угловых координат РК с помощью ТОА не более 1°, что дости-
жимо [19, 20] при применении откалиброванных микроэлектромеханических датчиков потребительского класса точности, отличие между углами четырёхугольника (прямоугольника при полной компенсации проективных искажений) составляет не более 2 %. о
200 400
600 Н
а) 0 0
500
1000
W
б)
в)
200
400
600 Н
0 200 400
600 Н
500
1000
W
500
1000
W
Рис. 3. Результаты моделирования работы алгоритма коррекции проективных искажений при ошибках измерения ускорения: а) 5= 0, б) 5= 0,002, в) 5= 0,005. Пунктиром показано изображение РК без коррекции, сплошной линией - скорректированное изображение ВК
Табл. Зависимость показателя качества коррекции проективных искажений от относительной ошибки измерения ускорения ТОА
Относительная ошибка измерения проекции ускорения свободного падения, 5х103 0 1 2 3 4 5
Ошибка оценки
угловых коор- 0 0,57 1,15 1,72 2,3 2,86
динат, град.
Показатель качества коррекции у 1 0,99 0,98 0,97 0,96 0,95
5. Результаты эксперимента
В эксперименте использовались две цифровые видеокамеры, откалиброванные по шаблону типа «шахматная доска» согласно методике [21] в пакете [22]: веб-камера Logitech C270 (размер кадра 1280x720 пикселей, интерфейс USB 2.0) и камера технического зрения IDS uEye 5240 RE (размер кадра 1280x1024
пикселей, интерфейс GigE) с мегапиксельным объективом Computar H0514-MP. В качестве инерциально-го датчика применялся смонтированный на отладочную плату (рис. 4) сенсор с 9 степенями свободы (трёхосные акселерометр, датчик угловой скорости и магнитометр) MPU-9250 фирмы InvenSense, откалиб-рованный по методике [16].
Рис. 4. Камера IDS uEye 5240 RE с инерциальным датчиком
Наклонная дальность D до объекта съёмки оценивалась лазерным дальномером Leica Disto D210 (погрешность измерения дальности - 1 мм).
Исходные кадры с видеокамер (рис. 5а-в) получены при угле места камер Ва в диапазоне -20...-30° и крене Уа в диапазоне -20...20°. Результаты коррекции проективных искажений приведены на рис. 5. Для оценки показателя качества g на границы прямоугольных объектов на изображениях с камер наложены прямые линии по результатам преобразования Хафа (рис. 5г-е).
При проведении эксперимента полагалось, что ориентация наблюдаемых плоскостей априорно неизвестна, поэтому для них были приняты углы ориентации 9п=Уп=0°. ВК размещались таким образом, чтобы У2 = 1,5...2 м, а их фокусные расстояния были выбраны вдвое большими, чем у РК. Также для того, чтобы в кадре с ВК после коррекции присутствовала почти вся информация с кадра РК размером ^хНО, размер её кадра выбирался равным (W2XH2) = (Н1Х Wl).
Из результатов эксперимента следует, что в результате коррекции для объектов вне наблюдаемой плоскости (например, цветы на подоконнике на рис. 5г и д), на которые не распространяются принятые для алгоритма коррекции с ВК ограничения, наблюдаются сильные геометрические искажения.
Для объектов, лежащих в плоскости с априорно известной угловой ориентацией, алгоритм коррекции проективных искажений с помощью ВК при погрешности оценивания угловых координат не более 1° обеспечивает показатель качества по критерию (7) у > 0,98, что подтверждает результаты имитационного моделирования.
Заключение
Рассмотренный в работе алгоритм реализует коррекцию проективных искажений по дополнительной информации о пространственном и угловом положении камеры относительно плоскости съёмки, поступающей от трёхосного микроэлектромеханического акселерометра и лазерного дальномера.
Рис. 5. Результаты коррекции проективных искажений а) кадр IDS uEye 5240 RE при крене у/а »0°, g= 0,57; б) кадр IDS uEye 5240 RE при крене у/а = -18°, g= 0,563;в) кадр Logitech C270 при крене у/а »0°, g= 0,58; г) кадр а) с коррекцией, g= 0,992; д) кадр б) с коррекцией, g= 0,998; е) кадр в) с коррекцией, g= 0,982
2.
Литература
Макаренко, А.А. Коррекция проективных искажений изображений при маловысотной оптико-электронной аэросъёмке / А.А. Макаренко, Л.С. Турнецкий // Известия вузов. Приборостроение. - 2008. - Т. 51, № 5. - С. 64-70. Li, M. A new lane line segmentation and detection method based on inverse perspective mapping / M. Li, C. Zhao, Y. Hou, M. Ren // International Journal of Digital Content
Technology and its Applications. - 2011. - Vol. 5(4). -P. 230-236. - DOI: 10.4156/jdcta.vol5.issue4.28.
3. Фурсов, В.А. Информационная технология реконструкции цифровой модели местности по стереоизображениям / В. А. Фурсов, Е.В. Гошин // Компьютерная оптика. - 2014. - Т. 38, № 2. - С. 335-342.
4. Фаворская, М.Н. Компенсация проективных искажений при создании панорамных снимков / М.Н. Фаворская, Д.С. Новиков // Техническое зрение. -2014. - Вып. 1(5). - С. 60-67.
1
5. Ефимов, А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А.И. Ефимов, А.И. Новиков // Компьютерная оптика. - 2016. - Т. 40, № 2. - С. 258-265. - DOI: 10.18287/24126179-2016-40-2-258-265.
6. Williem, W. Fast and robust perspective rectification of document images on a smartphone / W. Williem, C. Simon, S. Cho, I.K. Park // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). - P. 197-198. - DOI: 10.1109/CVPRW.2014.37.
7. Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. - 2nd ed. - Cambridge, UK: Cambridge University Press, 2003. - 656 р. - DOI: 10.1017/CB09780511811685.
8. Xu, G. Epipolar geometry in stereo, motion and object recognition. A unified approach / G. Xu, Z. Zhang. - Dordrecht: Kluwer Academic Publishers, 1996. - 327 p. - DOI: 10.1007/978-94-015-8668-9.
9. Гошин, Е.В. Двухэтапное формирование пространственного преобразования для совмещения изображений / Е.В. Гошин, А.П. Котов, В.А. Фурсов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 886-891.
10. Jung, J.-I. Geometric and colorimetric error compensation for multi-view images / J.-I. Jung, Y.-S. Ho // Journal of Visual Communication and Image Representation. -2014. - Vol. 25(4). - P. 698-708. - DOI: 10.1016/j.jvcir.2013.04.008.
11. Wang, X. Geometric and photometric correction of projected rectangular pictures / X. Wang, R. Klette, B. Rosenhahn // Proceedings of the Image Vision Computing. - 2005. -P. 223-228.
12. Geetha, K.A. Automatic rectification of perspective distortion from a single image using plane homography / K.A. Geetha, S. Murali // International Journal on Computational Sciences and Applications. - 2013. - Vol. 3(5). -P. 47-58. - DOI: 10.5121/ijcsa.2013.3506.
13. Алпатов, Б.А. Электронная юстировка изображений при мультиспектральном наблюдении / Б.А. Алпатов,
П.В. Бабаян // Цифровая обработка сигналов. - 2003. -№ 1. - С. 24-26.
14. Szeliski, R. Stereo matching with transparency and matting / R. Szeliski, P. Golland // International Journal of Computer Vision. - 1999. - Vol. 32(1). - P. 45-61. - DOI: 10.1023/A:1008192912624.
15. Szeliski, R. Computer vision: Algorithms and applications / R. Szeliski. - London: Springer, 2011. - 812 p. - ISBN: 978-1-84882-934-3.
16. Kian, S.T. Triaxial accelerometer static calibration / S.T. Kian, M. Awad, A. Dehghani, S. Zahedi // Proceedings of the World Congress on Engineering. - 2011. - Vol. III. -P. 2164-2167.
17. Tilt sensing using a three-axis accelerometer [Электронный ресурс]. - URL: https://www.nxp.com/files/sen-sors/doc/app_note/AN3461.pdf.
18. Челноков, Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения / Ю.Н. Челноков. - М.: ФИЗМАТЛИТ, 2006. - 512 с. -ISBN 5-9221-0680-5.
19. Rohac J. Calibration of low-cost triaxial inertial sensors / J. Rohac, M. Sipos, J. Simanek // IEEE Instrumentation and Measurement Magazine. - 2015. - Vol. 18(6). - P. 3238. - DOI: 10.1109/MIM.2015.7335836.
20. Kholopov, I.S. Development of strapdown inertial navigation system with MEMS sensors, barometric altimeter and ultrasonic range meter / I.S. Kholopov // IOP Conference Series: Materials Science and Engineering. - 2015. - Vol. 93(1). -012060. - DOI: 10.1088/1757-899X/93/1/012060.
21. Zhang, Z. A flexible new technique for camera calibration / Z. Zhang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22(11). - P. 1330-1334. -DOI: 10.1109/34.888718.
22. Camera calibration toolbox for Matlab [Электронный ресурс]. -
URL: http://www.vision.caltech.edu/bouguetj/calib_doc/.
Сведения об авторе
Холопов Иван Сергеевич, 1984 года рождения, в 2007 году окончил Рязанский государственный радиотехнический университет по специальности 201700 «Средства радиоэлектронной борьбы», работает доцентом в ФГБОУ ВО «Рязанский государственный радиотехнический университет» и научным сотрудником в Акционерном обществе «Государственный Рязанский приборный завод». Область научных интересов: инерциальная навигация, обработка изображений. E-mail: kholopov.i.s@rsreu.ru .
ГРНТИ: 28.23.15.
Поступила в редакцию 14 сентября 2016 г. Окончательный вариант - 24 октября 2016 г.
PROJECTIVE DISTORTION CORRECTION ALGORITHM AT LOW ALTITUDE PHOTOGRAPHING
I.S. Kholopov 12 1 Ryazan State Radio Engineering University, Ruazan, Russia, 2 Joint Stock Company Ryazan State Instrument-making Enterprise, Ruazan, Russia
Abstract
An algorithm for projective geometric distortion correction of images at low altitude shooting with a virtual camera is considered. The algorithm is based on the orientation of the virtual camera so that its optical axis is collinear with the normal to the plane of shooting and evaluating a homography matrix linking the coordinates of corresponding pixels of the real and virtual cameras. The homography matrix evaluation is possible based on information from additional sensors - an angular orientation sensor and a rangefinder, or altimeter. Their signals allow one to estimate the camera angular orientation and the distance to the observed plane. The impact of the angular orien-
tation error, estimated using a triaxial microelectromechanical accelerometer, on a criterion-based correction quality is investigated. The experimental results with pre-calibrated cameras Logitech C270 and uEye RE 5240 show that when the roll and pitch errors of the camera orientation are no more than 1 ° then the correction algorithm with the virtual camera provides a quality index value of at least 0.97.
Keywords: projective distortion, homography matrix, affine transformations, Euler angles, three-axis accelerometer.
Citation: Kholopov IS. Projective distortion correction algorithm at low altitude photographing. Computer Optics 2017; 41(2): 284-290. DOI: 10.18287/0134-2452-2017-41-2-284-290.
References
[1] Makarenko AA, Turnetskiy LS. Correction of projective distortions of the maps at low-level opto-electronic aerophotography [In Russian]. Izvestiya vuzov. Priborostroenie 2008; 51(5): 64-70.
[2] Li M, Zhao C, Hou Y, Ren M. A new lane line segmentation and detection method based on inverse perspective mapping. International Journal of Digital Content Technology and its Applications 2011; 5(4): 230-236. DOI: 10.4156/jdcta.vol5.issue4.28.
[3] Fursov VA, Goshin YeV. Information technology for digital terrain model reconstruction from stereo images. Computer Optics 2014; 38(2): 335-342.
[4] Favorskaya MN, Novikov DS. Compensation of projective distortion for building of panoramic images [In Russian]. Technical Vision 2014; 1(5): 60-67.
[5] Efimov AI, Novikov AI. An algorithm for multistage projective transformation adjustment for image superimposition. Computer Optics 2016; 40(2): 258265. DOI: 10.18287/2412-6179-2016-40-2-258-265.
[6] Williem W, Simon C, Cho S, Park IK. Fast and robust perspective rectification of document images on a smartphone. In: Proc CVPRW 2014: 197-198. DOI: 10.1109/CVPRW.2014.37.
[7] Hartley R, Zisserman A. Multiple view geometry in computer vision. Cambridge, UK: Cambridge University Press; 2003. DOI: 10.1017/CBO9780511811685.
[8] Xu G, Zhang Z. Epipolar geometry in stereo, motion and object recognition. A unified approach. Dordrecht: Kluwer Academic Publishers; 1996. DOI: 10.1007/97894-015-8668-9.
[9] Goshin YeV, Kotov AP, Fursov VA. Two-stage formation of a spatial transformation for image matching. Computer Optics 2014; 38(4): 886-891.
[10] Jung J-I, Ho Y-S. Geometric and colorimetric error compensation for multi-view images. Journal of Visual Communication and Image Representation 2014; 25(4): 698-708. DOI: 10.1016/j.jvcir.2013.04.008.
[11] Wang X, Klette R, Rosenhahn B. Geometric and photometric correction of projected rectangular pictures. In: Proc Image Vision Computing 2005: 223-228.
[12] Geetha KA, Murali S. Automatic rectification of perspective distortion from a single image using plane homography. International Journal on Computational Sciences and Applications 2013; 3(5): 47-58. DOI: 10.5121/ijcsa.2013.3506.
[13] Alpatov BA, Babayan PV. Digital adjustment of multispectral images observation [In Russian]. Digital signal processing 2003; 1: 24-26.
[14] Szeliski R, Golland P. Stereo matching with transparency and matting. International Journal of Computer Vision 1999; 32(1): 45-61. DOI: 10.1023/A:1008192912624.
[15] Szeliski R. Computer vision: Algorithms and applications. London: Springer; 2011. ISBN: 978-184882-934-3.
[16] Kian ST, Awad M, Dehghani A, Zahedi S. Triaxial accelerometer static calibration. In: Proc. of the World Congress on Engineering 2011; III: 2164-2167.
[17] Tilt sensing using a three-axis accelerometer. Source: <https://www.nxp.com/files/sensors/doc/app_note/AN3 461.pdf>.
[18] Chelnokov YuN. Quaternion and Biquaternion Models and Methods of Mechanics of Solids and Their Applications [In Russian]. Moscow: "FIZMATLIT" Publisher; 2006. ISBN 5-9221-0680-5.
[19] Rohac J, Sipos M, Simanek J. Calibration of low-cost triaxial inertial sensors. IEEE Instrumentation and Measurement Magazine 2015; 18(6): 32-38. DOI: 10.1109/MIM.2015.7335836.
[20] Kholopov IS. Development of strapdown inertial navigation system with MEMS sensors, barometric altimeter and ultrasonic range meter. IOP Conference Series: Materials Science and Engineering 2015, 93(1): 012060. DOI: 10.1088/1757-899X/93/1/012060.
[21] Zhang Z. A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence 2000; 22(11): 1330-1334. DOI: 10.1109/34.888718.
[22] Camera calibration toolbox for Matlab. Source: <http://www.vision.caltech.edu/bouguetj/calib_doc/>.
Authors' information
Ivan Sergeevich Kholopov (b. 1984) graduated from Ryazan State Radio Engineering University in 2007, majoring in Electronic Warfare Equipment. Currently he works as associate professor at the Ryazan State Radio Engineering University and the researcher at the Joint Stock Company Ryazan State Instrument-making Enterprise. Research interests are strapdown systems and image processing.
Received September 14, 2016. The final version - October 24, 2016.
