CC BY
132
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ РЕКОНСТРУКЦИИ ЦИФРОВОЙ МОДЕЛИ МЕСТНОСТИ ПО СТЕРЕОИЗОБРАЖЕНИЯМ
Фурсов В.А., Гошин Е.В.
Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)
Аннотация
В работе рассматривается информационная технология реконструкции цифровой модели местности по паре стереоизображений. Для случая, когда параметры съёмки известны, детально рассмотрены алгоритмы сопоставления изображений с учётом эпиполярных ограничений. При сопоставлении используются весовые коэффициенты, играющие роль функции штрафа при удалении сопоставляемой точки от эпиполярной линии. Рассмотрена также реализация технологии в случае, когда параметры съёмки не известны. При этом на начальном этапе решается задача идентификации фундаментальной матрицы по соответствующим точкам. Достоинством предлагаемой технологии является отсутствие этапа ректификации изображений, вносящего дополнительные искажения, связанные с интерполяцией изображений. Приводится пример реконструкции ЦММ по космическим стереоизображениям.
Ключевые слова: стереоизображения, сопоставление изображений, цифровая модель местности, карта диспарантности, согласованная идентификация, фундаментальная матрица, эпиполярная геометрия.
Введение
Создание цифровой модели местности (ЦММ) по космическим стереоизображениям является одной из наиболее актуальных задач дистанционного зондирования Земли. Традиционная информационная технология построения ЦММ состоит в последовательной реализации следующих этапов: ректификация стереоизображений, нахождение соответственных точек, построение карты диспарантности.
Ректификация состоит в «выравнивании» изображений таким образом, что соответствующие точки оказываются на параллельных строках, ориентированных в одном направлении. Это создаёт определённые удобства при последующем поиске на этих строках соответствующих точек. В статье [1] рассмотрен метод проективной ректификации, предполагающий вычисление фундаментальной матрицы по нескольким (не менее семи) соответствующим точкам. В работе [2] рассмотрен метод ректификации на основе декомпозиции матрицы проективного преобразования.
Проективная ректификация неприменима в случае, когда эпиполюсы расположены на изображениях или слишком близко к изображению. В статье [3] для обеспечения возможности работы с эпиполюсами на изображениях предлагается полярная ректификация. Идея метода состоит в полярной развёртке изображений относительно эпиполюса. При этом соответствующие точки на изображениях ищутся на так называемых эпиполярных линиях, которые определяются с использованием заданной (или вычисленной по соответствующим заданным тестовым точкам) фундаментальной матрицы [4], [5].
Предложенный метод, хотя и решает множество проблем проективной ректификации, не лишён недостатков. Например, полярная ректификация «не работает» в случае, когда эпиполюс расположен в бесконечности или один эпиполюс расположен в беско-
нечности, а другой - на изображении. В работах [6] и [7] предпринята попытка распространить предложенный метод на все случаи.
Несмотря на многочисленные попытки улучшить методы проективной и полярной ректификации, всегда остаётся общий недостаток этих методов: в ходе ректификации в том или ином виде всегда осуществляется интерполяция отсчётов, что сопровождается неизбежными искажениями. Фактически после этого этапа поиск соответствий осуществляется «на других» изображениях, существенно отличающихся от исходных. При этом возникают дополнительные трудности сопоставления стереоизображений.
Ряд работ посвящён методам сопоставления с использованием алгоритмов градиентного оптического потока [8]. Метод формирования сцены путём отслеживания движения, причём в случаях, когда движение неизвестно, рассмотрен в работе [9]. В работе [10] предложен метод отслеживания движения характерных точек и линий на изображениях.
Завершающим этапом традиционных технологий 3Б-реконструкции обычно является формирование карт диспарантности [11]. На этом этапе, вследствие ошибок в определении соответственных точек, возникает проблема вычисления координат объектов. Дело в том, что лучи, на пересечении которых находится искомая точка в трёхмерном пространстве, как правило, не пересекаются из-за относительных смещений соответствующих точек. Связанные с этой проблемой трудности триангуляции рассматривались в работе [12]. В работе [13] предлагается технология, позволяющая избежать указанных проблем за счёт использования геометрических ограничений при построении карты диспарантности.
В настоящей работе предлагается технология восстановления цифровой модели местности, позволяющая в значительной степени избежать указанных выше недостатков. Мы строим технологию,
в которой соответствующие точки определяются сразу с учётом эпиполярных ограничений, что позволяет избежать этапа ректификации. При этом возникают некоторые специфические задачи, решению которых и посвящена настоящая работа.
1. Постановка задачи построения ЦММ по стереоизображениям
Для построения ЦММ по стереоизображениям будем использовать модель камеры-обскуры. Камеры характеризуются матрицами:
К =
/ О О /
О О
К 2 =
/2 О О
О
/2 О
где / , 1 = 1,2 - фокусные расстояния камер, (иО,у0 ), I = 1,2 - координаты главных точек камер в системах координат, связанных с камерами. Центры систем координат первой и второй камер располагаются соответственно в точках сг, с2 глобальной системы координат. Эти точки в общем случае не совпадают с началом глобальной системы координат.
Пусть М - некоторая точка в глобальной системе координат, которая должна быть восстановлена по стереоизображениям. Вектор координат точки М в глобальной системе координат связан с векторами координат этой точки в системах координат первой - тг и второй - т2 камер соотношениями [14]: тг = РгМ,
т
Р2М
(1) (2)
где так называемые матрицы проекций определяются как Р1 = К1 [К1 ], (3)
Р2 = К2 [К2 -Л 2 ] . (4)
Здесь И1, Я2 - матрицы размерности 3 х 3 , описывающие поворот систем координат первой и второй камер относительно глобальной, а ^ = [¿1>х, ^] ,
*2 = \}2Х, ^у/2,г ] - координаты начала глобальной
системы координат в системах координат первой и второй камер соответственно:
*1 = "К1С1 :
12 = -И2с2.
(5)
(6)
Из рис. 1 видно, что координаты точки М в трёхмерном пространстве могут быть вычислены с использованием проекций т1,т2 точки М на изображениях первой и второй камеры по соотношениям (1-6) как пересечение лучей (с1,т1) и (с2,т2).
Соответствующие точки на двух проекциях связаны фундаментальной 3х3-матрицей Р [15], в частности, для точек, координаты которых заданы 3*1-
векторами т1, т2: т1 =[м1,у1,1] выполняется условие
т
= [и2 , ^2 ,1]
т1 Рт2 = О
(7)
где
Р12 Р13
р = ^21 р 22 ^23
_ ^31 ^32 ^33
М
Рис. 1. Модель эпиполярной геометрии
Соотношение (7) задаёт эпиполярные ограничения на допустимые координаты соответствующих точек на стереоизображениях. Нетрудно заметить, что для учёта этих ограничений необходимо точное знание фундаментальной матрицы.
Вторая проблема связана с тем, что фрагменты изображений вдоль эпиполярных линий могут быть подвержены значительным и притом различным на парах стереоизображений проективным искажениям, что создаёт дополнительные трудности в установлении соответствий.
Преодолению двух указанных проблем посвящена настоящая статья. В статье также приводится пример реконструкции ЦММ по космическим стереоизображениям с использованием предлагаемых алгоритмов поиска соответствующих точек с учётом эпиполяр-ных ограничений.
2. Сопоставление изображений с учётом эпиполярных ограничений
Вначале рассмотрим более простой случай реализации технологии, когда фундаментальная матрица может быть вычислена по известным параметрам камер и измеренным (в моменты регистрации стереоизображений) параметрам движения космического аппарата. В качестве прототипа будем рассматривать широко используемый алгоритм для сопоставления произвольных изображений SimpleFlow [16]. Рассмотрим, как при известной фундаментальной матрице в критерий близости при сопоставлении точек могут быть добавлены эпиполяр-ные ограничения.
Обозначим координаты точек на первом изображении стереопары (х, у), а координаты соответствующих
им точек на втором - (х + и, у + V), где и, V - относительные сдвиги координат х, у соответственно. Пусть 11 (х,у) и 12 (х + и, у + V) - функции распределения яркости отсчётов на этих изображениях.
Задача состоит в поиске для каждой точки ( х, у) на первом изображении соответствующей точки (х + и, у + V) на втором изображении. В качестве меры
близости между значениями яркостей отсчётов будем использовать квадратичную норму:
и
и
V
V
Т
е(х,у,и,V) = I (х,у)-1 (х + и,у + V)
(8)
При этом задача нахождения наиболее подходящих значений координат сдвигов и, V может быть сформулирована как задача минимизации некоторого критерия сходства:
Е(х0,у0,и,V)= £ а (х,у)е (х,у,и,V), (9)
(х, у)еБ( хо,уо )
где Б(х0,у0) - заданная область вокруг точки (х0, у0), а а (х, у) - весовая функция, задаваемая в
указанной области с целью повышения качества сопоставления. Задача минимизации в данном случае может решаться путём перебора всех возможных значений сдвигов в заданной области.
При построении процедур сопоставления точек с учётом эпиполярных ограничений необходимо учитывать, по крайней мере, следующие факторы, оказывающие влияние на качество сопоставления:
- проективные искажения;
- неточность определения координат точек, принадлежащих эпиполярным линиям, вследствие дискретизации.
С учётом этого зададим весовую функцию а (х, у) в (9) в виде произведения трёх коэффициентов:
а(х,у) = wc • wd • , (10)
где wc, wd - коэффициенты, учитывающие влияние проективных искажений, а wf - коэффициент, обеспечивающий «попадание» точки на эпиполярную линию. Эти коэффициенты также являются функциями (х,у) в области Б(х0,у0), но для упрощения мы
опускаем эти обозначения.
Будем строить процедуры формирования этих коэффициентов так, чтобы увеличение каждого из них было направлено на уменьшение влияния указанных выше искажающих факторов, т.е. так, чтобы увеличение а(х,у) в целом, как правило, приводило к улучшению качества сопоставления.
Для ослабления влияния проективных искажений коэффициенты wd, wc зададим в виде
^ = ехР {-||( ^ у0)-(х у )| |2}, (х у) ^ = ехр{-|(у0)-11 (х,у|2},(х,у)е Б
е Б, (11)
(12)
Множитель (11) - wd повышает вес центральных значений. Необходимость такого взвешивания объясняется следующим. Дело в том, что характер проективных искажений для соответствующих точек на стереоизображениях может быть существенно различным, притом эти различия возрастают по мере удаления от центральных точек фрагментов. В работе [17] для снижения влияния этого фактора применялись фрагменты с размерами в направлении, перпендикулярном эпиполярной линии, равными одному межпиксельному расстоянию.
Введение коэффициента wd обеспечивает похожее компромиссное решение: не отказываясь от использования всей информации на фрагменте, мы фактически уменьшаем размер эффективной площади фрагмента.
Множитель (12) - wc выполняет ту же функцию, однако для этого используется информация о значениях яркостей отсчётов. Во-первых, это позволяет расширить эффективную область сопоставления фрагментов в ситуациях, когда функция распределения яркости в окрестности точки (х0, у0) достаточно гладкая. Во-вторых, снижение влияния проективных искажений с помощью только одного коэффициента wd обычно недостаточно, поскольку априорная информация о размерах области существенных проективных искажений, как правило, отсутствует.
Указанные весовые коэффициенты были предложены в работе [16], однако там отсутствовал коэффициент, отвечающий за соблюдение эпиполярных ограничений. Аналогичные весовые функции также рассматривались в работе [18], где они имели форму пирамиды. Кроме того, для учёта эпиполярных ограничений мы вводим также весовой коэффициент близости к эпиполярной линии. Процедура строится следующим образом.
Используется тот факт, что каждой точке (х, у) на первом изображении соответствует эпиполярная прямая ах' + Ьу' + с = 0 на втором:
(х, у)®
т т т
М1 \2 М3
ттт
V Т31
тт
33
(Л
у
V1У
(а^
(13)
а х0 Т11 + у0 Т12 + Т13,
ь = х0 + у0 ¥21 + Ти, (14)
с = х0 Т31 + у0 Т32 + Т33.
Расстояние от точки (х, у ) на втором изображении до эпиполярной прямой I', соответствующей точке ( х, у ) на первом изображении, определяется как
,// , Л ,л ах + Ьу + с d((х ,у ),I ) = —= а
а2 + Ь2
(15)
Поскольку координаты отсчётов - целые числа, попадание точки, координаты которой вычислены по соотношению (15), точно на эпиполярную линию -маловероятное событие. Поэтому указанные эпипо-лярные ограничения при сопоставлении точек с использованием критерия (9) будем учитывать в виде дополнительного множителя wf:
wf = ехр{^((х',у'),I')} = ехр|- ' + С} .(16)
Этот коэффициент, по существу, задаёт функцию «штрафа» при удалении точки от эпиполярной линии.
В ситуации, когда фундаментальная матрица не может быть вычислена, она определяется по так называе-
Ь
V с У
мым «затравочным» соответствующим точкам. Определение этих точек осуществляется с использованием описанного выше критерия (9-1О), за исключением использования коэффициента м, который не может быть определён до тех пор, пока не определена фундаментальная матрица.
3. Описание технологии
Рассмотрим построение сквозной технологии построения ЦММ по космическим стереоизображениям для общего случая, когда фундаментальная матрица неизвестна и должна оцениваться по самим стереоизображениям. В этом случае технология включает следующие основные этапы:
1. Предварительное сопоставление изображений.
2. Построение фундаментальной матрицы.
3. Окончательное сопоставление изображений.
4. Построение карты диспарантности и ЦММ.
Рассмотрим эти этапы более детально.
1. Предварительное сопоставление изображений состоит в нахождении множества соответствующих точек, расположенных по полю изображения так, чтобы исключить линейную зависимость координат этих точек. Процедура строится в виде иерархической схемы вычислений. Для обоих видов формируется так называемая «пирамида изображений», которая представляет собой набор изображений, полученных уменьшением разрешения в два раза по обеим координатам. Таким образом, на Ы-м уровне пирамиды формируется изображение, разрешение которого в 2Ы раз меньше исходного разрешения.
На первом шаге алгоритма обрабатывается изображение с наименьшим разрешением. При этом начальный сдвиг принимается равным нулю. На каждом последующем этапе «разрешение» полученного сдвига увеличивается вдвое. При этом значения координат сдвига также удваиваются. При поиске соответствия уточняется уже имеющийся сдвиг. Такая процедура выполняется до получения соответствий на исходных изображениях.
2. Построение фундаментальной матрицы. Метод и алгоритм её определения с использованием метода согласованной идентификации описан в работе [19]. Для её определения используются соответствующие точки, найденные на предыдущем этапе. Основное требование на этом этапе - помехоустойчивость, т.к. точность определения фундаментальной матрицы определяет успешность реализации последующих этапов технологии.
В данном случае по координатам соответствующих точек формируется переопределённая система уравнений (7). Затем осуществляется нормализация координат, заключающаяся в следующем. Сначала координаты всех точек смещают таким образом, чтобы среднее этих координат оказалось в точке (О,О). Затем значения координат масштабируют таким образом, чтобы
среднее расстояние от точек до нуля стало равным ^¡2 .
Необходимо подчеркнуть, что теоретически ранг фундаментальной матрицы всегда равен двум. Если в
результате решения задачи идентификации её ранг оказался равным трём, производится SVD-разложение. Наименьшее по абсолютной величине собственное значение в полученном разложении мы заменяем нулём и перемножаем компоненты SVD-разложения. Полученная в результате матрица будет незначительно отличаться от первоначально оцененной, но при этом будет удовлетворять необходимым условиям.
3. Окончательное сопоставление изображений. На этом этапе сопоставление выполняется с учётом эпиполярных ограничений так, как описано в разделе 2. Как и на первом этапе, сопоставление производится иерархически. Особенность состоит в том, что на каждой итерации иерархического сопоставления координаты, используемые для определения близости к эпиполярным линиям, приводятся к координатам исходных изображений. При этом для Ы-го уровня пирамиды соотношения (14) и (16) принимают следующий вид:
а = 2"хО/11 + уО/12 + и
Ь = 2Ыхо /21 + 2Ыуо/22 + /23 , (17)
с = 2Ыхо/31 + 2ыУО/32 + /33,
Г 2Ы ах' + 2ЫЬу' + с 1
=ехр I- |. (18)
4. Построение карт диспарантности и ЦММ. Как указано выше, описанная технология может применяться в общем случае, когда априорная информация о параметрах камер отсутствует. Заметим, что при этом отсутствует возможность точного восстановления 3D-координат ЦММ. В этом случае технология завершается построением карты диспарантности, т.е. формированием изображения, яркости пикселов которого соответствуют разностям координат соответствующих точек на стереопаре.
Заметим, что при наличии дополнительной информации о параметрах съёмки некоторые этапы могут быть исключены из описанной выше технологии. Например, если известны координаты точек геопривязки, первый этап предварительного сопоставления не требуется, а фундаментальная матрица может быть найдена исходя из этих координат. Аналогично в случае, когда точно известны параметры камер (внутренние и внешние), необходимость в идентификации фундаментальной матрицы отсутствует, поскольку она может быть точно найдена на основе этих параметров.
4. Примеры реконструкции ЦММ
Для сравнения с исходным алгоритмом SimpleFlow был проведён эксперимент на наборе тестовых стереоизображений «^икиЬа» для двух видов съёмки: при дневном свете и при освещении направленным светом. В роли количественной меры было выбрано число пикселов карты диспарантности, не являющихся окклю-зиями и отличающихся от истинных более чем на 10 %. В табл. 1 приведено число таких пикселов, вычисленных по карте диспарантности, полученной в результате
обработки алгоритмом 81шр1еБ1о^г и предлагаемым алгоритмом. В скобках после абсолютного числа пикселей приведено также их относительное число в процентах к общему числу оцениваемых пикселов.
Таблица 1. Число ошибочных соответствий
Условия съёмки Предлагаемый метод 81шр1еИош
Дневной свет 19 191 (~8,3%) 21 187 (~9,1%)
Направленный свет 15 645 (~6,7%) 21 088 (~9,1%)
На рис. 2а и б приведены исходные космические стереоизображения, на которых проводились эксперименты.
Рис. 2. Исходная пара стереоизображений
Эксперименты по проверке качества сопоставления проводились в два этапа: предварительное сопоставление (фундаментальная матрица неизвестна) и
окончательное сопоставление с учётом эпиполярных ограничений, задаваемых фундаментальной матрицей.
Предварительное сопоставление изображений производилось с использованием описанной выше технологии с числом уровней пирамиды (включая исходное изображение), равным четырем. В качестве параметров для сопоставления были выбраны следующие значения:
- размер окна сопоставления - 11x11 пикселов;
- размер области поиска соответствий на каждом уровне пирамиды - 9x9 пикселов.
На этапе окончательного сопоставления эпипо-лярные ограничения задавались фундаментальной матрицей:
(
^ =
-6,73 10-5 1,22 -10-4 5,98
-6,56 10-5 6.25 -10-6 0,62
-5,94 -0,65 1
Л
У
которая была оценена по соответствующим точкам, полученным на этапе предварительного сопоставления.
На рис. 3а и б приведён фрагмент одного (левого) изображения стереопары с нанесёнными на него светлыми линиями, иллюстрирующими величины и направления ошибок сдвигов, найденных при сопоставлении точек на стереопарах. На рис. 3а показан результат предварительного сопоставления, а на рис. 3 б - результат сопоставления с учётом эпипо-лярных ограничений. Нетрудно заметить, что большинство векторов сдвигов после предварительного сопоставления направлено хаотично, что свидетельствует о большом числе ошибок сопоставления.
Поскольку в экспериментах использовались стереоизображения, параметры съёмки которых неизвестны, отсутствовала возможность полного и точного восстановления трёхмерной сцены. Поэтому соответствующая трёхмерная сцена на рис. 4б представлена в относительных высотах.
Работоспособность разработанной технологии проверялась также на имеющихся в открытом доступе тестовых изображениях «Пентагон» (рис. 5).
Рис. 3. Изображения с нанесёнными результатами сопоставления точек: а) на предварительном этапе; б) с учётом эпиполярных ограничений (светлые линии означают сдвиги между соответствующими точками)
Рис. 4. а) Карта диспарантности,
4.
Рис. 5. Тестовая стереопара «Пентагон» а, б) исходные изображения, в) карта диспарантности, г) восстановленная ЦММ
Заключение
Показано, что предложенная информационная технология сопоставления стереоизображений, основанная на использовании эпиполярных ограничений, задаваемых фундаментальной матрицей, обеспечивает достаточно высокое качество сопоставления и последующего формирования цифровой модели местности. Построение разработанной информационной технологии в виде быстродействующей иерархической схемы вычислений создаёт предпосылки для реализации программного обеспечения построения ЦММ в CUDA-среде в реальном времени.
Благодарности
Работа выполнена при поддержке Министерства образования и науки РФ и РФФИ (проекты № 12-0700581, № 13-07-12030 офи_м, № 13-07-13166).
Литература
1. Hartley, R.I. Theory and Practice of Projective Rectification // International Journal of Computer Vision. - 1999. -V. 35. - P. 115-127.
2. Monasse, P. Three-step image rectification / P. Monasse, J.-M. Morel, Z. Tang // Proceedings of the British Machine Vision Conference. - 2010. - V. 19. - P. 89.1-89.10.
3. Pollefeys, M. A simple and efficient rectification method for general motion // The Proceedings of the 7th IEEE In-
б) восстановленная ЦММ
ternational Conference on Computer Vision. - 1999. - V. 1. - P. 496-501.
Fursov, V. Conformed Identification of the Fundamental Matrix in the Problem of a Scene Reconstruction, using Stereo Images / V. Fursov, Ye. Goshin // Image Mining. Theory and Applications. Proceedings of IMTA-4 2013. - 2013. - P. 29-37. Luong, Q.T. The fundamental matrix: Theory, algorithms, and stability analysis / Q.T. Luong, O.D. Faugeras // International Journal of Computer Vision. - 1996 - V. 17(1). - P. 43-75. Häming, K. Extension of the generalized image rectification - Catching the infinity cases / K. Häming, G. Peters // Proc. 4th International Conference on Informatics in Control, Automation, and Robotics (ICINCO 2007). - 2007 -V. 2. - P. 275-279.
Oram, D. Rectification for any epipolar geometry //British Machine Vision Conference. - 2001. - P. 653-662. Pollefeys, M. Detailed real-time urban 3d reconstruction from video / M. Pollefeys, D. Nistr, J.M. Frahm [et al.] // International Journal of Computer Vision. - 2008. - V. 78(2-3). -P. 143-167.
Molton, N. Practical structure and motion from stereo when motion is unconstrained / N. Molton, M. Brady // International Journal of Computer Vision. - 2000. - V. 39(1). - P. 5-23.
. Vieville, T. Motion of points and lines in the uncalibrated case / T. Vieville, O. Faugeras, Q.T. Luong // International Journal of Computer Vision. - 1996. - V. 17(1). - P. 7-41.
. Baha, N. Accurate real-time disparity map computation based on variable support window / N. Baha, S. Larabi // International Journal of Artificial Intelligence & Applications (IJAIA). - 2011. - V. 2. - P. 22-34.
. Hartley, R.I. Triangulation / R.I. Hartley, P. Sturm // Computer Vision and Image Understanding. - 1997. - V. 68. -P. 146-157.
. Stewart, C.V. Geometric constraints and stereo disparity computation / C.V. Stewart, R.Y. Flatland, K. Bubna // International Journal of Computer Vision. - 1996. - V. 20, Issue 3. - P. 143-168.
. Грузман, И.С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых [и др.]. - Новосибирск: Изд-во НГТУ, 2002. - 352 c.
. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс. - М.: Издательский дом «Вильямс», 2004. - 928 с.
. Фурсов, В.А. Реконструкция 3D-сцен на пучках эпиполярных плоскостей стереоизображений / В.А. Фурсов, Е.В. Гошин, С. А. Бибиков // Мехатроника, автоматизация, управление. - 2013. - № 9(150). - С. 19-24.
. Tao, M. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm / M. Tao, J. Bai, P. Kohli, S. Paris// Com-
5
6
puter Graphics Forum. - 2012. - V. 31, Issue 2. - P. 345353.
18. Кузнецов, П.К. Метод определения вектора скорости движения подстилающей поверхности / П.К. Кузнецов, Б.В. Мартемьянов, В.И. Семавин, Е.Ю. Чекотило // Вестник Самарского государственного технического университета. Серия: Технические науки. - 2008. -№ 2(22). - С. 96-110.
19. Фурсов, В.А. Метод согласованной идентификации в задаче определения соответственных точек на изображениях / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика. - 2012.
- Т. 36 № 1 - С. 131-135. - ISSN 0134-2452.
References
1. Hartley, R.I. Theory and Practice of Projective Rectification // International Journal of Computer Vision. - 1999. -V. 35. - P. 115-127.
2. Monasse, P. Three-step image rectification / P. Monasse, J.-M. Morel, Z. Tang // Proceedings of the British Machine Vision Conference. - 2010. - V. 19. - P. 89.1-89.10.
3. Pollefeys, M. A simple and efficient rectification method for general motion // The Proceedings of the 7th IEEE International Conference on Computer Vision. - 1999. - V. 1.
- P. 496-501.
4. Fursov, V. Conformed Identification of the Fundamental Matrix in the Problem of a Scene Reconstruction, using Stereo Images / V. Fursov, Ye. Goshin // Image Mining. Theory and Applications. Proceedings of IMTA-4 2013. - 2013. - P. 29-37.
5. Luong, Q.T. The fundamental matrix: Theory, algorithms, and stability analysis / Q.T. Luong, O.D. Faugeras // International Journal of Computer Vision. - 1996 - V. 17(1). - P. 43-75.
6. Haming, K. Extension of the generalized image rectification - Catching the infinity cases / K. Haming, G. Peters // Proc. 4th International Conference on Informatics in Control, Automation, and Robotics (ICINCO 2007). - 2007 -V. 2. - P. 275-279.
7. Oram, D. Rectification for any epipolar geometry //British Machine Vision Conference. - 2001. - P. 653-662.
8. Pollefeys, M. Detailed real-time urban 3d reconstruction from video / M. Pollefeys, D. Nistr, J.M. Frahm [et al.] // International Journal of Computer Vision. - 2008. - V. 78(2-3). -P. 143-167.
9. Molton, N. Practical structure and motion from stereo when motion is unconstrained / N. Molton, M. Brady // International Journal of Computer Vision. - 2000. - V. 39(1). - P. 5-23.
10. Vieville, T. Motion of points and lines in the uncalibrated case / T. Vieville, O. Faugeras, Q.T. Luong // International Journal of Computer Vision. - 1996. - V. 17(1). - P. 7-41.
11. Baha, N. Accurate real-time disparity map computation based on variable support window / N. Baha, S. Larabi // International Journal of Artificial Intelligence & Applications (IJAIA). - 2011. - V. 2. - P. 22-34.
12. Hartley, R.I. Triangulation / R.I. Hartley, P. Sturm // Computer Vision and Image Understanding. - 1997. - V. 68. -P. 146-157.
13. Stewart, C.V. Geometric constraints and stereo disparity computation / C.V. Stewart, R.Y. Flatland, K. Bubna // International Journal of Computer Vision. - 1996. - V. 20, Issue 3. - P. 143-168.
14. Gruzman, I.S. Digital Image Processing in Information systems / I.S. Gruzman, V.S. Kirichuk, V.P. Kosykch [et al.] - Novosibirsk: 'NSTU" Publisher, 2002. - 352 p. - (In Russian).
15. Forsyth, D. Computer Vision: A Modern Approach / David Forsyth, Jean Ponce. - Moscow: "Williams" Publisher, 2004. - 928 p. - (In Russian).
16. Fursov, V.A. 3D-scene stereo reconstruction on sheaves of epipolar planes / V.A. Fursov, Ye.V. Goshin, S.A. Bibikov // Mechatronics Automation Control. - 2013. - V. 9(150). -P. 19-24. - (In Russian).
17. Tao, M. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm / M. Tao, J. Bai, P. Kohli, S. Paris// Computer Graphics Forum. - 2012. - V. 31, Issue 2. - P. 345353.
18. Kuznesov, P.K. Method for computing velocity of moving objects by image analysis / P.K. Kuznesov, B.V. Mar-temyanov, V.I. Semavin, E.Yu. Chekotilo // Vestnik of Samara State Technical University (Technical Sciences Series). - 2008. - V. 2(22). - P. 96-110. - (In Russian).
19. Fursov, V.A. Conformed identification in corresponding points detection problem / V.A. Fursov, Ye.V. Goshin // Computer Optics. - 2012. - V. 36(1). - P. 131-135.
INFORMATION TECHNOLOGY FOR DIGITAL TERRAIN MODEL RECONSTRUCTION
FROM STEREO IMAGES
V.A. Fursov, Ye. V. Goshin Image Processing Systems Institute, Russian Academy of Sciences, Samara State Aerospace University
Abstract
This paper considers an information technology of digital terrain model (DTM) reconstruction from the pair of stereo images. For the case when the camera parameters are known, image matching algorithms based on epipolar constraints are thoroughly considered. In the matching we use weight coefficients as a penalty function for distance from the matching point to the epipolar line. Implementation of the technology when cameras' parameters are not known is also considered. At the initial stage the problem of identification of the fundamental matrix from the corresponding points is solved. The major advantage of the proposed technology is the lack of the image rectification stage. This improves the reliability of the matching. The results of the proposed technology application for the DTM reconstruction from remote sensing stereo images are given.
Key words: stereoimages, image matching, digital terrain model, disparity map, conformed identification, fundamental matrix, epipolar geometry.
Сведения об авторах
Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой суперкомпьютеров и общей информатики в Самарском государственном аэрокосмическом университете. Область научных интересов: теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, построение параллельных алгоритмов обработки и распознавания изображений, реализуемых с использованием многопроцессорных вычислительных систем. Е-mail: [email protected] .
Vladimir Alekseyevich Fursov is Doctor of Engineering Science, Professor, head of Supercomputers and General Informatics sub-department of Samara State Aerospace University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of high-performance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems.
Гошин Егор Вячеславович, магистр прикладной математики и информатики, аспирант кафедры суперкомпьютеров и общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработки и распознавания изображений, параллельные вычисления, стереозрение.
Е-mail: goshine@;yandex. ru .
Yegor Vyacheslavovich Goshin, Master of Applied Mathematics and Computer Science. Currently studies at Samara State Aerospace University. Research interests are image processing, recognition algorithms, parallel computations and stereovision.
Поступила в редакцию 6 марта 2014 г.
