CC BY
158
С.И. Василенко, Д.И. Ивашкин
ИСПОЛЬЗОВАНИЕ ДВУМЕРНОГО ДИСКРЕТНОГО ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ ДЛЯ ПОИСКА СООТВЕТСТВУЮЩИХ ТОЧЕК СТЕРЕОПАРЫ ИЗОБРАЖЕНИЙ
Задача совмещения изображений заключается в установлении соответствия между точками одной или нескольких стереопар. Стереопара - это две проекции одного и того же трехмерного объекта съемки, зафиксированного в разных ракурсах.
Проблема нахождения соответствующих точек является фундаментальной проблемой при решении задач фотограмметрии, поскольку необходимость совмещения изображений возникает при наложении триангуляционной сетки для построения объемно-пространственного представления объекта (стереоизображение). Кроме того, подобные проблемы возникают в биомедицинских приложениях, при решении задач компьютерного зрения роботов, при дистанционном сборе данных, что показывает практическую полезность автоматического совмещения изображений.
Считается, что задача хорошо обусловлена (корректно поставлена) [1], если:
• решение задачи существует;
• решение единственно;
• решение непрерывно зависит от начальных данных.
Задача совмещения изображений является плохо обусловленной задачей, то есть нарушаются некоторые или все эти условия. Прямой способ сделать задачу хорошо обусловленной состоит в ограничении пространства возможных решений, например определением границ поиска.
В настоящее время существует большое число методов совмещения изображений, которые были разработаны для различных ограничений на исходные данные. Такие ограничения естественным образом возникают при рассмотрении конкретных практических задач и меняются от задачи к задаче. В целом все методы можно разделить на три группы [1]:
• область - ориентированные методы;
• ориентированные на топологию методы;
• символические методы.
Можно отметить, что процент ложных точек при поиске соответствующих точек область - ориентированными методами - небольшой по сравнению с методами из остальных групп, но из-за использования всего объема исходных данных (изображения обрабатываются целиком) они очень трудоемки с вычислительной точки зрения. В то же время ориентированные на топологию и символические методы производят совмещение изображений с использованием различного рода структурных элементов, что менее трудоемко с вычислительной точки зрения, так как размерность входных данных в этом подходе сильно снижена. Однако само выделение подобных признаков является трудной задачей. Точность выделения признаков прямо-пропорционально влияет на процент ложных соответствующих точек.
Плохая обусловленность задачи совмещения изображений и недостатки существующих методов подчеркивают актуальность разработки методов совмещения изображений, удовлетворяющих следующим критериям.
• В результате поиска процент ложных соответствующих точек должен быть минимальным.
• Должна быть низкая вычислительная трудоемкость метода совмещения изображений.
В данной статье предлагается метод поиска соответствующих точек, основанный на использовании возможностей двумерного дискретного вейвлет-преобразования (ДВП).
Исходные данные, ограничения, постановка задачи. Определение соответствующих точек
Пусть М = [ х, у, 2 ]т - это точка трехмерного объектного пространства. Проекция точки М на плоскость изображения в точку т = [и, у] может быть представлена в линейном виде как
s[u,у,1]т = Р[X,у,2,1]Т , где 5 - произвольный ненулевой скаляр,
Р - оператор проектирования (матрица проекции размера [3x4]).
С1 С2
Рис.1. Проекция точки М на плоскость изображения в точку т1 = [м1, у1,1]г и т2 = [и2, у2,1]т из разных точек наблюдения С1 и С2 (т1 = Рх М и т2 = Р2 М)
Пусть т1 = [м1, у1,1]г - это точка проекции точки М (см. рис. 1) на плоскость изображения /1, а т2 = [и2,у2,1]т - точка проекции точки М на плоскость изображения 12. Две точки m1 и m2, соответствующие одной и той же точке объектного пространства М называются соответствующими.
Ограничения
Для построения триангуляционной сетки на обрабатываемой стереопаре (аэрофотоснимках) требуется, чтобы соответствующие точки были равномерно распределены по всей поверхности изображений (в случае решения задачи фотограмметрии). В связи с этим накладываются следующие ограничения на задачу совмещения изображений:
АОь-)6 А1т, 12(тъ)6 Атп, г = l■■p, тп = !.-(^тт, (1)
где ть. = (и1, у1) - соответствующая точка на левом изображении, т21 = (и2, у2) - соответствующая точка на правом изображении,
А1тп - сегмент левого изображения, где должна располагаться соответствующая точка,
А2тп - сегмент правого изображения, где должна располагаться соответствующая точка,
р - количество пар соответствующих точек.
Обрабатываемое изображение делится на одинаковые сегменты. Количество сегментов равно количеству соответствующих точек. Выражение (1) показывает, что соответствующие точки должны находиться строго в своих сегментах.
Кроме этого соответствующие точки одного изображения не могут быть смежными, то есть располагаться рядом друг с другом.
Постановка задачи
Дано: D2 - сегмент правого изображения, где должна располагаться соответствующая точка т2 = (u2, v2). Соответствующая точка на левом изображении -т1 = (u1, v1). а -радиус шаблона, центром которого является точка т1 (см. рис. 2).
Необходимо найти
а а
max F1(u2, v2) = I \I1(u1 - u, v1 - v)12(u2 - u, v2 - v)dudv . (2)
u2,v2eD2 J J
-a-a
Из соображений симметрии должно быть верно обратное:
аа
max F1(u1, v1) = I I/1(u1 - u, v1 - v)I2(u2 - u, v2 - v)dudv, (3)
u1,v1eD1 J J
-a-a
где D1 - сегмент левого изображения, где должна располагаться соответствующая точка mt = (щ, vt);
m2 = (u2, v2) - соответствующая точка на правом изображении;
a - радиус шаблона, центром которого является точка т2.
2а
2а
№
ЦМ 12(М
Рис. 2. Области поиска соответствующих точек
Задача поиска соответствующих точек в данной постановке является плохо обусловленной задачей, так как существует проблема неоднозначности выбора правильного решения, возникающая из-за недостаточной уникальности элементов поиска. Это связано с тем, что из-за свойств обрабатываемых изображений может существовать несколько максимумов функционала (2) или (3).
Регуляризацию плохо обусловленной задачи поиска соответствующих точек предлагается выполнить следующим образом.
• Наложением ограничений эпиполярной геометрии (эпиполярные линии).
• Сужением области поиска за счет сглаживания изображения (иерархическая процедура поиска).
• Выделением особых областей с уникальными перепадами яркости (совокупность точек, перепад яркости которой значительно отличается от перепада яркости в соседних областях).
• Наложением пороговых ограничений.
Ограничения эпиполярной геометрии
Для проверки найденных точек на соответствие друг другу и для поиска новых точек предлагается использовать геометрические ограничения, так называемые эпиполярные линии [2].
Эпиполярная геометрия двух изображений определяется при помощи фундаментальной матрицы Е (4), которую можно оценить при помощи 8-ми пар соответствующих точек (р). Фундаментальная матрица Е - это проективное преобразование, содержащее свойства камеры и ракурса (сдвиг, поворот). Выполнение условия (4) является необходимым условием соответствия точек т1 и т2:
С = тТ1Ет1, (4)
где т1 = [и1,у1 ,1]Т - точка, взятая на левом изображении,
т2 = [и2, у2 ,1]Т - точка, взятая на правом изображении,
Е - фундаментальная матрица,
Таким образом, найдя п пар соответствующих (п > 8) точек, мы можем оценить фундаментальную матрицу, позволяющую выявить ложные соответствующие точки и найти дополнительные соответствующие пары. Фундаментальная матрица Е размера 3х3 имеет 8 степеней свободы и произвольный параметр
(иТ, Я) = 0, (5)
где и = [и1и2, У1и2, и2, и1У2, у1у2 , у2 , и1, у1,1]т ;
8 = [Е11,Е12 , Е13,Е21, Е22 , Е23, Е31,Е32, Е33] ;
у1, и1 - координаты точки в левом изображении;
у2, и2 - координаты точки в правом изображении;
8 - вектор, подлежащий определению.
Выражение (5) может быть записано в другом виде:
тТ2Ет1 = иТ 8 = 0, (6)
(и2 У2,1) - точка, взятая в правом изображении;
Е11 Е\2 Е13'
Е21 Е22 Е23 - фундаментальная матрица.
Е31 Е32 Езз _
2
где т1 = (и1, У1,1) - точка, взятая в левом изображении;
т2
Е =
Матрица Е имеет ранг 2, т.е. det(Е) = 0. Эпиполярные линии обладают свойством симметрии, т. е. если точке в левом изображении т1 соответствует эпипо-лярная линия с соответствующей ей точкой т2 в правом изображении, то данной соответствующей точке т2 соответствует эпиполярная линия в левом изображении, на которой лежит точка т1 .
Выражение (4) позволяет проверить пару точек на соответствие путем оценки расстояния С от проверяемой точки до эпиполярной линии, которая соответствует исходной точке.
Задав необходимую погрешность поиска у, можно получить любое количество соответствующих точек. Погрешность зависит от размеров пиксела и показывает, на каком расстоянии от эпиполярной линии разрешено находиться соответствующей точке.
Сглаживание изображения
Из-за большого объема реалистических аэрофотоснимков земной поверхности (порядка 14000х14000 пикселов) предлагается провести сегментацию изображений. Для обработки берутся только те части изображений, которые, согласно априорным данным, являются зонами перекрытия двух изображений стереопары. После этого зоны перекрытия равномерно разбиваются на области (размером 1500х1500 пикселов), в которых и происходит поиск соответствующих точек. Далее описан метод поиска соответствующих точек в рамках одной из таких областей.
Проверка каждой точки левого изображения на соответствие точкам правого изображения требует огромных аппаратных и временных ресурсов. При этом точность поиска не будет удовлетворять выше перечисленным критериям.
Для снижения вычислительной сложности метода поиска предлагается применить к обрабатываемому изображению аппарат двумерного дискретного вейвлет-преобразования (ДВП) [3]. ДВП позволяет разложить всякое изображение на несколько уровней (сгладить и при этом охарактеризовать его коэффициентами детализации: вертикальными, горизонтальными и диагональными).
Для каждой точки изображения совокупность коэффициентов детализации определяет степень отличия сглаженного изображения одного уровня от сглаженного изображения предыдущего уровня. Если в окрестности рассматриваемой точки сглаженного изображения уровня п отсутствуют резкие перепады яркости, то коэффициенты детализации уровня п +1 имеют небольшие значения, и наоборот, принимают существенные значения при наличии резких перепадов яркости. Другими словами, точка уровня п + 1 наследует свойство кривизны поверхности ее окружения в радиусе 1 пиксел уровня п .
Степень сглаживания изображения зависит от уровня его сложности: так как при ДВП происходит прореживание изображения, общее количество пикселов, из которых необходимо выбрать кандидатов в соответствующие точки, после разложения на уровни уменьшается.
Выделение особых областей
По коэффициентам детализации можно точно локализовать особые области:
гг гг гг
qj = тах((и + /,V + к) +^^(^2(и + /,V + к) +^^у^(и + /,V + к)) ,(7)
’ I=-гк=-г I =-гк=-г I = -гк=-г
где ^ V 6 °тп ,
] - уровень сглаживания,
и,V - координаты столбца и строки точки т в матрицах коэффициентов детализации,
hj (т) - горизонтальные коэффициенты детализации точки т,
(т) - диагональные коэффициенты детализации точки т,
V1 (т) - вертикальные коэффициенты детализации точки т, г - количество пикселов,
qJ - уровень кривизны особой области с центром в точке т = (и, V) и радиуса г .
Особая область - это совокупность точек, суммарный уровень яркости которой значительно отличается от суммарного уровня яркости в соседних областях (т.е. наблюдается максимальная кривизна). В середине такой особой области находится наиболее перспективный кандидат в соответствующие точки.
В методе, описанном в [2], вместо локализации особых областей осуществлялась локализация особых точек. Недостатком такого подхода является то, что в
множество особых точек попадали точки с высоким или низким уровнем яркости, связанным, например, с наличием шума в изображении (из-за качества съемки и т.д.). При поиске особых областей мы получаем информацию об унаследованной кривизне поверхности предыдущего уровня сглаживания не просто для одной точки, а для всего ее окружения (в заданном радиусе), что позволяет избежать выбора заведомо ложных кандидатов в соответствующие точки.
Кроме того, при выборе особых областей учитываются ограничения (1). Деление изображений на сегменты Бук зависит от того, какое начальное множество
пар соответствующих точек р требуется найти.
Из-за различных пространственных искажений, связанных, например, с природными явлениями: блеск солнца в воде под одним углом и его отсутствие под другим, отражение объекта в воде в одном случае и его отсутствие из-за внезапной водной ряби и т.д. Все эти случаи увеличивают вероятность нахождения ложных соответствующих точек.
Для того, чтобы избежать данной ситуации, предлагается в момент обнаружения особой области в сегменте Бтп сглаженного левого изображения провести проверку на наличие соответствующей ей области правого изображения в аналогичном сегменте Бтп с помощью механизма корреляции:
где Я(т1, т2) - коэффициент корреляции области левого и правого изображений с центрами в точках т1 и т2 соответственно;
11 - множество (не случайные величины) коэффициентов интенсивности вокруг точки т1;
12 - множество (не случайные величины) коэффициентов интенсивности вокруг точки т2 ;
и1, v1 - координаты столбца и строки точки т1 в корреляционном окне;
и2, у2 - координаты столбца и строки точки т2 в корреляционном окне;
п , т - радиусы окна корреляции по столбцам и строкам соответственно;
7к (и , V ) - среднее точки (и , V ) окна интенсивности 1к:
а (1к) - дисперсия окна интенсивности размера (2п + 1)(2т +1) относительно точки (и , V ):
Наложение пороговых ограничений
[11 (и + I, V! + /) - /1(и1, ^)]х |/ 2(и2 + I, V2 + У) - 12(и2, V2
Я(тг, т2)
1=-п у=-т
, (8)
п т
X X7к (и + 1, v + У)
Области считаются соответствующими, если коэффициент корреляции Я(т1,т2) максимальный и Я(т1,т2) > £, где £ - минимальный порог для коэффициентов корреляции, удовлетворяющих условиям соответствия сравниваемых объектов. Особые области, не удовлетворяющие данному условию, не рассматриваются.
Локализация особых областей на стереопаре
Оценив положение особых областей левого изображения верхнего уровня сглаженности, необходимо определить кандидатов в соответствующие им области правого изображения того же уровня сглаженности. С этой целью опять предлагается использовать механизм корреляции (8). На основе априорных данных о радиусах шаблона (п и т) и окна поиска (ё и X) с помощью критерия (7) находятся особые области, коэффициент корреляции которых максимальный, но не меньше порогового значения £.
Наличие пары особых областей верхнего уровня разложения означает, что мы знаем их точные координаты на сглаженных изображениях. Координаты этих областей на исходных изображениях остаются при этом неизвестными: дело в том, что процесс двумерного ДВП сопровождается прореживанием в 2 раза получаемых деталей. В связи с этим представляется необходимым возврат с верхнего уровня сглаживания к начальному изображению. При этом должна осуществляется коррекция на каждом из уровней координат найденных ранее пар особых областей.
Корректирование координат особых областей осуществляется следующим образом. Возврат на предыдущий уровень сглаженности сопровождается увеличением матрицы деталей и сглаживания в 2 раза. Соответственно? вокруг найденной ранее особой области появляются 8 * (г +1) новых точек, с помощью которых можно
сформировать 8 новых областей, из которых необходимо выбрать самую особую.
Из этих девяти областей особой следует считать ту, которая удовлетворяет критерию (7). Отметим, что данный критерий применялся ранее для поиска особых областей самого верхнего уровня сглаженности.
Таким образом, отыскав особую область на левом изображении, возникает необходимость в уточнении координат соответствующей ей области на правом изображении. Данная операция осуществляется посредством метода корреляции (8), для которого размеры окна поиска задаются относительно удвоенных координат центральной точки соответствующей области более высокого уровня (2 * и2,2 * у2 ).
Сделав, наконец, переход к начальному, не сглаженному изображению, на нем также требуется уточнить координаты особых областей. Однако проблема решения этой задачи состоит в том, что критерий (7) предполагает использование коэффициентов вертикальных, диагональных и горизонтальных деталей, отсутствующих на исходном изображении. В связи с этим предлагается применять к группам из (2г + 3)(2г + 3) точек (которые как раз и формируют 9 новых областей) двумерное ДВП без операции прореживания. Отсутствие прореживания матрицы позволит сохранить ее начальные размеры, получить коэффициенты деталей изображения нулевого уровня ДВП, а также обеспечит возможность применить критерий (7) для поиска особой области.
Локализовав на исходных изображениях соответствующие пары особых областей, мы можем точно определить координаты соответствующих точек расположенных в центрах этих областей. Найденные соответствующие точки необходимо проверить на ложность согласно критерию качества (4) (эпиполярная геометрия).
Результаты численного моделирования
Разработанный на основе предложенного метода алгоритм был практически реализован при помощи математического пакета МАТЪАВ 6 и протестирован на изображениях. В изображениях использовались сцены, полученные в результате аэрофотосъемки земной поверхности. Разрешение изображений - 11262 x 11213 пикселов.
Были использованы следующие необходимые для решения задачи данные.
• Процент перекрытия левого и правого изображения относительно друг друга: 60% по X и 10% по Y.
• Угол поворота изображений стереопары: 00.
• Размеры шаблона п = т = 2, размеры окна поиска ё = 2 = 4 , радиус особой области г = 2 .
• Начальное количество пар соответствующих точек: р = 30 .
• Минимальное значение коэффициента корреляции: ^ = 0.65.
• Максимальное допустимое удаление соответствующей точки от соответствующей ей эпиполярной линии: у = 72.
• Применяемый вейвлет: Хаара.
• Количество уровней сглаживания: 3.
На основе информации о проценте перекрытия изображений стереопары были вырезаны зоны перекрытия в левом и правом изображениях. После этого зоны перекрытия были равномерно разбиты на области размером 1584 х 1547 пикселов.
После применения к изображениям 3 уровней сглаживания ДВП, критериев (1), (7) и механизма корреляции (8) были найдены следующие соответствующие области левого и правого изображений 3-го уровня сглаженности (см. рис. 3).
_ _
‘ •** “ цишм
.3 .1 4
20 С .-2 *7 20 ■ ^'2 -7
40 •11 40 •11
и) А 60 А
во 100 •10 13 80 100 • 10 •1з;
130 • 14 •15 •16 •18 120 • 14 •15 16 -18 ^ ж7"'
140 160 •19 •20 21 ^ >26 -22 -23 140 160 19 •20 .2\ >26 •22
100 -24 *.25 •28 180 •24 •25 •28 <
20 40 60 80 100 120 140 160 100 30 40 60 во 100 120 140 160 160
Рис. 3. Центральные точки соответствующих друг другу особых областей 3-го
уровня сглаженности
После того как была сделана процедура возврата к оригинальным левым и правым изображениям, были найдены точные координаты соответствующих точек, которые находятся в центрах соответствующих особых областей. Полученные точки были проверены с помощью критерия эпиполярной геометрии (4). В результате чего с учетом погрешности у были оставлены соответствующие точки (см. рис. 4).
Рис. 4. Результат построения эпиполярной геометрии обработанной стереопары
Заключение
Таким образом, для решения поставленной задачи предлагается предварительно обработать изображение двумерным дискретным вейвлет-преобразованием. При этом сужается область поиска точек, что увеличивает вероятность нахождения не ложных соответствующих точек. Количество обрабатываемых точек при процессе корреляции в стандартных методах поиска соответствующих точек можно оценить как в(ы2), тогда как с применением вейвлет-
( N Y
преобразования мы обрабатываем порядка 01 — I точек, где p - уровень сглаживания, что указывает на более высокую скорость поиска соответствующих точек предложенным в статье методом.
Поиск особых областей позволил получить более точную и полную информацию о перепаде уровня яркости не просто одной точки, а всего ее окружения в заданном радиусе. Это позволило исключить заведомо ложные точки соответствия на начальной стадии обработки стереопары.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Schenk T. Digital photogrammetry//TerraScience, 1999.
2. Ивашкин Д.И., Василенко С.И. Применение вейвлет анализа в задаче построения стереоизображения // Exponenta Pro. Математика в приложениях, 2004, №5. С.28-32.
3. Stollnitz E.J., Derose T.D., Salesin D.H. Wavelets for computer graphics. Theory and applications. // San Francisco, California: Morgan Kaufman Publishers, Inc., 1996.
