CC BY
6«Труды МАИ». Выпуск № 81 www.mai.ru/science/trudy/
УДК: 004.932
Комплекс автоматизированной привязки данных дистанционного зондирования Земли
Толченов А.А.,* Судоргин А.С.**
Научно-исследовательский институт точных приборов, НИИ ТП, ул. Декабристов, 51, Москва, 127490, Россия *e-mail: dobsqop@gmail. com **e-mail: andrew.sudorgin@gmail. com
Аннотация
В статье рассматривается метод автоматизированной привязки данных дистанционного зондирования Земли, использующий площадные алгоритмы сопоставления изображений, а также оператор Моравека для полного и равномерного покрытия области поиска опорными точками. Метод реализован в виде программного комплекса, позволяющего заменить ручной метод привязки.
Ключевые слова: геопривязка, дистанционное зондирование Земли, трансформирование изображений, информативность, корреляция, обработка изображений, сопоставление изображений.
Введение
В аэрокосмической отрасли существует большое количество задач требующих привязки данных к изображениям. Ярким примером может служить дистанционное зондирование Земли, где необходимо оперативно обрабатывать большие объемы
данных, соблюдая при этом высокую точность и надежность. Применительно к ДЗЗ, привязка данных может потребоваться при решении следующих задач:
• восстановлении трехмерной структуры объектов с использованием стереопар;
• координатной привязки изображений;
• обработки изображений, полученных в разное время или разными съемочными системами;
Ручная привязка, широко используемая на данный момент, требует много времени и постоянной сосредоточенности, что вызывает быструю утомляемость оператора и, как следствие, снижению точности. Кроме того, оперативная и высокоточная обработка больших объемов данных требует привлечения большого количества операторов, что весьма негативно сказывается на стоимости. Отсюда возникает необходимость в создании автоматизированной системы привязки данных, способной заменить ручной метод с соблюдением требований к точности, скорости и надежности.
Привязка данных предполагает сопоставление двух или нескольких изображений. Сопоставлением изображений называется процесс, при котором сопоставляемое изображение, трансформируется таким образом, что объекты на нём и на базовом (опорном) изображении имеют одинаковые координаты в принятой системе координат. Обобщенный алгоритм сопоставления можно разделить на следующие этапы:
• предварительная обработка изображений;
• определение опорных точек на сопоставляемом и базовом изображениях;
• уточнение положения точек;
• верификация точек;
• трансформация сопоставляемого изображения;
Точное автоматическое сопоставление изображений является весьма сложной задачей. На данный момент существует ряд методов, созданных для её решения. Каждый метод имеет свои достоинства и недостатки, ограничивающие их применение, а создание универсального метода, способного надежно обрабатывать изображения разного происхождения и содержания, требует большого количества ресурсов.
Однако, в большинстве случаев, можно сделать ряд допущений, значительно облегчающих решение конкретной задачи. Например, сопоставление изображений, полученных из одного источника, но в разное время. В данном случае большинство объектов на изображениях сохраняют свои геометрические свойства. Кроме того, в ряде случаев целесообразно использовать априорную информацию, например карты высот, данные ГЛОНАСС, GPS и так далее.
Описание метода
Первый этап работы предлагаемого алгоритма заключается в выборе областей поиска, общих для сопоставляемых изображений. Нередко эти области состоят из нескольких отдельных частей, каждая из которых может содержать неинформативные области, поиск в которых производить не нужно.
Для определения пересекаемых областей и предсказания промежуточных точек, необходима дополнительная априорная информация об изображениях. В качестве такой информации могут послужить опорные точки нанесенные
оператором, информация о геопривязке, карты высот и т. д.
Определение промежуточных точек
На втором этапе область поиска покрывается промежуточными точками. Качество сопоставления напрямую зависит как от точности поиска, так и от плотности и равномерности покрытия точками соответствия всей области пересечения, так как для правильной трансформации сопоставляемого изображения необходимо, чтобы опорные точки были равномерно распределены по всей области поиска.
На изображениях ДЗЗ очень часто присутствуют области без явно выраженных деталей, поиск фрагмента изображения лесного массива или поверхности воды, например, не имеет смысла, более того приведет к ложным результатам. Так как такие фрагменты обладают низкой информативностью их можно отбросить еще до поиска.
Изображение города со спутника достаточно покрыть регулярной прямоугольной сеткой и отбрасывать точки сетки по пороговому значению информативности.
Однако, если на снимке присутствуют области с низкой информативностью, необходим метод позволяющий найти наиболее ярко выраженные объекты в неинформативных областях. Для этого предлагается использовать операторы Моравека, обеспечивающие хорошие результаты для большинства изображений, при низких вычислительных затратах.
Оператор Моравека основан на вычислении среднего значения квадратов
разностей значений пикселов изображения в вертикальном, горизонтальном и диагональных направлениях внутри окна заданного размера. Оператор Моравека может быть вычислен следующим образом:
(1)
(2)
(3)
(4)
= —) (5)
Фрагмент изображения, с большими изменениями яркости дает большее значение оператора Моравека. Найденные фрагменты имеют максимальные значения в заданных областях. Для того чтобы распределить найденные фрагменты равномерно по области поиска используется следующий алгоритм:
• для выбранной области рассчитывается значение оператора Моравека;
• находится фрагмент с наибольшим значением. Его центральная точка выбирается в качестве опорной точки.
• поле вокруг найденной промежуточной точки затеняется в соответствии со следующей затеняющей функцией:
где dist — заданное минимальное расстояние между промежуточными точками
• переход к первому этапу до тех пор, пока не будет выбрано заданное количество промежуточных точек.
Данный алгоритм гарантирует равномерное распределение промежуточных точек, но не полное покрытие ими области поиска. Для решения этой проблемы зона поиска делится на сектора, после чего алгоритм применяется для каждого сектора, используя средства распараллеливания вычислений. Таким образом, мы получим полное и равномерное распределение промежуточных точек при максимально эффективном использовании вычислительных ресурсов.
Уточнение точек
Третий этап подразумевает определение точного положения точек. Существует множество методов решающих эту задачу, среди которых можно выделить так называемые "площадные" и "контурные" методы. В данной работе используются методы из первой группы.
Площадные методы определяют координаты опорных точек по наибольшему значению меры сходства, в качестве которой, в данном случае, используется фазовая или кросс-корреляция.
Основными преимуществами площадных методов являются простота реализации, возможность полной автоматизации, независимость от наличия ярко
выраженных деталей, устойчивость к шумам. Основным недостатком является, невозможность применения на разномасштабных и повернутых изображениях, поэтому на первом этапе компенсируется разница в масштабе и повороте сопоставляемых изображений.
Алгоритм поиска заключается в нахождении наилучшего положения заданного фрагмента одного изображения на другом и состоит из следующих этапов:
• фрагмент опорного изображения перемещается слева направо и сверху вниз
по зоне поиска на совмещаемом изображении;
• для каждого положения фрагмента вычисляет коэффициент корреляции.
Наилучшее (наибольшее) значение указывает положение искомого фрагмента
на совмещаемом изображении.
Корреляционный метод является достаточно надежным и точным в условиях шумов, может быть вычислен следующим образом:
£ _ _+7П,/+71 ^74.71.)__(7)
^ ГЛ. ^ П + 7П./+71) ^ГЛ. ^ п'-.^711.71)
где B, R значения яркости пикселей фрагментов опорного и сопоставляемого изображений.
Размеры фрагмента и области поиска напрямую влияют на точность и скорость работы алгоритма поиска, а также, что более важно, на корректность идентификации фрагментов изображений.
Увеличение зоны поиска ведет к снижению надежности сопоставления, так
как возрастает количество фрагментов-кандидатов, и, соответственно, увеличивается вероятность нахождения некоторого похожего фрагмента, не соответствующего искомому. Размер зоны поиска определяется расстоянием между промежуточным и действительным положением искомого фрагмента, и зависит от точности географической координатной привязки изображения.
Увеличение размера фрагмента ведет к увеличению времени вычислений, а с другой стороны, к увеличению количества деталей изображений, влияющих на правильную идентификации фрагментов. На практике размер фрагментов ограничивается геометрическими искажениями внутри них, а также изменениями снимаемой сцены со временем.
На четвертом этапе найденные опорные точки подвергаются верификации, при которой пары соответствующих точек отбрасываются при высоком уровне отклонений.
На основе найденных соответствующих точек строится модель трансформирования из системы координат опорного изображения (х, У, 7) в систему координат привязываемого изображения С*,у)в виде рационально-полиномиальных функций [1, 2]:
Верификация
гдеа; ¡к, ст, с1<к - совокупность параметров модели;
Р- полиномиальные функции степени N вида:
Вычисление коэффициентов модели трансформирования происходит с применением метода наименьших квадратов [3, 4] и метода Левенберга-Марквардта
[5]:
= агдтш ^ - ХП,УП,2П,УУ + (у„ -
п=1
(10)
где лгр количество опорных точек; координаты п-й точки в системе
координат привязываемого изображения; {хп,Уп,гпУ- координаты п-й точки в системе координат опорного изображения. Далее соответствующие точки, неудовлетворяющие модели трансформирования фильтруются с применением алгоритма RANSAC.
Трансформирование
На заключительном этапе, по оставшимся соответствующим точкам вычисляется окончательная модель трансформирования и происходит трансформирование привязываемого изображения в заданную проекцию. В связи с тем, что функция трансформирования (8) имеет высокую вычислительную сложность, то для сокращения времени трансформирования применяется интерполяция функции трансформирования на разреженной сетке. Т.е функция трансформирования вычисляется только в узлах разреженной сетки а в узлах
сетки51; соответствуюшей пикселям выходного изображения происходит билинейная интерполяция координат на основе значений в ближайших узлах сетки 5, (Рис.1).
00 10
01 ]]
N=11 1=4
00 10
01 ]]
»=12 1=4
(Я*)
Рисунок 1. Схема построения сеток на скорректированном изображении (тонкими линиями показана сетка а толстыми - сетка
Таким образом, с увеличением шага сетки 5К мы имеем снижение
вычислительной сложности трансформирования текущего изображения:
(11)
где С - количество вычислительных операций при интерполяции. С£ количество
вычислительных операций при трансформировании одной точки с применением модели (8). Зависимость ускорения (11) от размера интерполяционной ячейки представлена на (Рис.2).
20
ai s
X
Ol
a.
10g
и >.
5
0 -
2 размер ячейки интерполяции (пикс^ ^
Рисунок 2. Зависимость ускорения трансформирования текущего изображения от размера ячейки интерполяции для двух классов функций трансформирования
Внедрение
Данная работа была реализована как часть программного комплекса применяемого различными специализированными организациями.
Комплекс построен в соответствии с клиент-серверной архитектурой. Вычисления производятся на выделенных серверах, построенных на базе современных процессоров Intel Xeon и вычислительных систем NVIDIA Tesla.
Клиентская часть, используется операторами для формирования задания и отправки его на сервер для последующего выполнения, а также контроля выполнения, отображения и редактирования результатов.
Функционал клиентской части предусматривает: выбор сопоставляемых изображений локально, по сети, или из базы изображений, при этом поддерживается большинство существующих форматов, а также изображения больших объемов;
редактирование соответствующих точек; настройку параметров поиска, отправку на сервер и мониторинг процесса обработки; в том числе большое количество сопутствующих операций над изображениями.
Библиографический список
1. Jacobsen K. Orientation of High Resolution Optical Space Images, ASPRS Annual Conference, Tampa, 2007, pp. 7-11.
2. Dial G., Grodecki J. Block Adjustment of High-Resolution Satellite Images Described by Rational Polynomial, Photogrammetric Engineering & Remote Sensing, 2003, pp. 5968.
3. Triggs B., McLauchlan P., Hartley R., Fitzgibbon A.. Bundle Adjustment - A Modern Synthesis, ICCV '99 Proceedings of the International Workshop on Vision Algorithms: Theory and Practice, pp. 298-372.
