CC BY
85
ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ
МЕТОД АВТОМАТИЧЕСКОГО НАБОРА СВЯЗУЮЩИХ ТОЧЕК ДЛЯ ВЫПОЛНЕНИЯ ВЗАИМНОГО ОРИЕНТИРОВАНИЯ АЭРОКОСМИЧЕСКИХ СНИМКОВ
Соловьев
Алексей Владимирович
адъюнкт Военно-космической академии имени А.Ф.Можайского, г. Санкт-Петербург, Россия, [email protected]
Ключевые слова:
взаимное ориентирование; связующие точки; отождествление; стереопара; отбраковка.
Повышение оперативности создания геопространственной информации по материалам аэрокосмических снимков возможно, прежде всего, через автоматизацию основных технологических процессов фотограмметрической обработки. Для автоматизации этапа взаимного ориентирования цифровых аэрокосмических снимков, а именно для набора связующих точек, в Gospels менных цифровых фотограмметрических системах применяются корреляционно-экстремальные методы поиска измеряемых точек. Недостатками таких О методов является высокая вероятность возможных ошибок, влияние яркост-ш но-геометрических искажений изображений и другие факторы, зависящие ^ от условий формирования изображений. Кроме того, эти методы показывают низкое качество работы на снимках с однородным изображением. А самое главное, что этот подход не позволяет добиться полной автоматизации набора связующих точек, как бы не совершенствовались экстремально-корреляционные алгоритмы все равно остается необходимость выполнения накидного монтажа. Показано, что повышение уровня автоматизации этапа взаимного ориентирования аэрокосмических снимков требует создания принципиально новых подходов к решению задач выбора и отождествления одноименных точек стереопары аэрокосмических снимков. Предлагаемый метод базируется на алгоритмах заимствованных в дисциплине компьютерного зрения и состоит из двух этапов. На первом этапе, с использованием алгоритмов поиска и выделения особых точек - детекторов, получают набор особых точек. На втором этапе решается задача сравнения (сопоставления) особых точек. Степень соответствия (похожести) одноименных точек определяют по «вектору признаков» - дескриптору. Дескриптор (отлат. descriptor- описывающий) это идентификатор точки, выделяющей ее из остальной массы похожих точек, он содержит компактное представление характерных особенностей. Строится дескриптор на основании информации об интенсивности, цвете и текстуре особой точки и ее окрестности. Данные алгоритмы допускают значительный процент неверных отождествлений и для их нейтрализации, применяется оригинальная методика фильтрации (отбраковки) ошибочно сопоставленных точек, разработанная на основе алгоритма RANSAC. Полученные результаты исследования позволяют утверждать, что процесс набора связующих точек возможно полностью автоматизировать и оператора в этом процессе заменить новыми алгоритмами. Это позволит ускорить процесс фотограмметрической обработки аэрокосмических снимков и оперативность создания геопространственной информации.
Совершенствование технологий и методов фотограмметрической обработки аэрокосмических снимков привело к идее автоматизации всего технологического цикла. Так, например, уже давно не вызывает затруднений этап внутреннего ориентирования снимков - эта задача решается автоматически практически во всех цифровых фотограмметрических системах (ЦФС). А вот задача взаимного ориентирования, другими словами - определение элементов взаимного ориентирования (ЭВзО) снимков стереопары, связана с массой трудностей. Как известно, для определения ЭВзО требуется измерить на снимках стереопары плоские координаты не менее шести пар соответственных (одноименных) точек, составить систему уравнений взаимного ориентирования и решить ее. Однако ключевой проблемой этого процесса является поиск (набор) в автоматическом режиме надежно сопоставленных (одноименных) точек. Предлагаемый метод осуществляет набор связующих точек алгоритмами анализа структуры изображения, а затем применяется оригинальная методика фильтрации (отбраковки) ошибочно сопоставленных точек на основе так называемого восьмиточечного алгоритма и алгоритма RANSAC. Так получают набор надежно сопоставленных связующих (одноименных) точек по которым составляют и решают системы уравнений взаимного ориентирования.
Для автоматизации поиска одноименных точек на стереопарах в современных ЦФС применяются корреляционно-экстремальные методы поиска измеряемых точек.
Недостатками таких методов является высокая вероятность возможных ошибок, влияние яркостно-геоме-трических искажений изображений и другие факторы, зависящие от условий формирования изображений. Кроме того, эти методы показывают низкое качество работы на снимках с однородным изображением. А самое главное, что этот подход не позволяет добиться полной автоматизации набора связующих точек, как бы не совершенствовались экстремально-корреляционные алгоритмы все равно остается необходимость выполнения накидного монтажа. Поэтому в последнее время все больше применяются алгоритмы отождествления особенных точек на базе анализа структуры изображения.
Предлагаемый метод базируется на алгоритмах заимствованных в дисциплине компьютерного зрения и состоит из двух этапов. На первом этапе, с использованием алгоритмов поиска и выделения особых точек -детекторов, получают набор особых точек. Существует несколько типов особых точек: углы, точки соединения линий, точки высокой кривизны градиента яркости, центры тяжести областей, концы линий, точки экстремальных значений признаков. Особое значение для фотограмметрической обработки имеют углы, так как угол больше всего подходит под формализованное представление точек на четких контурах. Поэтому, в данном методе, используются алгоритмы поиска углов, которых в настоящее время известно довольно много, самые известные из них детектор Харриса и FAST детектор.
На втором этапе решается задача сравнения (сопоставления) особых точек. Степень соответствия (похожести) одноименных точек определяют по «вектору признаков» - дескриптору. Дескриптор (от лат. descriptor - описывающий) это идентификатор точки, выделяющей ее из остальной массы похожих точек, он содержит компактное представление характерных особенностей. Строится дескриптор на основании информации об интенсивности, цвете и текстуре особой точки и ее окрестности. К наиболее известным алгоритмам построения дескрипторов относятся: алгоритм SIFT (Scale Invariant Feature Transform) [1] и алгоритм SURF (Speeded Up Robust Features) [2].
Совершенно естественно, что среди пар особых точек, совпадающих по дескриптору (вектору признаков), неизбежно будут встречаться ошибочно опознанные и, это будет сказываться на дальнейшем решении уравнений взаимного ориентирования, поэтому необходимо предусмотреть надежный способ отбора (фильтрации) соответственных точек. Эта задача усложнена тем фактом, что количество ошибочных сопоставлений при автоматическом наборе связующих точек заранее неизвестно и может быть более половины от общего числа найденных соответствий.
Неприменимость метода наименьших квадратов в условиях наличия ошибочно сопоставленных точек показана в работах Р.Е. Калмана и Х. Соренсена [3]. Они указывали, что для условий машинной идентификации никакое вычисление соответствия не может быть проведено без решения задачи количественного описания неточности данных и исключения ошибочных.
Суть проблемы заключается в невозможности априорно определить, где исходные данные (измерения) точные, а где данные с грубыми ошибками (грубые измерения).
Для повышения надежности сопоставления одноименных точек на стереопаре т.е. для отбраковки ошибочно сопоставленных точек применяются различные методики, например, метрическая, топологическая, М-оценки, но самыми эффективными признаются методики на основе алгоритма RANSAC. Суть которого заключается выборе лучшего решения которое получено на основе не всей выборки, а минимально необходимого количества точек.
Этапы метода автоматического набора связующих точек для выполнения взаимного ориентирования схематично изображены на рис. 1.
Стереопара цифровых аэрофотоснимков преобразуется в два черно-белых изображения, это необходимо для сокращения объема занимаемой оперативной памяти и к тому же цвет изображения не является необходимым для процесса согласования содержания изображений.
На следующем этапе используются алгоритмы поиска локальных особенностей - детекторы. В целях фотограмметрической обработки аэрофотоснимков рекомендуется использование в качестве локальных особенностей (особенных точек) углы [4]. Самым распространенным алгоритмов поиска таких особенно-
www.h-es.ru
h&es research
21
ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ
/ р / ! р2 j
В оттенки серого
Детектор Харриса
Дескриптор SURF
Нормированная взаимная корреляция
ний будет фундаментальна матрица ¥. которую «примеряют» ко всему набору связующих точек на условие
Методика фильтрации
т,(х,у) и тф.,у)
mi(xn,yij) mi(xi/f, уц/f, I) mi (im, vu, 1) m2(x2i, угд rn2(x2i/f, У off, 1) m2(un, v2i, 1).
(1)
MjXF *m' = у
(2)
Рис. 1. Схема метода
стей является детектор углов Харриса. Его и используют в данном методе, хотя возможны вариации.
Сопоставление точечных особенностей выполняется с применением дескрипторов, в данном случае применяется дескриптор SURF (Speeded Up Robust Features). Далее, для повышения качества (процента верно сопоставленных точек) извлекается блок 9x9 пикселов изображения вокруг каждой точки и для этих регионов применяется функция нормированной взаимной корреляции. При этом каждая точка в первом изображении согласуется с точками в другом изображении без ограничения уникальности, поэтому точки с обоих изображений могут участвовать в установлении нескольких соответствий.
Полученные на этом этапе наборы связующих точек, все еще могут содержать ошибочно сопоставленные точки и для их отбраковки (фильтрации) применяется оригинальная методика фильтрации на основе алгоритма RANSAC, но значительно модифицированная под задачи фотограмметрической обработки, она приведена в работе [5]. Основными этапами этой методики являются преобразование плоских координат связующих точек в однородные координаты
где у отклик близкий к нулю, на величину этого отклика устанавливают допуск и по нему отбраковывают неточно сопоставленные точки, а затем, подсчитывают количество точек, удовлетворяющих этому допуску для каждой Р..
Конечным результатом работы данного метода является матрица F при которой количество точек удовлетворяющих критерию (2) максимально и координаты этих точек.
На этом задача поиска (набора) надежно сопоставленных одноименных точек в автоматическом режиме решена. Остается выполнить оценку качества полученных результатов. Для этого составляются и решаются традиционные уравнения взаимного ориентирования и на каждой из точек вычисляется остаточный поперечный параллакс.
Экспериментальные исследования, проведенные на снимках с БПЛА фирмы «Птеро», камерой с фокусным расстоянием 50 мм, показали работоспособность предлагаемого метода. Суть эксперимента заключалось в сравнении качества автоматического набора связующих точек в ЦФС PHOTOMOD и предлагаемого метода. Были выбраны стереопары снимков на различные районы местности (населенный пункт, сплошной лес и луг). При обработке каждой стереопары в ЦФС выполнялось внутреннее ориентирование, накидной монтаж и уже после этого запускалась процедура автоматического набора связующих точек. Предлагаемый метод был реализован в среде программирования МАТЛАБ и не требовал вмешательства оператора. Полученные результаты приведены в таблице 1.
Таблица 1
Местность Количество точек
ЦФС «PHOTOMOD» Предлагаемый метод
Задано найти Aq > 1 ник. Ср.КЁ. Ь, t,c Найдено Aq > 1,5 пин. ср.кв. й. t, с
нп 30 5 0,43 450 68 18 0,60 162
Луг 30 5 0,37 470 36 1 0,54 167
Лес 30 3 0,60 460 36 26 0,84 163
Затем, случайным образом формируют набор ц по восемь сопоставленных точек из наборов т1 и т.. При этом в одном наборе ц не должно встречаться одинаковых (повторяющихся) точек и каждый такой набор ц должен отличаться от другого хотя бы одной точкой. Таких наборов набирается заданное число.
Далее, для каждого ц составляем систему линейных уравнений и решают ее используя 8-ми точечный алгоритм. Решением каждой из этих систем уравне-
Допуск на остаточный поперечный параллакс, к предлагаемому методу, был занижен в 1,5 раза. В этих условиях процент отбракованных точек в обоих методах сопоставим. Однако по времени работы и степени автоматизации предлагаемый метод значительно превосходит ЦФС PHOTOMOD.
Предметом дальнейших исследований в направлении совершенствования предложенного метода будут оптимизация допусков и подбор оптимальных сочетаний различных алгоритмов поиска, сопоставления и фильтрации одноименных точек.
Полученные результаты позволяют утверждать, что процесс набора связующих точек будет полностью автоматизирован и роль оператора в этом процессе за-
менят новые алгоритмы. Кроме того метод значительно упрощает работу оператора.
Литература
1. Lowe D.G. Object recognition from local scale-invariant features // Computer Vision and Image Understanding. 1999. Vol. 7. Pp. 1150-1157.
2. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: Speeded up robust features / / Computer Vision and Image Understanding. 2008. Vol. 110. Pp. 346-359.
3. Sorensen H.W. Least-squares estimation: from Gauss
to Kalman // IEEE Spectrum. 1970. Vol. 3. Pp.63-68.
4. Райченко Б.В., Некрасов В.В. Практическое применение методов ключевых точек на примере сопоставления снимков со спутника «Канопус-В» // Геома-тика. 2013. № 2. С. 52-58.
5. Соловьев А. В. Методика отбраковки ошибочно сопоставленных точек на стереопаре // Инновационная деятельность в Вооруженных Силах Российской Федерации: тр. всеармейской науч.-практической конф., Санкт-Петербург, 17-18 сентября 2014 г. СПб.: Военная академия связи, 2014. С. 235-239.
Для цитирования:
Соловьев А.В. Метод автоматического набора связующих точек для выполнения взаимного ориентирования аэрокосмических снимков // Наукоемкие технологии в космических исследованияхЗемли. 2016. Т. 8. № 3. С. 20-23.
METHOD OF THE AUTOMATIC SET OF BINDING POINTS FOR PERFORMANCE OF MUTUAL ORIENTATION OF SPACE PICTURES
Soloviev Alexey Vladimirovich,
St. Petersburg, Russia, [email protected]
Abstrart
First of all the operation increase of geospatial information creation based on the aerospace pictures is possible through the automation of general technological processes of photoplot-ting. For automation of relative orientation digital aerospace pictures' phase namely the set of change points the correlation extreme methods of invert points searching are used in modern digital photoplotting systems. The disadvantages ofthese methods are the high probability of possible mistakes, the influence of bright -geometrical picture distortion and other factors depended on the conditions of picture forming. Moreover these methods show the low quality of work on the pictures with homogeneous image. And the main thing is that this way doesn't allow getting the whole automation of the change points set lest the extreme-correlation algorithm would be perfected there is the necessity of preliminary compilation fulfillment anyway. It is showed the increasing of relative orientation aerospace pictures' phase demands the creation of fundamentally new ways to solve the tasks of choosing and identification of the same name points of aerospace picture stereo pair. The proposed method is based on the algorithms taken from the computer vision discipline and consists of two phases. At the first stage the set of special points is got with help of searching and special points separation algorithms. At the second stage the comparison (confrontation) of special points task is being solved. The degree of conformity (similarity) of the same name points is defined by «attribute vector» - by descriptor. The descriptor (lat. Descriptor - describing) is the point identifier defining it from the rest similar points. It contains the compact conception
of typical features. It is formed by the information about the intense, color and texture of the special point and its surrounding. These algorithms permit the huge percent of wrong identifications and the original method of falsely compared points filtration based on RANSAC algorithm is used for its neutralization. The obtained results allow saying that the process of change points collection can be fully automated and the operator can be changed to new algorithms at this process. It will speed the process of aerospace picture photogrammetric handling and the efficiency of geospatial information creation. Keywords: mutual orientation; binding points; identification; stereo pair; rejection.
References
1. Lowe D.G. Object recognition from local scale-invariant features. ComputerVision and Image Understanding. 1999. Vol.7. Pp. 1150-1157.
2. Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: Speeded up robust features. Computer Vision and Image Understanding. 2008. Vol. 110. Pp. 346-359.
3. Sorensen H.W. Least-squares estimation: from Gauss to Kalman. IEEE Spectrum. 1970. Vol. 3. Pp.63-68.
4. Raichenko B.V., Nekrasov V.V. The practical application of the key points in the example of comparing satellite images «Canopus-V».Geomatics.2013. No. 2. Pp. 52-58. (In Russian).
5. Solovyov A.V. Innovatsionnaya deyatel'nost' v Vooruzhennykh Silakh Rossiyskoy Federatsii. Trudy vsearmey-skoy nauchno-praktichescoy konferentsii [Works of Vsearmeysky scientific-practical conference "Innovative activity in Armed Forces of the Russian Federation"], St. Peterburg, 17-18 September 2014. St. Peterburg, Military academy of communication Publ., 2014. Pp. 235-239. (In Russian).
Information about authors:
Soloviev A.V., postgraduate student of Military Space Academy.
For citation:
Soloviev A.V. Method of the automatic set of binding points for performance of mutual orientation of space pictures. H&ES Research. 2016. Vol. 8. No. 3. Pp. 20-23.
www.h-es.ru
h&es research
23
