CC BY
124
УДК 528.8
АВТОМАТИЧЕСКАЯ ИДЕНТИФИКАЦИЯ СООТВЕТСТВЕННЫХ ТОЧЕК НА АЭРОСНИМКАХ ЛЕСНЫХ МАССИВОВ
Александр Петрович Гук
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, доктор технических наук, профессор кафедры фотограмметрии и дистанционного зондирования, тел. (383)361-01-59, e-mail: guk_ssga@mail.ru
Максим Александрович Алтынцев
Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент кафедры инженерной геодезии и маркшейдерского дела, тел. (383)343-29-66, e-mail: mnbcv@mail.ru
Идентификация соответственных точек на аэрокосмических снимках является одной из наиболее сложных задач в области обработки данных аэросъемки. В настоящее время разработано множество алгоритмов идентификации, и одним из них является принадлежащий локальной группе алгоритм масштабно-инвариантного преобразования SIFT. В статье рассматривается возможность применения данного алгоритма для аэрокосмических снимков лесных массивов с целью выявить, как много соответственных точек будет автоматически идентифицироваться на кронах деревьев, можно ли построить высокоточную цифровую модель поверхности по найденным точкам либо по результатам работы алгоритма можно построить только цифровую модель рельефа. Все исследования результатов поиска соответственных точек выполнялись при различном размере пикселя на изображении. Приведена оценка точности и сделаны выводы о дальнейшей возможности применения алгоритма SIFT для определения высот деревьев.
Ключевые слова: аэрокосмические снимки, масштабно-инвариантное преобразование, функция Гаусса, автоматическое отождествление точек, дешифрирование лесных массивов, структурные алгоритмы, локальные алгоритмы, определение высот деревьев.
Одна из основных задач в фотограмметрии и дистанционном зондировании - это поиск соответственных характерных точек на аэрокосмических снимках. Поиск может выполняться в целях взаимного ориентирования снимков стереопары в случае применения данных одного залета, для выполнения операции выявления изменений в целях привязки снимков, полученных в разные моменты времени и различными сенсорами, для построения так называемого плотного облака точек на основе взаимно ориентированных трансформированных снимков. Задача идентификации соответственных точек является весьма сложной, так как на результат их поиска влияют такие факторы, как текстура изображения, яркость его пикселей. Яркость пикселей одноименных объектов на различных снимках может существенно отличаться вследствие неоднородного влияния освещенности, различного времени съемки и состояния атмосферы [1].
Созданием алгоритмов автоматической идентификации соответственных характерных точек на аэрокосмических снимках занимаются различные ученые во всем мире. Сейчас разработано множество таких алгоритмов, но каждый из
них не способен безошибочно решить задачу автоматической идентификации таких точек для всех возможных целей и ситуаций. Существуют различные классификации алгоритмов автоматической идентификации соответственных точек на аэрокосмических снимках, среди которых можно выделить следующие группы [2]:
- локальные;
- глобальные;
- полуглобальные.
Первая группа алгоритмов основана на площадном отождествлении, то есть сравнении фрагментов изображений заданного размера вокруг интересующей точки. Сюда относятся любые корреляционные методы, метод наименьших квадратов. Недостатком этих методов является сильное влияние освещенности территории, необходимость наличия выраженной текстуры. Также могут возникать ошибки отождествления вблизи границ высотных объектов и на границах снимков, которые тем больше, чем крупнее размер сравниваемых фрагментов. То есть наилучшим образом данные алгоритмы работают на открытых территориях без высотных объектов.
Среди локальных можно выделить два метода, дающие наибольшую точность результата отождествления: масштабно-инвариантное преобразование SIFT, впервые предложенное Дэвидом Лоу [3] и алгоритм SURF, предложенный Гербертом Бэйем [4]. Данные алгоритмы основаны на одном и том же принципе, но имеют свои особенности. Достоинством этих методов является инвариантность к взаимному развороту и масштабу сравниваемых изображений. Исследования, приведенные в [5], показали, что алгоритм SURF способен найти большее число соответственных характерных точек, но он более чувствителен к развороту, чем SIFT.
Суть алгоритма SIFT заключается в том, что на первом этапе строятся гауссовы пространства сравниваемых изображений L(x, y, Oj), которые получают посредством свертки исходного изображения P(x, y) и гауссовой функции G(x, y, Oj) [1, 6]
L( X У, a j) = P(x y) * G( ^ y, a j X (1)
где
1 -(х2 + у 2) / а2
0{х, у,а/) =-- е 3; (2)
2па з
о/ - параметр, определяющий вид функции Гаусса для 3-го уровня изображения гауссова пространства;
х, у - координаты точки на изображении в пикселях; * - операция свертки;
] = 1-к, к - количество уровней гауссовой пирамиды, задаваемое в зависимости от вида исходного изображения.
На втором этапе выполняется поэлементное вычитание значений яркости соседних уровней
Б] (х, у, а) = Ь( х, у, ко ]) - Ь( х, у, а ]),
где к - параметр, определяющий гауссово пространство.
Далее выполняется построение гауссовых пространств для следующих уровней гауссовой пирамиды и поэлементное вычитание для них. Поиск соответствующих точек выполняется на основе анализа разностных изображений
Щх y, о).
Выделение соответственных характерных точек осуществляется на основе последовательного просмотра разностных изображений Б(х, у, о) с помощью маски размером 3 х 3 элемента для всех уровней. Выполняется вычисление разности между значениями яркости центральной точки области и восемью соседними элементами уровня ], а также соответственными девятью элементами изображения Б/+1(х, у, о7+1) уровня ] + 1 и элементами Б/_1(х, у, о7-1) уровня _/-1. Точка будет считаться характерной в случае, если для всех уровней гауссовой пирамиды изображение точки будет локальным максимумом или минимумом соответственной области изображения, то есть являться экстремумом.
Затем с найденных характерных точек выполняется ориентация соответственных локальных областей изображения. Размер локальных областей задается масштабом, радиусом окружности с центрами в характерных точках и начальными направлениями, которые определяются с помощью значения максимального градиента. Величина градиента вычисляется по формуле:
х, у) = ^(Ь(х +1, у) - Ь(х -1, у))2 + (Ь(х, у +1) - Ь(х, у -1))2. (3)
Угол, который определяет ориентацию локального изображения, а именно между осью х и начальным направлением, вычисляется следующим образом:
0( х, у) = tg-1
L(х, у +1) - L(x, у -1) L( x +1, y) - L( x -1, у)
(4)
Далее задается описание точки в локальной системе координат в виде матрицы размером l х / элементов по исходной области 4l х 4/ элементов. Таким образом, формируется вектор признаков, размерность которого зависит от выбранного размера элемента, размера исходной области и количества направлений. Вектор признаков используется для индикации соответственных характерных точек.
Существуют различные модификации алгоритма SIFT. Например, применение в начале работы алгоритма SIFT вейвлет-преобразования вместо свертки
исходного изображения и гауссовой функции. Выполняется поэлементное вычитание преобразованных с помощью вейвлет-функций изображений различных уровней [7].
Недостатком работы всех локальных алгоритмов автоматической идентификации соответственных характерных точек изображений является то, что они допускают большой процент неверных отождествлений. Для уменьшения процента неверных отождествлений дополнительно могут применяться различные алгоритмы фильтрации характерных точек, которые были ошибочно определены. Среди таких алгоритмов наибольшую популярность приобрел алгоритм RANSAC и его модификации [8]. Преимуществом алгоритма является его устойчивость к различным выбросам, шумам. То есть метод не искажает модель, дает надежную оценку результатов отождествления с помощью локальных алгоритмов [9, 10].
Вторая группа алгоритмов, глобальные, наиболее трудоемка для реализации. Данная группа методов находит взаимосвязи сразу между всеми пикселями стереопары снимков, не только анализирует разности значений яркостей соответственных пикселей, но и учитывает взаимосвязи между соседними пикселями [2].
Чтобы упростить процесс реализации алгоритмов глобальной группы и ускорить их работу, в 2005 г. Хиршмюллером был разработан алгоритм так называемого полуглобального отождествления Semi-Global Matching (SGM) [11]. В данном алгоритме сравниваются не все пиксели стереопары, а лишь те, которые находятся вдоль заданных направлений, базисных линий. Количество таких направлений может варьироваться и обычно выбирается равным 8 или 16. Для того, чтобы алгоритм давал адекватные результаты, должны быть применены уже трансформированные снимки. То есть в первую очередь SGM применяется для построения плотного облака точек. В настоящее время появляется огромное число алгоритмов, что является дальнейшим развитием идеи Хиршмюлле-ра [12]. Одна из значительных модификаций данного алгоритма была предложена Чибуничевым [2], в ней стало возможным применять для поиска соответственных характерных точек стереопары нетрансформированных снимков.
Также применяются другие классификации алгоритмов автоматической идентификации алгоритмов поиска соответствующих точек, среди которых можно выделить следующие [13]:
- алгоритмы, применяющие значения яркости пикселей (спектральная область);
- структурные алгоритмы (Фурье-преобразование, вейвлет-преобразо-вание);
- алгоритмы, использующие признаки низкого уровня (границы, углы);
- алгоритмы, использующие признаки высокого уровня (крупные объекты).
Как уже было отмечено, на результат отождествления соответственных характерных точек на аэрокосмических снимках влияют различные условия освещенности и текстура изображения, зависящая от типа снимаемой территории. Так, для локальных методов чем более выражена текстура и меньше высотных
объектов, тем лучше результат отождествления. Неоднозначным типом территории с точки зрения результатов отождествления являются лесные массивы, которые, кроме высотных объектов, деревьев, содержат участки с довольно выраженной текстурой между ними, такие как полевые дороги, поляны, болота.
Для исследования результатов идентификации соответственных характерных точек на территорию лесных массивов были выбраны стереопары аэрокосмических снимков, полученных с помощью цифровой фотокамеры DMC-II-140 со средней высоты съемки 1 350 м. Разрешение аэроснимков на местности составило порядка 10 см. В качестве алгоритма идентификации был выбран локальный алгоритм - масштабно-инвариантное преобразование SIFT, обладающее рядом уже упомянутых преимуществ и показавшее высокие результаты оценки точности внешнего ориентирования модели [14].
Для поиска были выбраны фрагменты стереопары упомянутых аэрокосмических снимков размером 1 000 х 1 000 пикселей. Фрагменты представляли собой плотные лесные массивы с лесной дорогой в центре. По итогам работы алгоритма SIFT была найдена 391 соответствующая точка. Оценка точности идентификации характерных точек выполнялась без уточнения по высоте в программном комплексе ENVI с помощью инструмента трансформирования снимков при применении полиномов второго порядка. На деревья среди всех найденных точек попало только два, которые были отбракованы. На рис. 1 показан результат поиска соответственных характерных точек на фрагментах стереопары, где зеленым цветом отмечены отбракованные точки. Все, кроме двух точек, были найдены на полевой дороге. На деревьях точки не были определены вследствие большого отличия в текстуре на фрагментах стереопары, вызванного большой разницей в угле съемки относительно точки фотографирования. В табл. 1 приведены результаты оценки точности после отбраковки. Все точки были приняты в качестве опорных.
Рис. 1. Результат поиска соответственных характерных точек на фрагментах стереопары размером 1 000 х 1 000 элементов
Таблица 1
Результаты оценки точности идентификации соответственных характерных точек для фрагментов размером 1 000 х 1 000 элементов
Результаты оценки X, м Y, м
Средняя ошибка 0,038 0,027
СКО 0,031 0,024
Максимальная ошибка 0,192 0,131
Далее были выбраны фрагменты стереопары размером 2 000 х 2 000 пикселей, на которых был изображен лесной массив с различной степенью плотности, где расстояние между некоторыми деревьями составляло несколько метров, а также присутствовали водные объекты. С помощью алгоритма SIFT была найдена 2 681 соответствующая точка. 130 точек было отбраковано по значениям с СКО первоначально более двух пикселей. На рис. 2 показан результат поиска соответственных характерных точек на данных фрагментах стереопары. Точки были найдены только на полянах либо на участках с молодыми деревьями (с небольшой высотой). В табл. 2 приведены результаты оценки точности для данных фрагментов после отбраковки.
Рис. 2. Результат поиска соответственных характерных точек на фрагментах стереопары размером 2 000 х 2 000 элементов
Таблица 2
Результаты оценки точности идентификации соответственных характерных точек для фрагментов размером 2 000 х 2 000 элементов
Результаты оценки X, м Y, м
Средняя ошибка 0,059 0,026
СКО 0,046 0,025
Максимальная ошибка 0,240 0,171
Чтобы выяснить влияние размера пикселя изображения на местности на точность идентификации соответственных точек стереопары и их количество, разрешение последних фрагментов было уменьшено в два и четыре раза. После того, как разрешение фрагментов было уменьшено до 1 000 х 1 000 пикселей (20 см на местности), алгоритм SIFT смог идентифицировать 1 727 соответствующих точек, из которых было отбраковано 25 точек, имеющих СКО более двух пикселей. Таким образом, с уменьшением разрешения в два раза общее количество найденных точек уменьшилось на 34 %, а точек с СКО более двух пикселей - на 81 %. Распределение характерных точек, то есть конкретное их положение, оказалось приблизительно таким же, как и для фрагментов размером 2 000 х 2 000 пикселей. В табл. 3 приведены результаты оценки точности для данных фрагментов после отбраковки.
Таблица 3
Результаты оценки точности идентификации соответственных характерных точек для фрагментов с разрешением, уменьшенным
до 1 000 х 1 000 элементов
Результаты оценки X, м Y, м
Средняя ошибка 0,073 0,036
СКО 0,062 0,039
Максимальная ошибка 0,394 0,324
При разрешении фрагментов, уменьшенном до 500 х 500 пикселей (40 см на местности), алгоритм SIFT смог идентифицировать 620 соответствующих точек, из которых было отбраковано четыре точки, имеющих СКО более двух пикселей. То есть, с уменьшением разрешения в четыре раза общее количество найденных точек уменьшилось на 77 %, а точек с СКО более двух пикселей -на 97 %. В табл. 4 приведены результаты оценки точности для данных фрагментов после отбраковки.
Таблица 4
Результаты оценки точности идентификации соответственных характерных точек для фрагментов с разрешением, уменьшенным до 500 х 500 элементов
Результаты оценки X, м Y, м
Средняя ошибка 0,095 0,054
СКО 0,086 0,058
Максимальная ошибка 0,600 0,368
Таким образом, результаты автоматической идентификации соответственных точек на фрагментах стереопар аэроснимков лесных массивов показали, что алгоритм SIFT не находит соответственные точки, расположенные на деревьях. Чем меньше плотность леса на снимках, тем больше может быть найде-
но точек на участках с большими расстояниями между деревьями, то есть на полянах, лесных, полевых дорогах. Количество неправильно идентифицированных точек тем меньше, чем меньше размер пикселя снимка на местности.
В результате выполненных исследований можно предложить следующую методику определения высот деревьев:
- используя алгоритм SIFT, можно выделить точки на поверхности Земли;
- по полученным точкам (одним из известных методов, например, триангуляция Делоне) можно построить ЦМР;
- затем, используя метод, основанный на корреляционном анализе статистического образа дерева и градиентном подходе, определить точки на вершинах деревьев;
- по точкам на вершинах деревьев построить цифровую поверхность, проходящую по вершинам деревьев;
- построить разностную модель ЦМП-ЦМР и определить высоты деревьев.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Гук А. П., Йехиа Хассан Мики Хассан. Автоматический выбор и идентификация характерных точек на разновременных разномасштабных аэрокосмических снимках // Изв. вузов. Геодезия и аэрофотосъемка. - 2010. - № 2. - С. 66-68.
2. Чибуничев А. Г., Михайлов А. П., Старшов В. В. Автоматическое построение плотного облака точек по множеству снимков на основе полуглобального метода отождествления соответственных точек // Изв. вузов. Геодезия и аэрофотосъемка. - 2015. - № 2. - С. 14-18.
3. Lowe D. G. Object recognition from local scale-invariant features // Proc. Intl. Conference on Computer Vision. - 1999. - P. 1150-1157.
4. Bay H., Tuytelaars T., Van Gool L., SURF: speeded up robust features // Proceedings of the 9th European Conference on Computer Vision. - Springer LNCS, 2006. - Vol. 3951, Part. l. -P. 404-417.
5. Сравнительный анализ алгоритмов построения изображений подстилающей поверхности / В. А. Бочаров, Н. С. Каширов, Е. П. Чумикова, А. И. Гаврилов // Молодежный научно-технический вестник. - 2014. - № 12. - С. 24.
6. Чибуничев А. Г., Галахов В. П. Автоматическая привязка снимков к облаку точек, полученному с помощью наземного лазерного сканера // Изв. вузов. Геодезия и аэрофотосъемка. - 2011. - № 2. - С. 84-89.
7. Deepa M., Saravanan T. Automatic Image Registration using 2D-Discrete Wavelet Transform // Indian Journal of Science and Technology. - 2016. - Vol. 9 (5).
8. Wahed M., El-tawel Gh. S., Gad El-karim A. Automatic Image Registration Technique of Remote Sensing Images // International Journal of Advanced Computer Science and Applications. -2013. - Vol. 4 (2). - P. 177-187.
9. Загидуллин Б. А., Бочкарев В. В. Синтез панорамных изображений с использованием метода SIFT и кластеризующего слоя Кохонена // 35-я конференция молодых ученых и специалистов «Информационные технологии и системы - 2012» : сб. материалов. - Петрозаводск. - С. 407-412.
10. Соловьев А. В. Метод автоматического определения одноименных точек для вычисления элементов взаимного ориентирования // Изв. вузов. Геодезия и аэрофотосъемка. -2017. - № 1. - С. 40-44.
11. Hirschmuller H. Accurate and efficient stereo processing by semi-global matching and mutual information // IEEE Conf. on Computer Vision and Pattern Recognition. - San Diego, California USA, 2005. - Vol. 2. - P. 807-814.
12. Горбачев В. А. Плотная реконструкция рельефа местности на основе модифицированного алгоритма полуглобального стерео отождествления // Известия РАН. Теория и системы управления. - 2014. - № 2.- С. 66-77.
13. Rao K. M. M., et al. Optimization of automatic image registration algorithms and characterization // ISPRS congress. - Istanbul, 2004. - Vol. 35. - P. 698-703.
14. Гук А. П., Йехиа Хассан Мики Хассан, Арбузов C. A. Исследование точности автоматического измерения координат точек снимков с помощью масштабно-инвариантного преобразования SIFT // ГЕ0-Сибирь-2010. VI Международный научный конгресс : сб. материалов в 6 т. (Новосибирск, 19-29 апреля 2010 г.). - Новосибирск : СГГА, 2010. Т. 4, ч. 1. -С. 35-38.
Получено 02.10.2017
© А. П. Гук, М. А. Алтынцев, 2017
AUTOMATIC IDENTIFICATION OF CORRESPONDING POINTS FOR AERIAL IMAGES OF FOREST AREAS
Alexander P. Guk
Siberian State University of Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Dr. Sc., Professor, Department of of Photogrammetry and Remote Sensing, phone: (383)361-01-59, e-mail: guk_ssga@mail.ru
Maxim A. Altyntsev
Siberian State University of Geosystems and Technology, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Ph. D., Senior Lecturer, Department of Engineering Geodesy and Mine Surveying, phone: (383)343-29-66, e-mail: mnbcv@mail.ru
Identification of corresponding points on the aerospace images is one of the most difficult tasks in data processing of aerial images. Currently a large number of identification algorithms has been developed, one of which being owned by local group is the algorithm of scale-invariant transformations SIFT. The article considers the possibility of applying this algorithm for aerospace images of forests with the purpose to reveal how many reference points will automatically be identified on tree crowns; is it possible to develop a high precision digital model of relief. All the result analysis of the found reference points was performed at different pixel size image. The precision estimation is driven and the conclusion about the further perspective of algorithm SIFT application for determining trees altitudes is made.
Key words: aerospace images, scale-invariant transformation, Gaussian function, automatical point identification, forests deciphering, structural algorithms, local algorithms, trees altitude determination.
REFERENCES
1. Guk, A. P., & Yehia Hassan Miky Hassan. (2010). Identification of Image Features on the Multitemporal and Multiscale Space Imagine. Izvestia vuzov. Geodezija i aerofotos"emka [Izvestia Vuzov. Geodesy andAerophotography], 2, 66-68 [in Russian].
2. Chibunichev, A. G. Mikhailov, A. P, & Starshov, V. V. (2015). Automatic generation of a dense point cloud using multiple images, based on semi-global method of matching corresponding points. Izvestia vuzov. Geodezija i aerofotos"emka [Izvestia Vuzov. Geodesy and Aerophotography], 2, 14-18 [in Russian].
3. Lowe, D. G. (1999). Object recognition from local scale-invariant features. Proc. Intl. Conference on Computer Vision (pp. 1150-1157).
4. Bay, H., Tuytelaars, T., & Van Gool, L. (2006). SURF: speeded up robust features. Proceedings of the 9th European Conference on Computer Vision: Vol. 3951, Part. L (pp. 404417). Springer LNCS.
5. Bocharov, V. A., et. al. (2014). Comparative analysis of algorithms for underlying surface pattern generation. Molodezhnyj nauchno-technicheskij vestnik [Youth Scientific and Technical Bulletin], 12, 24 p. [in Russian].
6. Chibunitchev, A. G., & Galakhov, V. P. (2011). Automatic binding of images to a point cloud obtained by terrestrial laser scanner. Izvestia vuzov. Geodezija i aerofotos"emka [Izvestia Vuzov. Geodesy and Aerophotography], 2, 84-89 [in Russian].
7. Deepa, M., & Saravanan, T. (2016). Automatic Image Registration using 2D-Discrete Wavelet Transform. Indian Journal of Science and Technology, 9(5).
8. Wahed, M., El-tawel, Gh. S., & Gad El-karim A. (2013). Automatic Image Registration Technique of Remote Sensing Images. International Journal of Advanced Computer Science and Applications, 4(2), 177-187.
9. Zagidullin, B. A., & Bochkarev, V. V. (2012). Panoramic image synthesis with SIFT algorithm and Kokhonen's clustering layer. In Sbornik materialov 35 konferentsii molodyh uchenyh i specialistov [Proceedings of 35th Conference of Young Scientists and Specialists "Information Technologies and Systems"] (pp. 407-412). Petrozavodsk [in Russian].
10. Solovyov, A. V. (2017). Method Of Determining Conjugate Points Automatically Used To Calculate The Elements Of Relative Orientation. Izvestia vuzov. Geodezija i aerofotos"emka [Izvestia Vuzov. Geodesy and Aerophotography], 1, 40-44 [in Russian].
11. Hirschmuller, H. (2005). Accurate and efficient stereo processing by semi-global matching and mutual information. IEEE Conf. on Computer Vision and Pattern Recognition: Vol. 2. (pp. 807-814). San Diego, California USA.
12. Gorbachev, V. A. (2014). Dense Reconstruction of Area Releief Based on Modified Semi-Global Matching Algorithm. Izvestia RAN. Teoriya i systemy upravleniya [Izvestia RAN. Theory and Control Systems], 2, 66-77 [in Russian].
13. Rao, K. M. M., et al. (2004). Optimization of automatic image registration algorithms and characterization. ISPRS congress: Vol. 35 (pp. 698-703). Istanbul.
14. Guk, A. P., Yehia Hassan Miky Hassan, & Arbuzov, S. A. (2010). Studying the accuracy of automatic measurement of points coordinates for images using scale invariant transform SIFT. In Sbornik materialov GEO-Sibir'-2010: T. 4, ch. 1 [Proceedings of GEO-Siberia-2010: Vol. 4, Part 1] (pp. 35-38). Novosibirsk: SSGA [in Russian].
Received 02.10.2017
© A. P. Guk, M. A. Altyntsev, 2017
