CC BY
33
Сопоставление областей на аэрофотоснимках в задаче распознавания строений
Волобой А.Г., ИПМ им. М.В. Келдыша РАН voloboy@gin.keldysh.ru Новоторцев Л.В., АО «Фирма Ракурс» novotortsev@racurs.ru
Аннотация
Данная работа посвящена вопросу сопоставления выделенных областей на разных аэрофотоснимках с заданным ориентированием. При этом в рамках статьи считается, что области выделены грубо и имеют неточное совпадение с соответствующими областями на других снимках. Также возможны случаи, когда одна область соответствует двум областям на снимке.
1 Введение
Задача распознавания и реконструкции строений на снимках, полученных при помощи аэро- или космосъемки, является довольно распространенной в рамках фотограмметрии. Данная задача часто решается в рамках автоматического создания или обновления электронных карт, где наличие трёхмерных моделей значительно увеличивает наглядность продукта и упрощает чтение карты. Другая сфера, где рассматриваемая задача активно используется, - анализ застройки. К примеру, это необходимо для поиска выгодных мест для новой застройки и дальнейшей её продажи. Также анализ застройки может использоваться в природоохранных целях для обнаружения нелегальной или опасной застройки.
Часто аэро- и космофотоснимки имеют большой размер (нередко превышающий GPix), поэтому ручная обработка этих снимков не представляется целесообразной или даже вообще возможной. По этой причине для решения подобных задач в основном используются автоматические методы [Ok 2013; Ghaffarian, Ghaffarian, 2014; Singhal, Radhika 2014; Qin et al. 2016].
В связи с тем, что строения в подавляющем большинстве случаев имеют линейные черты, многие алгоритмы, связанные с обнаружением или трехмерной реконструкцией строений, используют подходы, ориентированные на выделение отрезков на изображениях [Huertas, Nevatia 1988; Baillard, Zisserman
2000; Cohen et al. 2016]. Однако существенной деталью является то, что для построения трехмерной модели необходимо также осуществлять сопоставление найденных отрезков [Wang et al. 2009; Zhang, Koch 2012; Zahra et al. 2015; Hofer et al. 2017]. Данная операция довольно затратная, даже при использовании внешнего ориентирования снимков для осуществления начального приближения. Это связанно с тем, что сопоставление каждого отрезка необходимо проводить со всеми отрезками, попавшими в область, определяемую ориентированием. Для каждого сопоставления необходимо делать анализ окрестности отрезка, что представляет собой ресурсоемкую операцию.
В связи с этим возникает необходимость сократить количество сопоставлений за счет предварительного построения областей, представляющих интерес для дальнейшей обработки. Существенной деталью является необходимость сопоставления этих областей. Должны быть выполнены следующие условия:
• Минимизация количества пропущенных строений при выделении областей;
• Минимизация пропущенных сопоставлений;
• Скорость поиска и сопоставления областей должна быть достаточно велика, чтобы оправдать предложенный подход.
Существующие алгоритмы поиска строений [Zhou, Wang 2016; Qin et al. 2016] дают достаточно точные результаты, но они требуют существенных временных затрат или дорогих исходных данных [Dornaika et al. 2016; Peng, Zhang 2016], которые не оправдывают их применения.
По этой причине был предложен более быстрый и грубый алгоритм нахождения областей, содержащих строения, основанный на простых геометрических операциях [Novotortsev, Voloboy 2015]. Кроме того, результаты, полученные от некоторых операций
(например, нахождения отрезков), повторно используются в дальнейших операциях.
Рассмотрим подробнее получение областей для понимания возникающих проблем при сопоставлении.
2 Получение областей
2.1 Выделение отрезков
Первым шагом алгоритма является обнаружение границ. Самыми распространенными методами обнаружения отрезков являются:
• метод Хафа [Hough 1962; Li et al. 1986;
Matas at al. 2000; Du et al. 2010];
• LSD [Gioi at al. 2010];
• EdLines [Akinlar 2011].
В качестве основного алгоритма, в данной работе предлагается использовать метод LSD, дающий более подходящие результаты, чем другие распространенные методы, такие как метод Хафа и EdLines.
Из-за физического ограничения в вычислительных мощностях, в частности, оперативной памяти, и особенностей метода LSD обработка всего изображения целиком невозможна. По этой причине необходимо сначала провести разделение снимка на сегменты.
Размер каждого сегмента определяется на основе табл. 1, исходя из точности, которую хотим получить при определении угла наклона отрезка.
Табл. 1. Зависимость размера сегмента L от необходимой точности обнаружения угла Д9
Для каждой области применяется алгоритм обнаружения отрезков LSD. Отрезки, найденные на соседних сегментах, объединяются, если они лежат на одной прямой.
2.2 Объединение отрезков в замкнутые контуры
Следующим важным шагом является объединение отрезков, поученных на предыдущем этапе в замкнутые контуры [Новоторцев, Волобой 2016].
Общий принцип заключается в следующем. Поочерёдно выполняются этапы:
• Объединение отрезков, лежащих на одной прямой;
• Объединение отрезков, лежащих на пересекающихся прямых;
• Объединение отрезков, лежащих на параллельных прямых;
• Замыкание полученных ломанных и фильтрация.
В каждом этапе выполняются проверки, основанные на геометрических особенностях рассматриваемого случая, и принимается решение о необходимости выполнения объединения. В сложных случаях выполняется повторная проверка рассматриваемой области по полю градиентов, но с более чувствительными настройками.
2.3 Результаты и особенности метода выделения
Описанный метод работает очень быстро за счет использования простых геометрических операций. Однако это достигается ценой большой погрешности обнаружения: часто вместе со строениями также выделяются дороги, газоны, автомобили и даже соседние строения (Рис. 1 и Рис. 2). На рисунках видно, что некоторые выделения областей включают в себя помимо самого строения еще и газон рядом с ним. Причем попавшие в выделение «лишние элементы» иногда не совпадают (например, дом с бардовой крышей в верхнем правом углу). Также два строения, которые попали в разное выделения на Рис. 1, объединены на Рис.2 (второй сверху дом справа).
Подобные дефекты выделения - плата за скорость его получения, и при сопоставлении необходимо учитывать подобные погрешности. Перечислим ситуации, которые необходимо учитывать при сопоставлении:
• сопоставляемые области практически полностью совпадают по тому, что в них входит;
• сопоставляемой области соответствует две или более областей на другом снимке;
• части сопоставляемой области соответствует часть области на другом снимке;
• для области не была обнаружена соответствующая область на втором снимке.
де 1 2 3 4 5 6 7 8
L 459 230 153 115 92 77 66 58
Рис. 1. Найденные области на первом снимке
Рис. 2. Найденные области на втором снимке
3 Анализ существующих методов
На данный момент существует большое разнообразие и количество методов, направленных на решение поставленной задачи. Преимущественно все алгоритмы сопоставления можно разделить на три вида:
• сопоставление по шаблону;
• площадное сопоставление;
• сопоставление по особым элементам.
Рассмотрим каждый из представленных типов подробнее.
3.1 Сопоставление по шаблону
Алгоритмы, относящиеся к данному типу, используют предопределенные, либо вычисленные шаблоны для выполнения сопоставления. Подобные алгоритмы распространены в области распознавания текстов или заранее определенных образов [Briechle, Hanebeck 2001; Yang 2010; Jia et al. 2016].
Данный вид сопоставления не подходит для решения поставленной задачи, поскольку отсутвуют элементы, которые можно было бы использовать в качестве шаблонов.
3.2 Площадные корреляторы
Площадные корреляторы основываются на операциях, связанных с вычислением параметров сегментов изображений для выполнения сопоставлений [Pedersini et al. 1998; Alba at al. 2014]. Алгоритмы, основанные на данном подходе, имеют низкую сложность написания, высокую скорость работы и малую точность.
Данный вид алгоритмов также не подходит для решаемой задачи по следующим причинам:
• снимки при аэросъемке могут быть сняты со значительным промежутком во времени, поэтому такие параметры, как яркость и цветность, могут значительно меняться. Градиенты также не являются надежным параметром для сопоставления;
• зачастую соседние области имеют схожие параметры, что усложняет задачу их различения;
• необходимы дополнительные операции, чтобы учесть особенности, указанные в разделе 2.2
3.3 Сопоставление по особым точкам
Данный подход решения задачи сопоставления является наиболее распространенным и активно развивающимся [Bay et al. 2008; Lowe 2004; Ma et al. 2015; Jing et al. 2017]. Это обусловлено тем, что рассматриваемые алгоритмы наиболее точные и имеют очень широкое применение.
Данный класс алгоритмов наиболее подходит для решения рассматриваемой задачи, однако они не дает необходимой скорости:
время, необходимое на поиск и сопоставление дескрипторов, практически полностью лишит смысла идею выделения областей.
4 Предложенный метод
Поскольку ни один из рассмотренных методов не подходит полностью для рассматриваемого случая, то возникает необходимость разработать новый метод или существенно дорабатывать один из существующих. Один из вариантов решения поставленной задачи -использовать подход, который позволяет выполнить приблизительное сопоставление, а потом выполнить сопоставление более точное на основе взаимосвязи объектов и контекстной информации.
В данной работе предлагается использовать следующую особенность аэрофотосъемки: все снимки сделаны примерно на одной высоте. Это позволяет сделать предположение, что горизонтальные линии (в трехмерном пространстве) не изменяются существенно от снимка к снимку, и единственное неизвестное при построении линии на другом снимке -высота линии. На Рис.3 проиллюстрирована вероятная проекция рассматриваемого отрезка на сопоставляемое изображение.
Рис.3. Проекция отрезка на второе изображение и область поиска, соответствующая ему. Примечание. Жирный отрезок слева - прямая проекция рассматриваемого отрезка на второе изображение при условии нулевой высоты. Серым выделена область, где соответствующий ему отрезок находится. Линии в области - множество соответствующих отрезков в случае, если рассматриваемый отрезок горизонтален.
В рамках поставленной задачи мы рассматриваем крыши строений как основной объект для обнаружения. У подавляющего большинства крыш горизонтальные линии существуют и легко определимы: коньки крыш,
концы скосов. Прежде чем будет рассмотрен предложенный алгоритм, стоит упомянуть, что в рамках предложенного метода дополнительно вводится ограничение на максимальную высоту объектов на снимке, что дополнительно ограничивает интересующую область на сопоставляемом снимке. Далее по тексту будем использовать термин «область» для обозначения областей полученных на этапе 2. Для областей, описанных в этом разделе, будем использовать термин «зона проекции отрезка» или просто «зона проекции».
4.1 Грубое сопоставление областей
Для каждой области на снимке отрезки рассматриваются в порядке убывания длины до тех пор, пока длина очередного отрезка не станет меньше заранее заданной величины (хорошие результаты показывает пиксельный эквивалент трех метров).
Для рассматриваемого отрезка строится зона проекции этого отрезка на сопоставляемом снимке. Среди всех отрезков, попавших в пересечение зоны проекции и областей, найденных на сопоставляемом снимке, выбираются те, что дают горизонтальный отрезок при трехмерной реконструкции проекции отрезка (т.е. они параллельны) при условии его горизонтальности и нулевой высоты. Далее для выбранных отрезков вычисляются корреляционный вес и высота, полученная при трехмерной реконструкции сопоставленных отрезков.
Вычисления веса. При идеальном совпадении сопоставления отрезок должен заканчиваться у границ зоны сопоставления. По этой причине в качестве веса используется отношение сопоставляемого отрезка к рассматриваемому. Чем ближе значение веса к единице, тем более вероятно, что сопоставление верно. Однако при сопоставлении необходимо учитывать, что линии могут прерываться. Поэтому, если для сопоставляемого отрезка существует отрезок, который лежит на той же прямой, то они объединяются. И вес рассчитывается для объединенного отрезка.
Выбор областей. Наконец, вычисляются веса для оценки соответствия областей на сопоставляемом снимке. Для каждой сопоставляемой области вес высчитывается как усредненная сумма весов отрезков, высчитанная на предыдущем этапе. Чем ближе вес к единице, тем более вероятно, что области коррелируют.
Однако, из-за того, что единственное, что использовалось при сопоставлении областей между снимками, - это геометрические операции, то есть вероятность того, что описанный выше метод даст некорректное сопоставление. По этой причине вместо того, чтобы выбрать одну область, сопоставляемые области сортируются по значениям веса. Далее используется верификационный алгоритм, описанный ниже.
4.2 Верификация сопоставления областей и окончательное сопоставление
Для верификации и окончательного сопоставления сегментов используется следующий подход. Сначала рассчитываются расстояния между областями (Рис. 4). Соответствующие расстояния сравниваются. Далее на сопоставляемом снимке находятся те области, расстояния между которыми больше остальных отличаются от расстояний связанных областей на исходном снимке. Тогда для исходной области ставится в соответствие следующая область в списке, полученном в разделе 4.1
Рис. 4. Области и их соответствие на двух снимках. Примечания. Слева рассматриваемый снимок, справа сопоставляемый. Прямыми линиями обозначены сопоставления областей. Штрихованными линиями - расстояния между областями на одном снимке
Данная операция продолжается для всех связей до тех пор, пока не будет установлен минимум разницы расстояний.
При применении данного подхода возникают следующие особенности:
• Обработка ситуаций неоднозначного сопоставления;
• В случае большого размера изображений данный метод значительно теряет эффективность.
Решать эти проблемы в данной работе предлагается следующим способом.
Неоднозначное сопоставление. Если одной области на исходном снимке соответствует несколько областей на сопоставляемом снимке, то расстояния других сопоставленных областей до частей усредняются, и усредненное расстояние сравнивается с расстояниями на исходном снимке. Обратная ситуация (несколько областей на исходном снимке соответствуют одному на сопоставляющимся) обрабатывается аналогичным способом, только зеркально.
Большой размер изображений. В подавляющем большинстве случаев аэрофотоснимки имеют большой размер, и проводить подобную операцию по всем областям, найденным на снимках, затратно и неэффективно. Для больших расстояний между областями, даже при совершенно некорректных связях, разница будет неощутима, и это будет негативно сказываться на корректности.
Этой проблемы можно избежать, если приведенные выше расчеты проводить только для ближайших соседей (для 5-10 наиболее оптимально). Также имеет смысл ввести ограничения на максимальное расстояние между областями, которое учитывается при расчетах.
В качестве порока в данной работе предлагается использовать утроенный размер рассматриваемой области. Это позволяет избежать проблем со статичным порогом на снимках с большой вариативностью размеров строений.
5 Результаты
Метрика оценки качества. Для оценки точности сопоставления строений представленным методом предлагается сравнивать результаты ручного сопоставления крыш строений между снимками с результатом автоматического сопоставления областей, описанного в данной работе. Для получения оценки рассматривается отношение общего числа строений, сопоставленных вручную, к числу сопоставленных строений, попавших
хотя бы частично в области, которые были сопоставлены автоматически.
Данная метрика обусловлена тем, что некоторое количество ложных сопоставлений не оказывает существенного влияния на конечный результат, поскольку далее отрезки будут сопоставляться более ресурсоемкими и точными алгоритмами. С другой стороны, пропущенные сопоставления могут существенно ухудшить итоговые результаты реконструкции строений, что является конечной целью.
Результаты. На Рис. 5 представлен пример сопоставления на небольших фрагментах снимков.
Рис.5. Сопоставленные области.
По описанной метрике представленный алгоритм достигает 100% точности на некоторых типах данных. В среднем точность варьируется от 91% до 96%, что является очень высоким результатом.
Данные высокие цифры обусловлены тем, что для сопоставления использовались сильные предположения о топологии сцены и особенностях целевых объектах (строений). Также на приведенные цифры влияет выбранная метрика, которая не учитывает целый класс ошибок, в основном из-за того, что они не существенно влияют на результат.
Список литературы
[Нов16] Новоторцев Л.В., Волобой А.Г. Ускорение алгоритма распознавания зданий по нескольким аэрофотоснимкам за счет предобработки изображений // Препринты ИПМ им. М.В. Келдыша РАН. - 2016. - № 35. - С 12.
[Akil 1] Akinlar C., Topal C. EDLines: A real-time line segment detector with a false detection control // Pattern Recognition Letters. - 2011. - Vol. 32. -№. 13. - С. 1633-1642.
[Alb14] Alba A. et al. Phase-correlation guided area matching for realtime vision and video encoding // Journal of real-time image processing. - 2014. -Vol. 9. - №. 4. - P. 621-633.
[Bai00] Baillard C., Zisserman A. A plane-sweep strategy for the 3D reconstruction of buildings from multiple images // International Archives of Photogrammetry and Remote Sensing. - 2000 -Vol. 33(B2) part 2. - P. 56-62.
[Bay08] Bay H. et al. Speeded-up robust features (SURF) // Computer vision and image understanding. - 2008. - Vol. 110. - №. 3. - P. 346-359.
[Bri01] Briechle K., Hanebeck U. D. Template matching using fast normalized cross correlation // Optical Pattern Recognition XII. - International Society for Optics and Photonics. - 2001. - Vol. 4387. - P. 95-103.
[Coh16] Cohen J. P. et al. Rapid building detection using machine learning // Applied Intelligence. -2016. - Vol. 45 - №2. - P. 443-457.
[Dor16] Dornaika F. et al. Building detection from orthophotos using a machine learning approach: An empirical study on image segmentation and descriptors // Expert Systems with Applications. -2016. - Vol. 58. - P. 130-142.
[Du10] Du, S., van Wyk, B. J., Tu, C., & Zhang, X. An improved Hough transform neighborhood map for straight line segments // IEEE Transactions on Image Processing. - 2010. - Vol. 19 - № 3. - P. 573-585.
[Hof17] Hofer M., Maurer M., Bischof H. Efficient 3D scene abstraction using line segments // Computer Vision and Image Understanding. - 2017. -Vol. 157. - P. 167-178.
[Hou62] Hough P. V. C. Method and Means for Recognizing Complex Patterns // U.S. Patent 3069654, Dec. 18, 1962.
[Hue88] Huertas A., Nevatia R. Detecting buildings in aerial images // Computer Vision, Graphics, and Image Processing. - 1988. - Vol. 41. - № 2. - P. 131-152.
[Gha14] Ghaffarian S., Ghaffarian S. Automatic building detection based on supervised classification using high resolution Google Earth images // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2014. - Vol. 40. - № 3. - P. 101-106.
[Gio10] von Gioi R. G. et al. LSD: A fast line segment detector with a false detection control // IEEE transactions on pattern analysis and machine intelligence. - 2010. - Vol. 32. - № 4. - P. 722-732.
[Li86] Li H., Lavin M. A., Le Master R. J. Fast Hough transform: A hierarchical approach // Computer Vision, Graphics, and Image Processing. -1986. - Vol. 36. - № 2. - P . 139-161.
[Low04] Lowe D. G. Distinctive image features from scale-invariant keypoints //International journal of computer vision. - 2004. - Vol. 60. - №. 2. - P. 91-110.
[Ma15] Ma J. et al. Robust feature matching for remote sensing image registration via locally linear transforming // IEEE Transactions on Geoscience and Remote Sensing. - 2015. - Vol. 53. - № 12. -P. 6469-6481.
[Mat00] Matas, J. and Galambos, C. and Kittler, J.V., Robust Detection of Lines Using the Progressive Probabilistic Hough Transform // CVIU - 2000. -Vol. 78. - № 1. - P. 119-137.
[Nov15] Novotortsev, L., Voloboy, A.: Automated Detection of Buildings on Aero Images // 23rd International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision WSCG'2015, Poster paper proceedings. Czech Republic, Plzen. - 2015. - P. 23-28.
[Ok13] Ok A. O. Automated Extraction of Buildings and Roads in a Graph Partitioning Framework // ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2013. -Vol. II-3/W3. - P. 79-84.
[Ped98] Pedersini F. et al. 3D area matching with arbitrary multiview geometry1 // Signal Processing: Image Communication. - 1998. - Vol.. 14. - №. 12. - P. 71-94.
[Pen16] Peng D., Zhang Y. Building Change Detection by Combining LiDAR Data and Ortho Image // ISPRS-International Archives of the Photo-grammetry, Remote Sensing and Spatial Information Sciences. - 2016. - P. 669-676.
[Jia 16] Jia D. et al. Colour FAST (CFAST) match: fast affine template matching for colour images //Electronics Letters. - 2016. - T. 52. - №. 14. - C. 1220-1221.
[Jin17] Jing B. et al. Feature-based human model matching for 3D garment transfer // Proceedings of CAD'17. - 2017.
[Qin16] Qin R., Tian J., Reinartz P. Spatiotemporal inferences for use in building detection using series of very-high-resolution space-borne stereo images // International Journal of Remote Sensing. - 2016.
- Vol. 37. - № 15. - P. 3455-3476.
[Sin14] Singhal S., Radhika S. Automatic Detection of Buildings from Aerial Images Using Color Invariant Features and Canny Edge Detection // International Journal of Engineering Trends and Technology(IJETT). -2014. - Vol. 11. - № 8. - P. 393-396.
[Wan09] Wang Z., Wu F., Hu Z. MSLD: A robust descriptor for line matching // Pattern Recognition.
- 2009. - T. 42. - №. 5. - P. 941-953.
[Yan10] Yang Z. Fast template matching based on normalized cross correlation with centroid bounding //Measuring Technology and Mechatronics Automation (ICMTMA), 2010 International Conference on. - IEEE, 2010. - Vol. 2. - P. 224-227.
[Zah15] Zahra S. J. et al. Improved descriptor for dynamic line matching in omnidirectional images //Electrical Engineering and Informatics (ICEEI), 2015 International Conference on. - IEEE, 2015. -P. 138-142.
[Zha12] Zhang L., Koch R. Line matching using appearance similarities and geometric constraints //Joint DAGM (German Association for Pattern Recognition) and OAGM Symposium. - Springer, Berlin, Heidelberg. - 2012. - P. 236-245.
[Zho16] Zhou G., Wang Y. Occlusion detection for urban aerial true orthoimage generation // IEEE International Geoscience and Remote Sensing Symposium (IGARSS). - 2016. - P. 3009-3012.
