CC BY
41_ДОКЛАДЫ АН ВШ РФ_
2021_октябрь-декабрь_№ 4 (53)
- ТЕХНИЧЕСКИЕ НАУКИ -
УДК 528.7
МЕТОД ОБРАБОТКИ МАТЕРИАЛОВ АЭРОФОТОСЪЕМКИ ДЛЯ ПОСТРОЕНИЯ ГЕОПРИВЯЗАННОГО ОРТОФОТОПЛАНА МЕСТНОСТИ С ТЕЛЕВИЗИОННОЙ КАМЕРЫ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА DJI PHANTOM 4 PRO *
А.С. Захлебин
Томский государственный университет систем управления и радиоэлектроники
В статье предлагается метод обработки материалов аэрофотосъемки для построения ге-опривязанного ортофотоплана местности с беспилотного летательного аппарата DJI Phantom 4 PRO с ГНСС приемником на борту. Данный метод обработки обеспечивает конечную плановую точность пространственных данных ортофотоплана до 10 см. Такой показатель является достаточным для использования итоговых моделей в землеустроительных, кадастровых, маркшейдерских и других видах работ.
Ключевые слова: аэрофотоснимок, ортофотоплан местности, плотное облако точек, точность, карта высот, выравнивание, проекция.
DOI: 10.17212/1727-2769-2021-4-26-35
Введение
В настоящее время необходимость в изготовлении геопривязанных ортофото-планов местности резко возросла. Связано это прежде всего с инициативой государственных органов, целью которых является исправление кадастровых и иных ошибок в системе кадастрового учета РФ. В связи с этим есть необходимость создания актуальных карт и топографических планов местности, основой которых являются ортофотопланы местности.
Ортофотоплан местности - полученный в результате аэрофотосъемки или космической съемки фотографический план местности. Ортофотопланы местности имеют точную геодезическую основу. В процессе формирования ортофото-плана аэрофотоснимки преобразуют из центральной проекции в ортогональную.
Также ортофотопланы и цифровые модели местности применяются в маркшейдерском деле [1], проектировании, землеустроительных работах [2, 3], мониторинге и т. д.
Для проведения камеральных работ с целью построения геопрявязанного ор-тофотоплана местности необходимо иметь полученные в результате авиационных работ аэрофотоснимки, данные спутниковых наблюдений с БПЛА и базовой станции, а также координаты планово-высотного обоснования в заданной системе координат.
Программно-аппаратный комплекс включает в себя программное обеспечение для обработки спутниковых измерений RTKLib. Для фотограмметрической обработки данных используется программное обеспечение Agisoft Metashape [4].
На рис. 1 приведена технологическая схема основных этапов реализации обработки результатов аэрофотосъемки.
Исследование выполнено за счет гранта Российского научного фонда № 21-79-10200 в ТУСУРе.
© 2021 А.С. Захлебин
Гостроение плотного облака точек
Аэрофотоснимки Выравнивание
Координаты контрольных точек аэрофотоснимков
Построение нарты высот [ЦММ)
Построение ортофото плана
Ортофотоплан местности ..
Рис. 1 - Технологическая схема метода обработки результатов аэрофотосъемки Fig. 1 - Technological scheme of the method for processing the results of aerial photography
1. Выравнивание аэрофотоснимков
На этом этапе определяются положения аэрофотоснимков в системе координат объекта или географической системе координат по элементам внутреннего и внешнего ориентирования снимков [5-7].
Элементы внутреннего ориентирования (рис. 2): f - фокусное расстояние снимка; xo и yo - координаты главной точки снимка О.
Рис. 2 - Элементы внутреннего ориентирования снимка Fig. 2 - Elements of interior orientation of images
Точка S является началом системы координат снимка. На кадровом снимке измерение координат точек выполняется системой координат матрицы цифровой фотокамеры o'xyz. По элементам внутреннего ориентирования определяется положение центра проекции S в системе координат снимка o'xyz. Через эту точку проходят все проектирующие лучи.
С помощью шести элементов внешнего ориентирования определяют положение снимка в пространстве (рис. 3).
Элементы внешнего ориентирования снимка: Xs, Ys, Zs - координаты центра проекции S в системе координат объекта OXYZ; œ, а, к - углы поворота системы координат снимка oxyz относительно системы координат объекта OXYZ.
Координаты точек объекта и их изображений на снимке связаны векторным уравнением, которое называется уравнением коллинеарности:
R = R + R.
(1)
или в координатной форме:
X = Xs + (Z - Zs ) X
Y = Ys + (Z - Zs )
XL
Z'
Рис. 3 - Элементы внешнего ориентирования снимков Fig. 3 - Elements of exterior orientation of images
где X, У, 2 - координаты точки М в системе координат объекта; Хв, У$, 2ц - координаты центра проекции в системе координат объекта; X , У, 2 - координаты вектора г в системе координат объекта, которые определяются по формуле
( X' \ Y' Z'
Л
= A
У - Уо , -f
(3)
где А - матрица преобразования координат (матрица направляющих косинусов), элементы с^ которой определяются по значениям угловых элементов внешнего
ориентирования снимка ю, а, к.
С учетом вышесказанного уравнение коллинеарности имеет вид
X = X, + (Z - Zs) Y = Ys + (Z - Zs)
c11(*- *о) + c12(У -Уо) -c13f
c31(* - *о) + c32(У - Уо) - c33f c21( * - *о ) + c22(У - Уо ) - c23f
c31(*- *о) + c32(У -Уо) -c33 f
(4)
Координаты точек объекта определяются на формуле (4), если известны элементы внешнего ориентирования и высоты точек [8-9].
В данной работе элементы внешнего ориентирования снимков были известны. Они были получены на этапе авиационных работ, так как на БПЛА установлены геодезический спутниковый приемник и инерциальная система. В результате оптимизации выравнивания аэрофотоснимков полученные данные используют при построении сети фототриангуляции методом независимых связок.
В результате операции уравнивания получается разряженное облако точек (рис. 4) и данные о положении и ориентации аэрофотоснимков. Эти данные используются на дальнейших стадиях построения ортофотоплана местности.
В результате выравнивания и оптимизации центров фотографирования были получены следующие значения СКО на контрольных точках (табл. 1).
л
Рис. 4 - Разряженное облако общих точек Fig. 4 - A sparse common point cloud
Table 1 / Таблица 1
СКО на контрольных точках RMS errors at control points
Количество контрольных точек Ошибка X, см Ошибка Y, см Ошибка Z, см Общая, см
63 2,39 2,56 4,31 5,55
Смоделирована ситуация, когда авиационные работы проводились бы на БПЛА без геодезического приемника на борту. Соответственно обработка проводилась без точных значений элементов внутреннего и внешнего ориентирования аэрофотоснимков, а их вычисление происходило по контрольным точкам, которые были переведены в разряд опорных. В табл. 2 представлена оценка влияния количества пунктов планово-высотного обоснования (контрольных точек) на пространственную ошибку модели при обработке материала без точных значений внутренних и внешних элементов аэрофотоснимков.
Table 2 / Таблица 2
Зависимость СКО по контрольным точкам от количества пунктов ПВО Dependence of RMS error of control points on the number of air defense points
Количество СКО по контрольным СКО по контрольным СКО по контрольным
пунктов ПВО точкам X, см точкам Y, см точкам Z, см
60 1,02 1,13 2,73
40 4,13 8,04 7,99
20 14,11 10,21 32,07
10 27,58 34,2 41,78
5 45,17 38,83 50,9
1 90,22 114,04 68,32
0 90,23 114,07 69,01
На рис. 5 приведен график зависимости СКО каждой оси координат от количества использованных в обработке пунктов ПВО.
Из графика (рис. 5) следует, что СКО по контрольным точкам в диапазоне использования пунктов ПВО в качестве опорных от 0 до 10 резко взрастает. И напротив, при большом количестве используемых опорных точек (от 50 до 60) СКО на контрольных точках остается минимальным и не превышает 10 см.
120
100
SO
3 60
40
20
\ СКО по X
Л\ — — СКО по У — • СКО по Z
V
--- '--Ш - »
О
10
20
30
40
50
60
Количество пунктов ПВО Рис. 5 - Зависимость значения СКО от количества пунктов ПВО Fig. 5 - Dependence of the RMS error value on the number of air defense points
2. Построение плотного облака точек
Плотное облако точек представляет собой точки с известными координатами X, Y, Z в системе координат объекта и яркости их исходных изображений.
Классическим методом построения является метод полуглобального отождествления Semi-global matching (SGM). На рис. 6 иллюстрирована схема этого алгоритма.
Рис. 6 - Схема построения плотного облака точек Fig. 6 - A scheme for constructing a dense point cloud
Алгоритм основан на обработке отдельных стереопар, которые заранее трансформируются вдоль базисных линий. В результате каждый пиксель на левом снимке находится на соответствующей линии на правом снимке. Задача состоит в нахождении соответствующих друг другу пикселей на левом и правом снимках. Пиксели сравниваются, и записывается соответствующая разница, которая называется стоимостью отождествления [4]. Она выражена в разнице яркости соответствующих пикселей на левом и правом изображениях:
C = D1 - D2
xyp xy xy ■
(5)
Данные записываются в пространственно-воксельной структуре. Операция проводится над всеми пикселями и получается общая структура стоимостей
отождествления. Эти стоимости анализируются на предмет выявления минимальных значений. Таким образом, для каждого пикселя находится соответствующий продольный параллакс. Решая прямую фотограмметрическую засечку, находятся координаты X, У, 2 в системе координат объекта [8].
Фрагмент смоделированного плотного облака точек изображен на рис. 7.
Рис. 7 - Плотное облако точек Fig. 7 - A dense point cloud
По данным плотного облака точек определяются пространственные координаты различных объектов X, У, 2 в системе координат объекта. Также плотное облако точек является подобием 3Б-модели местности.
3. Построение карты высот
Карта высот строится на основании плотного облака точек и представляет собой регулярную сетку значений высот (рис. 8).
Рис. 8 - Карта высот Fig. 8 - An elevation map
В данном эксперименте по карте высот можно определить высотную отметку Z любого объекта исследуемой местности со средней точностью 4,3 см.
4. Построение ортофотоплана
Ортофотоплан местности получается путем ортотрансформирования аэрофотоснимков из центральной проекции в ортогональную (картографическую).
Исходными материалами при цифровом ортотрансформировании снимков служат исходные цифровые аэрофотоснимки, цифровая модель местности (карта высот), элементы внутреннего и внешнего ориентирования снимков [10, 11]. Основные процессы ортотрансформирования представлены на рис. 9.
Рис. 9 - Основные процессы ортотрансформирования изображения
Fig. 9 - Basic processes of image orthortransformation
Изначально задается первоначальная матрица трансформированного изображения. Зная координаты пикселей на исходных изображениях, параметры их внешнего ориентирования и высотную отметку из карты высот этих пикселей [12-14], согласно (4) попиксельно заполняется матрица трансформированного изображения. В результате формируется ортофотоплан местности (рис. 10).
Рис. 10 - Итоговый ортофотоплан местности Fig. 10 - Final orthomosaic of the area
5. Апробация метода обработки видеоматериалов
Работы проводились на территории кадастровых кварталов общей площадью 880 га.
В результате выполнения работ получен итоговый ортофотоплан местности с пространственным разрешением 2,85 см/пиксель.
Фотограмметрическая обработка производилась без использования опорных точек. Пункты ПВО координировались спутниковым геодезическим ГНСС оборудованием, координаты которых использовались в качестве проверки пространственной точности построенной модели местности.
Итоговая точность определения координат и высотной отметки на модели составила 5,5 см.
Заключение
Разработанный метод обработки аэрофотоснимков с беспилотного летательного аппарата с геодезическим спутниковым приемником на борту позволяет построить итоговый геопривязанный ортофотоплан местности, соответствующий масштабу 1 : 500 [15] без использования пунктов планово-высотного обоснования в качестве опорных.
Метод будет использоваться при создании цифровой модели полигона для испытания активно-импульсных телевизионных систем, разрабатываемых на кафедре телевидения и управления ТУСУР [16].
ЛИТЕРАТУРА
1. Захлебин А.С. Подсчет объема насыпи полезных ископаемых с использованием БПЛА вертолетного типа DJI Phantom 4 PRO // Электронные средства и системы управления: XV Международная научно-практическая конференция: материалы докладов. - Томск, 2019. - Ч. 2. - С. 195-196.
2. Тарарин А.М. Актуальные вопросы определения координат характерных точек границ земельных участков фотограмметрическим методом // Известия высших учебных заведений. Геодезия и аэрофотосъемка. - 2019. - Т. 63, № 2. - С. 217-225.
3. Мельничук Ю.Ю. Аэрофотосъемка с беспилотных летательных аппаратов // Землеустройство и кадастры: актуальные проблемы и пути их решения: сборник научных трудов молодых исследователей. - Волгоград: Волгогр. гос. аграр. ун-т, 2019. - Вып. 1. - С. 62-65.
4. Руководство пользователя Agisoft Metashape: Professional edition, версия 1.7. -Agisoft ЬЬСб 2021. - URL: https://www.agisoft.com/pdf/metashape-pro_1_7_ru.pdf (дата обращения: 26.11.2021).
5. Краснопевцев Б.В. Фотограмметрия. - М.: МИИГАиК, 2008. - 160 с.
6. Краснопевцев Б.В., Курков В.М. Методическое пособие, программы и контрольная работа по курсу «Фотограмметрия». - М.: МИИГАиК, 2012. -74 с.
7. Коршунов Р.А., Носков В.В., Погорелов В.В. Нецентральная обратная фотограмметрическая засечка // Известия высших учебных заведений. Геодезия и аэрофотосъемка. -2013. - № 5. - С. 67-71.
8. Михайлов А.П., Чибуничев А.Г. Конспект лекций по курсу фотограмметрия. - М.: МИИГАиК, 2005.
9. Мещанинова Е.Г., Ткачева О.А. Фотограмметрия и дистанционное зондирование территории: для студентов специальностей 120301 «Землеустройство», 120302 «Земельный кадастр». - Новочеркасск: Новочеркас. гос. мелиоратив. акад., 2013. - 109 с.
10. Михайлов А.П., Чибуничев А.Г. Фотограмметрия: учеб. для вузов. - М.: МИИГАиК, 2016. - 294 с.
11. Маклакова Т.В. Использование беспилотных летательных аппаратов в кадастре, землеустройстве и градостроительстве // Лучшая научно-исследовательская работа 2018:
сборник статей XVII Международного научно-исследовательского конкурса / под общ. ред. Г.Ю. Гуляева. - Пенза: Наука и просвещение, 2018. - С. 95-97.
12. Журкин И.Г., Тимофеев Ю.С., Дао К.Х. Метод свертки при трансформировании изображений // Исследования Земли из космоса. - 2003. - № 4. - С. 49-54.
13. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms // International Journal of Computer Vision. - 2002. - Vol. 47. -P. 7-42.
14. Development of a digital surface model and a digital terrain model based on ERS data / I.G. Gairabekov, A.I. Hamzatov, A.T. Mishieva, E.I. Ibragimova, M.-B.I. Gairabekov, A.I. Gayrabekova // IOP Conference Series: Materials Science and Engineering. - 2020. -Vol. 905: 3rd International Symposium on Engineering and Earth Sciences (ISEES 2020). -P. 012025. - DOI: 10.1088/1757-899x/905/1/012025.
15. ГОСТ Р 59328-2021. Аэрофотосъемка топографическая. Технические требования. -Дата введения: 2021-06-01. - М.: Стандартинформ, 2021. - 31 с.
16. Multi-Area Range Measurement Method Using Active-Pulse Television Measuring Systems / E.S. Chaldina, A.K. Movchan, V.V. Kapustin, M.I. Kuryachiy // 2020 21st International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM). -IEEE, 2020. - P. 293-297.
A METHOD OF PROCESSING AERIAL PHOTOGRAPHY MATERIALS FOR BUILDING A GEOREFERENCED ORTHOMOSAIC OF THE TERRAIN FROM A TELEVISION CAMERA OF THE UNMANNED AERIAL VEHICLE DJI PHANTOM 4 PRO
Zakhlebin A.S.
Tomsk State University of Control Systems and Radioelectronics, Tomsk, Russia
The article presents a method for photogrammetric processing of aerial photographs from a DJI Phantom 4 Pro UAV with a geodetic receiver on board. The processing method allows building digital terrain models with an accuracy of 0.1 m.
Keywords: aerial photograph, terrain orthomosaic, dense point cloud, accuracy, elevation map, alignment, projection.
DOI: 10.17212/1727-2769-2021-4-26-35
REFERENCES
1. Zakhlebin A.S. [Calculation of the volume of the mound of minerals using a helicopter-type UAV DJI Phan-tom 4 PRO]. Elektronnye sredstva i sistemy upravleniya: XVMezhdunarodna-ya nauchno-prakticheskaya konferentsiya [Electronic Devices and Control Systems. XV International Scientific-practical Conference], Tomsk, 2019, pt. 2, pp. 195-196. (In Russian).
2. Tararin A.M. Aktual'nye voprosy opredeleniya koordinat kharakternykh tochek granits ze-mel'nykh uchastkov fotogrammetricheskim metodom [Key issues of determining the settings of coordinates for characteristic points of land boundaries using the photogrammetric method]. Izvestiya vysshikh uchebnykh zavedenii. Geodeziya i aerofotos"emka = Izvestia vuzov. Geodesy and aerophotosurveying, 2019, vol. 63, no. 2, pp. 217-225.
3. Mel'nichuk Yu.Yu. Aerofotos"emka s bespilotnykh letatel'nykh apparatov |[Aerial photography from unmanned aerial vehicles]. Zemleustroistvo i kadastry: aktual'nye problemy i puti ikh resheniya [Land management and cadastres: current problems and solutions]. Volgograd, Volgograd State Agrarian University Publ., 2019, iss. 1, pp. 62-65.
4. AgisoftMetashape User Guide. (In Russian). Available at: https://www.agisoft.com/ pdfmetashape-pro_1_7_ru.pdf, free (accessed 26.11.2021).
5. Krasnopevtsev B.V. Fotogrammetriya [Photogrammetry]. Moscow, MIIGAiK Publ., 2008. 160 p.
6. Krasnopevtsev B.V., Kurkov V.M. Metodicheskoe posobie, programmy i kontrol'naya rabota po kursu "Fotogrammetriya" [Methodological manual, programs and test work for the course "Photogrammetry"]. Moscow, MIIGAiK Publ., 2012. 74 p.
7. Korshunov R.A., Noskov V.V., Pogorelov V.V. Netsentral'naya obratnaya fotogram-met-richeskaya zasechka [Noncentral reverse photogrammetric notch]. Izvestiya vysshikh uchebnykh zavedenii. Geodeziya i aerofotos"emka = Izvestia vuzov. Geodesy and aerophoto-surveying, 2013, vol. 5, pp. 67-71.
8. Mikhailov A.P., Chibunichev A.G. Konspekt lektsiipo kursu fotogrammetriya [Lecture notes for the course photogrammetry]. Moscow, MIIGAiK Publ., 2005.
9. Meshchaninova E.G., Tkacheva O.A. Fotogrammetriya i distantsionnoe zondirovanie terri-torii [Photogrammetry and remote sensing of the territory]. Novocherkassk, Novocherkassk State Melioration Academy Publ., 2013. 109 p.
10. Mikhailov A.P., Chibunichev A.G. Fotogrammetriya [Photogrammetry]. Moscow, MIIGAiK Publ., 2016. 294 p.
11. Maklakova T.V. [The use of unmanned aerial vehicles in the cadastre, land management and urban planning]. Luchshaya nauchno-issledovatel'skaya rabota 2018: sbornik statei XVII Mezhdunarodnogo nauchno-issledovatel'skogo konkursa [Best research paper 2018: collection of articles of the XVII International research competition]. Penza, Nauka i prosvesh-chenie Publ., 2018, pp. 95-97. (In Russian).
12. Zhurkin I.G., Timofeev Yu.S., Dao K.H. Metod svertki pri transformirovanii izobrazhenii [Convolution method when transforming images]. Issledovaniya Zemli iz kosmosa = Izvestiya. Atmospheric and Oceanic Physics, 2003, no. 4, pp. 49-54. (In Russian).
13. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 2002, vol. 47, pp. 7-42.
14. Gairabekov I.G., Hamzatov A.I., Mishieva A.T., Ibragimova E.I., Gairabekov M-B.I., Gay-rabekova A.I. Development of a digital surface model and a digital terrain model based on ERS data. IOP Conference Series: Materials Science and Engineering, 2020, vol. 905, p. 012025. DOI: 10.1088/1757-899x/905/1/012025.
15. GOST R 59328-2021. Aerofotos"emka topograficheskaya. Tekhnicheskie trebovaniya [State Standard R 59328-2021. Aerial photography for mapping. Technical requirements]. Moscow, Standartinform Publ., 2021. 31 p.
16. Chaldina E.S., Movchan A.K., Kapustin V.V., Kuryachiy M.I. Multi-area range measurement method using active-pulse television measuring systems. 2020 21st International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM). IEEE, 2020, pp. 293-297.
СВЕДЕНИЯ ОБ АВТОРАХ
Захлебин Александр Сергеевич - аспирант, ассистент кафедры телевидения и управления (ТУ) Томского государственного университета систем управления и радиоэлектроники (ТУСУР). (Адрес: 634050, Россия, г. Томск, пр. Ленина, 40. E-mail: aerosnimok@gmail.com).
Alexander Sergeevich Zakhlebin - Postgraduate student, teaching assistant at the Department of Television and Control (TU), Tomsk State University of Control Systems and Radioelectronics (TUSUR). (Address: 40, Prospect Lenina, Tomsk, 634050, Russia. E-mail: aerosnimok@gmail.com).
Статья поступила 28 сентября 2021 г.
Received September 29, 2021
To Reference:
Metod obrabotki materialov aerofotos"emki dlya postroeniya geoprivyazannogo ortofotoplana mestnosti s televizionnoi kamery bespilotnogo letatel'nogo apparata DJI Phantom 4 Pro [A method of processing aerial photography materials for building a georeferenced orthomosaic of the terrain from a television camera of the unmanned aerial vehicle DJI Phantom 4 PRO]. Doklady Akademii nauk vysshei shkoly Rossiiskoi Federatsii = Proceedings of the Russian higher school Academy ofsciences, 2021, no. 4 (53), pp. 26-35. DOI: 10.17212/1727-2769-2021-4-26-35.
