CC BY
88
УДК 622.271:528.4
А.Ю. Кротенок, Д.Н. Шурыгин, Т.В. Литовченко, Ю.А. Семенова,
В.Р. Харитонова
ФОТОГРАММЕТРИЧЕСКАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ НА ОСНОВЕ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ И НАЗЕМНОГО ЛАЗЕРНОГО СКАНИРОВАНИЯ ПРИ ПРОЕКТИРОВАНИИ ОТКРЫТЫХ ГОРНЫХ РАБОТ
Исследован подход фотограмметрической обработки для совместного использования изображений БПЛА и облаков точек НЛС путем введения дополнительных входных данных из НЛС в настройке световых пучков изображений БПЛА с целью улучшения точности геопозиционирования изображений БПЛА, особенно в том случае, где трудно провести GPS-съемку (в горных и высокорисковых районах). Благодаря интеграции трехмерных точек, извлеченных из облаков точек НЛС и наземных точек, снятых с помощью GPS в качестве опорных точек в настройке вращающейся призмы, которая распределяет световой пучок в вертикальной плоскости БПЛА, точность геолокационного позиционирования изображений БПЛА может быть улучшена в открытых карьерах. В результате точность геопозиционирования на основе трехмерных облаков точек из НЛС ближе к точности на основе точек GCP из GPS-съемки. Координаты изображения совпадающих точек с изображением БПЛА преобразуются в наземные координаты, а разности между преобразованными координатами и координатами облаков точек НЛС вычисляются для оценки точности совпадающих точек.
Ключевые слова: беспилотный летательный аппарат (БПЛА), фотограмметрическая обработка, наземное лазерное сканирование (НЛС), геопозиционирование, облако точек, точность, карьер.
Введение
Для эффективного применения 3d-тех-нологий при мониторинге, планировании и проектировании открытых горных работ требуется интеграция фотограмметрии на основе БПЛА и наземного лазерного сканирования. В работе [1] В.Я. Маслянко описывает опыт развития технологий ДЗЗ на базе беспилотных летательных аппаратов (БПЛА), а также
DOI: 10.25018/0236-1493-2017-12-0-50-55
перспективы использования цифровой модели местности (ЦММ) для решения маркшейдерских задач, мониторинга, планирования, оперативного проектирования и управления технологическими процессами при открытых горных работах. В работе [2] С.Н. Бабаев знакомит с возможностью применения беспилотных летательных аппаратов (БПЛА) для мониторинга открытых горных работ.
ISSN 0236-1493. Горный информационно-аналитический бюллетень. 2017. № 12. С. 50-55. © А.Ю. Кротенок, Д.Н. Шурыгин, Т.В. Литовченко, Ю.А. Семенова, В.Р. Харитонова. 2017.
В работе [3] Г.А. Корецкая, Д.С. Ко-рецкий рассмотрели метод дистанционного картографирования с использованием беспилотных летательных аппаратов (БПЛА), который может стать одним из перспективных способов решения маркшейдерских задач на крупных карьерах в ближайшее время. В работе [4] С.А. Заверткин представил инновационную технологию построения геометрической основы ^D-модели) различных объектов горнодобывающего предприятия методом фотограмметрии. Laliberte et al. [5] представил рабочий процесс использования БПЛА для инвентаризации, оценки и мониторинга пастбищных угодий. Chiabrando et al. [6] описал технику сбора и обработки цифровых моделей местности (ЦММ) и крупномасштабных карт для поддержки археологических исследований. Zhang et al. [7] предложил подход для параллельной обработки изображений БПЛА. Niethammer et al. [8] предложил подход для производства ор-то-мозаики с высоким разрешением и цифровых моделей рельефа (DTM) в исследованиях оползней. T. Rosnell, E. Hon-kavaara, [9] предложили метод создания облака точек путем сопоставления изображений с использованием данных аэрофотоснимков, собранных легкой системой БПЛА.
Теория вопроса
Интеграция фотограмметрии на основе беспилотных летательных аппаратов (БПЛА) и наземного лазерного сканирования (НЛС) в карьерах включает в себя обработку изображений, полученных с БПЛА, и облаков точек НЛС, объектно-ориентированную классификацию и трехмерное (3D) картирование и мониторинг открытых площадок. При мониторинге и картировании карьеров, для классификации улучшения точности ор-то-изображения используется объектно-ориентированный подход к анализу изоб-
ражения [6—9]. Благодаря введению НЛС облаков точек в качестве наземных контрольных точек (GCP) можно улучшить точность геопозиционирования на основе изображений БПЛА. В то же время точность геопозиционирования на основе GCP формируется из облаков точек НЛС при GPS-съемке. Полученные облака точек НЛС могут использоваться в качестве опорных точек в гористых или высокорисковых средах, где трудно провести GPS съемку [10].
Методы анализа
Фотограмметрическая система на базе БПЛА может обеспечить высокую скорость обработки изображений с высоким разрешением. В то же время, плотные трехмерные облака точек из НЛС могут быть более уместны для детального моделирования сложных и нерегулярных боковых склонов карьеров. Поэтому, интегрированные изображения с высоким разрешением и высококачественные плотные облака точек могут использоваться для создания точных текстурированных 3D-объектов.
Трехмерное представление боковых склонов создается путем интеграции созданной ЦММ в программное обеспечение ArcScene™ (ArcGIS 9.2) на основе облаков точек из орфографических изображений НЛС и БПЛА с целью предоставления подробной информации для оценки и планирования горных работ, для мониторинга карьеров с помощью сбора данных в течение длительного времени. Соответствие между двумя наборами данных устанавливается GCP из облаков точек НЛС и контрольных точек GPS, и могут располагаться в общей системе отсчета [11].
Изображения, полученные с помощью фотограмметрических систем на базе БПЛА, имеют характеристики больших областей перекрытия, множественные углы обзора и высокое разрешение
поверхности, а в то же время небольшие следы, большие изменения перекрытия и большие искажения перспективы. Поэтому в отношении обработки изображений БПЛА были предприняты большие усилия для разработки подходов и систем обработки [12].
С помощью GCP и 3D-облаков точек из НЛС точность геопозиционирования изображений БПЛА улучшается за счет использования корректировки блока светового пучка. Кроме того, точное 3D-отображение точек генерируется путем интеграции изображений БПЛА с высоким разрешением и высококачественных 3D-облаков точек. Для разделения изображения используется алгоритм сегментации с несколькими разрешениями и метод объединения областей снизу вверх, а для классификации изображений используется подход анализа изображения на основе объектов.
Математическая модель корректировки пучка света в вертикальной плоскости БПЛА с дополнительными параметрами может быть представлена как в уравнении (1), где уравнения наблюдения (Р) основаны на условии колинейности. Эти уравнения являются функциями измерений (Ц), неизвестных (У) и псевдо-наб-людений (X). Измерения представляют собой координаты изображения связующих точек. К неизвестным относятся наземные координаты связующих точек и параметры изображений. Псевдо-наб-людения включают как внутренние параметры калибровки, так и условия искажения:
Р(Х, У, Ц) = 0 (1)
Линейная форма уравнения (1) получается с использованием приближения первого порядка Тейлора:
W + ASK + БЫ = 0
(2)
порядка от Р относительно К и Ц соответственно.
Новое облако точек содержит следующую информацию, связанную с каждой точкой: расстояние до ближайшей соответствующей точки, неопределенность расстояния и значительные изменения. Неопределенность расстояния соответствует доверительному интервалу, также называемому уровнем детализации (ЦОО) и рассчитывается по следующему уравнению: LODg5% =
= ±1,96
а±(d)2 , a2(df
Л
n
+ reg
(3)
1 "2
где d — проекционная шкала; и ст2 (d)2 — локальные погрешности облаков точек n1 и n2; reg — ошибка регистрации.
Качество облаков точек можно охарактеризовать двумя основными показателями: полнотой облаков точек и точностью отдельных точек.
В определении точек точность координат объекта (CTobj(X, Y, Z) ) может быть представлена как функция двух основных компонентов ошибки:
aob] (X,Y,Z ) =
>,sec (X,Y,Z)2 +adef (X,Y,Z)2
(4)
где К — конкатенированный вектор по X и У; № — матрица пропускания; А и В — матрицы частных производных первого
Ошибка пересечения азес(Х, У, Т) зависит от геометрических факторов, главным образом от точности ориентации и геометрии пересечения точек. Ошибка определения объекта ^^(Х, У, Т) — отклонение, вызванное ошибкой позиционирования из-за соответствия неточности. Полнота облака точек зависит от перекрытий блоков (особенно окклюзий) и от эффективности метода сопоставления.
Таким образом, эффективность метода сопоставления является основным фактором, влияющим как на точность, так и на плотность точек.
Обсуждение результатов
Наше исследование демонстрирует практическую основу интеграции фото-
грамметрии на основе БПЛА и НЛС с применением к карьерам, включая изображения БПЛА и получение облаков точек НЛС, объектно-ориентированную классификацию и трехмерное отображение и мониторинг открытых площадок.
Новизна предлагаемого метода заключается в совместном использовании фотограмметрии на основе БПЛА и НЛС путем введения дополнительных входных данных из НЛС, поскольку GCP могут предоставлять более точные и подробные изображения БПЛА для мониторинга карьеров.
Модели цифровых высот, полученные из наземных измерений и фотограмметрических данных, могут быть объединены, сравнены и проанализированы в программном обеспечении ArcScene™. В качестве эталона будет являться модель, созданная из точек, полученная наземными измерениями при помощи лазерного сканирования.
Тщательное применение наземных контрольных точек GCP может также обеспечить высокий уровень точности моделирования. Однако такой уровеньточно-сти возможен только в том случае, если изображения обеспечивают стабильную визуализацию и настройку сети.
На основании этого можно сделать вывод, что конфигурации как наземных данных (GCP и любых других типов наземных измерений), так и аэрофотоснимков определяют окончательную точность 3D-моделирования.
Заключение
С использованием улучшенного геопозиционирования на основе изображений БПЛА в настройке светового пучка точность дециметрового уровня достигается для созданных цифровых моделей местности (ЦММ) в областях исследований, а также общая точность классификации земельных покрытий составляет 90,67%, основанная на объектно-ориентированном подходе к анализу изображения в карьерах.
Предлагаемая система фотограмметрической обработки на основе БПЛА показывает гибкий и эффективный способ получения изображений с высоким разрешением и обеспечения высокой точности ЦММ. В то же время данная система на базе БПЛА стоит меньше, чем система на основе спутников и пилотируемых самолетов. Анализ показывает потенциал использования трехмерных точечных облаков НЛС для улучшения точности геопозиционирования на основе изображений БПЛА, особенно в случае, когда трудно провести GPS-съемку в горных районах и зонах повышенного риска. Предлагаемая структура совместного использования фотограмметрии на основе БЛА и НЛС представляет собой фотограмметрический подход с дополнительными входными данными от НЛС и может дать подробную информацию для мониторинга, оценки и планирования карьеров с высокой точностью и частого получения данных.
СПИСОК ЛИТЕРАТУРЫ
1. Маслянко В.Я. Применение 3d-технологий при оперативном планировании и проектировании открытых горных работ / XII всероссийское совещание по проблемам управления ВСПУ-2014. - С. 4337-4347.
2. Бабаев С. Н. Технология мониторинга открытых горных работ с применением беспилотного летательного аппарата // Интерэкспо Гео-Сибирь. — 2013. — № 3. — С. 151—154.
3. Корецкая Г.А., Корецкий Д. С. Совершенствование технологий маркшейдерских съемок открытых горных работ // Вестник Кузбасского государственного технического университета. — 2013. — № 3. — С. 38—40.
4. Заверткин С.А. Маркшейдерское обеспечение с высоты птичьего полета // Уголь. — 2017. — № 5. — С. 88—91.
5. Laliberte A.S., Herrick J.E., Rango A, Winters C. Acquisition, orthorectification, and object-based classification of unmanned aerial vehicle (UAV) imagery for rangeland monitoring // Photogramm. Eng. Remote Sens. — 2010. — Vol. 76. — pp. 661—672.
6. Chiabrando F, Nex F, Piatti D, Rinaudo F UAV and RPv systems for photogrammetric surveys in archaelogical areas: Two tests in the Piedmont region (Italy) // J. Archaeol. Sci. — 2011. — Vol. 38. — pp. 697—710.
7. Zhang Y. J., XiongJ.X., Hao L. J. Photogrammetric processing of low-altitude images acquired by unpiloted aerial vehicles // Photogramm. Rec. — 2011. — Vol. 26. — pp. 190—211.
8. Niethammer U, James M. R., Rothmund S, Travelletti J, Joswig M UAV-based remote sensing of the Super-Sauze landslide: Evaluation and results // Eng. Geol. — 2012. — Vol. 128. — pp. 2—11.
9. Rosnell T., Honkavaara E. Point cloud generation from aerial image data acquired by a quadrocopter type micro unmanned aerial vehicle and a digital still camera // Sensors. — 2012. — Vol. 12. — pp. 453—480.
10. Шикуц А. С., Митин Е. Г. Беспилотные летательные аппараты в горном деле / Молодежная научная весна — 2015. Материалы XII научно-практической конференции молодых исследователей забайкальского государственного университета: в 2 частях. Под ред. Т. Б. Бер-дниковой, А. В Шапиевой. — 2015. — С. 99—103.
11. Овчинников Е. Н., Остапенко А. В. Инновационный подход управления техногенным ресурсом на предприятиях «СУЭК Красноярск» с применением беспилотника // Актуальные проблемы авиации и космонавтики. — 2016. — № 12. — С. 275—277.
12. Тайлаков О. В., Коровин Д. С. Особенности фотограмметрической обработки аэрофотоснимков открытого угольного склада при использовании беспилотных летательных аппаратов // Вестник Кузбасского государственного технического университета. — 2016. — № 5. — С. 3—7. ЕШ
КОРОТКО ОБ АВТОРАХ
Кротенок Андрей Юрьевич1 — аспирант,
Шурыгин Дмитрий Николаевич1 — кандидат технических наук,
доцент, e-mail: [email protected],
Литовченко Татьяна Викторовна1 — кандидат технических наук, доцент,
Харитонова Валентина Романовна1 — студент, Семенова Юлия Андреевна — студент, Новочеркасский инженерно-мелиоративный институт имени А.К. Кортунова (филиал) Донского государственного аграрного университета (НИМИ ДонГАУ), 1 Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова.
ISSN 0236-1493. Gornyy informatsionno-analiticheskiy byulleten'. 2017. No. 12, pp. 50-55.
UDC 622.271:528.4
A.Yu. Krotenok, D.N. Shurygin, T.V. Litovchenko, Yu.A. Semenova, V.R. Kharitonova
PHOTOGRAMMETRY OF IMAGES OF AIR DRONES AND GROUND-BASED LASER SCANNING IN OPEN PIT MINE PLANNING
The approach of photogrammetric processing for sharing UAV images and NLS point clouds is being investigated by introducing additional input data from the LLA in adjusting the UAV light beams in order to improve the accuracy of the UAV images, especially in cases where it is difficult to perform GPS surveys (in mountain and high-risk areas).
Thanks to the integration of 3D points extracted from the cloud of LLS points and ground points captured with GPS as reference points in the tuning of a rotating prism that distributes the light beam in the vertical plane of the UAV, the accuracy of the geolocation positioning of UAV images can be improved in open quarries. As a result, the accuracy of the location on the basis of 3D clouds of points from the NLS is closer to accuracy based on the GCP points from the GPS survey. The coordinates of the image of the coinciding points with the UAV image are transformed into ground coordinates, and the differences between the transformed coordinates and the cloud coordinates of the LLS points are calculated to estimate the accuracy of the coinciding points.
Key words: unmanned aerial vehicle (UAV), photogrammetric processing, ground-based laser scanning (NLS), geo-positioning, point cloud, accuracy, quarry.
DOI: 10.25018/0236-1493-2017-12-0-50-55
AUTHORS
Krotenok A.Yu.1, Graduate Student,
Shurygin D.N.1, Candidate of Technical Sciences,
Assistant Professor, e-mail: [email protected],
Litovchenko T.V.1, Candidate of Technical Sciences,
Assistant Professor,
Kharitonova V.R.1, Student,
Semenova Yu.A., Student,
Novocherkassk Engineering and Reclamation Institute named after A.K. Kortunov (branch) of Don State Agrarian University (NIMI DonGaU), 346428, Novocherkassk, Russia,
1 M.I. Platov South-Russian State Polytechnic University (NPI), 346428, Novocherkassk, Russia.
REFERENCES
1. Maslyanko V. Ya. XII vserossiyskoe soveshchanie po problemam upravleniya VSPU-2014 (XII All-Russian Conference on Problems of Control 2014), pp. 4337-4347.
2. Babaev S. N. Interekspo Geo-Sibir'. 2013, no 3, pp. 151-154.
3. Koretskaya G. A., Koretskiy D. S. Vestnik Kuzbasskogo gosudarstvennogo tekhnicheskogo uni-versiteta. 2013, no 3, pp. 38-40.
4. Zavertkin S. A. Ugol'. 2017, no 5, pp. 88-91.
5. Laliberte A. S., Herrick J. E., Rango A, Winters C. Acquisition, orthorectification, and object-based classification of unmanned aerial vehicle (UAV) imagery for rangeland monitoring. Photogramm. Eng. Remote Sens. 2010. Vol. 76. pp. 661-672.
6. Chiabrando F, Nex F, Piatti D, Rinaudo F UAV and RPV systems for photogrammetric surveys in ar-chaelogical areas: Two tests in the Piedmont region (Italy). J. Archaeol. Sci. 2011. Vol. 38. pp. 697-710.
7. Zhang Y. J., Xiong J. X., Hao L. J. Photogrammetric processing of low-altitude images acquired by unpiloted aerial vehicles. Photogramm. Rec. 2011. Vol. 26. pp. 190-211.
8. Niethammer U, James M. R., Rothmund S, Travelletti J, Joswig M UAV-based remote sensing of the Super-Sauze landslide: Evaluation and results. Eng. Geol. 2012. Vol. 128. pp. 2-11.
9. Rosnell T., Honkavaara E. Point cloud generation from aerial image data acquired by a quadrocop-ter type micro unmanned aerial vehicle and a digital still camera. Sensors. 2012. Vol. 12. pp. 453-480.
10. Shikuts A. S., Mitin E. G. Molodezhnaya nauchnaya vesna 2015. Materialy XII nauchno-prak-ticheskoy konferentsii molodykh issledovateley zabaykal'skogogosudarstvennogo universiteta: v 2 ch. Pod red. T. B. Berdnikovoy, A. V Shapievoy (Youth Scientific Spring 2015. Proceedings of XII Scientific-Practical Conference of Young Researchers from the Transbaikal State University, in 2 parts. Berd-nikova T. B., Shapieva A. V. (Eds.). 2015, pp. 99-103.
11. Ovchinnikov E. N., Ostapenko A. V. Aktual'nye problemy aviatsii i kosmonavtiki. 2016, no 12, pp. 275-277.
12. Taylakov O. V., Korovin D. S. Vestnik Kuzbasskogo gosudarstvennogo tekhnicheskogo universiteta. 2016, no 5, pp. 3-7.
