CC BY
60
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2018 Том 18 № 5 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2018 Vol. 18 No 5 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 629.7.05; 681.78
АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ОБЪЕКТОВ ПО ДАННЫМ 3D-ЛИДАРА НА БАЗЕ ТЕХНОЛОГИИ СЧЕТА ЕДИНИЧНЫХ ФОТОНОВ
А.В. Тимофеев3, В.М. Денисовь,с
a ТОО «Эквалайзум», Астана, 010000, Казахстан
ь ООО «Флагман Гео», Санкт-Петербург, 197376, Российская Федерация c Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: timofeev.andrey@gmail.com Информация о статье
Поступила в редакцию 10.07.18, принята к печати 12.08.18 doi: 10.17586/2226-1494-2018-18-5-709-718 Язык статьи - русский
Ссылка для цитирования: Тимофеев А.В., Денисов В.М. Автоматическая классификация объектов по данным 3D-лидара на базе технологии счета единичных фотонов // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 5. С. 709-718. doi: 10.17586/2226-1494-2018-18-5-709-718
Аннотация
Предмет исследования. В работе выполнено сравнение эффективности процедуры автоматической классификации зондируемых объектов по данным 3Б-лидара, построенного на базе технологии счета единичных фотонов, с эффективностью процедуры классификации по данным обычного линейного лидара. Лидары на основе технологии счета единичных фотонов существенно превосходят обычные линейные лидары по целому ряду целевых параметров, в том числе по величине пространственного разрешения - более чем на порядок, по производительности процесса сканирования местности - на порядок, по массогабаритным показателям - в разы. В отличие от линейных лидаров, каждая лазерная точка в случае SPCT-лидара описывается не только ее координатами и интенсивностью отраженного сигнала, но координатами и дополнительным блоком данных, который характеризует рельеф поверхности зондируемого объекта в направлении зондирующего фотонного потока. Наличие этого дополнительного блока данных для каждой лазерной точки позволяет считать полученные изображения 3D-изображениями, что существенно облегчает решение не только фотограмметрической задачи, но и задачи автоматической классификации целевых объектов (целей) на SPCT-изображении. Метод. Рассмотрено решение задачи автоматической классификации целей на базе SPCT-данных с привлечением методов машинного обучения (XGBoost и многослойных нейронных сетей - ANN). Основные результаты. Результаты численного моделирования, проведенного в рамках настоящего исследования, показали, что при прочих равных условиях, эффективность решения классификационной задачи на базе SPCT-данных в практически важных случаях повышается до 20% по сравнению со случаем использования для классификации данных, полученных от обычного линейного лидара. Практическая значимость. Полученные результаты могут быть использованы при создании мобильных SPCT-лидаров, позволяющих с высокой надежностью обнаруживать и классифицировать объекты на поверхности Земли в реальном масштабе времени. Ключевые слова
технология счета единичных фотонов, 3D-лидар, гейгеровский лидар, однофотонный лидар, XGBoost, искусственная нейронная сеть
AUTOMATIC OBJECT CLASSIFICATION ACCORDING TO 3D-LIDAR DATA BASED ON SINGLE-PHOTON COUNTING TECHNOLOGY A.V. Timofeev3, V.M. Denisov b,c
a EqualiZoom, LLP, Astana, 010000, Kazakhstan ь Flagman Geo, OOO, Saint Petersburg, 197376, Russian Federation c ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: timofeev.andrey@gmail.com
Article info
Received 10.07.18, accepted 12.08.18 doi: 10.17586/2226-1494-2018-18-5-709-718 Article in Russian
For citation: Timofeev A.V., Denisov V.M. Automatic object classification according to 3d-lidar data based on single-photon counting technology. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 5, pp. 709-718 (in Russian). doi: 10.17586/2226-1494-2018-18-5-709-718
Abstract
Subject of Research. We compare the effectiveness of the procedure for automatic object classification according to 3d-lidar data, built on the basis of single-photon counting technology, with the efficiency of the classification procedure with the usage of the conventional linear lidar data. Lidars based on the single-photons counting technology (SPCT) significantly exceed the ordinary linear lidars for a whole range of target parameters, including: spatial resolution - by more than an order of magnitude; the performance of the land surface scanning process - by an order of magnitude; by weight and size indicators - few times less. Unlike linear lidars, each laser point in the case of a SPCT-lidar is described not only by its coordinates and the intensity of the reflected signal, but by coordinates and an additional data block that characterizes the surface relief of the probed object in the direction of the probing photon flux. The presence of this additional data block for each laser point makes it possible to consider the received images as 3d-images, that simplifies the solution of not only the photogrammetric problem, but also the task of automatic objects classification on SPCT-image. Method. We consider the automatic object classification task solution based on SPCT-data with the use of the machine learning methods (XGBoost and multilayered neural networks - ANN). Main Results. The results of the numerical simulation carried out within the framework of the present study showed that, other things being equal, the efficiency of solving the classification problem based on SPCT-data, in practically important cases, increases up to 20% compared with the case where the linear-lidar data was used. Practical Relevance. The obtained results can be used in the design of the mobile SPCT-lidars enabling the detection and classification of objects on the Earth's surface in real time with high reliability. Keywords
Single-Photon Counting Technology, 3d-lidar, Geiger-mode lidar, single-photon lidar, XGBoost, ANN
Введение
В последние несколько лет в областях лидарной локации и лидарного зондирования значительный практический интерес связывается с развитием нового класса лидарных систем, основанного на использовании технологии счета единичных фотонов (Single Photon Counting Technology - SPCT) [1-7]. Этот класс лидаров условимся назвать SPCT-лидарами. Они при минимальной мощности излучения способны обеспечить разрешение по дальности в диапазоне от 3 до 10 см. По сути дела, каждая лазерная точка в этом случае описывается не только ее координатами и интенсивностью отраженного сигнала, но координатами и дополнительным блоком данных, который характеризует рельеф поверхности зондируемого объекта в направлении зондирующего фотонного потока. Наличие этого дополнительного блока данных для каждой лазерной точки позволяет считать полученные изображения 3D-изображениями, что существенно облегчает решение фотограмметрической задачи, а также позволяет решить целый комплекс сопутствующих проблем со значительно большей эффективностью по сравнению с использованием обычных линейных лидаров. Развитие SPCT-лидаров обеспечивает полноценные условия для революционной смены парадигмы в методах оперативного лазерного зондирования. В частности, создаются необходимые предпосылки для скачкообразного перехода от аналоговых технологий обработки данных к методам цифровой (пространственно-временной) обработки наблюденных данных на уровне приемного блока лазерных систем. Такой переход позволит не только кардинально повысить качество получаемых изображений (при более высокой производительности сбора данных), но и, что крайне важно, для целого ряда специальных применений резко снизить мощность лидара. В свою очередь, снижение мощности лидара повышает скрытность процесса зондирования при резком уменьшении массогабаритных показателей мобильных лазерных комплексов, что особенно важно при их размещении на БПЛА-платформах. Для SPCT-лидаров характерна высокая производительность - величина отсканированной площади за единицу времени. По этому показателю SPCT-лидары превосходят линейные лидары более чем на порядок [8, 9]. Благодаря быстродействующим детекторам и схемам синхронизации SPCT-лидар способен эффективно работать в условиях паразитного фонового фотонного потока, имеющего пуассоновский механизм и возникающего за счет лучистой энергии солнечного света. В литературе указывается, что SPCT-лидары, в отличие от линейных, способны эффективно анализировать полупористые объекты, такие как растительность, кроны деревьев, туман, оптически тонкие облака и даже неглубокие водоемы [7-9]. В настоящей работе изучены преимущества, которые привносят в процесс обработки данных зондирования SPCT-лидары в части решения задачи распознавания (классификации) объектов на полученных изображениях. Показано, что использование лидаров на базе технологии счета единичных фотонов позволяет существенно повысить надежность решения классификационных задач.
Используемые в статье основные обозначения и определения сведены в табл. 1.
Обозначение Определение
SPCT Single Photon Counting Technology
SPCT-лидар Лидарная система на базе SPCT или Geiger-mode lidar/ single-photon lidar
SPCT-данные (SPCT-data) Данные, которые SPCT-лидар накапливает и обрабатывает в процессе зондирования
H Пространственно распределенный объект лидарного зондирования
БПЛА Беспилотный летательный аппарат
S( H) Поверхность объекта H: геометрическое место точек m(x), координаты x которых удовлетворяют уравнению F(x | H) = 0, функция F(x | H) в общем случае задана или может быть определена экспериментально; S(H) = {m(x) | x e R3, F(x | H) = 0)
Геометрические координаты источника лазерного излучения
XLP Геометрические координаты лазерной точки (координаты фокуса лазерного пучка на поверхности объекта зондирования). Одному значению xH в общем случае соответствует несколько лазерных точек, количество которых зависит от параметров системы зондирования
LP Лазерная точка: первичное лазерно-локационное измерение, полученное лидаром. Представляет собой комплексный объект, параметрами которого являются координаты xLP и набор информационных параметров, которые, в зависимости от типа лидара (SPCT или линейный), характеризуют рельефные или отражающие способности области локального зондирования. Формируется при фиксированном угле зондирования, которое определяется позиционной парой xH, xLP
ги Круговая апертура источника излучения
L Расстояние от источника импульсного лазерного излучения от участка поверхности пространственно распределенного объекта H, который подвергается облучению в конкретный момент времени
Ia (x) [1, x e A Индикатор множества I (x) = s [о, x г A
N Число импульсов в пачке
tk Момент времени генерации первого импульса k-й пачки
T = (t t t ) kN V i' k+1'-" k+N-U Последовательность моментов времени генерации импульсов в k-й пачке
*n ,8 =1 T *( N, 5)| Мощность множества T (N, 8), которое состоит из детектированных подсистемой приема SPCT-лидара временных моментов поступления фрагментов отраженной части зондирующего фотонного потока в точку приема. Множество T (N, 8) определяется для каждой лазерной точки и де- факто вполне определенно описывает вариации рельефа зондируемой области в направлении вдоль распространения зондирующего фотонного потока
Таблица 1. Обозначения и определения
Принцип действия SPCT-лидара
Впервые концепция 5РСТ-лидара была описана в работе [1]. С тех пор появилось множество публикаций, например [2-7], в которых рассматриваются различные варианты построения систем этого класса, а также описаны результаты практического использования лидаров данного типа для решения ряда практических задач. Известно, что в стандартном лидаре, который принято называть «линейным», прием отраженного от цели сигнала производится в аналоговой форме, и лишь на последующих стадиях обработки он оцифровывается при помощи аналогово-цифровых преобразователей. В отличие от линейного лидара в системах, основанных на использовании счета одиночных фотонов, отраженный от цели фотонный поток изначально фиксируется в цифровой форме. Эта форма, по сути дела, представляет собой упорядоченный набор моментов времени поступления на приемную подсистему фрагментов фотонного потока, отраженного от цели, который де-факто характеризует рельеф зондируемой поверхности в направлении зондирующего фотонного потока. По сути дела, в этой простой формуле заключен основной смысл 5РСТ-технологии, хотя имеется множество нюансов. Иначе говоря, если объект имеет в направле-
нии зондирования характерный рельеф, то отраженный от него фотонный поток представляет собой последовательность фотонных групп, приходящих в приемную точку с вполне определенными временными задержками, отличающимися друг от друга буквально на единицы наносекунд, которые вполне информативно характеризуют рельеф объекта зондирования в направлении падения зондирующего излучения. В качестве приемника может быть использованы различные регистраторы, работающие в гейгеровской моде, но чаще всего применяются так называемые £/РМ-матрицы (кремниевые фотоумножители) различных размерностей. Как правило, промышленные исполнения £РСТ-лидаров используют размерность 32^128. В свою очередь, £/РМ-матрица состоит из группы лавинных фотодиодов, настроенных для работы в гейгеровской моде с номинальным темновым счетом. От уровня темнового счета зависят как избирательность приемной системы, так и ее чувствительность. В общем случае производители стремятся комплексно понизить уровень этого показателя, хотя это приводит к резкому увеличению стоимости £РМ-матрицы. Как правило, описанные в литературе £РСТ-системы работают на двух длинах волн: 532 нм и 1064 нм, при этом разрешение по дальности достигает впечатляющей величины в 3 см. С целью уменьшения размерности £/РМ-матрицы используются различные электронно-механические решения, например, в [7] описан вариант на базе вращающегося призма-сканнера. Так как приемная система БРСТ-лидара обладает сверхвысокой чувствительностью, резко (буквально на порядки) понижаются требования к мощности зондирующего излучения, что крайне важно для целого ряда практических приложений лазерных систем.
Описание принципа получения ^РСТ-данных
Рассмотрим пространственно распределенный объект локации Н. Каждая точка его поверхности т(х) е £(Н) обладает определенной способностью отражать лазерное излучение, которая зависит от угла, под которым это излучение падает на поверхность £ (Н), а также от отражающих свойств поверхности в месте расположения точки т(х). Объект Н облучается фотонным потоком, который генерируется импульсным источником лазерного излучения с длиной волны X. Источник импульсного лазерного излучения находится на расстоянии Ь от того участка пространственно распределенного объекта Н, который подвергается облучению в конкретный момент времени. Для определенности считаем, что приемная система расположена в точке генерации зондирующего излучения. Основная энергия каждого зондирующего импульса, при достижении объекта локации Н приблизительно аккумулируется в основании конуса
С(Н, Ь), диаметр основания которого имеет размер 2КО = 4ХЬ (пги ), где ги - круговая апертура источника излучения. Центр основания этого конуса будем для удобства называть опорной точкой. Ее координаты совпадают с координатами лазерной точки хЬР, при этом т(хЬР) е £(Н). При этом «опорная точка» есть геометрический объект, который является одним из параметров комплексного объекта «лазерная точка».
Координаты источника лазерного излучения обозначим хи, хи е Хи, где Хи обозначает конечное, упорядоченное множество возможных значений хи. В процессе сканирования объекта значения этого параметра хи (г) выбираются из множества Хи согласно априорно введенному порядку по возрастанию индекса г. В общем случае поверхность £(Н) - вполне произвольна, хотя и непрерывна в силу физично-сти объекта Н. Обозначим как я(Н) с £(Н) ту часть поверхности £(Н), на которую падают элементы фотонного потока, проходящие через основание конуса С(Н, Ь).
£РСТ-лидар, согласно принципу его действия, анализирует входной фотонный поток в циклическом режиме. При этом пауза между двумя смежными измерениями (период цикла) имеет масштаб нескольких десятков наносекунд и обозначается символом Д!г. Таким образом, совокупность моментов времени, в которые £РСТ-лидар анализирует входящий фотонный поток, отраженный от объекта Н, представляет собой дискретное множество T = 11 > 0; V/ > 0: (^+1 -1¡ = Дг )Ц. В общем случае различные точки т(х) е s(H) находятся на различных расстояниях от источника зондирования. Таким образом,
V (т(х), т(Х2) е 5(Н), х * Х2): ||
хи ХЛ *||хи .
Исходя из этого, при различных углах падения зондирующего фотонного потока на поверхность s(H), определяемых позиционной парой (хи, хЬР ) , различные части фотонного потока отражаются от
поверхности ^(Н) в различные моменты времени, величины которых обусловлены различием расстояний |||хи - хг.|и от точек | хгЦ до точки приема хи . Обозначим множество этих временных моментов, соответствующих /-му импульсу к-ой пачки, следующим образом:
Ткч ((,Хьр) = { | т(х,.) е s(H),^ = ^ + 2||хи -ф-1,^ е Тш}с T.
Здесь tk+j - момент генерации j-го импульса в k-й пачке, v - скорость света в среде, а момент
времени t(k+j) e Tk есть время фиксации приемной системой SPCT-лидара фрагмента фотонного потока, отраженного от точки m(xi) e S(H). Этот фрагмент соответствует j-му зондирующему импульсу из k-ой пачки, сгенерированной системой зондирования в момент времени tk+j при угле зондирования, определенном позиционной парой (xH, xLP ) . Естественно, что для любых j и k, множество Tk+j (xH, xLP) содержит помеховые компоненты, возникающие как за счет воздействия лучистой энергии солнечного света, так и за счет интерференционных эффектов, а также за счет внутренних нестабильностей приемной системы. Для того чтобы уменьшить влияние «помеховых» компонентов, в большей части исключив их из дальнейшего рассмотрения, необходимо провести ранговую селекцию элементов последовательности множеств Tk (N | xK, xLP) = |Tk+j (x„, xLP) | j = 0, N -1). С этой целью рассмотрим множество
Tk (N | xH, xLP) = у N-o T+j (и, xLP) и определим характеристичную скалярную функцию n(t) в следующем виде: Vt e Tk(N): n(t) = ^"„l^ (( Чр) (t)N-1. Функция n(t) очевидным образом характеризует стабильность попадания компонента t в каждое из подмножеств Tk+j (xH, xLP), составляющих Tk (N | xH, xLP): чем ближе величина n(t) к единице, тем более вероятно, что компонент t не является помеховым, и наоборот.
В результате селекции будет получено множество Tk(N, 81 xH, xLP) = |t eTk (N | xH, xLP) | n(t) > 8), в
которое входят только те элементы Tk (N | xH, xLP), для которых n(t) > 8. Величина порога 8 выбирается на этапе адаптации системы к практическим условиям функционирования. Иначе говоря, множество Tk*(N, 8 | xH, xLP) состоит из измеренных подсистемой приема SPCT-лидара временных моментов прихода
фрагментов отраженной части зондирующего фотонного потока в точку приема. Согласно общим принципам отражения фотонного потока от рельефной поверхности, эти фрагменты в определенной степени соответствуют микрорельефу облучаемой области s(H) с S(H).
Приведем упрощенное пояснение этого тезиса. Пусть рельеф облучаемой области s(H) имеет m «ступеней», каждая из которых расположена на различных расстояниях от приемника. От каждой из этих ступеней некоторая часть зондирующего фотонного потока отражается в сторону приемника и фиксируется этим приемником с различными временными задержками. Совокупность этих m временных задержек будет характеризовать местоположение «ступеней», а следовательно, - и микрорельеф области s(H) . Таким образом, после зондирования поверхности s(H) с S(H) k-ой пачкой, состоящей из N импульсов, множество T* (N, 81 x„, xLP), полученное в результате зондирования данной пачкой, будет определенным образом характеризовать поверхность s(H) (помним, что xLP e s(H)). Условимся называть множество T*(N, 81 x„, xLP) множеством, характеристическим по вариации рельефа (МВР) при наборе параметров N, 8, xH, xLP или просто МВР-множеством. Фактически это множество описывает геометрический профиль участка поверхности s(H) с S(H) в направлении угла зондирования, которое однозначно определяется позиционной парой (xH, xLP ) . Каждый элемент позиционной пары (xH, xLP ) принимает значения из априорно заданных множеств, которые фиксируются на этапе формирования плана зондирования. Как было указано выше, xH e Хи. Возможные значения xLP определяются шагом перемещения направления сканирующего потока фотонов и текущим значением xH e Хи. Обозначим символом XLP (xH) упорядоченное множество возможных значений лазерных точек поверхности S(H) при значении координат источника лазерного излучения равном xH . В процессе сканирования объекта, при фиксированном xH e Хи, очередные значения величины xLP (i) выбираются согласно определенному на XLP (xH) порядку, по возрастанию индекса i. Рассмотрим следующие величины:
Ри = r )]Maxi)x||xH (i)- xH (i +1)|
x, (i).x, (i+1)eX„ 11
pLP (xH) = ) ( J|xLP (i) - xLP (i + 1)||.
*LP (i).*LP (i +1)eXLP (^ )" 11
Величина ри равна максимальному по норме различию смежных по индексу элементов множества Хи , а рLP (xH) определяет максимальное по норме различие смежных по индексу элементов множества XLP (xH).
Назовем решеткой сканирования множество пар (xH, xLP ) , совместно образующих множество X,
таких, что V(хи, хЬР) е X3m(хЬР) е £(Н). Состав множества X задается априорно, в момент планирования процесса сканирования объекта. В этом случае величина
Д = Ри м ах Рьр (хи)
хи еХи
характеризует пространственное разрешение множества возможных пар (хи, хЬР) е X . Чем меньше величина Д, тем более плотно сканируется объект Н под различными углами, и тем более точно можно восстановить его поверхность £(Н). В общем случае каждая лазерная точка может зондироваться несколькими пачками импульсов, но для упрощения и уменьшения громоздкости вкладок будем полагать, что каждой паре (хи, хЬР) е X соответствует ровно одна зондирующая пачка импульсов. В данном случае в
обозначении Т* (И, 51 хи, хЬР) индекс к неинформативен и будет опускаться. Таким образом, совокупность множеств У&ТСТ (N, 5, X) = {Т*(И, 51 хи, хЬР )| (хи, хЬР )е XI, которую будем называть £РСТ-корпусом, будет вполне однозначно описывать всю поверхность £(Н). Исследование алгоритмов непосредственного восстановления поверхности £ (Н) по наблюдениям У £РСТ (N, 5, X) не является задачей настоящей работы. Для оценки эффективности использования £РСТ-данных при решении задачи автоматической классификации объекта зондирования Н вполне достаточно знания множества У£РСТ (N, 5, X), которое характеризует геометрию объекта Н в достаточной для его надежной автоматической классификации степени.
Постановка задачи
Основная цель настоящей работы состоит в оценивании степени эффективности распознавания объекта Н по £РСТ-данным, составляющих корпус У£РСТ (N, 5, X). В частности, ставится задача выяснить, насколько £РСТ-лидар более эффективен, в сравнении с обычным линейным лидаром, в качестве поставщика «сырых» данных при решении задачи распознавания (классификации) зондируемых объектов?
В качестве критерия эффективности выбран параметр «вероятность правильной классификации» (РТС), определяемая при фиксированном числе классов (каждый класс соответствует определенному типу объекта). Алгоритмы классификации, а также условия формирования данных зондирования (состояние атмосферы, тип излучателя, длина волны, длина пачки и пр.), полагаются одинаковыми для сравниваемых систем удаленного зондирования.
Исходные данные для моделирования
Рассмотрим особенности организации £РСТ-лидарной системы и классической (линейной) лидар-ной систем. Передающие подсистемы этих систем практически идентичны, как правило, это УЛв-лазер с длиной волны X = 1064 нм (или 532 нм), которая «помещается» в окно прозрачности атмосферы [3001100 нм]. Обе системы работают в импульсном режиме, период генерации импульсов определяется как дальностью до объекта зондирования, так и скоростью обработки данных приемной системы. Как правило, период генерации зондирующих импульсов имеет масштаб десятков микросекунд. Длительность импульса определяется возможностями генерации импульсной энергии передающей лазерной системы, а масштаб ее величины составляет десятки наносекунд.
Кардинальное отличие систем состоит в устройстве их приемных блоков. В классической, линейной лазерной системе приемный блок, по сути, работает в аналоговом режиме, а данные зондирования формируются в виде массива данных, каждый элемент которого состоит из координат лазерной точки и интенсивности сигнала, отраженного от этой точки. Интенсивность отраженного сигнала зависит от отражающей способности поверхности зондируемого объекта, угла падения зондирующей волны, микрорельефа зондируемой поверхности в области местоположения лазерной точки, а также от параметров зондирующего импульса. Таким образом, на выходе мы получаем «плоскую картинку», а мелкие детали рельефа зондируемой поверхности с потерей информации отражены в параметре «интенсивность отраженного сигнала». Микрорельеф зондируемого объекта в области лазерной точки, как правило, имеет четко выраженные неровности, которые определенным образом характеризуют объект с точки зрения его классификации. Однако эта информация определенным образом усредняется в теле отраженного сигнала, будучи «сжатой» в единственный скалярный параметр: интенсивность отраженного сигнала от данной области зондируемой поверхности, размеры которой определяются пространственным разрешением лазерной системы как по углу, так и по дальности. Таким образом, при использовании линейного лазера данные о мелкомасштабной структуре элементов рельефа зондируемого объекта вдоль распространения зондирующего излучения теряются.
Обратная картина наблюдается в случае £РСТ-лидарной системы. Здесь, за счет использования 8РСТ, пространственная структура зондируемого объекта вдоль распространения зондирующего импуль-
са подвергается значительно более детальному анализу за счет существенно более высокой степени разрешения приемной системы по дальности, величина которой достигает нескольких сантиметров (3 см и более) на расстоянии 8-10 км. При этом разрешение по угловой координате остается таким же, как и в случае линейного лазера. SPCT-данные формируются в виде цифрового массива (корпуса) YSPCT (N, 5, X), каждый элемент которого содержит не только данные координат лазерных точек и углов их зондирования, но и информацию о детальной микроструктуре рельефа поверхности объекта H, соответствующую различным углам зондирования. Каждому углу зондирования здесь соответствует не единственный параметр, описывающий интенсивность отраженного фотонного потока, но сразу несколько дистанционных отметок, которые характеризуют микрорельеф соответствующей лазерной точки при заданном угле зондирования.
Пусть oH есть вариация глубины микрорельефа поверхности объекта зондирования H; 9 - угол падения зондирующего фотонного потока на объект зондирования; I0 - интенсивность зондирующего фотонного потока в месте расположения объекта зондирования H. Интенсивность отраженного фотонного потока I подчиняется следующему простому уравнению: I = I0exp(-(4л / X)oH cos (9)). Из данного
уравнения следует, что чем больше вариация глубины микрорельефа, чем меньше интенсивность фотонного потока, отраженного от поверхности объекта H. При моделировании угол падения зондирующего потока для обоих типов лидаров полагался одинаковым. Параметры деградации отраженного фотонного потока в атмосфере полагались одинаковыми для лидаров обоих типов. По этой причине, с целью минимизации загромождения модели деталями учета обратной атмосферной трассы, которая принципиально ничего не привносит при сравнении уровня достоверности решения классификационной задачи, в качестве информационного параметра каждой лазерной точки использовалось значение интенсивности отраженного потока I , без учета его деградации при обратном распространении в точку приема через атмосферу.
Таким образом, в процессе моделирования задавались следующие параметры: I0, X, oH, 9, N и Col
- количество лазерных точек, которые были использованы для решения задачи распознавания. Из этого множества параметров реально влияют на различие в уровне эффективности решения классификационной задачи, только три: oH , N и Col. В зависимости от значения oH , с одной стороны, изменяется основной информационный параметр данных обычного лидара - I , а с другой - варьируется величина параметра kN 5. Величина Col определяет общую достоверность процедуры классификации, так как чем
большее число лазерных точек используется при решении задачи классификации, тем выше достоверность (стабильность) классификационной процедуры. На практике величина Col зависит как от размеров классифицируемого объекта, так и от величины А - пространственного разрешения системы зондирования, которое лежит в интервале 8-20 точек на 1 м2. Будем считать, что для обоих типов сравниваемых систем величина Col одинакова. Длина пачки N также играет значительную роль в вопросе стабилизации классификационного решения. На практике оптимальное значение этого параметра зависит от множества факторов и, как правило, определяется экспериментально.
В отличие от SPCT-лидара, линейный лидар для каждой пачки импульсов длительностью N, кото -рая начинается с момента времени tk, генерирует ровно одно измерение: (((tk | N),хи,xLP), где
(хи, xLP) е X . В силу сделанного выше предположения о единственности зондирующей пачки для каждой позиционной точки (хи, xLP) измерение можно записать следующим образом: IN (хи, xLP). Здесь IN (xH, xLP) - усредненная по пачке из N импульсов интенсивность отраженного от лазерной точки m(xLP) е S(H) зондирующего сигнала для пачки, сгенерированной в позиции (xH, xLP ) (в момент времени tk) и принятого приемной системой линейного лидара. Таким образом, в отличие от SPCT-лидара, где информационными параметрами являются элементы МВР-множества Tk (N, 51 xi¡, xLP), единственным информационным параметром в случае линейного лидара является величина IN (xH, xLP). Как и в случае SPCT-лидара, данные зондирования линейным лидаром образуют соответствующий корпус данных: Yl(N,X) ={In(xH,xP)|(xH,XP) еX}.
Для моделирования процедуры классификации были сгенерированы несколько корпусов Y(Spct(N,5,X) и YL)(N,X), которые соответствуют выбранной для моделирования группе параметров. Для простоты полагалось, что параметр xH фиксирован, а множество позиционных точек X состоит из 40 и 80 элементов, т.е. имеем два варианта значений параметра Col - числа лазерных точек. За основной параметр выбран oH - вариация глубины микрорельефа поверхности объекта зондирования H. Рассмот-
рено 20 объектов (классов) H, соответствующих одному и тому же значению вариации глубины микрорельефа поверхности в направлении источника излучения. Каждый из этих объектов обладает, при заданном значении cH , уникальным профилем рельефа в направлении источника излучения. При генерации
корпусов данных Y(¡¡)CT(N,5,X) и Y¿)(N,X) использовались следующие значения параметра cH : 0,1, 0,4, 0,7 и 1, а длина пачки N принимала два значения: 10 и 20 импульсов. Полагаем, что разрешение SPCT-лидара по дальности равно 10 см. Также при генерации корпуса данных Y¿)(N, X) с целью моделирования «неидеальности» измерений использовался принцип зашумления «идеальных» данных аддитивным, центрированным гауссовым шумом со средним квадратичным отклонением, равным одной десятой от величины I0. При генерации множеств T* (N, 51 хи, xLP), входящих в корпус Y(pCT (N, 5, X), в множество истинных элементов t е Tk+j (хи, xLP), j е {0, N -1} (истинные элементы t соответствуют рельефу зондируемого объекта) по случайному закону добавлялось не менее 30% (от величины *n 5) так называемых ложных компонентов, которые появляются во множествах Tk+j (хи, xLP) из-за влияния комплекса внешних, неблагоприятных факторов, подробно перечисленных ранее.
Численное сравнение эффективности классификации
Для моделирования использовалась среда Python 3.7, в том числе базовые пакеты scipy и pandas, а также пакет поддержки методов машинного обучения sklearn. Для примера рассматривались только два ML-метода: знаменитый XGBoost [10] и классическая ANN (нейронная сеть). Базовые параметры алгоритма XGBoost, так называемые «гиперпараметры», в том числе «eta» (аналог «learning rate»), «max depth», «min_child_weight», «gamma» и другие оптимизировались с использованием библиотеки «hyperopt».
Тип лидара Col Алгоритм k KN ,5 P 1 ТС
0,01 1 0,71
0,16 XGBoost 4 0,76
0,49 7 0,84
40 1,0 10 0,91
0,01 1 0,72
0,16 ANN 4 0,77
0,49 7 0,87
SPCT-лидар 1,0 10 0,92
0,01 1 0,77
0,16 XGBoost 4 0,81
0,49 7 0,88
80 1,0 10 0,94
0,01 1 0,79
0,16 ANN 4 0,81
0,49 7 0,87
1,0 10 0,95
0,01 0,72
0,16 XGBoost 0,71
0,49 0,70
40 1,0 0,70
0,01 0,72
0,16 ANN 0,71
0,49 0,70
Линейный 1,0 1 0,70
лидар 0,01 0,77
0,16 XGBoost 0,75
0,49 0,74
80 1,0 0,74
0,01 0,77
0,16 ANN 0,76
0,49 0,74
1,0 0,73
Таблица 2. Результаты численного моделирования Нейронная сеть состояла из шести скрытых слоев, каждый слой содержал 128 нейронов. В качестве функции активации на скрытых слоях использовалась робастная к затуханию градиентов функция ReLu (Rectified Linear Unit), которая имеет следующую формулу fx) = max(0, x).
На выходном слое использовалась классическая функция «softmax», представляющая из себя обобщение логистической функции для многомерного случая. Общее число модельных наблюдений,
включенных в корпуса Y^P^ (N, 5, X) и Y^N, X), равнялось 500. При обучении классификационных подсистем, построенных на базе методов XGBoost и ANN, для оценки обобщающей способности этих подсистем использовался стандартный метод скользящего контроля, иначе называемый CV (Cross-Validation). Результаты численного моделирования собраны в табл. 2. Здесь символом PTC обозначена вероятность правильной классификации (True Classification Probability).
Данные, приведенные в табл. 2, свидетельствуют о том, что, при прочих равных условиях, массив данных лазерного зондирования, сформированный при помощи SPCT-лидара, позволяет решить задачу классификации объектов на полученном изображении существенно надежнее. В частности, в оптимальном для SPCT-лидара случае, который соответствует максимальной величине вариации рельефа, различие величин вероятностей правильной классификации PTC достигает 20%, так как эта ситуация является наихудшей в случае линейного лидара. Для низких значений вариации рельефа, которые соизмеримы с величиной разрешения SPCT-лидара по дальности, показатели надежности классификации PTC практически не отличаются. Естественно, что при увеличении показателя N надежность классификации возрастает для обоих типов лидаров. Для SPCT-лидара выявлено существенное повышение качества классификации при увеличении показателя вариации рельефа классифицируемого объекта. Это вполне объяснимо, так как при увеличении вариации рельефа возрастает размерность пространства признаков, которые используются при решении классификационной задачи. Алгоритм классификации ANN дает небольшой прирост показателя качества классификации по сравнению с алгоритмом XGBoost.
Заключение
Результаты моделирования показывают, что данные зондирования, полученные с использованием лидара на счете единичных фотонов, при прочих равных условиях обеспечивают существенное повышение эффективности автоматической классификации объектов (целей): вероятность правильной классификации возрастает до 20%. Применение специальных алгоритмов обработки сигнала позволяет существенно снизить количество ошибок и влияние паразитной засветки, что обеспечивает возможность нормального функционирования лидарной системы в любое время суток при практически любом освещении.
Литература
1. Priedhorsky W.C., Smith R.C., Ho C. Laser ranging and mapping with a photon-counting detector // Applied Optics. 1996. V. 35. N 3. P. 441-452. doi: 10.1364/A0.35.000441
2. Degnan J., Wells D., Machan R., Leventhal E. Second generation airborne 3D imaging lidars based on photon counting // Proc. SPIE. 2007. V. 6771. doi: 10.1117/12.732086
3. Williams G.M. Limitations of Geiger-mode arrays for Flash LADAR applications // Proc. SPIE. 2010. V. 7684. doi: 10.1117/12.853382
4. Aull B.F., Loomis A.H., Young D.J., Stern A., Felton B.J., Daniels P.J., Landers D.J., Retherford L., Rathman D.D., Heinrichs R.M. et al. Three-dimensional imaging with arrays of geiger-mode avalanche photodiodes // Proc. SPIE. 2004. V. 5353. P. 105-116. doi: 10.1117/12.532723
5. Li Q., Dengan J., Barrett T., Shan J. First evaluation on single photon-sensitive lidar data // Photogrammetric Engineering and Remote Sensing. 2016. V. 82. N 7. P. 455-463. doi: 10.14358/PERS.82.7.455
6. Moussavi M.S., Abdalati W., Scambos T., Neuenschwander A. Applicability of an automatic surface detection approach to micro-pulse photon-counting lidar altimetry data: implications for canopy height retrieval from future ICESat-2 data // International Journal of Remote Sensing. 2014. V. 35. N 13. P. 5263-5279. doi: 10.1080/01431161.2014.939780
7. Marino R.M., Davis W.R. Jigsaw: a foliage-penetrating 3D imaging laser // Lincoln Laboratory Journal. 2005. V. 15. P. 2336.
8. Single Photon Lidar: Sigma-Space [Электронный ресурс]. Режим доступа: http://www.sigmaspace.com/single-photon-lidar, своб. Яз. англ. (дата обращения 10.07.2018).
9. Geiger-Mode Lidar: Raising the Standard to New Heights [Электронный ресурс]. Harris, 2007. Режим доступа: www.harrisgeospatial.com/Portals/0/pdfs/HG_Geiger-
mode LiDAR brochure^WEB.pdf, своб. Яз. англ. (дата обращения 10.07.2018).
References
1. Priedhorsky W.C., Smith R.C., Ho C. Laser ranging and mapping with a photon-counting detector. Applied Optics, 1996, vol. 35, no. 3, pp. 441-452. doi: I0.1364/A0.35.000441
2. Degnan J., Wells D., Machan R., Leventhal E. Second generation airborne 3D imaging lidars based on photon counting. Proc. SPIE, 2007, vol. 6771. doi: 10.1117/12.732086
3. Williams G.M. Limitations of Geiger-mode arrays for Flash LADAR applications. Proc. SPIE, 2010, vol. 7684. doi: 10.1117/12.853382
4. Aull B.F., Loomis A.H., Young D.J., Stern A., Felton B.J., Daniels P.J., Landers D.J., Retherford L., Rathman D.D., Heinrichs R.M. et al. Three-dimensional imaging with arrays of geiger-mode avalanche photodiodes. Proc. SPIE, 2004, vol. 5353, pp. 105-116. doi: 10.1117/12.532723
5. Li Q., Dengan J., Barrett T., Shan J. First evaluation on single photon-sensitive lidar data. Photogrammetric Engineering and Remote Sensing, 2016, vol. 82, no. 7, pp. 455-463. doi: 10.14358/PERS.82.7.455
6. Moussavi M.S., Abdalati W., Scambos T., Neuenschwander A. Applicability of an automatic surface detection approach to micro-pulse photon-counting lidar altimetry data: implications for canopy height retrieval from future ICESat-2 data. International Journal of Remote Sensing, 2014, vol. 35, no. 13, pp. 5263-5279. doi: 10.1080/01431161.2014.939780
7. Marino R.M., Davis W.R. Jigsaw: a foliage-penetrating 3D imaging laser. Lincoln Laboratory Journal, 2005, vol. 15, pp. 23-36.
8. Single Photon Lidar: Sigma-Space. Available at: http://www.sigmaspace.com/single-photon-lidar (accessed 10.07.2018).
9. Geiger-Mode Lidar: Raising the Standard to New Heights. Harris, 2007. Available at: www.harrisgeospatial.com/Portals/0/pdfs/HG Geiger-mode_LiDAR_brochure_WEB.pdf (accessed 10.07.2018).
10. Chen T., Guestrin C. XGBoost: a scalable tree boosting system // Proc. 22nd ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. San Francisco, USA, 2016. V. 1317. P. 785-794. doi: 10.1145/2939672.2939785
10. Chen T., Guestrin C. XGBoost: a scalable tree boosting system. Proc. 22nd ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. San Francisco, USA, 2016, vol. 13-17, pp. 785-794. doi: 10.1145/2939672.2939785
Авторы
Тимофеев Андрей Владимирович - доктор технических наук, научный директор, ТОО «Эквалайзум», Астана, 010000, Казахстан, Scopus ID: 56689367600, ORCID ID: 0000-0001-72125230, timofeev.andrey@gmail.com
Денисов Виктор Маевич - доктор технических наук, доцент, генеральный директор, ООО «Флагман Гео», Санкт-Петербург, 197376, Российская Федерация; профессор, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 56689367600, ORCID ID: 0000-0002-1907-5198, 070255@gmail.com
Authors
Andrey V. Timofeev - D.Sc, Chief Scientific Officer, LLP "EqualiZoom", Astana, 010000, Kazakhstan, Scopus ID: 56689367600, ORCID ID: 0000-0001-7212-5230, timofeev.andrey@gmail.com
Victor M. Denisov - D.Sc, Associate Professor, CEO, OOO "Flagman Geo", Saint Petersburg, 197376, Russian Federation; Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 56689367600, ORCID ID: 0000-00021907-5198, 070255@gmail.com
