CC BY
38СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.942
МЕТОДИКА РЕГИСТРАЦИИ 3Д ОБЛАКОВ ТОЧЕК С ИСПОЛЬЗОВАНИЕМ КОРРЕКЦИИ ПЛОСКОСТЕЙ И КОРРЕЛЯЦИИ ГИСТОГРАММ1
Статья поступила в редакцию 27.01.2023, в окончательном варианте - 08.02.2023.
Мсаллам Майди, Национальный исследовательский Томский государственный университет, 634050, Российская Федерация, г. Томск, пр. Ленина, 36,
аспирант, ORCID: 0000-0002-9529-8289, e-mail: majdi.f.msallam@gmail.com
Сырямкин Владимир Иванович, Национальный исследовательский Томский государственный университет, 634050, Российская Федерация, г. Томск, пр. Ленина, 36,
доктор технических наук, професссор, заведующий кафедрой управления качеством, ORCID: 0000-0001-5610-8940, e-mail: svi_tsu@mail.ru
Итеративный алгоритм ближайших точек (англ. Iterative Closest Point, ICP) является одним из наиболее известных алгоритмов, который был представлен для решения задачи регистрации трехмерных облаков точек благодаря своей простоте, легкости для понимания и реализации. Однако алгоритм ICP имеет некоторые недостатки, такие как сходимость к локальному минимуму и низкая скорость. В литературе было представлено большое количество работ с целью улучшения алгоритма ICP с точки зрения его скорости, точности и прочности. В этой статье представляется краткое описание основных этапов алгоритма ICP. Кроме того, предлагается новая методика для решения задачи приблизительной регистрации, которая заставляет алгоритм ICP сходиться к глобальному решению. Предлагаемая методика основана на предположении, что трехмерная сцена содержит по меньшей мере одну горизонтальную плоскость и одну вертикальную плоскость, которые обнаруживаются и используются для исправления поворотов и переносов в двух регистрируемых облаках точек. Кроме того, представляется методика получения эталонных данных (англ. Ground Truth, GT) из любого облака точек для расчета метрик, оценивающих производительность алгоритмов регистрации. На основе сеток занятости предлагается новая метрика, которая учитывает все точки трехмерной сцены при ее расчете, она также может учитывать информацию о цвете. Предложенная методика реализована и протестирована с использованием набора данных RGB-D Objects dataset. Результаты моделирования показали, что предложенная методика позволяет выполнять регистрацию с высокой точностью порядка долей миллиметра, при этом общее время выполнения регистрации равно или меньше, чем у рассматриваемого варианта алгоритма ICP.
Ключевые слова: робототехника, система технического зрения, реконструкция SD-карт^:, регистрация облаков точек, итеративный алгоритм ближайших точек
A METHOD FOR 3D POINT CLOUD REGISTRATION USING PLANE CORRECTION AND HISTOGRAM CORRELATION
The article was received by the editorial board on 27.01.2023, in the final version — 08.02.2023.
MsallamMajdi, National Research Tomsk State University, 36, Lenin Ave., Tomsk, 634050, Russian Federation,
graduate student, ORCID: 0000-0002-9529-8289, e-mail: majdi.f.msallam@gmail.com
Syryamkin Vladimir I., National Research Tomsk State University, 36, Lenin Ave., Tomsk, 634050, Russian Federation,
Doct. Sci. (Engineering), Professor, Head of Department of Quality Management, ORCID: 00000001-5610-8940, e-mail: svi_tsu@mail.ru
The Iterative Closest Point (ICP) algorithm is one of the most well-known algorithms that have been introduced to solve the problem of 3D point clouds registration due to its simplicity, ease of understanding and implementation. However, the ICP algorithm has some drawbacks such as convergence to a local minimum and low speed. A lot of work has been done in the literature to improve the ICP algorithm in terms of speed, accuracy, and robustness. In this paper, we provide a brief description of the main steps of the ICP algorithm. We also present a new method for solving the problem of coarse registration that enables the ICP algorithm to converge to the global solution. The proposed method is based on the assumption that the 3D scene contains at least one horizontal plane and one vertical plane, which are detected and used to correct rotations and translations in the two input point clouds. In addition, we present a technique for obtaining a Ground Truth (GT) from any point cloud to calculate metrics that evaluate the performance of registration algorithms. We also propose a new evaluation metric based on occupancy grids, it takes into account all points of the scene, it can also take into account color information.
1 Исследование выполнено за счет гранта Российского научного фонда № 22-19-00389, https://rscf.ru/project/22-19-00389/.
We have implemented and tested the proposed methods using RGB-D Objects dataset. Simulation results show that the proposed method allows registering 3D point clouds with a high accuracy of the order of fractions of a millimeter, while the total execution time is equal to or less than that of the considered ICP variant.
Keywords: robotics, vision system, reconstruction of 3D map, point cloud registration, iterative closest point
Graphical annotation (Графическая аннотация)
Введение. Регистрация трехмерных (3Д) фигур представляет собой процесс нахождения наиболее подходящего геометрического преобразования, которое перемещает 3Д фигуру в правильное положение и направление относительно другой фигуры (эталонной фигуры) [1, 2]. Процесс регистрации полезен во многих приложениях, например в задаче построения 3Д объекта, где полная фигура устанавливается путем регистрации различных ее частей по отношению к эталону. Другим важным приложением является построение 3Д карты окружающей среды, где регистрируются последовательные снимки трехмерной сцены, чтобы получить одно общее множество для всей трехмерной сцены.
Существует несколько способов представления 3Д фигур, таких как полигональные сетки (англ. polygon mesh), изображения RGB-D, облака точек и др. В статье предполагается, что фигуры представлены с помощью облаков точек из-за широкого использования этого представления, его эффективности и простоты [3], также можно переходить к этому представлению от любого другого представления. Например, параметры камеры могут быть использованы для вычисления положения в 3Д пространстве каждого пикселя изображения RGB-D, а в случае полигональной сетки можно отбирать выборки с элементарных поверхностей объекта для получения точек облака [4].
В литературе говорится о большом количестве приложений для регистрации облаков точек, в том числе [5]: поисково-спасательные операции, например для спасения рабочих при авариях на шахтах и для поддержки пожарных; автоматизация инспекций, таких как осмотр и техническое обслуживание электростанций, а также обследование опасных зон, доступ в которые представляет опасность для жизни человека [6].
Общепринятая стратегия регистрации облаков точек состоит в том, чтобы перейти от приблизительной регистрации к точной, при этом сначала используется методика приблизительной регистрации, чтобы получить приблизительную первоначальную оценку желаемого геометрического преобразования, а затем используется другая методика точной регистрации [7].
На рисунке 1 представлена классификация различных методов регистрации [7]. У методов приблизительной регистрации, основанных на точках, существует несколько недостатков, таких как высокая чувствительность к шуму, низкая прочность, высокая сложность и низкая точность. Методы, основанные на линиях, имеют более высокую точность. В методах, основанных на плоскостях, можно получить больше информации из плоскостей, чем точки и линии. Кроме того, шум оказывает меньшее влияние на плоскости. Примерами плоскостей являются полы, крыши зданий, фасады зданий, стены и т.д. Для извлечения плоскостей из трехмерной сцены существует несколько вариантов, таких как метод наименьших квадратов (англ. Least Squares), алгоритм RANSAC [8] (от англ. Random Sample Consensus) и анализ основных компонентов (англ. Principal Component Analysis, PCA). Остальные методы включают те, основанные на других геометрических фигурах, таких как круги, цилиндры и сферы, в дополнение к методам, основанным на семантической сегментации.
Рисунок 1 - Классификация методов регистрации облаков точек
Методы RANSAC для точной регистрации были впервые предложены в 1981 г. [8], они широко используются при регистрации и дают хорошие результаты даже при небольших перекрытиях между регистрируемыми облаками точек, но они требуют итеративной выборки и расчета согласованности облаков точек, а это влияет на скорость и точность. Методы NDT (преобразование нормального распределения от англ. Normal Distribution Transform) восходят к 2003 г. [9]. В этих методах облако точек преобразуется в трехмерную сетку, ячейки которой представлены с помощью непрерывных дифференцируемых функций нормального распределения. Методы NDT имеют высокую скорость и точность, они подходят для обработки крупномасштабных и больших облаков точек. Одним из недостатков этих методов является сложность выбора оптимального размера сетки, описывающей облако точек наилучшим образом. Методы с вспомогательными данными могут использовать данные другого характера, такие как местоположения от глобальной навигационной спутниковой системы. Кроме того, двухмерные изображения считаются вспомогательными данными, из которых можно вычислять двухмерные особенности, которые обладают большой надежностью и прочностью. Существуют и другие методы, в которых используются стандартные объекты, распределенные по трехмерной сцене, но применение таких методов очень ограничено.
Итерационные методы относятся к алгоритму ICP [1, 2] и его вариантам. В [2] авторы математически продемонстрировали, что алгоритм ICP всегда монотонно сходится к локальному решению с использованием функции среднеквадратичного расстояния. Для сходимости к общему решению алгоритм ICP предполагает, что имеется приблизительная первоначальная оценка требуемого преобразования, т. е. облака точек на входе алгоритма зарегистрированы, но в приблизительном виде, и задача алгоритма сводится к нахождению точного преобразования. Недостаток алгоритма ICP заключается в том, что он не рассматривает соответствия между точками двух входных облаков точек как вероятностную переменную. Скорее, всегда есть соответствия между каждой точкой первого облака точек и другой точкой второго (бинарное соответствие), и это приводит к плохой производительности в случае шума и выбросов [10, 11]. Учитывая важность алгоритма ICP и из-за его недостатков, в литературе было представлено большое количество работ для улучшения его производительности, будь то с точки зрения точности, сложности или устойчивости к наличию шума и выбросов [11-18].
Существует много методов получения первоначальной оценки преобразования в качестве входных данных для алгоритма ICP. Эти методы включают в себя: отслеживание положения сканера; использование особенностей поверхностей; определение принципиальных осей облаков точек; исчерпывающий поиск соответствующих точек и др. [19]. В работе [20] была представлена методика регистрации облаков точек в режиме реального времени в приложении SLAM (от англ. Simultaneous Localization And Mapping). Эта методика очень похожа на методику, предлагаемую в этой статье, где сначала находится плоскость пола с помощью алгоритма RANSAC и корректируется ее направление, затем облако точек проецируется на эту плоскость, уменьшая тем самым размерность с 6 до 3. Проекция облака точек представляется с помощью вероятностных карт занятости (англ. Occupancy Maps), преимуществом которых является то, что они позволяют соединять данные разной природы. После расчета карт занятости находятся повороты вокруг вертикальной оси и переносы по осям x и y методом фазовой корреляции (англ. Phase Correlation). Одним из недостатков предложенной методики в работе [20] является то, что определение размеров карты занятости производится пользователем вручную в соответствии с используемыми данными и размерами рассматриваемой трехмерной сцены. Его сложность также резко возрастает при увеличении размеров карты
занятости или уменьшении размеров ее ячеек. Кроме того, на практике обнаружено, что этот алгоритм неудачно выполняет регистрацию на большом количестве тестовых образцов.
В статье предлагается другой способ для нахождения поворота вокруг оси z, в котором обнаруживается вертикальная плоскость и корректируется ее направление так же, как это делается с помощью плоскости пола. Что касается расчета переносов по осям x и у, предлагается методика на основе корреляции гистограмм (англ. histogram correlation). Предлагаемая методика характеризуется высокой точностью и низкой сложностью, как будет показано в разделе 1.3.
1. Описание методов.
1.1. Алгоритм ICP. Пусть Р и Q - два множества точек называются зарегистрированными, если одно из них размещено в правильном положении и направлении относительно другого множества, а это означает, что имеется преобразование Т, которое при применении к точкам первого множества позволяет переместить его на правильное положение и направление по отношению к точкам другого множества, а математически это можно выразить следующим образом [1]:
VpieP,3qjeQl\\Tpi-qj\\ = 0, (1)
где Tpi - применение преобразования Т к точке pi.
Алгоритм ICP стал доминирующим для достижения выравнивания 3D-облаков точек, которые можно получить с помощью 3D-лазерных сканеров или камер RGB-D. Этот алгоритм в основном использует информацию о местоположении точек, но также может использовать информацию об их цвете [19]. На рисунке 2 показана блок-схема алгоритма ICP, предложенного в работе [2]. На вход алгоритма подаются два множества 3Д данных, которые могут быть в любом представлении, но, как упоминалось ранее, предполагается, что они представлены с помощью облаков точек. Задача алгоритма заключается в том, чтобы найти наиболее подходящее преобразование, которое выравнивает одно облако точек, называемое движущимся, с другим облаком точек, называемым фиксированным (эталонным).
Алгоритм предполагает, что существует приблизительная первоначальная оценка преобразования между двумя облаками точек, т. е. они почти зарегистрированы, а в противном случае, когда нет такой оценки, алгоритм будет сходиться к локальному, а не к глобальному решению. Следовательно, начальным значением преобразования на первой итерации алгоритма является единичное преобразование (англ. identity transformation), т.е. с единичной матрицей поворота и нулевым вектором переноса. Поворот можно представлять с помощью кватернионов, при этом каждая матрица поворота эквивалентна четырем значениям кватерниона, к которым добавляется три значения переноса, чтобы получить вектор с семью значениями, представляющими все преобразование. Алгоритм итеративно улучшает оценку преобразования, находя пары соответствующих точек из двух облаков точек и минимизируя одну метрику ошибки между ними. Далее перечислены шаги алгоритма ICP [19]:
1. Выбор подмножества точек одного или обоих облаков точек: этот шаг может быть достигнут с использованием процесса уменьшения частоты дискретизации (англ. downsampling), что можно сделать, например, путем случайного выбора определенного количества точек. Другие методы включают выбор точек на регулярной основе, выбор точек с самым высоким градиентом интенсивности и выбор точек на основе распределения векторов нормали поверхностей. В общем случае предпочтительно выбирать точки из обоих облаков, чтобы снизить сложность.
2. Поиск пар соответствующих точек в двух облаках точек: для этого часто используется алгоритм KD дерево (дерево k-мерного пространства от англ. kd-tree), который зависит от евклидово расстояния, чтобы найти ближайшую точку фиксированного облака точек к каждой точке движущегося облака точек.
Движущееся облако точек-Фиксированное облако точек-
Предварительная обработка облаков точек
Инициировать переменные
Вычислить регистрацию Вычислить пары соответствующих точек
Итерации
Применить регистрацию и рассчитать метрику ошибок Сравнить с толерантностью
Рисунок 2 - Блок-схема алгоритма ICP
Выход
3. Взвешивание найденных пар соответствующих точек: самый простой способ - присвоить всем парам постоянный вес. Однако существуют и другие методы, такие как определение весов обратно пропорционально расстоянию между точками или на основе значения внутреннего произведения векторов нормали. Как правило, влияние этого шага на производительность регистрации невелико и зависит от данных.
4. Удаление пар соответствующих точек, имеющих слабую связь: одним из способов реализации этого шага является удаление всех пар с расстоянием, превышающим определенный порог, или удаление фиксированного процента пар после их упорядочивания по расстоянию. Порог расстояния может быть задан как постоянное значение или вычислен из стандартного отклонения расстояний между точками. Некоторые другие методы исключают пары на основе совместимости с их соседними парами. В общем, удаление пар повышает точность и стабильность алгоритма, но может замедлить сходимость.
5. Расчет наиболее подходящего преобразования, которое переводит точки движущегося облака в соответствующие точки фиксированного облака точек, так что применение преобразования приводит к уменьшению метрики ошибки. Существует несколько различных метрик ошибки, наиболее распространенной является метрика point-to-point [2], где вычисляется сумма квадратов расстояний между соответствующими точками, и в этом случае существуют многие решения в замкнутой форме для расчета преобразования, такие как решения, основанные на сингулярном разложении; кватернионах; ортогональных матрицах и др. Предыдущая метрика также может учитывать информацию о цвете. Второй распространенной метрикой является метрика point-to-plane [1], где расстояние рассчитывается между точкой движущегося облака точек и плоскостью, содержащей точку фиксированного облака и направленной перпендикулярно ее вектору нормали.
Для ускорения сходимости алгоритма ICP в [2] предлагалось использование экстраполяции в пространстве преобразований с целью предсказания значения преобразования в следующей итерации в зависимости от значений текущей итерации и некоторых недавних итераций.
1.2. Построение эталонных данных для оценки производительности алгоритмов регистрации. В этом разделе представляется методика получения эталонных данных (англ. Ground Truth, GT) из любого облака точек с целью получения данных, необходимых для оценки любого алгоритма регистрации. После того как осуществить процесс регистрации и найти матрицу преобразования, необходимо сравнить значения переноса и поворота с истинными значениями, а также сравнить движущееся облако точек, полученное в результате процесса регистрации, с самим собой, когда оно идеально зарегистрировано. Чтобы получить такие данные, обычно измеряются положение и направление камеры во время захвата облаков точек.
Основная идея предлагаемой методики состоит в том, чтобы разделить исходное облако точек на два перекрывающихся облака точек в соответствии с заданным коэффициентом перекрытия от 0 до 1. Процесс деления происходит с точки зрения сканера, при этом общий интервал облака точек делится по горизонтали и/или по вертикали на два равных перекрывающихся интервала, один из которых содержит точки фиксированного облака точек, а второй - содержит точки движущегося облака точек. Соотношение объема региона перекрытия к объему фиксированного облака точек равно требуемому коэффициенту перекрытия. Предлагаемая методика позволяет контролировать и значение коэффициента перекрытия между двумя регистрируемыми облаками точек, и преобразование, которое оценивается алгоритмом регистрации.
Чтобы проиллюстрировать детали, предполагаем, что исходное облако точек получено из двух 2D-изображений, цвета и глубины. Также предполагаем, что деление будет производиться только по горизонтали ради простоты, то есть два получившихся облака точек будут иметь одинаковый интервал по вертикали, но перекрываются по горизонтали согласно заданному коэффициенту перекрытия. Шаги следующие:
1. Найти т, фактическую длину интервала исходного облака точек по горизонтали после удаления нулевых столбцов в начале и конце матрицы изображения глубины. Другими словами, надо найти сг и с2, индексы первого и последнего столбцов в матрице глубины, которые не равны нулю, а тогда получается, что т = с2 — сг + 1.
2. Найти длину интервала каждого облака точек, полученного в результате разделения в соответствии с требуемым коэффициентом перекрытия следующим образом:
п =-—-; overlap 6 [0,1]. (2)
2—overlap r v '
3. Определить начало и конец каждого интервала и выполнить деление:
Intervalfixed = [Ci ,C! + n — 1]; Intervalmoving = [Ci +n.(1 — overlap), C2]. (3)
На рисунке 3 показаны фиксированное и движущееся облака точек, полученные в результате процесса разделения для нескольких различных значений коэффициента перекрытия. Движущееся облако точек в этом рисунке зарегистрировано идеально по отношению к фиксированному, так как оно находится в правильном положении и направлении по отношению к нему.
Рисунок 3 - Фиксированное и движущееся облака точек, полученные в результате разделения исходного облака точек одного кадра, для разных значений коэффициента перекрытия
Для получения входных данных алгоритма регистрации применяется произвольное геометрическое преобразование к движущемуся облаку точек, тогда задачей алгоритма регистрации будет оценка этого преобразования. На рисунке 4 показано движущееся облако точек до и после применения различных преобразований по шести рассматриваемым степеням свободы (включая 3 поворота вокруг трех осей координат и 3 переноса).
Перед запуском алгоритма регистрации фиксированное и движущееся облака точек проходят предварительную обработку, заключающуюся в избавлении от недействительных точек и уменьшении частоты дискретизации.
1.3. Предлагаемая методика регистрации. В предлагаемой методике предполагается, что фиксированное и движущееся облака точек содержат по меньшей мере одну горизонтальную плоскость и одну вертикальную плоскость. Горизонтальной плоскостью может быть пол, потолок, столешница, улица, крыша здания и т. д., а вертикальной плоскостью может быть стена, фасад здания, доска и т. д. Таким образом, предлагаемая методика подходит для структурированных сред, таких как внутренние и городские среды. Блок-схема предлагаемой методики представлена на рисунке 5 вместе с этапами построения эталонных данных, упомянутыми в разделе 1 .2.
1. Первым шагом является обнаружение плоскости пола как в фиксированном, так и в движущемся облаках точек используя алгоритм RANSAC. После этого корректируются направления векторов нормали обнаруженных плоскостей. На рисунке 6 показаны фиксированное и движущееся облака точек после обнаружения в них плоскостей пола и корректировки направлений векторов нормали.
2. Следующим шагом является расчет переноса по оси z, и для этого применяется преобразование переноса к движущемуся облаку точек по оси z так, чтобы средняя высота точек его плоскости пола становится равной ей в фиксированном облаке точек, как показано на рисунке 7.
3. Третьим шагом является обнаружение вертикальной плоскости в двух облаках точек также используя алгоритм RANSAC, потом корректируется поворот по оси z. Для этого поворачиваются два облака точек до тех пор, пока проекции векторов нормали на плоскость x-y не будут направлены в одну сторону. На рисунке 8 показаны фиксированное и движущееся облака точек после корректировки поворота по оси z.
4. Четвертым шагом предлагаемой методики является расчет двух переносов по осям x и y с использованием методики корреляции гистограмм. Основная идея в ней заключается в том, что для расчета переноса по оси x, например, вычисляется в двух облаках точек гистограмма распределения точек по этой оси, а потом вычисляется корреляционная функция между двумя получившимися гистограммами, а затем вычисляется перенос от пикового положения в полученной корреляционной функции. На рисунке 9 показаны две гистограммы по оси у, рассчитанные из фиксированного и движущегося облаков точек, в дополнение к корреляционной функции между ними.
5. Полученные облака точек после этих четырех шагов должны быть приблизительно зарегистрированы, поэтому применяется алгоритм ICP, чтобы получить точную оценку преобразования. В этом случае требуется всего несколько итераций для сходимости ICP.
Rotation around к, 30.00 deg Rotation around у, 30.00 deg Rotation around z, 30.00 dag
Рисунок 4 - Движущееся облако точек до и после примененного преобразования с шестью доступными степенями свободы, каждая из которых применяется здесь отдельно
Исходное облако точек (ОТ)
Предварительная обработка
Фиксированное ОТ
Зарегистрированное движущееся ОТ
Движущееся ОТ
Предварительная обработка
—*( Разделить ]—•
1 ^-
Коэффициент перекрытия
Расчетное зарегистрированное
Применить преобразование
Обнаружение плоскости пола, коррекция X и У поворотов
движущееся ОТ
Оценка производительности
Коррекция г-переноса
Фиксированное ОТ с исправленной плоскостью пола
Применить обратное преобразование
С
- ICP -
V у
Корреляция гистограмм, нахождение X и У переносов
Обнаружение вертикальной ^
плоскости, коррекция Ъ _поворота_
Фиксированное ОТ с
исправленным Т- поворотом Рисунок 5 - Блок-схема предлагаемой методики регистрации трехмерных облаков точек
После реализации предыдущих шагов получается зарегистрированное движущееся облако точек по отношению к корректированному фиксированному облаку точек, поэтому применяется обратное преобразование поворота, чтобы вернуть движущееся облако точек в направлении исходного фиксированного облака точек. На рисунке 10 показаны фиксированное и движущееся облака точек после процедуры регистрации, а также показан результат слияния зарегистрированного движущегося облака точек с исходным фиксированным облаком точек.
Рисунок 6 - Коррекция направления вектора нормали плоскости пола как для движущегося (вверх), так и для фиксированного (вниз) облаков точек
Рисунок 7 - Коррекция переноса по оси z
Рисунок 8 - Обнаружение вертикальной плоскости и коррекция ее направления как для движущегося (вверх), так и для фиксированного (вниз) облаков точек
Рисунок 9 - Коррекция переноса методом корреляции гистограмм. Слева: гистограммы фиксированного и движущегося облаков точек по оси у. Справа: корреляция двух гистограмм
Рисунок 10 - Результат регистрации. Слева: фиксированное и движущееся облака точек после коррекции переносов по осям х и у. Справа: результат слияния движущегося облака точек после обратного преобразования с исходным фиксированным облаком точек
1.4. Случай отсутствия вертикальной плоскости в трехмерной сцене. Идеальный случай для предлагаемой методики - когда и фиксированное, и движущееся облака точек имеют одну горизонтальную плоскость и одну вертикальную плоскость, тогда алгоритм обеспечивает выполнение регистрации с большой точностью. Но что произойдет если в одном или обоих облаках точек не обнаружена вертикальная плоскость, или если в трехмерной сцене есть несколько вертикальных или горизонтальных плоскостей?
Что касается горизонтальной плоскости, предлагается, что всегда присутствует по меньшей мере одна такая плоскость. Случай, когда ее нет, не обсуждается в этой статье. Но в трехмерной сцене может быть более одной горизонтальной плоскости, и чтобы гарантировать, что одна и та же плоскость обрабатывается в фиксированном и движущемся облаках точек, рассчитывается соотношение количества точек по обе стороны плоскости, используя ее уравнение. Известно, что точки, расположенные на одной стороне плоскости, будут иметь одинаковый знак, а точки на другой стороне - противоположный знак, а точки, принадлежащие плоскости, дадут нули. По сравнению с рассчитанными соотношениями можно выбирать плоскости, имеющие близкие соотношения. Например, плоскость пола можно отличить по тому, что ее соотношение часто велико, так как все точки в общем случае находятся выше этой плоскости.
Что касается вертикальных плоскостей, то есть большая вероятность, что в трехмерной сцене их несколько с разными положениями и направлениями. Решение в таком случае состоит в том, чтобы сначала выделить все эти плоскости в двух облаках точек. Потом определяется их относительное положение в каждом облаке точек с помощью некоторых признаков, таких как среднее значение в плоскости x-y, чтобы различить хотя бы одну и ту же плоскость в двух облаках точек, затем можно использовать ее для исправления поворота вокруг оси z.
В случае, когда в одном или обоих облаках точек отсутствует вертикальная плоскость, то предлагается следующая методика, блок-схема которой показана на рисунке 11 . Поскольку вертикальная плоскость в основной предлагаемой методике используется для коррекции поворота вокруг оси z, то, если плоскость не найдена, ищется этот угол поворота. Предлагаемый метод поиска - это исчерпывающий поиск с множественной резолюцией. Это итерационный метод, уменьшающий на каждой итерации интервал и шаг поиска вокруг идеального решения. На первой итерации весь интервал [0, 2п] выбирается с большим шагом, например, 5 градусов. Сложность процесса поиска по этому методу относительно невелика, поскольку он является одномерным. Кроме этого, экспериментально обнаружено, что за три итерации можно получить приблизительную оценку с точностью до 1/10 градусов. Для выбора наилучшего угла поворота используется метрика, которая зависит от пересечения двух 3Д сеток занятости фиксированного и движущегося облаков точек, как описано в разделе 1.5.
Предлагаемая методика позволяет получить приблизительную оценку угла поворота вокруг оси z, а для получения точной регистрации применяется алгоритм ICP, как показано на рисунке 11. Следует отметить, что данная методика подходит и для решения случая, когда в трехмерной сцене существуют некоторые вертикальные плоскости.
Рисунок 11 - Блок-схема альтернативной методики, предложенная в случае, когда в трехмерной сцене нет вертикальной плоскости
1.5. Оценка производительности регистрации. Чтобы оценить производительность алгоритма регистрации облаков точек, обычно используется набор критериев, таких как точность, вычислительная сложность и прочность. В алгоритме ICP, например, в качестве метрики оценки точности регистрации принимается среднеквадратичное расстояние (RMSE) между соответствующих точек. Вычислительная сложность измеряется количеством итераций, необходимых для сходимости, и временем выполнения.
Процедура, описанная в разделе 1.2 для построения эталонных данных из любого облака точек, позволяет получить оценку производительности алгоритма регистрации, потому что нам доступно идеальное зарегистрированное движущееся облако точек. Это означает, что для расчета метрики ошибки можно использовать все точки движущегося облака, а не только пары соответствующих точек. Кроме того, значения идеального преобразования нам известны. Таким образом, можно рассчитать величину ошибки переноса и ошибки поворота.
Для оценки точности регистрации также предлагается использование 3Д сетки занятости с бинарными значениями, при этом вычисляется сетка занятости для фиксированного облака точек и регистрируемого движущегося облака точек, затем находится пересечение между сетками, из которого вычисляется количество занятых ячеек, чем больше которого, тем точнее регистрация.
В случае, когда информация о цвете доступна в облаках точек, сетка занятости может быть взвешена с помощью этой информации, так что каждой ячейке будет присвоено значение, являющееся средним значением цветов точек, принадлежащих этой ячейке.
2. Результаты и обсуждение.
2.1. Используемый набор данных. Чтобы протестировать методики, предложенные в этой статье, используется набор данных RGB-D Objects dataset [21], снятый с помощью камеры Kinect-style, и содержит 250000 изображений 51 предмета. Однако что нас интересует в этом наборе данных для приложения регистрации облаков точек, это то, что он содержит 14 трехмерных сцен из внутренней среды, каждая из которых состоит из нескольких кадров, а каждый кадр включает два 2D-изображения, цветного изображения и изображения глубины размером 640*480. Из каждого кадра можно найти цветное облако точек, используя параметры камеры. Каждое облако точек перед подачей в алгоритм регистрации проходит некоторую предварительную обработку, включающую избавление от недействительных точек, масштабирование координат точек, чтобы они измерялись в метрах, а также приблизительную ручную коррекцию направления плоскости пола на первом кадре трехмерной сцены.
2.2. Описание моделирования. Предложенная методика регистрации сравнивается с одним из лучших вариантов ICP, который считается базовой линией (англ. baseline), аналогично тому, что было сделано в [19]. Выбранный вариант ICP имеет следующие характеристики:
• частота дискретизации снижается в обоих облаках точек, так как из каждого выбирается M = 20000 точек случайным образом;
• используется метрика ошибки point-to-plane;
• итерации алгоритма основаны на базовой стратегии выбора-совпадения-минимизации, представленной в [2];
• постоянное взвешивание пар соответствующих точек;
• выбирается: максимальное количество итераций 50, толерантность переноса 0,001 м, толерантность поворота 0,05 градусов, процент сохраненных пар точек 0,7;
• используется техника ускорения сходимости, основанная на экстраполяции в пространстве преобразований.
Чтобы сравнить разные алгоритмы, используется следующая стратегия: выбирается один кадр из одной трехмерной сцены рассматриваемого набора данных и применяется методика разбиения, описанная в разделе 1.2, чтобы получить фиксированное и движущееся облака точек. Эксперимент повторяется много раз, и каждый раз принимается разное преобразование, при этом устанавливаются верхние пределы допустимых переносов и поворотов. Преобразование выбирается случайным образом из допустимых интервалов. В каждом эксперименте оценивается применяемое преобразование с использованием ICP и предложенной нами методики, и вычисляется набор из трех метрик для оценки результатов регистрации, а именно:
• первая метрика представляет собой соотношение пересечения двух сеток занятости движущегося облака точек, зарегистрированного используя рассматриваемый алгоритм, и движущегося облака точек, зарегистрированного оптимально (получается в результате разделения исходного облака точек перед применением к нему преобразования, как показано в разделе 1.2). В случае оптимальной регистрации это соотношение будет равно 100 %;
• вторая метрика - время выполнения регистрации;
• третья метрика - среднее расстояние между точками двух облаков точек, учитываемых в первой метрике. В случае оптимальной регистрации это среднее расстояние будет равно нулю.
Считается, что процесс регистрации неудачным, если значение, рассчитанное по первой метрике (соотношению пересечения), меньше 30 %. А что касается успешных экспериментов, то рассчитываются средние значения трех метрик для сравнения, где рассматриваются три случая.
2.2.1. Случай 1 - имеется приблизительная первоначальная оценка оптимального преобразования. В этом случае предполагается, что имеется хорошее первоначальное приближение к требуемому преобразованию, т. е. движущееся облако точек приближенно регистрировано по отношению к фиксированному, что является идеальным случаем для алгоритма 1СР. Это достигается путем выбора малых значений допустимых поворотов и переносов при применении преобразования на этапе подготовки. Максимальное значение переноса по любой оси выбрано равным 0,05 м, а максимальное значение поворота - 5 градусов. Эксперимент повторяется 1000 раз. Из рассматриваемого набора данных выбран кадр 50 трехмерной сцены 5, который является хорошим примером облака точек с одной горизонтальной и одной вертикальной плоскостями. Также коэффициент перекрытия между фиксированным и движущимся облаками точек определяется равным 0,8. На рисунке 12 показаны гистограммы трех метрик, рассчитанных по всем проведенным экспериментам, для алгоритма 1СР (вверху) и предложенной нами методики (внизу), а в первой строке таблицы показаны средние значения трех метрик.
Таблица - Сравнение предложенной нами методики и рассматриваемого варианта 1СР для трех проанализированных случаев_
№ попыток № неудач Соотношение пересечения (%) Время выполнения ф) Среднее расстояние (мм)
ICP ПМ* ICP ПМ ICP ПМ ICP ПМ
Случай 1 1000 0 0 97,7 99,4 1,0 1,7 2,0 0,3
Случай 2 500 333 11 90,0 99,0 2,8 1,8 25,0 0,4
Случай 3 500 287 17 59,0 97,7 3,5 3,4 271,1 8,1
* ПМ - предлагаемая методика.
2.2.2. Случай 2 - нет приблизительной первоначальной оценки оптимального преобразования. Этот случай отличается от предыдущего тем, что максимально допустимые значения поворота и переноса относительно велики, и поэтому не обязательно имеется приблизительная первоначальная оценка требуемого преобразования. Максимальное значение переноса выбрано равным 2 м, а значение поворота - 45 градусов, и повторили эксперимент 500 раз. Гистограммы трех метрик показаны на рисунке 13, а их средние значения показаны во второй строке таблицы для алгоритма 1СР и предложенной нами методики. Выбран тот же кадр и тот же коэффициент перекрытия, что и в первом случае.
2.2.3. Случай 3 - в трехмерной сцене не найдена вертикальная плоскость. В этом случае предполагается, что трехмерная сцена не содержит вертикальных плоскостей, тогда будет применена предложенная альтернативная методика, описанная в разделе 1.4. Для тестирования выбран кадр 1100 трехмерной сцены 5, максимальное значение переноса 2 м, максимальное значение поворота 45 градусов, и повторяем эксперимент 500 раз. Результаты для этого случая показаны на рисунке 14 и в третьей строке таблицы.
Рисунок 12 - Гистограммы трех рассматриваемых метрик как для 1СР (вверху), так и для предлагаемой нами методики (внизу) в случае 1
Рисунок 13 - Гистограммы трех рассматриваемых метрик как для 1СР (вверху), так и для предлагаемой нами методики (внизу) в случае 2
Рисунок 14 - Гистограммы трех рассматриваемых метрик как для 1СР (вверху), так и для предлагаемой нами методики (внизу) в случае 3
Что касается алгоритма фазовой корреляции [20], то мы практически попытались протестировать его на данных из набора RGB-D Objects dataset. В [22] имеется код для реализации этого алгоритма на данных LiDAR. Обнаружено, что этому коду нужны некоторые модификации, так как коррекция переноса по оси z в нем отсутствует, а параметры алгоритма RANSAC необходимо модифицировать для учета наличия наклона в горизонтальной плоскости. Кроме того, параметры алгоритма фазовой корреляции необходимо модифицировать для учета размеров трехмерной сцены, а шаг сетки надо выбирать так, чтобы сложность не возрастала существенно, но, несмотря на это, обнаружено, что этот алгоритм неудачно выполняет регистрацию, и ее сложность очень сильно возрастает при уменьшении шага сетки или увеличении ее размеров. Поэтому этот алгоритм не рассматривается для сравнения с нашими результатами.
2.3. Обсуждение. Из таблицы видно, что между первой и третьей метриками существует обратная зависимость, так как малым значениям ошибки расстояния соответствуют высокие значения соотношения пересечения, и наоборот.
Первый случай, как упоминалось ранее, является идеальным случаем для алгоритма ICP, и ожидается, что процесс регистрации будет выполнен быстро и с большой точностью. Действительно, этот алгоритм преуспел во всех экспериментах и с большей скоростью, чем предложенная нами методика. Однако можно отметить, что наша методика повысила точность регистрации и уменьшила среднюю ошибку с 2 до 0,3 мм.
Во втором случае алгоритму ICP не удалось зарегистрировать движущееся облако точек в большинстве экспериментов. В экспериментах, которые считаются успешными, отмечается явное снижение точности по сравнению с первым случаем и явное увеличение среднего времени выполнения. Но наша методика сохраняет ту же точность и время выполнения по сравнению с первым случаем, он также превосходит алгоритм ICP по времени выполнения. Этот случай показывает важность предлагаемой методики.
В третьем случае отмечается, что точность альтернативной методики немного меньше точности основной предлагаемой методики, а время выполнения увеличивается настолько, что становится похожим на время выполнения ICP. Конечно, производительность ICP в этом случае также
плоха, как и ожидалось, потому что здесь также необязательно имеется приблизительная первоначальная оценка преобразования.
Также можно заметить, что в некоторых случаях наша методика не успевает выполнить регистрацию, так как в некоторых случаях при больших углах поворота плоскости выделяются неправильно, что, в свою очередь, влияет на результат регистрации.
Заключение. В этой статье была представлена предлагаемая методика для получения приблизительной первоначальной оценки преобразования при регистрации 3Д облаков точек. Эта первоначальная оценка необходима для алгоритма ICP, чтобы он сходился к глобальному решению, а не к локальному. Предлагаемая методика зависит от горизонтальных и вертикальных плоскостей, присутствующих в трехмерной сцене, чтобы оценить преобразование между двумя регистрируемыми облаками точек. Также были представлены некоторые предложения для случаев, когда в трехмерной сцене существует несколько плоскостей или когда в ней нет вертикальных плоскостей. Также была предложена методика построения эталонных данных из любого облака точек, который, в свою очередь, позволяет оценивать производительность различных алгоритмов регистрации с полным контролем коэффициента перекрытия между облаками точек и геометрического преобразования между ними. Кроме того, была предложена метрика для оценки точности алгоритмов, основанная на 3Д сетках занятости или взвешенных сетках занятости, если доступна информация о цвете. Различные предложенные методики были реализованы и протестированы на данных из набора RGB-D Objects dataset, а результаты сопоставлены с одним из лучших вариантов алгоритма ICP.
Идеальным случаем для предлагаемой методики является наличие одной горизонтальной плоскости и одной вертикальной плоскости в каждом из двух регистрируемых облаков точек, а также наличие относительно большого перекрытия между ними. Также предполагается, что повороты, применяемые к движущемуся облаку точек, ограничены, так что они не делают вертикальную плоскость горизонтальной или наоборот. В случае выполнения этих условий предлагаемая методика гарантирует выполнение регистрации с высокой точностью при времени на порядок или меньше времени рассматриваемого варианта ICP.
Однако, если предыдущие условия не выполняются, это отрицательно скажется как на времени выполнения, так и на точности. В случае присутствия нескольких горизонтальных или вертикальных плоскостей требуется некоторая дополнительная обработка, чтобы выделить все эти плоскости и попытаться отличить их друг от друга, чтобы гарантировать, что мы имеем дело с одной и той же плоскостью в двух облаках точек. При отсутствии вертикальной плоскости в трехмерной сцене предлагаемая методика для решения этого случая дает хорошую точность, но приводит к увеличению сложности. В случае небольшого перекрытия двух облаков точек успех регистрации по предлагаемой методике не гарантируется, поскольку в этом случае распределение точек фиксированного облака точек может существенно отличаться от распределения точек движущегося облака точек.
В качестве будущей работы предлагаемая методика может быть улучшена с точки зрения точности и сложности. В ходе тестирования обнаружено, что алгоритм RANSAC имеет некоторые недостатки, так как он может добавлять к обнаруженному плоскому объекту (например, полу или стене) другие точки, принадлежащие другим объектам. Следовательно, можно тестировать и другие алгоритмы для обнаружения плоскостей в трехмерной сцене.
Библиографический список
1. Chen, Y. Object modeling by registration of multiple range images / Y. Chen, G. Medioni // 1991 IEEE International Conference on Robotics and Automation. - 1991. - Vol. 3. - P. 2724-2729. - DOI: 10.1109/ROBOT.1991.132043.
2. Besl, P. J. A method for registration of 3-D shapes / P. J. Besl, N. D. McKay // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1992. - Vol. 14, № 2. - P. 239-256. - DOI: 10.1109/34.121791.
3. Мсаллам, М. Облака точек - метод представления объектов в трехмерном пространстве / М. Мсаллам, В. И. Сырямкин // Ресурсоэффективные системы в управлении и контроле: взгляд в будущее : X Международная конференция школьников, студентов, аспирантов, молодых ученых - 2021. - C. 260-264.
4. Syryamkin, V. I. A Method to Create Real-Like Point Clouds for 3D Object Classification / V. I. Syryamkin, M. Msallam, & S. A. Klestov // Frontiers in Robotics and AI. - 2023. - Vol. 9. - DOI: 10.3389/frobt.2022.1077895.
5. Pomerleau, F. A review of point cloud registration algorithms for mobile robotics / F. Pomerleau, F. Colas, R. Siegwart // Foundations and Trends® in Robotics. - 2015. - Vol. 4, № 1. - P. 1-104.
6. Мсаллам, М. Реконструкция 3D карты путем регистрации облаков точек / М. Мсаллам, В. И. Сырямкин // Инноватика-2022 : сборник материалов XVIII Международной школы-конференции студентов, аспирантов и молодых ученых. - 2022. - С. 183-188.
7. Cheng, L. Registration of laser scanning point clouds: A review / L. Cheng, S. Chen, X. Liu, H. Xu, Y. Wu, M. Li, Y. Chen // Sensors. - 2018. - Vol. 18, № 5. - P. 1641.
8. Fischler, M. A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography / M. A. Fischler, R. C. Bolles // Communications of the ACM. - 1981. - Vol. 24, № 6. -P. 381-395.
9. Biber, P. The normal distributions transform: A new approach to laser scan matching / P. Biber, W. Straßer // Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No. 03CH37453). - 2003. - Vol. 3. - P. 2743-2748.
10. Chui, H. A. feature registration framework using mixture models / H. A. Chui, A. Rangarajan // Proceedings IEEE Workshop on Mathematical Methods in Biomedical Image Analysis. MMBIA-2000 (Cat. No. PR00737). - 2000. -P. 190-197.
11. Zhang, J. Fast and robust iterative closest point / J. Zhang, Y. Yao, B. Deng // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2022. - Vol. 44, № 7. - P. 3450-3466. - DOI: 10.1109/TPAMI.2021.3054619.
12. Granger, S. Multi-scale EM-ICP: A fast and robust approach for surface registration / S. Granger, X. Pennec // European conference on computer vision. - Springer, Berlin, Heidelberg, 2002. - P. 418-432.
13. Yang, J. Go-ICP: A globally optimal solution to 3D ICP point-set registration / J. Yang, H. Li, D. Campbell, Y. Jia // IEEE transactions on pattern analysis and machine intelligence. - 2015. - Vol. 38, № 11. - P. 2241-2254.
14. Pavlov, A. L. AA-ICP: Iterative closest point with Anderson acceleration / A. L. Pavlov, G. W. Ovchinnikov, D. Y. Derbyshev, D. Tsetserukou, I. V. Oseledets // 2018 IEEE International Conference on Robotics and Automation (ICRA). - 2018. - P. 3407-3412.
15. Park, J. Colored point cloud registration revisited / J. Park, Q. Y. Zhou, V. Koltun // Proceedings of the IEEE international conference on computer vision. - 2017. - P. 143-152.
16. Dreczkowski, K. Hybrid ICP / K. Dreczkowski, E. Johns // 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - 2021. - P. 6801-6808.
17. Dellenbach, P. CT-ICP: Real-time elastic lidar odometry with loop closure / P. Dellenbach, J. E. Deschaud, B. Jacquet, F. Goulette // 2022 International Conference on Robotics and Automation (ICRA). - 2022. - P. 5580-5586.
18. Hexsel, B. DICP: Doppler Iterative Closest Point Algorithm / B. Hexsel, H. Vhavle, Y. Chen // arXiv preprint arXiv:2201.11944. - 2022.
19. Rusinkiewicz, S. Efficient variants of the ICP algorithm / S. Rusinkiewicz, M. Levoy // Proceedings third international conference on 3-D digital imaging and modeling. - 2001. - P. 145-152.
20. Dimitrievski, M. Robust matching of occupancy maps for odometry in autonomous vehicles / M. Dimitriev-ski, D. Van Hamme, P. Veelaert, W. Philips // 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2016). - 2016. - Vol. 3. -P. 626-633.
21. Lai, K. A large-scale hierarchical multi-view RGB-D object dataset / K. Lai, L. Bo, X. Ren, D. Fox // 2011 IEEE international conference on robotics and automation. - 2011. - P. 1817-1824.
22. Pcregistercorr. - Режим доступа: https://www.mathworks.com/help/vision/ref/pcregistercorr.html, свободный. - Заглавие с экрана. - Яз. англ.
References
1. Chen, Y & Medioni, G. Object modeling by registration of multiple range images. 1991 IEEE International Conference on Robotics and Automation, 1991, vol. 3, pp. 2724-2729. DOI: 10.1109/ROBOT.1991.132043.
2. Besl, P. J., & McKay, N. D. A method for registration of 3-D shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, vol. 14, no. 2, pp. 239-256. DOI: 10.1109/34.121791.
3. Msallam, M., & Syryamkin, V. I. Oblaka tochek - metod predstavleniya obektov v trekhmernom prostranstve [Point clouds - a method to represent objects in 3D space]. Resursoeffektivnye sistemy v upravlenii i kontrvle: vzglyad v budushchee : XMezhdunarodnaya konferentsiya shkolnikov, studentov, aspirantov, molodykh uchenykh [Resource-efficient systems in management and control: a look into the future : X International conference of schoolchildren, students, graduate students, young scientists]. Tomsk, 2021, pp. 260-264.
4. Syryamkin, V. I., Msallam, M., & Klestov, S. A. A Method to Create Real-Like Point Clouds for 3D Object Classification. Frontiers in Robotics and AI, 2023, vol. 9. DOI: 10.3389/frobt.2022.1077895.
5. Pomerleau, F., Colas, F., & Siegwart, R. A review of point cloud registration algorithms for mobile robotics. Foundations and Trends® in Robotics, 2015, vol. 4, no. 1, pp. 1-104.
6. Msallam, M., & Syryamkin, V. I. Rekonstruktsiya 3D karty putem registratsii oblakov tochek [Construction of 3D map by point clouds registration]. Innovatika-2022 : sbornikmaterialovXVIIImezhdunarodnoy shkoly-konferentsii studentov, aspirantov i molodykh uchenykh [Innovatika-2022 : collection of materials of the XVIII International school-conference of students, graduate students and young scientists]. Tomsk, 2022, pp. 183-188.
7. Cheng, L., Chen, S., Liu, X., Xu, H., Wu, Y, Li, M., & Chen, Y. Registration of laser scanning point clouds: A review. Sensors, 2018, vol. 18, no. 5, p. 1641.
8. Fischler, M. A., & Bolles, R. C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 1981, vol. 24, no. 6, pp. 381-395.
9. Biber, P., & Straßer, W. The normal distributions transform: A new approach to laser scan matching. Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No. 03CH37453), 2003, vol. 3, pp. 2743-2748.
10. Chui, H., & Rangarajan, A. A feature registration framework using mixture models. Proceedings IEEE Workshop on Mathematical Methods in Biomedical Image Analysis. MMBIA-2000 (Cat. No. PR00737), 2000, pp. 190-197.
11. Zhang, J., Yao, Y, & Deng, B. Fast and robust iterative closest point. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, vol. 44, no. 7, pp. 3450-3466. DOI: 10.1109/TPAMI.2021.3054619.
12. Granger, S., & Pennec, X. Multi-scale EM-ICP: A fast and robust approach for surface registration. European conference on computer vision. Springer, Berlin, Heidelberg, 2002, pp. 418-432.
13. Yang, J., Li, H., Campbell, D., & Jia, Y Go-ICP: A globally optimal solution to 3D ICP point-set registration. IEEE transactions on pattern analysis and machine intelligence, 2015, vol. 38, no. 11, pp. 2241-2254.
14. Pavlov, A. L., Ovchinnikov, G. W., Derbyshev, D. Y, Tsetserukou, D., & Oseledets, I. V. AA-ICP: Iterative closest point with Anderson acceleration. 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 3407-3412.
15. Park, J., Zhou, Q. Y, & Koltun, V. Colored point cloud registration revisited. Proceedings of the IEEE international conference on computer vision, 2017, pp. 143-152.
16. Dreczkowski, K., & Johns, E. Hybrid ICP. 2021IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 6801-6808.
17. Dellenbach, P., Deschaud, J. E., Jacquet, B., & Goulette, F. CT-ICP: Real-time elastic lidar odometry with loop closure. 2022 International Conference on Robotics and Automation (ICRA), 2022, pp. 5580-5586).
18. Hexsel, B., Vhavle, H., & Chen, Y. DICP: Doppler Iterative Closest Point Algorithm. arXiv preprint arXiv:2201. 11944, 2022.
19. Rusinkiewicz, S., & Levoy, M. Efficient variants of the ICP algorithm. Proceedings third international conference on 3-D digital imaging and modeling, 2001, pp. 145-152.
20. Dimitrievski, M., Van Hamme, D., Veelaert, P., & Philips, W. Robust matching of occupancy maps for odometry in autonomous vehicles. 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2016), 2016, vol. 3, pp. 626-633.
21. Lai, K., Bo, L., Ren, X., & Fox, D. A large-scale hierarchical multi-view RGB-D object dataset. 2011 IEEE international conference on robotics and automation, 2011, pp. 1817-1824.
22. Pcregistercorr. Available at: https://www.mathworks.com/help/vision/ref/pcregistercorr.html.
УДК 004.056
ИССЛЕДОВАНИЕ АТАК НА МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ В СЕТЯХ 5G НА ОСНОВЕ ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНЫХ СЕТЕЙ1
Статья поступила в редакцию 20.01.2023, в окончательном варианте - 08.02.2023.
Парфёнов Денис Игоревич, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
кандидат технических наук, доцент, ORCID: 0000-0002-1146-1270, e-mail: parfenovdi@mail.ru Болодурина Ирина Павловна, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
доктор технических наук, профессор, ORCID: 0000-0003-0096-2587, e-mail: prmat@mail.osu.ru Легашев Леонид Вячеславович, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
кандидат технических наук, ORCID: 0000-0001-6351-404X, e-mail: silentgir@gmail.com Жигалов Артур Юрьевич, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
аспирант, ORCID: 0000-0003-3208-1629, e-mail: leroy137.artur@gmail.com Гришина Любовь Сергеевна, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
аспирант, ORCID: 0000-0003-2752-7198, e-mail: grishina_ls@inbox.ru
В связи с развитием и активным внедрением сетей 5G стало возможным разрабатывать новые приложения для Интернета вещей (IoT) и областей межмашинного взаимодействия на основе анализа больших данных. В данном исследовании проведен анализ данных в миллиметровых волнах (mmWave) и массивных системах MIMO, сгенерированных на платформе DeepMIMO на основе сценария трассировки лучей на открытом пространстве. Набор данных использован с целью построения моделей машинного обучения для предсказания, находится ли пользователь в зоне линии прямой видимости базовой станции. Кроме того, в рамках данной работы рассмотрен вопрос устойчивости построенных моделей к состязательным атакам и предложен подход к применению генеративно-состязательных сетей для генерации синтетических состязательных образцов путем замены истинных значений целевого признака. Исследование сбалансированной точности базовых классификаторов от нецелевой состязательной атаки при решении задачи бинарной классификации показало, что модели машинного обучения неустойчивы к данному типу атаки. В связи с этим направление будущих исследований включает разработку инструментов защиты от состязательных атак подобного типа, а полученные результаты могут быть использованы при разработке защищенной интеллектуальной системы поддержки принятия решений для анализа трафика сетей 5G и обнаружения аномалий на основе анализа больших данных.
Ключевые слова: машинное обучение, состязательные атаки, генеративно-состязательные сети, DeepMIMO, 5G
1 Исследование выполнено за счет гранта Российского научного фонда (проект № 22-71-10124).
