CC BY
9УДК 004.932
Технические науки
Панина Екатерина Александровна, студент-магистр, Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени
Н.Э. Баумана (национальный исследовательский университет)» Белов Юрий Сергеевич, к.ф. -м.н., доцент, Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)»
АНАЛИЗ МЕТОДОВ РЕГИСТРАЦИИ ОБЛАКОВ ТОЧЕК,
ПОЛУЧЕННЫХ В РЕЗУЛЬТАТЕ ОБРАБОТКИ ФОТОГРАФИЙ
Аннотация: Реконструкция трехмерных облаков точек - это процесс, который включает в себя различные этапы, включая регистрацию облаков точек и триангуляцию. Методы регистрации облаков точек необходимы для приведения нескольких облаков точек в единую систему координат, что позволяет точно реконструировать объекты в трех измерениях. Выбор подходящего метода регистрации зависит от конкретных требований приложения, характеристик облака точек, желаемой точности и вычислительной эффективности. В этой статье рассматриваются различные методы регистрации, обсуждается вычислительную сложность популярных алгоритмов попарной регистрации, таких как итеративная ближайшая точка (ICP), надежное сопоставление точек (RPM) и корреляция ядра (KC).
Ключевые слова: 3D реконструкция, методы регистрации наборов точек, анализ методов регистрации, этапы 3D реконструкции.
Abstract: Reconstruction of three-dimensional point clouds is a process that involves various stages, including registration of point clouds and triangulation. Point cloud registration methods are necessary to bring several point clouds into a single coordinate system, which allows you to accurately reconstruct objects in three
dimensions. The choice of the appropriate registration method depends on the specific requirements of the application, the characteristics of the point cloud, the desired accuracy and computational efficiency. This article discusses various registration methods, discusses the computational complexity of popular pairwise registration algorithms, such as iterative nearest point (ICP), reliable point matching (RPM) and kernel correlation (KC).
Keywords: 3D reconstruction, methods of registration of sets of points, analysis of registration methods, stages of 3D reconstruction.
Введение. Процесс 3-D реконструкции облака точек включает в себя ряд этапов. К ключевым этапам можно отнести: поиск характерных точек на изображении, регистрация облаков точек и последующая триангуляция. Каждый следующий этап работает с данными, полученными в результате предыдущего.
Методы регистрации облаков точек используются для приведения нескольких облаков точек, полученных из изображений, составляющих набор данных, в единую систему координат. После этого с помощью одного из методов триангуляции можно произвести 3-D реконструкцию объекта.
Подготовка данных
Как было описано ранее, прежде чем модель перейдет к регистрации облаков храктерных точек, необходимо извлечь их из изображений посредствои специальных алгоритмов. Существует несколько алгоритмов, обычно используемых для поиска характерных точек на изображениях. Эти точки, также известные как ключевые точки или точки интереса, представляют собой определенные местоположения на изображении, которые представляют уникальную или отличительную информацию. Ниже для ознакомления представлены некоторые из них.
Детектор углов Харриса - это широко используемый алгоритм, вычисляющий функцию углового отклика для каждого пикселя, изучая локальные изменения интенсивности в разных направлениях. Высокие отклики
указывают на наличие углов [1].
SIFT (Scale-Invariant Feature Transform) - это надежный алгоритм обнаружения объектов, который инвариантен к масштабированию, повороту и аффинным преобразованиям. Он извлекает ключевые точки, идентифицируя стабильные ключевые точки в разных масштабах изображения, используя разность гауссовых пирамид, а затем назначая ориентации ключевым точкам на основе локальных градиентов изображения.
SURF (Speeded-Up Robust Features) - это алгоритм, очень схожий с SIFT, но разработанный для ускорения вычислений. Он использует аппроксимацию квадратичным фильтром лапласиана Гаусса и аппроксимированные градиенты изображения для обнаружения и описания объектов [2].
FAST (Features from Accelerated Segment Test) - это алгоритм определения углов, который стремится быть эффективным с точки зрения вычислений. Он тестирует набор пикселей в круговом узоре, чтобы определить, являются ли они углами, на основе пороговых значений интенсивности и ограничений подключения [3].
ORB (Oriented FAST and Rotated BRIEF): ORB - это сочетание детектора ключевых точек FAST и дескриптора BRIEF. ORB разработан таким образом, чтобы быть быстрым и эффективным, что делает его подходящим для приложений реального времени [2].
Классификация алгоритмов
Глобально алгоритмы регистрации набора точек можно разделить на две категории: попарная регистрация и групповая регистрация (рис.1) [4].
В то же время методы попарной регистрации точек можно разделить на методы, основанные на:
1. Расстоянии. Первым шагом является вычисление расстояния между двумя наборами точек и нахождение соответствий. Затем расстояние между двумя наборами точек с определенными соответствиями минимизируется на втором шаге. К этой группе относятся: ICP, RPM, KC
2. Фильтрации. Регистрация набора точек выполняется с
использованием модели пространства состояний (SSM).
3. Вероятности. Когерентный дрейф точек (CPD) является популярным методом в области регистрации наборов точек на основе вероятности. В методе CPD регистрация набора жестких и нежестких точек формулируется как задача оценки максимального правдоподобия (ML) с использованием метода GMM.
Рис.1. Классификация методов регистрации
Важно отметить, что выбор метода регистрации зависит от конкретного приложения, характеристик облаков точек, а также желаемой точности и вычислительной эффективности. Различные методы имеют разные преимущества и ограничения, и производительность может варьироваться в зависимости от конкретного набора данных и сценария регистрации.
Сравнение методов
Сравнение методов регистрации в облаке точек предполагает оценку их эффективности на основе определенных критериев. Вот несколько общих факторов, которые следует учитывать при сравнении методов регистрации:
• Точность
• Надежность
• Вычислительная сложность
• Сходимость
• Обработка частичного перекрытия
• Гибкость
• Сложность внедрения
• Доступность реализаций
Важно отметить, что выбор критериев оценки зависит от требований и характеристик данных рассматриваемого облака точек. Некоторые методы могут превосходить в определенных аспектах, но быть слабее в других. Сравнение методов с использованием нескольких критериев может дать более полное представление об их сильных сторонах и ограничениях.
Скорость методов регистрации облаков точек может варьироваться в зависимости от различных факторов, таких как размер и сложность облаков точек, эффективность реализации и конкретный используемый алгоритм. Однако сложно определить единый метод, который был бы универсально быстрее всех остальных, поскольку производительность может значительно изменяться в зависимости от сценари. Эффективность метода также зависит от аппаратного и программного обеспечения, используемого для реализации. Оптимизация, методы распараллеливания и использование аппаратных ускорителей, таких как графические процессоры, могут значительно повысить скорость регистрации.
При выборе метода регистрации рекомендуется учитывать требования задачи, такие как размер и сложность облаков точек, желаемая точность, устойчивость к помехам и доступные вычислительные ресурсы, чтобы выбрать метод, который наилучшим образом соответствует вашим потребностям.
Обзор алгоритмов, оценка вычислительной сложности
Ниже описан ряд алгоритмов, отнесенных к категории алгоритмов попарной регистрации на основе расстояния. Этапы работы алгоритмов дают общее представление об алгоритме RPM для регистрации облака точек. Однако стоит отметить, что могут быть вариации и дополнительные шаги в зависимости от конкретной реализации или модификаций, внесенных в метод в различных исследовательских работах или приложениях. Вычислительная сложность для каждого алгоритма получена в соответствии с описанием
алгоритма, приведенным в указанных публикациях.
ICP (Iterative closest point) - это алгоритм, обычно используемый для выравнивания или регистрации двух или более облаков точек в трехмерном пространстве. Целью алгоритма ICP является оценка преобразования (перемещения и поворота). По этой оценке выравнивают точки в одном облаке точек по соответствующим точкам в другом облаке.
Алгоритм ICP работает итеративно, уточняя выравнивание на каждой итерации. Каждая итерация алгоритма состоит из четырех основных шагов, сложность этих шагов была подсчитана авторами разработанного алгоритма, поэтому приведем ее поэтапно:
• Поиск ближайших точек с ожидаемой стоимостью O(m log n), где m и n - количество точек в первом и втором кадрах соответственно.
• Обновление совпадений, восстановленных на первом шаге, стоимостью O(m).
• Вычисление трехмерного движения, также с затратами O(m).
• Применение расчетного движения ко всем точкам в первом кадре с затратами O(m). Таким образом, общая сложность алгоритма равна O(m logn)
[5].
RPM (Robust Point Matching) [6]. Алгоритм направлен на преодоление таких проблем, как выбросы и несоответствия в исходных парах, которые могут возникать из-за шума, перекрытий или изменения внешнего вида объектов. Алгоритм RPM состоит из нескольких ключевых шагов:
• Начальный поиск соответствия: Используя извлеченные объекты, устанавливается начальный набор потенциальных соответствий между точками в исходном и целевом облаках точек. Этот шаг включает в себя поиск пар точек, которые, вероятно, представляют один и тот же объект или поверхность в обоих облаках.
• Удаление выбросов: используются методы удаления выбросов для устранения несовпадающих или ложных пар точек.
• Присвоение веса: Каждому соответствию в оставшемся наборе
присваивается вес, основанный на его достоверности. Вес может быть определен такими факторами, как сходство извлеченных признаков или качество первоначального совпадения.
• Оценка преобразования: С учетом соответствий и связанных с ними весовых коэффициентов оценивается исходная модель преобразования для выравнивания исходного и целевого облаков точек. Распространенные модели преобразования включают жесткие преобразования (перемещение и вращение) или более сложные деформируемые модели.
• Уточнение соответствия: Оцененное преобразование применяется к исходному облаку точек, и соответствия уточняются путем итеративного обновления преобразования и повторной оценки соответствий на основе уточненного преобразования. Этот процесс уточнения помогает повысить точность центровки.
• Проверка сходимости: Процесс уточнения продолжается итеративно до тех пор, пока не будет удовлетворен критерий сходимости.
• Окончательное преобразование: Как только сходимость достигнута, получается окончательная матрица преобразования - оптимальное выравнивание между исходным и целевым облаками точек.
Вычислительная сложность алгоритма надежного сопоставления точек (RPM) может варьироваться в зависимости от различных факторов, таких как количество точек в облаках точек, количество итераций и конкретные детали реализации. Сложность алгоритма составляет O(nA3) [7].
KC [8] (Kernel Correlation) - это непараметрический подход, целью которого является поиск преобразования между двумя изображениями путем максимального увеличения корреляции их признаков с помощью функций ядра.
Основная идея KC заключается в представлении изображений в виде карт объектов с использованием функций ядра. Функция ядра вычисляет сходство или несходство между парами точек во входном пространстве. В контексте KC функции ядра используются для измерения сходства между пикселями или участками на изображениях.
Вот высокоуровневый обзор алгоритма КС:
• Создание ядра: После извлечения объектов к картам объектов изображений применяется функция ядра. Функция ядра вычисляет меру сходства или несходства между парами векторов признаков. Этот шаг преобразует карты объектов в многомерное пространство, где может быть вычислена корреляция.
• Корреляция ядра: На этапе корреляции ядра вычисляется корреляция между преобразованными картами объектов. Это делается путем наложения одной карты объектов на другую и измерения сходства между соответствующими исправлениями с помощью функции ядра. Показатель корреляции указывает на степень сходства или выравнивания между изображениями.
• Оптимизация: Алгоритм КС обычно включает в себя процесс оптимизации для поиска преобразования, которое максимизирует показатель корреляции. Это может быть сделано с помощью методов оптимизации на основе градиента или других методов оптимизации. Параметры преобразования могут включать в себя перемещение, поворот, масштабирование или более сложные деформации, в зависимости от желаемого уровня регистрации.
Сложность данного алгоритма оценивается по реализации корреляции ядра и составляет O(knm)[9].
Вывод:
В заключение, процесс 3D-реконструкции облака точек включает в себя несколько ключевых этапов, включая регистрацию облака точек и триангуляцию. Методы регистрации играют решающую роль в приведении нескольких облаков точек в единую систему координат, обеспечивая точную 3D-реконструкцию объектов. Выбор метода регистрации зависит от конкретных требований приложения, характеристик облака точек, желаемой точности и вычислительной эффективности.
При сравнении методов регистрации следует учитывать различные критерии, такие как точность, надежность, вычислительная сложность,
сходимость, обработка частичного перекрытия, гибкость, сложность реализации и доступность реализаций. Различные методы могут быть превосходными в определенных аспектах, но иметь ограничения в других, поэтому важно оценивать их на основе множества критериев, чтобы получить всестороннее представление об их сильных сторонах и ограничениях.
Вычислительная сложность алгоритмов регистрации варьируется в зависимости от конкретной реализации и количества точек в облаках точек. Такие алгоритмы, как ICP и RPM, обычно используются для попарной регистрации, причем ICP предлагает сложность O(m log n), а RPM имеет сложность O(n А 3). KC, непараметрический подход, использует функции ядра для измерения сходства и имеет сложность O (knm).
На скорость методов регистрации облака точек могут влиять такие факторы, как размер облака точек, сложность, эффективность реализации и аппаратные ресурсы. Универсально быстрого метода не существует, так как производительность может варьироваться в зависимости от сценария. Оптимизация, распараллеливание и аппаратные ускорители, такие как графические процессоры, могут значительно повысить скорость регистрации.
В конечном счете, при выборе метода регистрации следует учитывать конкретные требования задачи, характеристики облака точек, желаемую точность, устойчивость к помехам и доступные вычислительные ресурсы. Выбрав наиболее подходящий метод, специалисты-практики могут добиться точной и эффективной регистрации для своих приложений 3D-реконструкции облаков точек.
Библиографический список:
1. Панина Е.А., Белов Ю.С. Анализ алгоритмов нахождения характерных точек изображений// Всероссийская научно-техническая конференция. - 2022. - Т.1. - С.55-57.
2. Rublee E. ORB: An efficient alternative to SIFT or SURF //2011 International conference on computer vision. -Ieee, 2011. - С. 2564-2571.
3. Nain N. et al. Fast feature point detector //2008 IEEE International Conference on Signal Image Technology and Internet Based Systems. - IEEE, 2008. - C. 301-306.
4. Zhu H, Guo B, Zou K, Li Y, Yuen K-V Review of Point Set Registration: From Pairwise Registration to Groupwise Registration. Sensors. 2019; 19(5): 1191.
5. Zhang Z. Iterative point matching for registration of free-form curves and surfaces //International journal of computer vision. - 1994. - T. 13. - №. 2. - C. 119-152.
6. Zheng Y, Doermann D. Robust point matching for nonrigid shapes by preserving local neighborhood structures//IEEE Transactions on Pattern Analysis and Machine Intelligence - 2006.
7. Gold S. New algorithms for 2D and 3D point matching: pose estimation and correspondence //Pattern recognition. - 1998. - T. 31. - №. 8. - C. 1019-1031.
8. Sun J. P. Adaptive kernel correlation filter tracking algorithm in complex scenes //IEEE Access. - 2020. - T. 8. - C. 208179-208194.
9. Chen P. A novel kernel correlation model with the correspondence estimation //Journal of Mathematical Imaging and Vision. - 2011. - T. 39. - C. 100120.
