CC BY
50
УДК 004.9
DOI: 10.33764/2618-981X-2021-6-293-298
ОБЗОР СРЕДСТВ ТРЕХМЕРНОЙ РЕКОНСТРУКЦИИ
Яна Викторовна Черткова
Новосибирский государственный технический университет, 630073, Россия, г. Новосибирск, пр. К. Маркса, 20, магистрант кафедры автоматики, тел. (983)128-32-91, e-mail: yaneeka2209@gmail.com
Денис Николаевич Катасонов
Институт автоматики и электрометрии Сибирского отделения Российской академии наук, 630090, Россия, г. Новосибирск, проспект Академика Коптюга, 1, кандидат технических наук, научный сотрудник лаборатории лазерной графики, тел. (923)233-11-05, e-mail: katasonovdenis@ya.ru
Карина Валерьевна Баталова
Новосибирский государственный технический университет, 630073, Россия, г. Новосибирск, пр. К. Маркса, 20, магистрант кафедры автоматики, тел. (999)462-77-36, e-mail: karina.batalova 123@gmail.com
В данной статье приведен обзор наиболее часто используемых современных средств трехмерной реконструкции. Авторы разделяют все средства на активные и пассивные в зависимости от наличия или отсутствия воздействия на реконструируемый объект. Для каждой технологии приведены ее достоинства и недостатки. Также для некоторых средств определены особенности сканируемых объектов, из-за которых при выполнении реконструкции возникают проблемы.
Ключевые слова: трехмерная реконструкция, 3D-сканирование, системы структурированного света, лазерное сканирование, фотограмметрия
OVERVIEW OF THREE-DIMENSIONAL RECONSTRUCTION TOOLS
Yana V. Chertkova
Novosibirsk State Technical University, 20, K. Marks Prospekt, Novosibirsk, 630073, Russia, Graduate, Department of Automation, phone: (983)128-32-91, e-mail: yaneeka2209@gmail.com
Denis N. Katasonov
Institute of Automation and Electrometry of the Siberian Branch of the Russian Academy of Sciences, 1, Koptyuga Prospekt, Novosibirsk, 630090, Russia, Ph. D., Researcher, Laboratory of Laser Graphics, phone: (923)233-11-05, e-mail: katasonovdenis@ya.ru
Karina V. Batalova
Novosibirsk State Technical University, 20, K. Marks Prospekt, Novosibirsk, 630073, Russia, Graduate, Department of Automation, phone: (999)462-77-36, e-mail: karina.batalova123@gmail.com
This article provides an overview of the most commonly used modern 3D reconstruction tools. The authors divide all tools into active and passive, depending on the presence or absence of impact on the reconstructed object. For each technology, its advantages and disadvantages are given. Also, for some tools, the features of scanned objects have been determined, due to which problems arise during reconstruction.
Keywords: 3D reconstruction, 3D scanning, structured light systems, laser scanning, pho-togrammetry
Введение
Трехмерная реконструкция - это процесс получения трехмерной модели реального объекта. Трехмерная реконструкция является актуальной и активно развивающейся технической областью и применяется во многих областях деятельности человека от индустрии развлечений до медицины.
В актуальной сейчас области виртуальной реальности достаточно часто используются трехмерные реконструкции реальных объектов, что способствует созданию более реалистичных персонажей и окружений. Данная технология, в частности, используется в индустрии компьютерных игр и в виртуальных музеях. В промышленном производстве трехмерная реконструкция используется для автоматического контроля качества производимых деталей в режиме реального времени. Также достаточно точная реконструкция позволяет произвести замеры реального объекта. В робототехнике трехмерная реконструкция используется для определения расстояний до объектов и скорости движения, а также получения трёхмерной развертки местности. Важнейшей областью трехмерной реконструкции является медицина. Данные, полученные в результате трехмерной реконструкции органов человека, позволяют врачу спланировать хирургическое вмешательство или более точно определить диагноз пациента.
Методы трехмерной реконструкции можно разбить на две группы: активные и пассивные. Активные методы радиометрически взаимодействуют с восстанавливаемым объектом с целью получения карты глубины. Пассивные методы не влияют на восстанавливаемый объект, они используют датчик, чтобы измерить отраженное или излучаемое поверхностью объекта излучение. Таким образом входными данными пассивных методов являются цифровые изображения или видео [1].
Активные средства трехмерной реконструкции
Существует несколько активных способов 3D реконструкции физических объектов. Все эти способы получают информацию о пространственном положении точек на поверхности объекта. Сканирование может быть выполнено с помощью звуковых или световых волн. Активное сканирование является более популярным методом, чем пассивное.
Довольно часто в активных методах используется свет в различных формах. Способы с использованием света очень точные, надежные и быстрые. Однако специфическое поведение света вводит ограничение на использование таких методов с сильно отражающими, прозрачными, полупрозрачными или рассеивающими поверхностями, сегментами с острыми краями или глубокими выемками. На этих поверхностях свет может быть поглощен, преломлен, рассеян, отражен, что делает невозможным корректное получение информации об объекте [2].
Системы структурированного света
Системы структурированного света работают с обычным источником света, они проецируют определенный ряд световых паттернов на целевой объект, затем отраженное изображение захватывается камерами и исходя из полученных искажений паттерна рассчитывается положение каждой точки на поверхности объекта. После многократного сканирования каждого элемента поверхности целевого объекта, эти дискретные структуры будут объединены в единую модель, которая затем подлежит очистке (отверстия будут заполнены, лишние артефакты удалены) и экспорту в редактируемый формат. На рис. 1 представлен пример реконструкции с использованием системы структурированного света [3 - 4].
Рис. 1. Пример реконструкции с использованием структурированного света
Как и во всех оптических методах при использовании метода есть недочеты на поверхностях, отражающих или пропускающих свет. При работе с прозрачными или полупрозрачными поверхностями также возникают серьезные трудности. В этих случаях покрытие поверхности тонким непрозрачным лаком для измерительных целей является обычной практикой. Сканирование светоотражающих полостей и вогнутых объектов может вызвать искажение паттерна полностью исключая вероятность правильного обнаружения. Подобные трудности возникают при сканировании полупрозрачных материалов, таких как мрамор, растения и ткани человека, так как мешают явления поверхностного рассеивания [5].
Технология трехмерного лазерного триангуляционного сканирования
Лазерная триангуляции осуществляется путем проектирования лазерной линии или точки на объект, а затем регистрации ее отражения с помощью датчиков, расположенных на известном расстоянии от лазерного источника. В результате угол отражения может быть интерпретирован как информация о рельефе.
Лазерный луч проецируется на объект в поле зрения камеры. Этот луч должен быть идеально параллелен оптической оси камеры. Лазерная точка захватывается вместе с остальной сценой. Необходимо найти на изображении яркое пятно. Предполагается, что точка лазера является более яркой на фоне более темного объекта. Затем нам нужно рассчитать дальность до объекта В через соотношения треугольника с использованием известных параметров системы (рис. 2).
Технология называется триангуляцией потому, что камера, лазерный излучатель и сама лазерная точка на поверхности объекта образуют своеобразный треугольник, что представлено на рис. 2. В этой системе известна длина одной из сторон треугольника И - это расстояние между лазерным излучателем и камерой. Также известен угол лазерного излучателя, а угол камеры 0 определяется по расположению лазерной точки в поле обзора камеры. Эти три характеристики полностью формируют размер треугольника и указывают на расположение угла лазерной точки [6].
Рис. 2. Структура системы лазерного триангуляционного сканирования
Преимущества технологии лазерной триангуляции - высокое разрешение и большая точность реконструкции.
Реконструкция с использованием лазерных дальномеров
Для реконструкции может использоваться устройство, называемое лазерным ЭБ-сканером. Данное устройство состоит из лазерного дальномера и блока развертки лазерного луча. В качестве блока развертки могут быть использованы
296
полигональное зеркало и сервопривод. Сервопривод отклоняет луч в горизонтальной плоскости, а в вертикальной отклонение осуществляется за счет вращения зеркала. Лазерный дальномер - это устройство для измерения расстояний с применением лазерного луча. В лазерном 3Б-сканере могут быть использованы фазовый и импульсный методы измерения расстояния.
Импульсный метод основан на измерении времени прохождения сигнала от приемо-передающего устройства до объекта и обратно. Расстояние можно определить, так как известна скорость распространения электромагнитных волн. Фазовый метод основан на определении разности фаз посылаемого и принимаемого модулированных сигналов [7].
Проблемы лазерного сканирования:
- для получения информации о свете дополнительно необходима камера;
- длительность процесса сканирования.
Пассивные средства трехмерной реконструкции
Пассивные сканеры собирают и анализируют только информацию от объекта естественного излучения, поэтому входными данными могут быть полученные с камеры одно изображение, несколько или видео поток. Методы пассивного сканирования просты в настройке, имеют быстрое время измерения, также они довольно дешевы, так как не требуют использования дорогостоящего специализированного оборудования, достаточно обычной цифровой камеры и программного обеспечения [8]. При этом они имеют меньшую точность относительно активных методов.
Методы, основанные на анализе одного изображения
Данный метод использует в качестве входных данных одиночное изображение, поэтому для определения карты глубины необходимо использовать интерактивный подход. Информацию об объеме можно получить в результате анализа контура объекта, затенения, текстуры, освещенности или использования методов проективной геометрии. Достоинством использования одной камеры является простота калибровки такой системы, а недостатком -низкая точность, обусловленная недостатком информации о глубине [9].
Фотограмметрия
Фотограмметрия - это процесс восстановления объекта по набору двумерных входных изображений, снятых под разными углами обзора, который основан на принципе работы бинокулярного зрения человека. В ходе этого процесса выделяются особые точки на изображениях и определяются соответствующие им особые точки на соседних изображениях, затем методами триангуляции определяются их трехмерные координаты [10].
Этот метод позволяет довольно точно определять карту глубины, но имеет проблемы при работе с повторяющимися паттернами на изображении или окклюзиями.
Заключение
В данной статье произведен обзор наиболее часто используемых средств трехмерной реконструкции. Все средства разделены в зависимости от способа взаимодействия с объектом на активные и пассивные.
Среди активных средств наиболее часто используются системы с использованием излучения, такие как системы структурированного света, технология трехмерного лазерного триангуляционного сканирования и технология с использованием лазерного дальномера.
Среди пассивных методов выделены методы в зависимости от количества входных изображений, то есть подход с использованием одного изображения и фотограмметрия.
Для каждого из рассмотренных средств приведены достоинства, недостатки или возможные проблемные случаи.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Алдошкин Д. Н. Трёхмерная реконструкция. Области применения. Методы и подходы // Молодёжь и наука: Сборник материалов VIII Всероссийской научно-технической конференции студентов, аспирантов и молодых учёных, посвященной 155-летию со дня рождения К. Э. Циолковского. [Электронный ресурс]. URL: http://elib.sfu-kras.ru/handle/2311/7928/ (дата обращения: 14.05.2021).
2. Гужов В. И. Методы измерения 3Б-профиля объектов. Контактные, триангуляционные системы и методы структурированного освещения: учеб. пособие. - Новосибирск: Изд-во НГТУ, 2015. - 82 с.
3. Буянов С. С. Перспективы использования 3Б-технологий для развития информационно-аналитической платформы «История современной России» // Genesis: исторические исследования. - 2014. - № 6. - С. 75 - 97.
4. Щекин С. Б. Восстановление формы трехмерных объектов методами структурированного освещения // Научно-технический вестник информационных технологий, механики и оптики. - 2007. - № 43. - С. 301-307.
5. Васильев А. Системы структурированного света. Проблемы [Электронный ресурс] // Научно-образовательный проект «Лазерный портал». URL: http://www.laser-portal.ru/content_1211 (дата обращения: 25.04.2021).
6. Бондарь М. Н., Лаптева А. Д., Буднов С. А. Триангуляционный лазерный дальномер. [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/triangulyatsionnyy-lazernyy-dalnomer (дата обращения: 13.05.2021).
7. Бокшанский В. Б., Бондаренко Д. А., Вязовых М. В., Животовский И. В., Сахаров А. А., Семенков В. П. Лазерные приборы и методы измерения дальности. - М. : Изд-во МГТУ им. Н.Э. Баумана, 2012. - 92 с.
8. Беляков П. В. Методы и алгоритмы пространственной реконструкции сцены по изображениям в реальном времени : дис. ...канд. техн. наук : 05.13.17 // Рязанский государственный радиотехнический университет имени В.Ф. Уткина. — Рязань, 2019. — 153 с.
9. Ham, Hanry et al. "Computer Vision Based 3D Reconstruction : A Review." International Journal of Electrical and Computer Engineering 9 (2019): 2394-2402.
10. Paolis, L. D. et al. "Photogrammetric 3D Reconstruction of Small Objects for a Real-Time Fruition." AVR (2020).
© Я. В. Черткова, Д. Н. Катасонов, К. В. Баталова, 2021
