CC BY
18ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ
ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ И УПРАВЛЯЮЩИЕ СИСТЕМЫ
УДК 004.93'1
СКАНИРУЮЩЕЕ УСТРОЙСТВО ДЛЯ ПОЛУЧЕНИЯ ОБЪЕМНЫХ МОДЕЛЕЙ МАЛОГАБАРИТНЫХ ОБЪЕКТОВ КУЛЬТУРНОГО НАСЛЕДИЯ
Статья поступила в редакцию 21.12.2020, в окончательном варианте — 15.02.2021.
Барсуков Никита Сергеевич, Московский государственный технический университет имени Н.Э. Баумана, 105007, Российская Федерация, г. Москва, ул. 2 Бауманская, 5, бакалавр, ORCID: 0000-0003-3067-4340, e-mail: barsukov-nikita@inbox.ru
Лыков Артем Андреевич, Московский государственный технический университет имени Н.Э. Баумана, 105007, Российская Федерация, г. Москва, ул. 2 Бауманская, 5, бакалавр, ORCID: 0000-0001-6119-2366, e-mail: tema.lykov@gmail.com
Воротников Сергей Анатольевич, Московский государственный технический университет имени Н.Э. Баумана, 105007, Российская Федерация, г. Москва, ул. 2 Бауманская, 5,
кандидат технических наук, доцент, ORCID: 0000-0001-6795-1132, e-mail: vorotn@bmstu.ru
Статья посвящена разработке сканирующего устройства для оперативного и точного определения формы малогабаритных объектов культурного наследия, например, обнаруженных при археологических раскопках. В состав устройства, использующего принцип структурированной подсветки, входят: сервер для обработки данных, микрокомпьютер Raspberry PI, два сервопривода, телевизионная камера и линейный лазер. На микроконтроллере формируются пакеты данных, которые отправляются на удаленный сервер по протоколу http. На сервере происходит обработка полученных пакетов данных в среде David-laserscanner и их дальнейшее совмещение в среде Meshlab. Результатом обработки является 3D-модель сканируемого объекта в формате obj. На основе аналитических расчетов определены оптимальные значения параметров сканирующего устройства, при которых достигается одновременно высокое быстродействие и допустимое качество полученной модели, с учетом его конструкции и выбранных компонентов. Разработан и изготовлен макет сканирующего устройства, позволяющего оперативно получать 3D-модели объектов габаритами до 100x100x140 мм, и приводятся результаты его экспериментального исследования.
Ключевые слова: 3D-сканер, структурированная подсветка, сервопривод, линейный лазер, объемная модель, археологические объекты, David-laserscanner
SCANNING DEVICE FOR OBTAINING VOLUMETRIC MODELS OF SMALL-SIZED OBJECTS OF CULTURAL HERITAGE
The article was received by the editorial board on 21.12.2020, in the final version — 15.02.2021.
Barsukov Nikita S., Bauman Moscow State Technical University, 5 2nd Baumanskaya St., Moscow, 105007, Russian Federation,
bachelor, ORCID: 0000-0003-3067-4340, e-mail: barsukov-nikita@inbox.ru Lykov Artem A., Bauman Moscow State Technical University, 5 2nd Baumanskaya St., Moscow, 105007, Russian Federation,
bachelor, ORCID: 0000-0001-6119-2366, e-mail: tema.lykov@gmail.com
Vorotnikov Sergey A., Bauman Moscow State Technical University, 5 2nd Baumanskaya St., Moscow, 105007, Russian Federation,
Cand. Sci. (Engineering), ORCID: 0000-0001-6795-1132, e-mail: vorotn@bmstu.ru
The article is devoted to the development of a scanning device for prompt and accurate determination of the shape of small-sized objects of cultural heritage, for example, found during archaeological excavations. The structured lighting device includes: a data processing server, a Raspberry PI microcomputer, two servos, a television camera and a line laser. Data packets are formed on the microcontroller, which are sent to a remote server via the http protocol. The server processes the received data packets in the David-laserscanner environment and their further combination in the Meshlab environment. The result of processing is a 3D model of the scanned object in obj format.
On the basis of analytical calculations, the optimal values of the parameters of the scanning device have been determined, at which both high speed and acceptable quality of the resulting model are achieved, taking into account its design and selected components. A mock-up of a scanning device has been developed and manufactured, which makes it possible to quickly obtain 3D-models of objects with dimensions up to 100x100x140 mm, and the results of its experimental study are presented.
Keywords: 3D-scanner, structured lighting, servo drive, line laser, volumetric model, archaeological objects, David-laserscanner
Graphical annotation (Графическая аннотация)
Аппаратный блок
1
Библиотека программ Program library
Введение. С использованием технологии лазерного сканирования в работе археологов появились новые возможности, которые позволяют сделать исследования более точными, детализированными и оперативными [1]. Подобное оборудование сегодня используется при решении целого ряда задач, связанных с каталогизацией археологических материалов, среди которых встречаются и объекты культурного наследия, их визуализацией при создании виртуальных экспозиций [2].
Объекты культурного наследия - это предметы, возникшие в ходе исторических событий, представляющие собой ценность с точки зрения науки и искусства и являющиеся свидетельством эпох и цивилизаций, подлинными источниками информации о развитии культуры. Очевидно, что при нахождении нового такого объекта, множество специалистов разных областей стремятся получить к нему доступ с целью досконального изучения. Однако непосредственный доступ к найденному объекту может быть невозможным по разным причинам. Например, если объект находится в другой точке земного шара или в непригодных для проведения исследований условиях. Также в контексте археологии иногда важно как можно меньше физически взаимодействовать с найденным объектом, чтобы не подвергать его опасности разрушения. В этих случаях помочь может трехмерное сканирование находки непосредственно на месте. При этом с полученной моделью могут проводить исследования сразу несколько специалистов одновременно [3].
В настоящее время существует ряд объемных сканеров для археологии [3]. Наряду с достоинствами (высокой детализацией и качеством текстур) они имеют общие недостатки, связанные с немалыми габаритами и значительным временем сканирования. Если проводится масштабное исследование, то использование таких сканирующих устройств оправдано [3]. В таких исследованиях специалисты могут позволить разместить габаритную технику и проводить сканирование в течение несколько дней.
Однако нередко перед исследователями встает задача произвести оперативное сканирование большого количества малых по размеру объектов за ограниченное время [4, 5]. Примерами являются различные статуэтки, предметы культа, фрагменты посуды и пр. При этом важным оказывается не столько качество сканирования, сколько скорость. В такой ситуации описанное выше оборудование оказывается неэффективным, а все его преимущества оказываются не принципиальными. Такая ситуация может возникнуть если объект очень востребован, и специалисты не могут в настоящий момент позволить потратить на сканирование много часов. Объект может быстро разрушаться, что также делает проведение над ним долгой процедуры сканирования невозможным [6]. Кроме того, может возникнуть необходимость произвести сканирование в экспедиции, где не только нет возможности взять с собой габаритное оборудование, но и долгие остановки могут быть невозможны.
Для всех описанных выше задач требуется портативное устройство, позволяющее получать объемные модели малогабаритных объектов культурного наследия с большой скоростью и приемлемым качеством.
Структура системы управления. В соответствии с поставленной задачей предлагается двухуровневая структура системы управления сканирующим устройством (рис. 1).
Задачей исполнительного уровня является сбор данных с телекамеры и управление световым модулем, состоящим из линейного лазера, светодиода, освещающего область сканирования, и модулем позиционирования, состоящим из двух приводов, построенных на базе шаговых двигателей и соответствующих драйверов. За прием данных и управление модулями на исполнительном уровне отвечает микрокомпьютер.
На верхнем уровне решаются задачи приема данных на локальном сервере, их передачи через программу IPCamAdapter в программу David-laserscanner, в которой происходит обработка данных и вывода полученных данных в графический интерфейс среды Meshlab. Там же происходит передача управляющих команд на микрокомпьютер. Вся информация передается через шину локальной сети Wi-Fi. Всем процессом сканирования управляет оператор, который получает готовое изображение - 3D-модель объекта из среды Meshlab.
Рисунок 1 - Структура системы управления сканирующим устройством
Такое построение системы управления, в отличие от известных решений, позволит не только оперативно проводить сканирование объектов дистанционно, но и снизить требования к квалификации оператора на этапе получения исходных сканов.
Разработка конструкции устройства. На первом этапе разработки были подобраны управляющие компоненты. Для проведения всех процессов, связанных с обработкой информации, был выбран ПК с ОС Windows, для управления всеми подвижными частями - микрокомпьютер
Raspberry PI 3 с операционной системой Raspberry PI OS. Разработка программ исполнительного уровня проводилась на языке Python.
Узел структурированной подсветки реализован на исполнительном уровне управления и состоит из трех элементов: светового модуля, телекамеры и модуля позиционирования.
В качестве устройства, формирующего структурированный световой поток, использовался линейный лазер RYS1230 с линзой, преломляющей свет в форме прямой горизонтальной линии. Прием отраженного от объекта светового сигнала проводился с помощью телевизионной камеры. Модуль телекамеры выбирался из условий максимальной совместимости с микрокомпьютером. Для Raspberry Pi - это 5-мегапиксельная телевизионная камера Raspberry Pi Camera Module Rev 1.3.
Для получения полноценного трехмерного изображения исследуемого объекта он должен быть сканирован со всех сторон. Эту задачу решал модуль позиционирования, предназначенный для согласованного управления линейным лазером и поворотной платформой. Управление осуществлялось с помощью двух однотипных приводов на основе шаговых двигателей NEMA 17 17HS4401 и драйверов A4988.
В соответствии с выбранными комплектующими была создана графическая модель сканирующего устройства (рис. 2а) и изготовлен его макетный образец (рис. 26):
Рисунок 2 - Графическая модель (а) и макет (б) сканирующего устройства
При изготовлении макета сканирующего устройства использовались алюминиевые композитные панели (АКП) толщиной 3 мм, обработка которых проводилась на фрезерном станке с числовым программным управлением. Конструктивные элементы сложной формы изготавливались из ABS-пластика на 3D-принтере.
Для получения большей контрастности изображения объекта корпус сканирующего устройства выполнялся закрытым [4].
Программное обеспечение. Важной частью сканера является его программное обеспечение, которое выполняет оцифровку, предварительную обработку изображения и склеивание его в трехмерный образ. На основе анализа известных программных решений, используемых при структурированной подсветке [7, 8], был выбран пакет David-laserscanner [9], обладающий широким функционалом и не предъявляющий к сканируемому объекту особых требований по форме.
Преимуществами David-laserscanner являются [9]:
• импортирование полученных сканов в формате obj;
• возможность использования одного линейного лазера;
• возможность оперативного просмотра и редактирования полученной 3D-модели в интегрированном в программу модуле OpenGL-Viewer.
В пакет David-laserscanner поступал видеопоток с телекамеры в режиме реального времени через программу IPCamAdapter. Результатом обработки видеопотока являлись трехмерные сканы, экспортируемые в формате obj. Для объединения отдельных сканов в единую модель их было необходимо импортировать в среду Meshlab [10, 11]. С помощью встроенных алгоритмов реконструкции поверхностей и фильтров постобработки в Meshlab получается различимая 3D-модель достаточно высокого качества.
Для управления приводами двигателей были написаны управляющие скрипты на языке Python 3.7 с использованием библиотеки для работы с шаговым двигателем RpiMotorLib [12].
Качество полученных сканирующим устройством моделей тесно связано с количеством полигонов, из которых она состоит. Полигоны или ячейки полигональной сетки - это элементарные плоскости, образуемые некоторым количеством соединенных ребрами точек в пространстве модели. В разрабатываемом решении используется метод триангуляции, поэтому все полигоны имеют 3 вершины. Ниже представлены примеры моделей одного и того же тестового объекта (фигурки гнома размером 100*45*55мм), содержащие в себе 500 (рис. 3а) и 14000 (рис. 36) полигонов.
Рисунок 3 - Модель, составленная из 500 (а) и из 14000 полигонов (б)
Максимальное количество полигонов, которые можно получить на модели зависит от разрешающей способности телевизионной камеры, используемой при сканировании. Будем считать, что, для того чтобы вписать три вершины полигона, необходимо минимальное пиксельное пространство, размером 4*6 пикселей (рис. 3б). Зависимости между размерами рабочей области телевизионной камеры и габаритами сканируемого объекта имеют вид (1):
h_ =
d ■ h
b_ =
с ■ b
(1)
Ч g
где hпкс, Ьпкс - высота и ширина изображения объекта в пикселях; d и с - разрешение телевизионной камеры (количество пикселей) по вертикали и горизонтали, соответственно; И и Ь - высота и ширина сканируемого объекта в мм; ч и g - коэффициенты преобразования оптической системы телекамеры по вертикали и горизонтали, соответственно. Значения этих коэффициентов определялись эмпирическим путем при калибровке телекамеры (д = 267, g = 149).
В общем случае максимальное количество полигонов р, которые можно получить при использовании произвольной телевизионной камеры известного разрешения, определяется зависимостью (2):
п
Р = ---100, (2)
к-ф
где п = Ипкс - Ьпкс и к - количество пикселей телевизионной камеры, в которое вписывается объект и наибольший полигон, соответственно; ф - процент поверхности модели, попадающей в телевизионную камеру.
Указанные выражения позволяют определить зависимость возможного количества полигонов (т.е. визуального качества полученного 3D-изображения) от разрешения телевизионной камеры и габаритов сканируемого объекта (3):
d - И - с - Ь
р =--100 .
к-ф-Ч - g
В графическом представлении указанная зависимость имеет вид (рис. 4).
б
Рисунок 4 - Диаграмма зависимости максимально возможного количества полигонов модели от разрешения телекамеры
Так, для используемой телекамеры Raspberry Pi Camera Module Rev 1.3 с разрешением 1280x720 и ф = 45 % получим p = 14000. Такое количество полигонов обеспечивает качественную детализацию всех частей сканируемого объекта и дает наилучшее представление о его форме по сравнению с моделями этого объекта, содержащими меньшее количество полигонов.
Экспериментальные исследования. Целью экспериментов являлось определение зависимости визуального качества полученной модели от параметров вращения двигателей сканирующего устройства. Для оценки качества модели производился подсчет количества полигонов после сканирования при каждой из комбинаций параметров. Для оценки быстродействия сканирующего устройства для каждой комбинации параметров фиксировалось время, затраченное на полное сканирование.
ПО сканирующего устройства позволяет изменять два параметра:
• микрошаг m шагового двигателя линейного лазера, который влияет на количество линий, спроецированных на объект. Формула микрошага: т = 200 • 2Г, где r - регулируемый параметр драйвера шагового двигателя от 0 до 4;
• шаг двигателя, поворачивающего платформу между этапами сканированиями объекта; от него зависит количество сканов, совмещение которых образует полную 3Б-модель объекта.
В ходе экспериментального исследования было произведено сканирование телекамерой Raspberry Pi Camera Module Rev 1.3 тестового объекта с пятью разными микрошагами шагового двигателя линейного лазера (400, 800, 1600, 3200 и 6400) и с 4 различными шагами сканирования, при которых 3Б-модель получалась совмещением 2, 3, 4 и 5 сканов, соответственно. В качестве сканируемого объекта была взята керамическая модель игрушки с габаритными размерами 100x55x45. Результаты экспериментального исследования представлены в виде графика (рис. 5).
Как следует из рисунка 5, при приближении количества полигонов модели к 14000 путем увеличения количества сторон сканирования и микрошага шагового двигателя, скорость роста количества полигонов уменьшается, что соответствует теоретически полученным данным. Максимальное количество полигонов, которое может быть получено при использовании телевизионной камеры Raspberry Pi Camera Module Rev 1.3, согласно теоретическим данным, равно 14000.
Микрошаг, шаг/об
Рисунок 5 - Диаграмма зависимости количества полигонов от микрошага двигателя и числа сканов
Измерение времени полного сканирования позволило определить быстродействие сканирующего устройства при каждой из используемых комбинаций параметров. При этом учитывалось время, затраченное на сканирование и поворот платформы. Время на совмещение сканов в программе MashLab не учитывалось, так как оно зависит от мощности ПК. Результат измерений представлен в виде графика (рис. 6).
Микрошаг, шаг/об
Рисунок 6 - Диаграмма зависимости времени полного сканирования от микрошага и числа сканов
На основании полученных результатов можно сделать заключение, что с увеличением микрошага и количества сканов, время полного сканирования растет равномерно, а скорость увеличения количества полигонов постепенно уменьшается. Таким образом можно определить оптимальные значения параметров сканирующего устройства с учетом его конструкции и выбранных компонентов. Это значения параметров, при которых достигается одновременно высокое быстродействие и допустимое качество полученной модели. Исходя из графиков на рисунках 5 и 6, оптимальные значения - это микрошаг 3200 и количество сканов 4. Дальнейшее увеличение параметров приводит к незначительному увеличению количества полигонов при значительном увеличении времени сканирования. Если эти значения по какой-либо причине не устраивают оператора, он может самостоятельно выбрать режим работы сканирующего устройства, используя график зависимости количества полигонов от времени сканирования (рис. 7).
600 800 1000 1200 Время полного сканирования, с
Микрошаг, шаг/об-^доо-^гоо • 1боо
Рисунок 7 - График зависимости количества полигонов от времени сканирования при различном значении микрошага двигателя
При использовании других тестовых объектов и той же телекамеры вид графиков на рисунках 6 и 7 не изменится, хотя количество полигонов в полученной 3Б-модели может быть иным.
Заключение. Предложенный подход к проектированию сканирующих устройств позволит разрабатывать малогабаритные 3Б-сканеры для задач оперативного получения трехмерных моделей различных объектов. На основании аналитических расчетов и экспериментальных исследований изготовленного макета определены значения рабочих параметров устройства, при которых достигается высокое быстродействие и качество трехмерной модели сканируемого объекта. Разработанное устройство при существенно меньших габаритах обладает более высоким быстродействием по сравнению с существующими аналогами, что делает перспективным его использование в задачах оперативного получения 3Б-моделей объектов, особенно в полевых условиях, например, непосредственно в местах проведения археологических раскопок.
Библиографический список
1. Чистяков П. В. 3D моделирование археологических артефактов при помощи сканеров структурированного подсвета / П. В. Чистяков, В. С. Ковалев, К. А. Колобова, А. В. Шалагина, А. И. Кривошапкин // Теория и практика археологических исследований. - 2019. - № 3 (27). - С. 102-112.
2. Wrona M. 3D reconstruction with handheld structured light scanner / M. Wrona, W. Piotrowska // 16th International Multidisciplinary Scientific GeoConference SGEM 2016. Conference Proceedings. - 2016. - P. 553-560.
3. Khalil W. New trends in archaeology and museology / W. Khalil // The New Past. - 2020. - № 2. - P. 246-253.
4. Bakirman T. Comparison of low-cost 3D structured light scanner for face modeling / T. Bakirman, M. U. Gumusay, M. O. Selbesoglu, B. Bayram, H. C. Reis, S. Yosmaoglu, M. C. Yaras, D. Z. Seker // Applied Optics. -2017. - Vol. 56, № 4. - P. 985-992.
5. Коротковс В. И. Управление мобильным манипуляционным роботом в задаче адаптивной обработки зеленых насаждений / В. И. Коротковс, С. А. Воротников, Н. А. Выборнов // Прикаспийский журнал: управление и высокие технологии. - 2016. - № 2 (34). - С. 48-58.
6. Уваров К. А. Анализ методов 3D-сканирования и разработка 3D-сканера / К. А. Уваров, А. П. Борисов // Современный взгляд на будущее науки : сборник статей Международной научно-практической конференции : в 3 частях. - 2016. - С. 76-79.
7. Грязнов Н. А. Структурированная лазерная подсветка для технологий трехмерного зрения робото-технических средств / Н. А. Грязнов, В. В. Кириченко, Е. В. Егоров // Оптический журнал. - 2007. - Т. 74, № 8. - С. 37-43.
8. Попов С. Б. Использование структурированной подсветки в системах технического зрения / С. Б. Попов // Компьютерная оптика. - 2013. - Т. 37, № 2. - С. 233-238.
9. DAVID Vision Systems GmbH. DAVID Laserscanner. Starter Kit. Руководство по эксплуатации. - 2014.
10. Ranzuglia G. MeshLab as a complete tool for the integration of photos and color with high resolution 3D geometry data / G. Ranzuglia, M. Callieri, M. Dellepiane, P. Cignoni, R. Scopigno // CAA 2012 Conference Proceedings. - 2013. - P. 406-416.
11. Cignoni P. MeshLab: An Open-Source Mesh Processing Tool / P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia // Sixth Eurographics Italian Chapter Conference. - 2008. - P. 129-136.
12. Lyons G. RpiMotorLib / G. Lyons // GitHub, 2018. - Режим доступа: https://github.com /gavinlyonsrepo/RpiMotorLib/, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 05.02.2021).
References
1. Chistyakov P. V, Kovalev V. S., Kolobova K. A., Shalagina A. V, Krivoshapkin A. I. 3D modelirovaniye arkheologicheskikh artefaktov pri pomoshchi skanerov strukturi-rovannogo podsveta [3D modeling of archaeological artifacts using structured illumination scanners]. Teoriya i praktika arkheologicheskikh issledovaniy [Theory and practice of archaeological research], 2019, no. 3 (27), pp. 102-112.
2. Wrona M., Piotrowska W. 3D reconstruction with handheld structured light scanner. 16th International Multidisciplinary Scientific GeoConference SGEM 2016. Conference Proceedings, 2016, pp. 553-560.
3. Khalil W. New trends in archaeology and museology. The New Past, 2020, no. 2, pp. 246-253.
4. Bakirman T., Gumusay M. U., Selbesoglu M. O., Bayram B., Reis H. C., Yosmaoglu S., Yaras M. C., Seker D. Z. Comparison of low-cost 3D structured light scanner for face modeling. Applied Optics, 2017, vol. 56, no. 4, pp. 985-992.
5. Korotkovs V. I., Vorotnikov S. A., Vybornov N. A. Upravleniye mobil'nym manipulyatsionnym robotom v zadache adaptivnoy obrabotki zelenykh nasazhdeniy [Adaptive processing of green planting with a mobile manipulator robot]. Prikaspiyskiy zhurnal: upravleniye i vysokiye tekhnologii [Caspian Journal: Control and High Technologies], 2016, no. 2 (34), pp. 48-58.
6. Uvarov K. A., Borisov A. P. Analiz metodov 3D-skanirovaniya i razrabotka 3D-skanera [Analysis of 3D scanning methods and development of a 3D scanner]. Sovremennyy vzglyad na budushcheye nauki : sbornik statey Mezhdunarodnoy nauchno-prakticheskoy konferentsii [A modern view of the future of science : Proceedings of the International Scientific and Practical Conference], in 3 parts, 2016, pp. 76-79.
7. Gryaznov N. A., Kirichenko V. V., Yegorov Ye. V. Strukturirovannaya lazernaya podsvetka dlya tekhnologiy trekhmernogo zreniya robototekhnicheskikh sredstv [Structured laser illumination for technologies of three-dimensional viewing of robotic facilities]. Opticheskiy zhurnal [Journal of Optical Technology], 2007, vol. 74, no. 8, pp. 37-43.
8. Popov S. B. Ispolzovaniye strukturirovannoy podsvetki v sistemakh tekhnicheskogo zreniya [The use of structured lighting in computer vision systems]. Kompyuternaya optika [Computer Optics Journal], 2013, vol. 37, no. 2, pp. 233-238.
9. DAVID Vision Systems GmbH. DAVID Laserscanner. Starter Kit. Rukovodstvopo ekspluatatsii [DAVID Vision Systems GmbH. DAVID Laserscanner. Starter Kit. User Manual], 2014.
10. Ranzuglia G., Callieri M., Dellepiane M., Cignoni P., Scopigno R. MeshLab as a complete tool for the integration of photos and color with high resolution 3D geometry data. CAA 2012 Conference Proceedings, 2013, pp. 406-416.
11. Cignoni P., Callieri M., Corsini M., Dellepiane M., Ganovelli F., Ranzuglia G. MeshLab: An Open-Source Mesh Processing Tool. Sixth Eurographics Italian Chapter Conference, 2008, pp. 129-136.
12. Lyons G. RpiMotorLib. GitHub, 2018. Available at: https://github.com/gavinlyonsrepo/RpiMotorLib/ (accessed 05.02.2021).
