CC BY
46УДК 004.932.2
DOI: 10.12737/article_5a337fbe79d953.82565419
В.В. Колякин, В.И. Аверченков, Ф.Ю. Лозбинев, А.А. Реутов, А.А. Обозов
РЕКОНСТРУКЦИЯ ТРЕХМЕРНЫХ МОДЕЛЕЙ РЕАЛЬНЫХ ОБЪЕКТОВ ДЛЯ ПОСТРОЕНИЯ ВИРТУАЛЬНЫХ МУЗЕЕВ
Проведен анализ области трехмерной реальных объектов.
направления применения моделей. Проведен применения трехмерной виртуальных музеев.
текущего состояния в реконструкции моделей Проанализированы виртуальных трехмерных анализ возможности реконструкции в сфере Предложена концепция
создания автоматизированной системы трехмерной реконструкции для построения виртуальных музеев.
Ключевые слова: трехмерные модели, трехмерная реконструкция, облако точек, виртуальная реальность, музеи, виртуальные музеи, обработка изображений.
V.V. Kolyakin, V.I. Averchenkov, F.Yu. Lozbinev, A.A. Reutov, A.A. Obozov
RECONSTRUCTION OF 3D MODELS OF REAL OBJECTS FOR VIRTUAL MUSEUM FORMATION
The purpose of this paper writing is a consideration of the process in the complex automated system realization for the virtual museum formation on the basis of data obtained as photo-images or a video-stream. Basic museum functions are considered thoroughly, it is pointed out a place of modern information technologies in institutions dealing with the collection, analysis, storage and demonstration of certain objects. The topicality of subjects chosen is substantiated, and also there is considered a concept of a virtual museum - an interactive multimedia software product presenting museum collections in an electronic way. In the paper current approaches to 3D reconstruction of objects are reflected, basic differences between contact
Целью проводимой работы является реализация комплексной
автоматизированной системы построения виртуальных музеев на основе данных, получаемых в виде фотоизображений или видеопотока.
Среди задач можно выделить:
• разработку нового эффективного алгоритма поиска преобразования между изображениями, включающую в себя новый метод нахождения точечных особенностей на исходных данных в виде фотоизображений, вычисление дескрипторов этих особенностей и вычисление модели преобразования;
• разработку эффективного алгоритма оценки параметров моделей, получаемых для дальнейшей обработки и генерации облака трехмерных точек;
and contactless techniques of 3D modeling are shown. Besides, there is presented in it a structural functional diagram of the automated system of 3D reconstruction used at virtual museum formation. Functional possibilities of each module are described; mathematical methods in 3D modeling are presented. There is given an assessment of the efficiency of the approach used to the formation of an automated system. Basic ways to the solution of problems connected with formation of virtual areas to show peculiarities of real objects.
Key words: 3D models, 3D reconstruction, point cloud, virtual reality, museums, virtual museums, image processing.
• разработку эффективного алгоритма стереореконструкции для получения облака трехмерных точек и регистрации относительно него фотоизображений;
• разработку автоматизированной системы трехмерной реконструкции для решения задачи построения виртуальных музеев [1].
Современные музеи помогают человеку увидеть сходства и различия между давно исчезнувшими
цивилизациями и современным миром. Благодаря многочисленным историческим трудам и музейным коллекциям сегодня практически каждый человек имеет возможность окунуться в прошлое. Современные музеи - это неотъемлемая часть культуры любого народа и
государства [4].
Большинство ученых сходятся во мнении, что музеем является учреждение, которое занимается сбором, изучением, хранением и экспонированием
определенных предметов. Такими предметами могут выступать памятники естественной истории или материальной культуры. Кроме того, музеи занимаются просветительской и популяризаторской деятельностью [5].
В соответствии с Федеральным законом РФ № 54-ФЗ от 26.05.1996 музей является некоммерческим учреждением культуры, созданным собственником для хранения, изучения и публичного представления музейных предметов и музейных коллекций, а также для достижения иных целей, определенных настоящим федеральным законом.
Изначально понятие музея обозначало коллекцию экспонатов, но начиная с XVIII века оно включает в себя также здание, где располагаются экспонаты. С XIX века музеи начали заниматься научно-исследовательской работой, а с середины XX века началась педагогическая деятельность музеев.
Существуют различные
классификации музеев. Ниже представлена классификация по основным
направлениям (типу экспонатов):
• Этнографический специализируется на истории и современности различных народов, а также на их культуре.
• Археологический экспонирует преимущественно материалы, полученные в результате раскопок, проведенных на территории различных стран.
• Военно-исторический хранит материалы военных и послевоенных времен, включая боевую технику, оружие, одежду и т.д.
• Историко-революционный собирает информацию материального характера о различных государственных реформах в тех или иных странах.
• Общеисторический содержит материалы о происхождении различных государств и истории их развития.
• Технический - к такому профилю можно отнести музеи машиностроения, космонавтики и т. д. [7].
Обычные музеи в настоящий момент не так востребованы, но в связи с активным развитием информационных технологий в последнее время во всем мире, и в частности в России, развиваются виртуальные музеи.
Изначально виртуальный музей представлял собой тип веб-сайта, оптимизированный для экспозиции музейных материалов. Представленные материалы могли быть из самых разных областей: от предметов искусства и исторических артефактов до виртуальных коллекций и фамильных реликвий. Виртуальные музеи за счёт применения интернет-технологий предлагают решение таких традиционных музейных проблем, как хранение, безопасность, обеспечение широкого, быстрого и лёгкого доступа к экспонатам. В отличие от простых коллекций фотографий виртуальный музей характеризуется расширенными
поисковыми возможностями для нахождения и классификации экспонатов.
В 2014 году Министерство культуры России опубликовало технические рекомендации по созданию виртуальных музеев, определяющие критерии отнесения веб-сайта к категории виртуальных музеев для получения государственной поддержки, а также содержащие ряд рекомендаций по использованию технологий для представления предметов музейного фонда и недвижимых объектов культурного наследия [16].
В соответствии с этими техническими рекомендациями понятие виртуального музея приобретает более широкое значение, чем веб-сайт с экспозицией определенных предметов. Согласно данным рекомендациям, виртуальный музей - это интерактивный мультимедийный программный продукт, представляющий музейные коллекции в электронном виде.
Базовым критерием отнесения программного продукта к понятию «виртуальный музей» служит реализация
определенного набора механизмов взаимодействия с посетителем и показателей:
• механизм презентации экспозиции;
• механизм презентации экспоната;
• механизм представления дополнительной информации;
• показатель языковой локализации;
• показатель доли экспозиционных помещений, демонстрируемых в формате виртуального музея, от общего числа экспозиционных помещений музея [16].
Также в данных рекомендациях выделяются три уровня виртуальных музеев, начиная от коллекции фотоизображений и виртуальных туров, построенных на панорамных
изображениях, и заканчивая реализацией трехмерных моделей. Последний уровень наиболее предпочтителен, но является самым труднореализуемым.
Для построения музея третьего
уровня необходимо получить трехмерные модели экспонатов [3].
В настоящий момент методы получения трехмерных моделей реальных объектов можно разделить на два типа:
• Ручное или автоматизированное создание трехмерных моделей. Трехмерные модели создаются непосредственно человеком с помощью систем трехмерного моделирования или систем автоматизированного проектирования.
• Реконструкция трехмерных моделей реальных объектов. Реконструкция трехмерных моделей производится по данным об уже имеющихся изделиях.
Существующие методы
реконструкции трехмерных моделей реальных объектов можно разделить на контактные и бесконтактные (рис. 1).
Рис. 1. Классификация технологий получения трехмерных моделей
Контактные методы получения трехмерной модели подразумевают использование механического устройства -щупа, посредством которого передаются координаты выбранных точек.
Бесконтактные технологии
получения трехмерных моделей более сложные в реализации, чем контактные. Некоторые бесконтактные технологии подразумевают наличие специальных лазерных датчиков, в большинстве случаев заменяющих щуп. Кроме того, преимущество бесконтактных технологий состоит в возможности получения текстур реконструируемых объектов. Получение
текстур достигается за счет использования фото- или видеокамер.
Для создания трехмерных моделей, используемых при проектировании виртуальных музеев, могут применяться оба типа получения моделей, однако каждый из них сопряжен с рядом сложностей. При автоматизированном создании трехмерных моделей человеком тратится значительное количество времени на анализ, сбор данных и непосредственно проектирование. С учетом этого предпочтительной является трехмерная реконструкция, однако и данный способ получения моделей сопряжен с рядом
сложностей. Для трехмерной
реконструкции определенных экспонатов не подходят контактные технологии получения моделей, а в том случае, когда экспонат безвозвратно утерян и остались лишь его фотографии, единственным способом получения его трехмерной модели является трехмерная
реконструкция на основе
фотоизображений [8].
Трехмерная реконструкция моделей
реальных объектов пассивными оптическими методами - одна из классических задач компьютерного зрения, находящаяся на стыке таких областей, как обработка изображений, компьютерная графика и искусственный интеллект.
Принцип реконструкции трехмерных моделей реальных объектов представлен на рис. 2.
Объект г, Реконструированная
иоъект проекции модель
Проецирование
Обратное проецирование
Рис. 2. Принцип трехмерной реконструкции
В большинстве случаев процесс трехмерной реконструкции моделей реальных объектов состоит из следующих этапов:
1) поиск особенностей на изображениях;
2) установление соответствий между найденными особенностями на различных изображениях;
3) непосредственно реконструкция;
4) построение трехмерной модели
[12].
Одним из важных этапов при решении задачи реконструкции
трехмерных моделей реальных объектов является выделение на исходных изображениях определенных окрестностей точек, которые в дальнейшем будут служить для построения следов точечных особенностей, получения карты глубин и, соответственно, получения трехмерного облака точек, необходимого для построения трехмерной модели.
Обнаружение особенностей -низкоуровневая функция обработки изображений и обычно первая операция, которая проверяет каждый пиксель изображения и анализирует, является ли данный пиксель или его окрестность локальной особенностью изображения. В
большинстве случаев алгоритм
обнаружения локальных особенностей является частью более крупного алгоритма, который анализирует изображения только в области локальных особенностей. В тех случаях, когда обнаружение особенностей имеет большую вычислительную сложность и имеется ограничение по времени работы алгоритма, используется алгоритм более высокого уровня [10].
Другим этапом трехмерной реконструкции является подбор моделей, подгоняемых к набору характеристических точек.
В связи с тем что в исходных данных существует множество шумов и выбросов, неустойчивые методы часто дают неверные результаты. Поэтому чаще всего используются методы, основанные на схемах голосования, и устойчивые методы, основанные на оценочных функциях и случайных выборках. Эти методы из-за присущих им недостатков имеют также большое число производных методов. Это позволяет решать задачу нахождения параметров моделей, используя различные методы.
За прошедшее с момента появления RANSAC время было предложено большое
количество методов, устраняющих такие недостатки базового алгоритма, как малая вероятность выборки без шума и выбросов, неточная оценка гипотез и высокая вероятность построения неподходящей модели. Самым
эффективным путем решения этих проблем является использование априорной информации об исходных данных [2].
Одним из последних, но не менее важным этапом является
стереореконструкция.
Стереореконструкция называется плотной, если для каждой точки изображения
восстанавливается соответствующая
трехмерная точка. В противном случае стереореконструкцию называют
разреженной. В контексте общей задачи трехмерной реконструкции наибольший интерес представляет именно плотная стереореконструкция, поскольку она позволяет наиболее полно использовать представленную на изображениях информацию.
На рис. 3 представлена структурно-функциональная схема
автоматизированной системы трехмерной
реконструкции, используемой построении виртуальных музеев.
при
Передача управления
Передача данных
Подсистема генерации виртуальных музеев и 3D-печати
Работа с АР1 подсистемы генерации ВМ
Модуль передачи моделей
Модуль оптимизации моделей
Модуль нахождения
точечных особенностей
Модуль построения дескрипторов ТО
Модуль построения следов ТО
Модуль работы с
подсистемой генерации ВМ И ЗБ-печати
д!
Модуль оценки параметров моделей
Модуль построения карт диспаратности и глубины
Модуль плотной стереореконструкции
I
Модуль получения трехмерной модели
Трехмерные модели
?
Модуль трехмерной реконструкции
Подсистема получения трехмерных моделей
Используемые массивы данных
Рис. 3. Структурно-функциональная схема автоматизированной системы создания виртуальных музеев (ВМ)
За получение трехмерной модели независимо от ее назначения отвечает подсистема получения трехмерных моделей, которая состоит из следующих модулей:
• Модуль трехмерной реконструкции:
- модуль нахождения точечных особенностей (ТО);
- модуль построения дескрипторов
ТО;
- модуль построения следов ТО;
- модуль оценки параметров моделей;
- модуль определения движения камеры;
- модуль построения карт диспаратности и глубины;
- модуль плотной стереореконструкции;
- модуль получения трехмерной модели.
• Управляющий модуль.
• Модуль генерации отчетов.
• Модуль взаимодействия с пользователем.
• Модуль работы с подсистемой генерации ВМ и трехмерной печати:
- модуль оптимизации моделей;
- модуль передачи моделей;
- модуль работы с API подсистемы генерации ВМ.
Модуль взаимодействия с пользователем и модуль генерации отчетов служат для ввода данных и получения различных отчетов для последующего их анализа пользователем.
Модуль работы с подсистемой генерации ВМ служит для оптимизации моделей и передачи в подсистему построения ВМ.
Управляющий модуль управляет всеми потоками данных в подсистеме.
Подсистема генерации ВМ состоит из следующих модулей:
• модуль взаимодействия с пользователем;
• модуль генерации окружения;
• модуль получения трехмерных моделей.
В данной подсистеме модуль
взаимодействия с пользователем выполняет задачи управления,
взаимодействия с пользователем и генерации отчетов.
Модули генерации окружения и получения трехмерных моделей непосредственно выполняют генерацию ВМ.
Модуль трехмерной реконструкции является главным расчетным модулем подсистемы, в нем производятся все необходимые расчеты, анализируются входные данные и генерируется трехмерная модель.
Для выделения из изображения некоторой интерпретируемой информации необходимо привязаться к локальным особенностям изображения. На
изображении возможно выделить особые точки. Особая точка m, или точечная особенность (англ. point feature), изображения - это точка изображения, окрестность которой o(m) можно отличить от окрестности любой другой точки изображения o(n) в некоторой другой окрестности особой точки o2(m). В модуле нахождения точечных особенностей реализуется алгоритм их определения. Затем для дальнейших действий находятся дескрипторы с помощью детекторов. Детектор - это инструмент извлечения особых точек из изображения. Детектор обеспечивает инвариантность нахождения одних и тех же особых точек относительно преобразований изображений. Дескриптор - идентификатор особой точки, выделяющий её из остального множества особых точек. В свою очередь, дескрипторы должны обеспечивать инвариантность нахождения соответствия между особыми точками относительно преобразований изображений. Данные операции реализуются в модуле построения дескрипторов ТО. Построение следов точечных особенностей
реализуется в модуле построения следов ТО [6].
В случае если часть исходных данных порождена не исследуемой моделью, а, например, ошибками измерений (такие данные называются выбросами), результат оценки параметров
модели с помощью метода максимального правдоподобия может оказаться сколь угодно далек от реальных параметров модели. Для решения указанной проблемы разработан ряд методов робастной оценки параметров, учитывающих присутствие выбросов в исходных данных. Данный алгоритм реализуется в модуле оценки параметров моделей. После этого в модуле определения движения камеры
определяются внешние и внутренние параметры камеры, а также ее движение. Затем строятся карты глубины и диспаратности в соответствующем модуле. После получения необходимых данных реализуется алгоритм
стереореконструкции для получения разреженного облака точек, после чего непосредственно реконструируется
трехмерная модель [2].
Из структурно-функциональной схемы видно, что подход, выбранный для реализации автоматизированной системы трехмерной реконструкции трехмерных
СПИСОК ЛИТЕРАТУРЫ
1. Колякин, В.В. Трехмерная реконструкция сложных моделей реальных объектов / В.В. Колякин, В.И. Аверченков, М.В. Терехов // Виртуальное моделирование, прототипирование и промышленный дизайн: материалы III между-нар. науч.-практ. конф. - 2016. - С. 102-107.
2. Колякин, В.В. Методы оценки параметров моделей для решения задачи трехмерной реконструкции сложных моделей реальных объектов / В.В. Колякин, В.И. Аверченков, М.В. Терехов // Вестник Брянского государственного технического университета. - 2016. - № 3 (51). -С. 233-242.
3. Аверченков, В.И. Принципы изготовления изделий с использованием оборудования для быстрого прототипирования / В.И. Аверченков, М.В. Терехов, В.В. Колякин // Виртуальное моделирование, прототипирование и промышленный дизайн: материалы II междунар. науч.-практ. конф. - 2016. - С. 368-372.
4. Гужов, В.И. Методы измерения 3D-профиля объектов. Контактные, триангуляционные системы и методы структурированного освещения: учеб. пособие / В.И. Гужов. -Новосибирск: Изд-во НГТУ, 2015. - 82 с.
5. Майоров, А.А. Мониторинг инфраструктуры пространственных данных / А.А. Майоров, И.В. Соловьёв, В.Я. Цветков, С.С. Дубов, Ф.Ф. Шкуров. - М.: Изд-во МИИГАиК, 2012. - 198 с.
6. Иванов, В.П. Трёхмерная компьютерная графика / В.П. Иванов, А.С. Батраков; под ред. Г.М. Полищука. - М., 2011. - 224 с.
моделей для дальнейшего их использования в системах виртуальной реальности, в частности при реализации виртуальных музеев, а также для трехмерной печати полученных моделей, позволяет реализовать модули таким образом, чтобы при разработке новых математических моделей конкретной задачи не было необходимости в доработке остальных. Это видно на основе как модулей самой системы, так и модулей, входящих в состав модуля трехмерной реконструкции. Кроме того, при реализации отдельных алгоритмов разрабатываются модели, в которых используется глубокое обучение. В частности, для обнаружения точечных особенностей, получения их дескрипторов и следов применяются сверточные нейронные сети. Предложенное разбиение модуля трехмерной реконструкции на блоки позволяет достаточно просто реализовать обучение нейронных сетей, используемых в системе.
7. Драгомиров, Д.Ю. Компьютерная трехмерная реконструкция памятников архитектуры / Д.Ю. Драгомиров // Вестник УдмГУ. - 2006. - № 12.
8. Ли, Дж. Трёхмерная графика и анимация / Дж. Ли, Б. Уэр. - 2-е изд. - М.: Вильямс, 2002. - 640 с.
9. Davies, E.R. Machine Vision: Theory, Algorithms, Practicalities / E.R. Davies. - Morgan Kaufmann, 2004.
10. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. - 2nd еd. - 2012. -792 p.
11. Hough, P.V.C. A method and means for recognizing complex patterns: US patente 3069654. -1962.
12. Дегтярева, А. Преобразование Хафа (Hough transform) / А. Дегтярева, В. Вежневец // Компьютерная графика и мультимедиа. - 2003. -Вып. № 1(2).
13. Hartley, R. Multiple View Geometry in Computer Vision / R. Hartley, A. Zisserman. - 2nd ed. -Cambridge University Press, 2003.
14. Fischler, M.A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / M.A. Fischler, R.C. Bolles // Comm. Of the ACM. - 1981. -№ 24. -P. 381-395.
15. Chum, O. Two-View Geometry Estimation by Random Sample and Consensus: PhD Thesis / O. Chum. - 2005.
16. Технические рекомендации Министерства культуры РФ по созданию виртуальных музеев.
1. Kolyakin, V.V. 3D reconstruction of complex models of real objects / V.V. Kolyakin, V.I. Averchen-kov, M.V. Terekhov // Virtual Modeling, Prototyping and Industial Design: Proceedings of the III-d Inter. Scientif.-Pract. Conf. - 2016. - pp. 102-107.
2. Kolyakin, V.V. Methods for parameter assessment of models of to solve problems of 3D reconstruction complex models of real objects / V.V. Kolyakin, V.I. Averchenkov, M.V. Terekhov // Bulletin of Bryansk State Technical University. - 2016. -No.3 (51). - pp. 233-242.
3. Averchenkov, V.I. Principles of manufacturing products using equipment for quick prototyping / V.I. Averchenkov, M.V. terekhov, V.V. Kolyakin // Virtual Modeling, Prototyping and Industrial Design: Proceedings of the II-d Inter. Scientif. Pract. Conf. - 2016. - pp. 368-372.
4. Guzhov, V.I. Measuring Procedures for 3D Objects. Contact Triangulation Systems and Methods of Structured Lighting: manual / V.I. Guzhov. -Novosibirsk: NSTU Publishers, 2015. - pp. 82.
5. Mayorov, A.A. Spatial Data Infrastructure Monitoring / A.A. Mayorov, I.V. Soloviyov, V.Ya. Tsvetkov, S.S. Dubov, F.F. Shkurov. - M.: Publishing House of MIECA and C, 2012. - pp. 198.
6. Ivanov, V.P. 3D Computer Graphics / V.P. Ivanov, A.S. Batrakov; under the editorship of G.M. Polishchuk. - M., 2011. - pp. 224.
7. Dragomirov, D.Yu. 3D computer reconstruction of architectural monuments / D.Yu. Dragomirov // Bulletin of UdmSU. - 2006. - 2006. - No.12.
8. Lee, J. 3D Graphics and Animation / J. Lee, B. Wear. - 2-d ed. - M.: Williams, 2002. - pp. 640.
9. Davies, E.R. Machine Vision: Theory, Algorithms, Practicalities / E.R. Davies. - Morgan Kaufmann, 2004.
10. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. - 2nd ed. - 2012. -792 p.
11. Hough, P.V.C. A method and means for recognizing complex patterns: US patente 3069654. -1962.
12. Degtyareva, A. Hough Transformation (Hough transform) / A. Degtyareva, V. Vezhnevets // Computer Graphics and Multi-media. - 2003. - Issue. No.1 (2).
13. Hartley, R. Multiple View Geometry in Computer Vision / R. Hartley, A. Zisserman. - 2nd ed. -Cambridge University Press, 2003.
14. Fischler, M.A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / M.A. Fischler, R.C. Bolles // Comm. Of the ACM. - 1981. -№ 24. -P. 381-395.
15. Chum, O. Two-View Geometry Estimation by Random Sample and Consensus: PhD Thesis / O. Chum. - 2005.
16. Engineering Recommendations of the Ministry of Culture of the RF on Virtual Museums Creation.
Статья поступила в редколлегию 20.11.17. Рецензент: д.т.н., профессор Брянского государственного
технического университета Мирошников В.В.
Сведения об авторах:
Колякин Владислав Валерьевич, аспирант кафедры «Компьютерные технологии и системы» Брянского государственного технического университета, тел.: +7(900) 695-99-98, e-mail: vladislavkol93 @mail .ru.
Аверченков Владимир Иванович, д.т.н., профессор кафедры «Компьютерные технологии и системы» Брянского государственного технического университета, тел.:(4832) 56-05-33, e-mail: aver@tu-bryansk.ru.
Лозбинев Фёдор Юрьевич, д.т.н., профессор ка-
федры «Компьютерные технологии и системы» Брянского государственного технического университета, e-mail: flozbinev@yandex.ru. Реутов Александр Алексеевич, д.т.н., профессор кафедры «Подъёмно-транспортные машины и оборудование» Брянского государственного технического университета, тел.: (4832) 68 89 51. Обозов Александр Алексеевич, д.т.н., профессор кафедры «Тепловые двигатели» Брянского государственного технического университета, тел.: (4832) 588-230.
Kolyakin Vladislav Valerievich, Post graduate student of the Dep. "Computer Techniques and Systems", Bryansk State Technical University, e-mail: vladislav-kol93@mail.ru.
Averchenkov Vladimir Ivanovich, D. Eng. of the Dep. "Computer Techniques and Systems", Bryansk State Technical University, e-mail: aver@tu-bryansk.ru.
Lozbinev Fyodor Yurievich, D. Eng., Prof. of the Dep. "Computer Techniques and Systems", Bryansk
State Technical University, e-mail:
flozbinev@yandex .ru.
Reutov Alexander Alexeyevich, D. Eng., Prof. of the Dep. "Lifting Vehicles and Equipment", Bryansk State Technical University, phone: (4832) 688951. Obozov Alexander Alexeyevich, D. Eng., Prof. of the Dep. "Heat-Engines", Bryansk State Technical University, phone: (4832) 588230.
