CC BY
0
Интеграция атрибутивной информации объектов с их графическими образами в системе виртуальной реальности VR Concept
Е.А. Стогний, Т.Ф. Волобуева, В.А. Сычев
Аннотация— Работа посвящена разработке технологии интеграции атрибутивной информации объектов с их графическими образами в системе виртуальной реальности VR Concept. Реализован подход к интеграции атрибутивных параметров физических свойств элементов модели с ее геометрическим образом в целях реализации корректного физического взаимодействия элементов модели. Выполнен сравнительный анализ основных форматов цифровых моделей и наиболее распространенных сред для создания обучающих VR-тренажеров. Выполнен анализ возможностей и ограничений базовой версии импортонезависимой среды виртуальной реальности VR Concept для реализации физических закономерностей в интерактивном виртуальном пространстве. Разработаны расширяющие функционал продукта плагины, реализующие присвоение определенных физических свойств объектам сцены и обработку их физического взаимодействия. Апробация разработанной технологии производится на подготовленных в ходе работы виртуальных тренажерах, представляющих собой физические эксперименты.
Ключевые слова—виртуальная реальность, VR, VR Concept, атрибутивная информация, физическое свойство, VR-тренажер, физический эксперимент
I. ВВЕДЕНИЕ
Виртуальная реальность (Virtual Reality, VR) - цифровая технология, позволяющая погружать человека в искусственную трехмерную среду. Основное внимание создаваемой в виртуальной реальности модели уделено воссозданию эффекта присутствия пользователя в ином пространстве посредством детального визуального сопровождения. Для такой модели физически реалистическое поведение не является априори предопределенным. Однако только визуального эффекта недостаточно для многих практически важных приложений интерактивных технологии. Адекватность модели реальности требует реализации соответствия взаимодействия объектов между собой и с пользователями физическим закономерностям реального мира [1].
Применение VR востребована во многих сферах деятельности и внедряется в обучающие и в производственные процессы. VR активно интегрируется с
BIM-технологиями, начиная от презентации заказчику объемной модели в виртуальной реальности и заканчивая ее виртуальной реконструкцией [2].
На современном уровне цифрового проектирования работа с данными модели приобрела особую важность для автоматизации обосновывающих расчетов на основе атрибутивной информации по элементам BIM-моделей [3]. Виртуальная реальность также применяется для инженерных задач. Однако существующие VR продукты достаточно адекватно обрабатывают графические образы BIM- и CAD- моделей, но не обеспечивают передачу атрибутивных данных о свойствах элементов, что препятствует корректному моделированию поведения систем в виртуальной среде [4].
В данной статье представлен подход к реализации технологии интеграции атрибутивной информации объектов с их графическими образами в системе виртуальной реальности VR Concept и его практическая реализация. Такой подход позволяет реализовать моделирование поведения и взаимодействия компонент в среде VR Concept на основе известных физических закономерностей и имманентно присущих объектам свойств, данные о которых содержатся в атрибутивной информации.
II. ИНДУСТРИЯ РАСШИРЕННОЙ
РЕАЛЬНОСТИ XR И ИСПОЛЬЗОВАНИЕ VR ДЛЯ
ЗАДАЧ ИНЖЕНЕРНОГО МОДЕЛИРОВАНИЯ Виртуальная реальность, а также дополненная и смешанная реальность - это новые технологии, подпадающие под понятие расширенной реальности (XR, Extended reality) (Рисунок 1). Добавляя цифровую информацию и объекты в естественную, реальную физическую среду, иммерсивные медиа AR, MR и VR позволяют пользователю манипулировать реальностью
[5].
Рнспшр^нкиы реальность (XR)
® ©— о-о
(№икгни|лн Лип д. nit.....я <чс ni,i и iu и Нмрпишдн
рНЛЬНОТЬ |ll». l "K 11.1\ КI рПЛМЮТЪ i ЧН I . I III L : i > - \ ti
Рисунок 1 - Схема уровней реальности в разрезе цифровых технологий [6]
Технология виртуальной реальности (virtual reality, VR) - это комплексная технология, позволяющая погрузить человека в виртуальный мир при использовании специализированных устройств (шлемов виртуальной реальности). Виртуальная реальность обеспечивает полное погружение в компьютерную среду, окружающую пользователя и реагирующую на его действия естественным образом. Виртуальная реальность конструирует новый искусственный мир, передаваемый человеку через его ощущения: зрение, слух, осязание и другие. Человек может взаимодействовать с трехмерной, компьютеризированной средой, а также манипулировать объектами или выполнять конкретные задачи. В своей простейшей форме виртуальная реальность включает 360-градусные изображения или видео. Достижение эффекта полного погружения в виртуальную реальность до уровня, когда пользователь не может отличить визуализацию от реальной обстановки, является задачей развития технологии [7].
Несмотря на то, что интерес к виртуальной реальности активно возрастает только в последнее десятилетие, данная технология уже не один десяток лет применяется крупными научными и военными организациями для решения инженерных задач.
Благодаря развитию развлекательной индустрии (компьютерной игровой индустрии, в частности) оборудование для виртуальной реальности становится доступнее - графические видеокарты увеличивают свою мощность, а VR-шлемы приобретают большую автономность и мобильность [9].
Немецкое исследование индустрии XR показывает, что наибольший потенциал AR и VR находится в секторе проектирования и моделирования (67%), за которым следуют презентации продуктов (62%) и обучение (60%) [5].
Использование современных программных решений дает возможность быстро выводить комплекс BIM-моделей в виртуальную среду и делать их доступными для интерактивного взаимодействия [9]. В настоящее время технология виртуальной реальности применяется для решения разнообразных инженерных задач, таких как:
- Презентация инженерного продукта заказчику. Благодаря использованию VR специалисты имеют возможность презентовать готовый продукт (проект), максимально приближенный к инженерному объекту в реальных условиях, без необходимости его физического посещения (или возведения), что ведет к снижению стоимости процесса [10];
- Приобретение первоначальных навыков управления сложными устройствами в безопасной среде;
- Визуальная оценка проекта. Помещенный в виртуальную реальность инженер имеет возможность произвести оценку габаритов объекта, его форм, материалов, цветовых решений с различных позиций и ракурсов [11];
- Тестирование конструкций - проведение виртуальных испытаний. Виртуальная реальность позволяет инженерам проверять эффективность своих решений, отслеживать возникающие коллизии и нестыкующиеся поверхности, а также выбирать оптимальные варианты;
- Коллективное обсуждение инженерного проекта в режиме реального времени. С использованием VR появляется возможность сокращения времени, затрачиваемого на согласование вносимых в проект корректировок, а также на координацию действий членов команды. Важное преимущество VR-технологий -возможность обеспечения дистанционного доступа к VR-проекту с помощью интернета, что позволяет заказчику и исполнителям одновременно в общей У^среде проводить изучение, оценку и обсуждение решений по разрабатываемому объекту, при этом участники могут находиться в различных точках мира [11];
- Обучение и инструктаж сотрудников. Технология виртуальной реальности дает возможность обучения инженеров в интерактивной среде с отработкой навыков с помощью виртуальных тренажеров.
III. СРАВНЕНИЕ ОСНОВНЫХ ФОРМАТОВ
ЦИФРОВЫХ МОДЕЛЕЙ VR И СРЕД ДЛЯ РАЗРАБОТКИ VR-ПРОЕКТОВ
В связи с постоянным прогрессом в XR-технологиях, развитием игрового дизайна и визуальных эффектов, а также активным выходом строительных компаний в 3D-пространство, появляются новые форматы файлов моделей, удовлетворяющие различным возможностям отображения [12].
Основной задачей любого 3D-файла является хранение информации о модели в определенном структурированном формате. Как правило, для VR инструментов формат содержит информацию о геометрию модели, визуальных эффектах (освещенность и текстуру поверхности), структуре сцены. Для ряда задач записывается информация об анимации, понимаемой как пространственные перемещения компонентов сцены.
Формат 3D-модели определяет ее корректную визуализацию. Для динамических, интерактивных и многопользовательских VR-приложений все
наблюдаемые эффекты сводятся к обмену данными в заданном формате между программными инструментами просмотра и модификации VR-моделей, а также отображении этих данных для органов чувств пользователей специализированным оборудованием.
Рассмотрим популярные открытые и проприетарные форматы 3D-моделей.
Открытый формат IFC был разработан компанией buildingSMART для упрощения передачи информации в
инженерной сфере. Поддерживает большинство известных САПР.
DWG - формат файлов, используемый для хранения 2D и 3D данных, предмет юридических споров Autodesk и CAD-сообщества. Autodesk продаёт набор библиотек RealDWG под ограниченной лицензией, а некоммерческое объединение Open Design Alliance выпустило собственную разработку - библиотеку OpenDWG Toolkit.
DXF - открытый формат (открытый исходный код), разработанный Autodesk для AutoCAD. Служит отраслевым стандартом, используется многими разработчиками [13]. Ориентирован на обеспечение совместимости.
STEP - открытый формат высокой точности и межплатформенной совместимости. Корректная детализация обеспечивается возможностью исключить упрощение элементов до стандартных геометрических фигур.
STL - формат, широко используемый в аддитивных технологиях 3D-печати.
OBJ - один из самых популярных для передачи 3D-геометрии. Широкая поддержка экспорта-импорта среди САПР.
FBX - проприетарный формат, принадлежащий Autodesk. Существует FBX SDK от Autodesk для C++ и Python, а также дополнение для импорта и экспорта FBX от Blender. OpenEndedGroup's Field разработала свою Java-библиотеку для загрузки и распаковки FBX-файлов.
Структура открытого формата glTF записана в стандарте JSON, хорошо сжимает 3D-модели. Формат разработан для упрощения обмена 3D-контентом. Существует множество утилит с открытым исходным кодом, доступных для разных языков программирования: JavaScript, Node.js, C++, C#, Haskell, Java, Go, Rust, Haxe, Ada и TypeScript.
Сравнительно новый формат USD был разработан Pixar в 2016 г. для обмена и совместной работы. Для формата представлено множество плагинов и расширений, а также разработан USDZ - формат, созданный Apple и Pixar специально для целей AR.
Формат Collada (DAE) принят ISO как общедоступная спецификация ISO/PAS 17506. Широко используется в кино- и видеоиндустрии.
При анализе и выборе форматов необходимо учитывать спецификацию (открытый / проприетарный), хранимые данные, совместимость с программным обеспечением, возможность корректного преобразования,
распространенность и заложенные в спецификацию формата ограничения.
Существует множество сред для разработки программного обеспечения в VR. Одним из основных драйверов развития технологии виртуальной реальности являются компьютерные игры, но даже те приложения, которые не являются играми, весьма близки к ним по технологиям разработки [14]. Процесс виртуального моделирования имеет множество аналогий с процессом разработки современных компьютерных игр [1].
Выбор программных средств для разработки и демонстрации VR-проекта основывается на соответствии требованиям достаточной реалистичности графического представления, удобством инструментов и интерфейса программы для разработчика и пользователя, вариативностью методов решения, поставленной задачи, разнообразием и богатством функционала [11].
Для сравнительного анализа были выбраны российские продукты - VR Concept, Varwin, T-Flex VR, Unigine, а также популярные иностранные среды Unity, Unreal Engine и Resolve.
VR Concept - разработка российской компании с одноименным названием, инструмент виртуального прототипирования, позволяющий работать с 3D моделями CAD и BIM-форматов. Решение VR Concept применяется в машиностроении (Кировский завод), промышленности и строительстве («Газпром нефть»), образовании (НИЯУ МИФИ, МГТУ им. Баумана и БГТУ им. В.Г. Шухова).
Платформа Varwin разработана компанией «3Д Инновации». Varwin SDK предоставляет возможность переноса объектов и шаблонов сцен из Unity в Varwin XRMS, и позволяет редактировать сцены без использования программирования. Ключевые
направления Varwin включают образование и бизнес: платформа используется более чем в 800 школах, а количество созданных компанией VR-проектов - более 100.
T-Flex VR, разработка компании «Топ Системы», с расширением для T-FLEX CAD и позволяет работать с моделями в 3D пространстве. T-Flex VR применяется инженерами в процессе планирования и проектирования, при разработке промышленного дизайна, подготовке презентаций, участии в выставках, обучении персонала. T-FLEX VR поддерживает работу с технологией Stereo 3D.
Unigine - разработка российской компании «Юниджайн». Предоставляет пользователям 3 версии SDK для различных нужд - Sim SDK для разработки симуляторов и тренажеров, Engineering SDK для встраивания в корпоративные приложения и Community SDK для индивидуальных разработчиков игр и 'УгЯприложений. Unigine поддерживает
высокопроизводительную обработку данных ГИС и САПР.
Unity - кроссплатформенная среда разработки компании Unity Technologies. Основная сфера использования Unity -разработка компьютерных игр. Также данная среда используется для визуализации математических моделей. В 2023 г. компания выпустила набор продуктов Unity Industry для создания цифровых двойников умных производств, а являющийся частью данного набора плагин Pixyz позволяет импортировать более 40 различных типов 3D моделей и САПР.
Unreal Engine, разработанный Epic Games, аналогично Unity используется преимущественно для создания компьютерных игр, а также для работы с графикой в кинематографе. Применение Unreal Engine в инженерной сфере затрагивает автомобильное производство. Инженеры таких крупных компаний, как Audi, Chevrolet и
Volkswagen применяют Unreal Engine при создании VR-симуляций для потенциальных покупателей и проектировании, а инженеры BMW используют данный движок на всех стадиях своего производства. Медицинская компания Precision OS применяет Unreal Engine при разработке VR-тренажеров для хирургии.
Resolve - новое BIM-решение на движке Wellington Engine, разработка компании InsiteVR. В отличие от Unity или Unreal Engine, движок оптимизирован под работу с большими BIM и позволяет просматривать модели до 500 миллионов полигонов. Resolve интегрирован с Autodesk Build, BIM 360 Docs и BIM 360.
Сравнение программного обеспечения для создания проектов в виртуальной реальности на основе [15], [14], [16], [17], [18], [19], [20], [21], [22], [23] см. Рисунок 2.
по «bof SIJTU xuoopinpvntui МП JfH-fl М(иифиьлмна
Unity c*, C-H- ♦ fBX CAD (*.ohj), * A* (Collfldi). DWG(*<tefi UjatyrïDK
T-FWx VR(T-FLEX САГ» 0-. C* ♦ DWfï * prt> Si«nrtw ГШ (* pn. * ™v ■ ni«k> Iff CATÍA. Pío ESOEStЕЛ, SalidWab -
Unreal Enfin«- C-—, c» Hliwçeint fSXCAD(*obj) L'MÍ»1 Loiiifí
RoviïT « AmodrA C*-, ValkŒ NWF. KVT. RFA. RTE. WT. Фмп 70 ффкии* ( BW S» Do» H*t a««KX
VeU'ia tel Sfi^«. c* Blockly ♦.Ди,*.оЦ, »Ae, ♦.gib, ViTA-ш SDK m £»» Uniiy
— C+-.C* ' "мри*- Kmft fBX OBI COLLADA (*d*). ?LY. JUS, jJÎP.OLB, CAD <*jg», * it»p. * stL ' bnpi L'mpte SDK, шгшршш! с DfMiYR KHK
VR ÇûûCCpl c*- líiuíptiní 5DM itWML CAD DGN. DWÏr IBX OLTT B=C№.JSOÎÎ. РСГ SAT St*iria4 *ml SDK VR Совкр«
Рисунок 2 - Сравнительный анализ программных сред
IV. ПРОБЛЕМА АДЕКВАТНОСТИ МОДЕЛЕЙ В
ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ
Безусловно, при первых опытах с цифровой виртуальной реальностью большинство пользователей обнаруживают «ВАУ - эффект». Все выглядит как настоящее, можно выполнять активные действия с объектами и взаимодействовать с людьми. Визуализация хорошо соответствует реальному облику сцены, при смене точки зрения наблюдателя, направления взгляда, масштаба картинка меняется «как в жизни».
Однако, несколько привыкнув к новому инструменту, мы обнаруживаем, что соответствие реальному миру -лишь видимость. Объекты проходят сквозь стены, пользователь «вручную» поднимает целый дом, падение тяжелого объекта на ажурную конструкцию не разрушает ее, магниты не притягиваются, чайник на огне не закипает и так далее... То есть мы имеем вовсе не «виртуальную реальность», а «видимость виртуальной реальности». Правда, в определенных случаях мы сталкиваемся с хорошо проработанными сценами VR - например лабораторными работами или визуализацией инженерных процессов. Но быстро выясняется, что это вручную прописанные сценарии для конкретной конфигурации с ограниченными возможностями. В физической реальности заменив алюминиевую деталь на стальную мы увеличим прочность и вес изделия. Заменив деревянную стенку на медную - ускорим теплообмен. Бросив в водоем кирпич - он утонет, а внешне такой же кусок пенопласта
поплывет. И это понятно - в физической реальности объекты имеют не только геометрическую форму, но и неотделимые физические свойства - и их взаимодействие между собой и с человеком обусловлено законами природы. В настоящее время в цифровой виртуальной реальности это единство геометрической формы и других физических свойств не реализовано удовлетворительным образом ни в одном из существующих форматов данных и ни в одной из сред разработки VR-моделей.
Конечно, мы можем разрабатывать реалистические сцены - но путем прямого программирования траекторий перемещения виртуальных объектов в соответствии с физическими законами. Но при этом моделирование поведения систем в виртуальной среде становится ближе к ручной работе, чем к инженерной деятельности. И мы немедленно получаем эффект «hand-made» моделей. Они становятся дорогими и не универсальными. Виртуальный процесс для идентичных визуально объектов с разными свойствами приходится каждый раз перепрограммировать вручную. Виртуальный эксперимент превращается в искусственную поставочную визуализацию, требующую переработки кода каждый раз.
Следствием является два эффекта - достаточно большая трудоемкость цифровых продуктов VR (а следовательно высокая стоимость и сроки разработки), и требования к квалификации команды разработчиков - они должны быть и программистами, и физиками, и методологами. Высокая стоимость и длительные сроки ведут к ограничениям спроса, сокращению инвестиций в технологию и замедлению технологического развития направления VR. Потребительскую ценность при сложившемся подходе имеют в основном высокотиражные продукты с низким разнообразием -досуговые приложения и демонстрационно-образовательные продукты. Инженерные приложения, имеющие высокую сложность, вариабельность, гибкость и практическую ценность явно востребованы недостаточно.
Одним из подходов к прорыву из этого технологического тупика, по нашему мнению, может стать переход работе с комплексными моделями объектов в виртуальной реальности. В любом случае, виртуальный объект - это набор данных. На данном этапе - данных о геометрии (форме) объекта и его расположении в пространстве. Этот комплекс данных необходимо дополнять набором других физических характеристик, существенных для моделирования поведения системы в виртуальной реальности на основании физических закономерностей и свойств компонент системы. В принципе, такая интеграция геометрии и физических свойств востребована и реализована в цифровых инженерных приложениях - CAD и BIM-продуктах. Уже достаточно давно реализуется подход интеграции геометрических параметров элементов проекта с их параметрами и свойств, носящих название атрибутивной информации или атрибутивных параметров моделируемых объектов. Такой подход дает возможность эффективно объединять цифровые инструменты пространственного проектирования с инструментами
расчетных обоснований для различных аспектов моделирования (прочностных, теплофизических, гидродинамических и иных).
По этому пути начинают двигаться и лидеры рынка продуктов в сфере виртуальной реальности. Так в Unity (например, движение, гравитацию, столкновения и подвижность суставов) введены настройки позволяющие наделять элементы сцены определенными свойствами: массой, параметрами упругости, плотности, динамического и статического трения, включать различные режимы моделирования, например «использование гравитации» или «включение кинематики» [21,22].
Поскольку T-Flex VR является модулем T-Flex CAD, добавление физических параметров происходит непосредственно в T-Flex CAD. Материал - это элемент T-Flex CAD, содержащий перечень характеристик реального материала. Материал можно присвоить всей модели в целом, либо нанести материал на отдельную грань. Физико-механические параметры материала учитываются при расчёте масс-инерционных характеристик, а также при проведении конструкционных расчётов в модуле анализа [25]. В качестве таких параметров, например, могут задаваться плотность, предел прочности на разрыв или на сжатие, предел текучести, удельная теплоемкость, модуль упругости, модуль сдвига, теплопроводность. При этом удобство и адекватность моделирования свойств и поведения системы при замене части элементов на аналоги из другого материала непосредственно в продукте T-Flex VR требует дополнительного изучения. Также у авторов нет информации о возможностях переноса в виртуальную реальность T-Flex VR атрибутивных свойств для моделей, разработанных исходно в других CAD-приложениях (задача обеспечения интероперабельности).
В Unreal Engine физические свойства объектов описываются с помощью компонента физики, который можно добавлять к любому объекту. Компонент физики может определять физические свойства объекта: массу, упругость, прочность, трение, плотность. Могут подключаться режимы моделирования определенных физических процессов (гравитация, динамика, деформация и разрушение). Физические параметры могут использоваться для определения реакции физического объекта при динамическом взаимодействии с «миром».
Resolve не реализует функционала по добавлению каких-либо свойств модели. Данная VR-среда ориентирована только на загрузку и просмотр готовых моделей.
Для продукта Unigine физическая реальность и привязка данных о свойствах компонент сцены в виртуальной реальности организовано достаточно нетривиально и несколько противоречиво. Обладать физическими свойствами и взаимодействовать с другими объектами и средой могут только объекты (Objects). Тела (body) в Unigine можно считать физическим приближением объектов. Они описывают поведение объекта и представляют собой набор его физических параметров,
таких как масса, скорость и т.д. Каждый тип тела используется для моделирования определенного типа объекта и обладает своим набором физических свойств. В то время как тело имитирует различные типы физического поведения, форма (shape) представляет собой объем пространства, занимаемого физическим телом [20].
В минимальном объеме интеграция геометрии и атрибутивной информации (физических свойств объектов) реализована в базовом функционале VR Concept. Плагин «Механическое свойство» позволяет добавлять некоторые физические свойства объектам сцены VR Concept, такие как плотность, масса, трение, упругость. Реализован режим гравитации [15]. Таким образом, данный продукт весьма ограниченно дает возможность присваивать физические параметры объектам сцены. При этом VR Concept позволяет наиболее быстро, просто и точно переносить в виртуальную реальность параметрические инженерные модели, то есть имеется большой потенциал по качественному и высокопродуктивному созданию сцен виртуальной реальности, корректно отображающих результаты инженерного проектирования в виртуальной интерактивной среде. Следующим логичным направлением наращивания функционала продукта является проработка технологии адекватного моделирования поведения объектов в этих сценах на базе свойств объектов и физических закономерностей.
V. РАСШИРЕНИЕ ФУНКЦИОНАЛЬНОСТИ
СРЕДЫ РАЗРАБОТКИ VR CONCEPT ДЛЯ
ИНТЕГРАЦИИ АТРИБУТИВНОЙ ИНФОРМАЦИИ С ГЕОМЕТРИЧЕСКИМИ ОБЪЕКТАМИ
Поскольку VR Concept является программным обеспечением с закрытым исходным кодом, основной возможностью для расширения функционала пользователями программы выступает SDK (software development kit). SDK VR Concept является проприетарным и не предоставляет возможности изменять исходный код программы. SDK VR Concept содержит:
- Примеры кода трех Sample-плагинов на C++;
- Внутренние представления SDK;
- Фреймворк OpenSceneGraph (OSG). OSG является графическим движком, предоставляющим объектный интерфейс к спецификации библиотек OpenGL. OpenGL в свою очередь необходима для отрисовки сложных трёхмерных сцен и содержит более 300 функций для реализации данных целей;
- Фреймворк Qt, используемый для создания приложений с графическим интерфейсом. Qt содержит классы и функции для разработки приложений и работы с данными;
- Интерфейсы OSG и Qt для взаимодействия SDK с фреймворками.
Архитектура SDK представлена на Рисунке 3.
SDK Application
S..К Interfaces
С++ Interface OSG Interface
Qt Interface
Qt Module
SOK Plugin Samples
Рис. 3 - Архитектура SDK VR Concept
Для работы некоторых функций VR Concept использует автоматически включающиеся плагины [15]. Плагин - это программный модуль, который подключается к основной программе и расширяет её функционал. VR Concept позволяет подключать как встроенные по умолчанию плагины, так и создаваемые самим пользователем. Каждый плагин VR Concept содержится в некоторой библиотеке, которая может включать в себя несколько плагинов. При необходимости плагины можно добавлять и удалять на панели плагинов.
В качестве реализации технологии интеграции атрибутивной информации объектов с их графическими образами реализована разработка плагина, добавляющего необходимый функционал в VR Concept. В частности реализована возможность добавления физических свойств к выбранным объектам и изменения значений данных свойств в соответствующих полях непосредственно в интерфейсе VR Concept (VR UI). Для отображения физического поведения объектов необходима обработка события пересечения объектов и вывод нужных данных на индикатор в VR UI.
На Рисунке 3 представлены сценарии использования технологии (Usecase-диаграмма). Через интерфейс VR Concept (VR UI) реализуются основные функции разработанных авторами плагинов - добавление полей физических свойств, изменение значений этих полей, а также обработка физического взаимодействия объектов сцены при проведении эксперимента в виртуальной реальности.
V4Cor*:fpt VR и
Разрабатываемый плагин для добавления физического свойства - PhysicalProperty основан на классе UserProperty, который содержит два основных метода:
- InitParameters инициализирует добавляемые параметры;
- onParametersChanged вызывается каждый раз, когда изменяются параметры свойства в интерфейсе VR Concept.
Плагин для обработки физики WeightProcessingPlugin основывается на базовом для любого плагина классе BasePlugin и интерфейсе IInteractivePlugin, предоставляющем методы для обновления сцены при каждом программном тике. Аналогично WeightProcessingPlugin, плагин LiquidDiveProcessingPlugin основывается на классе BasePlugin и интерфейсе IInteractivePlugin.
Основные методы BasePlugin включают в себя:
- Init инициализирует сам плагин;
- InitPluginParameters добавляет и инициализирует параметры плагина;
- onParametersChanged вызывается каждый раз при изменении параметров плагина.
Интерфейс IInteractivePlugin содержит следующий основной метод:
- MasterUpdate вызывается при каждом программном тике, в нем описывается любая логика для моментального обновления сцены.
Классы, от которых наследуются создаваемые плагины, предоставляются VR Concept SDK. Верхнеуровневая архитектура плагинов представлена на Рисунке 5.
class UserProperty
void Initfir-sncti-rsU
(CHIt P»rin»i»rS*tS piruO
■ ,1 ' ' BasePlugin
void InitthMl. tnutcrSifr)
OrPâl vr' fî С I- тт: '*
interface IInteractivePlugin
> X
class a«№ysical Property)»» class ««UeightProcessirvg Plugin»» class «<( Liqu idD i vePro ce ss ing Plugin»»
Рис. 5 - Архитектура плагинов
В качестве подготовки к сборке плагина в VR Concept необходимо установить следующее программное обеспечение актуальных версий (Рисунок 5):
- VR Concept с лицензией разработчика;
- SDK VR Concept - инструмент для расширения функционала существующих плагинов и создания новых на языке объектно-ориентированного программирования С++. Необходимо обратить внимание на то, что в пути к папке не должно встречаться символов кириллицы;
- Visual Studio - интегрированная среда разработки программного обеспечения. Необходимо установить не только саму IDE, но также и её компоненты - MSBuild, MSVC, Средства Cmake C++ для Windows;
- CMake - средство автоматизации сборки программного обеспечения из исходного кода.
Рисунок 4 - Use-Case диаграмма
m
VR Concept
Рис. 6 - ПО для разработки плагина VR Concept В качестве языка разработки плагинов был выбран С++, на котором написан VR Concept.
VI. РЕАЛИЗАЦИЯ ТЕХНОЛОГИИ В РЕЖИМЕ
ЭКСПЕРИМЕНТА В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Задача, в общем виде описываемая как интеграция геометрических объектов с атрибутивными параметрами для физически корректного моделирования поведения системы в зависимости от свойств (атрибутивных параметров элементов) реализовывалась для задачи плавания тел. Атрибутивными параметрами была плотность тел и жидкости. В соответствии с законом Архимеда при плотности тела больше плотности жидкости тело погружается на дно, а при меньшей -плавает, при этом объем погруженной части зависит от соотношения плотностей. Для иллюстрации геометрические параметры объектов (внешний вид) были неотличимы, за исключением нанесенной маркировки (номера). Пользователь заранее не знал параметров тел (материала и связанной с ним плотности). В виртуальной реальности имитировался эксперимент разделения кирпича, деревянного бруска и пенопластового параллелепипеда по их поведению в воде, масле (с плотностью меньше плотности дерева) и в ртути, а также идентификации жидкостей в емкостях. Задачей пользователей было путем выполнения серии экспериментов в виртуальной реальности провести сортировку набора объектов по материалу. Таким образом, была реализована нормализация взаимодействия компонент в виртуальной реальности для одного весьма простого класса физических взаимодействий путем наделение этих компонент свойством «тип материала», который характеризуется плотностью. Такой подход дает возможность автоматизированно, без
перепрограммирования корректно реализовывать определенный эксперимент в виртуальной реальности. Такой результат дает возможность реализовывать в VR
гибкие инженерно осмысленные сценарии. Этот подход может расширяться на широкий класс моделей физических процессов, адекватно ведущих себя в непредопределенных сценарно экспериментах в сценах VR Concept. Представляется интересным развивать его для реализации лабораторных работ, тренингов, а в перспективе - виртуальных испытаний проектируемых инженерных объектов.
ЗАКЛЮЧЕНИЕ
Разработан вариант технологии интеграции атрибутивной информации инженерных объектов с их графическими образами. Представлено описание текущего состояния технологии виртуальной реальности и ее применение в целях инженерного моделирования и проведен сравнительный анализ основных форматов, наиболее распространенных для сред VR-проектов, выявлены подходы различных вендоров.
Рассмотрено позиционирование
импортонезависимого продукта VR Concept для различных пользовательских потребностей, проведен анализ функциональных требований и предложен способ реализации интеграции в виде плагинов.
Детально проработана архитектура плагинов и формализован алгоритм сборки плагина в VR Concept. Реализация плагинов проводилась на языке C++. Описано планирование цифровых демонстрационных
экспериментов и рассмотрены их результаты.
Таким образом, авторами была разработана технология интеграции атрибутивной информации объектов с их графическими образами в системе виртуальной реальности VR Concept, дающая методическую основу адекватного моделирования поведения физических систем в виртуальной реальности за счет обработки данных об атрибутивных параметрах элементов системы. Разработанная технология успешно апробирована в модельном виртуальном эксперименте. Дальнейшим развитием реализованной технологии предполагается ее адаптация как продукта для инженерных и образовательных целей, в частности, использование в ходе эксплуатации цифрового двойника исследовательского ядерного реактора.
БИБЛИОГРАФИЯ
[1] Ульянов, Р.С., Прокопьев, С.В., Делибалтов, В.В. Моделирование технических систем в среде Unity 3D // Молодой ученый, № 11 (91) / ООО «Издательство Молодой ученый», 2015. - С. 452-454.
[2] Згода Ю. Н., Семенов А. А., Вагер Б. Г. Особенности подготовки BIM-модели при создании фотореалистичной интерактивной визуализации в виртуальной и дополненной реальности // Вычислительные технологии, Том 25, № 4, с. 69-82, 2020.
[3] R. Sacks, C. Eastman, G. Lee, P. Teicholz. BIM Handbook: A Guide to Building Information
Modeling for Owners, Designers, Engineers, Contractors, and Facility Managers. Third Edition. 682 p. 2018.
[4] Козленко Т. А., Придвижкин С. В. BIM и VR: Разработка программного модуля для интеграции информационного моделирования зданий и виртуальной реальности // Вестник СибАДИ, Том 18, № 4, с. 440-449, 2021.
[5] E. Langer. Media Innovations AR and VR: Success Factors for The Development of Experiences. 129 p. 2023.
[6] Байкова, М.М., Рогозина, Э.Р. Применение технологий расширенной реальности в индустрии туризма: Extended reality in tourism industry // Актуальные тенденции социальных коммуникаций: история и современность, ч.1. Сборник научных статей / Удмуртский государственный университет, 2021. - С. 92- 100.
[7] Дорожная карта развития «сквозной» цифровой технологии «Технологии виртуал ьной и дополненной реальности» 2019. [Режим доступа]: https://digital.gov.ru/ru/documents/6654/.
[8] Смолин, А.А., Жданов, Д.Д. и др. Системы виртуальной, дополненной и смешанной реальности учебное пособие для вузов / А.А. Смолин. - Санкт-Петербург: ИТМО, 2018. - 59 с.
[9] Вигер И. Н. Роль и значение технологий VR в BIM-подходе // Автоматизация проектирования, № 1, с. 68-70, 2018.
[10] Калинин В.А., Путилова Е.А. Использование VR И AR технологий в сфере архитектуры, дизайна и строительства // УрФУ, с. 208-210, 2023.
[11] Константинова А.А., Ивченко В.И. Методические основы применения технологий виртуальной реальности в промышленном дизайне // Mechanical Engineering and Engineering Science / Белорусский национальный технический университет, 2021. - С. 465-475.
[12] Интернет-ресурс «Adobe: A guide to 3D file types». [Режим доступа]: https://www.adobe.com/products/substance3d/discover/3d-files-formats.html.
[13] Интернет-ресурс «Adobe: Файлы DWG и DXF». [Режим доступа]: https://www.adobe.com/ru/creativecloud/file-types/image/comparison/dwg-vsdxf.html.
[14] Харькова А.Д., Куликова Т.А. Анализ программного обеспечения для разработки образовательных VR приложений // Научные известия, №28, с. 43- 46, 2022.
[15] Интернет-ресурс «VR Concept Wiki». [Режим
доступа]: https://wiki.vrconcept.net/ru/home.
[16] Интернет-ресурс «Реестр российского программного обеспечения». [Режим доступа]: https://reestr.digital. gov. ru/.
[17] Интернет-ресурс «Документация Unreal Engine». [Режим доступа]: https://dev.epicgames.com/documentation/.
[18] Интернет-ресурс «База знаний Varwin».
[Режим доступа]: https://docs.varwin.com/latest/ru/dobro-poyoalovat-v-bazu-znanij-varwin2275542480.html.
[19] Пособие по работе с системой T-FLEX VR. [Режим доступа]:
https://www.tflex.ru/reestr/vr/tflexvr_documentation.pdf
[20] Интернет-ресурс «Документация Unigine Developer». [Режим доступа] : https://developer.unigine.com/ru/docs/latest/.
[21] Интернет-ресурс «Resolve BIM». [Режим
доступа] : https://www.resolvebim.com/.
[22] Интернет-ресурс «Документация Unity». [Режим
доступа]: https://docs.unity.com/.
[23] Степчева З.В., Ходос О.С. Основы геометрического моделирования в Unity3d: Методические указания к выполнению лабораторных работ для бакалавров, специалистов и магистров / З.В. Степчева. - Ульяновск: УлГТУ, 2012. - 33 с.
[24] Кондаков, С.А. Активизация физических знаний через моделирование в виртуальном мире // Современная высшая школа: инновационный аспект, Т. 13. № 4. / Международный Институт Дизайна и Сервиса, 2021. - С. 90-97.
[25] Коледа, А.Н. Основы работы в программе T-Flex CAD: Методические указания к выполнению лабораторных работ / А.Н. Коледа. - Томск: ТПУ, 2023. -142 с.
[26] Интернет-ресурс «Справка T-Flex CAD». [Режим
доступа]:
https://tflexcad. ru/help/cad/17/index. html7analysis.htm
[27] Колосовский Д. Ю., Титова Л.К. Физика в Unreal Engine // Актуальные вопросы физики и техники: сборник материалов XII Респ. науч. конф. студентов, магистрантов и аспирантов, посвящ. 80-летию со дня рождения проф. Максименко Николая Васильевича / Гомельский гос. ун-т им. Ф. Скорины. - Гомель: ГГУ им. Ф. Скорины, 2023. -С. 204-205.
[28] Интернет-ресурс «Wikipedia: PhysX by NVidia». [Режим доступа]: https://en.wikipedia.org/wiki/PhysX.
[29] Интернет-ресурс «Sketchfab - сайт для публикации 3D-контента». [Режим доступа]: https://sketchfab.com/feed.
[30] Интернет-ресурс «3D-radar: Форматы файлов 3D моделей: типы и характеристики». [Режим доступа]: https://spb.3dradar.ru/post/54889/.
Статья получена 14 июня 2024.
Стогний Екатерина Андреевна, Национальный Исследовательский Ядерный Университет МИФИ, магистрант, ek.stogny@yandex.ru Татьяна Федоровна Волобуева, Национальный Исследовательский Ядерный Университет МИФИ, преподаватель ВИШ, TFVolobueva@mephi.ru
Сычев Вячеслав Александрович, Национальный Исследовательский Ядерный Университет МИФИ, кандидат технических наук, преподаватель ВИШ, VASychev@mephi.ru
Integration for objects attribute information and graphic images in the VR Concept virtual
reality system
E.A. Stogniy, T.F. Volobueva, V.A. Sychov
Abstract- The work is devoted to the development of technology for integrating attribute information of objects with their graphic images in the VR Concept virtual reality system. An approach is implemented to integrate the attribute parameters of the physical properties of the model elements with its geometric image in order to implement the correct physical interaction of the model elements. A comparative analysis of the main formats of digital models and the most common environments for creating VR training simulators has been performed. The analysis of the capabilities and limitations of the basic version of the import-independent virtual reality environment VR Concept for the implementation of physical patterns in an interactive virtual space is performed. Plugins have been developed that extend the functionality of the product, implementing the assignment of certain physical properties to scene objects and processing their physical interaction. The approbation of the developed technology is carried out on virtual simulators prepared in the course of work, which are physical experiments.
Keywords- virtual reality, VR, VR Concept, attribute information, physical property, VR simulator, physical experiment
REFERENCES
[1] Ulyanov, R.S., Prokopyev, S.V., Delibaltov, V.V.. Modeling of technical systems in the Unity 3D environment // Young Scientist, № 11 (91) / LLC "Publishing House Young Scientist", 2015. - C. 452454.
[2] Zgoda, Y. N., Semenov, A. A., Vager, B. G. Features of BIM-model preparation when creating photorealistic interactive visualization in virtual and augmented reality // Computational Technologies, Vol. 25, No. 4, pp. 69-82, 2020. R. Sacks, C. Eastman, G. Lee, P. Teicholz. BIM Handbook: A Guide to Building Information
[3] Modeling for Owners, Designers, Engineers, Contractors, and Facility Managers. Third Edition. 682 p. 2018.
[4] Kozlenko T. A., Pridvizhkin S. V. BIM and VR: Development of a software module for integration of building information modeling and virtual reality // Vestnik SibADI, Vol. 18, No. 4, pp. 440-449, 2021.
[5] E. Langer. Media Innovations AR and VR: Success Factors for The Development of Experiences. 129 p. 2023.
[6] Baikova, M.M., Rogozina, E.R. Application of augmented reality technologies in tourism industry: Extended reality in tourism industry // Actual trends in social communications: history and modernity, part 1. Collection of scientific articles / Udmurt State University, 2021. - C. 92- 100.
[7] Roadmap for the development of "end-to-end" digital technology "Virtual and Augmented Reality Technologies" 2019. [Access mode]: https://digital.gov.ru/ru/documents/6654/.
[8] Smolin, A.A., Zhdanov, D.D. et al. Systems of virtual, augmented and mixed reality textbook for universities / A.A. Smolin. - St. Petersburg: ITMO, 2018. - 59 c.
[9] Viger, I. N. Role and importance of VR technologies in BIM approach // Design Automation, No. 1, pp. 6870, 2018.
[10] Kalinin, V.A.; Putilova, E.A. Using VR AND AR technologies in the sphere of architecture, design and construction // UrFU, pp. 208-210, 2023.
[11] Konstantinova, A.A.; Ivchenko, V.I. Methodical bases of application of virtual reality technologies in industrial design // Mechanical Engineering and Engineering Science / Belarusian National Technical University, 2021. - C. 465-475.
[12] Internet resource "Adobe: A guide to 3D file types". [Access mode]: https://www.adobe.com/products/substance3d/discove r/3d-files-formats.html.
[13] Internet resource "Adobe: DWG and DXF files". [Access mode]: https://www. adobe.com/ru/creativecloud/file -types/image/comparison/dwg-vsdxf.html.
[14] Kharkova A.D., Kulikova T.A. Analysis of software for the development of educational VR applications // Scientific News, No. 28, pp. 43- 46, 2022.
[15] Internet resource "VR Concept Wiki". [Access mode] : https://wiki.vrconcept.net/ru/home.
[16] Internet resource "Register of Russian Software". [Access mode]: https://reestr.digital.gov.ru/.
[17] Internet resource "Unreal Engine Documentation". [Access mode]: https://dev.epicgames.com/documentation/.
[18] Internet resource "Varwin Knowledge Base".
[Access mode] :
https://docs.varwin.com/latest/ru/dobro-poyoalovat-v-bazu-znanij-varwin2275542480.html.
[19] Manual for working with the T-FLEX VR system. [Access mode]: https://www.tflex.ru/reestr/vr/tflexvr_documentation.p df.
[20] Internet resource "Unigine Developer Documentation". [Access mode]: https://developer.unigine.com/ru/docs/latest/.
[21] Internet resource "Resolve BIM." [Access mode]: https://www.resolvebim.com/.
[22] Internet resource "Unity Documentation". [Access mode]: https://docs.unity.com/.
[23] Stepcheva, Z.V.; Khodos, O.S. Fundamentals of geometric modeling in Unity3d: Methodical instructions for laboratory works for bachelors, specialists and masters / Z.V. Stepcheva. - Ulyanovsk: UlGTU, 2012. - 33 c.
[24] Kondakov, S.A. Activation of physical knowledge through modeling in the virtual world // Modern Higher School: innovative aspect, Vol. 13. No. 4. / International Institute of Design and Service, 2021. -C. 90-97.
[25] Koleda, A.N. Fundamentals of work in the T-Flex CAD program: Methodical instructions for laboratory works performance / A.N. Koleda. - Tomsk: TPU, 2023. - 142 c.
[26] Internet resource "Help T-Flex CAD". [Access mode]:
https://tflexcad.ru/help/cad/17/index.html7analysis.ht m
[27] Kolosovsky D.Yu., Titova L.K. Physics in Unreal Engine // Actual issues of physics and engineering: Proceedings of the XII Resp. scientific conference of students, undergraduates and graduate students, dedicated to the 80th anniversary of Prof. Maksimenko Nikolai Vasilievich / Gomel State University named after F. Skorina. F. Skorina. -Gomel: Gomel State University named after F. Skaryna, 2023. - C. 204-205.
[28] Internet resource "Wikipedia: PhysX by NVidia". [Access mode]: https://en.wikipedia.org/wiki/PhysX.
[29] Internet resource "Sketchfab - a site for publishing 3D content". [Access mode]: https ://sketchfab. com/feed.
[30] Internet resource "3D-radar: 3D model file formats: types and characteristics". [Access mode]: https://spb.3dradar.ru/post/54889/.
