CC BY-NC
59Кибернетика и программирование
Правильная ссылка на статью:
Меженин А.В., Извозчикова В.В., Бурлов Д.И. — Моделирование виртуальной среды в технологиях кибервизуализации и виртуального присутствия // Кибернетика и программирование. - 2019. - № 4. - С. 26 -35. DOI: 10.25136/2644-5522.2019.4.30231 URL: https://nbpublish.com'llbrary_read_article.php?id=30231
Моделирование виртуальной среды в технологиях кибервизуализации и виртуального присутствия
Меженин Александр Владимирович
кандидат технических наук
доцент, кафедра Факультет программной инженерии и компьютерной техники, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики
197101, Россия, г. Санкт-Петербург, ул. Кронверкский Проспект, 49
И mejenin@mail.ru
Извозчикова Вера Васильевна
кандидат технических наук доцент, кафедра Информатики, Оренбургский государственный университет 460040, Россия, Оренбургская область, г. Оренбург, ул. Проспект Победы, 13
И viza-8.11@mail.ru
Бурлов Дмитрий Игоревич
ассистент, кафедра Факультет программной инженерии и компьютерной техники, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики
197101, Россия, г. Санкт-Петербург, ул. Кронверкский Проспект, 49
ЕЗ burlofff@mail.ru
Статья из рубрики "Виртуальные миры и системы виртуальной реальности"
Аннотация.
Предметом исследования являются методы моделирования и визуализации виртуальной среды и построения облака точек трехмерного пространства, как в системах 3D моделирования, так и на основе видеоданных. Особо рассматривается проблема неполных данных и вопросы сохранения значимой для анализа информации.Задача моделирования виртуальной среды актуальна в таких областях как: визуализация и анализ пространственных данных большого объема; визуализация графо-аналитических моделей; мониторинг инфраструктуры области пространства интеллектуальных систем безопасности, контроля и предупреждения чрезвычайных ситуаций; построение трёхмерных карт городов и трёхмерного окружающего пространства в тренажерах; определение местоположения роботов; в САПР и медицине. В качестве методов моделирования виртуальной среды используется математический аппарат параметрического и непараметрического восстановления плотности распределения точечных объектов пространства по имеющейся выборке. Результатом проведенного исследования является концептуальное описание методов моделирования виртуальной среды. Визуально результаты моделирования представлены в виде облака точек
неравномерной плотности. Для улучшения визуального восприятия точки модели представляются в виде тепловых карт с адаптивной шкалой.В качестве примеров рассматриваются: анализ плотности распределения данных, получаемых из видеопотока, когда отдельные компоненты смеси нормальных распределений использованы для визуализации всей смеси распределений; моделирование облака точек трехмерного пространства на основе видеоданных, получаемых в результате съемки одной камерой, движущейся по произвольной траектории.Предлагаемый подход позволит повысить точность и наглядность представления виртуальной среды для последующей визуализации и детального анализа моделируемого пространства.
Ключевые слова: кибервизуализация, виртуальное присутствие, виртуальная среда, системы виртуальной реальности, системы дополненной реальности, моделирование, облако точек, тепловая карта, системы видеонаблюдения, 3D визуализация
DOI:
10.25136/2644-5522.2019.4.30231
Дата направления в редакцию:
08-07-2019
Дата рецензирования:
09-07-2019
Работа выполнена при поддержке гранта РФФИ № 17-07-00700 А Введение
Следующим этапом развития цифровых систем виртуальной реальности и 3D визуализации можно считать реализацию концепций технологии виртуального присутствия и кибервизуализации, рассматривая их как более широкое понятие мультимедийных систем виртуальной реальности и систем телеприсутствия. В работах по
данной тематике можно встретить термин «индуцированная виртуальная среда» -Ш. С точки зрения авторов, термины кибервизуализация и виртуальное присутствие дают более полное представление об объекте исследования в данной области. Области применения предлагаемых технологий: моделирование поведения виртуальных 3D
объектов при проектировании управление сложными человеко-машинными
системами; дистанционное управление и пилотирование; мониторинг и видеонаблюдение
4]. Особое значение эти технологии приобретают в областях связанных с высоким риском, где использование оптических и телевизионных средств ограничено или просто невозможно. Комплексная информация, использование технологий виртуального присутствия и кибервизуализации позволят поднять на качественно новый уровень построение интеллектуальных систем безопасности, контроля и предупреждения чрезвычайных ситуаций.
В настоящее время для синтеза виртуальной среды используются различные подходы, среди которых наиболее распространенными являются моделирование в программах
компьютерной графики и моделирование средствами фотограмметрии. Кроме этого, разрабатываются нейросетевые системы обработки информации для создания полностью
искусственных интерактивных миров на основе видеозаписей реального мира -151. В этих методах, в большинстве случаев, используются полигональные модели, для работы с
которыми разработано множество алгоритмов J61, и существует аппаратная поддержка геометрических вычислений для ЗD-визуализации. К недостаткам их использования
можно отнести большой объем исходных данных, необходимый для сложных 3D-сцен t61,
трудности представления поверхностей сложной формы 81 и получение должного
ощущения эффекта глубины Эти недостатки становятся существенными при
реализации систем реального времени.
Более прогрессивным можно считать метод представления объектов пространства в виде облаков точек различной плотности. Облако точек - это совокупность вершин в трёхмерном пространстве, представляющих поверхность моделируемых объектов. Данные для построения облака точек могут быть получены с помощью сканирования 3D-объектов специальными устройствами, или в результате обработки данных оптического
сканирования l10!. Для повышения эффективности восприятия облако точек представляют в виде тепловых карт.
Задача построения облака точек трехмерного пространства
Построение облака точек является нетривиальной задачей. Обычно 3D реконструкция
осуществляется на основе серии калиброванных изображений 1111 В данной работе рассматривается задача построения облака точек трехмерного пространства на основе видеоданных, получаемых в результате съемки одной камерой, движущейся по произвольной траектории. Особо рассматривается проблема неполных данных и вопросы
сохранения значимой информации I12!.
Для построения облака точек трехмерного пространства разработано большое число
различных методов -1131. Несмотря на это, используемые в них типовые математические подходы оказываются неэффективными в задачах, исходные данные в которых представляют собой набор дискретных точек-вершин в пространстве точечных объектов. Представление данных в таком виде следует либо из самой специфики распределения в пространстве точечных объектов, либо, например, из недостаточности массива данных измерений в точках пространства. В таких случаях обычно для обозначения исходного набора точечных объектов используется специальный термин - облако точек (point cloud). В задаче анализа распределения подобного облака точек в первую очередь интересует вероятность нахождения точек в той или иной области, а вернее плотность их
распределения. Такая задача решается обычно с помощью вокселей 1141 Однако практическая реализация этого метода требуют значительных вычислительных ресурсов. В случаях сильной разреженности точечных данных в пространстве методы реконструкции с помощью вокселей не позволяют выявить значимую для анализа информацию.
Алгоритмы оценки плотности распределения точек
Прямым подходом к решению задачи восстановления пространственной плотности распределения точек будем называть такой подход, при котором множество точек
рассматривается как реализация выборки из одного
неизвестного распределения с плотностью ^4 f, и осуществляется поиск некоторого
приближения плотности Для решения этой задачи используют три
алгоритма: непараметрический; параметрический и восстановление смесей распределений liSI.
Непараметрическое восстановление плотности распределения. Базовым непараметрическим методом восстановления плотности распределения случайной величины принято считать метод Парзена-Розенблатта - ядерная оценка плотности (Kernel Density Estimation, KDE) - алгоритм байесовской классификации, основанный на непараметрическом восстановлении плотности по имеющейся выборке. В основе подхода лежит идея о том, что плотность выше в тех точках, рядом с которыми находится большое количество объектов выборки. Парзеновская оценка плотности имеет вид
h е JL
где "V - ширина окна (полосы), а ядро (произвольная четная, нормированная
функция), задающее степень гладкости функции распределения. Термин «окно» происходит из классического вида функции
где < Н-'- индикаторная функция, однако на практике обычно используются все же более гладкие функции, например, гауссова функция ядра
Ширина окна '' и вид ядра _ структурные параметры метода, от которых зависит
качество восстановления. При этом основное влияние на качество восстановления плотности распределения оказывает ширина окна, тогда как вид функции ядра не влияет на качество определяющим образом.
Данный метод широко применяется при машинном обучении для задач классификации в случаях, когда общий вид функции распределения неизвестен, а известны только некоторые свойства, например, гладкость и непрерывность. Для нахождения оптимальной ширины окна обычно используют принцип максимума правдоподобия с исключением объектов по одному -leave-one-out ( LOO).
Параметрическое восстановление плотности распределения. Параметрическое оценивание опирается на семейства функций плотности, которые задаются при помощи
одного или нескольких числовых параметров: — Для лучшего
выбора функции плотности из данного семейства можно использовать метод максимума правдоподобия
Л
в = argmaxY\<p( е^е ¡-)
К примеру, для функции многомерного нормального распределения
х;в %
(4)
оценки максимального правдоподобия записываются в явном виде
Параметрические методы восстановления используются в тех случаях, когда вид функции распределения известен с точностью до набора параметров, которые позволяют контролировать гибкость модели.
Восстановление смесей распределений. Третьим прямым подходом к поиску плотности распределения является способ восстановления смесей распределений.
Данный подход можно считать усложнением параметрического для случаев, когда распределение имеет сложный вид, недостаточно точно описывающийся одним распределением.
Плотность распределения Р(х) в рамках этого подхода представляется в виде смеси, т.е. суммы распределений с определенными коэффициентами
где - плотности распределения компонент смеси, принадлежащие одному
параметрическому семейству ^ ^' И - ее априорная вероятность, вес &
. п(х{ И', ,0, }) ,
количество компонент в смеси. Функцию ■> называют функцией
правдоподобия.
Каждый из рассмотренных выше методов нахождения плотности распределений (непараметрический, параметрический и восстановление смесей распределений) применяется при определенных априорных знаниях о плотности распределения (о виде или свойствах функции). Несмотря на разные области применения этих подходов, можно выделить черты сходства между ними. Так непараметрический метод можно рассматривать как предельный частный случай смеси распределений, в которой каждому соответствует одна компонента с априорной вероятностью11' ~~ ^ 1,1 и выбранной
функцией плотности (ядром) с центром в точке Параметрический же подход -
другой крайний случай смеси, состоящей из одной компоненты.
Таким образом, описанные три подхода отличаются, в первую очередь, количеством аддитивных компонент в модели распределения: Поэтому, можно считать, что
восстановление смеси из произвольного числа компонент & является более общим случаем восстановления непрерывной плотности распределения по дискретной выборке.
Апробация
Визуализация распределений. Визуализация распределений требует значительных вычислительных ресурсов. На рис. 1. представлен результат работы интерактивного приложения, разработанного авторами для анализа плотности распределения данных,
получаемых из видеопотока. Отдельные компоненты смеси нормальных распределений использованы для визуализации всей смеси распределений. В процессе работы приложения происходит отображение плотности распределения, как всей области данных, так и исследуемой.
Рис. 1. Визуализация и результат анализа плотности распределения
Кроме этого было разработано приложение, в котором было реализовано построение тепловой карты плотности распределения с адаптивной шкалой. Цветовая схема шкалы формируется на основе палитры цветов переходов от синего к красному. Чем цвет ближе к синему, тем различия между первым и вторым изображениями меньше, чем ближе к красному - тем различий больше. Шаг шкалы рассчитывается по следующей формуле
где Б - величина шага, а - значение, соответствующее максимальной разнице Ь -значение, соответствующее минимальной разнице I - количество цветов в шкале.
Каждому цвету шкалы назначается числовое значение, рассчитываемое по формуле
где с - числовое значение на шкале.
Ниже приведены результаты работы данного приложения для оценки эффективности зон покрытия камерами наблюдения [16, 17]. В данном примере реализованы модели с двумя и тремя камерами наблюдения. На основе результатов оценки плотности распределения построена тепловая карта (рис. 2).
Рис. 2. Тепловая карта результатов сравнения моделей с двумя и тремя камерами
наблюдения
Моделирование облака точек. Кроме рассмотренных приложений, была осуществлена практическая реализация алгоритма моделирования облака точек трехмерного пространства на основании видеопоследовательности, полученной камерой движущейся по произвольной траектории.
1. Разложение видео в набор последовательных изображений. Файлы, необходимые для реконструкции получаются из покадрового разложения видеопоследовательности на секвенцию.
2. Выбор на изображениях ключевых точек и их дескрипторов.
3. Путем сравнения дескрипторов находятся соответствующие друг другу ключевые точки на разных изображениях.
4. На основе набора совпавших ключевых точек строится модель преобразования изображений, с помощью которого из одного изображения можно получить другое.
5. Зная модель преобразования камеры и соответствия точек на различных кадрах, вычисляются трёхмерные координаты и строится облако точек.
На рис. 3 представлена схема конвейера моделирования облака точек.
Рис. 3. Общая схема конвейера моделирования облака точек
Практическая реализация предложенного алгоритма проводилась с использование совокупности программно-аппаратных средств. Съемка производилась видеокамерой мобильного телефона Blackberry Priv. Формат видео MOV Full HD 29.97 fps H-264 17 Mbps
USi. Файлы, необходимые для построения облака точек трехмерного пространства, были получены из покадрового разложения видеопоследовательности на секвенцию. Для сокращения времени просчета и обработки были использованы каждый третий кадр видеопоследовательности. Обработка производилась в пакете Adobe AE. На рис. 4. представлены кадры исходных видеоданных. Для повышения качества - дефокусировка и смаз [19, 20] была произведена обработка изображений в системе MATLAB.
ЖЕ
MOVJOl ОДвй_С4Ш|*;
Рис. 4. Кадры исходных видеоданных
Для получения стабилизации и определения ключевых точек использовалось программное обеспечение на основе рассмотренных алгоритмов и библиотеки Point
Cloud Library -t2^ (рис. 5).
Рис. 5. Этапы построения облака точек с отображением траектории движения камеры Итоговая визуализация выполнена в пакете Cloud Compare [22] (рис. 6).
EifiliPii ■ д^иИИРИГ^Я'ЯИ
тшшвяш рС'Лт -
ifii^V; Т^Ш?тЯЯЯИ
Рис. 6. Результат анализа плотности распределения точек
Заключение
В статье рассмотрены вопросы моделирования виртуальной среды и представления ее в виде облака точек для различных информационных приложений. Обсуждаются термины кибервизуализация и виртуальное присутствие. Рассматривается математический аппарат, используемый для построения облака точек трехмерного пространства. Приведены примеры апробации разработанных алгоритмов: визуализация и анализ плотности распределения облака точек; построение тепловой карты с адаптивной шкалой; моделирование облака точек трехмерного пространства на основе видеопоследовательности и результаты анализа плотности распределения точек. Исходя из представленных выше материалов, можно сделать вывод, что предложенные концепции являются робастными (актуальными) и подлежат дальнейшей детализации и проработке.
Библиография
1. Афанасьев В.О. Системы 3D-визуализации индуцированной виртуальной среды.// Автореферат диссертации доктора физико-математических наук. Королев-Москва, 2007.
2. Меженин А.В. Виртуальные 3D среды как средство верификации и тестирования при проектировании // Приоритетные научные направления: от теории к практике. 2016. № 21. С. 105-110.
3. Bolodurina, I.P., Shardakov, V.M., Zaporozhko, V.V., Parfenov, D.I., Izvozchikova, V.V. Development of Prototype of Visualization Module for Virtual Reality Using Modern Digital Technologies // Proceedings-2018 Global Smart Industry Conference, GloSIC 2018.
4. Shardakov, V.M., Parfenov, D.I., Zaporozhko, V.V., Izvozchikova, V.V. Development of an Adaptive Module for Visualization of the Surrounding Space for Cloud Educational Environment // Proceedings of 2018 11th International Conference Management of Large-Scale System Development, MLSD 2018.
5. New NVIDIA Research Creates Interactive Worlds with AI. URL:
https ://nvidianews.nvidia.com/news/new-nvidia-research-creates-interactive-worlds-with-ai?utm_source = ixbtcom, 2018.
6. Парамонов, П.П. Методы представления сложных полигональных моделей в графических системах, работающих в режиме реального времени / Парамонов П.П., Видин Б.В., Меженин А.В., Тозик В.Т. // Известия высших учебных заведений. Приборостроение.-2006.-Т.49.-№ 6. С. 17-19.
7. Извозчикова В.В., Меженин А.В. Размерность Хаусдорфа в задачах анализа подобия полигональных объектов // ИНТЕЛЛЕКТ. ИННОВАЦИИ. ИНВЕСТИЦИИ-2016. № 2,-с. 109-112.
8. Mezhenin, A., Zhigalova, A. Similarity analysis using Hausdorff metrics // CEUR Workshop Proceedings, 2019. Vol-2344.
9. Меженин, А.В. Методы построения векторов нормалей в задачах идентификации объектов / Меженин А.В., Извозчикова В.В. // Кибернетика и программирование.-2013.-№ 4. С. 51-58.
10. Меженин, А.В. Реконструкция трехмерных моделей по растровым изображениям / А.В.Меженин, В.Т.Тозик // Научно-технический вестник информационных технологий, механики и оптики.-2007.-№45. С.203-207.
11. Eisert, Р. "Multi-Hypothesis, Volumetric Reconstruction of 3-D Objects From Multiple Calibrated Camera Views" / P. Eisert,. E. Steinbach, and B. Girod.-Proceedings of the International Conference on Acoustics, Speech, and Signal Processing.-1999. pp. 35093512.
12. Свешникова, Н.В. Оценка погрешностей восстановления трехмерных сцен алгоритмами факторизации / Н.В. Свешникова, Д.В.Юрин .-International Conference Graphicon 2006, Novosibirsk Akademgorodok, Russia.-URL: http://www.graphicon.ru/html/2006/proceedings/papers/ fr09_32_Sveshnikova_Yurin.pdf
13. Huang, J. "Automatic data segmentation for geometric feature extraction from unorganized 3-d coordinate points" / J. Huang and C.-H. Menq // IEEE Trans. Robot. Automat., vol. 17. - 2001. pp. 268-279.
14. Chmielewski, Sz., Tompalski, P. Estimating outdoor advertising media visibility with voxel-based approach. Applied Geography, 2017, 87:1-13
15. Horová I., Kolácek J., Zelinka J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. — Singapore: World Scientific Publishing, 2012.
16. Извозчикова В.В., Меженин А.В. 3D-моделирование методов съемки мобильными видеосистемами. Программные продукты и системы. 2016. № 3. С. 163-167.
17. Mezhenin, A., Izvozchikova, V., Ivanova, V. Use of point clouds for video surveillance system cover zone imitation // CEUR Workshop Proceedings, 2019. Vol-2344.
18. Бурлов Д.И., Меженин А.В., Немолочнов О.Ф., Поляков В.И. Автоматизация выбора метода сжатия цифрового видео в интеллектуальных системах железнодорожного транспорта, Печатный, Вестник РГУПС.-2014. -вып.54, ISSN: 0201-727Х, c. 5.
19. Сизиков В.С., Степанов А.В., Меженин А.В., Бурлов Д.И., Экземпляров Р.А. Определение параметров искажений изображений спектральным способом в задаче обработки снимков поверхности Земли, полученных со спутников и самолётов // Оптический журнал-2018.-Т. 85.-№ 4.-С. 19-27
20. Sizikov, V.S., Stepanov, A.V., Mezhenin, A.V., Burlov, D.I., Eksemplyarov, R.A.: Determining image-distortion parameters by spectral means when processing pictures of the earth's surface obtained from satellites and aircraft. Journal of Optical Technology, Vol. 85, No. 4, pp. 203-210 (2018).
21. PCL-Point Cloud Library (PCL)-URL: http://www.pointclouds.org/
22. CloudCompare-Open Source project-URL: https://www.danielgm.net/cc/
