CC BY
14
DOI 10.36622^Ти.2021Л7.4.002 УДК 004.9
ОРГАНИЗАЦИЯ ВЗАИМОДЕЙСТВИЯ С ВИРТУАЛЬНОЙ РЕАЛЬНОСТЬЮ НА ОСНОВЕ БЕГОВОЙ ПЛАТФОРМЫ ДЛЯ КОМПЛЕКСНОГО ОБУЧЕНИЯ СПЕЦИАЛИСТОВ
А.Д. Обухов, Д.Л. Дедов, В.В. Вострикова, Д.В. Теселкин, Е.О. Суркова Тамбовский государственный технический университет, г. Тамбов, Россия
Аннотация: одним из современных инструментов организации процесса обучения специалистов является использование виртуальных тренажерных комплексов, позволяющих смоделировать штатные и аварийные сценарии профессиональной деятельности и выработать необходимые компетенции у обучающихся. Существующие подходы к взаимодействию с виртуальной реальностью в рамках тренажерных комплексов основаны на использовании различного рода контроллеров, что негативно сказывается на иммерсивности процесса обучения. Контроллеры также не позволяют смоделировать физическую нагрузку, возникающую при ходьбе или беге при подготовке специалистов в ряде областей (МЧС, военная отрасль, горнодобывающая промышленность и другие). Для решения этой задачи необходимо использование различных беговых платформ. В рамках исследования выявлены определенные проблемы существующих подходов к взаимодействию с виртуальной реальностью посредством беговой платформы. Для их решения предлагается разработка новых методов управления платформой. В работе рассмотрено несколько алгоритмов управления платформой: линейный, нелинейный и нелинейный модифицированный. Представлено математическое описание алгоритмов и проведены экспериментальные исследования, позволяющие выбрать оптимальный алгоритм управления в соответствии с набором определенных метрик. Использование разработанного алгоритма управления позволит улучшить качество взаимодействия обучающего с виртуальной реальностью на беговой платформе. Полученные результаты могут быть использованы при организации процесса обучения специалистов с применением систем виртуальной реальности
Ключевые слова: виртуальная реальность, беговая платформа, алгоритм управления беговой платформой
Благодарности: работа выполнена при финансовой поддержке гранта РФФИ в рамках научного проекта № 19-07-00660 и лаборатории медицинских VR тренажерных систем для обучения, диагностики и реабилитации
Введение
В настоящее время существует проблема подготовки специалистов во многих отраслях: машиностроении, химии, горнодобывающей, транспортной, военной и т.д., где для выработки необходимого уровня компетенций использования только теоретического материала недостаточно. Поэтому необходима комплексная подготовка с выработкой необходимых практических навыков, мышечной памяти [1].
В качестве возможного решения можно использовать системы на основе виртуальной реальности (УЯ) [1, 2]. Однако в этом случае возникает проблема перемещения в виртуальной реальности при взаимодействии с предметами, т.к. нельзя одновременно ходить и двигать предметы. При управлении камерой посредством контроллеров пользователь переносится (телепортируется) в выбранное место, что по визуальным и физическим ощущениям не соответствует привычному процессу перемещения [3].
Данную проблему можно разрешить путем разработки новых систем обучения специалистов на основе беговых дорожек для отделения процесса перемещения от комплексов УЯ, что подтверждается успешными исследованиями, представленными в работах [4, 5]. Такие системы [5] позволят обеспечить, в частности, реалистичность перемещения, использование рук для взаимодействия с предметами и, в целом, необходимую физическую подготовку специалистов.
Однако современные беговые платформы не обеспечивают комфортного перемещения: этому препятствуют законы их функционирования, наличие программного и аппаратного запаздывания [6]. Конструкция таких платформ не всегда позволяет выработать необходимый уровень физических нагрузок (например, основанная на принципе скольжения [6]), а система управления платформой может быть недостаточно эффективной и точной (ввиду особенностей используемых датчиков [7]). Поэтому актуальной задачей является организация взаимодействия с УЯ на основе управляемой беговой дорожки с разработкой новых алгоритмов и подходов управления, позволяющих повысить
© Обухов А.Д., Дедов Д.Л., Вострикова В.В., Теселкин Д.В., Суркова Е.О., 2021
комфортность перемещения и степень погружения в виртуальное окружение.
Целью исследования является реализация алгоритма управления беговой платформой, который сможет корректно реагировать на действия пользователя и ограничивать его перемещения, т.е. позволит человеку передвигаться только в определенной области. Это позволит удержать пользователя в «рабочей» зоне дорожки и сохранить эффект от естественного перемещения. Обеспечиваться это должно за счет выбора оптимальной скорости перемещения полотна беговой платформы, соответствующей скорости движения человека. Для этого могут использоваться различные датчики [7], системы обратной связи [8], оптические сенсоры и разделение на зоны [9] и другие подходы.
В рамках статьи рассматривается несколько подходов - линейный, нелинейный, модифицированный нелинейный, их сравнение и оценка на качество погружения в виртуальную реальность при комплексной подготовке специалистов.
Подходы к взаимодействию с виртуальной реальностью
Рассмотрим в формализованном виде процессы, протекающие при перемещении человека по беговой платформе [10]. Основной характеристикой пользователя платформы является его текущее положение и направление движения:
(1)
где zn - направление движения человека; z - текущее положение человека. На основе положения человека возможно определить необходимую скорость движения полотна беговой дорожки, которая может быть задана различными алгоритмами:
(| А ~ ^ ) тах
lin
(z) =
1 - zn
(2)
где speed¡in (а) - функция расчета скорости на основе линейного алгоритма в зависимости от текущего положения человека а и удаленности от стартовой точки ;
speedmax - максимально возможная скорость дорожки.
(|А - А0 )2 ^^тах
SPeedpar (Z) =-
1 - zn
(3)
где speed par (z) - функция расчета скорости на
основе нелинейного (параболического) алгоритма в зависимости от удаленности от стартовой точки.
SPeedsq (Z) =
(|z| - z0 )°'6 speedm 1 - zn
(4)
где speedsq (z) - функция расчета скорости на
основе нелинейного (модифицированного) алгоритма в зависимости от удаленности от стартовой точки.
Полученное в формулах (2)-(4) значение скорости используется для расчета итоговой скорости беговой платформы с учетом местонахождения обучающего и текущего направления его движения:
V (speed) =
0, z < zn
zn min( speed max, speed), z° < z < 1, (5)
.ZnSPeedmax, z > 1
где V (speed) - система правил для задания скорости при нахождении человека в различных зонах: безопасной, рабочей и за ее пределом с ограничением максимальной скорости.
Осуществим сравнение алгоритмов (2)-(4) в диапазоне изменения положения человека z от 0.1 до 1.5 (рис. 1). В качестве начальной точки используется z0 = 0.1 . Рабочая область дорожки находится на отрезке [0.1;1]. Таким образом, общая длина беговой платформы - 1 метр, из них 0.1 метра - безопасная зона.
Сравнение подходов
..... Линейный алгоритм ---Нелинейный алгоритм - Нелинейный модифицированный алгоритм /
/ / /
/
/ / / /
/ * .•
"V
/
0.8 Z. м
Рис. 1. Сравнение алгоритмов управления
Линейный алгоритм, увеличивая или уменьшая скорость полотна пропорционально изменению скорости движения человека, рав-
z
zn =
z
номерно регулирует скорость на всей длине рабочей области платформы.
Нелинейный (параболический) алгоритм изменяет скорость беговой платформы плавно, скорость начинает значительно возрастать только за пределами рабочей области, что является существенным недостатком: с учетом возможного программного и аппаратного запаздывания такое поведение платформы может повлечь значительное отставание скорости платформы от текущей скорости человека.
Нелинейный модифицированный алгоритм на начальном этапе движения быстрее реагирует на изменение положения человека на дорожке относительно остальных вариантов. Таким образом, такое поведение позволит сократить эффект запаздывания, особенно в начале движения полотна при разгоне платформы.
Сравнение подходов к управлению беговой платформой показало, что нелинейный модифицированный алгоритм обеспечивает наибольшее нарастание скорости в начальном участке рабочей зоны, отличающимся наиболее выраженным эффектом аппаратного запаздывания.
Далее необходимо экспериментально оценить изменение траектории человека при перемещении по беговой платформе при различных алгоритмах управления.
Экспериментальное сравнение подходов
Разработанные алгоритмы на основе анализа расстояния, на которое удалился человек от точки старта, увеличивают или уменьшают скорость беговой дорожки, но по различным законам. Для определения наилучшего алгоритма сравним траектории перемещения человека. Для этого запишем траекторию изменения положения тела человека без учета влияния скорости дорожки и будем использовать ее в качестве входных данных для каждого алгоритма. Таким образом, условия для всех трех экспериментов будут идентичными, а результаты будут соответствовать перемещению человека при различных алгоритмах управления.
Рассмотрим траекторию перемещения человека при линейном алгоритме управления беговой платформой (рис. 2).
На рис. 2 (сверху) отражена траектория человека при движении по дорожке с выбранным алгоритмом управления, а на графике снизу отражена скорость беговой платформы в соответствующие моменты времени. Из начального положения (точки 0) за счет эффекта за-
паздывания пользователь смог дойти до положения 0.78 м, после чего был возвращен в безопасную зону. Далее линейный алгоритм также допустил значительное отклонение - вплоть до 0.9057 м, что близко к концу рабочей зоны платформы. Можно заметить, что ввиду линейности алгоритма управления скорость платформы следует пропорционально за положением человека.
При линейном подходе к управлению человек в среднем удаляется от начальной точки на расстояние 0.2783 м. Суть данного подхода состоит в том, что скорость дорожки изменяется пропорционально положению человека. При резком изменении скорости человека из-за запаздывания аппаратных и программных средств дорожки алгоритм реагирует недостаточно быстро, т.к. человеку удалось отойти от точки старта на расстояние 0.9057 м.
Рис. 2. Траектория движения человека и скорость беговой дорожки при линейном алгоритме управления
Нелинейный алгоритм, поведение которого отражено на рис. 3, реагирует на изменение скорости движения человека хуже, чем линейный. Скорость нарастает медленнее, что приводит к большим отклонениям от начальной точки.
Данный подход к управлению беговой платформой реализует плавное увеличение скорости в начале движения и резкое - ближе к концу рабочей зоны. Однако на практике такая плавность привела к ухудшению траектории движения человека: отклонение от точки старта в среднем составило 0.3589 м. Алгоритм реагирует на изменение положения человека с той же динамикой, что и линейный. Наибольшее отклонение от начальной точки составило 0.9637 м.
Нелинейный алгоритм
руем модули значений отклонения положения объекта от нулевой позиции и найдем их среднее арифметическое ^СР). Чем меньше данная величина, тем меньше колебался объект наблюдения (пользователь) и тем больше он находился в одном положении, несмотря на собственные перемещения. Также рассчитаем максимальное отклонение от нулевой точки (2мах), дисперсию положения человека ф^), стандартное отклонение положения человека
Ы [11].
Нелинейный модифицированный алгоритм
И ) Ль
11 1 /
1 1[ I 1
У \
ч
Время движения, с
Время движения, с
Рис. 3. Траектория движения человека и скорость беговой дорожки при нелинейном алгоритме управления
Далее рассмотрим нелинейный модифицированный алгоритм, в основе которого более резкое изменение скорости в начальные этапы движения. Траектория и скорость дорожки при таком алгоритме управления представлены на рис. 4.
Нелинейный модифицированный алгоритм не позволил человеку удалиться от начальной точки на расстояние большее, чем 0.65 м. В среднем человек большую часть времени находится в точке 0.1691 м, что является наилучшим результатом в сравнении с рассмотренными выше алгоритмами.
Для оценки качества алгоритмов управления используем следующий подход: просумми-
Рис. 4. Траектория движения человека и скорость беговой дорожки при нелинейном модифицированном алгоритме управления
Результаты вычислений представлены в таблице. Наилучшие результаты ключевых метрик выделены.
Результаты сравнения траекторий движения человека при различных подходах к управлению
Алгоритм 2СР 2мах Dz
Линейный 0.278 0.905 0.038 0.195
Нелинейный 0.358 0.963 0.063 0.250
Модиф. нелинейный 0.169 0.638 0.009 0.097
Таким образом, нелинейный модифицированный алгоритм показывает наилучшие результаты по основным метрикам: среднему отклонению от начальной точки, максимальному отклонению и имеет минимальную дисперсию положения человека.
Обсуждение результатов
В результате исследования были реализованы такие алгоритмы управления, как линейный, нелинейный, нелинейный модифицированный. Сравнение данных подходов к управлению беговой платформой показало, что нелинейный модифицированный алгоритм быстрее реагирует на изменение скорости движения человека, а также имеет наилучшие показатели по среднему отклонению от начальной точки, максимальному отклонению и имеет минимальную дисперсию положения человека (таблица).
Однако возможно дальнейшее улучшение данного подхода за счет дополнительного алгоритмического обеспечения, применения интеллектуальных подходов, варьирования коэффициентами расчетной формулы скорости беговой платформы. Даже рассмотренный нелинейный модифицированный алгоритм допускает перемещение пользователя на значительные расстояния от начальной точки. В ходе дальнейших исследований планируется улучшить показатели по основным метрикам и сократить среднее и максимальное отклонения от стартового положения для повышения комфорта пользователя.
Проведённый анализ подходов к организации управления беговыми платформами с применением различного рода датчиков [9] или камер [12] показал, что в дальнейших исследованиях используемый датчик может быть заменен на более совершенные инструменты (например, машинное зрение). Важным направлением работы является улучшение конструкции беговой платформы (увеличение рабочей площади), а также реализация возможности перемещения в различных направлениях. Перспективность всенаправленной беговой дорожки подтверждается и многими зарубежными исследованиями [13]. Однако реализация подобных систем взаимодействия с виртуальной реальностью потребует дополнительных исследований и более сложных алгоритмов управления.
Заключение
Для решения проблемы подготовки специалистов в отраслях, где теоретического материала недостаточно и требуется выработка практических навыков и моделирования физической нагрузки, необходимо разработать обучающие системы на основе беговых дорожек и комплексов виртуальной реальности. Причем необходимость одновременного перемещения и взаимодействия объектами виртуальной реальности не позволяет использовать компоненты существующих комплексов VR (например, контроллеры).
В процессе создания системы управления беговой платформой разработан подход к сбору данных о перемещении человека на беговой платформе, а также выполнена обработка собранных данных. Это позволило смоделировать траекторию перемещения человека при таких алгоритмах управления беговой платформой, как линейном, нелинейном (параболическом), нелинейном модифицированном. На основе экспериментальных исследований и анализа собранных данных о траектории перемещения человека осуществлен выбор оптимального алгоритма управления: нелинейного модифицированного, который реализует более резкое изменение скорости в начальные этапы движения и показывает наилучшие результаты по ключевым метрикам.
В результате исследования отмечено, что рассмотренные подходы к управлению беговой дорожкой не обеспечивают комфортного и безопасного перемещения человека. Возможным решением данной проблемы может стать реализация алгоритма управления на основе нейронных сетей. Поэтому дальнейшим направлением исследований будет создание, обучение и внедрение нейронных сетей в алгоритмы управления беговой платформой.
Литература
1. Virtual technologies trends in education / J. Martín-Gutiérrez, C.E. Mora, B. Añorbe-Díaz, A. González-Marrero // EURASIA Journal of Mathematics, Science and Technology Education. 2017. Vol. 13. № 2. Рр. 469-486.
2. Pantelidis V. S. Reasons to use virtual reality in education and training courses and a model to determine when to use virtual reality //Themes in Science and Technology Education. 2010. Vol. 2. № 1-2. Рр. 59-70.
3. Comparing Real Walking in Immersive Virtual Reality and in Physical World using Gait Analysis / A. Canessa, P. Casu, F. Solari, M. Chessa // VISIGRAPP (2: HUCAPP). 2019. Рр. 121-128.
4. Gillies M. What is Movement Interaction in Virtual Reality for? // Proceedings of the 3rd International Symposium on Movement and Computing. 2016. Pp. 1-4.
5. Alqahtani A.S., Daghestani L.F., Ibrahim L.F. Environments and system types of virtual reality technology in STEM: A survey // International Journal of Advanced Computer Science and Applications (IJACSA). 2017. Vol. 8. № 6. Pp. 77-89.
6. The slippery path to total presence: How omnidirectional virtual reality treadmills influence the gaming experience / L.O. Wehden, F. Reer, R. Janzik, W.Y. Tang, T. Quandt // Media and Communication. 2021. Vol. 9. № 1. Pp. 5-16.
7. Kim J., Gravunder A., Park H.S. Commercial motion sensor based low-cost and convenient interactive treadmill // Sensors. 2015. Vol. 15. № 9. Pp. 23667-23683.
8. Sloot L.H., Van der Krogt M.M., Harlaar J. Self-paced versus fixed speed treadmill walking // Gait & posture. 2014. Vol. 39. № 1. Pp. 478-484.
9. Stavar A., Dascalu L.M., Talaba D. Design, test and experimental validation of a VR treadmill walking compensation device // Doctoral Conference on Computing, Electrical
and Industrial Systems. Berlin, Heidelberg: Springer, 2011. Рр. 402-409.
10. Обухов А.Д., Сиухин А.А. Нейросетевой метод управления адаптивной системой имитации физических нагрузок // Вестник Самарского государственного технического университета. Серия: Технические науки. 2020. Т. 28. № 3 (67). C. 61-74.
11. Martinez M.N., Bartholomew M.J. What does it "mean"? A review of interpreting and calculating different types of means and standard deviations // Pharmaceutics. 2017. Vol. 9. № 2. Рр. 14. URL: https://doi.org/10.3390/pharmaceutics9020014
12. Making virtual walking real: Perceptual evaluation of a new treadmill control algorithm / J.L. Souman, P.R. Giordano, I. Frissen, A.D. Luca, M.O. Ernst // ACM Transactions on Applied Perception (TAP). 2010. Vol. 7. № 2. Рр. 114.
13. Enabling unconstrained omnidirectional walking through virtual environments: an overview of the CyberWalk project / I. Frissen, J.L. Campos, M. Sreenivasa, M.O. Ernst // Human walking in virtual environments. 2013. Рр. 113-144.
Поступила 22.06.2021; принята к публикации 20.08.2021 Информация об авторах
Обухов Артем Дмитриевич - канд. техн. наук, доцент кафедры «Системы автоматизированной поддержки принятия решений», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106), e-mail: [email protected], ORCID: https://orcid.org/0000-0002-3450-5213
Дедов Денис Леонидович - канд. техн. наук, директор ЦКП «Цифровое машиностроение», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, Советская, 116), e-mail: [email protected]
Вострикова Виктория Васильевна - студент кафедры «Системы автоматизированной поддержки принятия решений», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106), e-mail: [email protected]
Теселкин Даниил Вячеславович - студент кафедры «Системы автоматизированной поддержки принятия решений», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106), e-mail: [email protected] Суркова Екатерина Олеговна - студент кафедры «Системы автоматизированной поддержки принятия решений», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106), e-mail: [email protected]
ORGANIZATION OF INTERACTION WITH VIRTUAL REALITY BASED ON A RUNNING PLATFORM FOR COMPREHENSIVE TRAINING OF SPECIALISTS
A.D. Obukhov, D.L. Dedov, V.V. Vostrikova, D.V. Teselkin, E.O. Surkova Tambov State Technical University, Tambov, Russia
Abstract: one of the modern tools for organizing the training process for specialists is the use of virtual training complexes, which make it possible to simulate regular and emergency scenarios of professional activity and develop the necessary competencies for students. Existing approaches to interacting with virtual reality within the framework of training complexes are based on the use of various kinds of controllers, which negatively affects the immersiveness of the learning process. The controllers also do not allow simulating the physical activity that occurs when walking or running, which is necessary when training specialists in a number of areas (Ministry of Emergency Situations, the military industry, the mining industry, and others). To solve this problem, it is necessary to use different running platforms. The study identified certain problems of existing approaches to interacting with virtual reality through a running platform. To solve them, we propose to develop new methods of platform management. The paper considers several algorithms for platform control: linear, nonlinear and nonlinear modified. We present a mathematical description of the algorithms, we carried out experimental studies, which make it possible to choose the optimal control algorithm in accordance with a set of certain metrics. The use of the developed control algorithm will improve the quality of the teacher's interaction when interacting with virtual reality on the running platform. The results obtained can be used in organizing the process of training specialists using virtual reality systems
Key words: virtual reality, running platform, running platform control algorithm
Acknowledgments: the study was supported with the financial support of the RFBR grant in the framework of the scientific project No. 19-07-00660 and the laboratory of medical VR simulation systems for training, diagnostics and rehabilitation
References
1. Martín-Gutiérrez J., Mora C.E., Añorbe-Díaz B., González-Marrero A. "Virtual technologies trends in education", EURASIA Journal of Mathematics, Science and Technology Education, 2017, no. 13(2), pp. 469-486.
2. Pantelidis V.S. "Reasons to use virtual reality in education and training courses and a model to determine when to use virtual reality", Themes in Science and Technology Education, 2010, no. 2(1-2), pp. 59-70.
3. Canessa A., Casu P., Solari F., Chessa M. "Comparing real walking in immersive virtual reality and in physical worldusing gait analysis", 2019, VISIGRAPP (2: HUCAPP) pp. 121-128.
4. Gillies M. "What is movement interaction in virtual reality for?", Proc. of the 3rd Int. Symp. on Movement and Computing, 2016, pp. 1-4.
5. Alqahtani A.S., Daghestani L.F., Ibrahim L.F. "Environments and system types of virtual reality technology in STEM: A survey", Int. J. of Advanced Computer Science and Applications (IJACSA), 2017, no. 8(6), pp. 77-89.
6. Wehden L.O., Reer F., Janzik R., Tang W.Y., Quandt T. "The slippery path to total presence: How omnidirectional virtual reality treadmills influence the gaming experience", Media and Communication, 2021, no. 9(1), pp. 5-16.
7. Kim J., Gravunder A., Park H.S. "Commercial motion sensor based low-cost and convenient interactive treadmill", Sensors,, 2015, no. 15(9), pp. 23667-23683.
8. Sloot L.H., Van der Krogt M.M., Harlaar J. "Self-paced versus fixed speed treadmill walking", Gait&posture, 2014, no. 39(1), pp. 478-484.
9. Stavar A., Dascalu L.M., Talaba D. "Design, test and experimental validation of a VR treadmill walking compensation device", Doctoral Conf. on Computing, Electrical and Industrial Systems, Springer, Berlin, Heidelberg, 2011, pp. 402-409.
10. Obukhov A.D., Siukhin A.A., "Neural network control method for an adaptive system for imitation of physicalloads", 2020, Samara State University Journal (Vestnik Samarskogo gosudarstvennogo universiteta), 2020, vol. 28, no. 3 (67), pp. 61-74.
11. Martinez M.N., Bartholomew M.J. "What does it "mean"? A review of interpreting and calculating different types of means and standard deviations", Pharmaceutics, 2017, no. 9 (2), pp. 14, available at: https://doi.org/10.3390/pharmaceutics9020014
12. Souman J.L., Giordano P.R., Frissen I., Luca A.D., Ernst M.O. "Making virtual walk in greal: Perceptual evaluation of a new treadmill control algorithm", ACM Transactions on Applied Perception (TAP), 2010, no. 7(2), pp. 1-14.
13. Frissen I., Campos J.L., Sreenivasa M., Ernst M.O. "Enabling unconstrained omnidirectional walking through virtual environments: an overview of the CyberWalk project", Human Walking in Virtual Environments, 2013, pp. 113-144.
Submitted 22.06.2021; revised 20.08.2021
Information about the authors
Artem D. Obukhov, Cand. Sc. (Technical), Associate Professor, Tambov State Technical University (106 Sovetskaya str., Tambov 392000, Russia), e-mail: [email protected]. https://orcid.org/0000-0002-3450-5213
Denis L. Dedov, Cand. Sc. (Technical), Director of the Digital Engineering Center, Tambov State Technical University (116 Sovetskaya str., Tambov 392000, Russia), e-mail: [email protected]
Viktoriya V. Vostrikova, student, Tambov State Technical University (106 Sovetskaya str., Tambov 392000, Russia), e-mail: [email protected]
Daniil V. Teselkin, student, Tambov State Technical University (106 Sovetskaya str., Tambov 392000, Russia), e-mail: [email protected]
Ekaterina O. Surkova, student, Tambov State Technical University (106 Sovetskaya str., Tambov 392000, Russia), e-mail: [email protected]
