CC BY
10
УДК 004.94
doi: 10.21685/2307-5538-2023-2-12
ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА ПРОГРАММНОГО
УПРАВЛЕНИЯ МНОГООСЕВОЙ ПЛАТФОРМОЙ ДЛЯ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ С ИМИТАЦИЕЙ ВОЗДЕЙСТВИЯ ВНЕШНЕЙ СРЕДЫ И ОБРАТНОЙ СВЯЗЬЮ
А. Д. Иванов1, А. Ю. Тычков2, Д. С. Чернышов3, С. Ю. Тверская4, Р. В. Золотарев5, М. С. Яковлев6
1 г, з, 4 Пензенский государственный университет, Пенза, Россия 5' 6 Центр экспозиционной медицины, Пенза, Россия 1 Sailtothe54@gmail.com, 2 tychkov-a@mail.ru, 3 deniska_1980_13@mail.ru, 4 tverskaya_sofya@mail.ru, 5 leshiy021178@gmail.com, 6 Iakovlev398@gmail.com
Аннотация. Актуальность и цели. Целью работы является создание прототипа программного обеспечения для аппаратного управления новой многоосевой платформой для виртуальной реальности с имитацией воздействия внешней среды и обратной связью, обеспечивающей полное погружение пользователя в виртуальную реальность посредством воздействия на сенсорные биологические сигнальные системы (тактильную, вестибулярную, слуховую, зрительную). Материалы и методы. В рамках реализации настоящего проекта создан программный продукт для управления многоосевой платформой для виртуальной реальности, обеспечивающий полное погружение пользователя. Результаты. Результатом реализации проекта является рабочий прототип системы.
Ключевые слова: виртуальная реальность, симулятор движения, реабилитация
Для цитирования: Иванов А. Д., Тычков А. Ю., Чернышов Д. С., Тверская С. Ю., Золотарев Р. В., Яковлев М. С. Интеллектуальная система программного управления многоосевой платформой для виртуальной реальности с имитацией воздействия внешней среды и обратной связью // Измерение. Мониторинг. Управление. Контроль. 2023. № 2. С. 97-103. doi: 10.21685/2307-5538-2023-2-12
INTELLIGENT SOFTWARE CONTROL SYSTEM FOR A MULTI-AXIS VIRTUAL REALITY PLATFORM WITH SIMULATED ENVIRONMENTAL IMPACT AND FEEDBACK
A.D. Ivanov1, A.Yu. Tychkov2, D.S. Chernyshov3,
S.Yu. Tverskaya4, R.V. Zolotarev5, М^. Yakovlev6
1 2 i 4 Penza State University, Penza, Russia 5 6 Center for Exposure Medicine, Penza, Russia 1 Sailtothe54@gmail.com, 2 tychkov-a@mail.ru, 3 deniska_1980_13@mail.ru, 4 tverskaya_sofya@mail.ru, 5 leshiy021178@gmail.com, 6 Iakovlev398@gmail.com
Abstract. Background. The aim of the work is to create a prototype of software for hardware control of a new multi-axis platform for virtual reality with simulated environmental effects and feedback, providing a complete immersion of the user in virtual reality through exposure to sensory biological signaling systems (tactile, vestibular, auditory, visual). Materials and methods. As part of the implementation of this project, a software product has been created to control a multi-axis platform for virtual reality, providing full immersion of the user with simulated environmental impact and feedback. Results. The result of the project is a working prototype of the system.
Keywords: virtual reality, motion simulator, rehabilitation
For citation: Ivanov A.D., Tychkov A.Yu., Chernyshov D.S., Tverskaya S.Yu., Zolotarev R.V., Yakovlev М^. Intelligent software control system for a multi-axis virtual reality platform with simulated environmental impact and feedback. Izmerenie. Monitoring. Upravlenie. Kontrol' = Measuring. Monitoring. Management. Control. 2023;(2):97-103. (In Russ.). doi: 10.21685/2307-5538-2023-2-12
© Иванов А. Д., Тычков А. Ю., Чернышов Д. С., Тверская С. Ю., Золотарев Р. В., Яковлев М. С., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
Измерение. Мониторинг. Управление. Контроль. 2023. № 2
Введение
Для эффективного лечения и профилактики различных заболеваний современная медицина использует широкий спектр различных технологий, которые продолжают развиваться и доказывать свою эффективность.
За последние несколько лет наблюдается стремительное развитие устройств виртуальной реальности в медицинской сфере. PubMed - один из крупнейших сервисов по поиску медицинских исследований, предлагающий статистику по запросу «VR in medicine». Наблюдается экспоненциальный рост количества научных работ по данной тематике. В 2012 г. количество публикаций составляло 74, в 2019 - 504, а за 2022 г. показатель вырос до 954 научных работ.
Система виртуальной реальности, состоящая из сложной электроники, множества датчиков и подключаемых устройств, позволяет «обмануть» человеческие ощущения, заставить пациента чувствовать то, что не происходит с ним в реальном мире, это открывает широкие возможности по использованию VR в медицине.
98
Анализ предметной области
Практикующие медицинские работники отмечают эффективность использования технологий VR для снижения восприятия боли после перенесенной травмы или во время выполнения процедур и операций путем погружения пациента в виртуальную реальность. Концентрация на ощущениях в виртуальной реальности позволяет организму в меньшей степени реагировать на болевые раздражители реального мира [1]. Данная технология получила название виртуально-реальный гипноз (VRH - virtual reality hypnosis).
С помощью виртуальной реальности появляется возможность лечить психосоматические фантомные боли в конечностях. Например, человек, страдающий от фантомных болей в руке, погрузившись в виртуальную реальность, может сместить фокус восприятия с болевых ощущений в отсутствующей конечности на ее цифровой прообраз, в результате чего боль либо исчезает, либо становится менее выраженной [2].
Виртуальная реальность также используется для нейрореабилитации. В работе [3] показана эффективность использования виртуальной реальности в лечении пациентов с патологиями ЦНС. Погружение в виртуальную реальность запускает механизмы восстановления нейро-связей, что позволяет бороться с нарушением равновесия, движения конечностей и другими симптомами.
Ученые из Белоруссии в своей статье доказали эффективность использования VR в реабилитации мануальной активности у детей с церебральным параличом [4].
Кроме коррекции болевого синдрома и нейрореабилитации, VR находит свое применение в офтальмологии, психиатрии, психологии и других медицинских направлениях.
Для проведения более эффективных сеансов лечения и реабилитации устройства виртуальной реальности постоянно совершенствуются. Для наилучшего опыта погружения пациента в виртуальную среду недостаточно одного лишь шлема виртуальной реальности, необходимо использовать дополнительное оборудование и подключаемые устройства. Во время погружения в виртуальную реальность на пациента все еще действуют внешние факторы, такие как температура, запахи, гравитация и т.п. В современных VR системах существуют специальные установки, управляющие климатом, который синхронизируется со сценой VR, платформы, позволяющие человеку ходить одновременно и в реальном, и в виртуальном мире. Однако во всей экосистеме устройств виртуальной реальности практически отсутствуют решения, которые позволили бы управлять положением человека в реальном пространстве во время погружения в виртуальные сцены. Наличие такого устройства позволило бы значительно улучшить опыт погружения в виртуальную среду и позволить людям, испытывающим проблемы с опорно-двигательной системой, в полной мере ощутить изменение положения своего тела, движение и ускорение в реальном мире.
Среди существующих технических решений можно выделить некоторые запатентованные устройства, выполняющие схожие функции. Корейский патент [6] демонстрирует устройство, позволяющее кабине с пользователем ориентироваться согласно положению пользователя в виртуальной реальности. Главным недостатком данного устройства является его размер. Кабина с человеком в данном варианте установлена на роботизированном манипуляторе, который
должен быть закреплен на прочной платформе, а силы, действующие в узлах манипулятора, из-за особенностей конструкции достаточно большие, вследствие чего возрастают требования к прочности конструкции, крутящему моменту моторов. Все вышеперечисленное, в свою очередь, значительно повышает цену изделия, удобство использования и мобильность устройства.
В патенте Virtual reality motion simulator [7] демонстрируется устройство, представляющее из себя кресло со встроенной механикой, позволяющее ему совершать повороты, согласно данным с VR. Недостатком данного устройства являются ограниченные углы поворота.
Предлагаемое решение
Для устранения недостатков указанных технических решений предлагается разработка оригинальной многоосевой платформы для виртуальной реальности с имитацией воздействия внешней среды и обратной связью. Внешний вид предлагаемой платформы представлен на рис. 3. Предлагаемая система состоит из: шаговых двигателей, токосъемников и энкодеров. Наличие трех колец позволяет ориентировать человека в любом направлении. Для приведения колец в движение используются шаговые двигатели. Обладая сравнительно небольшим размером, они имеют достаточно высокий крутящий момент и точное позиционирование. Для получения углового значения каждого из колец используются энкодеры, которые следят за вращением и отправляют соответствующие сигналы на блок управления. Чтобы каждое из колец могло свободно вращаться, используются токосъемники, без которых невозможно проведение проводов к электронным компонентам на внутренних кольцах.
100
Измерение. Мониторинг. Управление. Контроль. 2023. № 2
Рис. 3. Внешний вид многоосевой платформы
Суть идеи заключается в следующем (рис. 4). В сцене виртуальной реальности отслеживается положение объекта, в котором находится человек (машина). Положение виртуального объекта синхронизируется с положением человека в реальном пространстве. Например, если человек в виртуальной реальности передвигается на автомобиле, который начинает заезжать в гору, положение одного из колец платформы начнет изменяться, пользователь (находящийся в центре установки), следовательно, ощутит изменение положения своего тела в реальном мире.
Рис. 4. Принцип работы многоосевой платформы
Обобщенная структурная схема системы управления платформы приведена на рис. 5.
Рис. 5. Обобщенная структурная схема системы управления платформы
Для работы с платформой были созданы сцены виртуальной реальности в Unreal Engine. Данные об угловом положении объекта в пространстве с помощью специально разработанного плагина через локальный порт компьютера отправляются на микроконтроллер в блок управления установкой. Двухъядерный микроконтроллер ESP32, являющийся центром блока управления, обладает достаточным количеством выводов и скоростью работы для поставленных целей. К микроконтроллеру подключаются микросхемы драйвера двигателя A4988, энкодеры, отслеживающие угол поворота колец, управляющий энкодер, LCD экран (рис. 6). Также предусмотрено управление установкой через протокол Bluetooth с помощью смартфона.
Заключение
В ходе работы будет создана платформа, отвечающая всем вышеуказанным требованиям.
Будут исключены недостатки существующих решений, а устройство займет свое место на
рынке VR.
Список литературы
1. Oneal B., Patterson D., Soltani M. et al. Virtual reality hypnosis in the treatment of chronic neuropathic pain: a case report // Int J Clin Exp Hypn. 2008. Vol. 56. P. 451-462.
2. Бофанова Н. С., Буланов А. А., Яворский А. С., Алехина Е. В. Технология виртуальной реальности как современное направление в реабилитации пациентов с фантомной болью // Российский журнал боли. 2021. № 19. С. 33-37.
3. Устинова К. И., Черникова Л. А. Виртуальная реальность в нейрореабилитации // Анналы клинической и экспериментальной неврологии. 2008. № 2. С. 34-39.
4. Шалькевич Л. В. Эффективность использования технологий виртуальной реальности в комплексной реабилитации мануальной активности у детей с детским церебральным параличом // Журнал Гродненского государственного медицинского университета. 2020. № 18. С. 716-721.
: Измерение. Мониторинг. Управление. Контроль. 2023. № 2 i......................................................................................................
5. Бурукина И. П., Привалов А. Э. Исследование современных подходов к проектированию цифровых интерфейсов // Известия высших учебных заведений. Поволжский регион. Технические науки. 2022.
: № 1. С. 78-87. doi: 10.21685/ 2072-3059-2022-1-7
6. Петруня О. Э. Актуальные проблемы информационного подхода в биомедицине // Биомедицинская радиоэлектроника. 2017. № 10.
7. Пат. KR20180096155A, South Korea, inventors Imjin Guk, Jo Se-hoon. Multi-function multi-equipment vir-■ tual Reality Motion simulator and the method.
8. Пат. US10994216B2, United States, inventor David Board. Virtual reality motion simulator.
1. Oneal B., Patterson D., Soltani M. et al. Virtual reality hypnosis in the treatment of chronic neuropathic pain: a case report. Int J Clin Exp Hypn. 2008;56:451-462.
2. Bofanova N.S., Bulanov A.A., Yavorskiy A.S., Alekhina E.V. Virtual reality technology as a modern direction in the rehabilitation of patients with phantom pain. Rossiyskiy zhurnal boli = Russian Journal of Pain. 2021;(19):33-37. (in Russ.)
3. Ustinova K.I., Chernikova L.A. Virtual reality in neurorehabilitation. Annaly klinicheskoy i eksperimental'noy nevrologii = Annals of clinical and experimental neurology. 2008;(2):34-39. (In Russ.)
4. Shal'kevich L.V. Efficiency of using virtual reality technologies in complex rehabilitation of manual activity in children with cerebral palsy. Zhurnal Grodnenskogo gosudarstvennogo meditsinskogo universiteta = Journal of Grodno State Medical University. 2020;(18):716-721. (In Russ.)
5. Burukina I.P., Privalov A.E. Research of modern approaches to the design of digital interfaces. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = Izvestia of higher educational institutions. Volga region. Technical sciences. 2022;(1):78-87. (In Russ.). doi: 10.21685/ 2072-3059-2022-1-7
6. Petrunya O.E. Actual problems of the information approach in biomedicine. Biomeditsinskaya radioel-ektronika = Biomedical radioelectronics. 2017;(10). (In Russ.)
7. Patent. KR20180096155A, South Korea, inventors Imjin Guk, Jo Se-hoon. Multi-function multi-equipment virtual Reality Motion simulator and the method.
8. Patent US10994216B2, United States, inventor David Board. Virtual reality motion simulator.
References
Информация об авторах/Information about the authors
Александр Дмитриевич Иванов
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул Красная, 40) Email: Sailtothe54@Gmail.com
Aleksandr D. Ivanov
Postgraduate student, Penza State University
(40 Krasnaya street, Penza, Russia)
Александр Юрьевич Тычков
доктор технических наук, доцент, заведующий кафедрой радиотехники и радиоэлектронных систем, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: tychkov-a@mail.ru
Aleksandr Yu. Tychkov
Doctor of technical sciences, associate professor,
head of the sub-department of radio engineering
and radioelectronic systems,
Penza State University
(40 Krasnaya street, Penza, Russia)
Денис Сергеевич Чернышов
студент,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: deniska_1980_13@mail.ru
Denis S. Chernyshov
Student,
Penza State University
(40 Krasnaya street, Penza, Russia)
Софья Юрьевна Тверская
инженер кафедры радиотехники и радиоэлектронных систем, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: tverskaya_sofya@mail.ru
Sofia Yu. Tverskaya
Engineer of the sub-department of radio engineering and radioelectronic systems, Penza State University (40 Krasnaya street, Penza, Russia)
Руслан Валерьевич Золотарев
инженер,
Центр экспозиционной медицины (Россия, г. Пенза, ул. Кронштадская, 2) E-mail: leshiy021178@gmail.com
Михаил Сергеевич Яковлев
лаборант,
Центр экспозиционной медицины (Россия, г. Пенза, ул. Кронштадская, 2) E-mail: Iakovlev398@gmail.com
Ruslan V. Zolotarev
Engineer,
Center for Exposure Medicine (2 Kronshtadskaya street, Penza, Russia)
Mihail S. Yakovlev
Laboratory assistant,
Center for Exposure Medicine
(2 Kronshtadskaya street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 27.02.2023 Поступила после рецензирования/Revised 27.03.2023 Принята к публикации/Accepted 26.04.2023
