CC BY
3Студенческий научный электронный журнал StudArctic Forum
T. 9, № 2. С. 72-79 Научная статья УДК 004.946
Компьютерные и информационные науки
ПЕТРОЗАЕ
Виктория Александровна
КОТОК
аспирантура, Петрозаводский государственный университет (Петрозаводск, Россия), [email protected]
ПЕРСПЕКТИВНОЕ ОБОРУДОВАНИЕ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ ДЛЯ АССИСТИРОВАНИЯ ЛЮДЯМ С ДВИГАТЕЛЬНЫМИ
НАРУШЕНИЯМИ
Благодарности. Исследования, описанные в данной работе, были проведены в рамках реализации Программы поддержки НИОКР студентов, аспирантов и лиц, имеющих ученую степень, финансируемой Правительством Республики Карелия (соглашение КГРК-23/13)
Для цитирования: Коток В. А. Перспективное оборудование виртуальной реальности для ассистирования людям с двигательными нарушениями // StudArctic Forum. 2024. T. 9, № 2. С. 72-
Термин «жизнестойкость человека» описывает возможность человека преодолевать стрессы различной природы возникновения для поддержания высокого уровня психического и физического здоровья. Также в понятие жизнестойкости входит субъективная удовлетворенность своей жизнью [Вербина].
Существуют различные факторы, влияющие на субъективную удовлетворенность жизнью. Одним из них является состояние здоровья и его выраженные дефекты. Так, например, люди с рассеянным склерозом, болезнью Паркинсона и перенесшие инсульт обладают разного рода двигательными нарушениями, что сказывается на качестве жизни.
Предлагается разработать цифрового ассистента для людей с двигательными нарушениями с применением технологии виртуальной реальности. Цифровой ассистент позволит выполнять физические упражнения в отсутствии дополнительного спортивного инвентаря, оценивать параметры движения человека, предоставлять отчет о параметрах его движения. Разрабатываемое решение рассчитано на использование не только в медицинских
Научный руководитель:
Корзун Дмитрий Жоржевич Рецензент:
Кулаков Кирилл Александрович Статья поступила: 06.12.2023; Принята к публикации: 28.06.2024; Размещена в сети: 30.06.2024.
Аннотация. В работе представлено перспективное оборудование виртуальной реальности (VR-оборудование) применительно к задачам ассистирования человеку с двигательными нарушениями. Проведен анализ перспективного VR-оборудования, предложена классификация по признакам наличия тактильной обратной связи и объему набора отслеживаемых движений, определены полезные свойства применительно к задачам ассистирования. Среди представленного VR-оборудования подобрано VR-оборудование, совместимое с целевой платформой Valve Index и допустимое к использованию при условии разработки программного обеспечения уровня MVP.
Ключевые слова: виртуальная реальность, Valve Index, цифровой ассистент, двигательные нарушения, костюм виртуальной реальности, перчатка виртуальной реальности, VR-трекер
79.
организациях, но и в бытовых условиях.
Для разработки предложенного цифрового ассистента необходимо подобрать оборудование виртуальной реальности и его комплектующие для сбора подробной информации о движении человека. Предметом исследования является оборудование виртуальной реальности, позволяющее точно отслеживать движение человека в ключевых точках тела. Объект исследования - системы виртуальной реальности, их комплектующие, перчатки и костюмы.
Целью данного исследования является систематизация и подбор потенциально полезного оборудования виртуальной реальности для использования в задачах ассистирования человеку с двигательными нарушениями. Для выполнения поставленной цели были выделены следующие задачи:
• подобрать систему виртуальной реальности, позволяющую точно собирать данные о перемещении всех его частей с минимальными потерями;
• подобрать комплектующие для крепления на тело человека с целью организации получения большего количества параметров движения.
В данной работе выполнен обзор оборудования виртуальной реальности и совместимых комплектующих для крепления на тело человека применительно к задачам ассистирования человеку с двигательными нарушениями. В завершении обзора должно быть подобрано оборудование, отвечающее следующим требованиям: возможность сбора данных о перемещении, доступность к приобретению, низкая стоимость, невысокий уровень дискомфорта при использовании, применимость к разработке ПО уровня MVP для проверки гипотезы возможности применения VR к ассистированию человеку с двигательными нарушениями.
Оборудование виртуальной реальности (VR-оборудование) можно разделить на автономное и проводное. Первая категория функционирует самостоятельно, без необходимости внешнего подключения к каким-либо другим устройствам (например, Oculus Quest, HTC Vive Cosmos и др.). Вторая категория для обеспечения работоспособности и выполнения своих функциональных возможностей требует подключение к персональному компьютеру (ПК) или консолям (например, HTC Vive, Valve Index, Oculus Rift).
Помимо разницы в необходимости внешнего подключения автономные и проводные системы виртуальной реальности отличаются системой трекинга. Система трекинга автономного VR-оборудования построена на использовании 4-х камер, размещенных в корпусе гарнитуры. Таким образом, если человек заведет, например, контроллер за спину, где встроенные камеры не могут отследить оборудование, информация о его местоположении будет потеряна.
В свою очередь, проводное VR-оборудование требует подключения внешних лазерных базовых станций. В результате проводной VR предоставляет наиболее точную информацию о перемещении своих компонент.
В связи с вышеперечисленными причинами для разработки цифрового ассистента была выбрана проводная система виртуальной реальности Valve Index. В ее комплектацию входят гарнитура, 2 контроллера и 2 базовые станции (количество может быть увеличено до 4-х). Для обеспечения трекинга высокой точности базовые станции размещаются по диагонали, тем самым покрывая всю игровую зону. Valve Index функционирует при подключении к платформе Steam VR.
Вспомогательное оборудование (комплектующие) для отслеживания движения человека можно разделить на костюмы, перчатки и иное оборудование. Костюмы могут быть полноразмерными, т. е. надеваться на все тело, и на отдельные его части.
В таблице 1 приведено вспомогательное оборудование, его описание и полезность в
использовании для цифрового ассистента.
Таблица 1
Вспомогательное оборудование виртуальной реальности для отслеживания
движения человека
Название
Описание
Польза для цифрового ассистента
Костюм Teslasuit [Бетоева]
Полноразмерный костюм виртуальной реальности, обладающий тактильной обратной связью по всему телу. Он использует электростимуляцию мышц и нервов для обеспечения имитации набора близких к реальности ощущений. Для захвата движений используются 14 датчиков 1Ми для отслеживания, записи и мониторинга движений человека. Каждый такой датчик состоит из акселерометра, гироскопа и магнитометра. Входящая в состав биометрическая система предоставляет информацию о частоте сердечных сокращений в минуту и вариабельности частоты пульса. Спектральный диапазон чувствительности составляет 455-955 нм при 200 кадрах в секунду. Стоимость костюма составляет 12999 долларов США.
Полезное свойство костюма заключается в возможности детального отслеживания движения человека в пространстве виртуальной реальности и получения дополнительных параметров о здоровье человека без использования дополнительного оборудования. Таким образом, могут быть оценены численные параметры движения человека и обеспечено точное восстановление движения человека в пространстве виртуальной реальности. Костюм позволяет передавать не только тактильные ощущения от соприкосновения с объектами в виртуальном пространстве, но и температурные режимы. Данное свойство может быть полезно в реабилитации. Существенным недостатком в данном случае является высокая стоимость оборудования и ограниченность применения одного комплекта для людей с разными параметрами тела (телосложение, рост, вес).
Костюм ОрйТгаск!
Полноразмерный костюм для захвата движений, включающий штаны, куртку, шапку, бахилы, перчатки. Костюм позволяет собирать подробную информацию о движении человека и обладает обширным размерным рядом. В базовую комплектацию входят шапка, куртка и штаны. Стоимость костюма в минимальной комплектации составляет 325 долларов США.
Полезное свойство костюма заключается в возможности отслеживания движения человека в пространстве виртуальной реальности. Он не позволяет выполнять сбор дополнительной информации о здоровье человека и передавать тактильные ощущения из виртуального пространства в реальность. Эти свойства будут полезны в численной оценке параметров движения человека, точного восстановления движения человека в виртуальном пространстве и выполнении реабилитационных мероприятий. Оборудование может быть использовано отдельно от VR с помощью программного обеспечения (ПО) производителя.
Костюм Perception Neuron 3 [Романова]
Компрессионный костюм, состоящий из рубашки, лосин, головной повязки, ремней для рук и ног. Скорость сбора информации составляет до 240 кадров в секунду. Инерционная система включает в себя 18 датчиков тела, трансивер, зарядный чехол, адаптер питания и ремешки для тела. Стоимость костюма без дополнительных элементов в виде перчаток и трансивера составляет 350 долларов США.
Костюм позволяет получать информацию о движении человека в процессе его ношения. Он не обеспечивает тактильную чувствительность и может быть использован отдельно от VR с помощью ПО производителя. Таким образом, польза костюма заключается в возможности оценки численных параметров движения и точного восстановления движения человека в пространстве виртуальной реальности.
Костюм Smartsuit Pro II [Романова]
Костюм позволяет фиксировать движение человека и передавать его параметры по сети Wi-Fi в режиме реального времени в любое приложение, которым пользуется пользователь при наличии интеграции разработчика с ним. Поддерживается захват анимации тела, пальцев и лица. В комплект костюма могут быть включены или куплены отдельно перчатки, легко интегрируемые с VR. Стоимость костюма составляет 1995 долларов США.
Полезное свойство костюма заключается в возможности сбора информации о движении человека и ее передачи в режиме реального времени в доступное приложение пользователя.
Перчатки CaptoGlove2
Перчатка, используемая для отслеживания движения руки и управления жестами в VR. Работает как естественный контроллер, чем обеспечивает более полное погружение в VR.
Перчатка совместима с оборудованием HTC Vive и позволит предоставить подробную информацию о движении руки вплоть до движения пальцев.
Недостатком является
возможность отслеживания
движения только одной руки.
Перчатки Senso Glove DK3 [Овчинников]
Перчатки-контроллеры представляют собой автономные контроллеры с 6-ю степенями свободы. 8 1Ми-датчиков обеспечивают быструю обратную связь. Передача тактильных ощущений обеспечивается 6-ю компактными вибромоторами, которые расположены на каждом пальце. Задержка в передаче ощущений составляет 10 мс, а скорость считывания данных составляет 150 кадров в секунду.
Перчатки совместимы с оборудованием HTC Vive и позволяют предоставить подробную информацию о движении обеих рук человека и передать тактильные ощущения от соприкосновения с объектами виртуального пространства.
Таким образом, перчатки могут быть полезны в оценке численных параметров и
восстановлении движения кисти человека и реабилитации
двигательных нарушений верхних конечностей.
Перчатки Noitom Hi5 2.03
Перчатки позволяют отслеживать движение кисти вплоть до отдельных пальцев. Скорость отслеживания составляет 90 кадров в секунду. В состав перчаток входят 9-осевые IMU-датчики, покрывающих поверхность ладони. Совместимы с HTC Vive.
Перчатки обеспечивают точный захват движения кисти человека вплоть до пальцев. Позволяют передавать человеку виброотклик при соприкосновении с объектами виртуальной реальности. Перчатки могут быть полезны в отслеживании и реабилитации движения кисти человека.
Перчатки-контроллеры Manus Quantum Metaglove4
Перчатки обеспечивают самую высокую точность отслеживания движения кисти и пальцев среди своих конкурентов, позволяя отслеживать движение кончиков пальцев. Работают как в интеграции с VR-оборудованием, так и без него. Во втором случае требуется только ПО производителя. Задержка сигнала составляет менее 7.5 мс, частота дискретизации датчика - 120 Гц, беспроводной диапазон - до 15 м, беспроводная связь - Bluetooth 5.0.
Перчатки могут быть полезны для отслеживания развития двигательных нарушений на ранней стадии или на стадии поздней диагностики, когда нарушения уже не так сильно заметны при стороннем наблюдении.
Трекер лица VIVE Facial Tracker [Малинова]
Трекер лица позволяет отслеживать до 38 движений лица с минимальной задержкой. Оборудование совместимо с HTC VIVE Focus 3.
Оборудование может быть потенциально полезно в реабилитации мимических нарушений (нарушений управления мышцами лица).
Жилет виртуальной реальности Hardlight Suit5
Жилет обеспечивает отслеживание торса человека и передачу тактильных ощущений от столкновений с объектами виртуального пространства. Оборудование включает 16 модулей слежения, обеспечивающих хорошую обратную связь. Оборудование совместимо с HTC Vive.
Костюм позволяет локализовать область отслеживания движения человека до торса. Оборудование может быть полезно в реабилитации. Существенный минус заключается в возможности использования оборудования под конкретными играми.
VIVE Tracker 3.0 [Wenk]
VIVE Tracker 3.0 представляет собой компактное устройство, оснащенное акселерометром и гироскопом. Оно крепится на любой объект от части тела человека до дополнительных объектов (например, теннисная ракетка). Оборудование обладает низкой стоимостью и совместимо с HTC Vive.
VR-трекеры свободно крепятся к любой части тела человека, что позволяет обеспечить отслеживание любых точек человеческого тела и настроить свободную схему отслеживания движения человека.
На основе полученных материалов, представленных в таблице 1, предлагается классифицировать оборудование по 2 признакам: 1 - наличие тактильной обратной связи, 2 -объем набора отслеживаемых движений. По наличию тактильной обратной связи оборудование можно разделить на оборудование с обратной связью и без нее. Тактильная обратная связь может быть вибрационной, электростимуляционной или температурной. Первая передает силу (давление), вторая стимулирует мышцы и нервы, третья передает температуру.
По объему набора отслеживаемых движений оборудование можно разделить на покрывающее все тело (костюмы), часть тела (жилеты, перчатки) или атомарный участок тела ^К-трекеры, трекеры лица). Оба классификатора могут быть использованы наравне. Так, например, костюм Тев1авик покрывает все тело человека, что обеспечивает захват наибольшего количества типов движений человека, и передает ощущения с помощью электростимуляции мышц и нервов.
Оборудование, приведенное в обзоре, в общем виде можно структурировать на основе следующих технических параметров: количество датчиков, позволяющих отследить перемещение точки тела, количество модулей, позволяющих передать тактильные ощущения, возможность получения дополнительной информации о здоровье (например, ЧСС, вариабельность ЧСС), размерный ряд, скорость сбора информации о движении, возможность совместного использования дополнительного оборудования, задержка при передаче тактильных ощущений, детализация отслеживания тела или части тела, работа по беспроводной связи, совместимость с VR-оборудованием, возможность работы без использования VR-оборудования.
Полезными свойствами для задач ассистирования можно выделить оценку численных параметров и точное восстановление движения человека в пространстве виртуальной реальности, получение и аккумулирование дополнительной информации о здоровье человека в момент использования оборудования, передачу тактильных ощущений. Перечисленные признаки полезны врачу-специалисту не только для диагностики нарушений движения и оценки здоровья в момент использования цифрового ассистента, но и для реабилитации нарушенных функций человека.
К возможным недостаткам оборудования можно отнести высокую стоимость, в ряде случаев ограниченность применения при разных антропометрических параметрах и области отслеживания на теле человека, неудобство использования, использование с конкретным ПО, отслеживание одной конечности.
Для разработки цифрового ассистента, на котором будет осуществлена проверка гипотезы возможности ассистирования человеку с двигательными нарушениями, выбираемое оборудование должно быть атомарным и может не обладать тактильной обратной связью. Помимо названного, оно должно иметь возможность работы совместно с системой виртуальной реальности Valve Index. Такой выбор сделан в силу наличия таких ограничивающих факторов, как стоимость, избыточность, неудобство использования и др.
Оборудование, перечисленное в таблице 1, в большинстве своем может быть использовано с системой виртуальной реальности Valve Index, однако оно обладает высокой стоимостью или предназначено для других целей (отслеживание эмоций, движения кисти рук и др.). Поэтому для разработки совместно с использованием системы Valve Index было выбрано оборудование VIVE Tracker 3.0, т. к. оно позволяет сформировать индивидуальную схему сбора информации о походке человека и практически не накладывает ограничений в мобильности человека.
По результатам выполнения обзора был сформирован перечень из 11 объектов оборудования, позволяющего выполнять сбор информации о движении человека, совместимого с использованием системы Valve Index. Проанализированы возможности оборудования, вошедшего в обзор, предложена классификация на основе признаков: наличие тактильной обратной связи, объем набора отслеживаемых движений. Сформулированы полезные свойства для применения к задачам ассистирования и набор технических параметров, на которые стоит обратить внимание при подборе оборудования.
Для разработки цифрового ассистента среди полученного перечня было выбрано оборудование VIVE Tracker 3.0, позволяющее самостоятельно выбрать схему крепления на тело человека и ключевые точки для сбора и оценки численных параметров движения. Такой выбор обусловлен доступностью оборудования, низкой стоимостью и применимостью к разработке ПО уровня MVP для проверки гипотезы возможности применения VR к ассистированию человеку с двигательными нарушениями.
Примечания
1
1 Motion Capture Suit // OptiTrack: [сайт]. URL: https://optitrack.com/accessories/wear (дата обращения 07.11.2023).
2 Virtual Reality // Captoglove: [сайт]. URL: https://www. capto glove. com/virtual-reality-applications-of-captoglove (дата обращения 07.11.2023).
Патент № 2734659 C1 Российская Федерация, МПК G09B 9/52. Тренажёрный комплекс для подготовки экипажей космических кораблей к действиям после посадки пилотируемой капсулы на море с волнением: № 2020113984: заявл. 03.04.2020: опубл. 21.10.2020 / В.Е. Шукшунов, И.В. Шукшунов, Н.Н. Конюхов, др.; заявитель - Общество с ограниченной
ответственностью "Центр тренажеростроения и подготовки персонала".
4 XSENS METAGLOVES By MANUS // Manus: [сайт]. URL: https://www.manus-meta.com/products/xsens-metagloves (дата обращения 07.11.2023).
5 Жилет виртуальной реальности Hardlight Suit // Интернет-магазин гаджетов будущего: [сайт]. URL: https://www.gadgilla.com/collection/kostyumy-vr/product/zhilet-virtualnoy-realnosti-hardlight-suit (дата обращения 07.11.2023).
Список литературы
Бетоева Е.А. Эргодизайн цифровой VR среды // Заметки ученого. 2022. № 10. С. 20-26.
Вербина Г.Г. Жизнестойкость человека как личностный ресурс достижения высокого уровня физического и психического здоровья [Электронный ресурс] // Клиническая и медицинская психология: исследования, обучение, практика: электрон. науч. журн. 2017. Т. 5, № 4(18). URL: http://medpsy.ru/climp (дата обращения 07.11.2023).
Малинова А.Г. Анализ возможностей устройства HTC VIVE Facial Tracker / А.Г. Малинова, Л.С. Лисицына // XI Конгресс молодых учёных: Сб. научных трудов, Санкт-Петербург, 04-08 апреля 2022 года. Санкт-Петербург: Национальный исследовательский университет ИТМО, 2022. С. 258-261.
Овчинников Д.Л. Контроллер-перчатка для взаимодействия со средой виртуальной реальности // Тинчуринские чтения - 2023 «Энергетика и цифровая трансформация»: Материалы Международной молодежной научной конференции. В 3-х тт. Казань, 26-28 апреля 2023 г. Казань: Казанский государственный энергетический университет, 2023. Т. 1. С. 529-532.
Романова Е.В. Возможности технологий виртуальной реальности для разработки игровых приложений / Е.В. Романова, Л.В. Курзаева, Л.З. Давлеткиреева, Т.Б. Новикова // Открытое образование. 2021. Т. 25, № 5. С. 31-40. DOI 10.21686/1818-4243-2021-5-31-40.
Wenk N. Naturalistic visualization of reaching movements using head-mounted displays improves movement quality compared to conventional computer screens and proves high usability / N. Wenk, K.A. Buetler, J. Penalver-Andres, et al. // Journal of NeuroEngineering and Rehabilitation. 2022. Vol. 19, No. 1. P. 1-23. DOI 10.1186/s12984-022-01101-8.
Computer and Information Sciences
Viktoria A. KOTOK
postgraduate course, Petrozavodsk State University (Petrozavodsk, Russia), [email protected]
PROMISING VIRTUAL REALITY EQUIPMENT FOR ASSISTING PEOPLE
WITH MOBILITY IMPAIRMENTS
For citation: Kotok, V. A. Promising Virtual Reality Equipment for Assisting People with Mobility Impairments. StudArctic Forum. 2024, 9 (2): 72-79.
Betoeva E.A. Ergodesign of digital VR environment. Scientist's Notes, 2022, No. 10, pp. 20-26. (In Russ.)
Verbina G.G. The viability of man as a personal resourse to achieve a hight level of physical and mental health. Clinical and Medical Psychology: Research, Teaching, Practice: Electronic Scientific Journal, 2017, Vol. 5, No. 4(18). URL: http://medpsy.ru/climp (Accessed: 07.11.2023) (In Russ.)
Malinova A.G., Lisitsyna L.S. Analysis of HTC VIVE Facial Tracker device capabilities. XI Congress of Young Scientists: Collection of scientific papers, St. Petersburg, April 04-08, 2022. St. Petersburg, ITMO University, 2022, pp. 258-261. (In Russ.)
Ovchinnikov D.L. Controller glove for interacting with the virtual reality environment. Tinchurin Readings - 2023 «Energy and Digital Transformation»: Proceedings of the international youth scientific conference. In 3 vols. Kazan, April 26-28, 2023. Kazan, Kazan State Power Engineering University, 2023, Vol. 1, pp. 529-532. (In Russ.)
Romanova E.V., et al. Possibilities of virtual reality technologies for the development of gaming applications. Open Education, 2021, Vol. 25, No. 5, pp. 3 1-40. DOI 10.21686/1818-42432021-5-31-40. (In Russ.)
Wenk N., et al. Naturalistic visualization of reaching movements using head-mounted displays improves movement quality compared to conventional computer screens and proves high usability. Journal of NeuroEngineering and Rehabilitation, 2022, Vol. 19, No. 1, pp. 1-23. DOI 10.1186/s12984-022-01101-8.
Scientific adviser:
Dmitry Z. Korzun Reviewer:
Kirill Kulakov Paper submitted on: 12/06/2023; Accepted on: 06/28/2024; Published online on: 06/30/2024.
Abstract. The article presents promising virtual reality equipment (VR equipment) in relation to the tasks of assisting a person with motor impairments. The researchers conducted an analysis of promising VR equipment options, classified them based on the presence of tactile feedback and the volume of a set of tracked movements, and identified useful properties in relation to assistance tasks. From the range of VR equipment examined, specific VR equipment was selected that is compatible with the target Valve Index platform and acceptable for use, pending the development of MVP-level software.
Keywords: virtual reality, Valve Index, digital assistant, motor impairment, virtual reality suit, virtual reality glove, VR tracker
References
