CC BY
69https://doi.org/10.36425/rehab65949
Аппаратно-программный комплекс для восстановления моторных функций конечностей на основе технологии виртуальной реальности и нейрокомпьютерного интерфейса
Ю.Ю. Некрасова, В.С. Воронцова, М.М. Канарский, П. Прадхан, Д.А. Шуненков, С.С Пузин, И.В. Пасько, Ю.А. Подольская, А.Ю. Крючкова
Федеральное государственное бюджетное научное учреждение «Федеральный научно-клинический центр реаниматологии и реабилитологии», Москва, Российская Федерация
Представлена работа аппаратно-программного комплекса на основе виртуальной реальности и неинвазивного нейрокомпьютерного интерфейса с учетом ЭЭГ-сигнала, предназначенного для восстановления двигательных функций конечностей у пациентов с последствиями приобретенных тяжелых поражений головного мозга посредством идеомоторной тренировки. Комплекс представляет собой гибкую систему, позволяющую проводить тренировку любых движений как верхними, так и нижними конечностями в любой виртуальной среде с различной степенью иммерсивности. Предложенный в работе метод оценки десинхронизации сенсомоторного ритма при воображении движений и разработанный алгоритм идеомоторной тренировки успешно прошел испытания на здоровых добровольцах.
Ключевые слова: VR; виртуальная реальность; нейрокомпьютерный интерфейс; реабилитация.
Для цитирования: Некрасова Ю.Ю., Воронцова В.С., Канарский М.М., Прадхан П., Шуненков Д.А., Пузин С.С., Пасько И.В., Подольская Ю.А., Крючкова А.Ю. Аппаратно-программный комплекс для восстановления моторных функций конечностей на основе технологии виртуальной реальности и нейрокомпьютерного интерфейса. Физическая и реабилитационная медицина, медицинская реабилитация. 2021;3(2):231-242. Б01: https://doi.org/10.36425/rehab65949
Поступила: 27.04.2021 Принята: 22.06.2021 Опубликована: 25.06.2021
Hardware and Software Complex for Restoring Motor Functions Based on Virtual Reality and Brain-Computer Interface
Ju.Ju. Nekrasova, V.S. Vorontsova, M.M. Kanarskiy, P. Pradhan, D.A. Shunenkov, S.S. Puzin, I.V. Pasko, Ju. A. Podolskaya, A.Y. Criuchkova
Federal Scientifi c and Clinical Center of Intensive Care Medicine and Rehabilitology, Moscow, Russian Federation
In this paper, we consider a hardware-software complex based on virtual reality and a non-invasive EEG neurocomputer interface, designed to restore motor functions of the limbs in patients with the consequences of severe acquired brain lesions through ideomotor training. The complex is a flexible system that allows to train any movements of both the upper and lower extremities in any virtual environment with varying degrees of immersiveness. The proposed method for assessing desynchronization of the sensorimotor rhythm during imagining movements and the developed algorithm for ideomotor training have been successfully tested on healthy volunteers.
Keywords: VR; virtual reality; neurocomputer interface; rehabilitation.
For citation: Nekrasova JuJu, Vorontsova VS, Kanarskiy MM, Pradhan P, Shunenkov DA, Puzin SS, Pasko IV, Podolskaya JuA, Criuchkova AY. Hardware and Software Comlex for Restoring Motor Functions Based on Virtual Reality and Brain-Computer Interface. Physical and rehabilitation medicine, medical rehabilitation. 2021;3(2):231-242. DOI: https://doi.org/10.36425/rehab65949
Received: 27.04.2021 Accepted: 22.06.2021 Published: 25.06.2021
Список сокращений
АПК ДФ — аппаратно-программный комплекс для восстановления двигательных функций
КГР — кожно-гальваническая реакция
НКИ — нейрокомпьютерный интерфейс
СМР — сенсомоторный ритм
ЧСС — частота сердечных сокращений
ЭКГ — электрокардиография
ЭЭГ — электроэнцефалография
MEMS (microelectromechanical systems) —
микроэлектромеханическая система
HMD (head-mounted display) — шлем
виртуальной реальности
VR (virtual reality) — виртуальная
реальность
Введение
Виртуальная реальность (virtual reality, VR) представляет собой созданную техническими средствами искусственную окружающую среду, воспринимаемую человеком через органы чувств (зрение, слух, обоняние, осязание) [1]. Таким образом, VR-технологиям, по определению, свойственна мультисенсорная стимуляция, способная, по данным отечественных и зарубежных исследований [2, 3], запускать процессы функциональной перестройки корковых связей головного мозга, известные как нейропластичность [4]. В целом все применяемые на сегодняшний день VR-технологии могут быть разделены на пассивные, когда мультисенсорная стимуляция осуществляется без интерактивного взаимодействия с виртуальной средой, и активные, когда пользователь манипулирует «аватаром» (образом своего тела) или конкретными объектами внутри сценария с использованием того или иного вида обратной связи.
О применении мультисенсорной тренировки в виртуальной среде для физической реабилитации известно с начала 1980-х гг. [5]. В настоящее время данная технология чаще всего используется в нейро-реабилитации больных после тяжелых черепно-мозговых травм и инсультов [6-10]. Так, у пациентов, проходивших реабилитацию с использованием VR-тренажеров YouGrabber (YouRehab, Швейцария), результаты оказались лучше, чем в контрольной группе с традиционной терапией [11]. Сходные результаты отмечены и при использовании систем NeuroRehabLab (Португалия) [12] и Sixense (США) [13]. При этом в ряде работ [14-16] отмеча-
ется прогрессивное улучшение качества движений у больных при использовании VR c обратной связью. В этой связи следует отметить, что VR-система обладает практически безграничными возможностями добавления интерфейсов и модальностей. Так, многим исследователям удалось интегрировать виртуальную реальность с электрофизиологическими приборами для записи данных о кожно-гальва-нической реакции, частоте сердечных сокращений (ЧСС), электромиографии [17-19], электроэнцефалографии (ЭЭГ) [20, 21], функциональной магнитно-резонансной томографии [22], а также применить оборудование для отслеживания движения глаз [23], неинвазивной стимуляции мозга [24], инфракрасные термокамеры [25], стабилометрические платформы и др. [26].
Среди вышеперечисленных систем наиболее перспективными можно считать системы, совмещающие визуальную и тактильную обратную связь [27, 28]. Среди современных систем такого рода можно назвать разработки Самарского государственного университета ReviVR и ReviMotion [29], а также систему Attilan компании Моторика (Россия) [30]. Однако результаты применения таких систем в литературе описаны недостаточно полно. Литературный анализ показывает, что для больных с последствиями черепно-мозговых травм или острого нарушения мозгового кровообращения перспективным направлением является применение обратной связи по ЭЭГ, известной в большинстве литературных источников под названием нейрокомпью-терного интерфейса (НКИ). Как отмечается в ряде исследований, эффект от использования НКИ заключается не только в возможном ассистировании движению с помощью внешних устройств (экзо-скелеты, робототехника), но и в способствовании восстановлению поврежденных функций за счет запускаемых механизмов пластичности головного мозга [31-33]. НКИ, основанные на воображении движения (от англ. motor imagery), позволяют значительно улучшить двигательные функции, что достаточно хорошо задокументировано у здоровых людей [34, 35] и в ряде случаев реабилитации постинсультных больных [36-39]. Можно отметить также применение VR-сценариев для лечения фобий или посттравматических стрессовых расстройств, моделирование экстремальных ситуаций в процессе когнитивно-поведенческой терапии и пр.
Среди положительных эффектов применения VR-технологий отмечаются в основном повышение мотивации пациента к более продолжительным тренировкам, снижение тревожности и неудовлетво-
ренности лечением [40]. Со стороны исследователя основное преимущество заключается в том, что виртуальная реальность обеспечивает формирование практически любой среды, подходящей для данного конкретного пациента, с учетом его интересов, склонностей, стойких навыков. Данная среда может быть информационно избыточной, что позволяет повысить уровень стимуляции, т. е. интенсивность нагрузки при тренировке и терапии, а также сочетать с этим высокую степень контролируемости как самой среды, так и физиологических показателей и поведения пациента [41]. УИ позволяет манипулировать средой, окружающей пользователя (включая виртуальные персонажи, объекты и окружение), а также аватаром участника тем способом, который невозможен в физической реальности, например изменять симметрию конечностей [42] или их внешний вид [25], цвет кожи [43, 44], форму тела [45] и точку зрения в пространстве, с которой участник смотрит на свой виртуальный образ [46, 47]. В целом можно сказать, что УИ-технологии применяются достаточно успешно в комплексной реабилитации пациентов и на сегодняшний день признаны многообещающим методом, позволяющим повысить результативность реабилитационного процесса [48-51].
В настоящей работе рассматривается аппаратно-программный комплекс на основе УИ и неинвазив-ного НКИ, предназначенный для восстановления
двигательных функций конечностей у пациентов с последствиями прио бретенных тяжелых поражений головного мозга (АПК ДФ). Предложен метод оценки отклика пациента на применение VR-технологий. Приведены результаты пилотного экспериментального исследования на здоровых добровольцах.
Система для реализации VR-терапии с применением нейрокомпьютерного интерфейса I. Структурная схема
Структурная схема АПК ДФ конечностей на основе технологии виртуальной реальности и НКИ представлена на рис. 1.
В состав системы для восстановления моторных функций пациентов входят следующие элементы.
1. Система виртуальной реальности HTC VIVE Pro Eye (параметры представлены в табл. 1).
2. Рабочая станция (технические характеристики представлены в табл. 2).
3. Датчики для измерения электрокардиографии (ЭКГ), ЭЭГ, кожно-гальванической реакции (КГР), актиграфии.
Регистрация ЭЭГ осуществляется с помощью комплекса NeuroPlay-8Cap производства компании Neurobotics (Россия), представляющей собой 8-ка-нальную нейрогарнитуру беспроводной регистрации ЭЭГ данных человека на сухих (безгелевых)
Рис. 1. Структурная схема комплекса для восстановления моторных функций.
HMD (head-mounted display) — шлем виртуальной реальности, КГР — кожно-гальваническая реакция, ЭКГ — электрокардиография, ЭЭГ — электроэнцефалография, MEMS (microelectromechanical systems) — микроэлектромеханическая система.
НОВЫЕ МЕТОДЫ И ТЕХНОЛОГИИ, ДИСКУССИИ НЕКРАСОВА Ю.Ю. и др.
Таблица 1. Технические характеристики системы HTC VIVE Pro Eye
Разрешение 2880x1600
Разрешение дисплеев каждого глаза 1440x1600
Частота обновления дисплея, Гц 90
Микрофон Встроенный
Встроенные датчики Сенсор IPD для подстройки межзрачкового расстояния; гироскоп; датчик приближения; акселерометр
Интерфейсы Bluetooth, DisplayPort 1.2, USB-C 3.0
Угол обзора, град. 110°
Совместимые контроллеры, шт. Собственные контролеры; 2
Возможность подключения наушников Встроенные наушники
Базовые станции, шт. SteamVR 2.0; 2
Игровая зона, мхм 3x3
Таблица 2. Технические характеристики рабочей станции для VR
Комплектующая Количество
Центральный процессор AMD Ryzen 7 3800Х (OEM) 1
Охладитель для CPU Arctic Freezer 34 eSports DUO 1
Материнская плата Gigabyte Gaming X (AM4, ATX) 1
Оперативная память G.Skill Aegis DDR4 3200 МГц 2x8 Гб
Видеокарта PowerColor Red Devil AMD Radeon RX 5700XT 1
Блок питания Cooler Master MVI Bronze 700 Вт 1
SSD накопитель Gigabyte Aorus NVme Gen4 1x1 Тб
Корпус AeroCool AirHawk Duo 1
Таблица 3. Технические характеристики нейрогарнитуры NeuroPlay-8Cap
Техническая характеристика Значение
Схема отведения Монополярная
Количество каналов 8: F3, F4, C3, C4, P3, P4, O1, O2 + GND и Rf
Передача данных Bluetooth 4.0
Дальность передачи, м До 15
Частота обмена данных, Гц 125
Амплитудно-частотная характеристика От 0,5 до 50 Гц (-3дБ)
Входной диапазон, мВ ±300
Собственный шум, мкВ 3-4
Длительность работы в режиме ожидания, сут 100
Длительность работы в режиме съема данных, ч 24
Вес, г 120
Работа в операционной среде Не ниже Windows 10
активных электродах, что значительно ускоряет установку системы. Выбор гарнитуры объясняется наличием открытого потока сырых данных, который можно передавать в режиме онлайн через систему LabServerLayer непосредственно на персональный компьютер. Преимуществом гарнитуры является также наличие беспроводного модуля, позволяющего пациенту при необходимости свободно перемещаться в пределах игровой зоны системы виртуальной реальности. Основные характеристики нейрогарнитуры представлены в табл. 3.
Снятие биопотенциалов ЭКГ осуществляется с помощью фронтенд-модуля (от англ. front-end) на основе микросхемы Ad8232 производства Analog Devices, Inc. (США). Модуль представляет собой низкопотребляющий односигнальный компонент аналоговой входной схемы монитора сердечного ритма, предназначенный для широкого диапазона изделий мониторинга здоровья (рис. 2, а).
Схемотехника датчика КГР представлена на рис. 2, б. Датчик комплектуется двумя электродами, снимающими с пальцев руки биопотенциалы КГР. В качестве актиграфа используется MEMS-датчик LIS331DLH (Швейцария), параметры которого сведены в табл. 4.
4. Программное обеспечение для обработки данных.
Для запуска контента и обработки полученных данных используется программное обеспечение (ПО), которое составляют как лицензионные программы производителя VR-очков, такие как GizmoVR, Stream VR, и Viveport, так и специально написанное ПО для обработки данных ЭЭГ, ЭКГ и сигналов с датчиков КГР, написанное на языке программирования Python. Игровое приложение для VR-системы разработано на платформе Unity с использованием языка программирования С#.
II. Нейрокомпьютерный интерфейс
НКИ, входящий в блок обработки сигнала (см. рис. 1), основан на использовании общего пространственного фильтра (common special pattern, CSP) совместно с нейронной сетью типа «многослойный персептрон» (multilayer perceptron, MLP). Точность классификации ответов на идеомоторную тренировку составляет 96%. Соответствующая программа реализована в ФНКЦ РР с использованием языка программирования Python и библиотек с открытым исходным кодом.
Процесс передачи сигналов от нейроинтерфейса к игровому приложению VR-системы осуществля-
Таблица 4. Технические характеристики датчика LIS331DLH
Техническая характеристика Значение
Интерфейс I2C
Максимальная чувствительность, м/с2 9,8х10-3
Диапазон измерений, § ±2/±4/±8
Потребляемый ток, мА до 10
Размеры, мм 25,4x25,4x10,1
Напряжение питания, В 3,3-5
Рис. 2. Схемотехнические решения измерительных датчиков: А — модуль AD8232; Б — датчик кожно-гальванической реакции.
ется через COM-порт (communication port) рабочей станции. В зависимости от команды из COM-порта формируется переменная, которая задает вектор движения игрового персонажа.
III. Методика оценки отклика на идеомоторную тренировку у пациентов с приобретенным повреждением головного мозга
Перед началом работы с АПК ДФ критически важно адекватно оценить степень десинхронизации сенсомоторного ритма (СМР) пациента как отклик на идеомоторную тренировку. Пациенту ставится ряд задач по выполнению реальных и воображаемых движений, чередуемых с расслаблением в ответ на командные метки, предъявляемые с помощью HMD. В процессе выполнения команд производится запись ЭЭГ.
Оценка степени десинхронизации СМР включает в себя следующие шаги (рис. 3).
Предварительная цифровая обработка сигнала ЭЭГ включает в себя фильтрацию в диапазоне 1-40 Гц с применением фильтра с конечной импульсной характеристикой. Такие фильтры имеют линейную фазовую характеристику в полосе пропускания, что обеспечивает одинаковую групповую задержку на разных частотах. Кроме того, в рамках предварительной обработки применяются автоматические методы удаления артефактов записи, такие как метод независимых компонент, позволяющий трансформировать сигнал ЭЭГ в набор составляющих компонент от нейрональных и артефактных источников и анализировать эти компоненты независимо друг от друга.
Извлечение признаков осуществляется путем расчета спектральной плотности мощности сигнала. Данный переход осуществляется путем разложения сигнала на гармонические составляющие с помощью преобразования Фурье. Для сигнала x(n), представленного в виде последовательности отсчетов, взятых с частотой дискретизации Fs в моменты времени с номерами n = 0.1, ... , N - 1, дискретное преобразование Фурье определяется как
N-1
х(п) е n~ ,к = 0.1, ...,N — 1. (1)
п=о
Здесь F(k) — комплексная амплитуда синусоидального сигнала с частотой k Д/, где Д/ = Fs /N — шаг по частоте; x(n) — измеренные значения сигнала в моменты времени с номерами n = 0.1, ... , N - 1.
В качестве меры, характеризующей зависимость мощности сигнала от частоты, используется спектральная плотность мощности P(k), которая вычисляется согласно следующей формуле:
, ч
Р(к) = -fjf-'к = 01.....N~ L (2)
Здесь коэффициент нормализации 1/N2 выбран исходя из требования равенства суммарной спектральной плотности мощности среднеквадратичной амплитуде сигнала x(n):
N-l N-l
ZP(fc) = jvZWn)|2' (3)
71=0 71=0
После вычисления спектральной плотности мощности для эпохи ЭЭГ в покое и для эпохи, соответствующей применению того или иного стимула, расчет степени десинхронизации производится по формуле:
D = (Pi - Prlx) / Prix , (4)
где Pj — спектральная плотность мощности эпохи, соответствующей воображению движения, Prïx — спектральная плотность мощности эпохи, соответствующей состоянию расслабленного бодрствования.
Степень десинхронизации D является важным параметром, позволяющим оценить реактивность СМР пациента при проведении мультисенсорной стимуляции. При отсутствии десинхронизации СМР в ответ на воображение движения (параметр D близок к нулю) тренировку с АПК ДФ проводить не следует, т. к. результативность тренировки будет значительно снижена.
IV. Алгоритм тренировки с применением аппаратно-программного комплекса для восстановления двигательных функций
Тренировка с использованием АПК ДФ проводится в рамках следующего протокола.
Рис. 3. Алгоритм расчета десинхронизации сенсомоторного ритма.
Исходный сигнал ЭЭГ
Предварительная обработка
Извлечение признаков
Расчет десинхронизации
1. Обучение пациента.
В рамках данного пункта выполняется две записи ЭЭГ длительностью по 4 мин каждая. Выполнение задач первой сессии включает в себя (см. рис. 3):
a) расслабление (5 сек) при наличии серой метки в центре зрительного поля;
b) выполнение отрабатываемого движения руками, например сжатия пальцев рук (5 сек) при наличии оранжевой метки вверху экрана (рис. 4, а);
c) расслабление (5 сек) при наличии серой метки в центре зрительного поля;
ё) выполнение движения ногами, например сжатие пальцев ног (5 сек) при наличии оранжевой метки внизу экрана (рис. 4, б).
Далее цикл задач повторяется на протяжении всего времени сессии.
Вторая сессия повторяет первую за исключением пунктов Ь и d, в которых вместо реальных движений пациент осуществляет воображаемые сжатия пальцев рук и ног соответственно.
В процессе обучения пациента производится запись ЭЭГ и расчет десинхронизации СМР согласно алгоритму, описанному в п. II. Обучение проводится один раз и при повторении последующих игровых сессий повторение п. I не требуется. 2. Выполнение игровой программы.
Игровое задание, предъявляемое пациенту посредством HMD с целью восстановления двигательных функций конечностей, состоит в проведении игрового персонажа (птицы) через кольца различного диаметра с присваиванием соответствующего количества очков (рис. 5).
Управление персонажем осуществляется посредством воображения движения пальцами рук (персонаж смещается вверх) и ног (персонаж смещается вниз). Игра завершается после успешного прохождения трассы, состоящей из 10 колец, или при столкновении с другими объектами (земля, деревья, скалы). В обоих случаях после завершения игры производится подсчет количества набранных очков.
Рис. 4. Метки команд для проведения первой сессии обучения.
i
я А »
i 1
*
Рис. 5. Скриншоты экрана игрового приложения.
Для оценки физиологической реакции на этапе выполнения игрового задания производится оценка ЧСС, КГР и уровня движения в паретичной и здоровой конечностях посредством актиграфии запястий или лодыжек пациента. Изменения ЧСС и КГР позволяют оценить степень вовлеченности пациента в игровой процесс, а также влияние игрового процесса на нервную систему пациента. По данным с датчика ЭКГ также возможна оценка активации вегетативной нервной системы путем расчета статистических параметров вариабельности сердечного ритма.
3. Оценка двигательной функции.
По завершении игровой программы (или серии игровых программ, в зависимости от интенсивности тренировки) проводится оценка уровня движения в конечностях посредством выполнения ряда повторений осваиваемого движения (в данном случае сжимания пальцев) под контролем актиграфии. Записи пациента сохраняются и сравниваются с предыдущими. Для оценки динамики сигналы обрабатываются с использованием алгоритмов цифровой обработки сигналов.
V. Участники исследования
В экспериментальном исследовании АПК ДФ приняли участие 11 здоровых добровольцев (4 женщины и 7 мужчин) в возрасте от 18 до 25 лет. Все испытуемые ранее не имели опыта работы с НКИ и виртуальной реальностью. Все испытуемые подписали информированное согласие на участие в эксперименте.
Из 11 испытуемых, принявших участие в эксперименте, были отобраны 9 человек, успешно ов-
ладевших методикой идеомоторной тренировки и имевших по результатам обучения наиболее высокую степень десинхронизации СМР (табл. 5), которые были разделены на три группы по степени де-синхронизации СМР.
На рис. 6 представлены результаты расчета десинхронизации СМР участников № 4 и № 10. Видно, что у участника № 4 наблюдается значительная десинхронизации СМР при воображении движения руками (оранжевая кривая) и ногами (синяя кривая) по отношению к СМР при расслабленном бодрствовании, в то время как у участника № 10 относительной разницы между тремя указанными состояниями выделить невозможно. Тренировка такого участника с применением идеомоторного НКИ и АПК ДФ в частности будет малоэффективной.
По результатам выполнения игрового задания участники группы 1 (высокая степень десинхронизации) набрали в среднем 34 балла из 55 возможных, участники группы 2 (средняя степень десинхронизации) — 17,6 баллов, участники группы 3 (низкая степень десинхронизации) — 3 балла. Таким образом, между рассчитанной степенью десинхронизации и количеством набранных очков в процессе выполнения игрового задания прослеживается прямая сильная корреляционная связь при р <0,05.
Оценка двигательных функций на группе здоровых добровольцев не проводилась.
Заключение
Целью настоящей работы являлось формирование структуры АПК ДФ, алгоритмов идеомоторной тренировки с их применением для восстановления
Таблица 5. Результаты экспериментальных исследований аппаратно-программного комплекса для восстановления двигательных функций
Испытуемый Степень десинхронизации Группа Число пройденных колец Число набранных баллов
№ 1 Средняя 2 7 28
№ 2 Низкая 3 2 3
№ 3 Крайне низкая - - -
№ 4 Высокая 1 9 45
№ 5 Средняя 2 4 10
№ 6 Средняя 2 5 15
№ 7 Высокая 1 8 36
№ 8 Низкая 3 0 0
№ 9 Высокая 1 6 21
№ 10 Крайне низкая - - -
№ 11 Низкая 3 3 6
Рис. 6. Результаты расчета десинхронизации сенсомоторного ритма у участников № 4 (А) и № 10 (Б).
8 10 12 14 16
Частота, Гц
утраченных функций конечностей и апробация на группе здоровых добровольцев. Проведенные испытания показали, что АПК ДФ представляет собой гибкую систему, позволяющую проводить тренировку любых движений как верхними, так и нижними конечностями в любой виртуальной среде с различной степенью иммерсивности, определяемой программным компонентом системы. Входящий в состав комплекса НКИ позволяет с точностью, достаточной для решения задач реабилитации, осуществлять обратную связь по ЭЭГ. Преимуществом комплекса также является возможность оценки прогресса пациента.
Разработанный алгоритм идеомоторной тренировки успешно прошел испытания на здоровых добровольцах. Следующим этапом является проведение масштабных исследований по применению АПК ДФ в рамках комплексной терапии у пациентов с тяжелыми повреждениями головного мозга и нарушениями сознания.
Дополнительная информация Источник финансирования
Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.
Funding source
This study was not supported by any external sources of funding.
Конфликт интересов
Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Competing interests
The authors declare that they have no competing interests.
Вклад авторов
Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, подготовку статьи, прочли и одобрили финальную версию перед публикацией).
Author contribution
All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.
Список литературы / References
1. Riener R, Harders M. Virtual reality in medicine. London: Springer; 2012.
2. Попов А.П., Баев М.С., Сютина В.И. Применение муль-тисенсорной стимуляции для восстановления произ-
вольной мышечной силы у больных с последствиями острого нарушения мозгового кровообращения в ранний восстановительный период // European research. 2017. № 7. С. 55-60. [Popov АР, Baev MS, Syutina VI.
Application of multisensor stimulation for restoration of the artificial muscle power in patients with effects of acute disorder of cerebral circulation in the early reducing period. European research. 2017;(7):55-60. (In Russ).]
3. Johansson BB. Multisensory stimulation in stroke rehabilitation. Front Hum Neurosci. 2012;6:60. doi: 10.3389/fnhum.2012.00060
4. Цинзерлинг В.А., Сапаргалиева А.Д., Вайншен-кер Ю.И., Медведев С.В. Проблемы нейропластично-сти и нейропротекции // Вестник СПбГУ 2013. № 4. С. 3-13. [Tsinzerling VA, Sapargalieva AD, Vainshen-ker YI, Medvedev SV. Problems of neuroplasticity and neuroprotection. Bulletin of St. Petersburg State University. 2013;(4):3-13. (In Russ).]
5. Carr JH, Shepherd RB. Motor relearning programme for stroke. Rockville: Aspen Publishers; 1983.
6. Wuest S, van de Langenberg R, de Bruin ED. Design considerations for a theory-driven exergame-based rehabilitation program to improve walking of persons with stroke. Eur Rev Aging Phys Act. 2014;11(2):119-129. doi: 10.1007/s11556-013-0136-6
7. Lledo LD, Diez JA, Bertomeu-Motos A, et al. A comparative analysis of 2D and 3D tasks for virtual reality therapies based on robotic-assisted neurorehabilitation for post-stroke patients. Front Aging Neurosci. 2016;8:205. doi: 10.3389/fnagi.2016.00205
8. Schmid L, Glassel A, Schuster-Amft C. Therapists' perspective on virtual reality training in patients after stroke: a qualitative study reporting focus group results from three hospitals. Stroke Res Treat. 2016;2016:6210508. doi: 10.1155/2016/6210508
9. Saposnik G. Virtual reality in stroke rehabilitation. In: Ovbiagele B. (editor). Ischemic stroke therapeutics. Springer, Cham; 2016; p. 225-233. doi: 10.1007/978-3-319-17750-2_22
10. Brunner I, Skouen JS, Hofstad H, et al. Virtual reality training for upper extremity in subacute stroke (VIRTUES). Neurology. 2017;89(24):2413-2421. doi: 10.1212/WNL.0000000000004744
11. Stockley RC, O'Connor DA, Smith P, et al. A mixed methods small pilot study to describe the effects of upper limb training using a virtual reality gaming system in people with chronic stroke. Rehabil Res Pract. 2017;2017:9569178. doi: 10.1155/2017/9569178
12. Faria AL, Andrade A, Soares L, Badia SB. Benefits of virtual reality based cognitive rehabilitation through simulated activities of daily living: a randomized controlled trial with stroke patients. J Neuroeng Rehabil. 2016;13(1):96-107. doi: 10.1186/s12984-016-0204-z
13. Kiper P, Agostini M, Luque-Moreno C, et al. Reinforced feedback in virtual environment for rehabilitation of upper extremity dysfunction after stroke: preliminary data from a randomized controlled trial. Biomed Res Int. 2014;2014:752128. doi: 10.1155/2014/752128
14. Grimm F, Naros G, Gharabaghi A. Closed-loop task difficulty adaptation during virtual reality reach-to-grasp training assisted with an exoskeleton for stroke. Front Neurosci. 2016;10:518. doi: 10.3389/fnins.2016.00518
15. Lohse KR, Hilderman CG, Cheung KL, et al. Virtual reality therapy for adults poststroke: a systematic review and meta-analysis exploring virtual environments and commercial games in therapy. PLoS One. 2014;9(3):e93318. doi: 10.1371/journal.pone.0093318
16. Thomson K, Pollock A, Bugge C, Brady M. Commercial gaming devices for stroke upper limb rehabilitation: a systematic review. Int J Stroke. 2014;9(4):479-488. doi: 10.1111/ijs.12263
17. Tieri G, Tidoni E, Pavone EF, et al. Body visual discontinuity affects feeling of ownership and skin conductance responses. Sci Rep. 2015;5:17139. doi: 10.1038/srep17139
18. Fusaro M, Tieri G, Aglioti SM. Seeing pain and pleasure on self and others: behavioral and psychophysiologi-cal reactivity in immersive virtual reality. J Neurophysiol. 2016;116(6):2656-2662. doi: 10.1152/jn.00489.2016
19. Slater M, Perez-Marcos D, Ehrsson HH, et al. Towards a digital body: the virtual arm illusion. Front Hum Neurosci. 2008;2:6. doi: 10.3389/neuro.09.006.2008
20. González-Franco M, Peck TC, Rodríguez-Fornells A, et al. A threat to a virtual hand elicits motor cortex activation. Exp Brain Res. 2014;232(3):875-887. doi: 10.1007/s00221-013-3800-1
21. Pavone EF, Tieri G, Rizza G, et al. Embodying others in immersive virtual reality: electro-cortical signatures of monitoring the errors in the actions of an avatar seen from a first-person perspective. J Neurosci. 2016;36(2):268-279. doi: 10.1523/JNEUR0SCI.0494-15.2016
22. Baumgartner T. Feeling present in arousing virtual reality worlds: prefrontal brain regions differentially orchestrate presence experience in adults and children. Front Hum Neurosci. 2008;2:1-12. doi: 10.3389/neuro.09.008.2008
23. Lutz 0H, Burmeister C, Ferreira L, et al. Application of headmounted devices with eye-tracking in virtual reality therapy. Curr Dir Biomed Eng. 2017;3(1):53-56. doi: 10.1515/cdbme-2017-0012
24. Subramanian S, Prasanna S. Virtual reality and non-invasive brain stimulation in stroke: how effective is their combination for upper limb motor improvement? Int Conf Virtual Rehabil. 2017. doi: 10.1109/ICVR.2017.8007539
25. Tieri G, Gioia A, Scandola M, et al. Visual appearance of a virtual upper limb modulates the temperature of the real hand: a thermal imaging study in Immersive Virtual Reality. Eur J Neurosci. 2017;45(9):1141-1151. doi: 10.1111/ejn.13545
26. Slobounov SM, Ray W, Johnson B, et al. Modulation of cortical activity in 2D versus 3D virtual reality environments: an EEG study. Int JPsychophysiol. 2015;95(3):254-260. doi: 10.1016/j.ijpsycho.2014.11.003
27. Yin C, Hsueh YH, Yeh CY, et al. A virtual reality-cycling training system for lower limb balance improvement. Biomed Res Int. 2016;2016:9276508. doi: 10.1155/2016/9276508
28. Flowers A, Herve JY. BioPresence: a virtual reality biofeedback system. 2018.
29. Revi. Мультисенсорный тренажер пассивной реабилитации [Интернет]. [Revi. Multisensory simulator of passive rehabilitation [Internet]. (In Russ).] Режим доступа: https://revi.life/revivr/. Дата обращения: 15.03.2021.
30. Motorica.org. Виртуальная реабилитация в Attilan [Интернет]. [Motorica.org. Virtual rehabilitation in Attilan [Internet]. (In Russ).] Режим доступа: https://motorica.org/virtualnaya-reabilitaciya-v-attilan. Дата обращения: 15.03.2021.
31. Дудоров Е.А., Богданов А.А., Пермяков А.Ф. Роботизированные комплексы интеллектуального ассистирования специального и медицинского назначения // Наука и инновации в медицине. 2016. Т. 1, № 3. [Dudorov EA, Bogdanov AA, Permyakov AF. Robotized complexes of intellectual assistance for special and medical purposes. Science and innovation in medicine. 2016;1(3). (In Russ).] doi: 10.35693/2500-1388-2016-0-3-83-88
32. Carmena, JM, Lebedev MA, Crist RE, et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biol. 2003;1(2):E42. doi: 10.1371/journal.pbio.0000042
33. Кондур А.А., Котов С.В., Турбина Л.Г., и др. Клиническая эффективность применения высокотехнологичного комплекса интерфейса «мозг, компьютер и экзоске-лет кисти» в восстановлении двигательной функции руки после инсульта на основе результатов мультицен-трового плацебоконтролируемого клинического исследования // XI Международный конгресс «Нейроре-абилитация-2019», Москва, 14-15 марта. Москва, 2019. [Kondur AA, Kotov SV, Turbina LG, et al. Clinical effectiveness of the application of the high-tech complex of the interface «brain, computer and hand exoskeleton» in restoring the motor function of the hand after a stroke based on the results of a multicenter placebo-controlled clinical trial. XI International Congress «Neurorehabilitation-2019», Moscow, March 14-15. Moscow; 2019. (In Russ).]
34. Pascual-Leone A, Amedi A, Fregni F, Merabet LB. The plastic human brain cortex. Annu Rev Neurosci. 2005;28: 377-401. doi: 10.1146/annurev.neuro.27.070203.144216
35. Nyberg L, Eriksson J, Larsson A, Marklund P. Learning by doing versus learning by thinking: an MRI study of motor and mental training. Neuropsychologia. 2006;44(5): 711-717. doi: 10.1016/j.neuropsychologia.2005.08.006
36. Фролов А.А., Бирюкова Е.В., Бобров П.Д., и др. Эффективность комплексной нейрореабилитации пациентов с постинсультным парезом руки с применением нейроинтерфейса «мозг + компьютер + экзоскелет» // Альманах клинической медицины. 2016. Т. 44, № 3. С. 280-286. [Frolov AA, Biryukova EV, Bobrov PD, et al. Efficiency of complex neurorehabilita-tion of patients with post-stroke paresis of the hand using the «brain + computer interface + exoskeleton». Almanac of Clinical Medicine. 2016;44(3):280-286. (In Russ).] doi: 10.18786/2072-0505-2016-44-3-280-286
37. Daly JJ, Huggins JE. Brain-computer interface: current and emerging rehabilitation applications. Arch Phys Med Rehabil. 2015;96(3 Suppl):S1-S7. doi: 10.1016/j.apmr.2015.01.007
38. Bensmaia, SJ, Miller LE. Restoring sensorimotor function through intracortical interfaces: progress and looming challenges. Nat Rev Neurosci. 2014.15(5):313-325. doi: 10.1038/nrn3724
39. Бирюкова Е.В., Бушкова Ю.В. Объективная оценка состояния двигательной функции до и после реабилитации по технологии ИМК + экзоскелет: биомеханический анализ тестов шкалы Fugl-Meyer // XI Международный конгресс «Нейрореабилитация-2019», Москва, 14-15 марта. Москва, 2019. [Biryukova EV, Bushkova YuV. Objective assessment of the state of motor function before and after rehabilitation using the BCI + exoskeleton technology: biomechanical analysis of Fugl-Meyer scale tests. XI International Congress «Neuroreha-bilitation-2019», Moscow, March 14-15. Moscow; 2019. (In Russ).]
40. Rooij M, Lobel A, Owen H, et al. DEEP: a biofeedback virtual reality game for children atrisk for anxiety. In: Proceedings of the 2016 CHI conference extended abstracts on human factors in computing systems — CHI EA'16. ACM Press; 2016. P. 1989-1997. doi: 10.1145/2851581.2892452
41. Bohil CJ, Alicea B, Biocca FA. Virtual reality in neuroscience research and therapy. Nat Rev Neurosci Nature Publishing Group. 2011;12(12):752-762. doi: 10.1038/nrn3122
42. Kilteni K, Normand JM, Sanchez-Vives MV, et al. Extending body space in immersive virtual reality: a very long arm illusion. PLoS One. 2012;7(7):e40867. doi: 10.1371/journal.pone.0040867
43. Peck TC, Seinfeld S, Aglioti SM, et al. Putting yourself in the skin of a black avatar reduces implicit racial bias. Conscious Cogn. 2013;22(3):779-787. doi: 10.1016/j.concog.2013.04.016
44. Martini M, Perez-Marcos D, Sanchez-Vives MV. What color is my arm? Changes in skin color of an embodied virtual arm modulates pain threshold. Front Hum Neurosci. 2013;7:438. doi: 10.3389/fnhum.2013.00438 eCollection 2013
45. Normand JM, Giannopoulos E, Spanlang B, et al. Multisen-sory stimulation can induce an illusion of larger belly size in immersive virtual reality. PLoS One. 2011;6(1):e16128. doi: 10.1371/journal.pone.0016128
46. Slater M, Spanlang B, Sanchez-Vives MV, et al. First person experience of body transfer in virtual reality. PLoS One. 2010;5(5):e10564. doi: 10.1371/journal.pone.0010564
47. Maselli A, Slater M. Sliding perspectives: dissociating ownership from self-location during full body illusions in virtual reality. Front Hum Neurosci. 2014;8:1-19. doi: 10.3389/fnhum.2014.00693
48. Morone G, Paolucci S, Mattia D, et al. The 3Ts of the new millennium neurorehabilitation gym: therapy, technology, translationality. Expert Rev Med Devices. 2016; 13 (9): 785-787. doi: 10.1080/17434440.2016.1218275
49. Perez-Marcos D, Solazzi M, Steptoe W, et al. A fully immersive setup for remote interaction and neurorehabilitation based on virtual body ownership. Front Neurol. 2012;3:110. doi: 10.3389/fneur.2012.00110. eCollection 2012
50. Rizzo AS. Is clinical virtual reality ready for primetime? Neuropsychology, in press 5. Bohil CJ, Alicea B, Biocca FA. Virtual reality in neuroscience research and therapy. Nat Rev Neurosci. 2011;12(12):752-762. doi: 10.1038/nrn3122
51. Tarr MJ, Warren WH. Virtual reality in behavioral neuroscience and beyond. Nat Neurosci. 2002;5 Suppl:1089-1092. doi: 10.1038/nn948
Информация об авторах
Некрасова Юлия Юрьевна, к.т.н., научный сотрудник [Iuliia Y. Nekrasova, Cand. Sci. (Tech), research associate]; адрес: 141534, Московская область, Солнечногорский район, д. Лыткино, д. 777 [address: 777, Building 1, Lytkino, Moscow region, Russia]; e-mail: [email protected]; eLibrary SPIN: 8947-4230 ORCID: https://orcid.org/0000-0002-4435-8501 Воронцова Виктория Сергеевна, м.н.с. [Viktoriya S. Vorontsova, junior research associate]; e-mail: [email protected]; eLibrary SPIN: 3407-1625 ORCID: http://orcid.org/0000-0002-1490-1331 Канарский Михаил Михайлович, м.н.с. [Mikhail M. Kanarskii, junior research associate]; e-mail: [email protected]; eLibrary SPIN: 1776-1160 ORCID: https://orcid.org/0000-0002-7635-1048 Прадхан Пранил, м.н.с. [Pranil Man Singh Pradhan, junior research associate]; e-mail: [email protected]; eLibrary SPIN: 8647-4329 ORCID: https://orcid.org/0000-0002-3505-7504
Шуненков Денис Андреевич, научный сотрудник [Denis A. Shunenkov, research associate]; e-mail: [email protected]; eLibrary SPIN: 5192-9837 ORCID: https://orcid.org/0000-0003-3902-0095 Пузин Сергей Сергеевич, аспирант [Sergey S. Puzin, graduate student]; e-mail: [email protected] ORCID: https://orcid.org/0000-0002-9711-3532 Пасько Иван Владимирович [Ivan V. Pasko]; e-mail: [email protected]
Подольская Юлия Андреевна, научный сотрудник [Julia A. Podolskaya, research associate]; e-mail: [email protected] ORCID: https://orcid.org/0000-0003-3158-8209 Крючкова Алина Юрьевна, лаборант-исследователь [Alina Y. Criuchkova, laboratory research assistant]; e-mail: [email protected]
