CC BY
29
УДК 004.78
СИСТЕМА АДАПТИВНОЙ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ С ИСПОЛЬЗОВАНИЕМ НЕЙРОИНТЕРФЕЙСА
А. Д. Иванов
ООО «Парадигма» (г. Пенза), Пенза, Россия sailtothe54@gmail.com
Аннотация. Система предназначена для регистрации сигналов головного мозга по 16 отведениям электрической активности головного мозга, при последующей передаче данных на устройства виртуальной реальности. Таким образом, создается биологическая обратная связь, которая позволяет достичь эффективного погружения в виртуальную реальность. С медицинской точки зрения, наличие нейроинтерфейса и биологической обратной связи с устройствами виртуальной реальности позволяет оценивать и корректировать психоэмоциональное состояние и реакцию человека на различные события в сценах виртуальной реальности. Система также имеет свое функциональное назначение в игровой индустрии. Анализируя состояние пользователя, игровой процесс может адаптироваться под конкретного человека, что улучшает опыт использования виртуальной реальности. Помимо медицины и игровой индустрии, устройство может быть использовано в сфере обучения. На данный момент широко распространено использование виртуальной реальности для тренировки пилотов, космонавтов и представителей других профессий с опасными для психики и физического здоровья должностными обязанностями. Интеграция нейроинтерфейса в обучающую систему, использующую виртуальную реальность, позволит на основе сигналов электрической активности головного мозга оценивать состояние человека и проводить более эффективные тренировки и обучение.
Ключевые слова: нейроинтерфейс, виртуальная реальность, мозговая активность, электроэнцефалография, биологическая обратная связь
Для цитирования: Иванов А. Д. Система адаптивной виртуальной реальности с использованием нейроинтерфейса // Вестник Пензенского государственного университета. 2023. № 2. С. 121-126.
Виртуальная реальность (УК) - это тип человеко-компьютерного интерфейса, который позволяет пользователям взаимодействовать с компьютерами в режиме реального времени и погружаться в заранее смоделированную среду. Пользователями УК являются более 40 млн человек в мире (2019 г. - 35 млн человек, 2020 г. - 42 млн человек), их число стремительно растет. УК широко используются во многих сферах, в том числе в медицине.
По последним данным, рынок устройств виртуальной реальности за 2021 г. оценен в 28 млрд долл., что в несколько раз больше по сравнению с 2020 г. Информация о рынках развития виртуальной реальности показывает, что объем технологий и устройств в 2024 г. достигнет 296,9 млрд долл.
Технология ВР прошла длинный путь от первых экспериментов в 50-х гг. XX в. до современных беспроводных шлемов в 20-х гг. XXI в. [1]. Применение ВР позволяет передавать аудиовизуальные стимулы более реалистично, чем традиционные терапевтические технологии, и обеспечивает безопасную и контролируемую среду. В работе [2] от-
© Иванов А. Д., 2023
мечается, что сценарии должны настраиваться в соответствии с состоянием пациента таким образом, чтобы страх, радость и другие эмоции пациента могли быть полностью выражены.
Используя данные технологии, специалисты в области здравоохранения добиваются значительных результатов в лечении и профилактике различных патологий. Направляя внимание пациента на виртуальные сцены, можно добиться так называемого «эффекта отвлечения», который заключается в смещении фокуса пациента с медицинского вмешательства на искусственно созданную среду. С помощью измерения пульса и насыщения крови кислородом было доказано, что при введении местной анестезии контрольная группа, не использующая виртуальную реальность, была больше подвержена стрессу, чем группа, ощутившая «эффект отвлечения» при использовании VR [3]. Снижение уровня стресса при проведении процедур положительно влияет на скорость проведения процедуры и качество выздоровления пациентов. Технология виртуальной реальности успешно применяется как эффективное обезболивающее средство для ожоговых пациентов, перенесших смену повязки, как полезный метод отвлечения внимания для облегчения восприятия боли в педиатрии, у пациентов после операций, связанных с онкологическими заболеваниями, и пациентов нейрохирургического профиля [2].
С помощью виртуальной реальности появляется возможность лечить психосоматические фантомные боли в конечностях. Например, человек, страдающий от фантомных болей в руке, погрузившись в виртуальную реальность, может сместить фокус восприятия с болевых ощущений в отсутствующей конечности на ее цифровой прообраз, в результате чего боль либо исчезает, либо становится менее выраженной [4].
Нейроинтерфейс - система для обмена информации между мозгом человека и электронным устройством. Эта технология позволяет человеку взаимодействовать с внешним миром на основе регистрации электрической активности мозга - электроэнцефалограммы (ЭЭГ). Данные устройства эффективно используются в медицине, например, при реабилитации пациентов после инсульта. Контрольная группа в количестве 10 человек, перенесших инсульт, использовала нейроинтерфейс для анализа паттернов сигнала (воображении движения рукой) с последующей визуализацией данного движения на экране. Группу сравнения составили 10 пациентов, получавшие только стандартную восстановительную терапию. В результате исследования было выяснено, что работа по обучению правильному (кинестетическому) воображению движения в паретичной руке с использованием нейроинтерфейса позволяла достичь большего эффекта в реабилитации [5].
Компании NeuroSky, Interaxon, Emotiv Systems, Neuroplay разрабатывают нейро-интерфейсы для регистрации и анализа сигналов головного мозга, однако в них не предусмотрена совместная работа с устройствами виртуальной реальности. Существующие нейроинтерфейсы используют преимущественно для медитации и игр. В зависимости от сигналов электрической активности головного мозга пользователю демонстрируется изменяющийся по определенным алгоритмам видеоряд и проигрываются аудиофайлы, что позволяет в реальном времени отслеживать и корректировать свое состояние. Подключение к данной системе устройств виртуальной реальности позволит улучшить опыт медитации и сделать его более эффективным. Среди имеющихся аналогов также существуют определенные недостатки:
1) конструкция корпуса не подразумевает совместное использование нейроинтер-фейса с устройствами виртуальной реальности;
2) малое время работы;
3) длительный период заряда;
4) ряд устройств использует монополярное отведение с ушным референтным электродом, что вызывает неудобства у пользователя.
Объединение технологий виртуальной реальности и нейроинтерфейса позволяет проводить более эффективные сеансы лечения. Система, объединяющая виртуальную реальность и нейроинтерфейс, может использоваться для реабилитации после инсульта [6]. Биологическая обратная связь успешно используется для лечения фобических расстройств [7].
Существующие решения по объединению устройств виртуальной реальности и ней-роинтерфейса обладают значительными недостатками. В некоторых случаях пользователю приходится совершать различные движения, что провоцирует создание помех, мешающих работе системы. Плохая эргономика, наличие проводов и другие особенности технических решений доставляют неудобства при использовании системы. Также в настоящий момент отсутствует программное обеспечение среды разработки, позволяющее разработчикам и специалистам использовать систему для своих целей.
Предлагаемая система (рис. 1) состоит из нейроинтерфейса, совместимого с большинством существующих шлемов виртуальной реальности. Особая эргономика и беспроводные интерфейсы передачи данных не ограничивают пользователя в движении и способствуют помехозащищенности. Представлена интеграция нейроинтерфейса в устройства виртуальной реальности для создания макета новой гибридной системы, которая предоставит пользователям возможность использовать виртуальную среду без физических ограничений со стороны внешних устройств регистрации электрической активности головного мозга. Система представляет собой автономный аппаратно-программный комплекс, способный беспроводным путем визуализировать виртуальные сцены в высоком разрешении и качестве, регистрировать электроэнцефалографические сигналы в лобных и височных долях в условиях реального времени и свободной двигательной активности пользователя, передавать данные на персональный компьютер для последующей цифровой обработки и принятия решения.
Рис. 1. Система адаптивной виртуальной реальности с использованием нейроинтерфейса
Эргономика устройства позволяет обеспечить его совместное ношение с устройствами виртуальной реальности. Малый вес необходим для комфортного длительного ношения нейроинтерфейса. Для исключения сбоев во время работы необходимо обеспечить плотное прилегание неинвазивных контактов к поверхности лба путем особого способа крепления этих контактов и наличия индивидуальной механической настройки габаритов устройства. Ремонтопригодность устройства обеспечивается возможностью разборки корпуса на части (модули). В случае повреждения сухих электродов пользователю предоставляется возможность замены модуля, на котором находятся данные электроды. В случае повреждения печатной платы предусмотрена возможность разборки корпуса, отсоединения шлейфов и замены платы на работоспособную. Из-за того, что литий-ионный аккумулятор имеет свой срок службы (его емкость уменьшается), конструкция устройства позволяет проводить замену аккумулятора.
Для разработки программных интерфейсов гибридной системы будет использован язык объектно-ориентированного программирования C# и QT. Для протокольной работы обмена данными: C++ и Python. Для работы системы и обмена данными: С. Для организации графической работы системы: QML.
Система (рис. 2) состоит из трех основных блоков: нейроинтерфейс, персональный компьютер и устройства VR. Одновременно с погружением в виртуальную реальность нейроинтерфейс отправляет на компьютер данные о мозговой активности пользователя. Эти данные обрабатываются ПО и специалистом для последующего принятия решений об адаптации сцен VR или изменении других параметров погружения в виртуальную реальность. Такой принцип работы улучшает опыт погружения пользователя в виртуальную реальность, а специалист располагает инструментами для проведения более эффективных сеансов лечения и профилактики различных патологий.
а)
Рис. 2. Структурная схема системы адаптивной виртуальной реальности с использованием нейроинтерфейса: а) блок регистрации; б) блок приема и анализа (начало)
б)
Рис. 2. Окончание
С помощью малошумящих усилителей и фильтров, внешнего АЦП, быстродействующего ARM микроконтроллера и особых алгоритмов цифровой обработки сигнала достигается минимальное значение показателя сигнал/шум и улучшается качество регистрации сигналов головного мозга. Аккумуляторы, плата распределения питания и Bluetooth-соединение позволяют избавиться от проводов, мешающих использованию системы.
Наличие аппаратной части с прилагающейся средой разработки, корректно работающее ПО и качественная передача сигнала улучшают опыт погружения пользователя в виртуальную реальность и обеспечивают специалиста инструментами для проведения более эффективных сеансов лечения и профилактики различных патологий.
Вывод
Представлена система адаптивной виртуальной реальности с использованием ней-роинтерфейса. Разработаны:
1. Объединение нейроинтерфейса и устройства виртуальной реальности в единую систему.
2. Алгоритм обработки ЭЭГ в условиях погружения в виртуальную реальность.
3. Новые и улучшены существующие способы регистрации, анализа, передачи сигналов головного мозга между устройствами системы.
Список литературы
1. Tychkov A. Virtual Reality Implementation for Assessment and Treatment of Phobic Anxiety Disorders // 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), 2021. doi: 10.1109/DCNA53427.2021.9587127
2. Бофанова Н. С., Тычков А. Ю., Дятлов А. В. [и др.]. Технология виртуальной реальности как перспективное направление в терапии послеоперационной и посттравматической боли // Российский журнал боли. 2022. № 20 (2). С. 68-72.
3. Sweta V. R., Abhinav R. P., Ramesh A. Role of Virtual Reality in Pain Perception of Patients Following the Administration of Local Anesthesia // Annals of Maxillofacial Surgery.2019. doi: I0.4i03/ams.ams_263_i8
4. Устинова К. И., Черникова Л. А. Виртуальная реальность в нейрореабилитации // Анналы клинической и экспериментальной неврологии. 2008. № 2 (4). С. 34-39.
5. Фролов А. А., Бирюкова Е. В., Бобров П. Д. [и др.]. Эффективность комплексной нейрореабилитации пациентов с постинсультным парезом руки с применением нейроинтерфейса «мозг -компьютер + экзоскелет» // Альманах клинической медицины. 2016. № 44 (3). С. 280-286.
6. Сазонова Н. Н., Дегтярев С. В., Сазонова Е. С. Аппаратно-программный комплекс на основе нейроинтерфейса и vr-технологии в системе реабилитации пациентов с поражением головного мозга после инсульта // Информационные технологии в управлении, автоматизации и ме-хатронике : сб. науч. ст. 4-й Междунар. науч.-техн. конф., Курск, 2022. С. 180-183.
7. Демарева В. А., Вяхирева В. А., Петрова И. Э. [и др.]. Разработка нейрогарнитуры для контроля состояния человека при лечении фобий // Вестник психофизиологии. 2021. № 4. С. 37-42.
Информация об авторе Иванов Александр Дмитриевич, инженер-программист, ООО «Парадигма» (г. Пенза)
Автор заявляет об отсутствии конфликта интересов.
