CC BY
2
УПРАВЛЕНИЕ В МЕДИЦИНЕ И БИОЛОГИИ /
удк 004.89 Научные статьи
doi:10.31799/1684-8853-2023-4-56-70 Articles
EDN: DJQEDW
Применение машинного обучения при анализе ЭЭГ для выявления фобической реакции в виртуальной реальности
А. Д. Обухова, доктор техн. наук, доцент, orcid.org/0000-0002-3450-5213, obuhov.art@gmail.com И. Л. Коробоваа, канд. техн. наук, доцент, orcid.org/0009-0006-5429-6339 А. О. Назароваа, инженер-программист, orcid.org/0000-0002-4741-1451 Д. В. Зайцеваа, аспирант, orcid.org/0000-0001-9488-0835 аТамбовский государственный технический университет, Советская ул., 106, Тамбов, 392000, РФ
Введение: технологии виртуальной реальности применяются для моделирования различных воздействий на человека, включая стрессовые. Для объективной диагностики предрасположенности человека к фобиям с использованием виртуальной реальности помимо субъективной оценки врача-специалиста требуется разработка методов, основанных на объективной обработке медицинских данных. Цель: разработать подход к классификации медицинских данных электроэнцефалограмм, основанный на технологиях машинного обучения, позволяющий повысить точность определения фобической реакции при воздействии виртуальной реальности. Методы: поставлена задача выбора оптимального алгоритма машинного обучения для классификации данных электроэнцефалограмм (общий объем — 3996 односекундных фрагментов), полученных с группы из 15 здоровых испытуемых, не имеющих явно выраженной акрофобии, на наличие или отсутствие реакции в лобных и затылочных долях головного мозга при воздействии фобии. Предложено несколько архитектур нейронных сетей, основанных на сверточных слоях и слоях многоголового внимания (Transformer). Результаты: проведены сбор и анализ медицинских данных с электроэнцефалографа участников контрольной группы, которые выполняли упражнение на боязнь высоты в виртуальной реальности. В рамках поставленной задачи выбора алгоритма машинного обучения подобраны параметры алгоритмов машинного обучения (количество и глубина оценщиков, скорость обучения), а также спроектированы две модифицированные модели сверточных нейронных сетей. Для обработки собранных и размеченных фрагментов данных электроэнцефалограмм использовались различные алгоритмы машинного обучения: деревья решений, случайный лес, AdaBoostClassifier, сверточная нейронная сеть и сеть архитектуры Transformer. В ходе тестирования наилучшие результаты показали сверточные нейронные сети (при анализе двух лобных каналов точность 98 %) и сети Transformer (при обработке всех каналов точность 97,4 %). Практическая значимость: результаты исследований позволяют сделать выводы об эффективности сверточных нейронных сетей и сетей Transformer при обработке медицинских данных электроэнцефалограмм. Разработанное программное обеспечение позволяет автоматизировать выявление фобических реакций при воздействии виртуальной реальности.
Ключевые слова — машинное обучение, виртуальная реальность, фобические расстройства, выявление, электроэнцефалография, обработка данных, сверточные нейронные сети.
Для цитирования: Обухов А. Д., Коробова И. Л., Назарова А. О., Зайцева Д. В. Применение машинного обучения при анализе ЭЭГ для выявления фобической реакции в виртуальной реальности. Информационно-управляющие системы, 2023, № 4, с. 56-70. doi:10.31799/1684-8853-2023-4-56-70, EDN: DJQEDW
For citation: Obukhov A. D., Korobova I. L., Nazarova A. O., Zajceva D. V. Application of machine learning in EEG analysis to detect phobic reactions in virtual reality. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2023, no. 4, pp. 56-70 (In Russian). doi:10.31799/1684-8853-2023-4-56-70, EDN: DJQEDW
Введение
Тревожно-фобические расстройства — это группа расстройств, в клинической картине которых преобладают тревога, страх определенных ситуаций или объектов (внешних по отношению к субъекту) [1]. Не существует общепринятых стандартизированных методов для работы с подобными пациентами, потому что причины появления фобических расстройств у человека связаны с биологическими особенностями, темпераментом, когнитивным стилем, системой воспитания, опытом отношений и т. д. [2, 3]. Таким образом, необходимо подстраивать курс лечения индивидуально под каждого пациента.
Предварительная диагностика человека в контролируемых условиях позволяет оценить его профпригодность к деятельности, предполагающей наличие стрессовых ситуаций (например, промышленный альпинизм, пожарные, шахтерские, спасательные работы и т. д.), так как внезапная фобическая реакция в производственных условиях может как привести к непрогнозируемым последствиям для самого человека [4-7], так и повлечь угрозу для жизни и здоровья окружающих, риск возникновения чрезвычайных ситуаций.
Получение реакции тревоги возможно только в условиях, максимально приближенных к реальным. Для имитации фобических стиму-
лов обосновано применение технологий виртуальной реальности (BP; Virtual Reality — VR), которые позволяют моделировать стрессовые условия, воздействуя на органы чувств. Данная технология также является полезной в случаях, когда воспроизведение стрессовой ситуации в реальных условиях невозможно [1, 8].
Виртуальная реальность является уникальным программно-аппаратным инструментом для создания новых методик и систем для диагностики и лечения целого ряда психоэмоциональных расстройств, поскольку позволяет моделировать различные виртуальные пространства. Системы BP становятся средой, где пациент может столкнуться с проблемой, которую возможно решить не только посредством общения с врачами, но и самостоятельно в симуляции с хорошо контролируемыми сенсорными стимулами [1].
При воздействии BP на испытуемого необходимо зафиксировать наличие или отсутствие у него соответствующей реакции на источник фобии. Классическим подходом является анкетирование, т. е. применение различного рода опросников для оценки уровня воздействия BP на человека во время или после прохождения виртуальной сцены [9]. Однако при анализе полученных после опроса данных следует учитывать субъективность человеческого восприятия цифровой среды, особенно при проведении опроса после снятия человеком ВР-гарнитуры. Проблема с субъективными измерениями заключается в том, что они сообщаются самими людьми и, следовательно, когнитивно опосредованы, что приводит к искажениям статистических данных и снижает их достоверность [10]. Кроме того, участники могут избегать значений шкалы опросника или отвечать чрезмерно позитивно/ негативно.
Поэтому для оценки воздействия BP, особенно в случае неврологических расстройств, следует применять объективные методы. К объективным подходам оценки взаимодействия с BP относятся физиологические, поведенческие методы и показатели выполнения задач.
Физиологические методы основаны на измерении различных физиологических сигналов, таких как электрокардиография (ЭКГ), электроэнцефалография (ЭЭГ) и кожно-гальваническая реакция [11]. Необходимо отметить, что достаточно сложно адекватно распознавать эмоциональное состояние пользователя, основываясь только на физиологических показателях, поскольку разные состояния могут быть обозначены очень похожими физиологическими симптомами [12]. Некоторые методы измерения физиологических сигналов (ЭЭГ) чувствительны к шуму, создаваемому движением головы [13], а более точные (например, функциональная магнитно-резонанс-
ная томография) не предполагают совместное использование с электронными устройствами.
Поведенческие методы относятся к методам, основанным на наблюдении и отслеживании поведения пользователя, такого, как физическое движение или социальное взаимодействие [10]. Отслеживая резкие перемещения тела, головы, глаз или определенные социальные паттерны действий в ВР, можно классифицировать состояние человека и его реакцию на раздражитель в ВР. В случае фобий данное направление требует наличия стороннего наблюдателя или продвинутого программного обеспечения для верификации физических или социальных действий как последствий воздействия источника фобии, а не запланированного заранее паттерна.
Третье направление включает такие метрики оценки, как время выполнения задач, количество ошибок, точность взаимодействия и т. д. [14]. Тогда уровень воздействия виртуального источника фобии будет характеризоваться указанными количественными метриками, так как выраженность тревожно-фобического расстройства будет напрямую оказывать влияние на эффективность выполняемых действий.
Таким образом, проведенный анализ показывает необходимость использовать объективные методы оценки состояния человека после воздействия на него ВР для выявления фобической реакции. Под фобической реакцией в рамках данного исследования будем понимать условно патологические паттерны в зрительных и вестибулярных зонах, а также их влияние на лобные доли головного мозга. Актуальность данного исследования заключается в повышении точности классификации медицинских данных ЭЭГ за счет разработки новых моделей машинного обучения или совершенствовании существующих подходов. В рамках данного исследования в качестве исходных данных предлагается использовать электроэнцефалограммы, полученные в процессе взаимодействия с виртуальной сценой, содержащей источник фобии.
Применение ВР для формирования фобической реакции
Для формирования фобической реакции необходимо воздействие ВР на органы чувств человека. Обратимся к источникам, анализирующим существующие исследования в этой области.
В работе [15] исследовалась реакция испытуемых на стимулы, вызывающие страх высоты посредством воздействия ВР. После обработки и анализа ЭЭГ-сигналов были определены маркеры, ассоциированные с уровнем тревоги и восприимчивости испытуемого в среде ВР. В основе
эксперимента — разработанная виртуальная сцена с размещением пользователя на крыше многоэтажного дома.
Методика применения электроэнцефалографа совместно с устройствами ВР используется и в других работах. В исследовании [16] подтверждается, что сигнал ЭЭГ может использоваться для классификации уровня стресса субъекта при использовании ВР. В качестве инструмента классификации использовались многослойная нейронная сеть и машина опорных векторов.
Авторы работы [17] проанализировали ЭЭГ-сигналы альфа- и бета-диапазонов и подтвердили гипотезу о терапевтической эффективности преднамеренно созданного виртуального опыта для управления тревогой и снижения стресса. Также стоит отметить, что если после нервно-возбудимой ситуации следовала релаксационная сессия в ВР, то седативный эффект обычно появлялся с задержкой 1-2 мин. Подобные результаты с запаздыванием нервного отклика также были зарегистрированы в исследовании [18]. Отмечено, что в зависимости от программного обеспечения и ВР-оборудования переходы аффективных состояний могут происходить не быстро и не требовать немедленной обратной связи с пользователем.
Эффективность использования ВР для симуляции фобий отмечена в работе [19]. Выявлено, что люди, страдающие фобическим расстройством (например, арахнофобией), гораздо больше концентрировались на деталях объекта-раздражителя (пауках). Авторы также предполагают большую эффективность подхода десенсибили-
зации, при котором детали фобического стимула представляются пользователю постепенно по мере его готовности для лечения тревожно-фоби-ческих расстройств.
Таким образом, формирование фобической реакции путем воздействия ВР является распространенным и апробированным подходом. Рассмотрим разработанную виртуальную среду (рис. 1), представленную авторами в работе [1], в рамках которой будут осуществляться исследования и сбор медицинских данных. Для повышения адекватности восприятия виртуальной сцены и, следовательно, предлагаемого подхода использовалась максимальная детализация виртуальных объектов, эффекты частиц, освещения, а также моделирование темного времени суток, что позволяет минимизировать аппаратные ограничения шлемов ВР и дополнительно повысить реалистичность отображаемых объектов и анимации.
«В начале сцены аватар пользователя появляется в закрытом лифте (рис. 1, этап 1). Каждому пользователю предоставляется некоторое время на адаптацию к виртуальной реальности. Испытуемый может видеть свои руки при наличии контроллеров, однако, это не обязательная опция и имеет значение только как дополнительное усиление эффекта присутствия. Через некоторое время лифт поднимается на верхний этаж, двери открываются, и человек видит перед собой город (рис. 1, этап 2). Данный момент фиксируется как начало сцены. Через некоторое время человек идет к краю доски. На краю доски он должен осмотреться, после этого прыгнуть (рис. 1, этап 3),
■ Рис. 1. Ключевые точки в виртуальной сцене: 1 — стартовая точка; 2 — человек на краю доски; 3 — прыжок; 4 — приземление [1]
■ Fig. 1. Key points in the virtual scene: 1 — starting point; 2 — man on the edge of the board; 3 — jump; 4 — landing [1]
некоторое время находиться в «цифровом полете» и приземлиться (рис. 1, этап 4), что также фиксируется как аннотация в ЭЭГ файле, где отмечено начало и конец фрагмента прыжка» [1].
Поскольку человек сначала находится в закрытом лифте в темноте и тишине, то основное психологическое воздействие на пользователя оказывается в моменты, когда он может выйти из кабины лифта, рассмотреть вид на здания и дорогу с высоты, услышать звуки города и шум ветра при выходе из лифта и во время падения. Акрофобия основывается на абсолютно естественной и эволюционно возникшей реакции организма на внешние стимулы, которые угрожают его жизни или здоровью. При нахождении на большой высоте и падении человек испытывает воздействие на зрительные отделы мозга, а также вестибулярный аппарат. В рамках текущего исследования не акцентируется внимание на зависимости высоты здания на степень воздействия на мозговую активность, поэтому для создания наиболее сильного впечатления используется выбранное упражнение с падением, чтобы полностью сосредоточить человека на происходящих событиях.
На основе разработанной сцены ВР необходимо осуществить сбор и разметку медицинских данных ЭЭГ, после чего решить задачу их классификации. Формализуем основные составляющие данной задачи в общем виде.
Постановка задачи исследования
Обозначим через е X фрагмент медицинских данных, где X — множество всех фрагментов медицинских данных. Введем следующие обозначения:
— протокол обследования как совокупность множества фрагментов медицинских данных: X; сХ, X; = -Ц};
— категория протокола (ЭКГ, ЭЭГ, электромиография и др.): Xt вд е С, С — множество категорий (типов) протоколов;
— категория фрагмента медицинских данных (норма, шум, артефакт, патология и т. д.): ^Уу, уу е У, У — множество категорий фрагментов медицинских данных.
В рамках данного исследования рассматриваются только протоколы, полученные с ЭЭГ, что не отменяет возможности анализа данных с различных источников в дальнейшем.
Поскольку виртуальная сцена предполагает, что человеку приходится поворачивать голову, то происходит соответствующее искажение сигнала, что влечет за собой некорректность данных. Артефакты, как правило, усиливаются, когда субъект находится в движении (например,
когда пользователь делает несколько шагов к краю лифта), это означает, что получение надежных данных во время упражнений по своей сути проблематично. Таким образом, в результате этапа фильтрации исходный фрагмент медицинских данных будет обработан фильтром Ек, что приведет к получению отфильтрованных данных, которые будем обозначать как Рк(%) При выборе фильтра Ек необходимо учитывать, что фильтрация может серьезно изменить внешний вид сигналов и тем самым повлиять на получаемые результаты. К общепринятым в данной предметной области относятся фильтр нижних и верхних частот, фильтры устранения артефактов и другие, используемые в исследовании фильтры будут рассмотрены далее.
Обозначим через р(¥к(%), уУ) вероятность того, что фрагмент медицинских данных относится к категории у у
Для автоматизации процесса принятия решений о наличии и отсутствии фобической реакции необходимо реализовать некоторую регрессионную зависимость между исходными данными и соответствующими им категориями уу. Данная зависимость может быть аппроксимирована с помощью некоторого алгоритма машинного обучения или нейронной сети. Тогда поставим задачу исследования в следующем формализованном виде: необходимо найти оптимальный алгоритм машинного обучения М и его параметры, при которых точность классификации А наличия или отсутствия фобической реакции достигает максимума:
A( M) =
TP + TN
TP + TN + FP + FN
тах,
(1)
где ТР — количество истинно положительных результатов, ТЫ — истинно отрицательных, FP — ложноположительных и FN — ложноотри-цательных.
Таким образом, точность — это доля правильных ответов алгоритма (ТР + ТЫ) к общему количеству результатов. Помимо точности, при оценке алгоритмов машинного обучения рекомендуется использовать матрицу ошибок (в которой приводятся по отдельности метрики ТР, ТЫ, FP, FN), а также Г-меру Fl для дополнительной верификации результатов:
F1 = 2
precision =
precision
: recall
precision + recall TP „ TP
TP + FP
recall =
TP + FN
(2)
Тогда для успешного решения поставленной задачи необходимо выбрать оптимальный алго-
ритм машинного обучения и его параметры, при которых метрики (1) и (2) достигают максимальных значений.
Процедура сбора экспериментальных данных ЭЭГ
Далее для решения поставленной задачи необходимо найти зависимость между входными данными (фрагментами ЭЭГ) и выходными классами, соответствующими наличию или отсутствию фобической реакции.
Рассмотрим процедуру формирования базы данных медицинских сигналов, зарегистрированных у контрольной группы пользователей в условиях погружения в среду BP.
Для сбора информации о состоянии и реакции человека на события виртуальной сцены использовался электроэнцефалограф компании Neurosoft со следующими характеристиками: 21 канал ЭЭГ, частота дискретизации данных 500 Гц. Для анализа собранных данных применяется программное обеспечение от Neurosoft «Нейрон-CneKTp.NET». Монтаж отведений выполнялся в соответствии со схемой «Монокулярный 21».
Сбор информации может производиться в ручном режиме: в этом случае данные записываются с использованием «Нейрон-CneKTp.NET» и сохраняются в базе данных, после чего могут быть импортированы в формате TXT, EDF и др. Дальнейшая обработка осуществляется уже с использованием разработанного авторами программного обеспечения для открытия и разметки ЭЭГ в формате EDF на основе библиотек MNE и
PyQt. Второй вариант заключается в использовании протокола LSL, позволяющего осуществлять трансляцию данных из «Нейрон-CneKTp.NET» в стороннее программное обеспечение в режиме реального времени. Для получения потока информации предлагается использовать библиотеку pylsl (Python), позволяющую организовать подключение к нескольким устройствам, транслирующим поток данных по протоколу LSL.
Схема установки оборудования на человека представлена на рис. 2. Шлем BP был закреплен поверх шлема для снятия ЭЭГ таким образом, чтобы элементы BP-шлема не прерывали контакт электродов ЭЭГ с кожей испытуемого. Для погружения в BP используется шлем HTC Vive Cosmos, не требующий базовых станций. Электроэнцефалограф работает от батареи, сам прибор закрепляется в рюкзаке на спине испытуемого, что исключает натяжение проводов при перемещении, но обеспечивает необходимую мобильность.
Контрольная группа включает 15 человек возрастом от 18 до 25 лет, соотношение мужчин и женщин 11:4 соответственно. В ходе предварительного обследования психологических заболеваний у респондентов не выявлено. Также все участники контрольной группы имеют нормальное зрение. Все исследования были проведены согласно протоколу клинического исследования ФГБОУ ВО «Тамбовский государственный технический университет» с привлечением врача функциональной диагностики ОГБУЗ «Тамбовская психиатрическая клиническая больница». Все испытуемые были информированы о цели исследования, подписав информированное согласие.
Рис. 2. Схема установки шлемов BP и ЭЭГ Fig. 2. Scheme of putting on VR and EEG headsets
Для подготовки моделей машинного обучения использовались данные девяти человек, а для контрольной верификации — фрагменты ЭЭГ оставшихся шести участников, которые не будут участвовать в обучении алгоритмов машинного обучения.
Схема эксперимента имеет следующий вид. В начале любого сценария участники эксперимента по одному были приглашены в помещение. За экспериментом наблюдает врач-невролог и ассистент. На голове участника закрепляли сначала электроды, а потом надевали шлем ВР. До начала эксперимента осуществляется запись эталонных данных ЭЭГ в течение 3 мин в спокойном состоянии без воздействия ВР. Далее человек вставал на стартовую точку, после чего врач начинал эксперимент по выявлению фобической реакции. В ходе прохождения сцены записывались показания электроэнцефалографа, а также фиксировались временные метки с ключевыми событиями сцены.
После записи необходимого объема данных они были переданы врачу-неврологу для анализа и разметки. Пример фрагмента собранных данных после использования фильтра нижних и верхних частот представлен на рис. 3. На фрагменте ЭЭГ за 3 с до падения (слева) ритмическая активность характерна для взрослого бодрствующего человека, распределена зонально верно, патологических паттернов не зафиксировано. Справа отражен сам момент падения и несколько секунд после; после соприкосновения участника контрольной группы с землей наблюдается кратковременный всплеск активности, вспышка низкоамплитудного, низкочастотного альфа-диапазона, что само по себе не патология, но является фобическим паттерном. Это можно объяснить тем, что вестибулярный анализатор указывает на прямое неподвижное положение тела, а наблюдаемое оптическое поле — на обратное, вследствие чего возможна частичная или полная кратковременная дезориентация. Согласно экспертной оценке врача-невролога правый график показывает активность в каналах ГР1, ГР2 и 01, 02 головного мозга, которые соответствуют лобным долям и зрительным вестибулярным центрам соответственно. Таким образом, основными признаками фобической реакции являются возбуждения в затылочной и лобной областях.
По результатам анализа врача-невролога данного фрагмента сделаны следующие выводы. После падения средняя амплитуда альфа-ритма увеличилась на 5,0 %, тета-ритма — на 7,3 %, дельта-ритма — на 6,6 %, низкочастотного бета-ритма — на 16,8 %, высокочастотного бета-ритма — на 42,3 %. Увеличение амплитуды и частоты основных биоритмов головного мозга является свидетельством ирритации (возбуждения, раздражения) коры.
■ Рис. 3. Фрагменты ЭЭГ и амплитуда волн дельта-ритма в спокойном состоянии (слева) и во время фобической реакции (справа)
■ Fig. 3. Fragments of EEG with an amplitude of delta rhythm waves in a calm state (left) and during a phobic reaction (right)
На рис. 3 представлены также результаты спектрального анализа биоэлектрической активности головного мозга до (слева) и после падения (справа). В момент «до» регистрируется активность в передних отделах, т. е. там, где расположены начальные отделы зрительного анализатора, отвечающие за визуальное восприятие окружающего. Эффект падения вызывает активность в задней (таламической) области, где расположены ядра зрительного и вестибулярного анализаторов. После чего обработанный сигнал передается обратно в передние отделы головного мозга.
Таким образом, поиск паттернов акрофобии напрямую связан с работой вестибулярного и зрительного анализаторов. При нахождении на высоте либо падении с высоты глаз человека не находит ближних ориентиров, что приводит к напряжению в вестибулярном аппарате и, как следствие, потере равновесия. В результате ис-
УПРАВЛЕНИЕ В МЕДИЦИНЕ И БИОЛОГИИ
пытаний было выявлено, что люди, дольше находившиеся в лифте и дольше осматривавшие город внизу, а также те, которые самостоятельно прыгали с крыши и при этом смотрели вниз, проявляли более острую реакцию.
Поскольку основное воздействие на человека оказывается посредством трансляции изображений через экраны шлема ВР, то основные источники искажений и всплески активности следует искать в каналах ЭЭГ, соответствующих зрительным зонам головного мозга, т. е. в каналах 01, 02. С другой стороны, усиление сигнала в затылочных областях усиливает напряжение в связанных с ними отведениях ЭЭГ лобной доли, которая отвечает за мыслительную деятельность, реакцию на стресс и страх. С учетом воздействия со стороны вестибулярного аппарата наиболее корректно будет отслеживать мозговую реакцию в отведениях лобной доли (т, ГР2), так как они позволят отследить реакцию как на зрительное воздействие, так и на другие источники стресса, страха или усиленной мозговой активности.
Для проверки данной гипотезы были построены матрицы когерентности, отражающие
взаимосвязанность электрических процессов мозга и позволяющие оценить степень синхронизации частотных составляющих ЭЭГ между различными отделами коры головного мозга. Преимуществом когерентного анализа ЭЭГ является его независимость от амплитуды колебания сигналов различных участков головного мозга. Количественно степень подобия спектров может быть выражена через безразмерный параметр сходства — коэффициент когерентности (когерентность). Показатель когерентности вычисляется как нормированный коэффициент корреляции между спектрами в выбранных парах отведений. Параметр когерентности может меняться в диапазоне от 1,0 (полная идентичность спектров) до 0 (полное несоответствие).
Усредненные матрицы когерентности построены на основе фрагментов ЭЭГ, соответствующих интервалам воздействия акрофобии (рис. 4). Можно отметить повышенные значения когерентности между затылочными зрительными каналами (01, 02) и лобными (ГР1, ГР2). На лобные отведения также оказывают значительное влияние центральный лобный канал (FPZ), височные (Г7, Г8). Таким образом, выбор в качестве приоритет-
FP1 -FP2 -F3 -F4 -СЗ -С4 -РЗ -Р4 -01 -02 -F7 -F8 -ТЗ -Т4 -Т5 -Т6 -FPZ -FZ -PZ -
0,33 0,36 0,34 0,36
0,36 0,36 0,39 0,33
0,36 0,37 0,33
0,36 0,38 0,28
0,35 0,37 0,31
0,36
),31 0,36 0,39 ),33 0,40
1,0
0,34 0,35 0,34 0,33 0,37 0,38 0,37 0,33 0,36 0,33 0,37 0,34 0,37 0,40 0,36 0,41 0,33 0,38 0,38
0,43 0,37 0,32 0,31 0,37 0,35
I 0,58 0,40 0,39 0,45 0,45 0,46
0,8
0,6
0,4
- 0,2
^ч (N Рч СМ
р=н Еч О О
га
Рч Рч
^ч
О
tN
О
t> оо
га Н
^ ю Н Н
со Н
N
сц
N N fe Рч
- 0,0
Рис. 4. Матрица когерентности отведений ЭЭГ при воздействии фобии Fig. 4. Matrix coherence of EEG derivations under the influence of phobia
ных отведений для обучения алгоритмов машинного обучения FP1 и FP2, соответствующих лобной доле, является оправданным.
Полученные в ходе предварительной оценки врачом-неврологом результаты позволяют сделать вывод о наличии реакции у человека на фобическое воздействие в ВР и ее проявлении на ЭЭГ. Поэтому на следующем этапе исследований необходимо разработать и протестировать различные алгоритмы машинного обучения для повышения точности выявления фобической реакции.
Алгоритм выявления фобической реакции в ВР на основе методов машинного обучения
Вне зависимости от выбранной архитектуры модели машинного обучения при обработке медицинских данных, полученных при погружении человека в ВР, необходимо выполнить следующие шаги.
1. Предварительную обработку данных: удаление шумов и фильтрацию, разделение данных на фрагменты заданной длины.
2. Разметку данных: в записанных ЭЭГ данных фиксируются временные зоны, соответствующие спокойному состоянию и воздействию источника фобии. Разметка верифицируется экспертом (врачом функциональной диагностики).
3. Классификацию: разделение данных на классы, определяющие наличие или отсутствие фобии или стресса.
4. Валидацию обученной модели: проверку качества модели на новых данных, которые не использовались при ее обучении. При тестировании необходимо использовать матрицу ошибок классификации, чтобы оценить величину ошибок первого и второго рода.
Для устранения артефактов и помех в ЭЭГ использовался анализ независимых компонент, основанный на применении нуль-фазового полосового фильтра и реализованный в библиотеке ММЕ [20]. Кроме того, все данные были обработаны встроенными фильтрами программного обеспечения МеигоБОЙ;, устраняющими шумы (фильтр высоких частот = 0,5 Гц, фильтр низких частот = 70 Гц).
При разделении на фрагменты и разметке медицинских данных использовался следующий подход: из размеченных зон извлекаются последовательности из 500 значений для выбранных каналов с шагом 100 значений для спокойных зон и с шагом 50 значений для зон фобической реакции. Это позволяет многократно увеличить датасет и обучить сеть реагировать на возникновение источника фобии в произвольный момент фрагмента.
При решении задачи классификации и выборе топологии алгоритма машинного обучения необходимо также учитывать формат входных данных, так как на вход алгоритма можно подавать данные с одного зрительного канала ЭЭГ, с двух зрительных каналов или со всех отведений сразу (20 каналов, так как один из каналов является референсным). Этот выбор определяет размерность данных, которая для временных последовательностей будет определяться как кортеж (<объем выборки>, <количество каналов>, <длина фрагмента>). В ходе работы был проведен анализ отведений 01-02, расположенных в затылочной зоне, относящейся к зрительным каналам. Однако предварительные испытания показали, что точность классификации при использовании данных каналов недостаточно высока. Кроме того, учитывая, что сигналы со зрительных каналов оказывают значительное влияние на лобные каналы (FP1, FP2), которые отвечают за мыслительную активность, реакцию на страхи и стресс, имеет смысл при выборе каналов для классификации фобической реакции использовать отведения FP1, FP2.
Далее переходим к основной задаче исследования — определению оптимального алгоритма машинного обучения для классификации данных с наибольшей точностью. В ходе предварительных испытаний были проверены различные варианты решения поставленной задачи, проанализированы топологии нейронных сетей, что позволило выделить следующие варианты для классификации фобических реакций.
1. Алгоритмы машинного обучения, используемые для классификации, например, деревья решений.
2. Ансамблевые методы машинного обучения, основанные на усреднении нескольких более простых оценщиков (случайный лес — RandomForest) либо на повышении оценок (AdaBoost).
3. Сверточные нейронные сети (Convolutional Neural Network — CNN) для извлечения признаков из временных последовательностей, в том числе с использованием предварительного обучения на расширенном наборе неразмеченных ЭЭГ-данных.
4. Сверточные нейронные сети-трансформе-ры (CNN-Transformer), включающие извлечение признаков с использованием как сверточных слоев, так и слоев внимания и пропущенных соединений.
Классические плотные многослойные нейронные сети и рекуррентные сети (LSTM, RNN, GRU) в ходе предварительных испытаний не показали корректных результатов, поэтому в итоговом сравнении не представлены. Их неэффек-
тивность может быть обусловлена отсутствием слоев сверток, позволяющих выделить из большой последовательности достаточное количество различных значений мозговой активности, а также общие паттерны для классификации состояния человека.
В соответствии с изложенным алгоритмом осуществим сбор и обработку экспериментальных данных на контрольной группе, после чего проанализируем эффективность различных топологий алгоритмов машинного обучения на различных форматах исходных медицинских данных.
Сравнение алгоритмов машинного обучения при диагностике фобических реакций
Для обучения алгоритмов машинного обучения было необходимо провести разметку данных (с привлечением врача-невролога) и поделить их на равные фрагменты ЭЭГ длительностью 1 с с последовательным сдвигом в соответствии с представленным ранее алгоритмом. После завершения экспериментальных исследований и отсева некорректно записанных данных с двадцати каналов ЭЭГ сохранено 2462 размеченных фрагментов данных для обучения и 1934 — для контрольного тестирования.
Для аппроксимации зависимости между исходными данными ЭЭГ и наличием/отсутствием фобической реакции на раздражители в ВР реализуем следующие алгоритмы машинного обучения с указанием экспериментально подобранных параметров моделей.
Бес181опТгееС1а881Аег — классификатор на основе дерева решений с максимальной глубиной (max_depth), равной 10.
RandomГoгestC1assifieг — ансамблевый классификатор, объединяющий набор оценщиков из деревьев решений для различных подвыборок набора данных и использующий усреднение для повышения точности прогнозирования и контроля переобучения. Оптимальные параметры: количество оценщиков — 10, максимальная глубина (max_depth) каждого равна шести.
AdaBoostC1assifier — ансамблевый классификатор, который объединяет слабые классификаторы (деревья решений), усиливая их за счет последовательного построения ансамблей оценщиков для различных наборов данных. Выбранные параметры: количество оценщиков — 100, скорость обучения (1eaгning_гate) — 0,01, глубина оценщика — 10.
Сверточная нейронная сеть — многослойная сеть, включающая последовательность блоков из сверточных слоев (^пу^) и слоев нормали-
зации BatchNormalization для выявления признаков из входных последовательностей. Для повышения точности классификации реализовано предварительное обучение на расширенном наборе ЭЭГ-данных с 90 человек, собранных в состоянии покоя. Процедура предварительного обучения основана на модели автоэнкодера (вход и выход модели совпадают), после чего веса энко-дера замораживаются и используются как часть итоговой модели. Топология CNN представлена на рис. 5 (вариант для двух каналов ЭЭГ).
input
7x2x500x1
InputLayer
kerneK 3x1x32> bias<32>
BatchNormalization
gamma<32> beta<32>
moving_mean<32> moving_variance<32>
kerneK3x32x64> bias<64>
BatchNormalization
gamma<64> beta<64>
moving_mean<64> moving_variance<64>
kerneK 5x64xl28> bias<128>
BatchNormalization
gamma<128> beta<128>
moving_mean <128> moving_variance<128>
kerneK 5xl28x256> biae<256>
BatchNormalization
gamma <256> beta<256>
moving_mean<256> moving_variance<256>
kerneK7x256x512> biae<512>
BatchNormalization
gamma<512> beta<512>
moving_mean<512> moving_variance<512>
kerneK 7x512x512> biaK<512>
Dropout
Dropout
kerneK1000x500> bias<500>
Dropout
kerneK500x100> bias<100>
BatchNormalization ^H Dense
gamma<512> beta<512>
moving_mean<512> moving_variance<512>
main_output
T
Рис. 5. Модель сверточной нейронной сети Fig. 5. Model of the CNN
ReLU
ReLU
ReLU
Dense
ReLU
ReLU
Dense
ReLU
ReLU
ReLU
Flatten
Входные данные:
NxCx500xl
Инвертированный остаточный блок
Сверточный слой
Количество фильтров: 32
Слой нормализации
Сверточный слой
Количество фильтров: 64
Слой нормализации
Сверточный слой
Количество фильтров: 128
Слой нормализации
Сверточный слой
Количество фильтров: 256
Слой нормализации
Инвертированный остаточный блок (4 блока) Количество фильтров: 16, 32, 48, 64 Шаг свертки: 1, 2, 2, 2
Блок Vision Transformer
Количество слоев-трансформеров = 2
Инвертированный остаточный блок
Количество фильтров: 80 Шаг свертки: 2
Блок Vision Transformer
Количество слоев- трансформеров = 3
Инвертированный остаточный блок
Количество фильтров: 160 Шаг свертки: 2
Блок Vision Transformer
Количество слоев- трансформеров = 4
Слой GlobalA veragePooling
Плотный слой Количество нейронов: 50
Слой разреживания
ИЛОТН! Количество >1Й слой нейронов: 20
Выходные данные:
Количество классов
Блок Vision Transformer
Рис. 6. Модель сверточной нейронной сети-трансформера Fig. 6. Model of the CNN-Transformer
Сверточная нейронная сеть-трансформер — сверточная сеть, построенная по архитектуре Vision Transformer, что предполагает использование следующих слоев: сверточных для выявления общих признаков; инвертированных остаточных блоков для точечной свертки и понижения разрешения; блоков Vision Transformer, включающих сверточные слои, подблоки (patches) и их передачу на слой многоголового внимания (Multi-HeadAttention) для определения глобальных отношений между подблоками. Для формирования топологии данной сети в качестве основы использовалась архитектура, представленная в работе [21], с учетом необходимых модификаций, вызванных форматом входных данных. Итоговая топология представлена на рис. 6 (вариант для двух каналов ЭЭГ).
Необходимо отметить, что при сравнении указанных алгоритмов на временных последовательностях одного канала ЭЭГ будет обработан двойной объем данных, так как требуется проверить эффективность работы как на левом канале, так и на правом.
Также при использовании DecisionTreeClas-sifier, RandomForestClassifier и AdaBoostClassifier форма входных данных независимо от количе-
ства каналов была изменена на (<объем выборки>, <количество каналов> х <длина фрагмента^, что вызвано ограничениями перечисленных алгоритмов.
Далее все указанные модели машинного обучения были обучены на собранном датасе-те и оценены на контрольном наборе данных. Результаты точности классификации по выбранным ранее метрикам представлены в таблице для различного количества каналов. Полужирным выделены лучшие результаты в рамках каждого формата данных.
Обработка полученных результатов позволяет сделать следующие выводы:
— DecisionTreeClassifier, RandomForestClassi-fier и AdaBoostClassifier — несмотря на различающиеся результаты в целом их работоспособность не подтверждена, так как до 50 % случаев наличия взаимодействия с фобией не отслеживаются, а до трети случаев без воздействия распознаются как фобия;
— CNN показывает отличные результаты на одном и двух каналах; при анализе 20 каналов эффективность значительно падает;
— CNN-Transformer отличается хорошей работоспособностью на двух и 20 каналах, причем
■ Результаты сравнения качества классификации различных алгоритмов машинного обучения
■ Results of the comparison of quality classification of different machine learning algorithms
Один канал
Алгоритм TN (2026) FP (0) FN (0) TP (1842) F-мера A
DecisionTreeClassifier 1544 482 960 882 0,550 0,627
RandomForestClassifier 860 1166 726 1116 0,54 0,510
AdaBoostClassifier 1772 254 1453 389 0,313 0,558
CNN 1936 90 50 1792 0,962 0,963
CNN-Transformer 1924 102 633 1209 0,766 0,809
Два канала
Алгоритм TN (1013) FP (0) FN (0) TP (921) F-мера A
DecisionTreeClassifier 852 161 632 289 0,421 0,589
RandomForestClassifier 489 524 563 358 0,397 0,437
AdaBoostClassifier 858 155 557 364 0,505 0,631
CNN 992 21 15 906 0,980 0,981
CNN-Transformer 974 39 78 843 0,935 0,939
20 каналов
Алгоритм TN (1013) FP (0) FN (0) TP (921) F-мера A
DecisionTreeClassifier 728 285 564 357 0,456 0,561
RandomForestClassifier 691 322 636 285 0,373 0,504
AdaBoostClassifier 988 25 676 245 0,411 0,637
CNN 922 91 229 692 0,812 0,834
CNN-Transformer 1013 0 50 871 0,972 0,974
позволяет очень эффективно классифицировать фобии при загрузке всех 20 каналов, что делает подход очень универсальным; не требуется выбирать необходимые каналы для анализа за счет использования комбинации как сверточных слоев, так и слоев Transformer.
Итоги проведенного эксперимента позволяют сделать вывод, что алгоритмы машинного обучения, основанные на деревьях решений или их ансамблях, не могут эффективно классифицировать ЭЭГ-данные. С другой стороны, сверточные нейронные сети и сети Transformer показали высокие результаты и могут быть рекомендованы к использованию для решения поставленной задачи. Также выявлено, что патологические паттерны в зрительных и вестибулярных зонах, возникающие при воздействии акрофобии в BP, точнее всего определяются при анализе лобной зоны головного мозга. Однако использование таких архитектур, как Transformer, позволяет выявлять воздействие акрофобии при анализе всех каналов одновременно за счет механизма внимания.
Заключение
Проведенное сравнение существующих нейронных сетей показало, что для классификации ЭЭГ-данных на наличие фобической реакции наилучшие результаты представили сверточные нейронные сети и сети Transformer. В то же время алгоритмы машинного обучения, основанные
Литература /
1. Назарова А. О., Теселкин Д. В., Суркова Е. О.
Разработка программных средств для диагностики тревожно-фобических расстройств на основе систем виртуальной реальности. Виртуальное моделирование, прототипирование и промышленный дизайн: материалы VIII Междунар. науч-прак. конф., Тамбов, 12-14 октября 2022 г., с. 175179.
2. Svensson M., Nilsson T., Perrin S., Johansson H., Viborg G., Falkenstrom F., Sandell R. The effect of patient's choice of cognitive behavioural or psychody-namic therapy on outcomes for panic disorder: A doubly randomised controlled preference trial. Psychotherapy and Psychosomatics, 2021, vol. 90, no. 2, pp. 107-118. doi.org/10.1159/000511469
3. Freitas J. R. S., Velosa V. H. S., Abreu L. T. N., Jar-dim R. L., Santos J. A. V., Peres B., Campos P. F. Virtual reality exposure treatment in phobias: A systematic review. Psychiatric Quarterly, 2021, vol. 92, no. 4, pp. 1685-1710. doi.org/10.1007/s11126-021-09935-6
на деревьях решений или их ансамблях, оказались неэффективными. Также было выявлено, что для достижения высокой точности классификации можно анализировать только два зрительных канала из лобной зоны (отведения FP1, FP2). Выявлено, что нейронные сети типа Transformer эффективно обрабатывают данные большой размерности, что позволяет обеспечить высокую точность классификации при анализе 20 каналов ЭЭГ. Эти результаты могут быть полезны для разработки более эффективных методов диагностики фобических расстройств.
В дальнейшем результаты, полученные в данном исследовании, положительно скажутся на оптимизации процессов классификации ЭЭГ-данных, что позволит регистрировать наличие или отсутствие фобических паттернов в реальном времени и программно корректировать сценарий тестовой сцены для достижения лучшего результата реабилитации. Таким образом, полученные теоретические и практические результаты станут основой дальнейших исследований в области систем BP с обратной биологической связью.
Финансовая поддержка
Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ в рамках проекта «Разработка медицинских VR тренажерных систем для обучения, диагностики и реабилитации» (№ 122012100103-9).
4. Hajure M., Abdu Z. Social phobia and its impact on quality of life among regular undergraduate students of Mettu University, Mettu, Ethiopia. Adolescent Health, Medicine and Therapeutics, 2020, vol. 11, pp. 79-87. doi.org/10.2147/AHMT.S254002
5. Sancassiani F., Romano F., Balestrieri M., Caraci F., Di Sciascio G., Drago F., Carta M. G. The prevalence of specific phobia by age in an Italian Nationwide Survey: How much does it affect the quality of life? Clinical Practice and Epidemiology in Mental Health: CP & EMH, 2019, vol. 15, pp. 30. doi: 10.2174/ 1745017901915010030
6. Sharma M., Mathur D. M., Jeenger J. Nomophobia and its relationship with depression, anxiety, and quality of life in adolescents. Industrial Psychiatry Journal, 2019, vol. 28, no. 2, pp. 231. doi:10.4103/ipj. ipj_60_18
7. Islam M. S., Ferdous M. Z., Potenza M. N. Panic and generalized anxiety during the COVID-19 pandemic among Bangladeshi people: An online pilot survey early in the outbreak. Journal of Affective Disorders, 2020, vol. 276, pp. 30-37. doi.org/10.1016/j.jad.2020. 06.049
8. Тычков А. Ю., Чернышев Д. С., Бофанова Н. С., Алимурадов А. К., Овчинников Д. Л., Сотников А. М. Применение VR для контроля и коррекции фобических тревожных расстройств. Измерение. Мониторинг. Управление. Контроль, 2021, № 4 (38), с. 84-92. doi:10.21685/2307-5538-2021-4-10
9. Donker T., Van Esveld S., Fischer N., Van Straten A.
0Phobia-towards a virtual cure for acrophobia: Study protocol for a randomized controlled trial. Trials, 2018, vol. 19, pp. 1-11. doi.org/10.1186/s13063-018-2704-6
10. Vlahovic S., Suznjevic M., Skorin-Kapov L. A survey of challenges and methods for Quality of Experience assessment of interactive VR applications. Journal on Multimodal User Interfaces, 2022, vol. 16, no. 3, pp. 257-291. doi.org/10.1007/s12193-022-00388-0
11. Skorin-Kapov L., Varela M., Hofifeld T., Chen K. T. A survey of emerging concepts and challenges for QoE management of multimedia services. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2018, vol. 14, no. 2s, pp. 1-29. doi.org/10.1145/3176648
12. Bouchard S., St-Jacques J., Robillard G., Renaud P. Anxiety increases the feeling of presence in virtual reality. Presence: Teleoperators and Virtual Environments, 2008, vol. 17, no. 4, pp. 376-391. doi.org/10.1162/ pres.17.4.376
13. Moinnereau M. A., de Oliveira Jr A. A., Falk T. H.
Immersive media experience: a survey of existing methods and tools for human influential factors assessment. Quality and User Experience, 2022, vol. 7, no. 1, pp. 5. doi.org/10.1007/s41233-022-00052-1
14. Moller S., Engelbrecht K. P., Kuhnel C., Wechsung I., Weiss B. A taxonomy of quality of service and quality of experience of multimodal human-machine interaction. 2009 Intern. Workshop on Quality of Multimedia
_ ' X
Experience, IEEE, 2009, pp. 7-12. doi:10.1109/ Q0MEX.2009.5246986
15. Тычков А. Ю., Чернышев Д. С., Чураков П. П., Юлдашев 3. М., Бофанова Н. С., Алимурадов А. К., Никитин М. С. Поиск закономерностей на ЭЭС при симуляции тревожно-фобической ситуации в среде виртуальной реальности. Информационно-управляющие системы, 2022, no. 4, pp. 58-67. doi:10.31799/1684-8853-2022-4-58-67
16. Kaminska D., Smolka K., Zwolinski G. Detection of mental stress through EEG signal in virtual reality environment. Electronics, 2021, vol. 10, no. 22, pp. 2840. doi.org/10.3390/electronics10222840
17. Tarrant J., Viczko J., Cope H. Virtual reality for anxiety reduction demonstrated by quantitative EEG: A pilot study. Frontiers in Psychology, 2018, vol. 9, pp. 1280. doi.org/10.3389/fpsyg.2018.01280
18. Kumar M., Delaney C., Krusienski D. Estimation of affective states in virtual reality environments using EEG. Proc. of the 15th Intern. Conf. on PErvasive Technologies Related to Assistive Environments, 2022, pp. 396-401. doi.org/10.1145/3529190.3534738
19. Clemente D., Davi L., De Monte E. Use of digital stimulation in the treatment of phobias: Results following EEG and evoked potential. Journal of Technology in Behavioral Science, 2020, vol. 5, no. 1, pp. 4046. doi.org/10.1007/s41347-019-00111-z
20. Jas M., Larson E., Engemann D. A., Leppakangas J., Taulu S., Hamalainen M., Gramfort A. A reproducible MEG/EEG group study with the MNE software: Recommendations, quality assessments, and good practices. Frontiers in Neuroscience, 2018, vol. 12, pp. 530. doi.org/10.3389/fnins.2018.00530
21. Mehta S., Rastegari M. Mobilevit: Light-weight, general-purpose, and mobile-friendly vision transformer. arXiv preprint arXiv:2110.02178, 2021. https://doi. org/10.48550/arXiv.2110.02178
UDC 004.89
doi:10.31799/1684-8853-2023-4-56-70 EDN: DJQEDW
Application of machine learning in EEG analysis to detect phobic reactions in virtual reality
A. D. Obukhova, Dr. Sc., Tech., Associate Professor, orcid.org/0000-0002-3450-5213, obuhov.art@gmail.com I. L. Korobovaa, PhD, Tech., Associate Professor, orcid.org/0009-0006-5429-6339 A. O. Nazarovaa, Programmer Engineer, orcid.org/0000-0002-4741-1451 D. V. Zajcevaa, Post-Graduate Student, orcid.org/0000-0001-9488-0835
aTambov State Technical University, 106, Sovetskaya St., 392000, Tambov, Russian Federation
Introduction: Researchers use virtual reality technologies to simulate various effects on a person, including stress. For an objective diagnosis of a person's predisposition to phobias, virtual reality devices are used as well as a doctor's subjective assessment. The automation of diagnostic processes requires the development of methods based on the objective processing of medical data. Purpose: To develop an approach to the classification of EEG data which is based on machine learning technologies and allows to increase the accuracy of the detection and identification of phobic reactions when a person is exposed to virtual reality. Methods: We set the task to select an optimal machine learning algorithm for the classification of electroencephalogram data (total volume: 3996 one-second fragments) obtained from the group of 15 healthy subjects without explicit acrophobia in order to detect the presence or absence of phobic reactions in the frontal and occipital lobes of the brain when a person is exposed to phobias. We propose several neural network architectures based on convolutional and transformer layer. Results: We have collected and analysed the medical data from the electroencephalogram of the control group participants who performed a virtual reality exercise on acrophobia (fear of heights). In the context of the task of selecting a machine learning algorithm, the parameters of the machine learning algorithms (number and depth of estimators, learning rate) were selected, and two modified models of convolutional neural networks were designed. The collected and labeled electroencephalogram data fragments were processed using various machine learning algorithms: decision trees, random forests, AdaBoostClassifier, convolutional neural networks, and transformer networks. During testing, the best results were achieved by convolutional neural networks (with an accuracy of 98% when analyzing two frontal channels) and transformer networks (with an accuracy of 97.4% when processing all channels). Practical relevance: The results of the study allow us to draw conclusions about the effectiveness of convolutional neural networks and Transformer networks in processing medical data received from electroencephalograms. The developed software enables the automation of detecting phobic reactions within a person exposed to virtual reality.
Keywords — machine learning, virtual reality, phobic disorders, detection, electroencephalography, data processing, convolutional neural networks.
For citation: Obukhov A. D., Korobova I. L., Nazarova A. O., Zajceva D. V. Application of machine learning in EEG analysis to detect phobic reactions in virtual reality. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2023, no. 4, pp. 56-70 (In Russian). doi:10.31799/1684-8853-2023-4-56-70, EDN: DJQEDW
Financial support
The work was carried out with the financial support by the Ministry of Science and Higher Education Russian Federation within the framework of the project «Development of medical VR simulator systems for training, diagnostics and rehabilitation» (No. 122012100103-9).
References
1. Nazarova A. O., Teselkin D. V., Surkova E. O. Development of software tools for the diagnosis of anxiety-phobic disorders based on virtual reality systems. Materialy Mezhdunar-odnoj nauchno-praktichesskoj konferencii "Virtual'noe mod-elirovanie, prototipirovanie i promyshlennyj dizajn" [Proc. of the VIII Sc. and Prac. Int. Conf. "Virtual simulation, prototyping and industrial design"]. Tambov, 2022, pp. 175-179 (In Russian).
2. Svensson M., Nilsson T., Perrin S., Johansson H., Viborg G., Falkenstrom F., Sandell R. The effect of patient's choice of cognitive behavioural or psychodynamic therapy on outcomes for panic disorder: A doubly randomised controlled preference trial. Psychotherapy and Psychosomatics, 2021, vol. 90, no. 2, pp. 107-118. doi.org/10.1159/000511469
3. Freitas J. R. S., Velosa V. H. S., Abreu L. T. N., Jardim R. L., Santos J. A. V., Peres B., Campos P. F. Virtual reality exposure treatment in phobias: A systematic review. Psychiatric Quarterly, 2021, vol. 92, no. 4, pp. 1685-1710. doi.org/10.1007/ s11126-021-09935-6
4. Hajure M., Abdu Z. Social phobia and its impact on quality of life among regular undergraduate students of Mettu University, Mettu, Ethiopia. Adolescent Health, Medicine and Therapeutics, 2020, vol. 11, pp. 79-87. doi.org/10.2147/ AHMT.S254002
5. Sancassiani F., Romano F., Balestrieri M., Caraci F., Di Sciascio G., Drago F., Carta M. G. The prevalence of specific phobia by age in an Italian Nationwide Survey: How much does it affect the quality of life? Clinical Practice and Epidemiology in Mental Health: CP & EMH, 2019, vol. 15, pp. 30. doi: 10.2174/1745017901915010030
6. Sharma M., Mathur D. M., Jeenger J. Nomophobia and its relationship with depression, anxiety, and quality of life in adolescents. Industrial Psychiatry Journal, 2019, vol. 28, no. 2, pp. 231. doi:10.4103/ipj.ipj_60_18
7. Islam M. S., Ferdous M. Z., Potenza M. N. Panic and generalized anxiety during the COVID-19 pandemic among Bangladeshi people: An online pilot survey early in the outbreak, Journal of Affective Disorders, 2020, vol. 276, pp. 30-37. doi. org/10.1016/j.jad.2020.06.049
8. Tychkov A. Yu., Chernyshov D. S., Bofanova N. S., Alimu-radov A. K., Ovchinnikov D. L., Sotnikov A. M. VR implementation for control and correct phobic anxiety disorders. Measurements. Monitoring. Management. Control, 2021, no. 4, pp. 84-92 (In Russian). doi:10.21685/2307-5538-2021-4-10
9. Donker T., Van Esveld S., Fischer N., Van Straten A. 0Pho-bia-towards a virtual cure for acrophobia: Study protocol for a randomized controlled trial. Trials, 2018, vol. 19, pp. 1-11. doi.org/10.1186/s13063-018-2704-6
10. Vlahovic S., Suznjevic M., Skorin-Kapov L. A survey of challenges and methods for Quality of Experience assessment of interactive VR applications. Journal on Multimodal User Interfaces, 2022, vol. 16, no. 3, pp. 257-291. doi.org/10.1007/ s12193-022-00388-0
11. Skorin-Kapov L., Varela M., HoBfeld T., Chen K. T. A survey of emerging concepts and challenges for QoE management of multimedia services. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2018, vol. 14, no. 2s, pp. 1-29. doi.org/10.1145/3176648
12. Bouchard S., St-Jacques J., Robillard G., Renaud P. Anxiety increases the feeling of presence in virtual reality. Presence: Teleoperators and Virtual Environments, 2008, vol. 17, no. 4, pp. 376-391. doi.org/10.1162/pres.17.4.376
13. Moinnereau M. A., de Oliveira Jr A. A., Falk T. H. Immersive media experience: a survey of existing methods and tools for human influential factors assessment. Quality and User Experience, 2022, vol. 7, no. 1, pp. 5. doi.org/10.1007/s41233-022-00052-1
14. Moller S., Engelbrecht K. P., Kuhnel C., Wechsung I., Weiss B. A taxonomy of quality of service and quality of experience of multimodal human-machine interaction. 2009Intern. Workshop on Quality of Multimedia Experience, IEEE, 2009, pp. 7-12. doi:10.1109/QOMEX.2009.5246986
15. Tychkov A. Yu., Chernyhov D. S., Churakov P. P., Yulda-shev Z. M., Bofanova N. S., Alimuradov A. K., Gorbunov V. N., Zolotarev R. V., Nikitin M. S. Search for EEG signal patterns in simulating phobic anxiety disorder situations in a VR environment. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2022, no. 4, pp. 58-67 (In Russian). doi:10.31799/1684-8853-2022-4-58-67
16. Kaminska D., Smolka K., Zwolinski G. Detection of mental stress through EEG signal in virtual reality environment. Electronics, 2021, vol. 10, no. 22, pp. 2840. doi.org/10.3390/ electronics10222840
17. Tarrant J., Viczko J., Cope H. Virtual reality for anxiety reduction demonstrated by quantitative EEG: A pilot study. Frontiers in Psychology, 2018, vol. 9, pp. 1280. doi. org/10.3389/fpsyg.2018.01280
18. Kumar M., Delaney C., Krusienski D. Estimation of affective states in virtual reality environments using EEG. Proc. of the 15th Intern. Conf. on PErvasive Technologies Related to Assistive Environments, 2022, pp. 396-401. doi.org/10. 1145/3529190.3534738
19. Clemente D., Davi L., De Monte E. Use of digital stimulation in the treatment of phobias: Results following EEG and evoked potential. Journal of Technology in Behavioral Science, 2020, vol. 5, no. 1, pp. 40-46. doi.org/10.1007/s41347-019-00111-z
20. Jas M., Larson E., Engemann D. A., Leppäkangas J., Taulu S., Hämäläinen M., Gramfort A. A reproducible MEG/EEG group study with the MNE software: Recommendations, quality assessments, and good practices. Frontiers in Neuroscience, 2018, vol. 12, pp. 530. doi.org/10.3389/fnins. 2018.00530
21. Mehta S., Rastegari M. Mobilevit: Light-weight, general-purpose, and mobile-friendly vision transformer. arXiv preprint arXiv:2110.02178, 2021. https://doi.org/10.48550/ arXiv.2110.02178
ПАМЯТКА ДЛЯ АВТОРОВ
Поступающие в редакцию статьи проходят обязательное рецензирование.
При наличии положительной рецензии статья рассматривается редакционной коллегией. Принятая в печать статья направляется автору для согласования редакторских правок. После согласования автор представляет в редакцию окончательный вариант текста статьи.
Процедуры согласования текста статьи могут осуществляться как непосредственно в редакции, так и по e-mail (ius.spb@gmail.com).
При отклонении статьи редакция представляет автору мотивированное заключение и рецензию, при необходимости доработать статью — рецензию.
Редакция журнала напоминает, что ответственность за достоверность и точность рекламных материалов несут рекламодатели.
