CC BY
0
Известия Саратовского университета. Новая серия. Серия: Физика. 2024. Т. 24, вып. 3. С. 239-249 Izvestiya of Saratov University. Physics, 2024, vol. 24, iss. 3, pp. 239-249
https://fizika.sgu.ru https://doi.org/10.18500/1817-3020-2024-24-3-239-249, EDN: MBIZDN
Научная статья УДК 004.78
Методика сбора, записи и разметки биофизических мультимодальных данных при исследовании
психоэмоциональных состояний человека
Н. Н. Шушарина
Балтийский федеральный университет имени Иммануила Канта, Россия, 236041, г. Калининград, ул. Невского, д. 14
Шушарина Наталья Николаевна, кандидат педагогических наук, начальникуправления развития и инновационной деятельности, nshusharina@ kantiana.ru, https://orcid.org/0000-0002-8848-6134
Аннотация. Цель настоящей работы - проанализировать требования к методике сбора биофизических данных на основе открытых наборовданныхопределения психоэмоционального состояния, аппаратномуи программному обеспечению для ихпервичной обработки. Сформулировать методику формирования мультимодальных наборов данных, пригодную для исследования психических состояний и их изменений, в том числе с использованием алгоритмов машинного обучения. Описать возможный метод реализации этих требований в аппаратно-программных комплексах. Методы. Для анализа основных особенностей наборов данных, характеризующих психические состояния, были выбраны открытые наборы данных пациентов с депрессивными расстройствами. Основные требования были сформулированы на основе изучения публикаций об особенностях применения мультимодальных данных для диагностики депрессивных расстройств. Результатом работы являются набор требований к мультимодальным данным биопотенциалов для исследования психоэмоциональных состояний, методика и функциональная концепция аппаратно-программного комплекса для их регистрации, синхронизации и записи в аннотированном виде. Заключение. На примере депрессивного расстройства показана целесообразность и возможность регистрации мультимодальных, синхронизированных между собой аннотированных данных о психоэмоциональном состоянии испытуемого для исследовательских, диагностических целей и применения в качестве обучающей выборки в алгоритмах машинного обучения. Предложенная методика и концепция программно-аппаратного комплекса позволяют нивелировать основные недостатки мультимодальных систем регистрации биопотенциалов, реализованных в виде отдельных блоков и дополнить инструментальные данные аннотированием метками состояний и времени.
Ключевые слова: биофизика, биомедицинские сигналы, неинвазивная электроэнцефалограмма, диагностика депрессии, мультимо-дальные данные, синхронизация многоканальных физиологических данных
Благодарности: Работа выполнена в рамках Государственного задания (проект № FZWM-2024-0013).
Для цитирования: Шушарина Н. Н. Методика сбора, записи и разметки биофизических мультимодальных данных при исследовании психоэмоциональных состояний человека // Известия Саратовского университета. Новая серия. Серия: Физика. 2024. Т. 24, вып. 3. С. 239249. https://doi.org/10.18500/1817-3020-2024-24-3-239-249, EDN: MBIZDN Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY4.0)
Methodology of collection, recording and markup of biophysical multimodal data in the study of human psychoemotional states N. N. Shusharina
Immanuel Kant Baltic Federal University, 14 Nevskogo St., Kaliningrad 236041, Russia Natalia N. Shusharina, nshusharina@kantiana.ru, https://orcid.org/0000-0002-8848-6134
Abstract. Background and Objectives: Effective diagnostics of depression state using instrumental methods of biopotentials measurement is promising both as a tool for increasing the efficiency of work of a diagnostician and for application in automated hardware and software therapy complexes, including those with biofeedback, allowing to create neuroadaptive systems for correction of psychoemotional and cognitive problems of patients. The purpose of this paper is to analyze the requirements to the methodology of biophysical data collection, hardware and software for their primary processing on the basis of open datasets of psychoemotional state determination, to formulate a methodology for the formation of multimodal datasets for the study of mental states, their changes, suitable for use in machine learning algorithms, to describe a possible method of realization of these requirements in hardware and software complexes. Materials and Methods: Open datasets of depressed patients were selected to analyze the main characteristics of datasets characterizing mental states. To formulate the main requirements, publications on the features of multimodal data application for the diagnosis of depressive disorders were reviewed. Results: The result of the
Article
work are the requirements to multimodal biopotential data for the study of psychoemotional states, the methodology and functional concept of hardware-software complex for their registration, the synchronization and recording in annotated form. Conclusion: The example of depressive disorder shows the usefulness and possibility of recording multimodal, synchronized annotated data on the psycho-emotional state of the subject for research, diagnostic purposes and application as a training sample in machine learning algorithms. The proposed methodology and the concept of the hardware-software complex allow to level out the main disadvantages of multimodal systems of biopotentials registration realized in the form of separate blocks and to supplement the instrumental data with annotation by state labels and time labels. Keywords: biophysics, biomedical signals, non-invasive electroencephalogram, depression diagnosis, multimodal data, synchronization of multichannel physiological data
Acknowledgments: This work was performed in the framework of the State Assignment (project No. FZWM-2024-0013). For citation: Shusharina N. N. Methodology of collection, recording and markup of biophysical multimodal data in the study of human psychoemotional states. Izvestiya of Saratov University. Physics, 2024, vol. 24, iss. 3, pp. 239-249 (in Russian). https://doi.org/10.18500/1817-3020-2024-24-3-239-249, EDN: MBIZDN
This is an open access article distributed under the terms of Creative Commons Attribution 4.0 International License (CC-BY 4.0)
Введение
Устойчивые психоэмоциональные состояния являются одним из ключевых показателей психического здоровья человеком [1, 2]. Преобладание определенных эмоциональных нарушений, продолжающихся или повторяющихся в течение длительного времени, характеризует многие психические заболевания, такие как большое депрессивное расстройство, шизофрения, биполярные расстройства, требуя разработку новых объективных методов анализа подобных состояний, базируясь на успехах биофизики и когнитивных наук [3-5]. Диагностика и изучение динамики психоэмоционального состояния пациента представляет собой важную задачу для диагностики, планирования и контроля эффективности терапии и отвечает концепции современной прогностической медицины, основанной на больших мультимодальных данных пациентов [6-8]. Эффективная диагностика депрессивных состояний с помощью инструментальных методов измерения биопотенциалов перспективна как в качестве инструмента повышения эффективности работы врача-диагноста [9-11], так и для применения в автоматизированных аппаратно-программных комплексах терапии, в том числе с биологическими обратными связями [12-14], и позволяет создавать нейроадаптивные системы коррекции психоэмоциональных и когнитивных проблем пациентов [15]. Разработка таких комплексов основывается на применении моделей машинного обучения (ML), собранных с контролируемым качеством и обученных на мультимодальных данных [16-18]. Для достижения этой цели необходимо не только обеспечить сбор достаточно большого объема данных, но и качественно выполнить единообразную их разметку, что позволит использовать их в моделях ML [19].
Целью настоящей статьи является анализ требований к методике сбора мультимодаль-
ных биофизических данных в целях определения психоэмоционального состояния человека, аппаратному и программному обеспечению для их первичной обработки.
1. Материалы и методы
1.1. Требования к данным о психоэмоциональном состоянии и их разметке
При разработке методики разметки данных биопотенциалов необходимо учитывать возможность применения для контролируемого обучения нейронных сетей и прочих моделей ML для определения психоэмоциального состояния человека, что требует стабильного качества разметки данных. Под разметкой данных в этом случае понимается постановка в соответствие каждому набору регистрируемых данных биопотенциалов в фиксированных временных рамках метки психоэмоционального состояния человека, представляющую собой номер дискретного класса или вектор в некотором пространстве психических состояний.
Для такой методики разметки будут характерны следующие ограничения и особенности:
- сложность получения данных, обусловленная необходимостью работать с большим количеством людей, жесткими требованиями к обращению с медицинскими данными пациентов, трудностями организации самого процесса сбора данных, особыми требованиями к помещению и квалификации персонала;
- относительно невысокая надёжность имеющихся методик определения психологических состояний экспертом по внешним диагностическим признакам;
- необходимость одновременной работы с несколькими разнородными источниками
аппаратных данных биопотенциалов и с разметкой данных с разными характеристиками (частотой дискретизации, представлением и форматом данных, объемом данных за период измерения, ручными операциями обработки с участием оператора и так далее). Влияние данных ограничений прослеживается на доступных открытых наборах данных в виде общих особенностей. Как правило, для измерений применяется единственный набор аппаратуры и одно рабочее место оператора, количество пациентов ограничено. Это негативно влияет на количество записанных сессий и объем данных в целом и свидетельствует об актуальности разработки новой экспериментальной методики и аппаратно-программной архитектуры на ее основе, лишенной основных недостатков имеющихся систем сбора данных биопотенциалов.
1.2. Основные этапы и особенности измерения и разметки биопотенциалов
Разрабатываемая методика разметки данных биопотенциалов предназначена для использования в рамках экспериментов по исследованию психоэмоциональных состояний с использованием алгоритмов машинного обучения на нескольких разнородных каналах получения данных [20].
Эксперимент состоит из следующих функциональных этапов (рис. 1):
1) получение необработанных сигналов в формате соответствующего оборудования (видео, физиологические реакции, различные вспомогательные данные, такие как стимулы, сигналы синхронизации и телеметрия оборудования);
2) разметка данных (аннотация); данные разметки могут быть получены как от самих субъектов испытаний (субъективная оценка), так и от внешних наблюдателей, при этом вводится дополнительная метка использованного воздействия-стимула;
3) подготовка полученных данных для использования в алгоритмах ML и обучение модели ML;
4) проверка (валидация) предсказательной способности полученной модели машинного обучения на тестовых или реальных (отложенных) данных.
Наличие клинического расстройства и диагноз определяются врачом-специалистом с использованием опросных методов и по результатам медицинского осмотра без использования полученных аппаратных данных.
Процесс регистрации биопотенциалов субъекта испытаний производится при возбуждении
Рис. 1. Функциональные этапы эксперимента для определения психоэмоционального состояния с использованием алгоритмов машинного обучения (цвет онлайн)
Fig. 1. Functional stages of the experiment to determine the psychoemotional state using machine learning algorithms
(color online)
специально подобранными внешними или внутренними стимулами, поэтому моменты начала и окончания стимуляции считаются временными рамками определенного состояния, соответствующего стимулу. В качестве стимулов могут применяться музыка, речь, изменение освещенности, показ изображений, тактильные воздействия и т. д.
Причина выбора в пользу комплексного набора данных состоит в том, что выражение эмоций также проявляется мультимодально [21, 22], в виде как фиксируемых визуально признаков, так и без них. Распознавание нескольких различных физиологических параметров позволяет составить существенно более полную картину эмоционального состояния и избежать ошибочной интерпретации признаков экспертом или сознательного обмана испытуемым.
Для оценки полноты требований предложенной методики были подобраны открытые наборы данных для диагностики депрессивных расстройств, поскольку все они сходны по основным психофизиологическими состояниями. В качестве целевых рассматривались такие диагнозы, как большое депрессивное расстройство (БДР), обсессивно-компульсивное расстройство, депрессия, униполярное и биполярное расстройство, а также шизофрения и стресс.
Наиболее распространенные позиции, используемые при оценке альфа-асимметрии как метрики депрессии, - каналы, расположенные над областью дорсолатеральной префронталь-ной коры, участвующей в эмоциональных и стрессовых реакциях [23-27]. Наличие вспомогательных каналов данных упрощает определение психофизиологического состояния и получение дополнительной информации об особенностях физиологии испытуемого, его физическом состоянии и возможных сопутствующих процессах. Так, описаны метод диагностики депрессии на основе изменения циркадных ритмов сердца, измеряемых с помощью долговременной ЭКГ [28], определение стресса [29, 30] и оценка валентности эмоционального состояния [31] по ЭМГ трапециевидной мышцы. Исследование движений глаз с помощью электроокулографии (ЭОГ) позволяет выявить степень выраженности психомоторных симптомов при аффективных расстройствах и улучшить понимание регуляции настроения и обработки эмоциональной информации пациентом [32]. Электрическая активность кожи широко используется в качестве биомаркеров стресса [33-36].
Разметка полученных данных представляет собой комплексную задачу, поскольку все существующие на текущий момент способы определения психического состояния по косвенным признакам не являются в достаточной степени надежными [37, 38], что приводит к появлению неверно размеченных данных или рассогласованию разметки. Для обучения нейросетевых моделей на таких данных требуется значительно увеличить их объем, для чего разумно использовать объединения нескольких разнородных источников данных в один набор на уровне признаков и решений [39-41].
Для разметки набора разнородных данных метками состояния оптимально комплексирова-ние на уровне решений, ограниченное лишь набором типов меток. В силу субъективности оценки состояния их вес неравнозначен и данные, получаемые от психиатра, имеют наибольшую значимость. Поэтому при комплексиро-вании данных применяется метод взвешенного голосования с распределением весов в пользу эксперта. Для экспериментов с внешней стимуляцией применимо как взвешенное голосование, так и комплексирование на основе шаблона решений.
1.3. Описание методики
Получаемые в ходе эксперимента данные группируются на размечаемые (биопотенциалы) и аннотационные, используемые для определения психологического и эмоционального состояния (такие как видеопоток с данными о мимике лица, сигнал ЭМГ и т. д.). При использовании внешней стимуляции сразу после регистрации биопотенциалов выполняется сегментация, и вся последующая работа, включая установку метки состояния и запись в базу, ведется только с отдельными сегментами (рис. 2). В эксперименте без использования стимуляции все данные собираются в единую запись, загружаются в базу данных и получают общую для всей записи метку (рис. 3).
Разметка, необходимая для определения психоэмоционального состояния, расширяется информацией из дополнительных источников. Для первой методики - это мнение внешнего эксперта, для второй - описания (метки) из базы данных используемых стимулов. После установки метки выполняется запись сегмента или полной записи в базу данных с общей меткой состояния или же аннотацией существующей записи для последующего анализа.
Рис. 2. Методика разметки данных биопотенциалов в соответствии с изменением психоэмоциального состояния человека с использованием внешней стимуляции (цвет онлайн)
Fig. 2. Methodology of labeling of biopotentials data according to the change of psycho-emotional state of a person using
external stimulation (color online)
Рис. 3. Методика разметки данных биопотенциалов в соответствии с изменением психоэмоциального состояния человека без внешней стимуляции (цвет онлайн)
Fig. 3. Methodology of labeling of biopotentials data according to the change of psycho-emotional state of a person without
external stimulation (color online)
Выделение аннотирования в отдельный функциональный подпроцесс унифицирует схему программно-аппаратной системы. Сложности в постобработке данных в процессе
объединения нескольких сегментов в единую последовательность решаются дополнительным аннотированием по меткам времени на всем протяжении записи.
2. Результаты
Основным требованием к аппаратно-программному комплексе при сборе данных является комплексирование, т. е. объединение всех полученных данных независимо от количества и типов аппаратных каналов в один неклассифицированный входной вектор и его запись в базу данных. При записи должна обеспечиваться точная синхронизация потоков данных, так как процесс сбора не является синхронным. В зависимости от особенностей используемой аппаратуры могут возникать постоянное и переменное смещения (рис. 4). В первом случае (слева) из-за разности момента начала работы соответствующих каналов измерения или разной установкой времени все данные в S1 смещены на постоянную величину. Во втором случае (справа), смещение имеет переменную величину, что обычно связано с разной частотой дискретизации или переменной частотой записи. На практике возможны оба типа смещения, поэтому целесообразно использовать внешнюю синхронизацию [42].
На одном устройстве проблема синхронизации записи решается путем использования базы данных временных рядов, такой как InfluxDB [43]. При использовании записи на разных устройствах потребуется дополнительная синхронизация по времени, например, с помощью протокола NTP (Network Time Protocol - протокол сетевого времени), предназначенного для синхронизации системных часов различных устройств и передачи данных при использовании сетей с переменной латентностью. Протокол NTP версии 4 обеспечивает синхронизацию порядка 10 мс при синхронизации через Интернет и до 0.2 мс при работе в локальной сети, что является достаточным для решения задачи по распознаванию психоэмоционального состояния.
Аппаратно-программный комплекс, реализованный по предлагаемой методике, работает по следующему алгоритму регистрации данных:
1) инициализация оборудования (в том числе измерительного), синхронизация времени всех клиентов по протоколу КГР;
2) получение и буферизация исходных данных от всех используемых датчиков (ЭЭГ, КГР и так далее) на сервере с использованием принудительной синхронизации по времени;
3) асинхронная запись полученных данных в базу данных временных рядов с соответствующими метками времени.
Общая схема работы всей системы при наличии стимуляции показана на рис. 5. Наличие или отсутствие стимуляции на работоспособность системы не влияет, но стимуляция часто применяется в исследовательских работах. На схеме не указаны процедуры предобработки сигнала (цифровая фильтрация, сегментация и т. д.), так как параметры обработки сигнала определяются на более позднем этапе постобработки.
Для первичной проверки эффективности предлагаемой методики при объединении разнородных, различающихся по характеристикам данных в задаче диагностики депрессии были вручную подготовлены несколько экспериментальных выборок записей ЭЭГ. Они состояли из различных доступных открытых данных ЭЭГ пациентов с депрессией. Для проверки возможности синхронизации с реальными аппаратными данными был выполнен сбор базы записей пациентов с депрессией на базе Клинико-Диагностического Центра БФУ им. И. Канта (КДЦ БФУ). Основные характеристики подготовленных наборов данных приведены в таблице. Видно, что данные значительно различаются по характеристикам и для объединения их в единый набор необходимо провести нормализацию и синхронизацию, а также унифицировать разметку.
В первой части эксперимента было выполнено согласование данных с использованием библиотеки МЖ-Ру&оп для наборов небольшого размера по следующему алгоритму.
Рис. 4. Постоянное (слева) и переменное (справа) смещение для двух потоков данных S1 и S2 по оси времени t
(цвет онлайн)
Fig. 4. Constant (left) and variable (right) offset for two data streams S1 and S2 along the time t axis (color online)
Рис. 5. Функциональная схема мультимодального программно-аппаратного комплекса (цвет онлайн) Fig. 5. Functional scheme of the multimodal hardware and software complex (color online)
Параметры наборов данных ЭЭГ, связанных с депрессией Parameters of EEG datasets associated with depression
Параметры / Parameters Наборы данных / Datasets
Источник / Source [44] [45] [46] КДЦ БФУ / CDC IKBFU [47]
Страна происхождения / Origin Малайзия / Malaysia США / USA Китай / China Россия / Russia Нидерланды / Netherlands
Число участников (с БДР/ здоровых) / Number of participants (MDD/Healthy) 34/64 46/121 24/53 27/37 320/1274
Диагностика БДР / MDD diagnostics Диагноз / Diagnosis Диагноз, шкала Бека / Diagnosis, Beck Depression Inventory Диагноз / Diagnosis Диагноз, шкала Бека / Diagnosis, Beck Depression Inventory Диагноз, шкала Бека / Diagnosis, Beck Depression Inventory
Мужчин/женщин / Males/Females 38/26 47/74 33/20 9/28 654/620
Средний возраст, лет / Average age, years 39.4 ± 14.1 18.9 ± 1.2 31.2 ± 9.6 39.8 ± 15.2 38.7 ± 19.2
Число каналов / Channels number 19 66 129 19 33 (26)
Частота дискретизации, Гц / Sampling frequency, Hz 256 500 250 500 500
Фильтрация (ФВЧ/ФНЧ/режекция), Гц / Filtration (HPF/LPF/rejection), Hz 0.1/70/50 Нет данных / no information Нет данных / no information 0.5/70/50 /100/
Референт / Referent Linked ear Между Cz и CPz/ Between Cz and CPz Cz A1 Между А1 и А2 / Between A1 and A2
Примечание. БДР - большое депрессивное расстройство, КДЦ БФУ - Клинико-Диагностический Центр Балтийского федерального университета им. И. Канта.
Note. MDD - Major Depressive Disorder, CDC IKBFU - Clinical Diagnostic Center of the Immanuel Kant Baltic Federal University.
1. Согласование частоты дискретизации (дискретизация всех данных понижена до 200 Гц методом интерполяции с помощью стандартных методов библиотеки SciPy (scipy.signal.resample)). В случае мультимодальных данных проводилась их нормализация и заполнение пропусков в исходных данных.
2. Цифровая фильтрация сигнала: ФВЧ (1 Гц), ФНЧ (40 Гц)).
3. Согласование числа используемых каналов (отбрасывание каналов, не встречающихся хотя бы в одном из четырех наборов данных (Fp1, Fp2, F7, F3, Fz, F4, F8, T7, C3, Cz, C4, T8, P7, P3, Pz, P4, P8, O1, O2)).
4. Изменение референсного электрода (электрод Cz).
5. Приведение к единому виду и формату (установка единой размерности данных, названия и порядка каналов, приведение к формату CSV).
Каждый полученный файл данных получил метку наличия или отсутствия БДР в соответствии с методикой сегментирования и аннотации. В случае, когда данные о наличии диагноза отсутствовали, но имелись результаты опроса по шкале Бека, метка наличия БДР назначалась, если результат превышал 13 баллов (соответствует ручному аннотированию неразмеченных сегментов данных экспертом). Чистка данных выполнялась путем визуальной инспекции каждого отрезка и отбрасывания участков с выраженными артефактами.
Для наглядной визуализации качества структуры набора данных необходимо упрощенное представление со снижением количества независимых переменных. Для визуализации данных ЭЭГ был использован метод стохастического вложения соседей с t-распределением (t-SNE) [48], получивший широкое распространение в области низкоразмерной визуализация многомерных данных. В отличие от метода главных компонент, сохраняющего глобальную структуру данных, t-SNE сохраняет только локальную структуру (смежность ближайших соседей точек). Это означает, что при интерпретации полученных данных полезную информацию несет соблюдение структуры кластеров и динамика их распределения при изменении параметров.
При обработке данные последовательно нарезались скользящим окном длиной 3 с с шагом 0.5 с, для каждого окна с помощью преобразования Фурье рассчитывался спектр мощностей, после чего производилась нормализация данных (среднее по окну равнялось нулю, а дисперсия -
единице). Подготовленные данные подавались на вход (в реализации skleam) при зна-
чениях параметра перплексии в диапазоне от 5 до 50. Результаты визуализации дополнительно размечались цветом в соответствии с источником данных (страна происхождения набора данных) и поставленным диагнозом. Полученная низкоразмерная проекция итогового набора данных представлена на рис. 6, 7.
• Malaysia USA China Russia • Netherlands
Рис. 6. Результаты t-SNE (значение перплексии 25), цветовая индикация согласно стране - источнику данных (цвет онлайн)
Fig. 6. Results of t-SNE (perplexity value 25), colour indication according to the data source country (color online)
• Healthy MDD
Рис. 7. Результаты t-SNE (значение перплексии 25), цветовая индикация согласно поставленному диагнозу (БДР) (цвет онлайн)
Fig. 7. Results of t-SNE (perplexity value 25), colour indication according to diagnosis (MDD) (color online)
При варьировании перплексии в выбранном диапазоне существенные структурные изменения полученного представления отсутствовали, что позволяет предположить адекватность отражения реального распределения в построенной
проекции. Данные не распадаются на крупные кластеры, значительная часть сосредоточена в центральном скоплении, представлены наблюдения из всех наборов данных. На периферии наблюдаются несколько малых кластеров, отличающихся как по источнику данных, так и по диагнозу, и длинные цепочки точек, предположительно восстановленные целиком сессии отдельных пациентов с одной меткой, согласно методике. Распределение наблюдений согласно диагноза также не показывает очевидного разделения. Расположение кластеров, соответствующих источникам данных, позволяет сделать вывод об успешности выбранной процедуры гармонизации наборов данных. В совокупности результаты анализа позволяют сделать вывод о пригодности объединенного итогового набора данных, состоящего из 441 файла пациентов с диагнозом БДР и 443 файлов пациентов контрольной группы суммарной продолжительностью 52144 и 51968 с соответственно, для обучения нейронной сети.
Заключение
На основании анализа открытых наборов биофизических данных по определению психоэмоционального состояния были определены основные требования к методике измерения биопотенциалов человека для исследования и диагностики эмоциональных и психических нарушений. Был предложен комплексный подход для регистрации электрофизиологических и биометрических параметров человека, при котором выполняется получение и аннотирование синхронизированных мультимодальных данных и их последующее сохранение. Для разработанной методики была предложена функциональная архитектура многоканального аппаратно-программного комплекса, пригодного как для выполнения экспериментальных измерений с дополнительной внешней стимуляцией испытуемого, так и без нее. Проведена экспериментальная проверка предложенной методики путем двухэтапной генерации объединенного набора данных из открытых источников и самостоятельно собранной базы данных, которая подтвердила отсутствие дефектов распределения классов согласно разметке и источникам данных.
Использование предложенной концепции может значительно повысить качество собранных мультимодальных данных и их разметки, а также улучшить возможность их переиспользования при формировании больших наборов данных для обучения моделей ML.
Список литературы/References
1. Korotkov K. G. Electrophotonic Analysis of Complex Parameters of the Environment and Psycho-Emotional State of a Person. Wise Journal, 2015, vol. 4, no. 3, pp. 49-56.
2. Astramskaita I., Juodzbalys G. Scales used to rate adult patients' psycho-emotional status in tooth extraction procedures: A systematic review. International Journal of Oral and Maxillofacial Surgery, 2017, vol. 46, no. 7, pp. 886-898. https://doi.org/10.1016/j.ijom.2017.03.015
3. Nedelsky N. B., Taylor J. P. Bridging biophysics and neurology: Aberrant phase transitions in neurodegenerative disease. Nature Reviews Neurology, 2019, vol. 15, no. 5, pp. 272-286. https://doi.org/10.1038/s41582-019-0157-5
4. Stoyanov D., Khorev V., Paunova R., Kandilarova S., Simeonova D., Badarin A., Hramov A., Kurkin S. Rest-ing-state functional connectivity impairment in patients with major depressive episode. International Journal of Environmental Research and Public Health, 2022, vol. 19, no. 21, pp. 14045. https://doi.org/10.3390/ ijerph192114045
5. Hramov A. E., Frolov N. S., Maksimenko S. A., Kurkin S. A., Kazancev V. B., Pisarchik A. N. Functional brain networks: From reconnection to dynamic integration. Physics-Uspehi, 2021, vol. 64, iss. 6, pp. 584-616. https://doi.org/10.3367/UFNr.2020.06.038807
6. Karel G. M. M., Patrick R., Yvonne V., Diederick E. G., Douglas G. A. Prognosis and prognostic research: What, why, and how? BMJ, 2009, vol. 338, article no. b375. https://doi.org/10.1136/bmj.b375
7. Karpov O. E., Pitsik E. N., Kurkin S. A., Maksimenko V. A., Gusev A. V., Shusharina N. N., Hramov A. E. Analysis of publication activity and research trends in the field of ai medical applications: Network approach. International Journal ofEnvironmen-tal Research and Public Health, 2023, vol. 20, no. 7, pp. 5335. https://doi.org/10.3390/ijerph20075335
8. Ristevski B., Chen M. Big data analytics in medicine and healthcare. J. of Integrative Bioinformatics, 2018, vol. 15, no. 3, pp. 20170030. https://doi.org/10.1515/jib-2017-0030
9. Gudayol-Ferre E., Perö-Cebollero M., Gonzalez-Garrido A. A., Guardia-Olmos J. Changes in brain connectivity related to the treatment of depression measured through fMRI: A systematic review. Frontiers in Human Neuroscience, 2015, vol. 9, pp. 582. https://doi.org/10. 3389/fnhum.2015.00582
10. Pitsik E. N., Maximenko V. A., Kurkin S. A., Sergeev A. P., Stoyanov D., Paunova R., Kandilarova S., Simeonova D., Hramov A. E. The topology of fMRI-based networks defines the performance of a graph neural network for the classification of patients with major depressive disorder. Chaos, Solitons & Fractals, 2023, vol. 167, pp. 113041. https://doi.org/ 10.1016/j.chaos. 2022.113041
11. Pisarchik A. N., Andreev A. V., Kurkin S. A., Stoyanov D., Badarin A. A., Paunova R., Hramov A. E. Topology switching during window thresholding fmri-based functional networks of patients with major depressive disorder: Consensus network approach. Chaos: An Interdisciplinary Journal of Nonlinear Science, 2023,
vol. 33, no. 9, pp. 093122. https://doi.org/10.1063/5. 0166148
12. Sawarkar I., Sardesai A., Vachhani A., Samdani K. A Review on Psychophysiological monitoring for depression detection with therapeutic cure using AI enabled smart devices. 2019 IEEE 5th International Conference for Convergence in Technology (I2CT). IEEE, 2019, pp. 1-8. https://doi.org/10.1109/I2CT45611.2019.9033839
13. Maksimenko V. A., Hramov A. E., Grubov V. V., Nedaivozov V. O., Makarov V. V., Pisarchik A. N. Nonlinear effect of biological feedback on brain attentional state. Nonlinear Dynamics, 2019, vol. 95, no. 3, pp. 19231939. https://doi.org/10.1007/s11071-018-4668-1
14. Baghaei N., Chitale V., Hlasnik A., Stemmet L., Liang H. N., Porter R. Virtual reality for supporting the treatment of depression and anxiety: Scoping review. JMIR Mental Health, 2021, vol. 8, no. 9, pp. e29681. https://doi.org/10.2196/29681
15. Zander T. O., Kothe C. Towards passive brain-computer interfaces: Applying brain-computer interface technology to human-machine systems in general. Journal of Neural Engineering, 2011, vol. 8, no. 2, pp. 025005. https://doi.org/10.1088/1741-2560/8/2/025005
16. Rahaman M. A., Chen J., Fu Z., Lewis N., Iraji A., Calhoun V. D. Multi-modal deep learning of functional and structural neuroimaging and genomic data to predict mental illness. 2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). IEEE, 2021, pp. 3267-3272. https://doi.org/10. 1109/EMBC46164.2021.9630693
17. Chen W., Sa R. C., Bai Y., Napel S., Gevaert O., Lauderdale D. S., Giger M. L. Machine learning with multimodal data for COVID-19. Heliyon, 2023, vol. 9, pp. e17934. https://doi.org/10.1016/jj.heliyon.2023. e17934
18. Borovkova E. I., Hramkov A. N., Dubinkina E. S., Ponomarenko V. I., Bezruchko B. P., Ishbulatov Y. M., Kurbako A. V., Karavaev A. S., Prokhorov M. D. Biomarkers of the psychophysiological state during the cognitive tasks estimated from the signals of the brain, cardiovascular and respiratory systems. The European Physical Journal Special Topics, 2023, vol. 232, no. 5, pp. 625-633. https://doi.org/10.1140/epjs/s11734-022-00734-z
19. Hulsen T., Jamuar S. S., Moody A. R., Karnes J. H., Varga O., Hedensted S., Spreafico R., Hafler D. A., McK-inney E. F. From big data to precision medicine. Frontiers in Medicine, 2019, vol. 6, pp. 34. https://doi.org/10.3389/ fmed.2019.00034
20. Oviatt S., Schuller B., Cohen P., Sonntag D., Potami-anos G., Krüger A. The handbook of multimodal-multisensor interfaces. Volume 2: Signal processing, architectures, and detection of emotion and cognition. Morgan & Claypool, 2018. 2034 p. https://doi.org/10. 1145/3107990
21. Cimtay Y., Ekmekcioglu E., Caglar-Ozhan S. Cross-subject multimodal emotion recognition based on hybrid fusion. IEEE Access, 2020, vol. 8, pp. 168865-168878. https://doi.org/10.1109/ACCESS.2020.3023871
22. McDuff D., Rowan K., Choudhury P., Wolk J., Pham T., Czerwinski M. A Multimodal Emotion Sensing Platform
for Building Emotion-Aware Applications. arXiv preprint arXiv:1903.12133, 2019. https://doi.org/10.48550/arXiv. 1903.12133
23. Qin S., Hermans E. J., van Marle H. J., Luo J., Fernández G. Acute psychological stress reduces working memory-related activity in the dorsolateral prefrontal cortex. Biological Psychiatry, 2009, vol. 66, no. 1, pp. 25-32. https://doi.org/10.1016/j.biopsych.2009.03.006
24. Peng H., Hu B., Zheng F., Fan D., Zhao W., Chen X., Cai Q. A method of identifying chronic stress by EEG. Personal and Ubiquitous Computing, 2013, vol. 17, no. 7, pp. 1341-1347. https://doi.org/10.1007/s00779-012-0593-3
25. Acharya U. R., Oh S. L., Hagiwara Y., Tan J. H., Adeli H., Subha D. P. Automated EEG-based screening of depression using deep convolutional neural network. Computer Methods and Programs in Biomedicine, 2018, vol. 161, pp. 103-113. https://doi.org/10.1016/jj.cmpb.2018.04.012
26. Liu M., Zhou L., Wang X., Jiang Y., Liu Q. Deficient manipulation of working memory in remitted depressed individuals: Behavioral and electrophysiological evidence. Clinical Neurophysiology, 2017, vol. 128, no. 7, pp. 1206-1213. https://doi.org/10.1016/jj.clinph.2017. 04.011
27. Honke G., Higgins I., Thigpen N., Miskovic V., Link K., Gupta P., Hajcak G. Representation learning for improved interpretability and classification accuracy of clinical factors from EEG. arXiv preprint arXiv:2010.15274, 2020. https://doi.org/10.48550/arXiv.2010.15274
28. Valenza G., Nardelli M., Lanata A., Gentili C., Bertschy G., Paradiso R., Scilingo E. P. Wearable monitoring for mood recognition in bipolar disorder based on history-dependent long-term heart rate variability analysis. IEEE Journal of Biomedical and Health Informatics, 2013, vol. 18, no. 5, pp. 1625-1635. https://doi.org/10.1109/JBHI.2013.2290382
29. Healey J. A., Picard R. W. Detecting stress during real-world driving tasks using physiological sensors. IEEE Transactions on Intelligent Transportation Systems, 2005, vol. 6, no. 2, pp. 156-166. https://doi.org/10.1109/TITS. 2005.848368
30. Wijsman J., Grundlehner B., Penders J., Hermens H. Trapezius muscle EMG as predictor of mental stress. ACM Transactions on Embedded Computing Systems (TECS), 2013, vol. 12, no. 4, pp. 1-20. https://doi.org/ 10.1145/2485984.2485987
31. Mavridou I., Seiss E., Hamedi M., Balaguer-Ballester E., Nduka C. Towards valence detection from EMG for Virtual Reality applications. 12th International Conference on Disability, Virtual Reality and Associated Technologies (ICDVRAT2018), 4-6 September 2018, Nottingnam, UK. 4 p.
32. Carvalho N., Laurent E., Noiret N., Chopard G., Haffen E., Bennabi D., Vandel P. Eye movement in unipolar and bipolar depression: A systematic review of the literature. Frontiers in Psychology, 2015, vol. 6, pp. 1809. https://doi.org/10.3389/fpsyg.2015.01809
33. Sharma M., Kacker S., Sharma M. A brief introduction and review on galvanic skin response. International Journal of Medical Research Professionals, 2016, vol. 2, pp. 13-17. https://doi.org/10.21276/ijmrp.2016.2.6.003
34. Sarchiapone M., Gramaglia C., Iosue M., Carli V., Man-delli L., Serretti A., Zeppegno P. The association between electrodermal activity (EDA), depression and suicidal behaviour: A systematic review and narrative synthesis. BMC Psychiatry, 2018, vol. 18, no. 1, pp. 22. https://doi. org/10.1186/s12888-017-1551-4
35. Greco A., Valenza G., Scilingo E. P. Advances in electro-dermal activity processing with applications for mental health. Cham, Berlin, Springer, 2016. 138 p. https://doi. org/10.1007/978- 3-319- 46705- 4
36. Papousek I., Schulter G. Associations between EEG asymmetries and electrodermal lability in low vs. high depressive and anxious normal individuals. International Journal of Psychophysiology, 2001, vol. 41, no. 2, pp. 105-117. https://doi.org/10.1016/S0167-8760(01) 00131-3
37. Mokros A., Habermeyer E., Küchenhoff H. The uncertainty of psychological and psychiatric diagnoses. Psychological Assessment, 2018, vol. 30, no. 4, pp. 556. https://doi.org/10.1037/pas0000524
38. Corneanu C. A., Simón M. O., Cohn J. F., Guerrero S. E. Survey on rgb, 3d, thermal, and multimodal approaches for facial expression recognition: History, trends, and affect-related applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, vol. 38, no. 8, pp. 1548-1568. https://doi.org/10.1109/TPAMI.2016. 2515606
39. Poria S., Cambria E., Bajpai R., Hussain A. A review of affective computing: From unimodal analysis to multimodal fusion. Information Fusion, 2017, vol. 37, pp. 98-125. https://doi.org/10.1016/jj.inffus.2017.02.003
40. Zhao S., Wang S., Soleymani M., Joshi D., Ji Q. Affective computing for large-scale heterogeneous multimedia data:
A survey. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2019, vol. 15, no. 3s, pp. 1-32. https://doi.org/10.1145/3363560
41. Castanedo F. A review of data fusion techniques. The Scientific World Journal, 2013, vol. 2013, article no. 704504. https://doi.org/10.1155/2013/704504
42. Raman C., Tan S., Hung H. A Modular Approach for Synchronized Wireless Multimodal Multisensor Data Acquisition in Highly Dynamic Social Settings. Proceedings of the 28th ACM International Conference on Multimedia, 2020, pp. 3586-3594. https://doi.org/10.1145/3394171. 3413697
43. Influxdata. Available at: https://www.influxdata.com/ (accessed January 20, 2024).
44. Mumtaz W. MDD Patients and Healthy Controls EEG Data (New). Available at: https://doi.org/10.6084/m9. figshare.4244171.v2 (accessed January 20, 2024).
45. Cavanagh J. EEG: Depression rest. Available at: https:// doi.org/10.18112/openneuro.ds003478.v1.1.0 (accessed January 20, 2024).
46. Cai H., Gao Y., Sun S., Li N., Tian F., Xiao H., Hu B. MODMA dataset: A Multi-modal Open Dataset for Mental-disorder Analysis. arXiv preprint arXiv:2002.09283, 2020. https://doi.org/10.48550/arXiv.2002.09283
47. Van Dijk H., Van Wingen G., Denys D., Olbrich S., Van Ruth R., Arns M. The two decades brainclinics research archive for insights in neurophysiology (TDBRAIN) database. Scientific Data, 2022, vol. 9, no. 1, pp. 333. https://doi.org/10.1038/s41597- 022- 01409- z
48. Maaten L. Visualizing datausing t-SNE. Journal of Machine Learning Research, 2008, vol. 9, pp. 2579-2605.
Поступила в редакцию 14.02.2024; одобрена после рецензирования 09.05.2024; принята к публикации 21.05.2024 The article was submitted 14.02.2024; approved after reviewing 09.05.2024; accepted for publication 21.05.2024
