CC BY
0
Нелинейная
^^^^^^^^ динамика и нейронаука
Известия высших учебных заведений. Прикладная нелинейная динамика. 2024. Т. 32, № 4 Izvestiya Vysshikh Uchebnykh Zavedeniy. Applied Nonlinear Dynamics. 2024;32(4)
Научная статья УДК 004.78
DOI: 10.18500/0869-6632-003114 EDN: EOIBSY
Эффективность сверточных нейронных сетей различной архитектуры для задачи диагностики депрессии по данным ЭЭГ
H.H. Шушарина
Балтийский федеральный университет имени Иммануила Канта, Калининград, Россия E-mail: El nshusharina@kantiana.ru Поступила в редакцию 11.02.2024, принята к публикации 14.03.2024, опубликована онлайн 2.07.2024, опубликована 31.07.2024
Аннотация. Цель настоящей работы — сравнительный анализ эффективности использования искусственных нейронных сетей с различными сверточными и рекуррентными архитектурами в задаче диагностики депрессии на основе данных электроэнцефалограмм (ЭЭГ). В качестве объектов исследования выбраны открытые наборы данных и выполнен сбор собственных данных ЭЭГ реальных пациентов с депрессией. Методы. Для решения задачи выявления биомаркеров депрессивного расстройства по данных ЭЭГ использовались сверточные нейронные сети, использующие двумерную или одномерную операцию свертки, а также гибридные модели сверточных и рекуррентных нейронных сетей. Для тестирования разработанных моделей искусственных нейронных сетей были выбраны открытые наборы данных, выполнен эксперимент по сбору собственных данных реальных пациентов с депрессией, а также проведено объединение подготовленных наборов данных. Результатом работы является анализ и сравнение эффективности различных классификаторов на основе моделей сверточных и рекуррентных нейронных сетей. Заключение. Показано, что средняя точность классификации депрессивного расстройства на тестовой выборке с использованием перекрестной проверки составила 0.68. Полученные данные согласуются с известными из литературы результатами, полученными для небольших наборов данных c разбивкой по пациентам. Хотя полученная в данной задаче точность недостаточна для практического применения модели, можно утверждать как о перспективности дальнейших исследований в направлении повышения эффективности модели, так и о необходимости создания достаточно большого репрезентативного набора данных пациентов с депрессией, что является важной научной задачей для дальнейшего построения биофизических моделей депрессивных расстройств.
Ключевые слова: неинвазивная электроэнцефалограмма, диагностика депрессии, глубокое обучение, сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN).
Благодарности. Работа поддержана грантом РНФ (проект No 23-71-30010).
Для цитирования: Шушарина H.H. Эффективность сверточных нейронных сетей различной архитектуры для задачи диагностики депрессии по данным ЭЭГ//Известия вузов. ПНД. 2024. T. 32, № 4. С. 492-510. DOI: 10.18500/0869-6632003114. EDN: EOIBSY
Статья опубликована на условиях Creative Commons Attribution License (CC-BY 4.0).
Article
DOI: 10.18500/0869-6632-003114
Efficiency of convolutional neural networks of different architecture for the task of depression diagnosis from EEG data
N. N. Shusharina
Immanuel Kant Baltic Federal University, Kaliningrad, Russia E-mail: Kl nshusharina@kantiana.ru Received 11.02.2024, accepted 14.03.2024, available online 2.07.2024, published 31.07.2024
Abstract. The purpose of this paper is to comparatively analyse the efficiency of using artificial neural networks with different convolutional and recurrent architectures in the task of depression diagnosis based on electroencephalogram (EEG) data. Open datasets were chosen as objects of the study and own EEG data of real patients with depression were collected. Methods. To solve the problem of identifying biomarkers of depressive disorder from EEG data, we used convolutional neural networks using two-dimensional or one-dimensional convolution operation, as well as hybrid models of convolutional and recurrent neural networks. To test the developed models of artificial neural networks, we selected open data sets, performed an experiment to collect our own data from real depressed patients, and merged the prepared data sets. The result of this work is analysis and comparison of the performance of different classifiers based on convolutional and recurrent neural network models. Conclusion. We show that the average accuracy of classification of depressive disorder in a test sample using cross-validation was 0.68. The results are consistent with the known results from the literature for small patient-disaggregated datasets. Although the accuracy obtained in this task is insufficient for practical application of the model, it can be argued that further research to improve the efficiency of the model is promising, as well as the need to create a sufficiently large representative dataset of depressed patients, which is an important scientific task for further construction of biophysical models of depressive disorders.
Keywords: non-invasive electroencephalogram, depression diagnosis, deep learning, convolutional neural networks (CNN), recurrent neural networks (RNN).
Acknowledgements. This work was supported by grant RSF (project No 23-71-30010).
For citation: Shusharina NN. Efficiency of convolutional neural networks of different architecture for the task of depression diagnosis from EEG data. Izvestiya VUZ. Applied Nonlinear Dynamics. 2024;32(4):492-510. DOI: 10.18500/0869-6632003114
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Введение
Использование машинного обучения и искусственных нейронных сетей стало общепринятой практикой в анализе экспериментальных биомедицинских данных в задачах биофизики, когнитивного моделирования и прогностической медицины [1-4]. Диагностика психических нарушений и устойчивых эмоциональных состояний становится все более актуальной задачей в силу распространенности эмоциональных нарушений и трудностей, сопряженных с их диагностикой, особенно на ранних стадиях развития заболевания [5-7]. Успех решения подобных задач связан как с использованием различных методов нейровизуализаций активности мозга пациентов — функциональной магнитно-резонансной томографии (фМРТ) [8,9], электроэнцефалограммы (ЭЭГ) [10-12], магнитоэнцефалографии (МЭГ) [13,14] и т.д., так и с созданием все более эффективных моделей классификаций пациентов [15,16]. При этом анализ небольших по объему экспериментальных выборок данных с использованием традиционных статистических подходов по большей части не способен зафиксировать гетерогенность, лежащую в основе психиатрических феноменов. Основные надежды сейчас возлагаются на алгоритмы глубокого обучения, которые способны выделять из данных очень сложные, практически произвольные паттерны, выступающие эффективными предикторами в рамках решаемой задачи. Так, высокую эффективность в задачах диагностики депрессивных расстройств показали графовые нейронные сети, точность диагностики классификаторов на их основе достигает 0.8-0.9. При этом такие
модели позволяют использовать представление активности мозга в неевклидовых пространствах, описывая функциональные связи между различными областями мозга в виде графов [17]. Однако последние работы (см., например, [18]) показывают, что эффективность сверточных нейронных сетей может быть не ниже, а в ряде случаев выше, чем эффективность графовых нейронных сетей. Поэтому в данной работе мы сосредоточились на анализе различных архитектур сверточных нейронных сетей в задаче диагностики депрессии на основе данных электроэнцефалограмм (ЭЭГ).
Отметим, что эффективное обучение моделей на основе искусственных нейронных сетей возможно лишь при условии использования больших объемов данных. На сегодняшний день для обучения доступны лишь сравнительно небольшие выборки размером менее 10 000 наблюдений. Для таких наборов данных на первый план выходят эффективная архитектура сети и верный подбор гиперпараметров, определяющих динамику обучения сети. Учитывая необходимость обеспечения стабильно высокого качества обучения на различных наборах данных, при проведении анализа целесообразно выполнить предварительное тестирование выбранной архитектуры и гиперпараметров на разнообразных данных. Отметим также важность создания новых наборов данных для расширения имеющихся датасетов. Однако в этом случае возникает проблема объединения различных датасетов в единую базу данных, которая будет использоваться для обучения и оптимизации модели. Этим вопросам также будет уделено внимание в нашей работе.
Таким образом, в данной работе мы провели сравнительный анализ эффективности использования искусственных нейронных сетей с различными сверточными и рекуррентными архитектурами в задаче диагностики депрессии на основе данных электроэнцефалограмм (ЭЭГ). В качестве объектов исследования выбраны открытые наборы данных и выполнен сбор собственных данных ЭЭГ реальных пациентов с депрессией.
1. Методика
1.1. Подготовка наборов данных для обучения. На момент проведения исследования были найдены следующие находящиеся в открытом доступе наборы данных ЭЭГ пациентов с диагностированным депрессивным расстройством и полученные в расслабленном состоянии с закрытыми глазами.
1. MDD Patients and Healthy Controls EEG Data (New) [19].
2. EEG: Depression rest [20].
3. MODMA Dataset: a Multi-modal Open Dataset for Mental-disorder Analysis [21].
Первый и второй наборы данных доступны для скачивания в сети Интернет. Для получения доступа к третьему набору данных необходимо было заполнить и отправить авторам Лицензионное соглашение конечного пользователя [22].
Подробные характеристики использованных открытых наборов данных приведены в табл. 1.
Таблица 1. Открытые данные ЭЭГ пациентов с депрессивным расстройством Table 1. Open EEG data from patients with depressive disorder
MDD Patients and Healthy Controls EEG Data (New) EEG: Depression rest MODMA dataset: a Multi-modal Open Dataset for Mental disorder Analysis
URL https://doi.org/ 10.6084/m9.figshare. 4244171.v2 https://doi.org/10. 18112/openneuro. ds003478.v1.1.0 http://modma.lzu. edu.cn/data/index/
Место получения Госпиталь Universiti Sains Malaysia, Келан-тан, Малайзия Лаборатория Джона Дж. Б. Аллена в Университете штата Аризона, США Вторая больница Университета Ланьчжоу (стационарные и амбулаторные пациенты), Ганьсу, Китай
MDD Patients and MODMA dataset: a
Healthy Controls EEG EEG: Depression rest Multi-modal Open Dataset for
Data (New) Mental disorder Analysis
Общее число участников 64 121 53
Число участников сБДР 34 46 24
Число мужчин/женщин 38/26 47/74 33/20
Средний возраст, лет 39.4 ± 14.1 18.9 ± 1.2 31.2 ± 9.6
Диагностика БДР диагноз диагноз, шкала Бека [23] диагноз
Число каналов 19 66 129
Fp1, FPz, Fp2, AF3, HydroCel Geodesic Sensor Net.
Используемые каналы ЭЭГ Fp1, Fp2, F3, F4, F7, F8, Fz, T7, T8, C3, Cz, C4, P7, P8, P3, Pz, P4, O1, O2 AF4, F7, F5, F3, F1, Fz, F2, F4, F6, F8, FT7, FC5, FC3, FC1, FCz, FC2, FC4, FC6, FT8, T7, C5, C3, C1, CZ, C2, C4, C6, T8, M1, TP7, CP5, CP3, CP1, CPZ, CP2, CP4, CP6, TP8, M2, P7, P5, P3, P1, Pz, P2, P4, P6, P8, PO7, PO5, PO3, POZ, PO4, PO6, PO8, CB1, O1, Oz, O2, CB2, HEOG, VEOG Каналы, соответствующие системе 10-10: C3, C4, Cz, F3, F4, F7, F8, FP1, FP2, FPz, Fz, O1, O2, P3, Oz, P4, P7, P8, T7, T8, F3, AF4, AF7, AF8, AFz, C1, C2, C5, Pz, C6, CP1, CP2, CP3, CP4, Cp5, CP6, CPz, F1, F2, F5, F6, F9, F10, FC1, FC2, FC3, FC4, FC5, FC6, FCz, FT10, FT7, FT8, FT9, P1, P2, P5, P6, P9, P10, PO3, PO4, PO7, PO8, POz, T9, T10, T11, T12, TP7, TP8, TP9, TP10
Референс Linked ear (LE) Между Cz и CPz Cz
Частота дискретизации, Гц 256 500 250
Параметры фильт-
рации (фвч/ ФНЧ/режекция), Гц 0.1/70/50 нет данных нет данных
Формат файлов данных .edf .set, .fdt (EEGLAB) .mat
1.2. Сбор клинических данных. Для дополнения найденных наборов данных и увеличения общего количества наблюдений и пациентов было проведено исследование ЭЭГ у пациентов с подтвержденным диагнозом депрессивного расстройства на базе Клинико-диагностического центра БФУ имени Иммануила Канта.
В ходе сессии проводилась регистрация ЭЭГ бодрствующих пациентов в расслабленном состоянии с закрытыми и открытыми глазами по следующей процедуре:
• опрос участника;
• предварительное тестирование по шкале депрессии Бека;
• объяснение проводимой процедуры и получение информированного согласия;
• подготовка к снятию ЭЭГ;
• запись ЭЭГ в расслабленном состоянии при закрытых глазах (3 минуты);
• запись ЭЭГ в расслабленном состоянии при открытых глазах (3 минуты);
• завершение процедуры, сохранение файла с данными ЭЭГ в формате EDF.
Для снятия ЭЭГ 19 электродов закреплялось на специальной шапочке для снятия ЭЭГ, согласно системе 10-20, в положениях Fp1, Fp2, F7, F3, Fz, F4, F8, T7, C3, Cz, C4, T8, P7, P3, Pz, P4, P8, O1, O2. Схема снятия — монополярная относительно электрода на мочке левого уха (отведение A1). Для заземления использовалось отведение AFz. Частота дискретизации 500 Гц. Параметры фильтрации: ФВЧ (0.5 Гц), ФНЧ (70 Гц), режекторный фильтр (50 Гц). В результате были получены данные от 37 пациентов (9 мужчин, 28 женщин, средний возраст 39.8 ± 15.2).
1.3. Объединение наборов данных в единую базу. Как видно из табл. 2, характеристики наборов данных значительно различаются и для создания итоговой базы данных ЭЭГ их нужно объединить. Для этого необходимо согласование следующих параметров:
• частота дискретизации;
• количество каналов и расположение электродов; параметры цифровой фильтрации; референс;
• разметка.
Для согласования данных использовалась следующая процедура с использованием библиотеки MNE-Python [25].
1. Согласование частоты дискретизации с понижением до 200 Гц.
2. Применение цифровых фильтров, согласно принятой практике: ФВЧ (1 Гц), ФНЧ (40 Гц) [24].
3. Согласование числа используемых каналов до 19 отведений, используемых в нашей настройке сбора данных: Fp1, Fp2, F7, F3, Fz, F4, F8, T7, C3, Cz, C4, T8, P7, P3, Pz, P4, P8, O1, O2).
4. Изменение референсного электрода на Cz во всех наборах данных.
5. Приведение к единому виду и формату размерности данных, названий и порядка каналов, преобразование файла для сохранения результатов в формат CSV.
Каждый полученный файл данных получил метку наличия или отсутствия БДР. В случае если данные о наличии диагноза отсутствовали, но имелись результаты опроса по шкале Бека, то метка наличия БДР назначалась для пациентов с результатом выше 13 баллов [23].
Для контроля качества полученных данных каждый файл был просмотрен экспертом с отбором наибольшего непрерывного участка данных без существенных артефактов. Файл
Таблица 2. Параметры наборов данных ЭЭГ, связанных с депрессией Table 2. Parameters of EEG datasets associated with depression
Источник [19] [20] [21] Данная работа
Источник данных Малайзия США Китай Россия
Общее число участников 64 121 53 37
Число участников с БДР 34 46 24 27
Диагностика БДР Диагноз Диагноз, шкала Бека Диагноз Диагноз, шкала Бека
Число мужчин/женщин 38/26 47/74 33/20 9/28
Средний возраст, лет 39.4 ± 14.1 18.9 ± 1.2 31.2 ± 9.6 39.8 ± 15.2
Число каналов 19 66 129 19
Частота дискретизации, Гц 256 500 250 500
Параметры фильтрации (ФВЧ/ ФНЧ/режекция), Гц 0.1/70/50 нет данных нет данных 0.5/70/50
Референс Linked ear (LE) Между С/ и СР/ Cz A1
отбрасывался полностью, если такой участок было выбрать невозможно. В результате из каждого набора данных было отброшено 15, 0, 7 и 0 файлов соответственно. Средняя продолжительность записей составила 113 ± 81 секунды.
Итоговый объединенный набор данных ЭЭГ людей в расслабленном состоянии с закрытыми глазами, размеченный в соответствии с наличием или отсутствием БДР, содержит данные 122 пациентов с диагнозом БДР и 123 человек контрольной группы суммарной продолжительностью 13927 и 13841 секунд соответственно.
2. Результаты
2.1. Исследование и выбор оптимальной архитектуры нейронной сети. Несмотря на существенный прогресс в применении глубокого обучения в медицинских исследованиях, не существует общепринятой, наиболее эффективной архитектуры нейронной сети, наилучшим образом подходящей для задач классификации ЭЭГ при анализе психических расстройств [26]. Имеющиеся в настоящий момент архитектуры отличаются выраженной «специализацией» под конкретные параметры данных и типы расстройств. Таким образом, задача подбора оптимальной архитектуры является актуальной, вследствие чего требуется более подробное сравнительное исследование применимости различных базовых архитектур. Сравнительный анализ был выполнен для задачи классификации наличия или отсутствия депрессивного расстройства на основе данных сигналов ЭЭГ.
Среди возможных нейронных сетей-кандидатов целесообразно рассмотреть сверточные нейронные сети и рекуррентные нейронные сети (в частности, Ь8ТМ), широко распространенные для различных задач обработки медицинских данных [27]. Для сверточных нейронных сетей характерна возможность извлекать пространственные признаки из входных данных, а рекуррентные нейронные сети эффективны для последовательностей данных, таких как задачи обработки временных рядов или естественного языка.
Для решения задачи определения депрессивного расстройства по данных ЭЭГ наиболее распространены сверточные нейронные сети, использующие двумерную или одномерную операцию свертки и гибридные модели сверточных и рекуррентных нейронных сетей [28].
На основе анализа литературы были отобраны 5 архитектур нейронных сетей, показавших высокую точность при решении задачи диагностики депрессии по данным ЭЭГ [29].
1. Одномерная сверточная нейронная сеть из 9 слоев [30]. Достигнутая точность классификации 98.32.
2. Гибридная сеть из одномерных сверточных слоев и слоев Ь8ТМ [31]. Достигнутая точность классификации 95.97.
3. Одномерная сверточная нейронная сеть из 15 слоев [32]. Достигнутая точность классификации 93.5.
4. Гибридная сеть, состоящая из одномерных сверточных слоев и слоя Ь8ТМ [33]. Достигнутая точность классификации 97.66.
5. Одномерная сверточная нейронная сеть из 5 слоев [34]. Достигнутая точность классификации 96.3.
Дополнительно были рассмотрены еще две архитектуры, которые на момент исследования не использовались для задачи классификации депрессии по данным ЭЭГ.
6. Компактная сверточная нейронная сеть ББвКе^ изначально предназначенная для применения в различных задачах мозг-компьютерных интерфейсов [35].
7. Двумерная сверточная нейронная сеть, созданная по принципу БЕвКе^ но содержащая только сверточные слои.
Архитектура использованных в исследовании нейронных сетей представлена в табл. 3.
Таблица 3. Структура слоев нейронных сетей. Тип сети в зависимости от её номера: 1 — одномерная сверточная нейронная сеть; 2 — гибридная сеть из одномерных сверточных слоев и слоев LSTM; 3 — одномерная сверточная нейронная сеть; 4 — гибридная сеть, состоящая из одномерных сверточных слоев и слоя LSTM; 5 — одномерная сверточная нейронная сеть; 6 — EEGNet-компактная сверточная нейронная сеть; 7 — двумерная сверточная нейронная сеть
Table 3. Structure of neural network layers. Network type depending on its number: 1 — one-dimensional convolutional neural network; 2 — hybrid network consisting of one-dimensional convolutional layers and LSTM layers; 3 — one-dimensional convolutional neural network; 4 — hybrid network consisting of one-dimensional convolutional layers and LSTM layer; 5 — one-dimensional convolutional neural network; 6 — EEGNet-compact convolutional neural network; 7 — two-dimensional convolutional neural network
Сеть 1 2 3 4 5 6 7
Слой
1 Сверточный (50 ядер 1х10) Сверточный (64 ядер 1х5) Сверточный (5 ядер 1х5) Сверточный (64 ядра 1х5) Сверточный (32 ядра 1х5) Сверточный (8 ядер 1х100) Сверточный (16 ядер 18х50, шаг 1х4)
2 Сверточный (50 ядер 1х10) Субдискретизации (по максимуму, 1х3) Субдискретизации (по максимуму, 1х2, шаг 2) Сверточный (128 ядер 1х3) Субдискретизации (по максимуму, 1х2, шаг 2) Нормализации по батчу Нормализации по батчу
3 Субдискретизации (по максимуму, 1х3) Dropout(0.5) Сверточный (5 ядер 1х5) Субдискретизации (по максимуму, 1х2, шаг 2) Полносвязный (1024) Сверточный по глубине (18х1) Субдискретизации (по среднему, 1х4)
4 Сверточный (100 ядер 1х10) Сверточный (48 ядер 1х5) Субдискретизации (по максимуму, 1х2, шаг 2) Dropout(0.2) Полносвязный (32) Нормализации по батчу Сверточный (32 ядра 1х25)
5 Субдискретизации (по максимуму, 1х3) Субдискретизации (по максимуму, 1х3) Сверточный (10 ядер 1х5) Сверточный (128 ядер 1х13) Полносвязный (2) Субдискретизации (по среднему, 1х4) Нормализации по батчу
6 Сверточный (50 ядер 1х21) Dropout(0.5) Субдискретизации (по максимуму, 1х2, шаг 2) Сверточный (32 ядра 1х7) Dropout(0.5) Субдискретизации (по среднему, 1х4)
7 Субдискретизации (глобальный по среднему) Сверточный (24 ядра 1х5) Сверточный (10 ядер 1х5) LSTM(32) Разделимый сверточный (16 ядер 1х16) Сверточный (2 ядра 1х1)
8 Dropout (0.5) Субдискретизации (по максимуму, 1х3) Субдискретизации (по максимуму, 1х2, шаг 2) Полносвязный (64) Нормализации по батчу Субдискретизации (глобальный по максимуму)
9 Полносвязный (2) Dropout(0.5) Сверточный (15 ядер 1х5) Dropout (0.2) Субдискретизации (по среднему, 1х8)
^\Сеть Слои^ч 1 2 3 4 5 6 7
10 LSTM(128) Субдискретизации (по максимуму, 1х2, шаг 2) Полносвязный (2) Dropout (0.5)
11 LSTM(64) Полносвязный (80) Полносвязный (2)
12 Полносвязный (64) Dropout(0.1)
13 Полносвязный (2) Полносвязный (40)
14 Dropout(0.1)
15 Полносвязный (2)
Для сравнения вышеуказанных архитектур было выполнено обучение на полученном ранее объединенном наборе данных ЭЭГ.
Подготовка данных для обучения была выполнена в следующей последовательности.
1. Загрузка подготовленных данных из CSV-файлов.
2. Нарезка данных на отрезки по 200/400/600/800/1000 отсчетов (соответствующие длительности 1/2/3/4/5 секунд), без перекрытия.
3. Выполнение стандартизации данных для повышения скорости сходимости алгоритма обучения нейронных сетей [36].
В процессе обучения применялась процедура перекрестной проверки (кросс-валидация) путем многократной разбивки данных по пациентам на обучающую и тестовую выборки в соотношении 90/10, используя функцию StratifiedKFold из библиотеки машинного обучения на языке Python-sklearn [37]. Реализация сетей выполнялась на языке программирования Python 3 с использованием библиотеки TensorFlow 2 [38] на компьютере с операционной системой Ubuntu Linux 20.04, оборудованном графическим ускорителем NVIDIA Quadro P1000 (CUDA 10.1). Для каждого разбиения выполнялось обучение модели нейронной сети и вычисление полученных значений точности классификации и F1-меры на тестовой выборке.
Для обучения нейронных сетей был использован метод адаптивной инерции (Adam) [39] с параметром скорости обучения, равным 0.0001, и размером минибатча 64. Категориальная перекрестная энтропия (кросс-энтропия) применялась в качестве функции потерь. С помощью функции EarlyStopping из библиотеки TensorFlow выполнялось отслеживание динамики изменений функции ошибки на тестовой выборке и остановка обучения при отсутствии снижения функции ошибки в течение 4 эпох.
Результирующие значения представлены в табл. 4 в виде средних результатов перекрестных проверок точности классификации и F1-меры.
Вычисление метрик модели базируется на так называемой матрице ошибок (confusion matrix) — квадратной матрице, размер которой совпадает с количеством классов (2 на 2 в случае бинарной классификации), и указывается количество объектов, отнесенных моделью к конкретному классу c оценкой действительного отношения указанного объекта. При этом указывается количество объектов, верно отнесенных к конкретному классу и относящихся к нему (true positive, TP), верно не отнесенных к конкретному классу и не относящихся к нему (true negative, TN),
Таблица 4. Исследование архитектур нейронной сети для решения задачи классификации депрессивного
расстройства по данным ЭЭГ
Table 4. Exploring neural network architectures for solving the problem of classifying depressive disorder from
EEG data
Нейронная сеть
1 2 3 4 5 6 7
Архитектура CNN 1D CNN 1D + LSTM CNN 1D CNN 1D + LSTM CNN 1D CNN (EEGNet) CNN 2D
Число слоев 9 13 15 10 5 11 8
Число параметров (для 1/2/3 /4/5 с) 189352 159050 12722/ 19922/ 27122/ 35522/ 42722 485666/ 690466/ 895266/ 1100066/ 1304866 3313602/ 6590402/ 9867202/ 13144002/ 16420802 1954/2146/ 2338/ 2562/ 2754 27506
Точность и (1 с) 0.62 ± 0.08 0.63 ± 0.10 0.61 ± 0.07 0.62 ± 0.11 0.63 ± 0.09 0.63 ± 0.09 0.60 ± 0.09 0.59 ± 0.12 0.59 ± 0.06 0.57 ± 0.09 0.66 ± 0.10 0.66 ± 0.11 0.63 ± 0.07 0.62 ± 0.11
Точность и (2 с) 0.64 ± 0.08 0.63 ± 0.10 0.60 ± 0.07 0.63 ± 0.09 0.67 ± 0.09 0.63 ± 0.13 0.62 ± 0.08 0.61 ± 0.12 0.62 ± 0.08 0.61 ± 0.12 0.66 ± 0.10 0.61 ± 0.16 0.64 ± 0.07 0.63 ± 0.11
Точность и (3 с) 0.64 ± 0.08 0.63 ± 0.12 0.63 ± 0.08 0.62 ± 0.08 0.63 ± 0.09 0.63 ± 0.10 0.61 ± 0.09 0.59 ± 0.08 0.61 ± 0.07 0.61 ± 0.07 0.67 ± 0.11 0.67 ± 0.11 0.65 ± 0.09 0.65 ± 0.09
Точность и (4 с) 0.63 ± 0.11 0.62 ± 0.14 0.57 ± 0.11 0.65 ± 0.10 0.67 ± 0.08 0.65 ± 0.09 0.60 ± 0.09 0.58 ± 0.14 0.61 ± 0.07 0.59 ± 0.11 0.67 ± 0.10 0.66 ± 0.11 0.64 ± 0.08 0.63 ± 0.09
Точность и (5 с) 0.63 ± 0.12 0.60 ± 0.16 0.57 ± 0.12 0.66 ± 0.11 0.63 ± 0.09 0.61 ± 0.13 0.61 ± 0.07 0.59 ± 0.12 0.59 ± 0.05 0.59 ± 0.08 0.66 ± 0.10 0.61 ± 0.16 0.65 ± 0.10 0.60 ± 0.17
отнесенных к конкретному классу и не относящихся к нему (false positive, FP), не отнесенных к конкретному классу и относящихся к нему (false negative, FN). Общее количество ответов модели представляет собой сумму TP+TN+FP+FN. Наиболее очевидной кажется вычисление доли верных ответов по отношению к общему количеству ответов (accuracy):
TP + TN
aCCUraCy = TP + TN + FP + FN ■ (1)
Однако значение выражения (1) будет зависеть от сбалансированности класса и для несбалансированных наборов данных будет меняться при смене класса. Поэтому используются две метрики, характеризующие эффективность модели в отношении к конкретному классу.
Точность (precision) показывает долю ответов, верно отнесенных моделью к конкретному классу, к общему количеству отнесенных к классу объектов:
TP
pn-easion = Tp + Fp. (2)
Точность применяется в паре с полнотой (recall) — долей объектов, отнесенных моделью к конкретному классу, к общему количеству объектов данного класса:
recall =
TP
TP + FN
(3)
На основании метрик (2) и (3) вычисляется Б1-мера, одна из самых популярных метрик эффективности машинного обучения, которая представляет собой гармоническое среднее точности и полноты модели по конкретному классу:
F1 =
2 * presicion * recall presicion + recall
(4)
Из табл. 4 следует, что наилучшую точность классификации демонстрируют модели 6 и 7 при длительности сигнала на входе 3 секунды.
Обращает на себя внимание очевидная разница между заявленной точностью классификации моделей, превышающей 90%, и полученными результатами классификации на используемых данных. Это вызвано, прежде всего, разницей в объеме и качестве исходных данных, применяемых для обучения. В данной работе стратифицированное разбиение данных по пациентам необходимо для предотвращения неявной утечки обучающих данных в тестовое подмножество. Подобная утечка вызывает не только завышение показателей точности, но и приводит к переобучению модели, снижая способность к обобщению. Кроме того, для классификатора будет наблюдаться разброс точности в зависимости от количества скомпрометированных наблюдений для пациентов, попавших и в обучающую, и в тестовую выборки, как показано в табл. 5.
Таблица 5. Точность (1) и Fl-мера (4) различных архитектур нейронной сети при решении задачи классификации депрессивного расстройства на различных источниках данных ЭЭГ
без учета разбиения данных по пациентам
Table 5. Accuracy (1) and Fl-score (4) of different neural network architectures in solving the depressive disorder classification task on different EEG data sources without considering patient data partitioning
Источник
Нейронная сеть (Точность/Fl-Mepa)
данных l 2 3 4 5 6 7
1 0.99 ± 0.01 0.99 ± 0.01 0.70 ± 0.06 0.70 ± 0.03 0.91 ± 0.03 0.92 ± 0.03 0.97 ± 0.01 0.97 ± 0.01 0.78 ± 0.02 0.78 ± 0.02 0.95 ± 0.02 0.95 ± 0.02 0.98 ± 0.01 0.98 ± 0.01
2 0.84 ± 0.02 0.84 ± 0.05 0.60 ± 0.04 0.60 ± 0.04 0.69 ± 0.02 0.69 ± 0.18 0.71 ± 0.04 0.71 ± 0.08 0.59 ± 0.04 0.59 ± 0.04 0.71 ± 0.02 0.71 ± 0.06 0.69 ± 0.03 0.69 ± 0.08
3 0.96 ± 0.01 0.95 ± 0.02 0.77 ± 0.09 0.77 ± 0.09 0.70 ± 0.06 0.70 ± 0.06 0.87 ± 0.06 0.86 ± 0.04 0.55 ± 0.02 0.54 ± 0.04 0.76 ± 0.03 0.76 ± 0.03 0.83 ± 0.04 0.79 ± 0.05
4 0.95 ± 0.03 0.95 ± 0.02 0.92 ± 0.03 0.92 ± 0.02 0.80 ± 0.04 0.80 ± 0.03 0.89 ± 0.06 0.89 ± 0.06 0.63 ± 0.03 0.63 ± 0.03 0.87 ± 0.02 0.87 ± 0.02 0.89 ± 0.09 0.89 ± 0.09
Объединенная база 0.89 ± 0.01 0.89 ± 0.01 0.78 ± 0.08 0.80 ± 0.06 0.74 ± 0.02 0.73 ± 0.02 0.84 ± 0.02 0.84 ± 0.02 0.67 ± 0.03 0.67 ± 0.02 0.79 ± 0.02 0.78 ± 0.02 0.82 ± 0.02 0.82 ± 0.02
Таблица 6. Точность (1) и Fl-мера (4) для различных архитектур нейронной сети на различных источниках
данных ЭЭГ при использовании разбиения данных по пациентам
Table 6. Accuracy (1) and Fl-score (4) for different neural network architectures on different EEG data
sources when using patient data partitioning
Источник данных Нейронная сеть (Точность/Fl-Mepa)
1 2 3 4 5 6 7
1 0.82 ± 0.11 0.80 ± 0.14 0.69 ± 0.16 0.62 ± 0.20 0.81 ± 0.13 0.82 ± 0.10 0.81 ± 0.10 0.80 ± 0.12 0.74 ± 0.09 0.75 ± 0.12 0.80 ± 0.20 0.78 ± 0.26 0.84 ± 0.10 0.86 ± 0.08
2 0.58 ± 0.09 0.57 ± 0.09 0.50 ± 0.15 0.50 ± 0.09 0.56 ± 0.09 0.57 ± 0.09 0.58 ± 0.07 0.55 ± 0.14 0.55 ± 0.06 0.55 ± 0.06 0.58 ± 0.10 0.59 ± 0.10 0.56 ± 0.09 0.55 ± 0.10
3 0.35 ± 0.14 0.34 ± 0.13 0.38 ± 0.12 0.34 ± 0.12 0.48 ± 0.14 0.48 ± 0.14 0.39 ± 0.12 0.37 ± 0.12 0.51 ± 0.05 0.51 ± 0.07 0.53 ± 0.11 0.53 ± 0.11 0.47 ± 0.09 0.45 ± 0.10
4 0.65 ± 0.22 0.64 ± 0.21 0.61 ± 0.16 0.61 ± 0.16 0.51 ± 0.17 0.51 ± 0.16 0.73 ± 0.14 0.72 ± 0.14 0.56 ± 0.10 0.56 ± 0.09 0.67 ± 0.14 0.67 ± 0.13 0.54 ± 0.19 0.54 ± 0.20
Объединенная база 0.64 ± 0.08 0.63 ± 0.12 0.59 ± 0.10 0.59 ± 0.10 0.63 ± 0.09 0.59 ± 0.16 0.61 ± 0.09 0.58 ± 0.15 0.61 ± 0.07 0.59 ± 0.09 0.67 ± 0.10 0.66 ± 0.11 0.65 ± 0.08 0.64 ± 0.09
В табл. 6 представлены результаты обучения с учетом разбиения данных по пациентам для предотвращения утечек данных из обучающей выборки в тестовую.
На основе полученных результатов следует, что наилучшими кандидатами для задачи подбора оптимальных параметров являются модели на основе архитектур 6 и 7.
2.2. Подбор оптимальных параметров для лучших моделей. Параметры модели, задаваемые до процесса обучения, называются гиперпараметрами. Это отличает их от параметров модели, которые настраиваются в процессе обучения.
Стандартным способом подбора оптимальных гиперпараметров является поиск по сетке (англ. — grid search) [40] с полным перебором всех возможных комбинаций из заданного подмножества значений. Главным недостатком поиска по сетке является экспоненциальное увеличение количества комбинаций и объема вычислений при увеличении количества и диапазонов значений гиперпараметров.
Альтернативой поиску по сетке могут служить различные алгоритмы случайного поиска, при котором комбинации гиперпараметров из заданного подмножества перебираются случайным образом. Поскольку при большом числе попыток все пространство гиперпараметров покрывается приблизительно равномерно, то лучший набор гиперпараметров может быть найден за меньшее время по сравнению с поиском по сетке [41].
Лучший результат, по сравнению с поиском по сетке и случайным поиском, показывает метод байесовской оптимизации. При его использовании строится модель отображения значений гиперпараметров в целевую функцию, по которой итеративно обновляется конфигурация гиперпараметров модели машинного обучения [40].
Для достижения максимальной точности на тестовой выборке подбор гиперпараметров для двух лучших моделей проводился методом байесовской оптимизации с использованием перекрестной проверки (с учетом разбиения данных по пациентам) на 10 непересекающихся частях. В качестве оптимизируемых гиперпараметров были выбраны параметры сверточных
Таблица 7. Подобранные оптимальные гиперпараметры для модели № 6 (EEGNet) и № 7 (CNN 2D)
Table 7. Selected optimal hyperparameters for model № 6 (EEGNet) and № 7 (CNN 2D)
Слой ЕЕС№1 CNN 2D
1 Сверточный (16 ядер 1х100) Сверточный (32 ядра 1x50, шаг 1x8)
2 Нормализации по батчу Нормализации по батчу
3 Сверточный по глубине (18х1) Субдискретизации (по среднему, 1x2)
4 Нормализации по батчу Сверточный (8 ядер 1x5)
5 Субдискретизации (по среднему, 1х8) Нормализации по батчу
6 Dropout(0.5) Субдискретизации (по среднему, 1x8)
7 Разделимый сверточный (16 ядер 1х5) Сверточный (2 ядра 1x1)
8 Нормализации по батчу Субдискретизации (глобальный по максимуму)
9 Субдискретизации (по среднему, 1х8)
10 Dropout(0.5)
11 Полносвязный (2)
слоев (число и размер ядер) и параметры слоев субдискретизации (шаг). Для подбора оптимальных гиперпараметров выбранных моделей нейронных сетей использовалась библиотека KerasTuner [42]. Используемая функция активации — экспоненциальная линейная функция (ELU). Найденные оптимальные значения гиперпараметров приведены в табл. 7.
2.3. Обучение моделей на подготовленных наборах данных. Модели № 6 и № 7 с подобранными оптимальными гиперпараметрами были обучены на каждом из четырех наборов данных, описанных выше, а также на объединенном наборе данных для изучения влияния структуры и репрезентативности данных на эффективность классификации. Результаты точности классификации и Fl-меры представлены в табл. 8.
Таблица 8. Точность (1) и Fl-мера (4) моделей № 6 и № 7 с подобранными оптимальными параметрами, обученных на каждом наборе данных в отдельности и на всем объеме данных,
объединенном в один набор
Table 8. Accuracy (1) and Fl-score (4) of models № 6 and № 7 with selected optimal parameters trained on each dataset separately and on the whole data set combined into one dataset
Источник Нейронная сеть (Точность/Fl-Mepa)
данных № 6 (EEGNet) № 7 (CNN 2D)
1 0.86 ± 0.10/0.87 ± 0.09 0.84 ± 0.18/0.83 ± 0.20
2 0.67 ± 0.07 /0.67 ± 0.10 0.68 ± 0.09 /0.68 ± 0.13
3 0.50 ± 0.07 /0.48 ± 0.10 0.49 ± 0.12/0.48 ± 0.18
4 0.57 ± 0.19/0.56 ± 0.20 0.69 ± 0.14/0.68 ± 0.11
Объединенная база 0.68 ± 0.10/0.68 ± 0.10 0.68 ± 0.10/0.67 ± 0.10
Полученные результаты демонстрируют улучшение точности классификации на объединенной базе данных ЭЭГ после оптимизации гиперпараметров моделей. Кроме того, отчетливо видна разница в точности классификации для разных наборов данных как между двумя моделями, так и для одной и той же модели (табл. 4, 5, 6 и 8). Например, точность классификации для набора данных номер 1 (8) оказалась выше, чем для общей базы данных, несмотря на очевидно меньший размер выборки. Это частично может объясняться дисбалансом классов и возможным неправильным назначением меток, влияющих на репрезентативность обучающей выборки.
Попытки улучшения результата за счет дальнейшего увеличения количества данных путем добавления новых участков, сегментированных скользящим окном с перекрытием (0.25/0.5 с), и синтетических данных с подмешанным гауссовским шумом [43] значимых результатов не принесли. Это позволяет сделать вывод о необходимости получения большего количества реальных данных для выделения новых признаков и дальнейшего повышения точности классификации.
Для моделей глубокого обучения характерны различные особенности, обусловленные архитектурой сети и спецификой набора данных. Так, на небольших и несбалансированных наборах данных выполнение многократного стратифицированного разбиения на обучающую и тестовую выборки существенно затруднено, поскольку одни и те же наблюдения, относящиеся к слабо представленному классу, попадают в большинство разбиений, что может вызвать как потерю точности, так и дисбаланс результирующей матрицы ошибок. Кроме того, итоговая эффективность обучения часто зависит от способа разметки, набора признаков и контекста задачи. Отчасти этим объясняются ограничения отдельных методов трансферного обучения, если сеть-донор была обучена на данных, лишь косвенно связанных с целевой задачей [44].
Заключение
В ходе подготовительного этапа проверки эффективности различных архитектур нейронных сетей в задаче определения наличия или отсутствия депрессии были подобраны открытые наборы данных для обучения, проведен сбор собственных клинических данных, подготовлен объединенный набор данных большого объема. На основном этапе были подобраны семь различных архитектур и оптимальные параметры обучения для них. На основе полученных результатов классификации наличия или отсутствия депрессивного расстройства были выбраны две архитектуры — EEGNet и двумерная сверточная нейронная сеть, состоящая только из сверточных слоев.
Средняя точность классификации депрессивного расстройства на тестовой выборке с использованием перекрестной проверки составила 0.68.
Полученные данные в целом согласуются с результатами, приведенными в литературе для небольших наборов данных c разбивкой по пациентам. Хотя полученная в данной задаче точность недостаточна для практического применения модели, на основании приведенных в литературе результатов возможно утверждать как о перспективности дальнейших исследований в направлении повышения эффективности модели, так и о необходимости создания достаточно большого репрезентативного набора данных пациентов [44,45].
Внедрению алгоритмов глубокого обучения в клиническую практику препятствуют отсутствие достаточно больших наборов данных пациентов, единообразного подхода к интерпретации диагностических признаков психических расстройств, недоверие врачебного сообщества и нерешенные этические вопросы применения искусственного интеллекта в медицине [45].
Перспективу значительного улучшения результатов в задачах диагностики психических заболеваний и эмоциональных расстройств связывают с бурным развитием новых архитектур сетей, таких как трансформеры и автоэнкодеры, по аналогии с быстрым прогрессом в задачах обработки естественного языка, изображений и звука. Кроме того, много внимания уделяется созданию мультимодальных моделей, способных работать с несколькими источниками данных, различающихся по структуре и характеристикам [46].
Поскольку качество обучения модели в значительной степени определяется качеством предоставленных данных, обе задачи являются актуальными для создания надежных систем поддержки принятия решений и персонифицированной медицины.
Список литературы
1. Rajpurkar P., Chen E., Banerjee O., Topol E.J. Al in health and medicine // Nature medicine.
2022. Vol. 28, no. 1. P. 31-38. DOl: 10.1038/s41591-021-01614-0.
2. Abersek B., Flogie A., Pesek I. AI and Cognitive Modelling for Education. Springer Nature; 2023. 230 p. DOI: 10.1007/978-3-031-35331-4.
3. Karpov O.E., Pitsik E.N., Kurkin S.A., Maksimenko V.A., Gusev A. V., Shusharina N.N., Hramov A. E. Analysis of Publication Activity and Research Trends in the Field of AI Medical Applications: Network Approach // International Journal of Environmental Research and Public Health. 2023. Vol. 20, no. 7. P. 5335. DOI: 10.3390/ijerph20075335.
4. Карпов О. Э., Храмов А. Е. Информационные технологии, вычислительные системы и искусственный интеллект в медицине. М.: ДПК Пресс; 2022. 480 c.
5. Tondo G., De Marchi F.. From biomarkers to precision medicine in neurodegenerative diseases: Where are we? // Journal of Clinical Medicine. 2022. Vol. 11, no. 15. P. 4515. DOI: 10.3390/ jcm11154515
6. Strafella C., Caputo V., Galota M.R., Zampatti S., Marella G., Mauriello S., Cascella R., Giardina E.. Application of precision medicine in neurodegenerative diseases // Frontiers in neurology. 2018. Vol. 9. P. 701. DOI: 10.3389/fneur.2018.00701.
7. Chepurova A., Hramov A., Kurkin S. Motor Imagery: How to Assess, Improve Its Performance, and Apply It for Psychosis Diagnostics // Diagnostics. 2022. Vol. 12, no. 4. P. 949. DOI: 10.3390/diagnostics1204094.
8. Zhang Sh., Zhao H., Wang W., Wang Zh., Luo X., Hramov A., Kurths J.Edge-centric effective connection network based on muti-modal MRI for the diagnosis of Alzheimer's disease // Neurocomputing. 2023. Vol. 552. P. 126512. DOI: 10.1016/j.neucom.2023.126512.
9. Andreev A. V., Kurkin S.A., Stoyanov D., Badarin A. A., Paunova R., Hramov A.E. Toward interpretability of machine learning methods for the classification of patients with major depressive disorder based on functional network measures // Chaos. 2023. Vol. 33, no. 6. P. 063140. DOI: 10.1063/5.0155567.
10. Sysoeva O., Maximenko V., Kuc A., Voinova V., Martynova O., Hramov A. Abnormal spectral and scale-free properties of resting-state EEG in girls with Rett syndrome // Scientific Reports. 2023. Vol. 13. P. 12932. DOI: 10.1038/s41598-023-39398-7.
11. Law Z. K., Todd C., Mehraram R., Schumacher J., Baker M. R., LeBeau F. E., Yarnall A., Onofrj M., Bonanni L., Thomas A., Taylor J. P. The role of EEG in the diagnosis, prognosis and clinical correlations of dementia with Lewy bodies—a systematic review // Diagnostics. 2020. Vol. 10, no. 9. P. 616. DOI: 10.3390/diagnostics10090616.
12. Schj0nning Nielsen M., Simonsen A. H., Siersma V., Engedal K., Jelic V., Andersen B. B., Naik M., Hasselbalch S. G., H0gh P. Quantitative electroencephalography analyzed by statistical pattern recognition as a diagnostic and prognostic tool in mild cognitive impairment: results from a nordic multicenter cohort study // Dementia and Geriatric Cognitive Disorders Extra. 2019. Vol. 8, no. 3. P. 426-438. DOI: 10.1159/000490788.
13. Gouw A. A. Clinical appications of EEG/MEG in AD: diagnosis, prognosis and treatment monitoring // Alzheimer's & Dementia. 2023. Vol. 19, no. S12. P. e073238. DOI: 10.1002/alz.073238.
14. Torres-Simon L., Doval S., Nebreda A., Llinas S. J., Marsh E. B., Maestuu F. Understanding brain function in vascular cognitive impairment and dementia with EEG and MEG: A systematic review //NeuroImage: Clinical. 2019. Vol. 35. P. 103040. DOI: 10.1016/j.nicl.2022.103040.
15. Yahata N., Kasai K., Kawato M. Computational neuroscience approach to biomarkers and treatments for mental disorders // Psychiatry and clinical neurosciences. 2016. Vol. 71, no. 4. P. 215-237. DOI: 10.1111/pcn.12502.
16. Карпов О. Э., Храмов А. Е. Прогностическая медицина // Врач и информационные технологии. 2021. Т. 3. С. 20-37. DOI: 10.25881/18110193_2021_3_20.
17. Pitsik E.N., Maximenko V.A., Kurkin S. A., Sergeev A. P., Stoyanov D., Paunova R., Kandilarova S., Simeonova D., Hramov A. E. The topology of fMRI-based networks defines the performance of a
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
506
graph neural network for the classification of patients with major depressive disorder // Chaos, Solitons & Fractals. 2023. Vol. 167. P. 113041. DOI: 10.1016/j.chaos.2022.113041. Boronina A., Maksimenko V., Hramov A. E. Convolutional Neural Network Outperforms Graph Neural Network on the Spatially Variant Graph Data // Mathematics. 2023. Vol. 11, no. 11. P. 2515. DOI: 10.3390/math11112515
Mumtaz W. MDD Patients and Healthy Controls EEG Data (New) // figshare. 2016. Dataset. DOI: 10.6084/m9.figshare.4244171.v2
Cavanagh J. EEG: Depression rest // OpenNeuro. 2021. Dataset. DOI: 10.18112/openneuro. ds003478.v1.1.0
Cai H., Yuan Z., Gao Y., Sun S., Li N., Tian F., Xiao H., Li J., Yang Z., Li X., Zhao Q., Liu Z., Yao Z., Yang M., Peng H., Zhu J., Zhang X., Gao G., Zheng F., Li R., Guo Z., Ma R., Yang J., Zhang L., Hu X., Li Y., Hu B. MODMA dataset: a Multi-modal Open Dataset for Mental-disorder Analysis // arXiv:2002.09283. 2020. Dataset. DOI: 10.48550/arXiv.2002.09283. MODMA Dataset. URL: http://modma.lzu.edu.cn/data/application/.
Beck A. T., Ward C., Mendelson M., Mock J., Erbaugh J. An inventory for measuring depression // Archives of general psychiatry. 1961. Vol. 4, no. 6. P. 561-571. DOI: 10.1001/archpsyc.1961. 01710120031004.
Mumtaz W., Ali S. S. A., Yasin M. A. M., Malik A. S. A machine learning framework involving EEG-based functional connectivity to diagnose major depressive disorder (MDD) // Medical & biological engineering & computing. 2018. Vol. 56, no. 2. P. 233-246. DOI: 10.1007/s11517-017-1685-z.
Gramfort A., Luessi M., Larson E., Engemann D. A., Strohmeier D., Brodbeck C., Hämäläinen M. MEG and EEG data analysis with MNE-Python // Frontiers in neuroscience. 2013. Vol. 7. P. 267. DOI: 10.3389/fnins.2013.00267.
Mumtaz W., Xia L., Ali S. S.A., Yasin M.A. M., Hussain M., Malik A. S. Electroencephalogram (EEG)-based computer-aided technique to diagnose major depressive disorder (MDD) // Biomedical Signal Processing and Control. 2017. Vol. 31, P. 108-115. DOI: 10.1016/j.bspc.2016.07.006. Stephan K. E., Schlagenhauf F., Huys Q. J., Raman S., Aponte E. A., Brodersen K. H., Rigoux L., Moran R.J., Daunizeau J., Dolan R.J., Friston K.J., Heinz A. Computational neuroimaging strategies for single patient predictions // Neuroimage. 2017. Vol. 145, Part B. P. 180-199. DOI: 10.1016/j.neuroimage.2016.06.038.
de Bardeci M., Ip C. T., Olbrich S. Deep learning applied to electroencephalogram data in mental disorders: A systematic review // Biological Psychology. 2021. Vol. 162. P. 108117. DOI: 10.1016/j.biopsycho.2021.108117.
Rivera M.J., Teruel M.A., Mate A., Trujillo J. Diagnosis and prognosis of mental disorders by means of EEG and deep learning: a systematic mapping study // Artificial Intelligence Review. 2022. Vol. 55. P. 1209-1251. DOI: 10.1007/s10462-021-09986-y.
Mumtaz W., Malik A. S., Ali S.S. A., Yasin M.A.M. P300 intensities and latencies for major depressive disorder detection // 2015 IEEE International Conference on Signal and Image Processing Applications (ICSIPA). 2015. P. 542-545. DOI: 10.1109/ICSIPA.2015.7412250. Mumtaz W., Qayyum A. A deep learning framework for automatic diagnosis of unipolar depression // International journal of medical informatics. 2019. Vol. 132. P. 103983. DOI: 10.1016/j.ijmedinf. 2019.103983.
Acharya U. R., Oh S. L., Hagiwara Y., Tan J. H., Adeli H., Subha D. P. Automated EEG-based screening of depression using deep convolutional neural network // Computer methods and programs in biomedicine. 2018. Vol. 161. P. 103-113. DOI: 10.1016/j.cmpb.2018.04.012. Ay B., Yildirim O., Talo M., Baloglu U.B., Aydin G., Puthankattil S. D., Acharya U.R. Automated
depression detection using deep representation and sequence learning with EEG signals // Journal of medical systems. 2019. Vol. 43. P. 205. DOI: 10.1007/s10916-019-1345-y.
34. Sandheep P., Vineeth S., Poulose M., Subha D. P. Performance analysis of deep learning CNN in classification of depression EEG signals // 2019 IEEE Region 10 Conference (TENCON). 2019. P. 1339-1344. DOI: 10.1109/TENC0N.2019.8929254.
35. Lawhern V.J., Solon A. J., Waytowich N. R., Gordon S. M., Hung C. P., Lance B. J.EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces // Journal of neural engineering. 2018. Vol. 15, no. 5. P. 056013. DOI: 10.1088/1741-2552/aace8c.
36. Cun Y.L., Bottou L., Orr G., Muller K. Efficient backprop. Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg. 2012. P. 9-48. DOI: 10.1007/978-3-642-35289-8_3.
37. Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Duchesnay E. Scikit-learn: Machine learning in Python // The Journal of Machine Learning Research. 2011. Vol. 12. P. 2825-2830.
38. Abadi M., Agarwal A., Barham P., Brevdo E., Chen Z, Citro C., ZhengX. Tensorflow: Large-scale machine learning on heterogeneous distributed systems // arXiv:1603.04467. 2016. Dataset. DOI: 10.48550/arXiv.1603.04467.
39. Kingma D.P., Ba J. Adam: A method for stochastic optimization // arXiv:1412.6980. 2014. Dataset. DOI: 10.48550/arXiv.1412.6980.
40. Hutter F., Lücke J., Schmidt-Thieme L. Beyond manual tuning of hyperparameters // KI-Kunstliche Intelligenz. 2015. Vol. 29, no. 4. P. 329-337. DOI: 10.1007/s13218-015-0381-0.
41. Bergstra J., Bengio Y. Random search for hyper-parameter optimization // Journal of Machine Learning Research. 2012. Vol. 13. P. 281-305.
42. KerasTuner. URL: https://github.com/keras-team/keras-tuner.
43. Lashgari E., Liang D., Maoz U.Data augmentation for deep-learning-based electroencephalography // Journal of Neuroscience Methods. 2020. Vol. 346. P. 108885. DOI: 10.1016/j.jneumeth. 2020.108885.
44. Koppe G., Meyer-Lindenberg A., Durstewitz D. Deep learning for small and big data in psychiatry // Neuropsychopharmacology Reviews. 2021. Vol. 46. P. 176-190. DOI: doi.org/10.1038/s41386-020-0767-z.
45. Durstewitz D., Koppe G., Meyer-Lindenberg A. Deep neural networks in psychiatry // Molecular Psychiatry. 2019. Vol. 24. P. 1583-1598. DOI: doi.org/10.1038/s41380-019-0365-9.
46. Zhang Z., Lin W., Liu M., Mahmoud M.. Multimodal Deep Learning Framework for Mental Disorder Recognition // 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020), Buenos Aires, Argentina. 2020. P. 344-350. DOI: 10.1109/FG47880.2020. 00033.
References
1. Rajpurkar P, Chen E, Banerjee O, Topol EJ. AI in health and medicine. Nature medicine. 2022;28(1):31-38. DOI: 10.1038/s41591-021-01614-0.
2. Abersek B, Flogie A, Pesek I. AI and Cognitive Modelling for Education. Springer Nature; 2023. 230 p. DOI: 10.1007/978-3-031-35331-4.
3. Karpov OE, Pitsik EN, Kurkin SA, Maksimenko VA, Gusev AV, Shusharina NN, Hramov AE. Analysis of Publication Activity and Research Trends in the Field of AI Medical Applications: Network Approach. International Journal of Environmental Research and Public Health. 2023; 20(7):5335. DOI: 10.3390/ijerph20075335.
4. Karpov OE, Hramov AE. Information technologies, computing systems and artificial intelligence in medicine. M.: DPK Press. 2022. 480 p (in Russian).
5. Tondo G, De Marchi F.. From biomarkers to precision medicine in neurodegenerative diseases: Where are we? Journal of Clinical Medicine. 2022;11(15):4515. DOI: 10.3390/jcm11154515.
6. Strafella C, Caputo V, Galota MR, Zampatti S, Marella G, Mauriello S, Cascella R, Giardina E. Application of precision medicine in neurodegenerative diseases. Frontiers in neurology. 2018;9:701. DOI: 10.3389/fneur.2018.00701.
7. Chepurova A, Hramov A, Kurkin S. Motor Imagery: How to Assess, Improve Its Performance, and Apply It for Psychosis Diagnostics. Diagnostics. 2022;12(4):949. DOI: 10.3390/diagnostics1204094.
8. Zhang Sh, Zhao H, Wang W, Wang Zh, Luo X, Hramov A, Kurths J. Edge-centric effective connection network based on muti-modal MRI for the diagnosis of Alzheimer's disease. Neurocomputing. 2023;552:126512. DOI: 10.1016/j.neucom.2023.126512.
9. Andreev AV, Kurkin SA, Stoyanov D, Badarin AA, Paunova R, Hramov AE. Toward interpretability of machine learning methods for the classification of patients with major depressive disorder based on functional network measures. Chaos. 2023;33(6):063140. DOI: 10.1063/5.0155567.
10. Sysoeva O, Maximenko V, Kuc A, Voinova V, Martynova O, Hramov A. Abnormal spectral and scale-free properties of resting-state EEG in girls with Rett syndrome. Scientific Reports. 2023;13:12932. DOI: 10.1038/s41598-023-39398-7.
11. Law ZK, Todd C, Mehraram R, Schumacher J, Baker MR, LeBeau FE, Yarnall A, Onofrj M, Bonanni L, Thomas A, Taylor JP. The role of EEG in the diagnosis, prognosis and clinical correlations of dementia with Lewy bodies—a systematic review. Diagnostics. 2020;10(9):616. DOI: 10.3390/diagnostics10090616.
12. Schj0nning Nielsen M, Simonsen AH, Siersma V, Engedal K, Jelic V, Andersen BB, Naik M, Hasselbalch SG, H0gh P. Quantitative electroencephalography analyzed by statistical pattern recognition as a diagnostic and prognostic tool in mild cognitive impairment: results from a nordic multicenter cohort study. Dementia and Geriatric Cognitive Disorders Extra. 2019;8(3):426-438. DOI: 10.1159/000490788.
13. Gouw AA. Clinical appications of EEG/MEG in AD: diagnosis, prognosis and treatment monitoring. Alzheimer's & Dementia. 2023;19(S12):e073238. DOI: 10.1002/alz.073238.
14. Torres-Simon L, Doval S, Nebreda A, Llinas SJ, Marsh EB, Maestu F. Understanding brain function in vascular cognitive impairment and dementia with EEG and MEG: A systematic review. NeuroImage: Clinical. 2019;35:103040. DOI: 10.1016/j.nicl.2022.103040.
15. Yahata N, Kasai K, Kawato M. Computational neuroscience approach to biomarkers and treatments for mental disorders. Psychiatry and clinical neurosciences. 2016;71(4):215-237. DOI: 10.1111/pcn.12502.
16. Karpov OE, Hramov AE. Prognostic medicine. Physician and information technologies. 2021;3: 20-37 (in Russian). DOI: 10.25881/18110193_2021_3_20.
17. Pitsik EN, Maximenko VA, Kurkin SA, Sergeev AP, Stoyanov D, Paunova R, Kandilarova S, Simeonova D, Hramov AE. The topology of fMRI-based networks defines the performance of a graph neural network for the classification of patients with major depressive disorder. Chaos, Solitons & Fractals. 2023;167:113041. DOI: 10.1016/j.chaos.2022.113041
18. Boronina A, Maksimenko V, Hramov AE. Convolutional Neural Network Outperforms Graph Neural Network on the Spatially Variant Graph Data. Mathematics. 2023;11(11):2515. DOI: 10.3390/math11112515
19. Mumtaz W. MDD Patients and Healthy Controls EEG Data (New). figshare. 2016. Dataset. DOI: 10.6084/m9.figshare.4244171.v2
20. Cavanagh J. EEG: Depression rest. OpenNeuro. 2021. Dataset. DOI: 10.18112/openneuro. ds003478.v1.1.0
21. Cai H, Yuan Z., Gao Y, Sun S, Li N, Tian F, Xiao H, Li J, Yang Z, Li X, Zhao Q, Liu Z, Yao Z, Yang M, Peng H, Zhu J, Zhang X, Gao G, Zheng F, Li R, Guo Z, Ma R, Yang J, Zhang L,
Hu X, Li Y, Hu B. MODMA dataset: a Multi-modal Open Dataset for Mental-disorder Analysis. arXiv:2002.09283. 2020. Dataset. DOI: 10.48550/arXiv.2002.09283.
22. MODMA Dataset. URL: http://modma.lzu.edu.cn/data/application/.
23. Beck AT, Ward C, Mendelson M, Mock J, Erbaugh J. An inventory for measuring depression. Archives of general psychiatry. 1961;4(6):561-571. DOI: 10.1001/archpsyc.1961.01710120031004.
24. Mumtaz W, Ali SSA, Yasin MAM, Malik AS. A machine learning framework involving EEG-based functional connectivity to diagnose major depressive disorder (MDD). Medical & biological engineering & computing. 2018. Vol. 56, no. 2. P. 233-246. DOI: 10.1007/s11517-017-1685-z.
25. Gramfort A, Luessi M, Larson E, Engemann DA, Strohmeier D, Brodbeck C, Hämäläinen M. MEG and EEG data analysis with MNE-Python. Frontiers in neuroscience. 2013;7:267. DOI: 10.3389/fnins.2013.00267.
26. Mumtaz W, Xia L, Ali SSA, Yasin MAM, Hussain M, Malik AS. Electroencephalogram (EEG)-based computer-aided technique to diagnose major depressive disorder (MDD). Biomedical Signal Processing and Control. 2017;31:108-115. DOI: 10.1016/j.bspc.2016.07.006.
27. Stephan KE, Schlagenhauf F, Huys QJ, Raman S, Aponte EA, Brodersen KH, Rigoux L, Moran RJ, Daunizeau J, Dolan RJ, Friston KJ, Heinz A. Computational neuroimaging strategies for single patient predictions. Neuroimage. 2017;145(Part B):180-199. DOI: 10.1016/j.neuroimage.2016. 06.038.
28. de Bardeci M, Ip CT, Olbrich S. Deep learning applied to electroencephalogram data in mental disorders: A systematic review. Biological Psychology. 2021;162:108117. DOI: 10.1016/ j.biopsycho.2021.108117.
29. Rivera MJ, Teruel MA, Mate A, Trujillo J. Diagnosis and prognosis of mental disorders by means of EEG and deep learning: a systematic mapping study. Artificial Intelligence Review. 2022;55:1209-1251. DOI: 10.1007/s10462-021-09986-y.
30. Mumtaz W, Malik AS., Ali SSA, Yasin MAM. P300 intensities and latencies for major depressive disorder detection. 2015 IEEE International Conference on Signal and Image Processing Applications (ICSIPA). 2015;542-545. DOI: 10.1109/ICSIPA.2015.7412250.
31. Mumtaz W, Qayyum A. A deep learning framework for automatic diagnosis of unipolar depression. International journal of medical informatics. 2019;132:103983. DOI: 10.1016/j.ijmedinf.2019. 103983.
32. Acharya UR, Oh SL, Hagiwara Y, Tan JH, Adeli H, Subha DP. Automated EEG-based screening of depression using deep convolutional neural network. Computer methods and programs in biomedicine. 2018;161:103-113. DOI: 10.1016/j.cmpb.2018.04.012.
33. Ay B, Yildirim O, Talo M, Baloglu UB, Aydin G, Puthankattil SD, Acharya UR. Automated depression detection using deep representation and sequence learning with EEG signals. Journal of medical systems. 2019;43:205. DOI: 10.1007/s10916-019-1345-y.
34. Sandheep P, Vineeth S, Poulose M, Subha DP. Performance analysis of deep learning CNN in classification of depression EEG signals. 2019 IEEE Region 10 Conference (TENCON). 2019;1339-1344. DOI: 10.1109/TENCON.2019.8929254.
35. Lawhern VJ, Solon AJ, Waytowich NR, Gordon SM, Hung CP, Lance BJ. EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces. Journal of neural engineering. 2018;15(5):056013. DOI: 10.1088/1741-2552/aace8c.
36. Cun YL, Bottou L, Orr G, Muller K. Efficient backprop. Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg. 2012;9-48. DOI: 10.1007/978-3-642-35289-8_3.
37. Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O, Duchesnay E. Scikit-learn: Machine learning in Python. The Journal of Machine Learning Research. 2011;12:2825-2830.
38. Abadi M, Agarwal A, Barham P, Brevdo E, Chen Z, Citro C, Zheng X. Tensorflow: Large-scale machine learning on heterogeneous distributed systems. arXiv:1603.04467. 2016. Dataset. DOI: 10.48550/arXiv.1603.04467.
39. Kingma DP, Ba J. Adam: A method for stochastic optimization. arXiv:1412.6980. 2014. Dataset. DOI: 10.48550/arXiv.1412.6980.
40. Hutter F, Lücke J, Schmidt-Thieme L. Beyond manual tuning of hyperparameters. KI-Künstliche Intelligenz. 2015;29(4):329-337. DOI: 10.1007/s13218-015-0381-0.
41. Bergstra J, Bengio Y. Random search for hyper-parameter optimization. Journal of Machine Learning Research. 2012;13:281-305.
42. KerasTuner. URL: https://github.com/keras-team/keras-tuner.
43. Lashgari E, Liang D, Maoz U. Data augmentation for deep-learning-based electroencephalography. Journal of Neuroscience Methods. 2020;346:108885. DOI: 10.1016/j.jneumeth.2020.108885.
44. Koppe G., Meyer-Lindenberg A., Durstewitz D. Deep learning for small and big data in psychiatry // Neuropsychopharmacology Reviews. 2021. Vol. 46. P. 176-190. DOI: doi.org/10.1038/s41386-020-0767-z.
45. Durstewitz D, Koppe G, Meyer-Lindenberg A. Deep neural networks in psychiatry. Molecular Psychiatry. 2019;24:1583-1598. DOI: doi.org/10.1038/s41380-019-0365-9.
46. Zhang Z, Lin W, Liu M, Mahmoud M.. Multimodal Deep Learning Framework for Mental Disorder Recognition. 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020), Buenos Aires, Argentina. 2020;344-350. DOI: 10.1109/FG47880. 2020.00033.
Шушарина Наталья Николаевна — заведующая кафедрой управления исследованиями и разработками и руководитель научной группы технологий человек-машинного взаимодействия Балтийского федерального университета имени Иммануила Канта. Кандидат педагогических наук (2013, Российский государственный педагогический университет имени А. И. Герцена). С 2014 года получает гранты и ведет исследования в области нейротехнологий и машинного обучения. Специализируется в области физики и информатики, на разработке автономных портативных телеметрических модульных устройств на основе регистрации комплекса физиологических параметров для диагностики, контроля и коррекции психофизиологических состояний нервной системы человека с использованием технологий нейробиоуправления, интерфейсов «мозг-компьютер» и искусственных нейронных сетей. Область научных интересов: создание и применение методов машинного обучения для решения задач, связанных с повышением эффективности взаимодействия человека и электронных устройств в системах «человек-машина-человек», составляющих основу современных технологий. Автор более 50 статей, опубликованных в рецензируемых научных журналах, имеет более 20 патентов.
Россия, 236041 Калининград, ул. А. Невского, 14 Балтийский федеральный университет имени Иммануила Канта E-mail: nshusharina@kantiana.ru
ORCID: 0000-0002-8848-6134 AuthorlD (eLibrary.Ru): 687638
