CC BY
0
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Научный обзор УДК 004.8:159.91 https://doi.org/10.21702/rpj.2024.1.4
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев1*, Мария А. Ситникова1'23, Александр А. Слетов1, Андрей В. Ситников4, Сергей Б. Малых3
1 Белгородский государственный национальный исследовательский университет, Белгород, Российская Федерация
2 Научно-проектный центр когнитивных нейронаук и нейротехнологий, Белгородский государственный национальный исследовательский университет, Белгород, Российская Федерация
3 Федеральный научный центр психологических и междисциплинарных исследований, Москва, Российская Федерация
4 Московский авиационный институт, Москва, Российская Федерация 'Почта ответственного автора: asadullaev@bsu.edu.ru
Аннотация
Введение. В последнее время все большую популярность для анализа нейрофизиологических данных набирают методы машинного обучения, являющиеся составной частью методов искусственного интеллекта. Для изучения нейрокогнитивных механизмов в настоящее время активно применяют функциональную спектроскопию в ближнем инфракрасном диапазоне (фБИК-спектроскопию). Данная технология регистрации гемодинамических данных обладает рядом преимуществ, таких как точная локализация сигнала, неинвазивность, возможность проводить исследования в естественных условиях, что объясняет растущую популярность технологии среди исследователей. Теоретическое обоснование. Анализ результатов фБИК-спектроскопии зависит от последовательности и выбранных методов предварительной очистки и обработки исходных данных, а также от применяемых моделей для классификации
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
полученных зависимостей. В настоящем обзоре рассмотрены различные методы предварительной обработки и детально проанализированы подходы к классификации данных фБИК-спектроскопии. При предварительной обработке сигнала важным моментом является удаление из исходных данных физиологических артефактов, для чего используются следующие алгоритмы: фильтрация, отбеливание сигнала, метод главных компонент (PCA) и метод независимых компонент (ICA), метод регистрации коротковолновых каналов (short-channel). Для удаления артефактов движения применяются такие методы, как вейвлет-фильтрация (wavelet), сплайн-интерполяция (spline interpolation), фильтрация Калмана. Обсуждение результатов. Обзор направлен на детальное рассмотрение методов машинного обучения, таких как рекуррентные нейронные сети (RNN) и сверточные нейронные сети (CNN), которые применялись в различных исследованиях для анализа данных фБИК-спектроскопии. В обзоре показано, что применение нейронных сетей глубокого обучения позволяет при анализе сигнала фБИК-спектроскопии сократить длительность предварительной обработки сигнала и при этом получить точность, превосходящую точность классических подходов в обработке нейрокогнитивных данных.
Ключевые слова
функциональная БИК-спектроскопия, нейрофизиологические данные, методы машинного обучения, нейронные сети глубокого обучения, сверточные нейронные сети, рекуррентные нейронные сети
Финансирование
Исследование выполнено при финансовой поддержке Российского научного фонда, проект No 22-28-02030 (2022-2023) «Нейрокогнитивные механизмы символических числовых навыков»
Для цитирования
Асадуллаев, Р. Г., Ситникова, М. А., Слетов, А. А., Ситников А. В., Малых, С. Б. (2024). Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне. Российский психологический журнал, 21(1), 67-86. https://doi.org/10.21702/rpj.2024.1.4
Введение
В настоящее время существует несколько способов регистрации данных активности головного мозга в нейрокогнитивных исследованиях. Способы регистрации
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев, мария А. ситниковА, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
нейрофизиологических данных принято делить на инвазивные (считывающие данные непосредственно с коры головного мозга или из его структур с внедрением в ткани мозга электродов, считывающих устройств и т.д.) и неинвазивные (считывающие данные с поверхности головы человека без внедрения внешних устройств, электродов в ткани мозга). Для неинвазивного получения сигналов мозговой активации используются следующие методы: электроэнцефалография (ЭЭГ) (Light et al., 2010); магнитоэнцефалография (МЭГ) (Cohen, 1968); функциональная магнитно-резонансная томография (фМРТ) (Селиверстов, Селиверстова, Коновалов, Котенкова, Иллариошкин, 2014); функциональная спектроскопия в ближнем инфракрасном диапазоне (фБИК-спектроскопии) (Scholkmann et al., 2014; Pinti et al., 2018; Quaresima & Ferrari, 2019).
Функциональная БИК-спектроскопия регистрирует изменения кровотока локальных капиллярных сетей, которые обусловлены активацией нейронов головного мозга. Данный метод использует сигналы в ближнем инфракрасном диапазоне в коре головного мозга для выявления изменений концентрации гемоглобина. Различают два типа хромофора гемоглобина: оксигемоглобин (HbO2) - кислородо-насыщенный, идезоксигемоглобин (HHb) - свободный от кислорода. Функциональная БИК-спектроскопия или fNIRS-томография - современная, неинвазивная технология для измерения концентрации оксигемоглобина, дезоксигемоглобина и общего гемоглобина (Sitnikova & Malykh, 2021). Технология фБИК-спектроскопии основывается на двух главных принципах: ткани человека относительно прозрачны для света в ближнем ИК-диапазоне; гемоглобин - самый крупный абсорбент света в ближнем ИК-диапазоне. В этом диапазоне оксигемоглобин и дезоксигемоглобин способны демонстрировать кислородо-зависимую абсорбцию, при этом она отличается для волн разной длины (Chen et al., 2020).
В последнее время популярность применения технологий машинного обучения в психофизиологии возросла. В частности, в мировой науке технологии машинного обучения активно применяют к анализу сигнала фБИК-спектроскопии, как в нейрокогнитивных исследованиях, так и для применения в интерфейсах мозг-компьютер.
Теоретическое обоснование
Предварительная обработка нейрофизиологических данных с помощью технологий машинного обучения
В зависимости от типа проводимого исследования и применяемого метода машинного обучения для построения модели может быть применен различный набор методов и параметров очистки и преобразования сигнала. Однако, существует единообразная последовательность преобразований исходного сигнала
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
(волн различной длины), который преобразуется сначала в оптическую плотность сигнала, и далее в концентрацию окси- и деокси- гемоглобина. Преобразование в общий гемоглобин не является обязательным. Множественные источники помех сигнала могут усложнить интерпретацию сигнала и представляют собой серьезную проблему.
Источники шума могут включать движение головы, изменение индекса прилегания оптодов (источников и детекторов) к коже головы (SCI индекс, scalp coupling index) и изменения кровотока, не связанные с активностью нейронов. Так, например, частота сердечных сокращений может быть зарегистрирована фБИК-спектроскопией и присутствовать в нейрофизиологическом сигнале. Возникает это вследствие того, что волны ближнего инфракрасного диапазона сначала проходят через мозговые оболочки, череп и скальп, и физиологические изменения в этих тканях могут вызывать изменения в поглощении света между источником и детектором, которые не связаны с функциональными изменениями активности нейронов (Osharina, Ponchel, Aarabi, Grebe & Wallois, 2010). Источники физиологического шума, присутствующие в фБИК-спектроскопии, включают частоту сердечных сокращений, колебания артериального давления, частоту дыхания и кровоток в коже головы. Удаление физиологического шума возможно при помощи цифровой фильтрации, предварительного отбеливания, адаптивной фильтрации. При устранении физиологического шума сигнала фБИК-спектроскопии также применяют такие методы, как анализ главных компонент (PCA) и анализ независимых компонент (ICA). В последнее время все чаще дополнительно используют метод регистрации коротковолновых каналов, который позволяет измерить активацию на поверхности головы (Brigadoi & Cooper, 2015). Каждый источник биологического шума характеризуется собственным диапазоном частот в регистрируемом сигнале (Cordes et al., 2001; Blanco, Molnar & Caballero-Gaudes, 2018). Следовательно, цифровая фильтрация позволяет уменьшить и/или полностью устранить влияние источников шума, возникающих на частотных диапазонах, отличных от частотных диапазонов полезного сигнала, отражающего активность мозга на целевую задачу (Cordes et al., 2001; Liu, Ayaz & Shewokis, 2017). При этом колебания артериального давления (0,08-0,12 Гц) и частота сердечных сокращений в покое (1-1,5 Гц), как правило, пересекаются с частотным диапазоном сигнала мозговой активации, связанной с задачей (Huppert, 2016).
Помимо фильтрации сигнала доступно удаление физиологических шумов посредством предварительного отбеливания сигнала (Blanco et al., 2018). Отбеливание сигнала используется для удаления автокоррелированных сигналов, таких как частота сердечных сокращений. Данная процедура реализуется посредством декорреляции физиологических сигналов, не связанных с задачей (Barker, Aarabi, & Huppert, 2013). В некоторых работах (Blanco et al., 2018, Barker, Aarabi, & Huppert, 2013) авторы определили коэффициенты фильтра предварительного отбеливания, используя итеративную авторегрессионную модель для уменьшения
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
остаточной ошибки в связанной с заданием деятельности, оцененной на основе анализа общей линейной модели (general linear modelling, GLM) (Luke et al., 2021; Yücel et al., 2021). Стоит отметить, что процедура предварительного отбеливания чувствительна к двигательным артефактам (Blanco et al., 2018). Таким образом, перед применением данной процедуры необходимо удалить из сигнала артефакты движения.
Еще одним источником помех сигнала фБИК-спектроскопии является глобальный кровоток в коже головы. Для удаления помех, связанных с кровотоком кожи головы, применяют метод главных компонент PCA (Zhang, Noah & Hirsch, 2016). Эффективность применения PCA обоснована при наличии одного доминирующего источника вариаций. Если же в сигнале присутствует несколько источников, значительно влияющих на общую вариацию сигнала, то PCA может не дать необходимого эффекта (Zhang, Noah & Hirsch, 2016). Другим вариантом устранения из сигнала составляющей глобального кровотока может быть применение метода независимых компонентов ICA (Hyvärinen & Oja, 2000). Так, например, ICA применялся для устранения глобального кровотока во время Gate-экспериментов за счет использования временной когерентности между каналами для выявления больших компонентов сигнала с высоким коэффициентом пространственной однородности (Kohno et al., 2007).
Усовершенствование технологии фБИК-спектроскопии привело к созданию коротковолновых каналов (расстояние между источником и детектором ~8 мм), которые используются для измерения и удаления из анализа данных кровотока кожи головы (Gagnon, Yücel, Boas & Cooper, 2014; Funane et al., 2015; Nguyen, Yoo, Bhutta & Hong, 2018). Малые расстояния препятствуют проникновению света на поверхность коры, что ограничивает измерения кровотока в коже головы. Таким образом, добавление коротковолновых каналов в качестве регрессора в модель фБИК-спектроскопии позволяет уменьшить шумы в нейрофизиологическом сигнале от кровотока кожи головы.
Еще одним источником типичного шума в сигнале фБИК-спектроскопии выступают артефакты движения, возникающие при разговоре или движениях лица, головы и/или верхней части тела (Izzetoglu, Chitrapu, Bunce & Onaral, 2010; Jahani, Setarehdan, Boas & Yücel, 2018). Движение вызывает смещение оптода, что приводит к резким высокочастотным пикам, дрейфу медленных волн или сдвигу базовой линии сигнала фБИК-спектроскопии (Jahani et al., 2018). Для удаления артефактов движения применяются такие методы, как вейвлет-фильтрация (wavelet), сплайн-интерполяция (spline interpolation), фильтрация Калмана. В частности, методы на основе вейвлета разделяют сигнал фБИК-спектроскопии на вейвлет-коэффициенты и удаляют те из них, которые выходят за рамки предопределенного распределения (Molavi & Dumont, 2012; Robertson, Douglas & Meintjes, 2010). Методы сплайновой интерполяции моделируют артефакты движения как ряд сплайн-функций и вычитают их из данных, достигая при этом значительного снижения ошибки
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
(Scholkmann, Spichtig, Muehlemann & Wolf, 2010). В исследовании (Jahani et al., 2018) авторы показали, что сочетание сплайн-интерполяции с фильтром Савицкого-Голея позволяет скорректировать сдвиги базовой линии и высокочастотные пики без удаления дополнительных артефактов из сигнала (Jahani et al., 2018).
Получение признаков и аугментация входных данных перед анализом методами искусственного интеллекта
После этапов предварительной обработки сигнала фБИК-спектроскопии формируются временные ряды оксигемоглобина, дезоксигемоглобина и общего изменения гемоглобина. В зависимости от выбранного похода, исследовательская группа решает, какую комбинацию сигналов использовать для дальнейшего анализа. На рисунке 1 представлены различные варианты преобразования временных рядов окси- и дезокси-гемоглобина перед анализом математическими методами или обучением моделей машинного обучения (Eastmond, Subedi & Intes, 2022).
Рисунок 1
Варианты извлечения признаков из образцов сигнала (Eastmond, Subedi & Intes, 2022)
Исследователи применяют следующие подходы для преобразования сигнала перед подачей на модели:
1. Дискретное распределение вероятностей изменений концентрации и извлечение статистических признаков (среднее значение, наклон, дисперсия, асимметрия, эксцесс, максимум и другие). Статистические характеристики описывают временной ряд окси- дезокси-гемоглобина и вбирают в себя отличительные признаки ряда. Проблема данного подхода заключается в том, что исследователи сами определяют множество доступных признаков, которые будет анализировать модель. Такой подход оправдан при применении
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
методов машинного обучения, таких как рандомные леса или машины опорных векторов. Однако, для нейронных сетей подобный подход не оправдан, так как исследователь лишает нейронную сеть возможности самостоятельно смоделировать оригинальные признаки из исходного сигнала. 2. Другой подход заключается в том, что на модель машинного обучения подаются либо данные в виде пространственной карты (Tanveer, Khan, Qureshi, Naseer & Hong, 2019; Ghonchi et al., 2020a; Saadati, Nelson & Ayaz, 2019), либо исходные временные ряды. Так, в некоторых исследованиях сегменты данных преобразуются к виду грамианских угловых полей (Gao et al., 2020) или карты спектрограмм (Chhabra, Shajil & Venkatasubramanian, 2020). Данный подход позволяет методам машинного обучения, в частности нейронным сетям глубокого обучения, самостоятельно извлекать признаки из входного сигнала. При этом могут быть сформированы признаки нелинейные и не доступные пониманию исследователя.
Подходы, основанные на ручном извлечении признаков и удалении артефактов, являются проблемой для построения систем обработки сигнала в режиме реального времени, в частности интерфейсов мозг-компьютер. Нейронные сети глубокого обучения способны решить данную проблему при достаточном наборе обучающих данных. При этом методы глубокого обучения могут как быть использованы как самостоятельные классификаторы, так и являться методом извлечения признаков, которые в дальнейшем подаются на модель классификатора. Данный факт обусловлен хорошим распараллеливанием вычислений в нейронных сетях, а также возможностью нейронных сетей изучать и извлекать уникальные карты признаков. Так в работе Tanveer и соавторов (2019) использовали нейронные сети глубокого обучения для извлечения признаков, которые подавались на классификатор K-ближайших соседей.
Некоторые исследователи подают на классификатор исходные необработанные данные. В данных подходах нейронная сеть извлекает карты признаков, на основании которых слои классификации распознают паттерны мозговой активности. Авторским коллективом в исследовании (Rojas, Romero, Lopez-Aparicio & Ou, 2020) необработанные данные фБИК-спектроскопии подавались на вход нейронной сети LSTM, которая достигла точности классификации 90,6%. В исследовании по оценке методов для удаления артефактов движения (Kim, Lee, Dan & Tak, 2022) авторы сравнивали сверточные нейронные сети с вейвлет-шумоподавлением и методом авторегрессионного шумоподавления. В результате было выявлено, что среднеквадратичная ошибка примерно в два раза ниже по сравнению с лучшей комбинацией методов вейвлета и авторегрессионного шумоподавления. Настоящие исследования подтверждают, что нейронные сети глубокого обучения способны классифицировать паттерны мозговой активности на основании сырых необработанных данных фБИК-спектроскопии, минуя затратные этапы очистки данных и извлечения признаков. Стоит отметить, что данное направление находится
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
на стадии активного исследования и продемонстрировало эффективность на отдельных задачах.
Нейрофизиологические исследования характеризуются малыми выборками наблюдений. Для эффективного применения нейронных сетей глубокого обучения требуются большие выборки исходных данных. Именно большие выборки данных позволяют методам машинного обучения формировать обобщающую способность классификаторов на генеральной выборке данных. В связи с этим в последнее время проявляется интерес исследователей к процессу создания больших данных фБИК-спектроскопии (генерация искусственных данных фБИК-спектроскопии) с применением нейронных сетей. Генерируемые данные основываются на исходном наборе данных, но при этом отличаются от исходных. Для решения такой задачи применяют генеративно-состязательные нейронные сети (GAN). Так, в исследовании (Wickramaratne & Mahmud, 2021) авторы использовали GAN для расширения набора данных фБИК-спектроскопии. При обучении CNN на реально собранных данных была достигнута точность 80%. Расширив набор данных синтетическими с применением GAN, обученный классификатор CNN достиг точности 96,67%. Аналогичный эффект был получен в работе (Woo, Kang & Hong, 2020). Здесь добавление синтетических данных позволило увеличить точность классификатора CNN до 97% с 92% на реальных данных.
Методы искусственного интеллекта для анализа данных фБИК-спектроскопии
Сигнал фБИК-спектроскопии преобразуется в концентрацию оксигемоглобина и дезоксигемоглобина, которые в свою очередь представляют собой многомерный временной ряд. Многомерность обеспечивается за счет множества каналов, установленных на поверхности головы. Основная идея современных нейросетевых архитектур заключается в решении сложных задач с минимизацией числа параметров для обучения сети за счет оригинальных структурных подходов.
Несмотря на современные достижения в области машинного обучения, некоторые авторы продолжают использовать нейронные сети типа многослойный персептрон (MLP). Так, в работе (Naseer, Qureshi, Noori & Hong, 2016) проводился сравнительный анализ точности классификации многослойного персептрона и методов kNN, Naive Bayes, SVM, LDA и QDA. Для задачи умственной нагрузки классификатор MLP достиг точности 96% и незначительно превзошел некоторые классификаторы, такие как QDA, Naive Bayes и SVM. Однако в исследовании использовались подходы по предварительному извлечению признаков для классификаторов. В исследовании (Erdogan et al., 2019) также использовался MLP с предварительно отобранными признаками фБИК-спектроскопии для классификации воображаемых движений, и была достигнута точность 96,3% между постукиванием пальца и отдыхом.
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Рекуррентные нейронные сети (RNN) специализируются на обработке последовательностей, таких как временные ряды, в которых важна хронология событий. Это достигается за счет наличия циклов, позволяющих передавать информацию с последующего шага на предыдущие. Таким образом, организуется обработка текущих данных совместно с уже обработанными на предыдущих шагах. Проблема подобных архитектур заключается в краткосрочности памяти, а именно отсутствует возможность подачи в сеть длительных последовательностей с сохранением связи между данными. Решением стала архитектура нейронной сети LSTM (долгая краткосрочная память) (Hochreiter & Schmidhuber, 1997; Graves, 2012; Van Houdt, Mosquera & Nâpoles, 2020).
В работе Asgher и соавторов (2020) решалась задача анализа умственной нагрузки с применением LSTM, которая достигла точности 89,31%. Hamid и др. (Hamid et al., 2022) анализировали отличие между ходьбой и состоянием покоя на основании LSTM, которая достигла точности 78,97%. Решение этой задачи классическими алгоритмами привело к следующим показателям точности: kNN достиг точности 68,38%, SVM и LDA достигли точности 66,63% и 65,96% соответственно. В исследовании Zhao, Li, Xu & Jin (2019) также применяли LSTM для решения задачи двигательной активности. Точность составила 71,70%, что являлось достойным результатом по сравнению с точностью SVM 66,6% на данной задаче. Авторский коллектив (Wickramaratne & Mahmud, 2020) демонстрирует эффективность применения к данным фБИК-спектроскопии двунаправленной архитектуры глубокого обучения на основе LSTM для классификации задач, включая ментальную арифметику, двигательные образы и состояние бездействия. При этом авторы заявляют, что данный подход позволит уменьшить количество этапов предварительной обработки сигналов, достигая при этом точности классификации 81,48%.
Другим набирающим популярность вариантом анализа данных фБИК-спектроскопии являются сверточные нейронные сети. Изначальная специализация CNN - это обработка изображений. Однако исследования последних лет демонстрируют возможности CNN для обработки временных рядов. Временной ряд представляет собой одномерный вектор, к которому также можно применить свертку в виде одномерного вектора. Например, для классификации временных рядов предлагается многомасштабная сверточная нейронная сеть MCNN (Cui, Chen & Chen, 2016). В MCNN применяются параллельные операции свертки и пулинга как для исходного временного ряда, так и для его преобразований (изменение масштаба и сглаживание ряда). Затем результаты пулинга конкатенируются в один вектор, к которому применяются свертки и пулинг. После чего результаты подаются на полносвязный слой и на слой классификации softmax (рис. 2). Подобный подход позволяет извлекать особенности признаков из различных преобразований исходного временного ряда.
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Рисунок 2
Архитектура нейронной сети MCNN (Cui, Chen & Chen, 2016)
Авторы работы (Wang & Oates, 2015) предлагают метод использования CNN для классификации временных рядов посредством преобразования исходного временного ряда в изображение, к которому применяется CNN. Для этого строится две матрицы: GAF (Gramian Angular Field), сохраняющая всю информацию о ряде, кроме исходных границ значений, и MTF (Markov Transition Field), сохраняющая исходные границы ряда и распределение значений ряда. На рисунке 3 представлена структура и параметры нейронной сети для обработки матриц GAF и MTF, предлагаемая авторами работы.
Рисунок 3
Архитектура сети GAF-MTF-CNN (Wang & Oates, 2015)
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Методы, отраженные в архитектурах (рисунок 2, 3), позволяют учитывать различные ключевые аспекты временного ряда при решении задачи классификации. Однако они требуют представление ряда в различных формах для формирования уникальных карт признаков. В частности, матрица GAF преобразует ряд длиной N в матрицу размера NxN. Авторы утверждают, что их подходы могут быть применены и к многомерным рядам.
Решением проблемы увеличения размерности задачи может послужить метод классификации временных рядов, предложенный в работе авторского коллектива, основанный на многоканальных сверточных нейронных сетях глубокого обучения MC-DCNN (Zheng, Liu, Chen, Ge & Zhao, 2014). На рисунке 4 представлена архитектура данной сети. Каждый канал данных (ряд) подается на отдельный вход, к каждому из которых применяется 8 сверток размера 1х5. Затем к результату каждой свертки применяется пулинг (по среднему) размера 1х2. Следующий слой применяет к рядам по 4 свертки размера 1х5 и пулинг (по среднему) размера 1х2. После этого полученные векторы конкатенируются и подаются на полносвязный слой.
Рисунок 4
Архитектура сети MC-DCNN (Zheng et al., 2014)
Таким образом, сверточные нейронные сети демонстрируют возможности по анализу временных рядов. В исследовании (Kwon & Im, 2021) решалась задача классификации мысленного решения арифметических задач. Данные оксигемоглобима и дезоксигемоглобина подавались на CNN, которая достигла точности классификации 71,2%, что превзошло при равных условиях точность 65,74% классификатора LDA. В работе Wickramaratne и Mahmud (2021) также использовали CNN для классификации задачи на ментальную арифметику. Была достигнута точность классификации 87,14%. CNN применялась для решения задачи классификации умственной нагрузки в работе Ho и соавторов (2019). В данном
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
исследовании сигнал преобразовывался к виду спектрограмм и применялись двумерные свертки, что в результате привело к точности классификации 82,77% на данном сложном типе задач. В работе (Hakimi, Jodeiri, Mirbagheri & Setarehdan, 2020) анализировалась задача классификации состояния стресса и покоя. При этом использовалась CNN и достигнута точность 98,69%. При решении задачи классификации моторных движений в работе (Trakoolwilaiwan, Behboodi, Lee, Kim & Choi, 2018) применяемая CNN достигла точности 92,68%. В другой работе авторы исследовали различия между задачами захвата левой и правой рукой (Ortega & Faisal, 2021). При этом предварительно применялся метод PCA для уменьшения размерности данных временных рядов перед подачей на CNN. В результате точность этого исследования составила 77%. Классификация моторных движений значительно усложняется, если движения являются воображаемыми. Так, в исследовании Ma и коллег (2021) для решения такой задачи использовали остаточную нейронную сеть (ResNet), которая достигла точности 98,6%.
Обсуждение результатов
В настоящем обзоре рассмотрены различные методы искусственного интеллекта, в частности методы машинного обучения для анализа гемодинамических данных, полученных с помощью спектроскопии в БИК-диапазоне. Анализ литературы выявил достоинства и недостатки основных методов преобразования исходного сигнала перед подачей на модели. Так, в препроцессинге нейрокогнитивных данных дискретное распределение вероятностей изменений концентрации и извлечение статистических признаков часто применяется для методов рандомных лесов и машины опорных векторов. Тогда как построение пространственных карт или исходных временных рядов позволяет нейронным сетям глубокого обучения самостоятельно извлекать признаки из входного сигнала. В целом, для работы алгоритмов искусственного интеллекта требуются очищенные от шумов данные. Проведенные исследования показали, что при произвольном извлечении признаков и удалении артефактов проблемным является обработка сигнала в режиме реального времени и его дальнейшее использование в интерфейсах мозг-компьютер. При этом с этой задачей легко справляются нейронные сети глубокого обучения при достаточном наборе обучающих данных. Нейронные сети глубокого обучения применяются и как самостоятельные классификаторы, и как методы, позволяющие извлекать признаки, которые в дальнейшем подаются на модель классификатора. Данное направление является перспективным и продолжает активно развиваться. Несмотря на тот факт, что современные методы искусственного интеллекта, такие как нейронные сети глубокого обучения, способны обобщать и интерпретировать исходные «сырые» данные, этап предварительной обработки данных является в остальных случаях необходимым, особенно при наличии малых выборок данных нейрокогнитивных исследований.
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев, мария А. ситниковА, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Важным проблемным моментом в применении нейронных сетей глубокого обучения является необходимость большого набора данных, тогда как в типичных исследованиях нейрокогнитивных механизмов преобладают малые выборки. Возможным решением данной проблемы на современном этапе является создание искусственных данных фБИК-спектроскопии из имеющегося небольшого набора реально собранных данных с помощью генеративно-состязательных нейронных сетей (GAN).
К наиболее распространенным методам анализа преобразованных и очищенных от шумов данных фБИК-спектроскопии относятся сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN), в частности архитектура нейронной сети LSTM (долгая краткосрочная память). Применение таких нейронных сетей глубокого обучения позволило сократить количество этапов предварительной обработки сигнала и получить при этом высокую точность классификации.
Таким образом, применение методов искусственного интеллекта (Orrù et al., 2020), в частности подходов, основанных на глубоком обучении, нашло отражение в решении следующих задач в обработке и анализе нейроданных:
(1) извлечение признаков или увеличение данных (Gao et al., 2022; Lu, et al., 2020; Yücel et al., 2021);
(2) классификация сигнала при построении интерфейсов мозг-компьютер (Dolmans, Poel, van't Klooster & Veldkamp, 2021; Glorot, Bordes & Bengio, 2011; Dargazany, Abtahi & Mankodiya, 2019; Saadati, Nelson & Ayaz, 2019);
(3) анализ нейрокогнитивных механизмов (Tanveer et al., 2019; Gao et al., 2020; Ma et al., 2020; Wang et al., 2021; Sirpal et al., 2019; Xu et al., 2019; Yang et al., 2020; Ortega & Faisal, 2021; Ghonchi et al., 2020b; Chiarelli et al., 2018; Sun et al., 2020; Cooney, Folli & Coyle, 2021).
Выводы
Основными результатами теоретического анализа по проблеме применения технологий машинного обучения для обработки и анализа нейрофизиологических данных являются следующие утверждения:
• иерархическая природа нейронных сетей глубокого обучения означает, что признаки потенциально могут быть изучены на необработанных или минимально предварительно обработанных данных, что снижает потребность в конвейерах обработки и извлечения признаков для анализа данных фБИК-спектроскопии;
• признаки, полученные с помощью нейронных сетей глубокого обучения, также могут более точно отражать реальные процессы в головном мозге, происходящие в процессе выполнения определенных задач, чем те, которые созданы вручную с применением классических подходов;
• методы глубокого обучения могут обеспечить более высокий уровень производительности при выполнении задач анализа данных фБИК-спектроскопии.
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Литература
Селивёрстов, Ю. А., Селивёрстова, Е. В., Коновалов, Р. Н., Котенкова, М. В., & Иллариошкин, С. Н. (2014). Функциональная магнитно-резонансная томография покоя: возможности и будущее метода. Бюллетень Национального общества по изучению болезни Паркинсона и расстройств движений, (1), 16-19.
Asgher, U., Khalil, K., Khan, M. J., Ahmad, R., Butt, S. I., Ayaz, Y.....& Nazir, S. (2020). Enhanced
accuracy for multiclass mental workload detection using long short-term memory for brain-computer interface. Frontiers in neuroscience, 14, 584. https://doi.org/10.3389/ fnins.2020.00584
Barker, J. W., Aarabi, A., & Huppert, T. J. (2013). Autoregressive model-based algorithm for correcting motion and serially correlated errors in fNIRS. Biomedical optics express, 4(8), 1366-1379.
Benerradi, J., A. Maior, H., Marinescu, A., Clos, J., & L. Wilson, M. (2019, November). Exploring machine learning approaches for classifying mental workload using fNIRS data from HCI tasks. In Proceedings of the Halfway to the Future Symposium 2019 (pp. 1-11). https://doi. org/10.1145/3363384.3363392 Blanco, B., Molnar, M., & Caballero-Gaudes, C. (2018). Effect of prewhitening in resting-state functional near-infrared spectroscopy data. Neurophotonics, 5(4), 040401-040401. https://doi.org/10.1117/1.NPh.5.4.040401 Brigadoi, S., & Cooper, R. J. (2015). How short is short? Optimum source-detector distance for short-separation channels in functional near-infrared spectroscopy. Neurophotonics, 2(2), 025005-025005. https://doi.org/10.1117/1.NPh.2.2.025005
Chen, W. L., Wagner, J., Heugel, N., Sugar, J., Lee, Y. W., Conant, L..... & Whelan, H. T.
(2020). Functional near-infrared spectroscopy and its clinical application in the field of neuroscience: advances and future directions. Frontiers in neuroscience, 14, 724. https:// doi.org/10.3389/fnins.2020.00724 Chhabra, H., Shajil, N., & Venkatasubramanian, G. (2020). Investigation of deep convolutional neural network for classification of motor imagery fNIRS signals for BCI applications. Biomedical Signal Processing and Control, 62, 102133. https://doi. org/10.1016/j.bspc.2020.102133 Chiarelli, A. M., Croce, P., Merla, A., & Zappasodi, F. (2018). Deep learning for hybrid EEG-fNIRS brain-computer interface: application to motor imagery classification. Journal of neural engineering, 15(3), 036028. https://doi.org/10.1088/1741-2552/aaaf82 Cohen, D. (1968). Magnetoencephalography: evidence of magnetic fields produced by alpha-rhythm currents. Science, 161(3843), 784-786. https://doi.org/10.1126/ science.161.3843.784
Cooney, C., Folli, R., & Coyle, D. (2021). A bimodal deep learning architecture for EEG-fNIRS decoding of overt and imagined speech. IEEE Transactions on Biomedical Engineering, 69(6), 1983-1994. https://doi.org/10.1109/TBME.2021.3132861 Cordes, D., Haughton, V. M., Arfanakis, K., Carew, J. D., Turski, P. A., Moritz, C. H., ... & Meyerand, M. E. (2001). Frequencies contributing to functional connectivity in the cerebral cortex in "resting-state" data. American Journal of Neuroradiology, 22(7), 1326-1333. Cui, Z., Chen, W., & Chen, Y. (2016). Multi-scale convolutional neural networks for time series classification. arXivpreprint arXiv:1603.06995. https://doi.org/10.48550/arXiv.1603.06995 Dargazany, A. R., Abtahi, M., & Mankodiya, K. (2019). An end-to-end (deep) neural network applied to raw EEG, fNIRs and body motion data for data fusion and BCI classification task without any pre-/post-processing. arXiv preprint arXiv:1907.09523. https://doi. org/10.48550/arXiv.1907.09523
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев, мария А. ситниковА, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Dolmans, T. C., Poel, M., van't Klooster, J. W. J., & Veldkamp, B. P. (2021). Perceived mental workload classification using intermediate fusion multimodal deep learning. Frontiers in human neuroscience, 14, 609096. https://doi.org/10.3389/fnhum.2020.609096 Eastmond, C., Subedi, A., De, S., & Intes, X. (2022). Deep learning in fNIRS: a review. Neurophotonics, 9(4), 041411. https://doi.org/https://doi.org/10.1117/1. NPh.9.4.041411
Erdogan, S. B., Ozsarfati, E., Dilek, B., Kadak, K. S., Hanoglu, L., & Akin, A. (2019). Classification of motor imagery and execution signals with population-level feature sets: implications for probe design in fNIRS based BCI. Journal of neural engineering, 16(2), 026029. https://doi. org/10.1088/1741-2552/aafdca Funane, T., Sato, H., Yahata, N., Takizawa, R., Nishimura, Y., Kinoshita, A., ... & Kiguchi, M. (2015). Concurrent f NI RS-f MRI measurement to validate a method for separating deep and shallow fNIRS signals by using multidistance optodes. Neurophotonics, 2(1), 015003015003. https://doi.org/10.1117/1.NPh.2.1.015003 Gagnon, L.,Yucel, M.A., Boas, D.A., & Cooper, R.J. (2014). Furtherimprovement in reducing superficial contamination in NIRS using double short separation measurements. Neuroimage, 85, 127-135. https://doi.org/10.1016/j.neuroimage.2013.01.073 Gao, Y., Chao, H., Cavuoto, L., Yan, P., Kruger, U., Norfleet, J. E., ... & Intes, X. (2022). Deep learning-based motion artifact removal in functional near-infrared spectroscopy. Neurophotonics, 9(4), 041406-041406. https://doi.org/10.1117/1.NPh.9.4.041406 Gao, Y., Yan, P., Kruger, U., Cavuoto, L., Schwaitzberg, S., De, S., & Intes, X. (2020). Functional brain imaging reliably predicts bimanual motor skill performance in a standardized surgical task. IEEE Transactions on Biomedical Engineering, 68(7), 2058-2066. https://doi. org/10.1109/TBME.2020.3014299 Ghonchi, H., Fateh, M., Abolghasemi, V., Ferdowsi, S., & Rezvani, M. (2020a). Deep recurrent-convolutional neural network for classification of simultaneous EEG-fNIRS signals. IET Signal Processing, 14(3), 142-153. https://doi.org/10.1049/iet-spr.2019.0297 Ghonchi, H., Fateh, M., Abolghasemi, V., Ferdowsi, S., & Rezvani, M. (2020b). Spatio-temporal deep learning for EEG-fNIRS brain computer interface. In 2020 42ndAnnual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC) (pp. 124-127). IEEE. https://doi.org/10.1109/EMBC44109.2020.9176183 Glorot, X., Bordes, A., & Bengio, Y. (2011, June). Deep sparse rectifier neural networks. In Proceedings of the fourteenth international conference on artificial intelligence and statistics (pp. 315-323). JMLR Workshop and Conference Proceedings. Graves, A. (2012). Long Short-Term Memory. In: Supervised Sequence Labelling with Recurrent Neural Networks. Studies in Computational Intelligence, 385, 37-45. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-24797-2_4 Hakimi, N., Jodeiri, A., Mirbagheri, M., & Setarehdan, S. K. (2020). Proposing a convolutional neural network for stress assessment by means of derived heart rate from functional near infrared spectroscopy. Computers in Biology and Medicine, 121, 103810. https://doi. org/10.1016/j.compbiomed.2020.103810 Hamid, H., Naseer, N., Nazeer, H., Khan, M. J., Khan, R. A., & Shahbaz Khan, U. (2022). Analyzing classification performance of f NIRS-BCI for gait rehabilitation using deep neural networks. Sensors, 22(5), 1932. https://doi.org/10.3390/s22051932 Ho, T. K. K., Gwak, J., Park, C. M., & Song, J. I. (2019). Discrimination of mental workload levels from multi-channel fNIRS using deep leaning-based approaches. Ieee Access, 7, 2439224403. https://doi.org/10.1109/ACCESS.2019.2900127 Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Huppert, T. J. (2016). Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics, 3(1), 010401-010401. https://doi.org/10.1117/1.NPh.3.1.010401 Hyvarinen, A., & Oja, E. (2000). Independent component analysis: algorithms and applications. Neural networks, 13(4-5), 411-430. https://doi.org/10.1016/s0893-6080(00)00026-5
Izzetoglu, M., Chitrapu, P., Bunce, S., & Onaral, B. (2010). Motion artifact cancellation in NIR spectroscopy using discrete Kalman filtering. Biomedical engineering online, 9, 1-10. https://doi.org/10.1186/1475-925X-9-16 Jahani, S., Setarehdan, S. K., Boas, D. A., & Yucel, M. A. (2018). Motion artifact detection and correction in functional near-infrared spectroscopy: a new hybrid method based on spline interpolation method and Savitzky-Golay filtering. Neurophotonics, 5(1), 015003015003. https://doi.org/10.1117/1.NPh.5.1.015003 Kim, M., Lee, S., Dan, I., & Tak, S. (2022). A deep convolutional neural network for estimating hemodynamic response function with reduction of motion artifacts in fNIRS. Journal of Neural Engineering, 19(1), 016017. https://doi.org/10.1088/1741-2552/ac4bfc Kohno, S., Miyai, I., Seiyama, A., Oda, I., Ishikawa, A., Tsuneishi, S., ... & Shimizu, K. (2007). Removal of the skin blood flow artifact in functional near-infrared spectroscopic imaging data through independent component analysis. Journal of Biomedical Optics, 12(6), 062111-062111. https://doi.org/10.1117/12814249 Kwon, J., & Im, C. H. (2021). Subject-independent functional near-infrared spectroscopy-based brain-computer interfaces based on convolutional neural networks. Frontiers in Human Neuroscience, 15, 646915. https://doi.org/10.3389/fnhum.2021.646915
Light, G. A., Williams, L. E., Minow, F., Sprock, J., Rissling, A., Sharp, R..... & Braff, D. L.
(2010). Electroencephalography (EEG) and event-related potentials (ERPs) with human participants. Current protocols in neuroscience, 52(1), 6-25. https://doi. org/10.1002/0471142301.ns0625s52 Liu, Y., Ayaz, H., & Shewokis, P. A. (2017). Multisubject "learning" for mental workload classification using concurrent EEG, fNIRS, and physiological measures. Frontiers in human neuroscience, 11, 389. https://doi.org/10.3389/fnhum.2017.00389 Lu, J., Yan, H., Chang, C., & Wang, N. (2020). Comparison of machine learning and deep learning approaches for decoding brain computer interface: an fNIRS study. In Intelligent Information Processing X: 11th IFIP TC12 International Conference, IIP 2020, Hangzhou, China, July 3-6, 2020, Proceedings 11 (pp. 192-201). Springer International Publishing. https://doi.org/10.1007/978-3-030-46931-3_18
Luke, R., Larson, E. D., Shader, M. J., Innes-Brown, H., Van Yper, L., Lee, A. K.....& McAlpine, D. (2021).
Analysis methods for measuring passive auditory fNIRS responses generated by a blockdesign paradigm. Neurophotonics, 8(2), 025008. https://doi.org/10.1117/1.NPh.8.2.025008 Ma, T., Lyu, H., Liu, J., Xia, Y., Qian, C., Evans, J., ... & He, S. (2020). Distinguishing bipolar depression from major depressive disorder using fnirs and deep neural network. Progress In Electromagnetics Research, 169, 73-86. https://doi.org/10.2528/PIER20102202 Ma, T., Wang, S., Xia, Y., Zhu, X., Evans, J., Sun, Y., & He, S. (2021). CNN-based classification of fNIRS signals in motor imagery BCI system. Journal of Neural Engineering, 18(5), 056019. https://doi.org/10.1088/1741-2552/abf187 Molavi, B., and Dumont, G. A. (2012). Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement, 33, 259-270. https://doi. org/10.1088/0967-3334/33/2/259 Naseer, N., Qureshi, N. K., Noori, F. M., & Hong, K. S. (2016). Analysis of different classification techniques for two-class functional near-infrared spectroscopy-based brain-
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев, мария А. ситниковА, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
computer interface. Computational Intelligence and Neuroscience, 2016. https://doi. org/10.1155/2016/5480760 Nguyen, H. D., Yoo, S. H., Bhutta, M. R., & Hong, K. S. (2018). Adaptive filtering of physiological noises in fNIRS data. Biomedical Engineering Online, 17, 1-23. https://doi.org/10.1186/ s12938-018-0613-2
Orru, G., Monaro, M., Conversano, C., Gemignani, A., & Sartori, G. (2020). Machine learning in psychometrics and psychological research. Frontiers in Psychology, 10, 2970. https://doi. org/10.3389/fpsyg.2019.02970 Ortega, P., & Faisal, A. (2021, May). HemCNN: deep learning enables decoding of fNIRS cortical signals in hand grip motor tasks. In 202110th InternationalIEEE/EMBSConference on Neural Engineering (NER) (pp. 718-721). IEEE. https://doi.org/10.1109/NER49283.2021.9441323 Ortega, P., & Faisal, A. A. (2021). Deep learning multimodal fNIRS and EEG signals for bimanual grip force decoding. Journal of Neural Engineering, 18(4), 0460e6. https://doi. org/10.1088/1741-2552/ac1ab3 Osharina, V., Ponchel, E., Aarabi, A., Grebe, R., & Wallois, F. (2010). Local haemodynamic changes preceding interictal spikes: a simultaneous electrocorticography (ECoG) and near-infrared spectroscopy (NIRS) analysis in rats. Neuroimage, 50(2), 600-607. https:// doi.org/10.1016/j.neuroimage.2010.01.009 Pinti, P., Aichelburg, C., Gilbert, S., Hamilton, A., Hirsch, J., Burgess, P., & Tachtsidis, I. (2018). A review on the use of wearable functional near-infrared spectroscopy in naturalistic environments. Japanese Psychological Research, 60(4), 347-373. https://doi.org/10.1111/ jpr.12206
Quaresima, V., & Ferrari, M. (2019, August). A mini-review on functional near-infrared spectroscopy (fNIRS): where do we stand, and where should we go?. Photonics, 6(3). https://doi.org/10.3390/photonics6030087 Robertson, F. C., Douglas, T. S., & Meintjes, E. M. (2010). Motion artifact removal for functional near infrared spectroscopy: a comparison of methods. IEEE Transactions on Biomedical Engineering, 57(6), 1377-1387. https://doi.org/10.1109/TBME.2009.2038667 Rojas, R. F., Romero, J., Lopez-Aparicio, J., & Ou, K. L. (2020). Pain assessment based on fNIRS using bidirectional LSTMs. arXiv preprint arXiv:2012.13231. URL: http://arxiv.org/ abs/2012.13231
Saadati, M., Nelson, J., & Ayaz, H. (2019, October). Mental workload classification from spatial representation of fnirs recordings using convolutional neural networks. In 2019 IEEE29th International Workshop on Machine Learning for Signal Processing (MLSP) (pp. 1-6). IEEE. https://doi.org/10.1109/MLSP.2019.8918861 Scholkmann, F., Kleiser, S., Metz, A. J., Zimmermann, R., Pavia, J. M., Wolf, U., & Wolf, M. (2014). A review on continuous wave functional near-infrared spectroscopy and imaging instrumentation and methodology. Neuroimage, 85, 6-27. https://doi.org/10.1016/j. neuroimage.2013.05.004 Scholkmann, F., Spichtig, S., Muehlemann, T., & Wolf, M. (2010). How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological measurement, 31(5), 649. https://doi.org/10.1088/0967-3334/31/5/004
Sirpal, P., Kassab, A., Pouliot, P., Nguyen, D. K., & Lesage, F. (2019). fNIRS improves seizure detection in multimodal EEG-fNIRS recordings. Journal of Biomedical Optics, 24(5), 051408-051408. https://doi.org/10.1117/1.jbo.24.5.051408 Sitnikova, M. A., & Malykh, S. B. (2021). Functional near-infrared spectroscopy applications in developmental cognitive neuroscience. I.P. Pavlov Journal of Higher Nervous Activity, 71(4), 485-499.
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Sun, Z., Huang, Z., Duan, F., & Liu, Y. (2020). A novel multimodal approach for hybrid brain-computer interface. IEEE Access, 8, 89909-89918. https://doi.org/10.1109/ ACCESS.2020.2994226
Tanveer, M. A., Khan, M. J., Qureshi, M. J., Naseer, N., & Hong, K. S. (2019). Enhanced drowsiness detection using deep learning: an fNIRS study. IEEE access, 7, 137920-137929. https://doi. org/10.1109/ACCESS.2019.2942838 Trakoolwilaiwan, T., Behboodi, B., Lee, J., Kim, K., & Choi, J. W. (2018). Convolutional neural network for high-accuracy functional near-infrared spectroscopy in a brain-computer interface: three-class classification of rest, right-, and left-hand motor execution. Neurophotonics, 5(1), 011008-011008. https://doi.org/10.1117/1. nph.5.1.011008
Van Houdt, G., Mosquera, C., & Napoles, G. (2020). A review on the long short-term memory model. Artificial Intelligence Review, 53, 5929-5955. https://doi.org/10.1007/s10462-020-09838-1
Wang, R., Hao, Y., Yu, Q., Chen, M., Humar, I., & Fortino, G. (2021). Depression analysis and recognition based on functional near-infrared spectroscopy. IEEE Journal of Biomedical and Health Informatics, 25(12), 4289-4299. https://doi.org/10.1109/JBHI.2021.3076762 Wang, Z., & Oates, T. (2015). Spatially encoding temporal correlations to classify temporal data using convolutional neural networks. arXiv preprint arXiv:1509.07481. https://doi. org/10.48550/arXiv.1509.07481 Wickramaratne, S. D., & Mahmud, M. S. (2020, November). A Ternary Bi-Directional LSTM Classification for Brain Activation Pattern Recognition Using fNIRS. In 20205th International Conference on Intelligent Informatics and Biomedical Sciences (ICIIBMS) (pp. 202-207). IEEE. https://doi.org/10.48550/arXiv.2101.05892 Wickramaratne, S. D., & Mahmud, M. S. (2021). Conditional-GAN based data augmentation for deep learning task classifier improvement using fNIRS data. Frontiers in big Data, 4, 659146. https://doi.org/10.3389/fdata.2021.659146 Woo, S. W., Kang, M. K., & Hong, K. S. (2020). Classification of finger tapping tasks using convolutional neural network based on augmented data with deep convolutional generative adversarial network. In 2020 8th IEEE RAS/EMBS International Conference for Biomedical Robotics and Biomechatronics (BioRob). IEEE. https://doi.org/10.1109/ BioRob49111.2020.9224386 Xu, L., Choy, C. S., & Li, Y. W. (2016, September). Deep sparse rectifier neural networks for speech denoising. In 2016 IEEE International Workshop on Acoustic Signal Enhancement (IWAENC) (pp. 1-5). IEEE. https://doi.org/10.1109/IWAENC.2016.7602891 Xu, L., Geng, X., He, X., Li, J., & Yu, J. (2019). Prediction in autism by deep learning short-time spontaneous hemodynamic fluctuations. Frontiers in Neuroscience, 13, 1120. https://doi. org/10.3389/fnins.2019.01120 Yang, D., Huang, R., Yoo, S. H., Shin, M. J., Yoon, J. A., Shin, Y. I., & Hong, K. S. (2020). Detection of mild cognitive impairment using convolutional neural network: temporal-feature maps of functional near-infrared spectroscopy. Frontiers in Aging Neuroscience, 12, 141. https:// doi.org/10.3389/fnagi.2020.00141
Yucel, M. A., Luhmann, A. V., Scholkmann, F., Gervain, J., Dan, I., Ayaz, H.....& Wolf, M. (2021).
Best practices for fNIRS publications. Neurophotonics, 8(1), 012101-012101. https://doi. org/10.1117/1.NPh.8.1.012101 Zhao, Q., Li, C., Xu, J., & Jin, H. (2019, July). FNIRS based brain-computer interface to determine whether motion task to achieve the ultimate goal. In 2019 IEEE 4th International Conference on Advanced Robotics and Mechatronics (ICARM) (pp. 136-140). IEEE. https:// doi.org/10.1109/ICARM.2019.8833883
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии в ближнем инфракрасном диапазоне
Рустам Г. Асадуллаев, мария А. ситниковА, Александр А. слетов, Андрей в. ситников, сергей Б. малых Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
Zhang, X., Noah, J. A., & Hirsch, J. (2016). Separation of the global and local components in functional near-infrared spectroscopy signals using principal component spatial filtering. Neurophotonics, 3(1), 015004-015004. https://doi.org/10.1117/1.NPh.3.1.015004 Zheng, Y., Liu, Q., Chen, E., Ge, Y., & Zhao, J. L. (2014). Time series classification using multichannels deep convolutional neural networks. In Web-Age Information Management: 15th International Conference, WAIM 2014, Macau, China, June 16-18, 2014. Proceedings 15. Springer International Publishing. https://doi.org/10.1007/978-3-319-08010-9_33
Поступила в редакцию: 04.11.2023 Поступила после рецензирования: 28.11.2023 Принята к публикации: 23.01.2024
Заявленный вклад авторов
Асадуллаев Рустам Геннадьевич - анализ методов искусственного интеллекта для обработки нейрофизиологических данных, подготовка итогового текста статьи, работа с научными источниками.
Ситникова Мария Александровна - написание разделов «Введение», «Теоретическое обоснование» и «Обсуждение результатов» обзорной статьи. Слетов Александр Анатольевич - написание разделов «Введение» и «Обсуждение результатов» обзорной статьи.
Ситников Андрей Витальевич - написание разделов «Предварительная обработка нейрофизиологических данных с помощью технологий машинного обучения» и «Методы искусственного интеллекта для анализа данных фБИК-спектроскопии»,
Малых Сергей Борисович - критический пересмотр и доработка содержания обзорной статьи.
Информация об авторах
Асадуллаев Рустам Геннадьевич - кандидат технических наук, доцент, доцент кафедры прикладной информатики и информационных технологий, Федеральное государственное автономное образовательное учреждение высшего образования «Белгородский государственный национальный исследовательский университет» (НИУ «БелГУ»), г. Белгород, Российская Федерация; WoS ResearcherlD: L-7191-2016; Scopus Author ID: 56568347800; РИНЦ Author ID: 761611; SPIN-код РИНЦ: 3566-7722; ORCID ID: https://orcid.org/0000-0002-8701-3845, e-mail: asadullaev@bsu.edu.ru Ситникова Мария Александровна - кандидат психологических наук, доцент, доцент кафедры психологии, Федеральное государственное автономное образовательное учреждение высшего образования «Белгородский государственный национальный
Обзор методов искусственного интеллекта, применяемых в анализе данных функциональной спектроскопии
в ближнем инфракрасном диапазоне Рустам г. Асадуллаев, мария А. ситникова, Александр А. слетов, Андрей в. ситников, сергей Б. малых
Российский психологический журнал, 21(1), 2024
междисциплинарные исследования мозга
исследовательский университет» (НИУ «БелГУ»), г. Белгород, Российская Федерация; старший научный сотрудник лаборатории возрастной психогенетики, ФНЦ ПМИ (ПИ РАО), г. Москва, Российская Федерация; WoS ResearcherID: F-8950-2017; Scopus Author ID: 54788254300; РИНЦ Author ID: 15902746; ORCID ID: https://orcid.org/0000-0003-3545-2149; e-mail: sitnikovamary46@gmail.com
Слетов Александр Анатольевич - доктор медицинских наук, профессор, профессор кафедры стоматологии, Федеральное государственное автономное образовательное учреждение высшего образования «Белгородский государственный национальный исследовательский университет» (НИУ «БелГУ»), г. Белгород, Российская Федерация; WoS ResearcherID: ID JMR-4444-2023; Scopus Author ID: 24342280800; РИНЦ Author ID: 745828; SPIN-код РИНЦ: 2203-4614; ORCID ID: https://orcid.org/0000-0001-5183-9330; e-mail: dr.sletov-aleksandr@yandex.ru
Ситников Андрей Витальевич - студент направления Биотехнические системы и технологии, Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский авиационный институт (национальный-исследовательский университет)» (МАИ), г. Москва, Российская Федерация; WoS ResearcherID: KFQ-1853-2024; ORCID ID: https://orcid.org/0009-0008-7229-6484; e-mail: sitnikovandr57@gmail.com
Малых Сергей Борисович - доктор психологических наук, профессор, академик отделения психологии и возрастной физиологии, Федеральное государственное бюджетное учреждение «Российская академия образования» (РАО), г. Москва, Российская Федерация; WoS ResearcherID: I-3697-2013; Scopus Author ID: 6701707734; РИНЦ Author ID: 71885; SPIN-код РИНЦ: 1396-8088; ORCID ID: https://orcid.org/0000-0002-3786-7447; e-mail: malykhsb@mail.ru
Информация о конфликте интересов
Авторы заявляют об отсутствии конфликта интересов.
