CC BY
0Малых С.Б., Асадуллаев Р.Г., Ситникова М.А Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ПРИНЯТИЕ РЕШЕНИЙ ARTIFICIAL INTELLIGENCE AND DECISION MAKING
УДК 004.048
Малых С.Б.1 Асадуллаев Р.Г.2 Ситникова М.А.2'3
DOI: 10.18413/2518-1092-2023-8-4-0-5
ПРОЕКТИРОВАНИЕ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ КЛАССИФИКАЦИИ ВОЗРАСТНЫХ РАЗЛИЧИЙ В ФУНКЦИОНИРОВАНИИ СИСТЕМЫ СИМВОЛИЧЕСКОЙ ОЦЕНКИ КОЛИЧЕСТВА_
1)1 Российская академия образования, ул. Погодинская, д. 8, г. Москва, 119121, Россия 2) Белгородский государственный национальный исследовательский университет, ул. Победы, 85, г. Белгород, 308015, Россия 3) Федеральный научный центр психологических и междисциплинарных исследований РАО, ул. Моховая, д. 9, стр. 4, г. Москва, 125009, Россия
e-mail: malykhsb@mail.ru, asadullaev@bsu.edu.ru, sitnikovamary46@gmail.com Аннотация
В статье представлен результат разработки и обучения 4 архитектур рекуррентных нейронных сетей для решения задачи классификации возрастных различий в функционировании системы символической оценки количества. При проектировании нейронных сетей использовались такие современные практики, как ячейки с длинной краткосрочной памятью, модификация, позволяющая подавать сигнал на нейронную сеть в прямом и обратном порядке, предварительные 1D свертки сигнала перед подачей на рекуррентные слои. Лучший результат на всех наборах данных демонстрирует рекуррентная нейронная сеть со слоями предварительной свертки сигнала. Точность варьируется в пределах 86-88% в зависимости от набора данных. Указанная точность получена на данных, к которым был применен алгоритм коррекции базовой линии.
Ключевые слова: рекуррентная нейронная сеть; нейронная сеть с длинной краткосрочной памятью; машинное обучение; анализ многомерных данных; глубокое обучение; функциональная спектроскопия в ближнем инфракрасном диапазон
Для цитирования: Малых С.Б., Асадуллаев Р.Г., Ситникова М.А. Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4, 2023. - С. 50-58. DOI: 10.18413/2518-1092-2023-84-0-5
Malykh S.B.1 DESIGN OF RECURRENT NEURAL NETWORKS Asadullaev R.G.2 FOR CLASSIFICATION OF AGE DIFFERENCES Sitnikova M.A.2,3 IN THE FUNCTIONING OF THE SYMBOLIC SYSTEM
__OF QUANTITY ASSESSMENT_
1 Russian Academy of Education, Pogodinskaya st., 8, Moscow, 119121, Russia
2) Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia
3) Federal scientific center of psychological and multidisciplinary researches RAE, Mokhovaya st., 9, building 4, Moscow,
125009, Russia
e-mail: malykhsb@mail.ru, asadullaev@bsu.edu.ru, sitnikovamary46@gmail.com
Abstract
The article presents the result of the development and training of 4 recurrent neural network architectures to solve the problem of classifying age-related differences in the functioning of the
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
symbolic system of quantity assessment. When designing neural networks, some effective algorithms were used: cells with long short-term memory, a modification that allows a signal to be fed to the neural network in forward and reverse order, and preliminary 1D convolutions of the signal before feeding it to recurrent layers. The best result on all data sets was demonstrated by a recurrent neural network with signal pre-convolution layers. Accuracy varies between 86-88% depending on the dataset. The specified accuracy was obtained on data to which the baseline correction algorithm was applied.
Keywords: recurrent neural networks; long short-term memory; machine learning; analysis of
multidimensional data; deep learning; functional near-infrared spectroscopy
For citation: Malykh S.B., Asadullaev R.G., Sitnikova M.A. Design of recurrent neural networks
for classification of age differences in the functioning of the symbolic system of quantity
assessment // Research result. Information technologies. - T.8, №4, 2023. - P. 50-58. DOI:
10.18413/2518-1092-2023-8-4-0-5
ВВЕДЕНИЕ
Математическая грамотность людей на уровне общества в значительной степени влияет на науку и технический прогресс, что в конечном итоге имеет решающее значение для развития национальной экономики. Эффективность владения разнообразными математическими операциями и осуществления точных вычислений влияют на качество жизни, определяет успех в профессиональной деятельности. Считается, что люди обладают базовыми математическими способностями, которые опираются на две системы: систему приблизительной оценки количества, которая позволяет различать и приблизительно оценивать количество объектов без точного подсчета, и систему символического счисления или представления количества (exact number system) [1], которая определяется способностью точно оценивать количество, сопоставляя его с соответствующей цифрой. В дальнейшем на этой основе появляется способность к точным вычислениям.
Подход к этой проблеме с позиций нейронауки с использованием современных методов нейровизуализации, в частности спектроскопии в ближнем инфракрасном диапазоне (фБИК-спектроскопии) [2], позволяет выявить нейрокогнитивные механизмы, определяющие символические числовые навыки. Функциональная спектроскопия в ближнем инфракрасном диапазоне использует инфракрасное излучение для измерения оптического спектра абсорбции гемоглобина в зависимости от насыщения мозга кислородом в отдельных участках головного мозга [3]. Данный метод нейровизуализации является неинвазивным, обладающим высокой экологической валидностью, портативным, что позволяет регистрировать гемодинамическую активацию в ответ на когнитивные задачи в естественных условиях, в комфортном положении сидя, без существенных двигательных ограничений [4].
Данные фБИК-спектроскопии могут быть представлены как многомерные временные ряды динамики оксигемоглобина и дезоксигемоглобина. Для решения задачи классификации гемодинамических паттернов мозговой активации, определяющих нейрокогнитивные механизмы системы символической оценки количества, на современном этапе с успехом применятся методы искусственного интеллекта, в частности нейронные сети глубокого обучения [5-7]. Во многих исследованиях применяются рекуррентные нейронные сети (recurrent neural network, RNN), которые специализируются на обработке серии событий во времени, т.е. временных рядов с учетом хронологии [8]. Возможность использования предшествующей информации, позволяет RNN выполнять одну и ту же задачу для каждого элемента последовательности, при этом выход зависит от предыдущих вычислений. Это достигается за счет наличия циклов, позволяющих передавать информацию с последующего шага на предыдущие. Таким образом, организуется обработка текущих данных совместно с уже обработанными на предыдущих шагах. Также для анализа данных фБИК-спектроскопии применяются нейронные сети LSTM (длинная краткосрочная память), позволяющие в отличии от классических RNN эффективно анализировать длительные последовательности с сохранением связи между временными событиями [9-10]. Так, применение двунаправленной архитектуры глубокого обучения на основе LSTM [11] для классификации
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А. Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
данных фБИК-спектроскопии состояния покоя и при выполнении задач на ментальную арифметику, анализ двигательных образов позволило уменьшить количество этапов предварительной обработки сигналов, при этом точность классификации составила 81,48% [12].
ОСНОВНАЯ ЧАСТЬ
Данные фБИК-спектроскопии представляют собой многоканальные временные ряды, отражающие динамику изменения во времени оксигемоглобина и дезоксигемоглобина в каждом канале. Для обработки сигналов подобного рода в исследовании были спроектированы и апробированы архитектуры на основе RNN, которые ориентированы на поиск логики во временных рядах.
На первом этапе осуществлялась подготовка наборов данных для обучения интеллектуальных моделей с использованием методов библиотек MNE [13] и MNE-NIRS [14]. Для формирования наборов данных применялся дизайн-протокол, разработанный для оценки нейрофизиологических механизмов символических числовых навыков во время решения математических примеров с двузначными числами (exact calculation) на сложение. Математические задания предъявлялись в двух форматах: числовом (55 + 12) и текстовом (пятьдесят пять плюс двенадцать). В качестве контрольного условия использовалось чтение математической задачи без необходимости производить математические вычисления ("В саду росло двадцать четыре яблони и тринадцать груш. Сколько яблонь росло в саду?"). Эксперимент имел блочный дизайн, каждый блок, соответствующий определенному экспериментальному условию, повторялся 5 раз и включал 5 примеров или задач в рамках одного блока. На решение примера респонденту давалось 4,5 секунды и 2 секунды на ответ.
В качестве метода нейровизуализации применялась фБИК-спектроскопия. Данный метод основан на мозговой гемодинамике. Для анализа использовались показатели насыщения крови кислородом или отток крови в головном мозге (оксигенация/ дезоксигенация), которые выступают надежными показателями функциональной активации мозга в ответ на когнитивную задачу.
В проекте применялась портативная система фБИК-спектроскопии NIRSport Model 88, NIRx Medical Technologies с 16 оптодами (8 излучателей и 8 детекторов, расположенные в соответствие с системой «10-20» на расстоянии 3 см друг от друга), с помощью которых регистрировалась гемодинамическая активность в 14 каналах. Частота регистрации данных составляла 7,8125Гц. Локализации оптодов определялась с учетом зон головного мозга, которые задействованы при точных вычислениях, чтении и понимании текста, восприятии и семантической обработке числовой информации: лобно-височно-теменные области.
С помощью дизайн-протокола были собраны и систематизированы нейрофизиологические данные: 105 записей сырых данных фБИК-спектроскопии взрослых респондентов (студентов), 100 записей сырых данных школьников. Был проведен предварительный анализ сигналов каждого респондента. После предварительной обработки, визуального анализа сырых данных студентов и школьников и анализа их поведенческих данных (успешности выполнения заданий) в итоговый анализ были включены записи 86 студентов (в возрасте 18-26 лет) и 63 школьника (в возрасте от 1117 лет).
Препроцессинг наборов данных включал преобразование исходных значений света в оптическую плотность, интерполяцию плохих каналов, преобразование в относительные изменения концентрации O2Hb и HHb с помощью модифицированного закона Бера-Ламберта, различные варианты фильтрации (фильтр TDDR и CBSI, полосовой фильтр), разделение данных на короткие и длинные каналы, разделение единой записи на эпохи (условия) с длительностью 6,5 секунд, удаление плохих эпох по порогу разброса амплитуды (hbo=180e-6), детрендинг [15].
В нейрокогнитивных исследованиях мозговой активности, регистрируемой аппаратными методами нейровизуализации, алгоритм коррекции базовой линии является традиционным подходом для удаления из целевого сигнала, определяющего гемодинамическую реакцию на когнитивную задачу, системное состояние мозговой активности, которое было у респондента до момента предъявления стимульного материала. Нейронные сети позволяют обобщать логику в
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
данных, в том числе за счет выявления нелинейных закономерностей в данных. Мы предполагаем, что алгоритм коррекции базовой линии излишен в случае применения в качестве классификатора нейронной сети. Для проверки данной гипотезы, каждый набор данных был подготовлен в двух вариантах: с применением алгоритма коррекции базовой линии и без применения данного алгоритма.
Таким образом, в исследовании применялось три экспериментальных условия, на основе которых были сформированы 3 набора данных в двух вариантах (с применением алгоритма коррекции базовой линии и без применения):
- «num_add» включает примеры на сложение в числовом формате с переходом через десяток и без перехода через десяток;
- «text_add» включает примеры на сложение в текстовом формате с переходом и без перехода через десяток;
- «поса1с_поса1с» включает чтение математических задач без вычислений.
Размер каждого набора данных был представлен следующими размерностями: n_sample (количество эпох), n_channels - 28 (количество каналов), n_frame - 52 (количество значений, зафиксированных во времени), где n_frame = 52, так как длина эпохи составляет 6,5секунд при частоте регистрации оборудования 7,81Гц.
В настоящей работе для классификации гемодинамических паттернов взрослых и школьников и определения возрастных различий в функционировании системы символической оценки количества были разработаны следующие архитектуры нейронных сетей:
1. Рекуррентная нейронная сеть с длинной краткосрочной памятью (NN-1_LSTM) [11]. Архитектура включает: входной слой размером 28 каналов на 52 значения в каждом канале, соответствующих значениям окси и деокси гемоглобина; два скрытых слоя LSTM; выходной полносвязный слой с двумя нейронами (два класса) и функцией активации softmax (рисунок 1).
InputLayer input: [(None, 28, 52)]
output: [(None. 28. 52)]
LSTM tanh input: (None. 28. 52)
output: (None, 28, 8)
LSTM tanli input: (None, 28, 8)
output: (None, 8)
Dense sofhnax input: (None, 8)
output: (None. 2)
Рис. 1. Архитектура нейронной сети NN-1_LSTM Fig. 1. Neural network architecture of NN-1_LSTM
2. Рекуррентная нейронная сеть с длинной краткосрочной памятью (NN-2_LSTM+MLP), в которой для усиления мощности сети добавлены полносвязные слои. Архитектура включает: входной слой размером 28 каналов на 52 значения в каждом канале, соответствующих значениям окси и деокси гемоглобина; два скрытых слоя LSTM; два скрытых полносвязных слоя по 128 нейроной каждый; выходной полносвязный слой с двумя нейронами (два класса) и функцией активации softmax (рисунок 2).
3. Двунаправленная рекуррентная нейронная сеть с длинной краткосрочной памятью (NN-3_BidirectionalLSTM). В двунаправленных рекуррентных сетях сигнал сначала подается в прямом порядке, затем в обратном порядке и результаты объединяются. Таким образом, сеть «смотрит» на сигнал с двух сторон и в некоторых задачах это позволяет найти дополнительные признаки, улучшающие итоговую классификацию. Архитектура включает: входной слой размером 28 каналов на 52 значения в каждом канале, соответствующих значениям окси и деокси гемоглобина; два
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А. Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
скрытых двунаправленных слоя LSTM; выходной полносвязный слой с двумя нейронами (два класса) и функцией активации softmax (рисунок 3).
LiputLayer input: [(Noue, 23, 52)]
output: [(Noue, 23, 52)]
LSTM iuput: (None. 28. 52)
output: (None. 23. 8)
1
LSTM tauli iuput: (None. 28. 8)
output: (None, 8)
1 r
Dense relu input: (None. 3)
output: (None. 128)
Dense relu input: (None. 128)
output: (None. 128)
i
Dense softmax input: (Noue, 12S)
output: (None. 2)
Рис. 2. Архитектура нейронной сети NN-2_LSTM+MLP Fig. 2. Neural network architecture of NN-2_ LSTM+MLP
IuputLayer input: [(None. 28, 52)]
output: [(None, 28, 52)]
1
Bicluectional(LSTM) input: (None, 28, 52)
output: (None, 28, 16)
1
Biduectional(LSTM) input: (None, 28, 16)
output: (None. 16)
Dense softmax input: (None. 16)
output: (None. 2)
Рис. 3. Архитектура нейронной сети NN_3_BidirectionalLSTM Fig. 3. Neural network architecture of NN_3_BidirectionalLSTM
4. Сверточная рекуррентная нейронная сеть с длинной краткосрочной памятью и свертками 1D (NN-4_Conv1D+LSTM). За счет слоев свертки осуществляется предварительное отсечение неинформативного сигнала и укрупнение признаков временного ряда. Архитектура включает: входной слой размером 28 каналов на 52 значения в каждом канале, соответствующих значениям окси и деокси гемоглобина; два скрытых слоя LSTM; два свертоных слоя 1D (размер 1х3) с функцией активации reLu; для регуляризации процесса обучения сверточных слоев добавлены слои Dropout; выходной полносвязный слой с двумя нейронами (два класса) и функцией активации softmax (рисунок 4).
В процессе обучения каждой модели перебирались все комбинации следующих параметров: количество нейронов в скрытых слоях (2, 4, 8, 16, 32, 64), размер пакета данных на каждой итерации обучения (8, 16, 32, 64).
При подготовке обучающих данных были определены следующие параметры: для обеспечения возможности сравнительного анализа результатов обучения было зафиксировано зерно генератора случайных чисел (random_state=12345); 20% объема тестового множества от
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
общего множества данных; 20% валидационного множества от размера обучающей выборки данных.
В процессе обучения моделей использовались следующие параметры: функция ошибки категориальная кросс энтропия; оптимизатор Adam; метрика качества Accuracy; критерий остановки обучения: если на протяжении 6 эпох обучения точность на выборке валидации не увеличивается более чем на 3%, то обучение останавливается и сохраняется модель.
IuputLayer input: [(None, 52, 28)]
output: [(None, 52, 28)]
Dropout input: (None. 52. 28)
output: (None, 52. 28)
CouvlD relu input: (None. 52. 28)
output: (None. 50. 8)
LSTM tauli input: (None, 50, 8)
output: (None, 50, S)
Dropout input: (None. 50. 8)
output: (None. 50, 8)
ConvlD relu input: (None, 50, S)
output: (None. 48. 8)
1
LSTM tauli input: (None, -18, 8)
output: (None. 8)
Dense softinax input: (None. 8)
output: (None, 2)
Рис. 4. Архитектура нейронной сети NN-4_Conv1D+LSTM Fig. 4. Neural network architecture of NN-4_Conv1D+LSTM
РЕЗ УЛЬ ТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБС УЖДЕНИЕ
Лучшие результаты обучения моделей на данных по всем условиям с применением алгоритма коррекции базовой линии и без применения алгоритма представлены на рисунке 5.
Из результатов, представленных на рисунке 5 вытекают следующие выводы:
1. Лучший результат на всех наборах данных демонстрирует рекуррентная нейронная сеть со слоями предварительной свертки сигнала. Вероятно, такой результат обусловлен тем фактом, что сверточные слои извлекают из сигнала более компактные признаки, которые в последующем анализируются рекуррентными слоями.
2. Второй по результативности в показателе точности является двунаправленная рекуррентная нейронная сеть, которая на всех наборах данных превосходит по точности сети NN-1_LSTM и NN 2_LSTM+MLP. Таким образом, анализ сигнала с обоих направлений с одной стороны позволяет выявить дополнительные паттерны, с другой удвоить признаковое пространство. Данный подход применим для решения задач, аналогичных задаче настоящего решения, так как анализ осуществляется не в режиме онлайн, а пост факту.
3. Применение к данным алгоритма коррекции базовой линии практически для всех архитектур нейронных сетей позволяет улучшить точность классификации. Так для лучшего
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А. Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
классификатора КЫ-4_СопуШ+Ь8ТМ в зависимости от набора данных применение алгоритма улучшило точность классификации на 4-6%.
90,00 Б5,00
Й
Т Б0,00 и т
3 75'00
L.J
70,00 65,00
а
Точность моделей на тестовых данных
86,00
76,22 76,83
посак посак
74ГБЯ 74,25
model_type т
76,00 я NN_3_BidirectionalLSTM
■ NN-4_Convl[>*-LSTM
■ NN-1_LSTM NN-2 LSTM+MLP
б
Рис. 5. Точность моделей искусственного интеллекта на данных: а) без применения алгоритма
коррекции базовой линии, б) с применением алгоритма коррекции базовой линии Fig. 5. The accuracy of artificial intelligence models on fNIRS data: a) without a baseline correction
algorithm, b) with a baseline correction algorithm
ЗАКЛЮЧЕНИЕ
Проведенное исследование показало, что ЯМК в чистом виде не обеспечивают высокий уровень точности при выполнении задач классификации данных фБИК-спектроскопии при анализе возрастных различий в функционировании системы символической оценки количества. Модификации архитектур ЯМК за счет введения слоев свертки или двунаправленного анализа сигнала позволяют значительно повысить качество работы сети (точность классификации), в частности за счет расширения признакового пространства. При этом лучший результат по точности продемонстрировали сверточно рекуррентная нейронная сеть Conv1D+LSTM, за счет ввода в архитектуру слоев предварительной сверки сигнала. Это свидетельствует о том, что применение алгоритма свертки лучшим образом может учитывать нестационарную и многомерную природу анализируемого сигнала гемодинамической мозговой активации. Практика применения алгоритма коррекции базовой линии позволила повысить точность классификации КМК, таким образом удаление системного базового состояния сигнала позволило убрать информацию, не относящуюся к целевой. Однако, такое решение неизбежно ведет к удалению части полезной информации, связанной с реакцией на целевое событие. В дальнейших исследованиях будут спроектированы новые архитектуры нейронных сетей, которые должны будут обеспечить высокий уровень точности классификации без применения алгоритма коррекции базовой линии и некоторых этапов предварительной обработки сигнала, которые также частично удаляют из сигнала целевую информацию.
БЛАГОДАРНОСТИ
Исследование выполнено при поддержке гранта РНФ № 22-28-02030 «Нейрокогнитивные механизмы символических числовых навыков».
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
Список литературы
1. Feigenson L., Dehaene S., Spelke E. Core systems of number // Trends in cognitive sciences. - 2004. -Т. 8. - №. 7. - P. 307-314.
2. Quaresima V., Ferrari M. Functional near-infrared spectroscopy (fNIRS) for assessing cerebral cortex function during human behavior in natural/social situations: a concise review // Organizational Research Methods. -2019. - Т. 22. - №. 1. - P. 46-68.
3. Cutini S., Moro S.B., Bisconti S. Functional near infrared optical imaging in cognitive neuroscience: an introductory review //Journal of Near Infrared Spectroscopy. - 2012. - Т. 20. - №. 1. - P. 75-92.
4. Sitnikova M.A., Malykh S.B. Functional near-infrared spectroscopy applications in developmental cognitive neuroscience // Журнал высшей нервной деятельности им. И.П. Павлова. - 2021. - Т. 71. - №. 4. -P. 485-499.
5. Sirpal P. et al. Multimodal autoencoder predicts fNIRS resting state from EEG signals // Neuroinformatics. - 2022. -Т. 20. -№. 3. -P. 537-558.
6. Rojas R.F. et al. Pain assessment based on fnirs using bi-lstm rnns // 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER). IEEE, 2021. - P. 399-402.
7. Eastmond C. et al. Deep learning in fNIRS: a review // Neurophotonics. - 2022. -Т. 9. -№. 4. - P. 041411041411.
8. Yoo S.H., Woo S.W., Amad Z. Classification of three categories from prefrontal cortex using LSTM networks: fNIRS study //2018 18th International Conference on Control, Automation and Systems (ICCAS). - IEEE,
2018. - P. 1141-1146
9. Hamid H. et al. Analyzing classification performance of fNIRS-BCI for gait rehabilitation using deep neural networks // Sensors. - 2022. - Т. 22. - №. 5. - P. 1932.
10. Mughal N.E. et al. EEG-fNIRS-based hybrid image construction and classification using CNN-LSTM // Frontiers in Neurorobotics. - 2022. - Т. 16. - P. 873239.
11.Hochreiter S., Schmidhuber J. Long short-term memory // Neural computation. -1997. -Т. 9. -№. 8. -P. 1735-1780.
12.Wickramaratne S.D., Mahmud M.D.S. A Ternary Bi-Directional LSTM Classification for Brain Activation Pattern Recognition Using fNIRS //2020 5th International Conference on Intelligent Informatics and Biomedical Sciences (ICIIBMS). IEEE, 2020. P. 202-207.
13. Gramfort A. et al. MEG and EEG data analysis with MNE-Python // Frontiers in neuroscience. 2013. P. 267.
14. Luke R. et al. Analysis methods for measuring passive auditory fNIRS responses generated by a blockdesign paradigm // Neurophotonics. -2021. - Т. 8. - №. 2. - P. 025008-025008.
15. Sitnikova M.A. et al. The neural correlates of exact calculation in word and numerical formats in low and high math performers: a fNIRS study // International Journal of Cognitive Research in Science, Engineering & Education (IJCRSEE). -2023. -Т. 11. -№. 1.
References
1. Feigenson L., Dehaene S., Spelke E. Core systems of number // Trends in cognitive sciences. - 2004. -Т. 8. - №. 7. - P. 307-314.
2. Quaresima V., Ferrari M. Functional near-infrared spectroscopy (fNIRS) for assessing cerebral cortex function during human behavior in natural/social situations: a concise review // Organizational Research Methods. -
2019. - Т. 22. - №. 1. - P. 46-68.
3. Cutini S., Moro S.B., Bisconti S. Functional near infrared optical imaging in cognitive neuroscience: an introductory review //Journal of Near Infrared Spectroscopy. - 2012. - Т. 20. - №. 1. - P. 75-92.
4. Sitnikova M.A., Malykh S.B. Functional near-infrared spectroscopy applications in developmental cognitive neuroscience // Journal of Higher Nervous Activity named after. I.P. Pavlova. 2021. - Т. 71. - №. 4. -P. 485-499.
5. Sirpal P. et al. Multimodal autoencoder predicts fNIRS resting state from EEG signals // Neuroinformatics. - 2022. -Т. 20. -№. 3. -P. 537-558.
6. Rojas R.F. et al. Pain assessment based on fnirs using bi-lstm rnns // 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER). IEEE, 2021. - P. 399-402.
7. Eastmond C. et al. Deep learning in fNIRS: a review // Neurophotonics. - 2022. -Т. 9. -№. 4. - P. 041411041411.
Малых С.Б., Асадуллаев Р.Г., Ситникова М.А. Проектирование рекуррентных нейронных сетей для классификации возрастных различий в функционировании системы символической оценки количества // Научный результат. Информационные технологии. - Т.8, №4,2023
8. Yoo S.H., Woo S.W., Amad Z. Classification of three categories from prefrontal cortex using LSTM networks: fNIRS study //2018 18th International Conference on Control, Automation and Systems (ICCAS). - IEEE, 2018. - P. 1141-1146
9. Hamid H. et al. Analyzing classification performance of fNIRS-BCI for gait rehabilitation using deep neural networks // Sensors. - 2022. - Т. 22. - №. 5. - P. 1932.
10. Mughal N.E. et al. EEG-fNIRS-based hybrid image construction and classification using CNN-LSTM // Frontiers in Neurorobotics. - 2022. - Т. 16. - P. 873239.
11.Hochreiter S., Schmidhuber J. Long short-term memory // Neural computation. -1997. -Т. 9. -№. 8. -P. 1735-1780.
12.Wickramaratne S.D., Mahmud M.D.S. A Ternary Bi-Directional LSTM Classification for Brain Activation Pattern Recognition Using fNIRS //2020 5th International Conference on Intelligent Informatics and Biomedical Sciences (ICIIBMS). IEEE, 2020. P. 202-207.
13. Gramfort A. et al. MEG and EEG data analysis with MNE-Python // Frontiers in neuroscience. 2013. P. 267.
14. Luke R. et al. Analysis methods for measuring passive auditory fNIRS responses generated by a blockdesign paradigm // Neurophotonics. -2021. - Т. 8. - №. 2. - P. 025008-025008.
15. Sitnikova M.A. et al. The neural correlates of exact calculation in word and numerical formats in low and high math performers: a fNIRS study // International Journal of Cognitive Research in Science, Engineering & Education (IJCRSEE). -2023. -Т. 11. -№. 1.
Малых Сергей Борисович, доктор психологических наук, профессор, академик Российской академии образования Асадуллаев Рустам Геннадьевич, кандидат технических наук, доцент, доцент кафедры прикладной информатики и информационных технологий
Ситникова Мария Александровна, кандидат психологических наук, доцент, доцент кафедры психологии
Malykh Sergey Borisovich, Doctor of Psychological Sciences, Professor, Academician of Russian Academy of Education Asadullaev Rustam Gennadievich, Candidate of Technical Sciences, Associate Professor, Associate Professor of the Department of Applied Informatics and Information Technologies
Sitnikova Maria Aleksandrovna, Candidate of Psychological Sciences, Associate Professor, Associate Professor of the Department of Psychology
