CC BY
10
Нейросетевая технология обнаружения ступенчатых аномалий в параметрах движения головы для функциональной МРТ с адаптацией
на основе метаобучения
Н.С. Давыдов1-2, В.В. Евдокимова1-2, П.Г. Серафимович1-2, В.И. Проценко1-2, А.Г. Храмов2, А.В. Никоноров1,2 1ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151; 2 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34
Аннотация
Контроль качества и обнаружение артефактов в данных функциональной магнитно-резонансной томографии актуален для исследований головного мозга и клинических применений. Движение головы испытуемых остается основным источником артефактов - даже микросмещение головы способно исказить структурные и функциональные МРТ-данные. В настоящей работе предложена сквозная нейросетевая технология обнаружения ступенчатых аномалий с обучением на частично синтезированных данных с адаптацией к конкретному малому набору реальных данных. Разработана процедура формирования синтетического набора данных для обучения и автоматизированной разметки реальных данных. Предложена рекуррентная нейросетевая модель обнаружения ступенчатых аномалий. Разработан метод адаптации модели по малому набору реальных данных на основе одношагового ме-таобучения. Экспериментальная проверка точности проведена в задаче детектирования ступенчатых аномалий скользящим окном в 10, 15 и 24 отсчёта. Эксперименты показали, что предложенная технология обеспечивает обнаружение ступенчатых аномалий с точностью до 0,9546.
Ключевые слова: рекуррентные нейронные сети, обнаружение аномалий, анализ сигналов, функциональная магнитно-резонансная томография, метаобучение.
Цитирование: Давыдов, Н.С. Нейросетевая технология обнаружения ступенчатых аномалий в параметрах движения головы для функциональной МРТ с адаптацией на основе метаобучения / Н.С. Давыдов, В.В. Евдокимова, П.Г. Серафимович, В.И. Проценко, А.Г. Храмов, А.В. Никоноров // Компьютерная оптика. - 2023. - Т. 47, № 6. - С. 991-1001. -DOI: 10.18287/2412-6179-C0-1337.
Citation: Davydov NS, Evdokimova VV, Serafimovich PG, Protsenko VI, Khramov AG, Nikonorov AV. Neural network for step anomaly detection in head motion during fMRI using meta-learning adaptation. Computer Optics 2023; 47(6): 991-1001. DOI: 10.18287/2412-6179-C0-1337.
Введение
Один из ключевых трендов развития современной науки заключается в создании искусственных систем, реализующих интеллектуальные функции. В частности, для мультимодальных систем искусственного интеллекта типа ChatGPT ведется дискуссия о наличии когнитивных функций [1, 2]. С другой стороны, методы машинного обучения активно применяются в нейронауке, изучающей активность головного мозга человека при помощи ЭЭГ и функциональной магнитно-резонансной томографии (фМРТ). Например, сбор данных часто является наиболее затратной частью экспериментов на основе фМРТ [3], а методы машинного обучения, применимые для контроля качества фМРТ-данных, показали высокую эффективность [4]. Более того, контроль качества данных в процессе их получения является одним из возможных направлений снижения экспериментальных затрат [3, 5, 6]. В частности, раннее обнаружение артефактов движения головы во время фМРТ может применяться
как критерий качества, по которому сканирование может быть прервано и возобновлено после дополнительных инструкций участнику. Это имеет решающее значение для эффективных исследований нейровизу-ализации и клинических применений [3, 4, 6 - 11].
Движение головы испытуемого является одним из основных источников пространственно-временных артефактов фМРТ, которые трудно полностью устранить и которые негативно влияют на чувствительность и специфичность фМРТ-данных [9, 12 - 17]. Более того, остаточное движение головы в предварительно обработанных данных фМРТ может предсказывать антропоморфные, поведенческие и клинические факторы [12].
Параметры движения головы для фМРТ-данных, как правило, оцениваются после фМРТ-эксперимента при корегистрации объёмов головного мозга к первому или среднему объёму серии, используя преобразование твердого тела (3D). Они включают три параметра смещения (x, y, z) и три вращения (pitch, roll, yaw) для каждого объёма временной фМРТ-серии.
Для дальнейшей работы с параметрами движения амплитуда вращательных параметров движения переводится в миллиметры путём умножения на 50 мм, так как это среднее расстояния от коры головного мозга до центра головы взрослого человека [3]. Для подавления прямых и косвенных эффектов движения головы эти 6 параметров, их первые производные и комбинации (например, пошаговое смещение, framewise displacement, FD) обычно используются в качестве ковариат для моделей фильтрации временных серий сигналов активности головного мозга при помощи линейной регрессии [9 - 11, 13, 18]. В режиме реального времени рекурсивная общая линейная модель (incremental general linear model, iGLM) также может использоваться для уменьшения физиологического шума при обработке данных всего мозга и временных серий целевых регионов мозга [5, 19 - 21]. Хотя iGLM превосходит алгоритмы экспоненциального скользящего среднего и скользящего окна, например, для устранения тренда [8], фильтрация при помощи линейной модели, как правило, не предполагает разложения параметров движения на более простые составляющие или выделения выраженных аномалий перед фильтрацией.
Тем не менее в комплексных параметрах движения головы можно выделить характерные признаки. Например, если после большого смещения относительное положение не меняется довольно длительное время, мы можем выделить аномалию типа ступень, часто наблюдающуюся на нескольких параметрах движения одновременно (рис. 1).
Корегистрация на первый скан серии с
Рис. 1. Корегистрация к первому объёму и временные ряды типовых параметров движений головы (три смещения и три вращения) для фМРТ одного участника, аномалии выделены прямоугольниками
Для обнаружения и маркировки аномалий могут применяться статистические методы, например, метод оптимального обнаружения, бинарной и восходящей сегментации и других классических методов машинного обучения [7, 22, 23]. Однако адаптация таких алгоритмов к конкретному малому набору данных и подбор необходимых параметров существенно затруднены. Современные подходы глубокого обучения в комбинации с методами обучения по малым и нулевым выборкам [24, 25] обладают большей адаптивностью к данным и могут эффективно использоваться для выявления целевых аномалий и артефактов [26, 27] в широком спектре технических и медицинских данных [28, 29]. Обучение нейростевых моделей,
как правило, требует большого набора данных, и для задач обнаружения аномалий такой объем может быть получен за счет использования синтетических данных [30]. Дальнейшая адаптация к малому набору данных, полученному в рамках конкретного эксперимента, может быть также выполнена на основе различных подходов обучения по выборкам малого и нулевого размера (few- zero-shot learning) [31, 32].
В данной статье предложена сквозная нейросете-вая технология обнаружения ступенчатых артефактов движения головы в фМРТ-данных с обучением на синтетических данных с последующей адаптацией к малому набору реальных данных. Для решения этой задачи в рамках статьи выполнено следующее:
- Разработан алгоритм синтеза данных движения головы с переносом статистических характеристик шума с реальных данных.
- Разработана процедура автоматизированной разметки реальных данных на основе анализа статистических характеристик.
- Разработан метод одношагового метаобучения для адаптации нейросетевой модели к малому набору реальных данных.
- Разработан алгоритм обнаружения ступенчатых аномалий в данных с применением свёрточно-рекуррентной нейросетевой модели в скользящем окне в 10, 15 и 24 отсчёта.
Для проведения тестирования и кросс-валидации результата были использованы 15 пар реальных сигналов движения головы во время проведения фМРТ-эксперимента, которые были также предварительно размечены. Для тестирования использовалась процедура схожая с кросс-валидацией, для теста использовался один набор из 15, исключенный из обучения. Средняя точность обнаружения ступенчатых аномалий на реальных данных составила от 0,8953, 0,9244 и 0,9546 для окна в 10, 15 и 24 отсчёта.
1. Общая схема обнаружения аномалий с обучением на синтетических данных
и адаптацией на малом наборе реальных данных
Для обучения нейросетевых моделей в условиях малого количества реальных данных разработана технология трехэтапного обучения с адаптацией нейросетевой модели под конкретную задачу на основе алгоритма метаобучения. Метаобучение -алгоритм, позволяющий быстро адаптировать нейросетевую модель к решению новых задач на малом объёме данных [33]. В отличие от ранее предложенного метаобучения, где на каждом шаге усредняются градиенты функций потерь [33], в применяемом методе усредняются веса нейросете-вых моделей, обученных за один шаг [24]. Предложенная схема одношагового метаобучения с использованием предварительного обучения на синтетических данных представлена на рис. 2 и состоит из следующих трех этапов.
1) На первом этапе модель обучается на большом объеме синтетических данных, сгенерированных с параметрами, близкими к реальным данным, и с переносом статистических параметров шума из реальных данных. В результате обучения получается начальный вектор параметров нейросте-вой модели -
2) Второй этап выполняется на небольшом количестве наборов реальных данных движения головы, соответствующих различным людям, предварительно размеченных с помощью автоматизированного модуля разметки. Для N реальных сигналов движения головы выполняется дообучение, начиная из начального вектора параметров модели wo независимо друг от друга обучается N моделей, и получается N векторов параметров нейросетевой модели wl... WN.
По набору состояний получается среднее состояние модели wm.
1 N
w m = n TW k . (1)
N k=1
Полученные N векторов соответствуют дообучению по N различным малым выборкам для различающихся доменов, в частности, в нашем исследовании N = 15 и выборки получены для разных людей.
3) На третьем этапе выполняется адаптация модели на основе обучения модели по малой части реальных данных (few-shot обучение), соответствующей конкретному эксперименту. Тестирование полученного результата обучения проводится на оставшейся части данных.
Этап 1
Этап 2
Этап 3
Обучение модели на большом объёме синтетических данных с параметрами шума из реальных данных
Дообучение на Л/ различных наборов реальных данных
Адаптация к реальным данным конкретного эксперимента
Рис. 2. Схема алгоритма метаобучения моделей обнаружения аномалий с использованием синтетических данных. но-вектор параметров начального состояния нейросетевой модели, N - количество реальных сигналов первого измерения и количество получаемых на втором этапе состояний модели, - набор параметров модели после дообучения
из начального состояния, н>м - результирующий набор параметров модели
Этапы 1) - 3) реализуют модифицированный подход инвариантного к модели метаобучения (model-agnostic meta-learning) [24], использованный, в частности, в работе [33] для решения задачи адаптации нейросетевой модели сверхразрешения к конкретному изображению.
Первая модификация заключается в использовании на первом этапе синтезированных данных, при генерации которых использованы статистические характеристики шума реальных данных. Вторая модификация относится ко второму этапу. В исходном алгоритме метаобучения из [24] и [33] этап 2 выполняется одновременно для всех наборов реальных данных, с обновлением градиентов на каждом шаге. В настоящей работе предлагается проводить обновление градиентов одномоментно, в один шаг (1). В отличие от исходного, параллельного мелкошагового алгоритма из работ [24] и [33], предложенный подход можно назвать последовательным крупношаговым. В предложенной реализации формула (1) является заменой формулы (1) из [24] или (7) из [33]. Полученный метод метаобучения будем называть одношаго-вым метаобучением на синтетических данных.
Далее в параграфе 2 описаны разработанные алгоритмы генерации синтетических данных, в параграфе 3 - процедуры автоматизированной разметки реальных данных, в параграфе 4 - разработанная нейросетевая модель обнаружения аномалий.
2. Алгоритм генерации данных с учетом
специфики данных о движении головы в сеансе МРТ-сканирования
2.1. Процедура генерации синтетических данных движения головы
Синтетические данные для первого этапа обучения сгенерированы с учетом специфики данных о движении головы, полученных в сеансе МРТ-сканирования.
Процедура синтеза данных выполняется в несколько этапов.
1) Формирование нормального шума со статистическими характеристиками, приближенными к реальным данным.
2) Добавление гармонической составляющей.
3) Добавление ступенчатых аномалий.
4) Добавление линейного тренда.
Далее эти этапы рассмотрены подробнее.
На первом этапе для синтеза данных формируется шесть независимых векторов Гауссовского шума. Перенос характеристик шума с реальных сигналов позволяет учесть специфику движения головы в МРТ-сканере и косвенные факторы, влияющие на точность аффинного преобразования, например, артефактов фМРТ-изображений, искаженных из-за движения.
На втором этапе к сгенерированному шуму добавляется гармоническая составляющая сигнала, состоящая из трёх гармоник с разными периодами и варьирующейся амплитудой колебаний. Подобные искажения позволят смоделировать цикличность дыхания человека в процессе фМРТ-сканирования.
На третьем этапе добавляются ступенчатые аномалии, количество и амплитуда которых варьируется.
На четвертом этапе добавляется линейный тренд сигнала с постоянными наклоном и зависимостью от длины сигнала.
В результате четырех этапов синтеза формируются шесть независимых сигналов заданной длины. В проводимых экспериментах синтетические данные состояли из наборов фрагментов 1000 временных рядов длиной 300 отсчётов (рис. 3). Каждый набор содержал независимые временные ряды для 6 параметров: смещения по координатам X, Y, Z, а также поворотов P (pitch), R (roll), Y (yaw).
Рис. 3. Пример синтетических данных с размеченными аномалиями
2.2. Перенос статистических характеристик реальных сигналов
Для того, чтобы приблизить масштабные и статистические характеристики синтетических данных к реальным сигналам, проводились следующие оценки. Характерный масштаб микродвижений головы в МРТ-сканере измеряется в миллиметрах [3, 9], поэтому при синтезе за единицу принят линейный размер в 1 мм, в том числе для вращательных движений.
1) Для переноса статистических параметров высокочастотного шума из реального сигнала в синтетический было использовано дискретное вейвлет-преобразование набора реальных сигналов. В качестве материнского вейвлета использован симлет пятого порядка. Декомпозиция сигнала производилась до коэффициентов пятого уровня [34]. После этого
все коэффициенты, за исключением коэффициентов пятого уровня, были обнулены. Полученный набор коэффициентов использовался для восстановления сигнала и получения высокочастотной компоненты шума реального сигнала (рис. 4.).
Для оценки статистических характеристик выделенного шума был применён Slice-алгоритм сэмплирования [35]. Выбранный алгоритм представляет собой тип алгоритма Монте-Карло по схеме марковских цепей для выборки псевдослучайных чисел [36]. Сэмплирование проводилось на 100 отсчётах каждого реального сигнала из первого измерения в течение 1000 итераций. Полученные статистические характеристики для каждого из реальных сигналов образовали набор параметров, из которых они случайным образом выбирались для применения к шуму генерируемого сигнала.
Рис. 4. Высокочастотный шум, извлечённый из реального сигнала с помощью дискретного вейвлет-преобразования
Среднеквадратичное отклонение полученного шума изменялось в интервале от 10 5 до 3 • 10 5 мм, а математическое ожидание было близко к нулю. Также с вероятностью 0,01 шум в сигнале усиливался в 100 раз для имитации вибрации сканера и чрезмерно зашумлённых данных.
2) Наложение нелинейных гармонических трендов выполнено с помощью косинусов трех различных периодов. Первые две гармоники имели одинарный и двойной периоды относительно длины временного ряда. Период третьей гармоники с вероятностью 0,99 варьировался между 8 и 64 длинами временного ряда. В случае гармоники с периодом 64 - остальные гармоники подавлялись во избежание излишнего искажения сигнала. Амплитуда гармоник для 6 параметров и трех гармоник изменялась независимо от 5-10 -3 мм до 2-10 2 мм с шагом 10 -4. Знак амплитуды 1-й гармоники с вероятностью 0,5 варьировался между «+» и «-».
3) Ключевым для обучения этапом является добавление целевых ступенчатых аномалий. Количество ступенчатых аномалий выбиралось случайным образом в диапазоне от 3 до 6 при условии, что минимальное расстояние между аномалиями составляет 2 временных отсчёта. Амплитуда аномалий независима для 6 параметров и изменялась от 2-10 2 мм до
5^10 -2 мм с шагом 5^10 -3 мм, а знак амплитуды с вероятностью 0,5 варьировался между «+» и «-». В результате добавления данной аномалии амплитуда всего последующего сигнала поднималась или опускалась начиная с выбранной точки. Также с вероятностью 0,5 аномалия могла быть одиночной или двойной. В случае двойной аномалии подъём или спуск происходил за два отсчёта. Величина подъёма или спуска делилась между двумя отрезками случайным образом на доли размерами от 0,25 до 0,75 от исходной амплитуды.
4) Добавление линейного тренда с постоянным наклоном. Тренд задается так, чтобы подъем на всей длине временного ряда составлял от 5 мм до 10 мм на последнем отсчёте. При генерации величина подъёма варьируется с шагом 1 мм.
В качестве обучающей выборки были использованы 6000 сигналов длиною в 300 отсчётов, содержащие от 3 до 6 ступенчатых аномалий. Далее сигнал сегментируется скользящим окном размера 10, 15 и 24 отсчёта. Сигнал сегментируется по положениям скользящего окна с шагом 1, и в случае обнаружения отмеченной ранее аномалии в интервале он помечается аномальным и записывается в отдельную структуру. По результатам сегментации выборка балансируется путём отброса неаномальных участков для достижения равного количества аномальных и неаномальных участков. Полученные интервалы являются входными данными для модели нейросетевого классификатора. Размер каждого набора синтетических данных примерно равен 470000, 725000 и 1100000 интервалов соответственно.
3. Автоматизированная разметка на основе
статистических алгоритмов обнаружения рассогласования в данных
Для автоматизации разметки данных использовалась разметка, реализованная на основе анализа статистических характеристик и обнаружения несоответствий, при анализе использовалась библиотека для анализа и сегментации нестационарных сигналов Ruptures [22]. Разметка аномалий на полученных реальных данных проводится на основе двух соседних скользящих окон, в которых рассчитывается мера несоответствия. Ширина и шаг скользящих окон могут быть настроены пользователем. В соседних окнах vi.n и vm,n с индексами I < m < n рассчитываются статистические свойства сигнала и сравниваются с мерой невязки d (m), которая определятся на основе некоторой функции стоимости с(-):
d (m ) = с (v, n )- с (v, m )- с (vm,„ ).
(2)
При превышении невязки между окнами У!,„ и ущп порогового значения делается вывод о наличии аномалии. В настоящей работе использовалась норма Ь2 в качестве функции стоимости для автоматизированного обнаружения ступенчатых аномалий [22, 37].
Для корректировки предварительной разметки в случае неверной автоматической разметки с помощью статистических методов был создан дополнительный программный модуль на языке Python, который дает пользователю возможность скорректировать разметку. Каждая статистически обнаруженная аномалия может быть подтверждена или отменена (рис. 5).
Рис. 5. Пример разметки сигнала статистическим методом до (А) и после (Б) ручной корректировки. Точками отмечены аномалии
4. Обнаружение аномалий на основе нейросетевой модели 4.1. Архитектура сверточно-рекуррентной нейросетевой модели обнаружения аномалий
Для классификации интервалов сигнала на аномальные и не аномальные предлагается свёрточно-рекуррентная нейронная сеть следующей архитектуры, представленной на рис. 6.
Batch_normalization - слой обучаемой пакетной нормализации [38], нормализующий данные, подаваемые на вход. Conv1D - свёрточный слой нейросетевой модели, применяющий операцию свёртки к выходным данным из предыдущего слоя и ядром свёртки. Gaussi-an_noise - регуляризационный слой, добавляющий к данным Гауссов шум с нулевым средним, активен только на этапе обучения [39]. GRU - управляемый рекуррентный блок [40]. Reshape - слой, меняющий размерность входных данных в заданную. SimpleRNN - полносвязный рекуррентный слой, где выходная информация возвращается на вход. Dense - полносвязный слой.
4.2. Алгоритм обнаружения аномалий
Обнаружение аномалий реализуется скользящим окном на основе нейростевого классификатора. На вход
классификатора подается интервал, полученный скользящим окном заданной длины с шагом 1. Для принятия решения об аномалии используется голосование классификаторов по двум соседним положениям окна. Такая процедура позволяет уменьшить количество неверно определённых аномальных и неаномальных интервалов в результате нейросетевой классификации.
C^Batchnormalization^
~ V ~~
Conv1D_1, 32, 5 У
Conv1D_2, 32, 3 У
Conv1D_3, 64, 2 V
Conv1D_4, 64, 1
—-V
CS
iaussian noise
GRU, 64, 10'4 Ç^Reshape^)
SimpleRNN, 32, 10 4
»
Dense 1,8, relu
V
Dense_2, 1, sigmoid
Рис. 6. Архитектура свёрточно-рекуррентной нейросетевой модели
5. Получение реальных данных и обучение модели
5.1. Получение реальных данных
В проводимом исследовании были использованы 15 реальных сигналов движения головы первого и второго измерений фМРТ-сканирования, проводимого до и после эксперимента по регуляции эмоций, полученные для 15 различных человек [41]. В процессе сканирования участники были проинструктированы не двигаться, не концентрироваться на каких-либо мыслях и не засыпать. Характеристики фМРТ-сканов: 333 трёхмерных изображения объёмом 120*120*45, размер вокселя - 1,8 мм3, TR = 1,1 с. Шесть параметров движения головы представляли собой три смещения по осям X, Y, Z и повороты вокруг осей X,, Y, Z, полученные с помощью корегистрации к первому скану сессии фМРТ-сканирования (SPM12, fil.ion.ucl.ac.uk) [42].
Разметка реальных данных была выполнена вручную с применением модуля автоматической разметки и последующей корректировки полученного
результата пользователем. Размеченные реальные данные были сохранены в отдельную структуру и впоследствии сегментированы аналогичным способом. Каждые из 6 параметров размечались, сегментировались и использовались при обучении независимо друг от друга. На данном этапе использовались 15 сигналов движения головы из первого измерения, после сегментации средний размер выборки равен 1297, 1538 и 1377 интервалам для 10, 15 и 24 отсчётов соответственно, таким образом, обучение велось на выборке из 15 наборов данных.
5.2. Обучение на синтетических данных
Первый этап обучения модели, согласно общей схеме, представленной в параграфе 2, выполнялся на синтезированных данных. В процессе обучения рекуррентной нейронной сети был использован оптимизатор Adam с коэффициентами скорости обучения 10 2 на первых 15 эпохах и 10 4 на последующих. Количество эпох обучения - 50. Размер батча - 8192. Выбранные параметры обучения обеспечили наивысшую точность и наименьшие значения функции потерь на валидационной выборке и были установлены в процессе экспериментальных исследований как наиболее эффективные. В качестве функции потерь была использована функция бинарной кросс-энтропии. Таким образом был получен набор параметров модели w»
Результаты тестирования на синтетических реальных данных после обучения сверточно-рекуррентной нейросетевой модели (СРНС) и 1D свёрточной нейросетевой модели (1D СНС) [43] представлены в табл. 1. В качестве метрик эффективности обучения и тестирования нейросетевых моделей используются понятия точности и Б1-метрики:
Точность =-
TP + TN
F1 - метрика =
TP + TN + FP + FN' TP
TP + 2 (FP + FN )
(3)
(4)
где ТР - верно определённые аномалии, ТЫ - верно определённые неаномалии, РР - неверно определённые аномалии, РЫ - неверно определённые неаномалии.
Табл. 1. Результаты обучения на синтетических и тестирования на реальных данных для СРНС и Ю СНС моделей
на окнах различного размера
СРНС, 10 отсчётов СРНС, 15 отсчётов СРНС, 24 отсчёта 1D СНС, 10 отсчётов 1D СНС, 15 отсчётов 1D СНС, 24 отсчёта
Точность на синтетических данных 0,9609 0,9663 0,9702 0,9544 0,9395 0,9654
F1-метрика на синтетических данных 0,9605 0,9659 0,9700 0,9543 0,9377 0,9652
Точность на реальных данных 0,6850 0,7016 0,7182 0,6225 0,6412 0,6677
F1-метрика на реальных данных 0,6833 0,7062 0,7284 0,6673 0,6798 0,7165
Рекуррентная модель на всех трёх размерах окна продемонстрировала значения от 0,96 до 0,97 точности и F1-метрики на синтетических данных и, примерно 0,70 на реальных данных. 1D СНС показала результаты ниже и с большим разбросом от 0,93 до 0,96 в точности и F1-метрике на синтетических данных и от 0,62 до 0,66 в точности на валидационной выборке, состоящей из реальных данных.
5.3. Обучение на реальных данных
Второй этап общей схемы одношагового метаобуче-ния реализован дообучением модели от вектора параметров w0. Получившийся в процессе дообучения начиная от W0 набор векторов wi...wjv позволяет, согласно (1), получить wm - стартовый вектор параметров для третьего этапа адаптации модели к малой выборке.
Обучение проводилось для 14 различных наборов данных. Обучение каждого состояния производилось из начального вектора параметров wo с размером бат-ча в 256 и обучающим коэффициентом в 10 -3 на протяжении 100 эпох.
5.4. Адаптация модели
Третий этап общей схемы одношагового метаобу-чения заключается в дообучении усреднённого вектора параметров wm на оставшемся наборе данных, не входящем в 14 использованных на предыдущем этапе. Процесс финального дообучения проводился скоростью обучения 10 -6 на протяжении 50 эпох с размером батча 128. Тестирование нейросетевой модели с адаптированным к конкретной задаче вектором параметров wm проводилось на втором наборе данных из пары. Финальные результаты теста нейросетевой классификации были откорректированы по двум соседним интервалам согласно ранее описанному алгоритму.
6. Экспериментальное исследование
6.1. Процедура кросс-валидации предложенной процедуры одношагового метаобучения
Для проверки точности предложенной процедуры одношагового метаобучения в условиях ограниченного набора данных использовалась следующая процедура на основе кросс-валидации по отдельным объектам (leave-one-out). На втором этапе одношагового метаобучения (подпараграф 2.1) используются все, кроме одного из наборов данных, сформированных, как описано в 4.1, по этим наборам данных выполняется расчет вектора параметров (1). Оставшийся набор данных используется для адаптации модели на этапе 3 и оценки точности модели. При этом первое измерение из набора данных используется для обучения, второе - в качестве валидационной выборки. Процедура повторяется для всех наборов данных.
Предложенная процедура кросс-валидации позволяет провести среднюю оценку метрик точности и F1. Для настоящей работы это означает усреднение по 15 измерениям. В рамках настоящей работы кросс-
валидация проводилась для всех размеров окна в 10, 15 и 24 отсчёта. Размеры выборок равны 1884, 1854 и 1800 интервалов соответственно.
6.2. Сравнительный анализ метода одношагового метаобучения
Для анализа эффективности предложенного подхода одношагового метаобучения выполнено сравнение с классическими подходами адаптации модели по малой выборке. Проведено сравнение точности для модели, дообученной непосредственно из вектора параметров W0, и адаптации модели, полученной в результате процедуры трансферного обучения (transfer learning).
Для обоих подходов применяется процедура кросс-валидации по отдельным объектам из предыдущего параграфа. В процессе классического дообучения начиная из вектора параметров wo дообучение производится по одному из наборов данных. Транс-ферное обучение проводится для всех наборов данных, кроме одного. Один набор используется для дообучения начиная от вектора параметров, полученного в результате трансферного обучения и финальной оценки точности. Таким образом, для обоих подходов есть возможность получить средние значения точности, как и для предложенного одношагового метаобучения.
Результаты для дообучения из w0 представлены в табл. 2 и 3, результаты трансферного обучения представлены в табл. 4 и 5. В таблицах представлены средние значения метрик и величина показателя значимости однофакторного дисперсионного анализа на основе теста one-way ANOVA (p-value), выполненного для значений метрик для предложенного метода. Малая величина показателя значимости свидетельствует о высокой достоверности различия в средних значениях метрик.
Табл. 2. Точность дообучения начиная от но на различной длине окна
СРНС, 10 отсчётов СРНС, 15 отсчётов СРНС, 24 отсчёта
Минимальная 0,7489 0,6564 0,7733
Максимальная 0,9188 0,9364 0,9433
Средняя 0,8098 0,8290 0,8486
p-value 1,6-10 -6 1,910 -5 7,2-10 -8
Табл. 3. Fl-метрика обучения начиная от wo на различной длине окна
СРНС, 10 отсчётов СРНС, 15 отсчётов СРНС, 24 отсчёта
Минимальная 0,3261 0,4161 0,7158
Максимальная 0,8204 0,9330 0,9694
Средняя 0,6150 0,7824 0,8667
p-value 3,2-10 -7 2,8-10 -4 3,110 -6
Сравнение результатов из табл. 2 - 5 с результатами для предложенного метода одношагового метаобучения, приведенными в левой части табл. 6 и 7, подтверждают, что для всех размеров окна предложенный метод превосходит существующие подходы
на 5 - 12 процентных пунктов. Малая величина показателя значимости подтверждает высокую достоверность полученных результатов.
Табл. 4. Точность дообучения начиная от результата трансферного обучения на различной длине окна
СРНС, 10 отсчётов СРНС, 15 отсчётов СРНС, 24 отсчёта
Минимальная 0,7712 0,7627 0,7561
Максимальная 0,9188 0,9099 0,9611
Средняя 0,8402 0,8252 0,8326
p-value 1,110 -6 1,110 -8 9,810 -8
Табл. 5. Е1-метрика дообучения начиная от результата трансферного обучения на различной длине окна
СРНС, 10 отсчётов СРНС, 15 отсчётов СРНС, 24 отсчёта
Минимальная 0,5263 0,5579 0,5903
Максимальная 0,8890 0,9395 0,9794
Средняя 0,7362 0,8007 0,8548
р^а1ие 3,110 -6 1,110 -5 8,910 -5
6.4. Обсуждение результатов
Предложенный подход одношагового метаобуче-ния существенно превосходит трансферное обучение по точности. Таким образом, получено экспериментальное подтверждение работоспособности предложенного подхода, существенно отличающегося от подхода метаобучения, предложенного в [24, 33].
В отличие от метаобучения в [24, 33], предложенная процедура одношагового метаобучения позволяет добавлять наборы данных на этап 2, уточняя оценку параметров (1) без переобучения по всем наборам данных, необходимого для подхода из [24, 33]. Такое отличие может быть полезным для прикладных задач адаптации нейросетевых моделей. Также представляет интерес добавление шагов в процедуру одношаго-вого метаобучения. Такая возможность, равно как и возможность адаптации, является приоритетным направлением для дальнейшего исследования.
Согласно полученным результатам предложенная СРНС модель существенно превосходит 1Б СНС из [43]. На длине окна в 24 отсчёта СРНС показала
6.3. Сравнительный анализ предложенной свёрточно-рекурсивной архитектуры
Проведено экспериментальное сравнение предложенной рекуррентной модели (СРНС) с ранее разработанной моделью (Ш СНС) [43], для которой также были сформированы начальный вектор параметров Wо и вектор параметров wм. Ш СНС была подвергнута тем же предложенным процедурам одношагового метаобучения (подпараграф 2.1).
Все процедуры обучения и тестирования проводились на одних и тех же наборах данных с теми же условиями балансировки и теми же параметрами обучения, обе модели использовали интервалы в 10, 15 и 24 отсчёта.
Минимальная, максимальная и средняя точность и Б1-метрика перекрёстной проверки предложенного метода на 15 результирующих состояниях нейросетевой модели представлены в табл. 6 и 7. Приведенные результаты подтверждают, что предложенная модель превосходит Ш СНС по точности на 12 - 17 процентов.
среднее значение точности 0,9546 и среднее значение Б1-метрики 0,9618. Модель 1Б СНС показала результаты хуже на всех интервалах, и лучшими её значениями являются значения точности и Б1 -метрики на окне размером 24 отсчёта - 0,7829 и 0,8049 соответственно.
Дальнейшее повышение точности нейросетевой модели может быть достигнуто путём создания более близкой к реальным данным процедуры генерации синтетических данных и увеличения объёма и разнообразия реальных данных. Также безусловно перспективным является использование всех 6 параметров движения в одной модели.
Также одним из следующих необходимых шагов для дальнейшего анализа качества сигнала движения головы является анализ обнаруженных аномалий ступенчатого типа. Вычисление таких характеристик, как координаты, высоты, продолжительности аномалии, позволит отсеивать число ложных срабатываний классификации путём варьирования пороговых значений этих параметров. Извлечь эти значения из интервала можно путём аппроксимации интервала по-
Табл. 6. Точность после финального дообучения на различной длине окна
СРНС, 10 отсчётов СРНС, 15 отсчётов СРНС, 24 отсчёта 1D СНС, 10 отсчётов 1D СНС, 15 отсчётов 1D СНС, 24 отсчёта
Минимальная 0,8413 0,8641 0,9389 0,6433 0,6855 0,7128
Максимальная 0,9453 0,9709 0,9783 0,8694 0,8296 0,9206
Средняя 0,8953 0,9244 0,9546 0,7757 0,7604 0,7829
Табл. 7. Е1-метрика после финального дообучения моделей на различной длине окна
СРНС, 10 отсчётов СРНС, 15 отсчётов СРНС, 24 отсчёта 1D СНС, 10 отсчётов 1D СНС, 15 отсчётов 1D СНС, 24 отсчёта
Минимальная 0,7099 0,8509 0,9299 0,3595 0,3566 0,4310
Максимальная 0,9176 0,9668 0,9884 0,8437 0,8974 0,9572
Средняя 0,8267 0,9150 0,9618 0,6600 0,7204 0,8049
роговой функцией или трапецией, дабы определить вид аномалии. Подобный анализ обнаруженных аномалий позволит их также использовать в качестве ре-грессоров шума на основном BOLD-сигнале фМРТ, что также повысит точность проводимой процедуры и снизит затраты на её проведение.
Заключение
В настоящей работе была разработана и протестирована модель свёрточно-рекуррентной нейронной сети для обнаружения аномалий в данных движения головы в сеансе МРТ-сканирования.
Для формирования обучающей выборки был разработан алгоритм синтеза данных движения головы с переносом статистических характеристик шума с реальных данных. Была разработана процедура автоматизированной разметки реальных данных на основе статистических характеристик сигнала.
Предложен метод одношагового метаобучения с обучением на синтезированных данных для адаптации нейросетевой модели к малому набору данных. Разработан алгоритм обнаружения аномалий в данных с применением свёрточно-рекуррентной нейросети, обеспечивший значения точности 0,9546 и Fl-метрики 0,9618. Предложенный подход может быть использован для точного обнаружения специфических фМРТ-артефактов, связанных с движениями головы, при традиционной обработке данных фМРТ и в режиме реального времени [3 - 5, 7, 21, 44].
Благодарности
Теоретические результаты и метод одношагового метаобучения выполнены при поддержке гранта РНФ № 22-19-00364, экспериментальные исследования в рамках Государственного задания ФНИЦ «Кристаллография и фотоника» РАН - при поддержке РФИИ № 20-31-90113.
References
[1] Holzinger A, Keiblinger K, Holub P, Zatloukal K, Müller H. AI for life: Trends in artificial intelligence for biotechnology. N Biotechnol 2023; 74: 16-24. DOI: 10.1016/j.nbt.2023.02.001.
[2] Fan H, Gao W, Han B. Are AI chatbots a cure-all? The relative effectiveness of chatbot ambidexterity in crafting he-donic and cognitive smart experiences. J Bus Res 2023; 156: 113526. DOI: 10.1016/j.jbusres.2022.113526.
[3] Dosenbach NUF, Koller JM, Earl EA, Miranda-Dominguez O, Klein RL, Van AN, Snyder AZ, Nagel BJ, Nigg JT, Nguyen AL, Wesevich V, Greene DJ, Fair DA. Real-time motion analytics during brain MRI improve data quality and reduce costs. NeuroImage 2017; 161: 80-93. DOI: 10.1016/j.neuroimage.2017.08.025.
[4] Alfaro-Almagro F, Jenkinson M, Bangerter NK, Anders-son JLR, Griffanti L, Douaud G, Sotiropoulos SN, Jbabdi S, Hernandez-Fernandez M, Vallee E, Vidaurre D, Webster M, McCarthy P, Rorden C, Daducci A, Alexander DC, Zhang H, Dragonu I, Matthews PM, Miller KL, Smith SM. Image processing and Quality Control for the first 10,000 brain imaging datasets from UK Biobank. NeuroImage
2018; 166; 400-424. DOI:
10.1016/j.neuroimage.2017.10.034.
[5] Davydov N, Peek L, Auer T, Prilepin E, Gninenko N, Van De Ville D, Nikonorov A, Koush Y. Real-time and recursive estimators for functional MRI quality assessment. Neuroinformatics 2022; 20(4): 897-917. DOI: 10.1007/s12021-022-09582-7.
[6] Heunis S, Lamerichs R, Zinger S, Caballero-Gaudes C, Jansen JFA, Aldenkamp B, Breeuwer M. Quality and de-noising in real - time functional magnetic resonance imaging neurofeedback: A methods review. Hum Brain Mapp 2020; 41(12): 3439-3467. DOI: 10.1002/hbm.25010.
[7] Agafonova YuD, Gaidel AV, Zelter PM, Kapishnikov AV. Efficiency of machine learning algorithms and convolu-tional neural network for detection of pathological changes in MR images of the brain. Computer Optics 2020; 44(2): 266-273. DOI: 10.18287/2412-6179-CO-671.
[8] Kopel R, Sladky R, Laub P, Koush Y, Robineau F, Hutton C, Weiskopf N, Vuilleumier P, Van De Ville D, Schar-nowski F. No time for drifting: Comparing performance and applicability of signal detrending algorithms for realtime fMRI. NeuroImage 2019; 191: 421-429. DOI: 10.1016/j.neuroimage.2019.02.058.
[9] Van Dijk KRA, Sabuncu MR, Buckner RL. The influence of head motion on intrinsic functional connectivity MRI. NeuroImage 2012; 59(1): 431-438. DOI: 10.1016/j.neuroimage.2011.07.044.
[10] Power JD, Barnes KA, Snyder AZ, Schlaggar BL, Petersen SE. Spurious but systematic correlations in functional connectivity MRI networks arise from subject motion. NeuroImage 2012; 59(3): 2142-2154. DOI: 10.1016/j.neuroimage.2011.10.018.
[11] Power JD, Mitra A, Laumann TO, Snyder AZ, Schlaggar BL, Petersen SE. Methods to detect, characterize, and remove motion artifact in resting state fMRI. NeuroImage 2014; 84: 320341. DOI: 10.1016/j.neuroimage.2013.08.048.
[12] Bolton TAW, Kebets V, Glerean E, Zöller D, Li J, Yeo BTT, Caballero-Gaudes C, Van De Ville D. Agito ergo sum: Correlates of spatio-temporal motion characteristics during fMRI. NeuroImage 2020; 209: 116433. DOI: 10.1016/j.neuroimage.2019.116433.
[13] Parkes L, Fulcher B, Yücel M, Fornito A. An evaluation of the efficacy, reliability, and sensitivity of motion correction strategies for resting-state functional MRI. NeuroImage 2018; 171: 415-436. DOI: 10.1016/j.neuroimage.2017.12.073.
[14] Satterthwaite TD, Elliott MA, Gerraty RT, Ruparel K, Loughead J, Calkins ME, Eickhoff SB, Hakonarson H, Gur RC, Gur RE, Wolf DH. An improved framework for confound regression and filtering for control of motion artifact in the preprocessing of resting-state functional connectivity data. NeuroImage 2013; 64: 240-256. DOI: 10.1016/j.neuroimage.2012.08.052.
[15] Scheinost D, Papademetris X, Constable RT. The impact of image smoothness on intrinsic functional connectivity and head motion confounds. NeuroImage 2014; 95: 13-21. DOI: 10.1016/j.neuroimage.2014.03.035.
[16] Fair DA, Miranda-Dominguez O, Snyder AZ, Perrone A, Earl EA, Van AN, Koller JM, Feczko E, Tisdall MD, van der Kouwe A, Klein RL, Mirro AE, Hampton JM, Adeyemo B, Laumann TO, Gratton C, Greene DJ, Schlaggar BL, Hagler DJ, Watts R, Garavan H, Barch DM, Nigg JT, Petersen SE, Dale AM, Feldstein-Ewing SW, Nagel BJ, Dosenbach NUF. Correction of respiratory artifacts in MRI head motion estimates. NeuroImage 2020; 208: 116400. DOI: 10.1016/j.neuroimage.2019.116400.
[17] Koush Y, Zvyagintsev M, Dyck M, Mathiak KA, Mathiak K. Signal quality and Bayesian signal processing in neurofeedback based on real-time fMRI. NeuroImage 2012; 59(1): 478-489. DOI: 10.1016/j.neuroimage.2011.07.076.
[18] Glover GH, Li T-Q, Ress D. Image-based method for retrospective correction of physiological motion effects in fMRI: RETROICOR. Magn Reson Med 2000; 44(1): 162167. DOI: 10.1002/1522-2594(200007)44: 1 < 162:: AID-MRM23>3.0.C0;2-E.
[19] Bagarinao E, Matsuo K, Nakai T, Sato S. Estimation of general linear model coefficients for real-time application. NeuroImage 2003; 19(2): 422-429. DOI: 10.1016/s1053-8119(03)00081-8.
[20] Nakai T, Bagarinao E, Matsuo K, Ohgami Y, Kato C. Dynamic monitoring of brain activation under visual stimulation using fMRI-The advantage of real-time fMRI with sliding window GLM analysis. J Neurosci Methods 2006; 157(1): 158-167. DOI: 10.1016/j.jneumeth.2006.04.017.
[21] Koush Y, Ashburner J, Prilepin E, Sladky R, Zeidman P, Bibikov S, Scharnowski F, Nikonorov A, De Ville DV. OpenNFT: An open-source Python/Matlab framework for real-time fMRI neurofeedback training based on activity, connectivity and multivariate pattern analysis. NeuroImage 2017; 156: 489-503. DOI: 10.1016/j.neuroimage.2017.06.039.
[22] Truong C, Oudre L, Vayatis N. Selective review of offline change point detection methods. Signal Process 2020; 167: 107299. DOI: 10.1016/j.sigpro.2019.107299.
[23] Smelkina NA, Kosarev RN, Nikonorov AV, Bairikov IM, Ryabov KN, Avdeev AV, Kazanskiy NL. Reconstruction of anatomical structures using statistical shape modeling. Computer Optics 2017; 41(6): 897-904. DOI: 10.18287/2412-6179-2017-41-6-897-904.
[24] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks. ICML'17: Proc the 34th Int Conf on Machine Learning 2017 - Volume 70: 1126-1135. DOI: 10.48550/arXiv.1703.03400.
[25] Finn C, Levine S. Meta-learning and universality: Deep representations and gradient descent can approximate any learning algorithm. Sixth Int Conf on Learning Representations 2018: 1-20. DOI: 10.48550/arXiv.1710.11622.
[26] Chandola V, Banerjee A, Kumar V. Anomaly detection: A survey. ACM Comput Surv 2009; 41(3): 15. DOI: 10.1145/1541880.1541882.
[27] Chalapathy R, Chawla S. Deep learning for anomaly detection: A survey. arXiv Preprint. 2019. Source: <https://arxiv.org/abs/1901.03407>. DOI: 10.48550/arXiv. 1901.03407.
[28] Zhao R, Yan R, Chen Z, Mao K, Wang P, Gao RX. Deep learning and its applications to machine health monitoring. Mech Syst Signal Process 2019; 115: 213-237. DOI: 10.1016/j.ymssp.2018.05.050.
[29] Nogales A, García-Tejedor ÁJ, Monge D, Vara JS, Antón C. A survey of deep learning models in medical therapeutic areas. Artif Intell Med 2021; 112: 102020. DOI: 10.1016/j.ymssp.2018.05.050.
[30] Gareev A, Protsenko V, Stadnik D, Greshniakov P, Yuzifovich Y, Minaev E, Gimadiev A, Nikonorov A. Im-
proved fault diagnosis in hydraulic systems with gated convolutional autoencoder and partially simulated data. Sensors 2021; 21(13): 4410. DOI: 10.3390/s21134410.
[31] Ravi S, Larochelle H. Optimization as a model for few-shot learning. Int Conf on Learning Representations 2016: 1-11.
[32] Wang W, Zheng V, Yu H, Miao C. A survey of zero-shot learning: settings, methods, and applications. ACM Trans Intell Syst Technol 2019; 10(2): 13. DOI: 10.1145/3293318.
[33] Soh J, Cho S, Cho N. Meta-transfer learning for zero-shot super-resolution. 2020 IEEE/CVF Conf on Computer Vision and Pattern Recognition (CVPR) 2020: 3513-3522. DOI: 10.1109/CVPR42600.2020.00357.
[34] Davydov N, Khramov AG. Myocardial infarction detection using wavelet analysis of ECG signal. CEUR Workshop Proc 2018; 2212: 31-37.
[35] Neal RM. Slice sampling. Ann Stat 2003; 31(3): 705-767.
[36] van Ravenzwaaij D, Cassey P, Brown SD. A simple introduction to Markov Chain Monte-Carlo sampling. Psychon Bull Rev 2018; 25(1): 143-154. DOI: 10.3758/s13423-016-1015-8.
[37] Fursov VA, Nikonorov AV, Bibikov SA, Yakimov PYu, Minaev EYu. Correction of distortions in color images based on parametric identification. Pattern Recogn Image Anal 2011; 21(2): 125-128. DOI: 10.1134/S1054661811020349.
[38] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. ICML'15: Proc of the 32nd Int Conf on International Conference on Machine Learning 2015: 448-456.
[39] Fortunato M, Azar M, Piot B, Menick J, Osband I, Graves A, Mnih V, Munos R, Hassabis D, Pietquin O, Blundell C, Legg S. Noisy networks for exploration. Sixth Int Conf on Learning Representations 2017: 1-21.
[40] Chung J, Gulcehre C, Cho K, Bengio Y. Empirical evaluation of gated recurrent neural networks on sequence modeling. NIPS 2014 Workshop on Deep Learning 2014.
[41] Krylova M, Skouras S, Razi A, Nicholson A, Karner A, Steyrl D, Boukrina O, Rees G, Scharnowski F, Koush Y. Progressive modulation of resting-state brain activity during neurofeedback of positive-social emotion regulation networks. Sci Rep 2021; 11: 23363. DOI: 10.1038/s41598-021-02079-4.
[42] Ashburner J. A fast diffeomorphic image registration algorithm. Neuroimage 2007; 38(1): 95-113. DOI: 10.1016/j.neuroimage.2007.07.007.
[43] Plisko A, Serafimovich P, Davydov N, Nikonorov A, Koush Y. Detection of step displacements in fMRI head motion data based on machine learning. 2020 Int Conf on Information Technology and Nanotechnology (ITNT) 2020: 1-4. 10.1109/ITNT49337.2020.9253193.
[44] Koush Y, Ashburner J, Prilepin E, Sladky R, Zeidman P, Bibikov S, Scharnowski F, Nikonorov A, Van De Ville D. Real-time fMRI data for testing OpenNFT functionality. Data in Brief 2017; 14: 344-347. DOI: 10.1016/j.dib.2017.07.049.
Сведения об авторах
Давыдов Никита Сергеевич, 1994 года рождения, в 2018 году окончил Самарский национальный исследовательский университет имени академика С.П. Королёва по специальности «Прикладная математика и информатика», работает младшим научным сотрудником в ИСОИ РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: анализ данных, машинное обучение, нейронаука, обработка сигналов и изображений. E-mail: amail9496@smail.com .
Евдокимова Виктория Витальевна, 1994 года рождения, в 2017 году окончила магистратуру Самарского национального исследовательского университета имени академика С.П. Королёва по направлению «Прикладная математика и информатика». Аспирант кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: компьютерная обработка изображений, теория распознавания образов, интеллектуальный анализ данных, глубокое обучение. E-mail: vkutikova94@gmail.com .
Серафимович Павел Григорьевич, доктор физико-математических наук; старший научный сотрудник ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН. Области научных интересов: моделирование и проектирование оптических устройств, разработка и исследование программных средств распределённой и параллельной обработки крупноформатных изображений. E-mail: serp@ipsiras.ru .
Проценко Владимир Игоревич, 1991 года рождения. В 2014 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва (СГАУ) со степенью магистра по направлению «Прикладная математика и информатика». Области научных интересов: разработка и исследование программных средств распределённой и параллельной обработки крупноформатных изображений, технологии обработки больших данных. E-mail: protsenkovi@gmail. com .
Храмов Александр Григорьевич, 1954 года рождения, д.т.н., доцент. В 1977 году окончил Куйбышевский авиационный институт им. академика С.П. Королёва по специальности «Автоматизированные системы обработки информации и управления». В 2006 году защитил докторскую диссертацию. В настоящее время профессор кафедры технической кибернетики Самарского национального исследовательского университета имени академика С.П. Королёва, а также старший научный сотрудник в Институте систем обработки изображений РАН. Область научных интересов: обработка и анализ биомедицинских изображений, интеллектуальный анализ данных, теория случайных процессов. E-mail: khramov@smr.ru .
Никоноров Артем Владимирович, родился в 1979 году. В 2005 году окончил Самарский государственный аэрокосмический университет. Доктор технических наук (2016), профессор кафедры суперкомпьютеров и общей информатики Самарского университета. Опубликовал более 80 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распределённые вычисления, вычисления с использованием графических процессоров. E-mail: artniko@gmail.com .
ГРНТИ: 28.23.29
Поступила в редакцию 11 мая 2023 г. Окончательный вариант - 19 сентября 2023 г.
Neural network for step anomaly detection in head motion during fMRI
using meta-learning adaptation
N.S. Davydov12, V.V. EvdokimovaP.G. SerafimovichV.I. Protsenko12, A.G. Khramov2, A.V. Nikonorov1,2 1IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, 443001, Samara, Russia, Molodogvardeyskaya 151;
2 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34
Abstract
Quality assessment and artifact detection in functional magnetic resonance imaging (fMRI) data is essential for clinical applications and brain research. Subject head motion remains the main source of artifacts - even the tiniest head movement can perturb the structural and functional data derived from the fMRI. In this paper, we propose an end-to-end neural network technology for detecting step anomalies with training on partially synthetic data with adaptation to a specific small set of real data. A procedure for generating a synthetic dataset for training and a module for automated labeling of real data is developed. A recurrent neural network model for detecting step anomalies is proposed. A method for the model adaptation to a small set of real data based on one-step meta-learning is developed. An experimental verification of the accuracy is carried out in the problem of detecting step anomalies using a sliding window of 10, 15, and 24 pixels. The experiments have shown the proposed technology to provide the detection of stepwise anomalies with an accuracy of 0.9546.
Keywords: recurrent neural networks, anomaly detection, signal analysis, functional magnetic resonance imaging, meta-learning.
Citation: Davydov NS, Evdokimova VV, Serafimovich PG, Protsenko VI, Khramov AG, Niko-norov AV. Neural network for step anomaly detection in head motion during fMRI using meta-learning adaptation. Computer Optics 2023; 47(6): 991-1001. DOI: 10.18287/2412-6179-CO-1337.
Acknowledgements: The theoretical part and one-step meta-learning method were developed with the support from the Russian Science Foundation under RSF grant 22-19-00364. The experimental part was executed under the government project of the IPSI RAS - a branch of the Federal Scientific-Research Center "Crystallography and Photonics" of the RAS and with the support from the Russian Foundation for Basic Research under RFBR grant 20-31-90113-A.
Authors' information
Nikita Sergeevich Davydov (b. 1994). In 2018 he graduated from Samara National Research university named after academician S.P. Korolyov, majoring in «Applied Mathematics and Informatics», junior researcher at the IPSI RAS -Branch of the FSRC "Crystallography and Photonics" RAS. His areas of research are data analysis, machine learning, neuroscience, signal and image processing. E-mail: amail9496@gmail.com .
Viktoriia Vitalievna Evdokimova (b. 1994) graduated from Samara National Research University in 2017 with a Master's degree, majoring in Applied Mathematics and Informatics. Now she is a postgraduate student at Supercomputing and Computer Science sub-department of Samara University. Current research interests are in computer image processing, pattern recognition, data science, and deep learning. E-mail: vkutikova94@gmail.com .
Pavel Grigorievich Serafimovich, Doctor in Physics and Mathematics; senior researcher at the IPSI RAS - Branch of the FSRC "Crystallography and Photonics" RAS. His areas of research are optics and parallel and distributed image processing. E-mail: serp@ipsiras.ru .
Vladimir Igorevich Protsenko (b. 1991). His areas of research are parallel and distributed image processing, big data technologies. E-mail: protsenkovi@gmail. com .
Alexander Grigorievich Khramov (b. 1954) is a Doctor of Engineering, Associate Professor. In 1977 he graduated from Kuibyshev Aviation Institute named after academician S.P. Korolyov, majoring in Automated Systems of Information Processing and Management. He received his D.Sc. degree in 2006. Currently he is a professor at the Technical Cybernetics department of Samara State Aerospace University and a Senior Researcher at the Image Processing Systems Institute of the RAS. Research interests: biomedical image processing and analysis, data mining, theory of random processes. E-mail: khramov@smr.ru .
Artem Vladimirovich Nikonorov (b. 1979). He graduated from SSAU in 2002. He received his PhD degree in 2016. Now he works as a professor at Supercomputing and Computer Science sub-department of Samara University. He has more than 70 publications, two monographs. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming. E-mail: artniko@smail.com .
Received May 11, 2023. The final version - September 19, 2023.
