CC BY
90
Cloud of Science. 2020. T. 7. № 3 http:/ / cloudofscience.ru
Разработка нейросетевой модели выявления артефактов в электроэнцефалограмме мозга1
О. В. Комисарук*, Е. В. Никульчев*, **, С. Б. Малых***
*МИРЭА - Российский технологический университет, 119454, Москва, пр-т Вернадского, 78
**Российская академия образования,
119121, Москва, ул. Погодинская, 8
***Психологический институт РАО 125009, Москва, ул. Моховая, 9 стр. 4
email: nikulchev@mail.ru
Аннотация. Одним из информативных методов изучения мозга человека является метод электроэнцефалографии (ЭЭГ). Статья посвящена разработке интеллектуальной нейросетевой модели, направленной на поиск артефактов в сигналах ЭЭГ. Проведен анализ качества выявления артефактов на нескольких архитектурах нейронных сетей. Получены экспериментальные оценки качества машинного обучения. Разработана нейросетевая модель на основе архитектуры U-net с элементами рекуррентной нейронной сети, которая распознает артефакты в сигналах ЭЭГ, представленных в виде последовательности, полученных в 64-канальном электроэнцефалографе. Полученная нейросетевая модель способна определять артефакты в преобразованном сигнале с точностью 70%. Разработанную интеллектуальную систему можно использовать в качестве вспомогательного инструмента для анализа сигнала ЭЭГ. Ключевые слова: артифакты в сигналах ЭЭГ, нейросетевая модель, рекуррентная нейронная сеть, архитектуры «U-net».
1. Введение
Электроэнцефалография предоставляет возможность качественного и количественного анализа функционального состояния головного мозга, а также его реакций при воздействии раздражителей. Электроэнцефалограмма (ЭЭГ) играет важную роль в выявлении мозговой активности и поведения, но записанная электрическая активность всегда имеет артефакты и тем самым влияет на результат анализа сигнала электроэнцефалограммы.
Причиной возникновения артефактов могут быть измерительные приборы, в том числе неисправные электроды, помехи в линии и высокое сопротивление элек-
1 Работа выполнена при финансировании РФФИ, грант 17-29-02198.
тродов [1], которых можно избежать с помощью более точной системы записи. Физиологические артефакты являются более сложными. Например, такие как движение глаз, моргание, сердечная деятельность и мышечная активность, возникающие в сигнале ЭЭГ, являются некоторыми основными типами физиологических артефактов, они могут мешать нейронной информации и даже использоваться в качестве нормальных явлений.
ЭЭГ является инструментом психофизиологических исследований, при этом часто очищение записи ЭЭГ происходит «вручную», что занимает много времени высококвалифицированных специалистов [2]. В этих условиях становится актуальным разрабатывать методы для эффективного очищения данных ЭЭГ.
Глубокое и машинное обучение достигло прогресса благодаря быстрому развитию недорогой высокопараллельной вычислительной инфраструктуры, мощных алгоритмов машинного обучения и больших данных. В современных подходах к автоматической интерпретации ЭЭГ используются более современные подходы [3], такие как нейронные сети и метод опорных векторов.
Цель настоящего исследования — разработать интеллектуальный программный инструмент на основе использования нейросетевых технологий, позволяющий выявить артефакты в сигналах ЭЭГ, полученных в 64-канальном электроэнцефалографе.
2. Обсуждение задачи
Артефакт — сигнал, обусловленный экстрацеребральным источником, наблюдаемый при регистрации ЭЭГ. Выделяют физические и физиологические причины возникновения артефактов [3]. Артефакты, которые получаются в ходе проведения электроэнцефалографического исследования, представляют собой дефект записи [4].
Современное электроэнцефалографическое оборудование регистрирует чрезвычайно малые величины изменений биоэлектрических потенциалов, в связи с чем истинная запись ЭЭГ может искажаться вследствие воздействия разнообразных физических (технических) или физиологических артефактов [5]. В некоторых случаях подобные артефакты можно убрать с помощью аналогово-цифровых преобразователей и различных фильтров, но если артефактное воздействие совпадает по частотно-волновым характеристикам с реальной записью ЭЭГ, то эти способы становятся неэффективными.
Наиболее часто из физических артефактов встречаются: сетевая наводка, телефонный артефакт, обрыв проводника, плохой контакт электрода, артефакт высокого сопротивления.
Из физиологических артефактов часто регистрируются: ЭКГ-артефакт, сосудистый артефакт, кожно-гальванический артефакт, глазодвигательный артефакт, электроокулограмма (ЭОГ), миографический артефакт — электромиогамма (ЭМГ) [3]. Возникновение таких артефактов обусловлено различными биологическими процессами, протекающими в организме пациента.
ЭКГ-артефакт чаще всего возникает у обследуемых пациентов, страдающих повышением артериального давления, преимущественно, в монополярных и поперечных биополярных отведениях [6]. Обычно его возникновение связывают с повышением активности симпатической нервной системы, что облегчает проведение ЭКГ-сигнала на периферийные ткани. Кожно-гальванический артефакт возникает вследствие активации парасимпатической нервной системы больного и повышения потоотделения. Вследствие этого происходит общее цикличное изменение сопротивления кожных покровов и системы кожа-электрод [1]. Глазодвигательный артефакт, электроокулограмма (ЭОГ) появляется в виде медленноволновых колебаний во фронтополярных отведениях частотой 0.3-2 Гц. Возникновение ЭОГ связано с изменением положения глазного яблока (сетчатки) [7]. Миографический артефакт возникает при напряжении лобных, жевательных и затылочных мышц. Появление такого артефакта может быть как спонтанным напряжением пациента, так и его непроизвольной реакцией на чрезмерно плотно надетую фиксирующую электроды систему [2].
Использование методов машинного обучения, нейронных сетей определяет перспективные исследования в области автоматического выявления артефактов. В нейрокомпьютерных технологиях имеется общая схема обучения [8], которая делится на обучающую выборку — проводится оптимизация параметров, и тестовую выборку, по которой оценивается качество полученной модели. На этапе обучения необходимо понять признаки, по которым будет обучаться классификатор [9].
Традиционно исследователи выделяют пять основных алгоритмов классификаторов [10].
- Линейные классификаторы [11]. Они наиболее популярны для онлайн-приложений и приложений реального времени. Одним из наиболее эффективных типов линейного классификатора являются методы опорных векторов, которые часто превосходят другие классификаторы.
- Нейронные сети [12]. При анализе временных рядов чаще всего используются сверточные нейронные сети (CNN) или рекуррентные нейронные сети (RNN).
- Нелинейные классификаторы [13]. Среди наиболее распространенных примеров — скрытые Марковские модели и байесовские классификаторы.
- Метод k-ближайших соседей [14]. Эти классификаторы основаны на разных показателях расстояния между соседями.
- Сочетание классификаторов [15]. Этот подход объединяет несколько классификаторов и может продемонстрировать хорошую производительность для автономных приложений.
Применяя методы обучения к анализу ЭЭГ можно сказать, что в таких классификаторах параметры постепенно меняют оценку и обновляются с течением времени по мере появления новых данных ЭЭГ, что позволяет отслеживать изменения в распределении признаков и оставаться эффективным при нестационарном характере ЭЭГ сигналов. При обучении с учителем известны маркеры (метки) классов входящих сигналов ЭЭГ, и классификатор обучается либо по доступным данным, либо по новым входящим данным, либо только по входящим данным. Но такая ситуация не всегда возможна, например, в случае с обучением без учителя маркеры классов либо оцениваются для переподготовки/обновления, либо обучение выполняется неспецифично для классов, например, путем обновления общего среднего для всех классов или ковариационной матрицы.
Задача машины при неконтролируемом обучении — найти связи между отдельными данными, выявить закономерности, подобрать патерны, упорядочить данные или описать их структуру, выполнить классификацию данных.
Одним из главных недостатков машинного обучения является то, что данные, на которых обучается классификатор, и тестовые данные, на которых проводят оценку классификатора, принадлежат к одному пространству признаков и следуют одному и тому же распределению вероятностей.
3. Данные для анализа
Данные ЭЭГ записаны с электроэнцефалографа Brain Products (128 канала, 64 датчика, размещенные по международной системе «10-10%»).
Целью эксперимента был анализ связи структуры активности зон мозга в условиях «resting state» (когда человек находится в спокойном состоянии и расслаблен) и невербального интеллекта (интегральное образование, функционирование которого связано с развитием наглядно-действенного мышления с опорой на зрительные образы и пространственные представления).
ЭЭГ регистрировалась в экранированной камере, защищающей от внешнего шума, а запись электрофизиологических параметров — от помех электрических сетей и электромагнитных полей. Полное сопротивление не превышало 25 кОм при использовании контактного геля с высокой проводимостью. Примерное время записи ЭЭГ составило 15 минут.
Система сбора данных «Brain Products PyCorder» использовалась для непрерывной записи без какой-либо фильтрации и непрерывной выборки при 500 Гц. Эталонный электрод был расположен на датчике Cz. Данные были повторно привязаны к общему эталону после записи и уменьшены до 256 Гц.
Данные были отфильтрованы от 0.1 Гц до 30 Гц, а затем вновь привязаны к усредненному эталону и очищены вручную от артефактов, за исключением шумных каналов.
Для устранения артефактов моргания и вертикального движения глаз, был проведен анализ независимых компонент (АНК) на следующих электродах: VEOG — Fp1, HEOG — FT9 and FT10. После АНК топографически интерполированы исключенные каналы и было проведено выделение артефактов.
В собранной базе данных содержится 2 типа файлов.
1. Файлы .edf — исходные данные процесса записи ЭЭГ (содержит значения, в диапазонах, описывающих показания с датчиков в момент времени, с определенного участка головного мозга (рис. 1).
Рисунок 1. Пример содержимого файла формата. edf
2. Файлы «Markers» — которые содержат описания артефактов:
- Type — тип заданного интервала;
- Description — описание артефакта, например, «Blink» (Моргание);
- Position — время начала артефакта, где единица времени указана в поле «SamplingInterval», который равен 3.90625 ms;
- Length — продолжительность артефакта по времени;
- Channel — название канала, где произошел артефакт (Fp1 и Fp2 — «Моргание» All — артефакт, который произошел на всех каналах, см. рис. 2).
Isanpllng rate: 256Hz, Sampllnglnterval: 3.90625ns
Type, Description, Position, Length, Channel
New Segment, » 1» 1 , All
Bad Interval , Userdeflned, 32429, 1117, All
UserOeflned, Blink, 33374, 63, Fpl
Bad Interval , Userdeflned, 33470, 601, All
UserDeflned, 8llnk, 33708, 84|, Fpl
UserDeflned, Blink, 34128, 55, Fpl
UserDeflned, Blink, 34410, 59, Fpl
UserDeflned, Blink, 34554, 53, Fpl
UserDeflned, Blink, 35239, 83, Fpl
UserDeflned, Blink, 35466, 55, Fpl
UserDeflned, Slink, ¿link. 35539, 57, Fpl
UserDeflned, 35818, S2, Fpl
UserDeflned, Blink, 35879, 57, Fpl
UserDeflned, Blink, 36211, 80, Fpl
UserDeflned, Blink, 36362, 98, Fpl
UserDeflned, Blink, 37139, 52, Fpl
UserDeflned, Blink, 37517, 57, Fpl
UserDeflned, Blink, 38510, 58, Fpl
Рисунок 3. Пример содержимого файла «Markers»
В базе данных присутствуют только два типа артефакта, в связи с этим, нейронная сеть будет классифицировать три класса: артефакт «Моргание», артефакт, который произошел на всех каналах и «спокойное состояние» — когда в записи отсутствуют артефакты.
4. Методы проведения экспериментального выбора архитектуры нейронной сети
Для выбора нейросетевой модели необходимо провести экспериментальные исследования различных архитектур. Разработана схема интеллектуального анализа сигналов ЭЭГ (рис. 4). Интеллектуальный анализ сигналов ЭЭГ состоит из процесса записи и формирования базы данных, обработки сигналов и обучения нейросетевой модели.
Процесс записи представляет собой снятие показаний с помощью электроэнцефалографа, данные электродов расположенных на поверхности головы, поступают в систему сбора данных BrainProductsPyCorder. Далее, проводится экспертный анализ и обработка сформированной базы данных, в которой размечаются артефакты разных типов, после чего формируется новая база данных, содержащая информацию об артефактах в каждом файле формата «.edf».
Рисунок 4. Схема интеллектуального анализа сигналов ЭЭГ
Полученную базу данных необходимо проанализировать и определить размер входной и выходной выборки для обучения нейронной сети. Для этого используется блок Pre-processing, который считывает базу данных Markers, после чего полученные данные анализируются в Data analyze. По результатам анализа формируются обучающая и тестовая выборка для обучения и проверки точности нейросетевой модели.
Для обучения сети необходимо определить входные и выходные значения. С целью поиска решения был выполнен анализ базы данных, в котором определено расстояние между артефактами в сигналах, максимальная длительность каждого типа артефакта. Для баланса в данных на обучение была проведена статистика по количеству артефактов. Для этого создана библиотека Data_analyzer.py, содержащая методы:
- max_artifact_length — определяется максимальная длина артефакта, для этого перебираются все записи об артефактах и с помощью стандартной функции «max» находится максимальный параметр длины; функция выводит имя файла и возвращает значение максимальной длины артефакта;
- max_type_length — определяется максимальная длина артефакта определенного класса; отличие данного max_artifact_length состоит в том, что игнорируются записи об артефактах несоответствующих указанному при вызове функции классу;
- channel_stats — по базе данных разметки считает количество записей, соответствующих каждому названию каналов, где имеет место артефакт.
- normal_state_lengths — по базе данных Markers находятся разницы между началом артефакта и концом предыдущего, что характеризует участки в записи, относящиеся к классу «спокойное состояние»; возвращаемое мето-
дом значение представляет собой ассоциативный массив, содержащий количество записей с соответствующей длиной, с учетом погрешности, указанной в вызове функции.
- getMaxMin_by_edf — используется база данных файлов «.edf» для поиска максимального и минимального значения частоты в сигнале указанного датчика
- getMaxMin_by_train — работает аналогично getMaxMin_by_edf, но при этом в качестве базы данных использует входные выборки для нейронной сети.
С помощью описанных методов было выделено наиболее оптимальное временное окно, для определения артефактов, опираясь на максимальную длину артефакта Моргание (1.8 секунд) [16].
Кроме того, необходимо определить количество каналов, которые будут участвовать в классификации, так как большинство размеченных артефактов — это Моргание в датчике Fp1, нейросетевую модель можно обучать на одном датчике. В ходе обучения, нейронная сеть показывала результаты лучше, по сравнению с большим количеством датчиков для входа. В связи с тем, что в данных два типа артефакта, в качестве выхода можно выделить три класса: Моргание, Глобальный артефакт и Нормальное состояние (когда артефактов нет).
Данные подготовлены, основываясь на файлы с разметкой Markers, артефакт Моргание в каждой выборке, расположен случайным образом (рис. 5).
Так как в исходных данных присутствует шум, в процессе исследования было выявлено, что наиболее подходящей фильтрацией является быстрое преобразование Фурье, результат преобразования представлен на рис. 6.
На основании полученных данных, представленных на рис. 5, были сформированы тренировочные данные (см. рис. 7), на которых было обучено несколько нейросетевых моделей.
Hi
Рисунок 5. График сигнала с разметкой артефактов
33400 33500 33500 33700 33600 33900 34000 34100 34200 33400 33500 3350G 33700 33600 33900 34000 34100 34200
T(t¡CS) T(tiCS)
Рисунок 6. Результат быстрого преобразования Фурье а) сигнал ЭЭГ; б) сигнал ЭЭГ с быстрым преобразованием Фурье
35000 35142 35224 35305 35388 35470 35552 35634 35716 33469 33533 33597 33661 33725 33789 33853 33917 33981
T(tics) Tlticsl
Рисунок 7. Тренировочные данные
5. Программные средства
Основываясь на разработанной схеме интеллектуального анализа, представленной на рис. 4, необходимо разработать окружение для проведения экспериментов. Взаимодействие программных средств представлено на рис. 8.
В среде разработки PyCharm был разработан основной исходный код для анализа и обработки входных значений нейросетевой модели.
Библиотека Parse_data.py используется для преобразования файлов «Markers» в ассоциативный массив, содержащий всю информацию об артефактах для каждой записи файлов формата «.edf». Библиотека содержит метод artifacts_supression, который используется для перевода формата Position и Length в секунды. В методе read_markers_from_dir из указанной директории с помощью библиотеки для анализа данных pandas формируется ассоциативный массив, содержащий название файла и его информацию об артефактах: позицию артефактов, их описание и длину. Такой подход используется для получения данных в функции формирования обучающих выборок для нейронной сети.
Рисунок 8. Структура ПО для анализа и формирования обучающих выборок
для нейросетевой модели
Библиотека NeuralNetwork.py позволяет создать выборки для обучения нейронной сети, основываясь на массивах, которые сформированы с помощью библиотеки Parse_data.py. Основным методом является prepare_data, который, базируясь на информации об артефактах, базе данных ЭЭГ сигналов, используемых каналов, размере входного окна (в секундах) и заданном соотношении выборок с нормальным состоянием к выборкам с артефактами формирует обучающие выборки для нейронной сети. Поскольку размер окна больше максимальной длины артефакта Моргание, такой класс добавляется в выборку полностью. При этом учитывается случайный сдвиг артефакта относительно начала выборки. Класс Глобальный артефакт делится на несколько выборок, начиная от начала артефакта, до выборки, которая захватывает конец артефакта и часть сигнала без артефактов. В процессе записи выборок с артефактами, рассчитывается расстояние между ними и формируются выборки с классом «нормальное состояние», взятые в промежутках между артефактами.
Библиотека Data_analyzer.py содержит в методы для анализа базы данных, описанные ранее.
В среде Colaboratory создан исполняемый файл «mamipynb», который содержит в себе взаимодействия библиотек, представленных на рис. 8, а также содержит архитектуру и процесс обучения нейронной сети.
Схема реализации работы интеллектуальной системы определения артефактов в сигнале ЭЭГ описана на рис. 9.
Рисунок 9. Схема обучения нейронной сети
Схема обучения нейронной сети представляет собой взаимодействие описанных ранее библиотек в исполняющей части программы Main.ipynb. Исполняемый файл содержит в себе добавленные из библиотек методы для обработки базы данных, выводы аналитических данных, формирования выборок, архитектуру нейронной сети и ее процесс обучения, расположенных в облачном хранилище GoogleDrive. Процесс обучения был проведен на платформе Colaboratory.
6. Экспериментальные исследования 6.1. Нейросетевые модели
На основе анализа результаты исследований, связанных с обработкой сигналов с помощью нейронных сетей были выбраны архитектуры, основанные на сверточных и рекуррентных нейронных сетях. Таким образом получено 4 архитектуры:
1. Batch_normaHzation + CNN + Dense с применением спектрограмм;
2. RNN (LSTM) + CNN + RNN (LSTM) + Dense;
3. Batch_normalization + CNN + Dense;
4. LSTM + NN на основе «U-net».
1. Batch normalization + CNN + Dense с применением спектрограмм. Сигнал преобразован в спектрограмму, для этого была создана соответствующая функция, использующая быстрое преобразование Фурье (выполнено с помощью метода spectrogram библиотеки Scipy) (рис. 10).
Рисунок 10. Спектрограмма сигнала датчика ЭЭГ
К такому типу данных была применена нейросетевая модель (рис. 11), основу которой составляет сверточная нейронная сеть (CNN) [17]. Экспериментальным путем была подобрана архитектура, которая представляет собой следующее: входные данные подаются на слой нормализации (BatchNormaHzation) с целью равномерности обучения.
BatchNormaHzation — это метод ускорения глубокого обучения, решающий проблему, которая препятствует эффективному обучению нейронных сетей: по мере распространения сигнала по сети, даже если он нормализован на входе, пройдя через внутренние слои, он может сильно исказиться как по математическому ожиданию, так и по дисперсии, что может привезти к несоответствиями между градиентами. С помощью этого метода можно нормализовать входные данные таким образом, чтобы получить нулевое математическое ожидание и единичную дисперсию. Нормализация выполняется перед входом в каждый слой. Это значит, что во время обучения нормализируется batch_size-примеров, а во время тестирования нормализируется статистика, полученная на основе всего обучающего множества [18]. Далее, на вход сверточная нейронная сеть [19] принимает нормализированные данные, по ним сверточные слои формируют признаковые карты размером 3x3, в ходе эксперимента было выявлено что постепенное увеличение ядра свертки в два раза
является более эффективнгым для данной архитектуры. С помощью пулинга (MaxPooling) уменьшаем выборку входного пространства в два раза (2x2), после используется слой «Dropout» для исключения определенного процента случайных нейронов, так как в процессе обучении нейронная сеть переобучалась. Затем данные преобразовываются в одномерный вектор, используя слой Flatten и полносвязным слоем выполняется классификация.
/ Input \
к (6 х 52 х 1)
/ BN \
*
/ 3x3 Conv2D \
/
*
■ BN \
к /
*
/ MaxPooling2D, N
V Pool_size = 2x2 /
/ 3x3 Conv2D \
V •
4
/ BN \
X
/ Dropout = 0.2 N
к
/ 9x9 Conv2D \
к
*
/ BN \
к /
*
/ MaxPooling2D,
ч Pool_size = 2x2
9x9 C011V2D
Output = 6 к 52 х 1
Output = б к 52 х 256
Output = 6 х 52 х 256
Output = 3 х 26 х 256
Output = 1 х24 х256
Output = 1 х 24x256
Output = 1 х 24 х 256
Output = 1 x24x 512
BN
Dropout = 02
27x27 Conv2D
BN
MaxPooling2D, Pool size - 2x2
Flatten
128 x 1 Dense, Activation = relu
3 a 1 Dense: Activation - softmax
Output -
1x12x512
Output -1x12x512
Output =
1x12x512
Output =
1x12x256
Output = 1x12x256
Output = 1x6x256
Output = 1536 Output = 12S
2
Output = 128 Output = 3
Output = 1 x 24x512
Output = 1 x 12 x 512
Рисунок 11. Архитектура нейронной сети типа CNN
Основываясь на результатах, полученных при экспериментальном исследований первой модели, разработано несколько нейросетевых моделей. Различие во второй и третьей модели (рис. 12, 13) заключаются в том, что данные для нейросе-
тевой модели были представлены в виде последовательности, которая также была получена с помощью быстрого преобразования Фурье.
Рисунок 12. Архитектура нейронной сети типа RNN (LSTM) + CNN + RNN (LSTM) + Dense с использованием преобразования Фурье
Рисунок 13. Архитектура нейронной сети типа Batchnormalization + CNN + Dense с использованием преобразования Фурье
2. RNN (LSTM) + CNN + RNN (LSTM) + Dense. Построена нейросетевая модель (рис. 12), основу которой составляет сверточная нейронная сеть (CNN) [20], в которой используются временные сверточные слои (ConvlD). Этот слой создает ядро свертки, которое свернуто с входным слоем по одному временному измерению [21]. Архитектура представляет собой следующее. Во втором эксперименте, входные данные подаются на рекуррентный слой (LSTM) с максимальным количеством нейронов, в зависимости от мощности GPU, далее данные поступают на временный сверточный слой, в котором эмпирическим путем было задано окно размером 3, после данные нормализуются слоем нормализации (BatchNormaHzation), ос-
новываясь на первом эксперименте, был применен слой «Dropout», в котором случайным образом выключается 20% нейронов с целью исключения переобучения нейронной сети. Затем данные поступают на рекуррентный нейронный слой и преобразовываются в одномерный вектор, используя слой «Flatten» и полносвязным слоем выполняется классификация (рис. 12).
3. Batchnormalization + CNN + Dense. Различие архитектур третьей модели от второй заключается в том, что перед тем, как данные поступают на сверточный слой, они нормализируются. Был применен слой нормализации (Batch-Normalization) перед каждым временным сверточным слоем, далее аналогичным образом, данные преобразованы в одномерный вектор, используя слой Flatten для перехода на полносвязный слой и выполнена классификация (рис. 13).
4. LSTM + NN на основе U-net. В четвертой модели, основываясь на проведенных исследованиях была разработана архитектура LSTM + NN основана U-net (рис. 14), с помощью временной свертки, в связи с небольшой базой данных и проблемой выявления признаков в ЭЭГ. Архитектура модели 4 приведена на рис. 15.
Для предобработки сигналов был использован метод быстрого преобразования Фурье. Также для повышения качества обучения была создана функция для генерации данных (blink_augmentation), где для каждого артефакта «Моргание» генерируется несколько позиций, с которых этот артефакт будет записан. Таким образом, были сгенерированы выборки с одним и тем же артефактом, но с разным расположением в выборках.
В процессе исследования была применена архитектура U-net (рис. 14), которая состоит из энкодера (сужающая часть), «узкое место» и декодера (расширяющая часть). Это архитектура применяется для анализа R-грамм, МРТ и других медицинских снимков.
Рисунок 14. Архитектура нейронной сети «U-net»
г Input 1
(512 л 11
1
100 х 1 LSTM
1
Com-Щ
kemel_äi:e = 3
•• BN
1
Activation = LsjtyRtlL"
Output = 512 л]
Output = X ? Output = Output =
512 л 100 512 к 100 512 л 100
Output = : II к 5 и
Output = 512 к 512
Out_l-
Output
MaxPool[nj;lD: Рзо]_з]Ее = 2
: 12 h: 12 Output = 2:6 к : 12
ConvlD.
kernel = 5
/ BN -
+
Activation = LeakyReFl"
MaxP о OILQE 1D.. -
Pool_sise = 2
ConvlD.
kemel_size — 3
1
BN s
+
Activation — LeakyRelU
Output = 2:6 к 12E
Output = 2:6 к 12S
Output = Output =
Output = 12S к 64
Output = 12S к 64
Out_S Output» 12S 31 64
Up sampling.
size — 2
1
Concatenate (output_2)
*
/ ConvlD.
temel_iize — 3
BN
1
Activation = LeakyRelU
+
Upsamplms.
siza = 2
/ Concatenate (output_l)
/ ConvlD •
kemel_ääze = 3
i
BN
i
Activation = LeakyRelU
1
ConvlD.
kemel_3ize = 1
BN
*
Activation — LeakyRelU
+
Flatten
+
3x1 Dense.
Activation - softmax
Output = 2:6 s 64 Output = 2:6 j: 152 Output = 2:6 k 12E X2
Output = 2:6 x 12 S Output = 2:6 k 12S Output = 512 i 12 £
Output = : 12 x 640
Output =: 12 k 512
il
Output = 512 i 512 Output =: 12 k 512
Output =: 12 k 3
Output = : 12 k 3
Output =: 12 i ? Output = 1536 Output = 3
Рисунок 15. Архитектура нейронной сети типа LSTM + NN на основе «U-net» с использованием преобразования Фурье
Первая часть U-net представляет собой классическую архитектуру классификационной сверточной нейронной сети [22]. Она состоит из повторяющихся применений двух сверточных слоев, с ядром 3x3, за которыми следует функция активации ReLU и операция MaxPooling, которая уменьшает входное представление, по максимальному значению в окне (poolsize, в данном случае значение равно 2). «Узкое место» — эта часть сети, которая находится между сокращающимися и расши-
ряющимися частями [23]. Вторая часть состоит из обратной свертки (деконволю-ции), которая содержит два сверточных слоя, с ядром 3x3 и функцию активации Relu, затем выполняется конкатенация. На последнем уровне свертка 1x1 используется для сопоставления каждому вектору признаков класса. Затем данные преобразовываются в одномерный вектор, используя слой Flatten и полносвязным слоем выполняется классификация [23].
6.2. Результаты экспериментов
Во всех экспериментах по анализу нейросетевых моделей, для процесса обучения был применен метод fit, для каждой нейросетевой модели было определено количество выборок на обновление градиента и количество эпох для обучения модели, а также метод compile, в котором была применена функция оптимизации Adam, функция вычисления ошибок categorical_crossentropy.
В качестве параметров модели для обучения, эмпирическим путем было выявлено, что наиболее подходящей функцией вычисления ошибок является categorical_crossentropy, для оптимизации параметров Adam. В целях оценки качества обучения была выбрана метрика Accuracy.
В нейросетевой модели 1, количество эпох для обучения равно 20, а количество выборок (batch_size) равен 128.
Из графика метрики Accuracy для обучающего и тестового набора данных (рис. 16) видно, что в районе 13 эпохи обучения метрика, Accuracy перестает увеличиваться для тестового набора данных. Такое поведение означает, что нейросете-вая модель начинает переобучаться, такая архитектура модели для классификации не позволяет повышать точность на этом наборе данных. Из зависимости на графике функции вычисления ошибок (рис. 17) видно, что значение перекрестной энтропии на тестовом наборе данных не убывает в районе 3 эпохи.
0 2 4 5 S 10 12 14 16 IS
п_
Name Smoothed Value Step Time Relative
train 0.6B17 0.6956 13 Tue Apr 21,02:12:22 15m 19s
О validation 0.675 0.6875 13 Tue Apr 21,02:12:22 15m 19s
Рисунок 16. Графики метрики Accuracy для модели 1
Name Smoothed Value Step Time Relative
О tra'n 0.8545 0.8319 3 Tue Apr 21,02:00:34 3m 31s
validation 0.8753 0.8263 3 Tue Apr 21,02:00:34 3m 31s
0 2 4 а 8 10 12 14 16 18
Рисунок 17. График функции вычисления ошибок для модели 1
В нейросетевой модели 2, количество эпох для обучения составило 20, а количество выборок (batch_size) 256.
Из графика метрики Accuracy, для обучающей и тестовой выборке (рис. 17) видно, что в районе 17 эпохи обучения, метрика Accuracy возрастает, а на тестовой выборке перестает увеличиваться. Аналогичным образом, согласно первому эксперименту можно сделать вывод, что нейросетевая модель переобучается. Данная архитектура нейронной сети для классификации не позволяет повышать точность на этом наборе данных. На графике функции вычисления ошибок (рис. 18), значение перекрестной энтропии на обучающем наборе данных увеличивается в районе 13 эпохи, при этом значение на тестовой выборке уменьшается, что подтверждает переобучение нейросетевой модели.
0 2 4 е. 8 10 12 14 16 18 Г~|_
Name Smoothed Value Step Time Relative
logs/train 0.7313 0.7954 17 Tue Apr 28,18:56:39 14m 55s
О logs/validation 0.6299 0.5886 17 Tue Apr 28,18:56:39 14m 55s
Рисунок 17. Графики метрики Accuracy для модели 2
Name Smoothed Value Step Time Relative
logs/train 0.7383 0.5983 13 Tue Apr 28,18:53:09 11m 25s
logs/validation 0.9055 0.9279 13 Tue Apr 28,18:53:09 11m 25s
О 2 4 0 8 10 12 14 16 18
Рисунок 18. График функции вычисления ошибок для модели 2
В сверточной нейросетевой модели 3, с помощью нормализованных данных (рис. 19), значение эпох для обучения равно 50, при количестве выборок (batch_size) 16. Согласно графику обучения на обучающих и тестовых наборах данных (рис. 20) видно, что в данной модели нейронной сети не происходит процесса обучения. Анализируя график обучающей выборки, можно заметить, что нейронная сеть запоминает выборку, что подтверждает график тестовой выборки, в котором значения меняются с каждой эпохой в диапазоне от 49% до 59%.
Для разработанной нейросетевой модели 4 наблюдается повышение точности и уменьшение ошибки с каждой эпохой, что свидетельствует о качественном процессе обучения нейронной сети (рис. 21-22).
Сравнение результатов экспериментального исследования четырех моделей приведено в табл. 1. Анализ процессов обучения нейросетевых моделей показывает, что разработанная нейронная сеть, основанная на архитектуре и-пй с рекуррентными слоями Ь8ТМ демонструют наилучший результат поиска артефактов. Для модели 4 получена точность 70% на проверочной выборке.
eptjchjccuracy
0 2 4 £ S 10 12 14 16 18 |-|_
Name Smoothed Value Step Time Relative
• logs/train 0.&7Q5 0.6951 12 Mon Jun 1,22:51 5:19 1m2s
о logs/validation 0.5377 0.5252 12 Mon Jun 1,22:51 5:19 lm2s
Рисунок 19. Графики метрики Accuracy для модели 3
Name Smoothed Value Step Time Relative
^ logs/train 0.7709 0.7306 11 Mon Jun 1,22:56:14 56s
Ф logs/validation 0.9691 1.005 11 Mon Jun 1, 22:56:14 56s
0 5 10 15 20 25 30 35 40 45 50
Рисунок 20. График функции вычисления ошибок для модели 3
Рисунок 21. Графики метрики Accuracy для модели 4
Рисунок 22. График функции вычисления ошибок для модели 4
Таблица 1 Результаты обучения моделей классификации с различными параметрами
№ Архитектура нейронной сети Loss Optimizer Epochs Batch size Точность обучения
train test
1 Batch_noimalization + CNN + Dense с применением спектрограмм categorical_crossentropy Adam() 20 128 0.68 0.67
2 RNN (LSTM) + CNN + RNN (LSTM) + Dense categorical_crossentropy Adam() 20 256 0.81 0.60
3 Batch normalization + CNN + Dense categorical_crossentropy Adam() 50 16 0.94 0.49
4 LSTM + NN на основе «U-net» categorical_crossentropy Adam(lr=le-2) 10 300 0.70 0.70
7. Результаты и обсуждение
На рис. 23 приведены результаты автоматического поиска артефактов в данных исследованиях.
Рисунок 23. Результат работы нейросетевой модели: примеры выделенных артефактов нейронной сети: зеленым — артефакт «Моргание», красным — артефакт «Глобальный
артефакт»
Экспериментально сформированная архитектура LSTM +U-net. Для решения задачи архитектура U-net, представляющая собой двухмерную свертку, была модифицирована — использовалась одномерная временная свертка, на вход которой поступают данные из слоев LSTM. Обеспечение заданной точности (70%) достигается за счет свойств слоев LSTM (обученная определять состояние сигнала) и качественного симметричного анализа (растяжения/сжатия) модифицированного слоя U-net. Разработана нейросетевая модель, способная распознавать артефакты в процессе записи ЭЭГ.
8. Заключение
Проведен анализ данных, в котором были определены расстояние между артефактами в сигналах, максимальная длительность каждого типа артефакта. С помощью аналитических функций было выделено оптимальное временное окно для определения артефактов, опираясь на максимальную длину артефакта Моргание. Так как данные были отфильтрованы от артефактов вручную и база данных была небольшой (9574 выборок с артефактами), возникла проблема с качеством обучения нейронной сети. С помощью аугментации, база данных была расширена, что частично повлияло на процесс обучения (28722 выборок с аугментацией).
Проведен обзор существующих архитектур нейронных сетей, а также проведен эксперимент с обучающей выборкой. В результате эмпирическим путем была разработана нейронная сеть, которая основана на рекуррентной нейронной сети и сети U-net. Полученная нейросетевая модель, способна определять артефакты в преобразованном сигнале с точностью 70%. Разработанную интеллектуальную систему можно использовать в качестве вспомогательного инструмента для анализа сигнала ЭЭГ.
Литература
[1] Зенков Л. Р. Клиническая электроэнцефалография (с элементами эпилептологии). Руководство для врачей. — М: «МЕДпрес-информ», 2016.
[2] ObeidI., Picone J. The temple university hospital EEG data corpus // Frontiers in Neuroscience. 2016. Vol. 10. P. 196.
[3] LundervoldA. S., LundervoldA. An overview of deep learning in medical imaging focusing on MRI // Zeitschrift für Medizinische Physik. 2019. Vol. 29. No. 2. P. 102-127.
[4] Nathan K., Contreras-Vidal J. L. Negligible motion artifacts in scalp electroencephalography (EEG) during treadmill walking // Frontiers in Human Neuroscience. 2016. Vol. 9. P. 708.
[5] Singh B., Wagatsuma H. A removal of eye movement and blink artifacts from EEG data using morphological component analysis // Computational and Mathematical Methods in Medicine. 2017. Vol. 2017. P. 1861645.
[6] Gebodh N., Esmaeilpour Z., Adair D. et al. Inherent physiological artifacts in EEG during tDCS // Neuroimage. 2019. Vol. 185. P. 408-424.
[7] Sarin M., Verma A., Mehta D. H., Shukla P. K., Verma S. Automated Ocular Artifacts Identification and Removal from EEG Data Using Hybrid Machine Learning Methods // 2020 7th International Conference on Signal Processing and Integrated Networks (SPIN). - IEEE, 2020. - P. 1054-1059.
[8] Golmohammadi M., Harati Nejad Torbati A. H., Lopez de Diego S., Obeid I., Picone J. Automatic analysis of EEGs using big data and hybrid deep learning architectures // Frontiers in human neuroscience. 2019. Vol. 13. P. 76.
[9] Jiang X., Bian G. B., Tian Z. Removal of artifacts from EEG signals: a review // Sensors. 2019. Vol. 19. No. 5. P. 987.
[10] Lotte F., Bougrain L., Cichocki A., Clerc M., Congedo M., Rakotomamonjy A., Yger F. A review of classification algorithms for EEG-based brain-computer interfaces: a 10-year update // Journal of neural engineering. 2018. Vol. 15. No. 3. P. 031005.
[11] Kilicarslan A., Vidal J. L. C. Characterization and real-time removal of motion artifacts from EEG signals // Journal ofNeural Engineering. 2019. Vol. 16. No. 5. P. 056027.
[12] Tayeb Z., Fedjaev J., Ghaboosi N. et al. Validating deep neural networks for online decoding of motor imagery movements from EEG signals // Sensors. 2019. Vol. 19. No. 1. P. 210.
[13] Hussein R., Palangi H., Ward R. K., & Wang Z. J. Optimized deep neural network architecture for robust detection of epileptic seizures using EEG signals // Clinical Neurophysiology. 2019. Vol. 130. No. 1. P. 25-37.
[14] Astakhova N. N., Demidova L. A., Nikulchev E. V. Forecasting method for grouped time series with the use of k-means algorithm // Applied Mathematical Sciences. 2015. Vol. 9. No. 97. P. 4813-4830.
[15] Chen W., You Y., Jiang Y., Li M., Zhang T. Ensemble deep learning for automated visual classification using EEG signals // Pattern Recognition. 2020. Vol. 102. P. 107147.
[16] Holdgraf C., Appelhoff S., Bickel S. iEEG-BIDS, extending the Brain Imaging Data Structure specification to human intracranial electrophysiology // Scientific data. 2019. Vol. 6. P. 102.
[17] Liu W., Wen Y., Yu Z., Yang M. Large-margin softmax loss for convolutional neural networks // Proceedings of The 33 rd International Conference on Machine Learning, Proceedings of Machine Learning Research (PMLR, vol. 48) — 2016. P. 507-516.
[18] Ramasubramanian K., Singh A. Deep learning using keras and tensorflow // In: Machine Learning Using R. - Berkeley: Apress, 2019. - P. 667-688.
[19] Schirrmeister, R. T., Springenberg, J. T., Fiederer, L. D. J. et al. Deep learning with convolutional neural networks for EEG decoding and visualization // Human Brain Mapping. 2017. Vol. 38. No. 11. P. 5391-5420.
[20] Saxena A. Convolutional neural networks: an illustration in TensorFlow // XRDS: Crossroads. The ACM Magazine for Students. 2016. Vol. 22. No. 4. P. 56-58.
[21] Wang M., Hu J., Abbass H. Stable EEG Biometrics Using Convolutional Neural Networks and Functional Connectivity // Australian Journal of Intelligent Information Processing Systems. 2019. Vol. 15. No. 3. P. 19-26.
[22] Xu G., Shen X., Chen S. A Deep Transfer Convolutional Neural Network Framework for EEG Signal Classification // IEEE Access. 2019. Vol. 7. P. 112767-112776.
[23] Weng Y., Zhou T., Li Y., Qiu X. NAS-Unet: Neural architecture search for medical image segmentation // IEEE Access. 2019. V. 7. P. 44247-44257.
Авторы:
Ольга Валерьевна Комисарук — магистрант, кафедра Интеллектуальные системы информационной безопасности, МИРЭА — Российский технологический университет
Евгений Витальевич Никульчев — доктор технических наук, профессор, профессор кафедры управления и моделирования систем, МИРЭА — Российский технологический университет; профессор РАО, главный аналитик Дата-центра, Российская академия образования
Сергей Борисович Малых — академик РАО, доктор психологических наук, профессор, заведующий лабораторий возрастной психодиагностики, Психологический инстиут РАО
Neural network model for artifacts marking in EEG signals
O. Komisaruk*, E. Nikulchev*, **, S. Malykh***
*MIREA — Russian Technological University, 78 Vernadsky Avenue, Moscow 119454 **Russian Academy of Education, 8 Pogodinskaya st., Moscow 119121
***Psychological Institute of Russian Academy of Education, 9 bld. 4, Mohovaya st., Moscow 125009 e-mail: nikulchev@mirea.ru
Abstract. One of the main methods for research of the holistic activity system of human brain is the method of electroencephalography (EEG). The article describes the development of an intelligent neural network model aimed at detecting the artifacts in EEG signals. We have conducted the series of experiments to investigate the performance of different neural networks architectures for the task of artifact detection. As a result, the performance rates for different ML methods were obtained. We have developed (we suggest) the neural network model based on U-net architecture with recurrent networks elements. The system detects the artifacts in EEG signals form the 64-channel with 70% accuracy. The system can be used as an auxiliary instrument for EEG signal analysis.
Keywords: artifacts in EEG signal, neural network model, recurrent neural network, «U-net» architecture.
References
[1] Zenkov L. R. (2016) Klinicheskaya elektroencefalografiya (s elementami epileptologii). Rukovodstvo dlya vrachej (MEDpres-inform). [Rus]
[2] Obeid I., Picone J. (2016) Frontiers in neuroscience, 10:196.
[3] Lundervold A. S., Lundervold A. (2019) Zeitschrift fur Medizinische Physik, 29(2):102-127.
[4] Nathan K., Contreras-Vidal J. L. (2016) Frontiers in Human Neuroscience, 9:708.
[5] Singh B., Wagatsuma H. (2017) Comput. and Math. Methods in Medicine, 2017:1861645.
[6] Gebodh N., Esmaeilpour Z., ... & Bikson M. (2019) Neuroimage, 185:408-424.
[7] Sarin M., Verma A., ... & Verma, S. (2020). Automated Ocular Artifacts Identification and Removal from EEG Data Using Hybrid Machine Learning Methods. In 2020 7th International Conference on Signal Processing and Integrated Networks (SPIN), pp. 1054-1059.
[8] Golmohammadi M., Harati Nejad Torbati A. H.,... & Picone, J. (2019) Front. Hum. Neurosci., 13:76.
[9] JiangX., Bian G. B., Tian Z. (2019) Sensors, 19(5):987.
[10] Lotte F., Bougrain L., ... & Yger F. (2018) Journal of neural engineering, 15(3):031005.
[11] Kilicarslan A., Vidal J. L. C. (2019) Journal of Neural Engineering, 16(5):056027.
[12] Tayeb Z., Fedjaev J., ... & Conradt, J. (2019) Sensors, 19(1):210.
[13] Hussein, R., Palangi, H., Ward, R. K., & Wang, Z. J. (2019) Clinical Neurophysiology, 130(1):25-37.
[14] Astakhova N. N., Demidova L. A., Nikulchev E. V. (2015) Applied Mathematical Sci., 9(97):4813-4830.
[15] ZhengX., Chen W., ... & Zhang T. (2020) Pattern Recognition, 102:107147.
[16] Holdgraf C., Appelhoff S. ,... & Gorgolewski K. J. (2019). Scientific Data, 6:102
[17] Liu W., Wen Y., Yu Z., YangM. (2016) Proceedings of Machine Learning Research, 48:507-516.
[18] Ramasubramanian K., Singh A. (2019) Deep learning using keras and tensorflow. In Machine Learning UsingR (Berkeley, Apress) ,pp. 667-688.
[19] Schirrmeister R. T., Springenberg J. T., ... & Ball T. (2017) Human Brain Mapping, 38(11):5391-5420.
[20] Saxena A. (2016)XRDS: Crossroads. The ACMMagazine for Students, 22(4):56-58.
[21] Wang M., Hu J., Abbass H. (2019) Austral. J. of Intelligent Inform. Processing Systems, 15(3):19-26.
[22] Xu G., Shen X.,... & Che W. (2019) IEEE Access, 7:112767-112776.
[23] Weng Y, Zhou T, Li Y, Qiu X. (2019) IEEE Access, 7:44247-44257.
