CC BY
115
DOI: 10.18721/JCSTCS.11411 УДК 004.93:591.18
ОЦЕНКА УРОВНЯ УМСТВЕННОЙ РАБОТОСПОСОБНОСТИ УЧАЩИХСЯ НА ОСНОВЕ АНАЛИЗА СИГНАЛОВ ЭЭГ
Л.А. Станкевич, С.С. Аманбаева, А.В. Самочадин
Санкт-Петербургский политехнический университет Петра Великого,
Санкт-Петербург, Российская Федерация
Представлены результаты исследований в области применения неинвазивных интерфейсов «мозг-компьютер» для анализа степени умственной усталости учащихся. Предложено использовать электроэнцефалографические (ЭЭГ) сигналы, позволяющие определить вызванные событиями потенциалы. Подробно описан набор алгоритмов для предварительной обработки сигналов ЭЭГ и распознавания вызванного потенциала Р300, возникающего через 300 мс после зрительного стимула. Основное внимание уделено эксперименту по распознаванию волны Р300 по информации, снимаемой прибором типа Muse headset. Приведены предварительные результаты по точности распознавания волны Р300 у разных людей с использованием различных типов классификаторов. Разработана методика применения Р300 для оценки степени умственной усталости учащихся. Проведен ряд экспериментов, подтверждающих возможность такой оценки по разработанной методике.
Ключевые слова: умственная усталость, интерфейс «мозг-компьютер», электроэнцефалографические сигналы, волна Р300, декодирование, Muse headset.
Ссылка при цитировании: Станкевич Л.А., Аманбаева С.С., Самочадин А.В. Оценка уровня умственной работоспособности учащихся на основе анализа сигналов ЭЭГ // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2018. Т. 11. № 4. С. 151-161. DOI: 10.18721/JCSTCS.11411.
EVALUATION OF STUDENTS' MENTAL PERFORMANCE LEVEL BASED ON EEG SIGNAL ANALYSIS
L.A. Stankevich, S.S. Amanbaeva, A.V. Samochadin
Peter the Great St. Petersburg Polytechnic University, St. Petersburg, Russian Federation
The article presents the results of studies on using non-invasive brain-computer interfaces (BCI) for analyzing the degree of mental fatigue of students. It is proposed to use electroencephalograph^ (EEG) signals, allowing to determine the potentials caused by events. A set of algorithms for preprocessing EEG signals and recognizing the evoked potential of P300 arising 300 ms after a visual stimulus is described in detail. The main focus is on the P300 wave recognition experiment from information captured by a Muse headset. Preliminary results on the accuracy of P300 wave recognition in different people using various types of classifiers are given. A methodology has been developed for using P300 to assess the students' mental fatigue. A number of experiments have been carried out confirming the possibility of such assessment using the developed methodology.
Keywords: mental fatigue, brain-computer interface, electroencephalographic signals, P300 wave, decoding, Muse headset.
Citation: Stankevich L.A., Amanbaeva S.S., Samochadin A.V. Evaluation of students' mental performance level based on EEG signal analysis. St. Petersburg State Polytechnical University Journal. Computer Science. Telecommunications and Control Systems, 2018, Vol. 11, No. 4, Pp. 151-161. DOI: 10.18721/JCSTCS.11411.
Введение
В настоящее время актуальной задачей является определение степени усталости учащихся при выполнении умственной работы, например, при выполнении заданий или подготовке к зачетам и экзаменам. Для оценки умственной усталости могут применяться различные аппаратные и программные средства, такие как портативные измерители частоты пульса, давления, состояния кожи и пр., а также различные компьютерные тесты. Также существуют попытки использовать для этих целей т. н. нейроинтерфейсы.
В основе большинства нейроинтерфей-сов — принцип считывания и декодирования электрических импульсов, возникающих вследствие активности головного мозга человека. Мыслительные процессы сопровождаются изменением электрической активности, отражающей работу множества активных нейронных сетей мозга, которая может быть считана непосредственно с активных участков мозга инвазивно, т. е. с хирургическим вмешательством, или не-инвазивно, например, с поверхности головы. Электрические сигналы, управляющие мышцами, могут считываться также неинвазивно с соответствующих нервов периферийной нервной системы. Декодирование (распознавание и классификация) считанных электрических сигналов может выполняться с использованием развитых в последнее время интеллектуальных методов обработки информации и принятия решений. Поэтому можно считать нейро-интерфейсы развитием интеллектуальных интерфейсов, в которых вместо устройств ввода аудио- или видеоинформации применяются устройства ввода сигналов активности мозга или периферийных отделов нервной системы.
По мнению экспертов, нейроинтерфей-сы — перспективная отрасль с огромным потенциалом. По этой причине исследования в данной области ведутся практически во всех развитых странах мира. Такие страны, как США и Китай, не только проводят научные исследования, но и выпу-
стили уже коммерчески доступные нейроинтерфейсы массового спроса, такие как Emotive Insight (США), Neurosky (США) и Brainlink (Китай) с собственными магазинами приложений для настольных и мобильных устройств на популярных платформах типа iOS, Android, Windows, Linux, MacOSX.
В России на сегодняшний день существуют научные коллективы международного уровня, исследующие нейрофизиологические аспекты, позволяющие разрабатывать современные нейроинтерфейсы. Среди таких коллективов, занимающихся проблемами разработки нейроинтерфейсов, можно отметить лабораторию нейрофизиологии и нейрокомпьютерных интерфейсов МГУ имени М.В. Ломоносова (Москва), лабораторию математической нейробиоло-гии обучения Института высшей нервной деятельности и нейрофизиологии РАН (Москва), кафедру нейродинамики и нейро-биологии биологического факультета ННГУ (Нижний Новгород), Институт медико-биологических проблем (Москва), НИИ нейрохирургии имени академика Н.Н. Бурденко РАМН (Москва), кафедру системного анализа и управления Санкт-Петербургского политехнического университета Петра Великого, лабораторию нейроэргономики и интерфейсов мозг-компьютер НБИК Курчатовского института (Москва), лабораторию изучения нейрофизиологических механизмов психической деятельности НИИ нейро-кибернетики имени А.Б. Когана Южного федерального университета (Ростов-на-Дону), Институт физиологии имени И.П. Павлова (Санкт-Петербург) и др.
В настоящее время созданы неинвазив-ные нейроинтерфейсы, позволяющие распознавать некоторые моторные команды мозга и мышечные сигналы и использовать результаты их декодирования, в частности, для управления разнообразными внешними устройствами. Исследователи и разработчики нейроинтерфейсов предполагают, что уже в ближайшее время на их основе могут быть созданы эффективные средства управления протезами, средствами реаби-
литации, ассистивными устройствами. Что очень важно отметить в рамках этой статьи, неинвазивные нейроинтерфейсы позволяют также распознавать эмоциональные и ментальные состояния человека.
На практике чаще всего применяются нейроинтерфейсы, регистрирующие и декодирующие сигналы нейрональной активности различных зон мозга. Они различаются способами и средствами регистрации биоэлектрических сигналов мозга и входят в группу т. н. интерфейсов «мозг-компьютер» (ИМК). На основе неинвазив-ных ИМК могут быть созданы достаточно эффективные системы оценки ментальных состояний человека.
Основная цель данной статьи — обоснование возможности оценки степени умственной усталости учащихся с использованием неинвазивных ИМК, а также обсуждение предварительных результатов экспериментов по использованию варианта ИМК, построенного на основе прибора Muse headset, в системе оценки умственной усталости.
Неинвазивные ИМК
При выполнении умственных работ человек может находиться в разных ментальных состояниях, связанных с типом обрабатываемой информации, когнитивной нагрузкой и пр. Некоторые состояния четко определяют его физическую, эмоциональную или умственную усталость. Любой вид усталости, как правило, ведет к снижению работоспособности. Важно определить степень умственной усталости учащихся, анализируя которую можно предложить им некоторые процедуры по снятию усталости. Наиболее пригодны для этих целей компьютерные системы оценки степени усталости, использующие неинва-зивные ИМК, классифицирующие ЭЭГ-паттерны ментальных состояний.
Применение неинвазивных способов регистрации активности мозга, в частности, ЭЭГ, перспективно в плане безопасности для пациента, простоты и компактности устройства, а также в экономиче-
ском отношении. ЭЭГ наиболее часто используется в ИМК, предназначенных как для медицинских целей, например, для реабилитации пациентов, так и для немедицинских целей, в частности, для дистанционного управления различными игровыми приложениями здоровыми людьми [1]. Такие ИМК в целом функционируют по схеме, представленной на рис. 1. Регистрация многоканальных сигналов ЭЭГ ведется с поверхности кожи головы (скальпа). Эти сигналы проходят предобработку путем фильтрации, удаления артефактов и выделения ЭЭГ-паттернов, соответствующих ожидаемым реальным или воображаемым действиям. Далее путем специальной обработки сигналов извлекаются признаки, позволяющие отличать ЭЭГ-паттерны друг от друга, и проводится распознавание ожидаемого действия или классификация нескольких действий. Такие ИМК должны быть предварительно обучены на примерах правильного распознавания или классификации действий. В режиме обучения в памяти устройства для каждого действия фиксируются свои наборы признаков (шаблоны). В рабочем режиме эти шаблоны сопоставляются с текущими наборами признаков, и по результатам сопоставления выполняется распознавание или классификация действий.
Следует отметить, что ЭЭГ имеет относительно низкое пространственное разрешение (около одного квадратного сантиметра), по сравнению с инвазивным методом, т. е. регистрацией сигналов с вживляемых электродов, где пространственное разрешение может быть около одного квадратного миллиметра. Это препятствует четкой локализации сигнала, но при предварительной обработке сигнал может быть улучшен путем его пространственной фильтрации и специальных методов выделения источников. Заметим, что ЭЭГ обладает хорошим временным разрешением (сотни миллисекунд), что также в значительной степени определяет перспективность использования данного метода для разработки ИМК.
Методы и приборы регистрации сигналов ЭЭГ и классификации ментальных состояний
Электрическая активность, регистрируемая через ЭЭГ, отображает колебания потенциалов на дендритных переходах нейронов сети мозга. Связь ЭЭГ с элементарными электрическими процессами на уровне нейронов нелинейная. В статистическом плане ЭЭГ представляется как результат суммирования электрических градуальных потенциалов многих нейронов, работающих в значительной степени независимо. Отклонения от случайного распределения в данном случае зависят от функционального состояния мозга (сон, уровни бодрствования) и от характера процессов, вызывающих элементарные потенциалы (спонтанная и вызванная активность). В случае временной синхронизации активности нейронов наблюдается отклонение от случайного распределения. Это может проявляться в повышении амплитуды суммарных потенциалов и увеличении когерентности между элементарными и суммарными процессами.
При исследовании биоэлектрических сигналов, связанных с событием, как экзогенных (реакции на внешние раздражители — звуковые, зрительные стимулы), так и эндогенных (принятие решений, планирование движений), в электрофизиологии используются методы когерентного накопления, при котором увеличивается соотношение сигнал/шум. В этом случае спонтанная ритмическая активность, не связанная с событием (экзогенным или эндогенным), является шумом. Вызванные потенциалы генерируются теми же нейрональными структурами, что и спонтанная ритмика. Для улучшения соотношения сигнал/шум необходимо усреднение большого количества реакций на предъявляемые стимулы и четкая синхронизация по времени события и регистрируемого ответа. Вызванный потенциал имеет малую амплитуду по отношению к спонтанной активности ЭЭГ, которая в данном случае выступает как шум. Например, потенциалы, вызванные зрительными стимулами, имеют амплитуду до 10 мкВ, а средний амплитудный уровень ЭЭГ составляет 50 мкВ.
Таким образом, одной из черт сигналов ЭЭГ является высокая доля шума в виде спонтанной (не связанной с событием) ритмической составляющей, отражающей общее функциональное состояние человека. Другой особенностью ЭЭГ является ее чувствительность к изменению общего состояния человека и условий проведения исследования. Например, на сигнал ЭЭГ могут влиять внешние раздражители, не связанные с выполняемой задачей, такие как шум, освещение и др. Сигналы ЭЭГ чувствительны к состоянию человека: «уровню бодрствования» и мобилизации человека, «внутренним» состояниям типа эмоций, переживаний. Вариативность и изменчивость паттернов ЭЭГ приводит к тому, что каждое регистрируемое событие происходит на разном «уровне» фоновой ритмики ЭЭГ, что может накладывать отпечаток на сигнал при малом количестве накоплений.
При регистрации сигналов ЭЭГ могут применяться разные подходы. В профессиональном варианте неинвазивного ИМК используется стандартный подход. ЭЭГ регистрируется монополярно от 19 отведений: Fp1, Fp2, F7, F3, Fz, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz, P4, T6, O1, O2, в соответствии со стандартной системой 10-20. В качестве референта используются электроды, которые закрепляются на мочках обоих ушей; в качестве заземляющего электрода — электрод во фронтальной части головы, чуть выше зоны предполагаемого отведения Fpz. Примером является 32-каналь-ный отечественный электроэнцефалограф Mitsar (Санкт-Петербург). Регистрация сигналов ЭЭГ в нем проводится в выбранных частотных диапазонах, например, в полосе 0,50—30 Гц с применением сетевого фильтра 45—55 Гц. Для записи ЭЭГ используется программа регистрации и обработки ЭЭГ, соответствующая выбранному типу электроэнцефалографа.
На практике для повышения эффективности классификации сигналы ЭЭГ могут подвергаться частотной фильтрации, что позволяет ориентироваться на частотный
диапазон с наибольшим количеством информативных признаков сигнала. Так, при анализе сигналов, соответствующих воображаемым моторным командам, фильтрация может проводиться отдельно в узкой полосе частот (0,5—15 Гц), в частотной полосе сенсомоторного ритма (10—15 Гц) и в широкой полосе частот (0,5—30 Гц), поскольку информативными могут являться как низкочастотные, так и высокочастотные составляющие сигналов ЭЭГ. В [2] показано, что разные типы классификаторов сигналов ЭЭГ демонстрируют различную точность распознавания сигнала в широкой полосе частот.
Для работы с информативным сигналом необходимо очистить его от артефактов. Наиболее вероятным вариантом удаления артефактов в условиях реализации обработки сигнала в реальном времени является удаление движения глаз по амплитудным характеристикам сигнала, т. е. по превышению определенного порога. Например, могут быть удалены фрагменты записи или пробы ЭЭГ, содержащие медленный сигнал мощностью 50 цУ в полосе 0—2 Гц, и быстрый сигнал мощностью более 35 цУ в полосе 20—35 Гц. Такое удаление артефактов не изменяет первоначальный сигнал ЭЭГ и может успешно применяться в экспериментах реального времени.
Обработка сигналов ЭЭГ с целью извлечения признаков для дальнейшей классификации воображаемых движений включает: поиск областей в наблюдаемых каналах ЭЭГ, где ожидается необходимый сигнал (ЭЭГ-паттернов); преобразование сигналов в частотной или временной областях; извлечение соответствующих наборов признаков. Поиск ЭЭГ-паттернов, т. е. фрагментов сигналов ЭЭГ, соответствующих ожидаемым воображаемым движениям и несущих их образ, требует ручной или автоматической разметки сигналов ЭЭГ. Эта операция проводится в соответствии с процедурой или парадигмой регистрации сигналов ЭЭГ при проведении эксперимента.
Для различения ЭЭГ-паттернов используются наборы признаков, получаемые в частотной или временной областях. Извлечение признаков в частотной области может производиться с использованием спектрального анализа, например, на базе преобразования Фурье. Лучшие признаки могут дать вейвлет-преобразования, которые позволяют учитывать параметр времени. Наряду со спектральным анализом в некоторых ИМК используются методы регрессионного анализа сигналов ЭЭГ, что дает возможность извлекать информацию во времени.
Классификация выполняется путем сопоставления набора признаков, полученного из текущего ЭЭГ-паттерна, с шаблонными наборами признаков, полученными в процессе обучения системы классификации. Для классификации ЭЭГ-паттернов наиболее часто применяются методы линейной дискриминации и опорных векторов, байесовские классификаторы, искусственные нейронные сети. В настоящее время начинают использоваться более продвинутые методы классификации ЭЭГ-паттернов, основанные на нейронных сетях с глубоким обучением, а также на классификаторах, построенных на римановой геометрии [3].
Далее рассмотрим подробнее метод, построенный на римановой геометрии, поскольку он будет использоваться в прикладной части этой работы [4, 5].
Недавно введенные в область ИМК классификаторы, построенные на римано-вой геометрии, отличаются от традиционно используемых в этой области классификаторов тем, что вместо оценивающих пространственных фильтров и (или) селекции признаков они выполняют отображение данных прямо в геометрическое пространство с некоторой пригодной метрикой. В этом пространстве данные могут быть легко преобразованы путем усреднения, сглаживания, интерполяции, экстраполяции и классификации. Например, в случае ЭЭГ-данных отображение может сводиться к вычислению некоторой формы ковариационной матрицы на этих данных.
В принципе это отображение основано на предположении, что энергия и пространственное распределение ЭЭГ-источников может рассматриваться как фиксированное для данного ментального состояния, и такая информация может быть кодирована ковариационной матрицей. Риманова геометрия изучает пространства с гладкой кривизной, которые могут быть локально и линейно аппроксимированы. Такие пространства называются многообразием (manifold), а их аппроксимация в каждой точке — касательным пространством (tangent space). В римановом многообразии касательное пространство снабжено метрикой, гладко изменяющейся от точки к точке. В неевклидовой нотации это соответствует дистанции между двумя любыми точками (каждая точка может быть попыткой) и соответствующей нотации центра масс любого числа точек. Поэтому вместо использования евклидовой дистанции применяется риманова метрика, адаптированная к геометрии многообразия и к манере, в которой должны отображаться данные. Из числа матричных многообразий, используемых для ИМК-приложений, предпочтительно многообразие симметричных позитивно определенных (Symmetric positive definite — SPD) матриц, которое имеет дело с ковариационными матрицами, полученными из ЭЭГ-сигналов. Проблема обучения классификатора сигналов ЭЭГ может успешно решаться на основе такого многообразия. Чтобы проиллюстрировать эту проблему, рассмотрим случай SPD-матриц. Квадрат дистанции между двумя SPD-матрицами С1 и С2 в закрытой форме выражается как
82(С1;C2) = Хlog2 К(C1-1C2), (1)
n
где An(M) означает n собственных значений матрицы M. Для С1 и С2 SPD эта дистанция не негативная, симметричная и равная нулю, только в случае, если С1 = С2. Интересно, что, когда С1 и С2 являются средними двух классов, собственные векторы матриц (С1—1С2) используют-
ся для определения фильтров общих пространственных паттернов (Common spatial pattern — CSP), в то время как собственные их числа используются для вычисления их римановой дистанции. Используя эту дистанцию в форме уравнения (1), центр масс G набора {С1, ..., CK} K SPD-матриц, также называемый геометрическим средним, является уникальным решением следующей оптимизационной проблемы:
argminG Xs2 C G). (2)
k
Заметим, что это определение — аналог определения арифметического среднего, которое является решением оптимизационной проблемы (2), когда используется евклидова дистанция. В отличие от арифметического среднего, геометрическое среднее не имеет решения в закрытой форме. Существует быстрый и робастный итеративный алгоритм вычисления геометрического среднего.
Наиболее простые методы классификации, основанные на римановой геометрии, позволяют классифицировать попытки, отображаемые через некоторые формы ковариационной матрицы, путем применения простых методов ближайшего соседа, используя эксклюзивно нотацию римановой дистанции (1) и, возможно, нотацию геометрического среднего (2). Например, классификатор на минимальной римановой дистанции от среднего (Minimum distance to mean — MDM) вычисляет геометрическое среднее для каждого класса, используя обучающие данные, а затем назначает неразмеченной попытке класс, соответствующий ближайшему среднему. Другой класс римановых классификаторов включает методы, проектирующие точки данных на касательное пространство и последующую классификацию, используя стандартные классификаторы, такие как LDA (Linear Discriminant Analysis), SVM (Support Vector Machine), логическую регрессию и пр.
Набор алгоритмов для распознавания волны Р300
Один из первых подходов к распознаванию волны Р300 в ответ на предъявляемый стимул представлен в статье [6]. В настоящее время имеется много вариантов решения этой задачи, но наибольший интерес для нас имеет вариант, предложенный для системы, использующей простые приборы для регистрации сигналов ЭЭГ, например, на базе EmotiveEpoc headset [7]. В этом варианте набор алгоритмов для классификации волны Р300 по многоканальным сигналам ЭЭГ (используется до 14 каналов-отведений) включает временной высокочастотный фильтр, пространственный фильтр, усреднение попыток, классификатор типа LDA, использующий правило голосования для получения финального решения. Процедура удаления артефактов, связанных с морганием и мускульными движениями, не применялась в этом наборе, поскольку она не улучшала выполнение задачи. За счет усреднения попыток влияние артефактов снижалось до минимума.
В нашем варианте предполагается использовать еще более простой прибор для регистрации сигналов ЭЭГ — Muse headset. Предлагаемый для решения задачи распознавания ответа Р300 далее обсуждается подробно.
Эксперименты по использованию Muse headset для работы с Р300
В работе [8] приведены результаты исследования возможности декодирования волны Р300 с использованием наиболее простого прибора регистрации сигналов ЭЭГ Muse 2016 EEG headset. Каналы ЭЭГ в Muse не являются хорошо позиционированными для P300. Однако ЭЭГ-потен-циалы диффузируют на скальп в целом, и оказалось возможным наблюдать P300 ERP даже в случае, когда электроды расположены далеко от зоны интереса. Эксперимент был поставлен для выяснения надежности этих измерений. Применялись про-
стые визуальные стимулы: частотный фоновый стимул, состоящий из вертикальных полос, и редкий целевой стимул с горизонтальными полосами. Задача состояла в автоматическом распознавании волны Р300 и подсчете количества раз, когда происходила регистрация этого потенциала, по сравнению с количеством раз, когда субъект видел горизонтальные полосы.
Описанный эксперимент был повторен нами с целью проверки корректности изложенных результатов. Стимулы длиной 200 мс подавались с интервалами 600 мс со случайным сдвигом +100 мс. Записывались шесть проб по 2 мин с общим числом стимулов нецелевых 960 и целевых 184. При обработке применялась простая фильтрация сигналов в полосе частот 1—30 Гц. Затем данные регистрировались эпохами от —100 до 800 мс после предъявления стимулов. Не применялись коррекции фильтрованного сигнала, но удалялись эпохи, где сигнал превышал 100 мВ. Это позволило исключить главные артефакты, связанные с морганием. Результаты эксперимента отражены на графиках усредненных вызванных потенциалов для нецелевых стимулов (розовые) и целевых (зеленые) на всех четырех электродах (рис. 1).
Как видно на графиках, имеет место явная идентификация P300 на электродах TP9 и TP10. Можно видеть также слабую активность на электродах AF8 и AF7.
Ссылочный электрод Muse headset FPz находится очень близко к двум фронтальным электродам. Это означает, что любой потенциал, локальный по отношению к ссылочному электроду, будет негативно проецироваться на электроды AF7, AF8. Поэтому на этих электродах видны только моргания, а на электродах TP9, TP10 можно зафиксировать присутствие потенциала Р300. Путем усреднения эпох можно явно идентифицировать волну вызванного потенциала Р300.
0 0,2 0,4
Рис. 1. Результаты эксперимента по выявлению волны Р300 Fig. 1. The results of the experiment to identify the wave P300
Чтобы изучить силу ответа Р300 в одиночных пробах взяли набор специальных алгоритмов для классификации [9, 10]. В частности, использовались семь различных наборов алгоритмов:
• Vect + LR: Векторизация + Логистическая регрессия. Этот вариант может рассматриваться как стандартный декодирующий EEG набор алгоритмов.
• Vect + RegLDA: Векторизация + Регу-ляризованный LDA. Этот вариант часто используется в нейроинтерфейсах с P300.
• Xdawn + RegLDA: Xdawn + Регуляри-зованный LDA.
• XdawnCov + TS: Xdawn Ковариация + Касательное пространство.
• XdawnCov + MDM: Xdawn Ковариация + MDM.
• ERPCov + TS: ErpКовариация + Касательное пространство. Один из фаворитов набора алгоритмов, использующих классификатор на римановой геометрии.
• ERPCov + MDM: ErpКовариация + MDM. Очень простой, но эффективный для малого количества каналов классификатор на римановой геометрии.
Оценка выполнялась через кросс-вали-дацию (25 % данных использовались в качестве валидационного набора), с AUC в качестве метрики (AUC — вероятность наилучшей метрики для бинарной несбалансированной классификационной проблемы) (рис. 2).
Наилучшим набором оказался ERPCov + ТС, показавший среднее значение AUC, равное 0,63. Этот результат рассматривается далее, как хороший.
Основываясь на этих начальных результатах, можно говорить о том, что имеется возможность наблюдать P300 с помощью Мuse headset. При AUC = 0,8 его можно использовать в нейроинтерфейсных приложениях, если не требуется большей точности.
Эксперименты по оценке умственной усталости с использованием Muse headset
В этих экспериментах также использовался Muse headset, с помощью которого регистрировались ЭЭГ по четырем каналам, и специализированный классификатор, обнаруживающий эти команды по волне Р300. Была выдвинута гипотеза о том, что при значительной умственной усталости снижается вероятность распознавания визуальных стимулов, вследствие притупления внимания, и замедляется их восприятие. Чтобы доказать это в процессе экспериментов на монитор подавались различные нецелевые и целевые зрительные стимулы, на которые должны были по-разному реагировать субъекты. Нецелевыми символами были наборы горизонтальных линий и черное поле на экране, а целевыми — набор вертикальных линий. Наиболее информативным оказался эксперимент с нецелевыми стимулами в виде черного поля и с целевыми — набором вертикальных линий.
тз
о
<D
Vect + LR Vect + RegLDA Xdawn + RegLDA Xd awn Gov + TS Xdawn Gov + M DM ERPCov + TS ERPCov + MDM
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7
AU С
Рис. 2. Оценка точности распознавания Р300 Fig. 2. Evaluation of recognition accuracy P300
TP9 AF7 AF8 ТР10
Амплитуда, V -0,000016 -0,000013 -0,000014 -0,000015
Время, с 0,330679 0,344952 0,356671 0,339694
TP9 AF7 AF8 ТР10
Амплитуда, V -0,000015 -0,000015 -0,000014 -0,000015
Время, с 0,354718 0,370418 0,373798 0,357347
Рис. 3. Оценка величины временного сдвига отрицательного пика волны Р300 Fig. 3. Estimation of the magnitude of the time shift of the negative peak of the P300 wave
Анализировались результаты семи субъектов (студентов СПбПУ), участвующих в экспериментах. Отмечено некоторое уменьшение точности распознавания импульса Р300 у некоторых субъектов после значительной умственной нагрузки: от 0,63 до 0,59, что говорит о малой надежности этой оценки для фиксации факта умственной усталости учащихся. Результаты лучшего эксперимента по оценке величины временного сдвига отрицательного пика волны Р300 приведены на рис. 3. Здесь видно, что у субъекта в бодром состоянии (верхняя таблица) по всем четырем каналам время фиксации отрицательного пика находится в диапазоне 0,330679—0,356671, а у этого же
субъекта после значительной умственной нагрузки — в диапазоне 0,354718—0,373798. Это подтверждает возможность уверенного распознавания степени умственной усталости по ЭЭГ-сигналам активности мозга путем измерения величины временного сдвига отрицательного пика волны Р300.
Заключение
Результаты исследований, представленных в статье, подтвердили возможность оценки степени умственной усталости учащихся с использованием неинвазивных интерфейсов «мозг-компьютер». В эксперименте анализировались электроэнцефалографические сигналы, снимаемые самым
простым и относительно дешевым прибором типа Muse headset. В частности, подтверждена возможность распознавания вызванного потенциала Р300, возникающего в диапазоне 200—400 мс после зрительного стимула. Точность распознавания волны Р300 у различных людей с использованием различных типов классификаторов достигала 63 %. В экспериментах показано, что точность распознавания Р300 при подаче целевых стимулов снижается, при значительной умственной усталости уменьшается от 0,63 до 0,59 по AUC. Оценка величи-
ны временного сдвига отрицательного пика волны Р300 при распознавании целевых визуальных стимулов показала увеличение задержки появления отрицательного пика в среднем на 0,025 с. Это свидетельствует, вероятно, о притуплении внимания и замедлении восприятия стимулов при умственной усталости учащихся.
Работа подготовлена в ходе реализации проекта в рамках Постановления Правительства РФ от 09.04.2010 № 218 при финансовой поддержке Министерства образования и науки РФ. Договор № 03.G25.31.0247 от 28.04.2017.
СПИСОК ЛИТЕРАТУРЫ
1. Станкевич Л.А., Сонькин К.М., Шемякина Н.В., Нагорнова Ж.В., Хоменко Ю.Г., Перец Д.С., Коваль А.В. Классификация ЭЭГ-паттернов воображаемых движений пальцами одной руки, выполняемых в заданном ритме // Физиология человека. 2016. Т. 42. № 1. С. 40—51.
2. Sonkin K.M., Stankevich L.A., Khomenko Ju.G., Nagornova Zh.V., Shemyakina N.V. Development of electroencephalograph^ pattern classifiers for real and imaginary thumb and index finger movements of one hand // Artificial Intelligence in Medicine. 2015. Vol. 63. No. 2. Pp. 107—123.
3. Fabien Lotte, et al. A review of classification algorithms for EEG-based Brain-computer interfaces: A 10-2018 Update // Journal of Neural Engineering. 2018. Vol. 15, No. 3. Pр. 1—28.
4. Congedo M., Barachant A., Bhatia R. Rie-mannian geometry for EEG-based brain computer interfaces; a primer and a review // Brain-Computer Interfaces, Taylor Francis. 2017. No. 4(3). Pp. 155—174.
5. Cognedo M., et al. Classification of covari-ance matrices using Riemannian-based kernel for
BCI applications // IEEE Trans. on Signal Processing. 2016. No. 65 (9). Pp. 2211—2220.
6. Picton W.T. The P300 wave of the human event-related potential // Journal of Clinical Neu-rophysiology. 1992. No. 9(4). Pp. 456—479.
7. Duvinage M., Castermans T., Petieau M., Hoellinger T., et al. Performance of the Emotiv-Epoc headset for P300-based applications // BioMedical Engineering OnLine. 2013. Pp. 3—15.
8. Barachant A. URL: http://alexandre.barachant.o rg/blog/2017/02/05/P300-with-muse.html (Дата обращения: 09.11.2018).
9. Notebooks. URL: https://eeg-notebooks.re adthedocs.io/en/latest/available_notebooks.html#ol d-notebooks (Дата обращения: 09.11.2018).
10. Mayaud L., Cabanilles S., Van Langhenhove A., et al. Brain-computer interface for the communication of acute patients: a feasibility study and a randomized controlled trial comparing performance with healthy participants and a traditional assistive device // Brain-Computer Interfaces. 2016. Vol. 3-4. Pp. 197—215.
Статья поступила в редакцию 10.11.2018.
REFERENCES
1. Stankevich L.A., Sonkin K.M., Perets D.S., Koval A.V., Shemyakina N.V., Nagornova Z.V., Khomenko J.G. EEG pattern decoding of rhythmic individual finger imaginary movements of one hand. Human Physiology, 2016, Vol. 42, No. 1, Pp. 40-51. (rus)
2. Sonkin K.M., Stankevich L.A., Khomenko Ju.G., Nagornova Zh.V., Shemyakina N.V. Development of electroencephalographic pattern classifiers for real and imaginary thumb and index finger movements of one hand. Artificial Intelligence in Medicine, 2015, Vol. 63, No. 2, Pp. 107-123.
3. Fabien Lotte, et al. A review of classification algorithms for EEG-based Brain-computer interfaces: A 10-year update. Journal ofNeural Engineering, 2018, Vol. 15, No. 3, Pp. 1-28.
4. Congedo M., Barachant A., Bhatia R. Rie-mannian geometry for EEG-based Brain computer interfaces; a primer and a review. Brain-Computer Interfaces, Taylor Francis, 2017, No. 4(3), Pp. 155-174.
5. Cognedo M., et al. Classification of covari-ance matrices using Riemannian-based kernel for BCI applications. IEEE Trans. on Signal Processing, 2016, No. 65 (9), Pp. 2211-2220.
6. Picton W.T. The P300 wave of the human event-related potential. Journal of Clinical Neurophysiology, 1992, No. 9(4), Pp. 456-479.
7. Duvinage M., Castemians T., Petieau M., HoeHinger T., et al. Performance of the EmotivEpoc headset for P300-based applications. BioMedical Engineering OnLine, 2013, Pp. 3-15.
8. Barachant A. Available: http://alexandre.bamc hant.org/blog/2017/02/05/P300-with-muse.html (Accessed: 09.11.2018).
Received 10.11.2018.
9. Notebooks. Available: https://eeg-notebooks.read thedocs.io/en/latest/available_notebooks.html#old-not ebooks (Accessed: 09.11.2018).
10. Mayaud L., Cabanilles S., Van Langhenhove A., et al. Brain-computer interface for the communication of acute patients: a feasibility study and a randomized controlled trial comparing performance with healthy participants and a traditional assistive device. Brain-Computer Interfaces, 2016, Vol. 3-4, Pp. 197-215.
СВЕДЕНИЯ ОБ АВТОРАХ / THE AUTHORS
СТАНКЕВИЧ Лев Александрович STANKEVICH Lev A.
E-mail: [email protected]
АМАНБАЕВА Сабина Сергеевна AMANBAEVA Sabina S.
E-mail: [email protected]
САМОЧАДИН Александр Викторович SAMOCHADIN Alexandr V.
E-mail: [email protected]
© Санкт-Петербургский политехнический университет Петра Великого, 2018
