CC BY
55Математика к Математическое
моделирование
И Ир://та! hfnelpLtb.ru 1531М 2412-5911
Ссылка на статью:
// Математика и математическое моделирование. 2018. № 02. С. 33-52
Б01: 10.24108/шаШш.0218.0000118
Представлена в редакцию: 29.03.2018
© НП «НЕИКОН»
УДК 004.93
Методы построения пространства признаков сигнала ЭЭГ в гибридном интерфейсе «глаз-мозг-компьютер»
Сотников П.И.1' ьоаикоЩ@ дтзД.сот
1МГТУ им. Н.Э. Баумана, Москва, Россия
В статье рассматриваем задачу классификации записей электроэнцефалограммы (ЭЭГ), соответствующих спонтанным и управляющим фиксациям взгляда в гибридном интерфейсе «глаз-мозг-компьютер». Для выделения наиболее информативных признаков сигнала ЭЭГ предлагаем использовать сравнительно новые методы, включающие поиск оптимальных частотных диапазонов многомерного сигнала и модифицированный метод шейплетов. Эффективность данных методов исследуем по сравнению с рядом известных подходов к формированию признаков, включающих: 1) расчет усредненных значений амплитуды сигнала в перекрывающихся окнах; 2) оценку энергии сигнала в заданных частотных диапазонах; 3) отбор наиболее информативных признаков с помощью генетического алгоритма. Анализ эффективности методов проводим на записях ЭЭГ, полученных в Курчатовском комплексе НБИКС-технологий при работе пользователей с гибридным интерфейсом.
Ключевые слова: гибридный интерфейс глаз-мозг-компьютер, классификация многомерных временных рядов, методы построение признаков, шейплет временного ряда, шейплет-преобразование данных
Введение
В настоящее время разработаны методики и программно-аппаратные комплексы, позволяющие пользователю управлять устройством с помощью взгляда. Управление взглядом характеризуется сравнительно неплохой точностью и скоростью работы. Однако перемещения взгляда обычно происходят спонтанно и легко выходят из-под сознательного контроля. В связи с этим в системах управления взглядом («айтрекерах») возникает проблема, которая в литературе часто называется «проблемой прикосновения Мидаса». Она проявляется в том, что система интерпретирует спонтанные фиксации, как команды пользователя.
В ряде исследований было показано, что фиксации взгляда, используемые для управления, можно отличить от спонтанных фиксаций по ЭЭГ, регистрируемой непосред-
ственно во время работы с «айтрекером» [1,2]. Данный подход лег в основу гибридных интерфейсов «глаз-мозг-компьютер».
Известно, что различия между спонтанными и управляющими фиксациями в записи ЭЭГ проявляются в виде характерного изменения амплитуды сигнала [1,2,3]. Управляющим фиксациям взгляда соответствует появление в записи ЭЭГ негативной волны спустя примерно 200 мс после начала фиксации взгляда. Данный феномен проиллюстрирован на примере одного испытуемого на рисунке 1. По оси абсцисс на рисунке отложены номера каналов, по оси ординат - время (от 0 до 500 мс), по оси аппликат - значения амплитуды сигнала (в мкВ).
а б в
Рисунок 1 - Различия в форме сигнала ЭЭГ для управляющих и спонтанных фиксаций взгляда: а и б -усреднённые формы сигнала ЭЭГ, соответствующие управляющим и спонтанным фиксациям, в - разность
между двумя типами фиксаций
Кроме того, в последних исследованиях установлено, что различия между типами фиксаций наблюдаются также в изменении частотных компонент сигнала ЭЭГ [4]. На рисунке 2 для того же испытуемого представлены графики усредненных значений спектра сигнала ЭЭГ, соответствующие управляющим, спонтанным фиксациям взгляда и разности между ними. По оси абсцисс на рисунке отложены номера каналов, по оси ординат - значения частоты (в Гц), по оси аппликат - значения энергии сигнала (в мкВ2).
а б в
Рисунок 2 - Различия в форме спектра сигнала ЭЭГ для управляющих и спонтанных фиксаций взгляда: а и б - усреднённые формы спектров, соответствующие управляющим и спонтанным фиксациям, в - разность
между двумя типами фиксаций
Задача распознавания типа фиксации взгляда по записи ЭЭГ сводится к определению принадлежности многомерного временного ряда, в виде которого запись ЭЭГ представляется в компьютере, к одному из известных классов. Из предложенных в литературе можно выделить следующие основные подходы к классификации многомерных временных рядов:
1) анализ сходства временных рядов путем вычисления расстояния между ними (с помощью евклидовой метрики или алгоритма динамической трансформации временной шкалы [5]);
2) формирование признакового описания временного ряда и классификация в пространстве признаков [6,7]; 3) построение модели процесса, генерирующего временной ряд (с помощью скрытых марковских моделей [8], рекуррентных нейронных сетей [9] и др.).
Второй подход является традиционным в теории машинного обучения и получил широкое распространение при анализе ЭЭГ, в частности, в исследованиях, посвященных построению интерфейсов мозг-компьютер (ИМК) [10]. Отметим, что при классификации в пространстве признаков существенное влияние на достижимую точность классификации оказывает способ формирования признаков. Важным является построение такого пространства признаков, в котором объекты, принадлежащие к разным классам, будут образовывать непересекающиеся подмножества.
В работе [3] для характеристики изменений сигнала ЭЭГ, соответствующих спонтанным и управляющим фиксациям взгляда, применялись амплитудные признаки. Данные признаки формировались следующим образом. Сначала выделялись эпохи сигнала ЭЭГ в интервале 200..500 мс после начала фиксации взгляда. Затем раздельно для каждого канала ЭЭГ рассчитывались усредненные значения амплитуды сигнала в перекрывающихся окнах длиной 50 мс. Всего использовалось 13 окон с шагом 20 мс (200-250 мс, 220-270 мс, ..., 440-490 мс). Полученные для каждого из каналов признаки включались в единый вектор, описывающий пробу.
В работе [4] была предпринята попытка использовать, наряду с амплитудными, вейвлетные признаки, отражающие изменение частотных компонент сигнала ЭЭГ с течением времени. Вейвлетные признаки формировались независимо для каждого канала ЭЭГ на основе вейвлет-преобразования данных. В качестве материнской функции использовался вейвлет Морле, а диапазон масштабов соответствовал диапазону частот 5.30 Гц. С целью снизить «зашумление» данных неинформативными признаками в работе применялся подход, основанный на определении коэффициента детерминации между значениями признаков и метками классов (критерий й2). В итоговый набор включали только те признаки, которые имели высокую степень корреляции с метками классов.
Хотя рассмотренные методы формирования признаков позволяют выделить свойства сигнала ЭЭГ, важные для распознавания типов фиксаций взгляда, они не гарантируют построение оптимального пространства признаков. Представляется возможным повысить производительность гибридного интерфейса «глаз-мозг-компьютер» за счет применения специальных техник отбора и конструирования признаков. К таким техникам, например, можно отнести известный в теории машинного обучения метод отбора наиболее информативных признаков с помощью генетического алгоритма.
В настоящей работе для построения пространства признаков предлагается использовать сравнительно новые методы, включающие поиск оптимальных частотных диапазонов многомерного сигнала и модифицированный метод шейплетов. Исследуется эффективность данных методов по сравнению с рядом других подходов к формированию признаков, к которым относятся: 1) расчет усредненных значений амплитуды сигнала в перекрывающихся окнах; 2) оценка энергии сигнала в заданных частотных диапазонах; 3) отбор наиболее информативных признаков с помощью генетического алгоритма. Критерием для оценки эффективности служит точность классификации, достижимая при использовании полученного набора признаков. Целью работы является выбор метода, который обеспечит сокращение числа ложных срабатываний айтрекера путем корректного распознавания паттернов сигнала ЭЭГ, соответствующих спонтанным и управляющим фиксациям взгляда.
1. Постановка задачи классификации в пространстве признаков
Пусть имеется исходный набор данных П = {X ¿, к¿} г объема Р, где X £ Е Лмх м -/-ый многомерный временной ряд; М - число измерений ряда, N - число дискретных отсчетов в каждом из измерений; - метка класса, к которому принадлежит ряд X ¿; К - общее число классов (состояний исследуемой динамической системы).
Предположим, что задано семейство функций , сопоставляющих любому ряду
X номер класса к
к = /(X),/ £
Введем критерий , который будет характеризовать качество разделения классов функцией / на множестве П. Значение критерия @ находим, как отношение числа объектов, правильно распознанных функцией , к их общему числу в выборке.
С учетом принятых обозначений, задача построения классификатора многомерных временных рядов сводится к нахождению функции , доставляющей максимум критерию
г 00 = аг§тах<2(/)
fEF
В литературе функцию называют «решающим правилом» или «дискриминантной функцией». При анализе многомерных временных рядов построение решающего правила в пространстве самих данных часто бывает затруднено. Это связано со следующими особенностями многомерных сигналов: 1) высокая размерность данных; 2) наличие в них избыточности (с точки зрения, отражения свойств исследуемой системы или процесса); 3) присутствие скрытых или явных зависимостей между измерениями в разных каналах. Ввиду указанных особенностей, решающее правило ищут в классе суперпозиций таких, что
/(X) = д(КХ)),
где функция задает отображение многомерных временных рядов в пространство
признаков , а функция каждому вектору признаков ставит в соот-
ветствие номер класса к Е { 1, 2,..В этом случае решение задачи классификации фак-
тически разбивается на два этапа: 1) формирование признакового описания временных рядов, учитывающего наиболее важные их свойства; 2) построение решающего правила в пространстве признаков.
Отметим, что достижимая точность классификации зависит, как от выбора решающего правила д , так и от выбора функции Л. Неточность в оценке параметров функции Л не всегда можно компенсировать путем увеличения сложности классификатора Важным является построение оптимального пространства признаков, в котором объекты, принадлежащие к разным классам, будут образовывать непересекающиеся подмножества.
2. Предлагаемые методы формирования признаков
2.1 Поиск оптимальных частотных диапазонов многомерного сигнала
Метод был предложен в [11] для учета вариативности сенсомоторных ритмов сигнала ЭЭГ в интерфейсе мозг-компьютер. Метод основывается на априорной информации о том, что смена функциональных состояний динамической системы, продуцирующей многомерный временный ряд, находит отражение в изменении частотных составляющих её выходного сигнала. Идея метода заключается в поиске с помощью популяционных алгоритмов оптимизации таких частотных диапазонов сигнала, в которых различия между функциональными состояниями системы проявляются в наибольшей степени. Отличием метода является то, что границы частотных диапазонов определяются независимо для каждого из источников и каждого из измерений (каналов) многомерного сигнала.
Задачу поиска частотных диапазонов ставим, как задачу однокритериальной оптимизации, в которой в качестве варьируемых параметров выступают границы частотных диапазонов ^ ,Р2, а в качестве целевой функции @( Р\,Р2) - оценка достижимой точности классификации:
(1)
^ = {Ртт < Р\ < ^ Ртах}> Вр <= ЖМх1.
Для отыскания оптимальных значений варьируемых параметров используем генетический алгоритм (ГА).
Решение задачи (1) разбиваем на два этапа.
На первом этапе для всех временных рядов X ¿,/ = 1 ... Р из исходного множества П выполняем следующую последовательность действий.
1) Для каждого из измерений временного ряда рассчитываем матрицу квадратов коэффициентов вейвлет-разложения Коэффициенты вейвлет-разложения вычисляем в узлах дискретной сетки, заданной на плоскости , где - параметры масштаба и временного сдвига соответственно. Величину шага вдоль оси т выбираем равномерной, а значения масштабов - обратно пропорциональными исследуемым частотам /. В качестве материнской вейвлет-функции Ч ( £) используем комплексный вейвлет Морле.
2) Усредняя элементы матриц Ет по строкам (по оси временного сдвига т), вычисляем энергетические спектры сигналов для каждого из М измерений временного ряда X ¿.
После того, как энергетические спектры Ет,т = 1 ..М будут рассчитаны для всех временных рядов X 1,1 = 1... Р , переходим ко второму этапу решения задачи.
1) Вводим векторы р1 = (Ь, 1 ,Д,2,..-,Д,м)Т,р2 = ^2, 1 ,Д,2, ■ ■ Т размерности М X 1, элементы которых определяют нижние и верхние границы частотных диапазонов для всех измерений исследуемых временных рядов.
2) Каждому временному ряду XI Е Имх№ из множества П ставим в соответствие век-
т
тор характерного признаков гР1 = (г1,...,гт,...,гм) , где гт - значение площади фигуры под графиком энергетического спектра Ет(/) на отрезке [Д, т; ¡2, ^ , то есть
^Г /г,гп
Ет(Пй[,т = 1....М.
А,т
3) С помощью заранее выбранного классификатора оцениваем точность классификации достижимую на множестве сформированном векторами характерных признаков и соответствующими им метками классов .
4) Применяя генетический алгоритм, находим оптимальные значения параметров
, обеспечивающие максимум критерия .
Процедура расчета значений характерных признаков многомерного временного ряда проиллюстрирована на рисунке 2.
Рисунок 3 - Пример расчета значений характерных признаков многомерного временного ряда с учетом
найденных границ частотных диапазонов
При решении задачи (1) входными параметрами ГА являются размер популяции Р, число поколений и вероятность мутации .
Особей ^ популяции определяем как
5 = {Р1,Р2,Н,^Р1,Р2)),
где векторы задают фенотип особи; - её генотип; - приспособленность
данной особи. Генотип Н представляем в виде монохромосомы, кодирование генов производим с помощью кода Грея. Для учета ограничений, накладываемых на варьируемые параметры , используем следующий порядок расчета функции приспособленности ф ( , Р2). Вводим штрафную функцию р епаIty ( ,Р2), значение которой вычисляем, как сумму штрафов за выход границ частотных диапазонов за пределы интервала допустимых значений. Приспособленность особей при этом определяем, как
(р^РъРг) = QiPi.Pi) ~ репаПу^.Р^.
Для повышения обобщающих свойств найденных границ частотных диапазонов дополнительно вводим в алгоритм поиска процедуру контроля переобучения (или чересчур близкой подгонкой, англ. - оуегАШщ).
Разбиваем исходную выборку на две непересекающиеся
части: собственно обучающую выборку У0 дуч и контрольную выборку Уко нтр. На итерациях ГА и метода роя частиц приспособленность особей оцениваем на обучаю-
щей выборке. По завершении каждого поколения для текущих лучших значений границ частотных диапазонов оцениваем качество разделения классов на контроль-
ной выборке. По итогам работы алгоритма оптимальные значения границ выбираем в соответствии с правилом
(Р{,Р*) = а^та(ХСвнешС/7!,^) .
Поскольку ГА является стохастическим методом оптимизации, то чтобы повысить вероятность локализации глобального оптимума, применяем его в сочетании с методом мультистарта. Идея метода заключается в запуске алгоритма поиска с различными начальными приближениями. По завершению всех запусков в качестве результата принимаем лучшее решение. То есть, границы частотных диапазонов с максимальным значением точности классификации на контрольной выборке.
2.2 Модифицированный метод шейплетов
Во многих прикладных задачах смена функциональных состояний динамической системы, продуцирующей многомерный временной ряд, отражается в характерном изменении формы выходного сигнала. При этом если изменение формы выражено слабо, определение текущего функционального состояния может быть затруднено. Метод шейплетов (англ. shapelets) был предложен, чтобы преодолеть указанное ограничение путем выявления локальных различий временных рядов. В литературе под шейплетом понимают такой фрагмент временного ряда, для которого расстояния от объектов одного класса малы (объекты «содержат» фрагмент), а расстояния от объектов другого класса велики (объекты «не содержат» в себе данный фрагмент) [12]. В исходном варианте область применения
метода ограничивалась бинарной классификацией одномерных наборов данных [13]. В настоящее время разработано большое число модификаций метода, которые позволяют: 1) сократить время поиска шейплетов; 2) решать задачи с тремя и более классами; 3) выполнять классификацию многомерных временных рядов. В работе воспользуемся вариантом метода, предложенным в [14] и сочетающем в себе все рассмотренные улучшения.
В соответствии со схемой метода, описанной в [14], формирование признакового описания многомерных временных рядов с учетом информации о найденных шейплетах производим в два этапа.
На первом этапе с помощью генетического алгоритма решаем задачу поиска шейп-летов в исходном множестве .
Определим фрагмент многомерного временного ряда тройкой чисел
(Ь,]',1) , где г - номер временного ряда во множестве П; ] - смещение фрагмента относительно начала ряда; I - длина фрагмента, Ь,], I Е Ъ. Обозначим 5 (Ь,], I) кандидата в шейп-леты, определенного с использованием тройки .
Степень отличия многомерного временного ряда X от фрагмента 5 Е Мм х 1 характеризуем с помощью М-мерного вектора расстояний
( Хг)
Д^Х) =
d(S2,Х2) \d(SM,XM)y
Компоненты данного вектора есть расстояния между соответствующими измерениями фрагмента S и временного ряда X. При этом расстояние между одномерным фрагментом S длины l и одномерным временным рядом X = х 1 ,х2,.. .,xN, представленным в канале с номером т = 1 ..М, находим, как минимальное из расстояний между этим фрагментом и всеми возможными фрагментами ряда длины l:
d(S,X) = min d(S,Sx),
SxtDs
n — Г -jv-z+i
Ds = \xj,xj+1 ,.■ -,xj+1-1 j.=1 .
В этих обозначениях задачу поиска шейплетов формулируем в виде
mах tij,г eD Q(S(i,j, l)) = Q(S (i*,j*, l*)) = Q(S op t), (2)
( 1 <i<P, D = 1 < j < N - l + 1,
Imin — L — Imax-
Здесь lmin, lmax - константы, определяющие границы диапазона длин кандидатов; Q(S( i,j,l)) - оценка качества разделения классов на множестве Ч(S) = {D (S, X i),ki) 1, где - векторы расстояний от фрагмента до временных рядов из ис-
ходного набора данных .
Задача поиска шейплетов (2) представляет собой задачу целочисленной оптимизации. Отметим, что общая сложность алгоритма полного перебора для её решения составляет О (Р2N4), то есть очень быстро растет с ростом величин P, N. В работе для сокращения времени поиска применяем генетический алгоритм.
Особей ^ популяции задаем с помощью набора
s = <F,tf,cp(F)>,
где вектор F - фенотип особи; Н - её генотип; ф ( F) - приспособленность. Фенотип особи задаем тройкой чисел ( i,j,l) , определяющих фрагмент временного ряда, то есть полагаем F = (i,j,l). Для кодирования значений варьируемых параметров (i,j,l) используем представление генотипа в виде монохромосомы , где - бинарные гены, отвечающие за кодирование чисел соотвественно.
Для каждой из особей s значение функции приспособленности ф (F) вычисляем по следующей схеме.
1) На основе индексов i,j, l осуществляем выборку из множества П кандидата в шейп-леты S = S(i, j, I).
2) Рассчитываем расстояния от кандидата S до всех объектов из множества Q. Формируем новое множество .
3) На множестве Ч(S) оцениваем качество разделения классов Q(F).
4) Для учета ограничений, накладываемых на варьируемые параметры, вычисляем значение штрафной функции , которая представляет собой сумму штрафов за выход параметров за границы области допустимых значений. Приспособленность особей при этом находим, как
<P(.F) = Q(F) — penalty (F).
Качество разделения классов Q (F) на итерациях алгоритма оцениваем по итогам пятикратной перекрестной проверки (англ. cross-validation) с помощью простого классификатора на основе метода к ближайших соседей.
По общему принципу эволюционных алгоритмов, в качестве решения задачи используем значения варьируемых параметров соответствующие лучшей особи (имеющей наибольшее значение функции приспособленности ). Для того чтобы повысить вероятность локализации глобального решения, используем метод мультистарта.
После того как найден фрагмент временного ряда с лучшим значением оценки качества разделения классов, переходим ко второму этапу, то есть к непосредственному формированию признакового описания многомерных временных рядов. Для этого используем шейплет-преобразование данных, которое сводится к следующему.
Из последнего поколения ГА выделяем набор S из к лучших кандидатов в шейплеты: При этом оставляем в наборе только шейплеты, значимо отличающиеся друг от друга. Для этих целей применяем алгоритм иерархической кластеризации.
Далее каждому многомерному временному ряду ставим в соответствие вектор характерных признаков , компоненты которого определяем как
z(§) = СDT(SltX).....DT(Sk,X))T, z(§) е Шм'к,
где D (SI, X), i = 1 , .. ,,к - векторы расстояний; символ « » означает транспонирование.
3. Описание тестовых данных
Для анализа эффективности предложенных в работе методов использовались данные, предоставленные исследовательской группой Сергея Шишкина (Курчатовский комплекс НБИКС-технологий). Данные содержат записи ЭЭГ для шести условно здоровых испытуемых-добровольцев (S01-S06), принявших участие в эксперименте. Запись ЭЭГ велась в процессе игры испытуемых в игру «Линии» с помощью устройства, отслеживающего направление взгляда («айтрекера»). Выполнение всех действий в игре обеспечивалось с помощью последовательностей из трех фиксаций взгляда: на кнопке (для начала пробы), на шарике (для его выбора), на свободной клетке (чтобы переместить туда шарик). Для срабатывания «айтрекера» продолжительность каждой фиксации должна была превышать установленный порог в 500 мс.
Для отслеживания взгляда испытуемых использовалось устройство EyeLink 1000 Plus (SR Research, Канада). Запись ЭЭГ велась с помощью электроэнцефалографа actiCHamp (BrainProducts, Германия) по 20 отведениям (Fz, F3, F4, Cz, C3, C4, Pz, P3, P4, P1, P2, PO7, PO8, PO3, PO4, Oz, O1, O2, POz, Fp2), параллельно проводилась запись элек-троокулограммы (ЭОГ). ЭОГ использовалась в эксперименте для контроля артефактов в ЭЭГ. Регистрация сигнала ЭЭГ осуществлялась с частотой дискретизации 500 Гц.
Для всех шести испытуемых были выделены фрагменты сигнала ЭЭГ, соответствующие управляющим и спонтанным фиксациям взгляда. Фиксации взгляда, связанные в игре с событиями нажатия на кнопку (msgButtonPressed), использовались в качестве управляющих. В качестве спонтанных были приняты фиксации взгляда в моменты, когда управление игрой было заблокировано (событие msgBaUClickedInBlockedMode). В таблице 4.20 для каждого испытуемого приведено общее число спонтанных и управляющих фиксаций.
Таблица 1 - Описание тестовых данных
Испытуемый Число фиксаций взгляда
Число управляющих фиксаций Число спонтанных фиксаций Общее число фиксаций
S01 274 124 398
S02 221 225 446
S03 330 196 526
S04 281 103 384
S05 220 218 438
S06 275 160 435
В работе использовались фрагменты сигнала ЭЭГ в интервале 200..500 мс после начала фиксации. Такой выбор интервала обусловлен необходимостью снизить влияние переходных процессов, связанных с движениями глаз (саккадами), на точность классификации.
4. Результаты вычислительных экспериментов
В работе выполнено сравнение эффективности следующих методов формирования признаков.
а) Расчет усредненных значений амплитуды сигнала в перекрывающихся окнах (Метод М1). После фильтрации в полосе частот 0,2-30 Гц для каждого канала ЭЭГ рассчитывались усредненные значения амплитуды сигнала в перекрывающихся окнах длиной 50 мс. Как и в оригинальном исследовании использовалось 13 окон с шагом 20 мс (200-250 мс, 220-270 мс, ..., 440-490 мс). Полученные для каждого из каналов признаки объединялись в вектор, описывающий пробу.
б) Оценка энергии сигнала в заданных частотных диапазонах (Метод М2). Для сигналов в каждом из каналов записи ЭЭГ рассчитывались матрицы квадратов коэффициентов вейвлет-разложения. Далее каждому каналу ЭЭГ сопоставлялось пять признаков, которые представляли собой средние значения энергии сигнала в частотных диапазонах: 1-4 Гц (дельта-ритм); 4-8 Гц (тета-ритм); 8-14 Гц (альфа-ритм); 14-30 Гц (бета-ритм); 30-50 Гц (гамма-ритм).
в) Отбор наиболее информативных признаков (Метод М3). Для каждого из испытуемых с помощью генетического алгоритма был выполнен поиск оптимального подмножества признаков из имеющегося набора. В качестве базовых методов формирования признаков применялись: расчет усреднённых значений амплитуды сигнала в перекрывающихся окнах (вариант метода М3:М1); оценка энергии сигнала в пяти заданных частотных диапазонах (вариант метода М3:М2).
г) Модифицированный метод шейплетов (Метод М4). Векторы характерных признаков формировались путем шейплет-преобразования данных. Предварительно для каждого из испытуемых был выполнен поиск шейплетов многомерных временных рядов с помощью генетического алгоритма и по итогам поиска составлен набор из 24 кандидатов в шейплеты, дающих максимальную оценку качества разделения классов.
д) Выбор оптимальных частотных диапазонов (Метод М5). Для каждого из испытуемых с помощью генетического алгоритма были определены границы наиболее информативных частотных диапазонов сигнала ЭЭГ. В вектор характерных признаков включались значения энергии сигнала в найденных диапазонах.
Для всех методов формирования признаков были определены значения следующих показателей точности классификации: чувствительности, специфичности и специальной меры Стеап, которая представляет собой среднее геометрические чувствительности и специфичности классификатора и характеризует общую точность классификации для несбалансированных данных [15,14]. Для каждого из испытуемых данные показатели оценива-
лись по результатам пятикратной перекрестной проверки с помощью классификатора на основе метода к ближайших соседей. На раундах перекрестной проверки поиск шейплетов многомерных временных рядов и поиск оптимальных частотных диапазонов проводились на части данных, которая служила обучающей выборкой. При этом значения чувствительности, специфичности и меры Gmean оценивались на тестовой выборке, которая не использовалась на итерациях алгоритмов поиска.
Значения показателей точности классификации, рассчитанные для каждого из испытуемых по итогам перекрестной проверки, приведены в таблицах 2-4. Для всех методов формирования признаков указаны средние значения и стандартные отклонения показателей точности.
Таблица 2 - Значения меры Стеап для рассматриваемых методов формирования признаков
Испытуемый Метод формирования признаков
М1 М2 М3:М1 М3.М2 М4 М5
S01 0,53±0,02 0,50±0,17 0,57±0,05 0,57±0,09 0,53±0,08 0,61±0,14
S02 0,55±0,07 0,58±0,07 0,57±0,03 0,60±0,10 0,56±0,08 0,58±0,06
S03 0,63±0,03 0,49±0,09 0,63±0,04 0,62±0,06 0,60±0,04 0,59±0,07
S04 0,55±0,09 0,67±0,07 0,60±0,08 0,62±0,09 0,70±0,06 0,69±0,05
S05 0,61±0,08 0,45±0,26 0,57±0,10 0,58±0,11 0,60±0,08 0,58±0,09
S06 0,57±0,06 0,63±0,04 0,57±0,11 0,64±0,06 0,63±0,05 0,67±0,05
Среднее 0,57±0,04 0,55±0,09 0,59±0,03 0,60±0,03 0,60±0,06 0,62±0,05
Таблица 3- Значения чувствительности для рассматриваемых методов формирования признаков
Испытуемый Метод формирования признаков
М1 М2 М3:М1 М3.М2 М4 М5
S01 0,61±0,11 0,56±0,13 0,59±0,08 0,74±0,25 0,61±0,07 0,68±0,17
S02 0,57±0,10 0,61±0,09 0,58±0,08 0,52±0,15 0,55±0,08 0,47±0,07
S03 0,62±0,06 0,44±0,18 0,62±0,06 0,55±0,12 0,63±0,11 0,50±0,10
S04 0,53±0,09 0,55±0,12 0,57±0,09 0,54±0,14 0,74±0,06 0,58±0,07
S05 0,65±0,07 0,75±0,25 0,60±0,11 0,74±0,22 0,63±0,07 0,67±0,15
S06 0,57±0,04 0,52±0,10 0,58±0,09 0,48±0,08 0,60±0,08 0,51±0,07
Среднее 0,59±0,04 0,57±0,10 0,59±0,02 0,59±0,11 0,63±0,06 0,57±0,09
Испытуемый Метод формирования признаков
М1 М2 М3:М1 М3.М2 М4 М5
801 0,48±0,08 0,46±0,24 0,56±0,08 0,50±0,24 0,45±0,09 0,62±0,26
802 0,52±0,06 0,56±0,10 0,57±0,06 0,70±0,04 0,57±0,11 0,72±0,06
803 0,64±0,07 0,57±0,11 0,65±0,06 0,71±0,08 0,58±0,13 0,70±0,08
804 0,57±0,13 0,82±0,08 0,63±0,10 0,75±0,15 0,68±0,10 0,83±0,11
805 0,58±0,12 0,41±0,30 0,55±0,10 0,52±0,28 0,58±0,11 0,54±0,23
806 0,58±0,11 0,79±0,09 0,57±0,13 0,85±0,05 0,67±0,05 0,87±0,05
Среднее 0,56±0,06 0,60±0,17 0,59±0,04 0,67±0,14 0,59±0,08 0,71±0,12
Данные таблицы 4 проиллюстрированы на рисунке 4.
0,90
ВДБ
а.ао
л
й ш
I авэ
ж
ь а®
и
0,55
[МБ
501 502 503 Я* 5Сб 506 С^Дм«
—Метод М1 -»-Метод М2 —*— Метод МЗ:Ы1
-■Л-Метод №3;М2 -»-Метод М4 —Метод М 5
Рисунок 4 - Значения специфичности для рассматриваемых методов формирования признаков
Результаты, полученные для всех методов, обобщены в таблице 5. В среднем по группе метод формирования признаков М5, основанный на поиске оптимальных частотных диапазонов сигнала ЭЭГ, демонстрирует наибольшие значения специфичности и меры . Прирост специфичности, по сравнению с другими методами выделения признаков, составляет 4-15 %. Наибольшие значения чувствительности достигаются при формировании признаков сигнала ЭЭГ с помощью модифицированного метода шейплетов.
Таблица 5 - Сравнение точности классификации для различных методов формирования признаков сигнала
ЭЭГ
Метод выделения признаков Показатели точности
Мера Gmean Чувствительность Специфичность
X а min max X а min max X а min max
М1 0,57 0,04 0,53 0,63 0,59 0,04 0,53 0,65 0,56 0,06 0,48 0,64
М2 0,55 0,09 0,45 0,67 0,57 0,10 0,44 0,75 0,60 0,17 0,41 0,82
М3:М1 0,59 0,03 0,57 0,63 0,59 0,02 0,57 0,62 0,59 0,04 0,56 0,65
М3:М2 0,60 0,03 0,57 0,64 0,59 0,11 0,48 0,74 0,67 0,14 0,50 0,85
М4 0,60 0,06 0,53 0,70 0,63 0,06 0,55 0,74 0,59 0,08 0,45 0,68
М5 0,62 0,05 0,58 0,69 0,57 0,09 0,47 0,68 0,71 0,12 0,54 0,83
5. Анализ полученных результатов
В гибридном интерфейсе «глаз-мозг-компьютер» предпочтительными являются методы формирования признаков, обеспечивающие высокие значения специфичности (или, другими словами, позволяющие сократить число ложных срабатываний). Это обусловлено тем, что в случае отсутствия распознавания управляющей фиксации, пользователь может продолжить фиксировать взгляд в требуемой позиции и система сработает уже без использования ЭЭГ классификатора [3,4]. В работе [3] высокие значения специфичности (86-91%) достигались путем настройки параметров классификатора. При этом для метода были характерны низкие значения чувствительности (в среднем по группе не более 38%).
Среди рассмотренных методов наибольшие значения специфичности достигаются с помощью поиска оптимальных частотных диапазонов сигнала ЭЭГ (метод М5). Проверка статистической значимости гипотезы о большей эффективности данного метода выполнена в соответствии с методикой, описанной в работе [16]. Статистический анализ проводился в среде MatLab версии R2017a.
На первом шаге с помощью критерия Шапиро-Уилка было проверено соответствие полученных результатов нормальному распределению. Для данных, представленных в таблице 4, значимых отклонений от нормального распределения выявлено не было.
Поскольку для всех методов извлечения признаков показатели точности классификации оценивались для одних и тех же испытуемых, то полагаем выборки связанными. На основании этого для сравнения средних значений специфичности использовался дисперсионный анализ для повторных измерений (англ. - repeated measurements ANOVA). Для столбцов таблицы 4 значение критерия Фишера составило F = 3.839, df = 5, вероятность принятия нулевой гипотезы - р = 0.0102, что меньше уровня значимости а = 0.05. Таким образом, различия между методами формирования признаков являются статистически значимыми.
Попарное сравнение методов выполнено с помощью критерия Стьюдента для связанных выборок. В качестве альтернативной гипотезы рассматривалась гипотеза о том, что метод поиска оптимальных частотных диапазонов позволяет в среднем достичь больших значений специфичности. Для решения проблемы множественных сравнений в работе использовался метод Холма. Результаты анализа приведены в таблице 6.
Таблица 6 - Результаты сравнения метода поиска оптимальных частотных диапазонов (М5) с другими
методами формирования признаков
Метод формирования признаков Число степеней свободы, й/ Значение ¿-статистики ^-значение ^-значение, скорректированное по методу Холма
М1 5 2.9653 0.0157 0.047
М2 5 4.7352 0.0026 0.0129
М3:М1 5 2.6865 0.0217 0.047
М3:М2 5 2.1114 0.0442 0.0442
М4 5 3.6009 0.0078 0.0311
Как видно из таблицы 6, для всех методов, выбранных для сравнения, ^-значения, скорректированные по методу Холма, меньше уровня значимости а = 0 . О 5. Таким образом, можно сделать вывод, что метод формирования признаков, основанный на поиске оптимальных частотных диапазонов сигнала ЭЭГ, позволяет достичь значимо больших значений специфичности.
Дополнительно были исследованы различия в чувствительности классификатора при использовании разных методов формирования признаков. Значимых различий между методами выявлено не было. Для столбцов таблицы 3 значение критерия Фишера составило F = 0.589,й/ = 5, вероятность принятия нулевой гипотезы - р = 0. 7084, что больше уровня значимости а = 0 . О 5.
Заключение
Исследования показали целесообразность применения в гибридном интерфейсе «глаз-мозг-компьютер» метода формирования признаков сигнала ЭЭГ, основанного на поиске оптимальных частотных диапазонов. Метод обеспечивает значимый прирост специфичности по сравнению с другими подходами к формированию признаков, открывая, таким образом, возможность для сокращения числа ложных срабатываний интерфейса. Чувствительность классификатора при этом остается на уровне, сравнимом с другими известными алгоритмами. Эффективность метода можно объяснить его способностью адаптивно учитывать особенности каждого испытуемого, что важно при анализе сигнала ЭЭГ, обладающего значительной степенью межсубъектной вариабельности.
Отметим, что показатели точности оценивались в работе с помощью простого классификатора на основе метода k ближайших соседей. Дополнительный прирост точности может быть обеспечен за счет выбора классификаторов с более сложной структурой (на-
пример, искусственных нейронных сетей или комитетов классификаторов). Кроме того, представляется перспективным применение комбинированных признаков, учитывающих различия между классами временных рядов, проявляющиеся как во временной, так и в частотной области.
Список литературы
1. Ihme K., Zander T.O. What you expect is what you get? Potential use of contingent negative variation for passive BCI systems in gaze-based HCI // Affective computing and intelligent interaction: AII 2011. B.; Hdbl.: Springer, 2011. Pp. 447-456. DOI: 10.1007/978-3-64224571-8 57
2. Protzak J., Ihme K., Zander T.O. A passive brain-computer interface for supporting gaze-based human-machine interaction // Universal access in human-computer interaction. Design methods, tools and interaction techniques for eInclusion: UAHCI 2013. Pt. 1. B.; Hdbl.: Springer, 2013. Pp. 662-671. DOI: 10.1007/978-3-642-39188-0 71
3. Shishkin S.L., Nuzhdin Yu.O., Svirin E.P., Trofimov A.G., Fedorova A.A., Kozyrskiy B.L., Velichkovsky B.M. EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface // Frontiers in Neuroscience. 2016. Vol. 10. P. 528. DOI: 10.3389/fnins.2016.00528
4. Шишкин С.Л., Козырский Б.Л., Трофимов А.Г., Нуждин Ю.О., Федорова А.А., Свирин Е.П., Величковский Б.М. Улучшение работы интерфейса глаз-мозг-компьютер при использовании частотных компонентов ЭЭГ // Вестник Российского гос. медицинского ун-та (РГМУ). 2016. № 2. С. 36-41. DOI: 10.24075/brsmu.2016-02-05
5. Young-Seon Jeong, Myong K. Jeong, Olufemi A. Omitaomu. Weighted dynamic time warping for time series classification // Pattern Recognition. 2011. Vol. 44. No. 9. Pp. 2231-2240. DOI: 10.1016/j.patcog.2010.09.022
6. Fulcher B.D. Feature-based time-series analysis. Режим доступа: https://arxiv.org/pdf/1709.08055v2 (дата обращения 6.06.2018).
7. Vasimalla K. A survey on time series data mining // Intern. J. of Innovative Research in Computer and Communication Engineering. 2014. Vol. 2. Spec. iss. 5. Pp. 170-179.
8. Esmael B., Arnaout A., Fruhwirth R.K., Thonhauser G. Improving time series classification using hidden Markov models // 12th intern. conf. on hybrid intelligent systems: HIS 2012 (Pune, India, December 4-7, 2012): Proc. N.Y.: IEEE, 2012. Pp. 502-507.
DOI: 10.1109/HIS.2012.6421385
9. Zhengping Che, Sanjay Purushotham, Kuynghyun Cho, Sontag D., Yan Liu. Recurrent neural networks for multivariate time series with missing values // Nature. Scientific Reports. 2018. Vol. 8. No. 1. Article 6085. 14 p. DOI: 10.1038/s41598-018-24271 -9
10. Bin He, Shangkai Gao, Han Yuan, Wolpaw J.R. Brain-computer interfaces // Neural engineering. 2nd ed. N.Y.: Springer, 2013. Chapter 2. Pp. 87-151. DOI: 10.1007/978-1-46145227-0 2
11. Сотников П.И. Выбор оптимальных частотных диапазонов сигнала электроэнцефалограммы в интерфейсе мозг-компьютер // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 6. С. 217-234. DOI: 10.7463/0615.0778091
12. Карпенко А.П., Кострубин М.С., Чернышев А.С. Эффективность классификации многомерных временных рядов с помощью шейплетов // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 11. С. 382-405. DOI: 10.7463/1115.0827396
13. Lexiang Ye, Eamonn Keogh. Time series shapelets: a new primitive for data mining // 15th ACM SIGKDD intern. conf. on knowledge discovery and data mining: KDD 2009 (Paris, France, June 28 - July 01, 2009): Proc. N.Y.: ACM Press, 2009. Pp. 947 - 956.
DOI: 10.1145/1557019.1557122
14. Карпенко А.П., Сотников П.И. Модифицированный метод классификации многомерных временных рядов с использованием шейплетов // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 2. С. 46-65. DOI: 10.18698/0236-393 3 -2017-2-46-65
15. Anand A., Pugalenthi G., Fogel G.B., Suganthan P.N. An approach for classification of highly imbalanced data using weighting and undersampling // Amino Acids. 2010. Vol. 39. No. 5. Pp. 1385-1391. DOI: 10.1007/s00726-010-0595-2
16. Унгуряну Т.Н., Гржибовский А.М. Краткие рекомендации по описанию, статистическому анализу и представлению данных в научных публикациях // Экология человека. 2011. № 5. С. 55-60.
Mathematics I Mathematical Modelling
Electronic burnul
litrp:/ArralhinelpLtti.ru
ISSN 2412-591 i
Mathematics and Mathematical Modeling, 2018, no. 02, pp. 33-52.
DOI: 10.24108/mathm.0218.00000118
Received: 29.03.2018
© NP "NEICON"
Feature Construction Methods for the Electroencephalogram Signal Analysis in Hybrid "Eye-Brain-Computer" Interface
P.I. Sothikov1*
50tnikoffp@amaiI.com :Bauman Moscow State Technical University, Moscow, Russia
Keywords: hybrid eye-brain-computer interface, multivariate time series analysis, feature construction methods, time-series shapelet, shapelet transform
The hybrid "eye-brain-computer" interface is a new approach to the human-machine interaction. It allows the user to select an object of interest on a screen by tracking the user's gaze direction. At the same time, the user's intent to give a command is determined by registering and decoding brain activity. The interface operation is based on the fact that control gaze fixations can be distinguished from spontaneous fixations using electroencephalogram (EEG) signal.
The article discusses the recognition of EEG patterns that correspond to the spontaneous and control gaze fixations. To improve the classification accuracy, we suggest using the relatively new feature construction methods for time series analysis. These methods include a selection of optimal frequency bands of the multivariate EEG signal and a modified method of shapelets. The first method constructs the optimal feature space using prior information on a difference in frequency components of the multivariate signal for different classes. The second method uses a genetic algorithm to provide selecting such fragments of the multivariate time-series, which reflect as much as possible the properties of one or more than one class of such time series. Thus, calculating distances between them and a set of k top-best shapelets allows us to provide feature description of the time series.
The article consists of five sections. The first one provides a mathematical formulation of the multivariate time-series classification problem. The second section gives a formal description of the proposed methods for feature construction. The third section describes test data, which include the EEG records from the six users of the hybrid "eye-brain-computer" interface. In the fourth section, we evaluate an efficiency of the methods proposed in comparison with other known feature extraction techniques, which include: 1) calculation of the average EEG amplitude values in the overlapping windows; 2) estimation of the power spectral density in the specified frequency bands; 3) selection of the most informative features using a genetic algorithm. In the fifth section, we conduct the statistical analysis of the results obtained. It is shown that the
feature construction method, based on the selection of optimal frequency bands of the EEG signal, in efficiency significantly outperforms other techniques considered and opens up the possibility to reduce the number of false positives of the hybrid interface.
References
1. Ihme K., Zander T.O. What you expect is what you get? Potential use of contingent negative variation for passive BCI systems in gaze-based HCI. Affective computing and intelligent interaction: AII 2011. B.; Hdbl.: Springer, 2011. Pp. 447-456. DOI: 10.1007/978-3-64224571-8 57
2. Protzak J., Ihme K., Zander T.O. A passive brain-computer interface for supporting gaze-based human-machine interaction. Universal access in human-computer interaction. Design methods, tools and interaction techniques for eInclusion: UAHCI 2013. Pt. 1. B.; Hdbl.: Springer, 2013. Pp. 662-671. DOI: 10.1007/978-3-642-39188-0 71
3. Shishkin S.L., Nuzhdin Yu.O., Svirin E.P., Trofimov A.G., Fedorova A.A., Kozyrskiy B.L., Velichkovsky B.M. EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface. Frontiers in Neuroscience, 2016, vol. 10, p. 528. DOI: 10.3389/fnins.2016.00528
4. Shishkin S.L., Kozyrskiy B.L., Trofimov A.G., Nuzhdin Yu.O., Fedorova A.A., Svirin E.P., Velichkovsky B.M. Improving eye-brain-computer interface performance by using EEG frequency components. Vestnik Rossijskogo gosudarstvennogo meditsinskogo universiteta [Bulletin of the Russian State Medicinal Univ.], 2016, no. 2, pp. 36-41.
DOI: 10.24075/brsmu.2016-02-05 (in Russian)
5. Young-Seon Jeong, Myong K. Jeong, Olufemi A. Omitaomu. Weighted dynamic time warping for time series classification. Pattern Recognition, 2011, vol. 44, no. 9, pp. 2231-2240. DOI: 10.1016/j.patcog.2010.09.022
6. Fulcher B.D. Feature-based time-series analysis. Available at: https://arxiv.org/pdf/1709.08055v2, accessed 6.06.2018.
7. Vasimalla K. A survey on time series data mining. Intern. J. of Innovative Research in Computer and Communication Engineering, 2014, vol. 2, spec. iss. 5, pp. 170-179.
8. Esmael B., Arnaout A., Fruhwirth R.K., Thonhauser G. Improving time series classification using hidden Markov models. 12th intern. conf. on hybrid intelligent systems: HIS 2012 (Pune, India, 4-7 December, 2012): Proc. N.Y.: IEEE, 2012. Pp. 502-507.
DOI: 10.1109/HIS.2012.6421385
9. Zhengping Che, Sanjay Purushotham, Kyunghyun Cho, Sontag D., Yan Liu. Recurrent neural networks for multivariate time series with missing values. Nature.Scientific Reports, 2018, vol. 8, no. 1, article 6085. 14 p. DOI: 10.1038/s41598-018-24271 -9
10. Bin He, Shangkai Gao, Han Yuan, Wolpaw J.R. Brain-computer interfaces. Neural engineering. 2nd ed. N.Y.: Springer, 2013. Chapter 2. Pp. 87-151. DOI: 10.1007/978-1-46145227-0 2
11. Sotnikov P.I. Selection of optimal frequency bands of the electroencephalogram signal in brain-computer interface. Nauka i obrazovanie MGTU im. N.E. Baumana [Science and Education of the Bauman MSTU], 2015, no. 6, pp. 217-234. DOI: 10.7463/0615.0778091 (in Russian)
12. Karpenko A.P., Kostrubin M.S., Chernyshev A.S. Effectiveness of multivariate time series classification using shapelets. Nauka i obrazovanie MGTU im. N.E. Baumana [Science and Education of the Bauman MSTU], 2015, no. 11, pp. 382-405. DOI: 10.7463/1115.0827396 (in Russian)
13. Lexiang Ye, Eamonn Keogh. Time series shapelets: a new primitive for data mining. 15th ACMSIGKDD intern. conf. on knowledge discovery and data mining: KDD 2009 (Paris, France, June 28 - July 01, 2009): Proc. N.Y.: ACM Press, 2009. Pp. 947 - 956.
DOI: 10.1145/1557019.1557122
14. Karpenko A.P., Sotnikov P.I. Modified classification method of multivariate time series based on shapelets. Vestnik MGTU im. N.E. Baumana. Ser. Priborostroenie [Herald of the Bauman MSTU. Instrument Engineering], 2017, no. 2, pp. 46-65. DOI: 10.18698/02363933-2017-2-46-65 (in Russian)
15. Anand A., Pugalenthi G., Fogel G.B., Suganthan P.N. An approach for classification of highly imbalanced data using weighting and undersampling. Amino Acids, 2010, vol. 39, no. 5, pp. 1385-1391. DOI: 10.1007/s00726-010-0595-2
16. Unguryanu T.N., Grjibovskii A.M. Brief recommendations on description, statistical analysis and presentation of data in scientific papers. Ekologiia cheloveka [Human Ecology], 2011, no. 5, pp. 55-60 (in Russian).
