CC BY
133
улучшение работы интерфейса глаз-мозг-компьютер при использовании частотных компонентов электроэнцефалограммы
С. Л. Шишкин1^, Б. Л. Козырский1'3, А. Г. Трофимов1,3, Ю. О. Нуждин1, А. А. Федорова1, Е. П. Свирин1, Б. М. Величковский2
1 Отдел нейрокогнитивных технологий, Курчатовский комплекс НБИКС-технологий, Национальный исследовательский центр «Курчатовский институт», Москва
2 Курчатовский комплекс НБИКС-технологий,
Национальный исследовательский центр «Курчатовский институт», Москва
3 Факультет кибернетики и информационной безопасности, Национальный исследовательский ядерный университет «МИФИ», Москва
Интерфейсы глаз-мозг-компьютер (ИГМК) могли бы совместить в себе достоинства айтрекинговых систем управления техническими устройствами и интерфейсов мозг-компьютер. Такие системы предназначены как для пациентов с различными моторными нарушениями, так и здоровых людей. Эффективность ИГМК во многом определяется возможностью распознать намерение пользователя отдать команду по электроэнцефалограмме (ЭЭГ), регистрируемой во время фиксации взгляда, т. е. в течение всего сотен миллисекунд. Эти жесткие требования диктуют необходимость добиваться как можно более полного использования заключенной в ЭЭГ информации для повышения точности классификации фиксаций взгляда на «управляющие» и спонтанные. В настоящей работе предприняли попытку использовать для классификации не только амплитудные статистические признаки, но также вейвлетные признаки, характеризующие осцилляторные компоненты ЭЭГ в интервале 50...500 мс относительно начала фиксации взгляда. Значения интегрального показателя точности классификации AUC при этом значимо выросли и составили 0,75 в среднем по группе из 8 человек. Предполагается, что дальнейшее совершенствование методики позволит превратить ИГМК в практически полезную технологию.
Ключевые слова: интерфейс мозг-компьютер, интерфейс глаз-мозг-компьютер, электроэнцефалограмма, ЭЭГ, управление с помощью взгляда, управляющая фиксация взгляда, айтрекинг, видеоокулография, классификация, вейвлеты
Финансирование: работа выполнена при частичной поддержке Российского научного фонда, грант № 14-28-00234 (получение экспериментальных данных и их предварительная обработка), и Российского фонда фундаментальных исследований, грант № 15-29-01344 (оценка вклада вейвлетных признаков в классификацию).
[23 Для корреспонденции: Сергей Львович Шишкин
123182, г Москва, пл. Академика Курчатова, д. 1; [email protected]
Статья поступила: 08.04.2016 Статья принята к печати: 15.04.2016
improving eye-brain-computer interface performance by using electroencephalogram frequency components
Shishkin SL1 Kozyrskiy BIJ>3, Trofimov AG1,3, Nuzhdin YO1, Fedorova AA1, Svirin EP1, Velichkovsky BM2
1 Department of Neurocognitive Technologies, Kurchatov Complex of NBICS Technologies, National Research Centre Kurchatov Institute, Moscow, Russia
2 Kurchatov Complex of NBICS Technologies,
National Research Centre Kurchatov Institute, Moscow, Russia
3 Faculty of Cybernetics and Information Security,
National Research Nuclear University MEPhI, Moscow, Russia
Eye-brain-computer interfaces (EBCIs) could combine the advantages of eye tracking systems used for operating technical devices and brain-computer interfaces. Such systems are intended for both patients with various motor impairments and healthy individuals. The effectiveness of EBCIs is largely dependent on their ability to detect the user's intent to give a command on the encephalogram (EEG) recorded during gaze fixation, that is, just within hundreds of milliseconds. These strict requirements necessitate a full use of data contained in EEG for more accurate classification of gaze fixations as spontaneous and "control". This work describes our attempt to use for classification not only amplitude statistical features, but also wavelet features specific to oscillatory EEG components within the interval of 50-500 ms from gaze fixation onset. Integral index of classification accuracy AUC significantly depended on the feature set, reaching the highest value (0.75, average over the group of 8 participants) for the combined amplitude and wavelet set. We believe that further improvement of this method will facilitate the practical application of EBCIs.
Keywords: brain-computer interface, eye-brain-computer interface, electroencephalogram, EEG, gaze-based control, control gaze fixation, eye tracking, video-oculography, classification, wavelets
Funding: this work was partially supported by the Russian Science Foundation, grant no. 14-28-00234 (acquisition and preprocessing of experimental data), and the Russian Foundation for Basic Research, grant no. 15-29-01344 (evaluation of wavelet features significance for classification).
[xj Correspondence should be addressed: Sergey Shishkin
pl. Akademika Kurchatova, d. 1, Moscow, Russia, 123182; [email protected]
Received: 08.04.2016 Accepted: 15.04.2016
METHOD I NEUROINTERFACES
Интерфейсы мозг-компьютер (ИМК) — это аппаратно-программные комплексы, обеспечивающие возможность управления компьютером и подключенными к нему устройствами на основе распознавания паттернов активности мозга, ассоциированных с управляющими командами. Они разрабатываются, в первую очередь, в качестве средства помощи парализованным больным [1-3]. В то же время точность и скорость работы подавляющего большинства разновидностей ИМК остаются низкими, и неясно, удастся ли им найти практическое применение вне ряда задач, для решения которых достаточно отдавать простейшие команды, но «напрямую из мозга», что важно, например, в постинсультной реабилитации [4]. Удовлетворительной скорости печатания текста с помощью ИМК — около 50 букв в минуту (у здоровых испытуемых) — удалось достичь лишь в недавней работе [5], где использовалась ритмическая зрительная стимуляция, безопасность которой пока остается под вопросом.
Примечательно, что все неинвазивные ИМК с высокими точностно-скоростными характеристиками используют ЭЭГ-реакции на зрительные стимулы, на которые пользователь должен направлять взгляд. Это означает, что они могут применяться лишь при отсутствии серьезных нарушений зрения и глазодвигательной функции, т. е. когда пациент не теряет способность произвольно направлять взгляд в заданные области экрана, ассоциированные с управляющими командами (фиксировать взгляд на виртуальных «кнопках»). Но в этом случае можно обеспечить управление компьютерами и подключенными к ним устройствами на основе определения направления взгляда с помощью айтрекинга (видеоокулографии).
Существующие методики управления с помощью взгляда характеризуются сравнительно неплохими точностно-скоростными и эргономическими показателями при печатании текста [6]. Однако при попытках их применения к более широкому кругу задач исследователи сталкиваются с так называемой «проблемой прикосновения Мида-са» [7]. Подобно способности героя греческого мифа царя Мидаса прикосновением превращать предметы в золото, способность превращать фиксации взгляда или глазные жесты в команды техническим устройствам слишком неизбирательна и приводит к отдаче команд даже при отсутствии намерения их отдавать: перемещения взгляда являются важнейшим элементом зрительной функции, обычно происходят спонтанно и даже при концентрации внимания на них легко выходят из-под сознательного контроля. Существующие способы решения этой проблемы либо делают процесс управления медленным и утомительным, либо применимы лишь для ограниченного круга задач.
Еще в 1996 году было предложено решить проблему прикосновения Мидаса и создать высокоэффективный универсальный интерфейс путем комбинирования управления с помощью взгляда ("eye-mouse") и ИМК [8]. В течение ряда лет совмещение этих технологий [9] носило довольно механистический характер и не вело к созданию систем с быстрым откликом и хорошими эргономическими характеристиками. Перспективное решение задачи было предложено группой Торстена Цандера, вернувшейся к идее естественного соединения айтрекинга и ИМК [8] в рамках нового направления — разработки так называемых «пассивных ИМК». Так стали называть ИМК, откликающиеся на паттерны мозговой активности, не связанной с намеренными попытками подать команду через ИМК [10]. Цандер и коллеги показали, что фиксации взгляда, используемые для управления («управляющие» фиксации), можно отли-
чить от спонтанных (зрительных) фиксаций по электроэнцефалограмме (ЭЭГ), регистрируемой непосредственно во время фиксации, даже в случае, когда появление в ЭЭГ маркеров управления не вызывалось специально (испытуемым не давали дополнительных задач и не предъявляли стимулы в «управляющей» позиции) [11]. Однако в их исследованиях управление можно было осуществлять лишь с помощью длительной (1 000 мс) фиксации взгляда в единственной позиции экрана.
Нашей группой была разработана методика для интерфейса глаз-мозг-компьютер (ИГМК), позволившая классифицировать на основе ЭЭГ значительно более короткие фиксации — длительностью лишь 500 мс. В эксперименте испытуемые играли в компьютерную игру «Линии» и делали каждый ход с помощью фиксации на одном из 50 элементов игрового поля. Классификатор обучали отличать зарегистрированные во время этих фиксаций сигналы ЭЭГ от сигналов ЭЭГ, записанной во время фиксаций на тех же элементах, но при выключенном управлении, т. е. предположительно спонтанных фиксаций [12; Shishkin et al., in prep.]. Благодаря снижению длительности фиксаций управление для испытуемых было вполне естественным и комфортным, причем число и расположение чувствительных к управлению визуальных элементов в нашей методике ограничивается только возможностями айтреке-ра. Однако одни лишь амплитудные характеристики компонентов ЭЭГ, привязанные во времени к фиксациям (мы использовали их в первых исследованиях), не обеспечивают достаточной для практического применения технологии точности детекции управления.
В настоящем исследовании мы проанализировали возможность повышения точности классификатора ИГМК, автоматически отличающего управляющие фиксации взгляда от спонтанных, при дополнении амплитудных характеристик ЭЭГ характеристиками осцилляторных компонентов. В связи с необходимостью использовать короткие интервалы ЭЭГ, в пределах которых возможна зависимость от времени как амплитудных, так и частотных характеристик, а также в связи с высокой размерностью частотно-временных данных и другими существенными отличиями их от амплитудных данных, решение потребовало разработки специальной схемы выделения количественных признаков, характеризующих ЭЭГ во время фиксаций взгляда.
МАТЕРИАЛЫ И МЕТОДЫ Эксперимент
Мы использовали записи ЭЭГ, полученные нами в ранее выполненном экспериментальном исследовании. Его основные результаты будут представлены в отдельной статье [Shishkin et al., in prep.], включая подробное описание методики эксперимента.
В исследовании, проводившимся с соблюдением норм Хельсинской декларации, приняли участие 8 условно здоровых испытуемых-добровольцев (7 мужчин, 1 женщина) в возрасте от 21 до 48 лет (средний возраст — 29 лет), давших информированное согласие. Взгляд испытуемых отслеживали с помощью айтрекера EyeLink 1000 Plus (SR Research, Канада). Фиксации взгляда детектировали в онлайн-режиме с помощью дисперсионного алгоритма. Параллельно регистрировали ЭЭГ в 19 отведениях (Fz, F3, F4, Cz, C3, C4, Pz, P1, P2, P3, P4, POz, PO3, PO4, PO7, PO8, Oz, O1, O2), а также электроокулограмму (ЭОГ) с помощью
электроэнцефалографа асЮНатр (ВгаюРгоСийэ, Германия). ЭОГ использовали для контроля артефактов в ЭЭГ. Регистрацию направления взгляда, ЭЭГ и ЭОГ вели с частотой 500 Гц.
В части алгоритмов управления с помощью взгляда и задачи, выполняемой испытуемыми, была полностью воспроизведена методика предварительного исследования, описанная нами в [12], поэтому здесь мы отметим лишь важные детали. Испытуемые играли в компьютерную игру «Линии» в специальной модификации, обеспечивающей выполнение всех действий в игре с помощью последовательностей из трех фиксаций взгляда, продолжительность каждой из которых превышала порог в 500 мс. Каждая из последовательностей начиналась с фиксации в отдельно расположенной области экрана, где после достижения порога появлялся специальный индикатор «включения управления». ЭЭГ, зарегистрированная во время этих фиксаций, составила первый класс данных (управляющие фиксации). Другой класс данных (контрольные фиксации) составила ЭЭГ, зарегистрированная также во время фиксаций с длительностью выше пороговой, но по правилам игры не приводивших к совершению хода. Управление компьютерной игрой на основе данных о фиксациях взгляда, а также синхронизация ЭЭГ/ЭОГ и запись времени фиксаций выполнялись с помощью оригинального программного обеспечения.
У каждого испытуемого было зарегистрировано в среднем 155 (от 120 до 184) управляющих и 159 (от 114 до 208) контрольных фиксаций.
Подготовка признаков для классификатора
При выделении вейвлетных признаков из ЭЭГ использовали интервал 50.500 мс относительно начала фиксации, поскольку более ранний период содержал артефакты, связанные с перемещением взгляда, а более поздний не мог использоваться в онлайн-режиме для детекции намерения отдать команду. В анализируемом интервале практически полностью отсутствовали артефакты, поэтому мы не применяли никаких процедур для их коррекции или удаления. Ранее мы показали [12; Shishkin et al., in prep.], что существенное различие амплитуды ЭЭГ между управляющими и контрольными фиксациями в нашей методике характерно лишь для второй половины интервала фиксации, поэтому для получения амплитудных признаков в настоящей работе мы использовали интервал 200.500 мс.
Амплитудные признаки были получены путем усреднения значений амплитуды раздельно в каждом канале ЭЭГ в перекрывающихся окнах длиной 50 мс. Из этих значений для нивелирования влияния медленных колебаний и постоянной составляющей электрических потенциалов вычитали среднее в интервале 200.300 мс. Полученные «сырые» амплитудные признаки составляли единый вектор значений, описывающий пробу (trial), соответствующую одной фиксации.
Вейвлетные признаки были получены с помощью вей-влет-преобразования на основе вейвлета Морле. Диапазон масштабов соответствовал частотному диапазону 5.30 Гц. Чем большей частоте соответствовал масштаб, тем больше вейвлет-коэффициентов брали для описания каждой пробы. В процессе обучения на тренировочной выборке после получения частотно-временного описания каждой пробы с целью снижения «зашумления» данных иррелевантными признаками отбирали по 30 %
признаков (описываемых временем и масштабом), наиболее различавшихся между спонтанными и управляющими фиксациями взгляда (имевших наиболее высокие значения коэффициента детерминации R2).
Отобранные признаки обрабатывали методом главных компонент (Principal Component Analysis, PCA). К амплитудным и вейвлетным признакам его применяли по отдельности. Отбирали по 80 компонент с наибольшей дисперсией (в случае использования и амплитудных, и вейвлетных признаков — по 80 компонент для каждого из них). Они составляли новые наборы признаков. Непосредственно перед использованием PCA и после него применяли один из двух способов нормализации (получения z-оценок) значений признаков: либо по всем значениям каждого признака (по всем пробам), либо в пределах отдельно взятых проб, но по всем признакам (отдельно для амплитудных и вейвлетных). Нормализация в пределах пробы рассматривалась как способ адаптации к локальному уровню значений признаков, который мог медленно варьировать во времени.
Классификация управляющих и контрольных фиксаций по ЭЭГ
Для классификации использовался линейный дискрими-нантный анализ со «шринкажной» (shrinkage) регуляризацией, который обеспечивал эффективное обучение на небольших выборках (в том числе того размера, который был доступен в нашем исследовании) даже при сравнительно высокой размерности признаков и хорошо зарекомендовал себя в ИМК на основе потенциалов, связанных с событиями [13, 14].
Показатели качества классификации оценивали с помощью пятикратной кроссвалидации. При этом обучение классификатора, отбор признаков, расчет средних значений и стандартных отклонений признаков для нормализации (если она выполнялась по выборке), а также сжатие размерности проводили на части данных, служивших тренировочной выборкой. Полученные на этой выборке правило отбора признаков, среднее и стандартное отклонение для соответствующих наборов значений, а также матрица весов отобранных компонентов и веса обученного классификатора применялись к оставшейся части данных, которые рассматривались как тестовая выборка. Такая организация кроссвалидации обеспечила воспроизведение реальной ситуации применения классификатора в ИМК.
Для оценки качества классификации мы использовали широко применяемый в аналогичных исследованиях интегральный показатель AUC (Area Under Curve — площадь под кривой, при этом имеется в виду кривая ROC — Receiver Operating Characteristic, рабочая характеристика приемника). Он показывает, насколько отличается от случайного результат классификации при различных значениях порога классификатора, которые могут выбираться для разделения классов с различным соотношением ошибок разного типа в зависимости от конкретных целей использования классификатора. Если результат классификации не отличается от случайного угадывания, значение этого показателя стремится к 0,5, а если классификатор никогда не ошибается, оно равно 1. Для сравнения значений AUC при использовании разных наборов признаков использовали многомерный дисперсионный анализ (MANOVA) и постхок-анализ по методу Бонферрони, реализованные в статистическом пакете Statistica 7.0 (StatSoft, США).
МЕТИОР I МЕиРОШТЕРРАСЕБ
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
При использовании всех вариантов получения признаков индивидуальные значения показателя точности классификации (Д11С) были выше 0,5, среднее по группе — не ниже 0,66, однако средние ДиС довольно значительно различались (рис. 1).
Трехфакторный многомерный дисперсионный анализ (таблица; все три фактора были с повторными измерениями), примененный к индивидуальным значениям ДиС, показал, что точность классификации значимо зависела от фактора набора признаков (X = 0,06, Р(2,6) = 49, р = 0,0002), тогда как эффекты остальных факторов и взаимодействие факторов во всех комбинациях не были статистически значимыми. Постхок-анализ по методу Бонферрони показал, что значимым является различие между амплитудным и амплитудно-вейвлетным наборами признаков (р = 0,006), но не между амплитудным и вейвлетным (р = 0,34) и между вейвлетным и амплитудно-вейвлетным (р = 0,16). Набор, состоявший только из амплитудных признаков, дал самую низкую точность классификации, а наилучшие результаты показал комбинированный набор (амплитудные и вейвлет-ные признаки, взятые вместе). При использовании ком-
бинированного набора ЭЭГ-признаков среднее по группе значение ДиС увеличилось на 0,05-0,08 (в зависимости от использовавшихся способов нормализации) по сравнению с амплитудным набором и составило 0,75 ± 0,04 (М ± БЭ) при использовании нормализации признаков и перед, и после РСД и 0,75 ± 0,06 при нормализации признаков перед РСД и в пределах проб после РСД.
На рис. 2 показаны индивидуальные результаты для способа подготовки признаков, давшего наиболее высокое значение ДиС в среднем по группе. Индивидуальные кривые на графике позволяют оценить значения ошибок разного типа, которые наблюдались бы при разной величине порога классификатора. В частности, интерес представляет чувствительность классификатора ИГМК — частота правильно определенных управляющих фиксаций взгляда при низкой частоте ложных срабатываний. Как следует из рисунка, при фиксации частоты ложных срабатываний на уровне 0,1 (это можно сделать соответствующим подбором порога классификатора на отдельной выборке) лишь у одного испытуемого чувствительность оказалась ниже 0,2, еще у одного — выше 0,5, а у остальных находится в промежутке между этими значениями.
72: признаки
72: пробы
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
71
признаки пробы
AB
AB
Рис. 1. Зависимость точности классификации фиксаций взгляда на управляющие и спонтанные от способа выделения признаков из ЭЭГ, зарегистрированной во время фиксации (по показателю ДиС) Обозначения: А — только амплитудные признаки, В — только вейвлетные признаки, АВ — комбинированный (амплитудно-вейвлетный) набор признаков; 71 — тип нормализации перед РСД; 72 — тип нормализации после РСД; признаки — нормализация значений признаков, взятых по отдельности; пробы — нормализация значений в пределах одной пробы. Вертикальные линии соответствуют доверительным интервалам 95 %.
Для разработки ИГМК, распознающего сравнительно короткие управляющие фиксации взгляда по отрезкам ЭЭГ, регистрируемой непосредственно во время таких фиксаций, повышение эффективности работы классификатора имеет решающее значение, ведь для анализа доступны лишь единичные реализации сигнала длительностью всего сотни миллисекунд.
Отдельно стоит остановиться на качестве классификации при низком уровне ложных тревог. Дело в том, что в ИГМК несложно предусмотреть подстраховку на случай отсутствия распознавания управляющей фиксации: если интерфейс не срабатывает по достижении фиксацией порогового значения длительности (500 мс), пользователь может продолжить фиксировать управляющую позицию, и система сработает уже при достижении дополнительного порога (например, 1 000 мс) без использования классификатора ЭЭГ. Можно предположить, что при использовании ИГМК с такой подстраховкой в течение определенного времени мозг пользователя, заинтересованного в ускорении срабатывания интерфейса, сможет научиться вырабатывать паттерн ЭЭГ, сопровождающий управляющие
д
Б
д
В
Результаты анализа влияния способов подготовки признаков ЭЭГ на показатель точности классификации (ДиС)
Факторы X Уилкса Р Степени свободы Р
(эффект, ошибка)
71 (тип нормализации перед РСД) 0,71 2,85 1, 7 0,1354
72 (тип нормализации после РСД) 0,67 3,43 1, 7 0,1064
Набор признаков (А, В, АВ) 0,06 49,01 2, 6 0,0002
71 х 72 0,86 1,18 1, 7 0,3139
71 х признаки 0,48 3,26 2, 6 0,1101
72 х признаки 0,68 1,41 2, 6 0,3138
71 х 72 х признаки 0,79 0,81 2, 6 0,4881
Примечание. С помощью многомерного дисперсионного анализа (МДЫОУД) анализировали зависимость ДиС от фактора типа нормализации перед РСД (71), фактора типа нормализации после РСД (72), фактора набора признаков (амплитудный, вейвлетный, амплитудно-вейвлетный) и их взаимодействия (обозначено знаком х). Жирным шрифтом выделен значимый эффект (р <0,05).
q: я
Ф о
о. *
с s
о -&
§ -
£ *
s Q
Я *
Я ст
Q. m
1= Я
Я й-
0,9
0,7 0,6 0,5 0,4 0,3 0,2 0,1
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Частота ложных срабатываний
Рис. 2. ЯОС-кривые (кривые рабочей характеристики приемника) по всем испытуемым при использовании амплитудно-вейвлетного набора признаков, нормализации по признакам перед РСА и нормализации по пробам после РСА (способ подготовки признаков, обеспечивший наиболее высокое значение АиС в среднем по группе). Красная линия показывает уровень случайной классификации, серая вертикальная линия — пример высоких требований к специфичности классификатора (частота ложных срабатываний 0,1)
фиксации и обеспечивающий значительно более частое срабатывание классификатора. Однако для этого необходим хотя бы минимальный начальный уровень управления. Как видно из рис. 2, разработанная нами схема предобработки и выделения признаков уже позволила бы отдельным испытуемым приблизительно при половине управляющих фиксаций получать быстрое срабатывание интерфейса при сравнительно низкой частоте ложных тревог (0,1).
Если о природе амплитудных характеристик, полезных для классификации в нашем ИГМК, уже можно сделать предположение, что, по-видимому, они определяются прежде всего развитием негативного потенциала, связанным с ожиданием обратной связи при срабатывании
интерфейса [Shishkin et al., in prep.], то природа вейвлет-ных характеристик еще нуждается в объяснении. Следует отметить, что паттерны частотных компонентов ЭЭГ, характерные для различных состояний мозга, высокоиндивидуальны и их особенности лишь частично проявляются на групповом уровне. Тем не менее, они могут успешно классифицироваться при индивидуальном обучении классификатора, в том числе и в парадигме интерфейса мозг-компьютер [15-18]. Однако высокая размерность таких данных требует тщательного подхода к различным этапам анализа и отладки методики, по возможности с привлечением большого числа испытуемых. Нами в этом направлении сделаны лишь первые шаги, однако сходство результатов, полученных при использовании разных способов нормализации данных, может свидетельствовать о достаточно высокой об устойчивости и перспективности предложенной схемы предобработки данных и выделения информативных признаков.
ВЫВОДЫ
В данной работе была впервые предпринята попытка применить для распознавания фиксаций взгляда, используемых для управления компьютером, времячастотное представление ЭЭГ, т. е. оценки выраженности частотных компонентов ЭЭГ в их зависимости от времени относительно начала фиксации. Использование этих признаков позволило получить точность классификации не хуже, чем на основе ранее уже использовавшихся нами амплитудных признаков. Более того, совместное использование тех и других признаков позволило повысить точность классификации. Мы полагаем, что дальнейшее совершенствование вычислительной методики позволит подойти непосредственно к практическому использованию интерфейса глаз-мозг-компьютер, сочетающего в себе основные достоинства обычных ИМК и систем управления на основе отслеживания взгляда.
Литература
1. Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G, Vaughan TM. Brain-computer interfaces for communication and control. Clin Neurophysiol. 2002; 113 (6): 767-791.
2. BNCI Horizon 2020. The Future of Brain/Neural Computer Interaction: Horizon 2020. Appendix C: End Users. 7th Framework Programme of the European Union. Доступно по ссылке: http:// bnci-horizon-2020.eu/roadmap
3. Каплан А. Я., Кочетова А. Г., Шишкин С. Л., Басюл И. А., Ганин И. П., Васильев А. Н., Либуркина С. П. Экспериментально-теоретические основания и практические реализации технологии «интерфейс мозг-компьютер». Бюллетень сибирской медицины. 2013; 12 (2): 21-9.
4. Каплан А. Я. Нерофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в неврологической реабилитации. Физиология человека. 2016; 42 (1): 118-27.
5. Chen X, Wang Y, Nakanishi M, Gao X, Jung TP, Gao S. Highspeed spelling with a noninvasive brain-computer interface. Proc Natl Acad Sci U S A. 2015; 112 (44): E6058-67.
6. Majaranta P. Text entry by eye gaze [диссертация]. Tampere, Finland: University of Tampere; 2009. Доступно по ссылке: http://tampub.uta.fi/handle/10024/66483.
7. Jacob RJK. The use of eye movements in human-computer interaction techniques: what you look at is what you get. ACM Transactions on Information Systems. 1991; 9 (2): 152-69.
8. Velichkovsky BM, Hansen JP. New technological windows into mind: there is more in eyes and brains for human-computer interaction. In: Proceedings of the SIGCHI conference on Human factors in computing systems; 1996 Apr 13-18; Vancouver, BC, Canada. New York: ACM; 1996. p. 496-503.
9. Pfurtscheller G, Allison BZ, Bauernfeind G, Brunner C, Escalante TS, Scherer R, et al. The hybrid BCI. Front Neurosci. 2010; 4: 42. Доступно по ссылке: http://journal.frontiersin.org/ article/10.3389/fnpro.2010.00003/full.
10. Zander TO, Kothe C. Towards passive brain-computer interfaces: applying brain-computer interface technology to human-machine systems in general. J Neural Eng. 2011; 8 (2): 025005.
11. Protzak J, Ihme K, Zander TO. A passive brain-computer interface for supporting gaze-based human-machine interaction. In: Stephanidis C, Antona M, editors. Universal Access in HumanComputer Interaction. Design Methods, Tools, and Interaction Techniques for eInclusion. Springer; 2013. p. 662-71.
12. Шишкин С. Л., Свирин Е. П., Нуждин Ю. О., Федорова А. А., Трофимов А. Г., Слободской-Плюснин Я. Ю. и др. Учитесь ждать! Условно-негативная волна поможет отдавать команды взглядом? В сборнике: Печенкова Е. В., Фаликман М. В., редакторы. Когнитивная наука в Москве: новые исследования. М.: БукиВеди; 2015. с. 486-91.
13. Blankertz B, Lemm S, Treder M, Haufe S, Muller KR. Single-trial analysis and classification of ERP components — a tutorial.
METHOD I NEUROINTERFACES
NeuroImage. 2011; 56 (2): 814-25. 17.
14. Schultze-Kraft M, Birman D, Rusconi M, Allefeld C, Gorgen K, Dahne S, et al. The point of no return in vetoing self-initiated movements. Proc Natl Acad Sci U S A. 2016; 113 (4): 1080-5. 18.
15. Иваницкий Г. А. Распознавание типа решаемой в уме задачи по нескольким секундам ЭЭГ с помощью обучаемого классификатора. Журнал высшей нервной деятельности 19. им. И. П. Павлова. 1997; 47: 743-7.
16. Dat TH, Shue L, Guan C. Electrocorticographic signal classification based on time-frequency decomposition and nonparametric statistical modeling. Conf Proc IEEE Eng Med Biol Soc. 2006; 1: 2292-5. PMID: 17945704.
References
1. Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G, 11. Vaughan TM. Brain-computer interfaces for communication and control. Clin Neurophysiol. 2002; 113 (6): 767-791.
2. BNCI Horizon 2020. The Future of Brain/Neural Computer Interaction: Horizon 2020. Appendix C: End Users. 7th Framework Programme of the European Union. Available from: http://bnci- 12. horizon-2020.eu/roadmap.
3. Kaplan AYa, Kochetova AG, Shishkin SL, Basyul IA, Ganin IP, Vasilyev AN, Liburkina SP. Experimental and theoretical foundations and practical implementation of brain-computer interface technology. Bulletin of Siberian Medicine. 2013; 12 (2): 21-9. Russian. 13.
4. Kaplan AYa. Neurophysiological foundations and practical realizations of the brain-machine interfaces in the technology in neurological rehabilitation. Human Physiology. 2016; 42 (1): 103- 14. 10. Russian.
5. Chen X, Wang Y, Nakanishi M, Gao X, Jung TP, Gao S. Highspeed spelling with a noninvasive brain-computer interface. Proc 15. Natl Acad Sci U S A. 2015; 112 (44): E6058-67.
6. Majaranta P. Text entry by eye gaze [dissertation]. Tampere, Finland: University of Tampere; 2009. Available from: http:// tampub.uta.fi/handle/10024/66483. 16.
7. Jacob RJK. The use of eye movements in human-computer interaction techniques: what you look at is what you get. ACM Transactions on Information Systems. 1991; 9 (2): 152-69.
8. Velichkovsky BM, Hansen JP. New technological windows into mind: there is more in eyes and brains for human-computer 17. interaction. In: Proceedings of the SIGCHI conference on Human factors in computing systems; 1996 Apr 13-18; Vancouver, BC, Canada. New York: ACM; 1996. p. 496-503. 18.
9. Pfurtscheller G, Allison BZ, Bauernfeind G, Brunner C, Escalante TS, Scherer R, et al. The hybrid BCI. Front Neurosci. 2010; 4:
42. Available from: http://journal.frontiersin.org/article/10.3389/ 19. fnpro.2010.00003/full.
10. Zander TO, Kothe C. Towards passive brain-computer interfaces: applying brain-computer interface technology to human-machine systems in general. J Neural Eng. 2011; 8 (2): 025005.
Роик А. О., Иваницкий Г. А. Нейрофизиологическая модель когнитивного пространства. Журнал высшей нервной деятельности им. И. П. Павлова. 2011; 60 (6): 688-96. Frolov A, Husek D, Bobrov P. Comparison of four classification methods for brain-computer interface. Neural Network World. 2011; 21 (2): 101-15.
Frolov A, Husek D, Bobrov P, Mokienko O, Tintera J. Sources of electrical brain activity most relevant to performance of brain-computer interface based on motor imagery. In: Fazel-Rezai R, editor. Brain-Computer Interface Systems: Recent Progress and Future Prospects. InTech; 2013. p. 175-93.
Protzak J, Ihme K, Zander TO. A passive brain-computer interface for supporting gaze-based human-machine interaction. In: Stephanidis C, Antona M, editors. Universal Access in HumanComputer Interaction. Design Methods, Tools, and Interaction Techniques for eInclusion. Springer; 2013. p. 662-71. Shishkin SL, Svirin EP, Nuzhdin YO, Fedorova AA, Trofimov AG, Slobodskoy-Plusnin JY, et al. Learn waiting! Contingent negative variation may help you to control with your eye-gaze. In: Pechenkova EV, Falikman MV, editors. Cognitive Science in Moscow: New Studies. Ed. by E. V. Pechenkova, M. V. Falikman. M.: BukiVedi; 2015. p. 486-91. Russian. Blankertz B, Lemm S, Treder M, Haufe S, Muller KR. Single-trial analysis and classification of ERP components — a tutorial. NeuroImage. 2011; 56 (2): 814-25.
Schultze-Kraft M, Birman D, Rusconi M, Allefeld C, Gorgen K, Dahne S, et al. The point of no return in vetoing self-initiated movements. Proc Natl Acad Sci U S A. 2016; 113 (4): 1080-5. Ivanitsky GA. Recognition of the task type in the process of its mental solving by a few-second EEG record using the learned classifier. Zh Vyssh Nerv Deiat I P Pavlova. 1997; 47: 743-7. Russian.
Dat TH, Shue L, Guan C. Electrocorticographic signal classification based on time-frequency decomposition and nonparametric statistical modeling. In: 28th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 2006. P. 2292-5.
Roik AO, Ivanitskii GA. A neurophysiological model of the cognitive space. Neuroscience and Behavioral Physiology. 2013; 43 (2): 193-9.
Frolov A, Husek D, Bobrov P. Comparison of four classification methods for brain-computer interface. Neural Network World. 2011; 21 (2): 101-15.
Frolov A, Husek D, Bobrov P, Mokienko O, Tintera J. Sources of electrical brain activity most relevant to performance of brain-computer interface based on motor imagery. In: Fazel-Rezai R, editor. Brain-Computer Interface Systems: Recent Progress and Future Prospects. InTech; 2013. p. 175-93.
