Интерфейс мозг–компьютер: будущее в настоящем

Ольга Сергеевна Левицкая; М. А. Лебедев

интерфейс мозг-компьютер: будущее в настоящем

О. С. Левицкая1 М. А. Лебедев2

1 ООО Cyber Myonics, Москва

2 Отдел нейробиологии,

Университет Дьюка, Дарем, Северная Каролина, США

Интерфейс мозг-компьютер (ИМК) — одна из самых многообещающих технологий в области лечения неврологических заболеваний и травм. ИМК позволяет установить связь между неповрежденными участками мозга и протезами отсутствующих конечностей, носимыми нейропротезами, инвалидными креслами, искусственными органами чувств и другими устройствами, компенсирующими утраченные функции. В настоящее время ИМК быстро развиваются благодаря бурному росту вычислительных мощностей, робототехники, методов записи сигналов мозга и математических алгоритмов для их декодирования. Принято классифицировать ИМК на моторные (воспроизводящие движения), сенсорные (чувствительные) и двунаправленные (сенсорномоторные). Существуют также интерфейсы, интерпретирующие или воздействующие на высшие нервные функции. По степени проникновения в биологические ткани организма выделяют инвазивные (глубоко проникающие) и неинвазивные (взаимодействующие лишь с поверхностью тела, но не проникающие) ИМК. Неинвазивные ИМК безопаснее и проще в использовании, но имеют ограничения по пропускной способности сигнала. Инвазивные же благодаря непосредственному контакту мультиэлектродных матриц с нейронными ансамблями без зашумления и дополнительных фильтрующих барьеров позволяют считывать сигналы в высоком разрешении и локально стимулировать нервную ткань для передачи сигналов обратной связи в мозг. Технологии ИМК разрабатываются не только для индивидуального пользования, но и для выполнения коллективных задач при помощи мозгосетей.

Ключевые слова: интерфейс мозг-компьютер, нейронная сеть, нейрональная активность, нейрональное декодирование, нейропластичность мозга, электроэнцефалограмма, функциональная электростимуляция, кохлеарный им-плантат, зрительный протез

^ Для корреспонденции: Ольга Сергеевна Левицкая

123060, г Москва, ул. Маршала Бирюзова, д. 30, кв. 45; [email protected]

Статья получена: 11.03.2016 Статья принята в печать: 25.03.2016

brain-computer interface: the future in the present

Levitskaya OS1 Lebedev MA2

1 Cyber Myonics, Moscow, Russia

2 Department of Neurobiology,

Duke University, Durham, North Carolina, USA

Brain-computer interfaces (BCIs) are a promising technology intended for the treatment of diseases and trauma of the nervous system. BCIs establish a direct connection between the brain areas that remain functional and assistive devices, such as powered prostheses and orthoses for the arms and legs, motorized wheelchairs, artificial sensory organs and other technologies for restoration of motor and sensory functions. BCIs of various kinds are currently developing very rapidly, aided by the progress in computer science, robotic applications, neurophysiological techniques for recording brain activity and mathematical methods for decoding neural information. BCIs are often classified as motor BCIs (the ones that reproduce movements), sensory BCIs (the ones that evoke sensations), sensorimotor BCIs (the ones that simultaneously handle motor and sensory functions), and cognitive BCIs intended to regulate the higher brain functions. All these BCI classes can be either invasive (i. e. penetrating the body and/or the brain) or noninvasive (i.e. making no o little contact with the body surface). Noninvasive BCI are safe to use and easy to implement, but they suffer from signal attenuation by scalp and skin, its contamination with noise and artifacts, and an overall low information transfer rate. Invasive BCIs are potentially more powerful because they utilize implanted grids that can both record neural signals in high-resolution and apply stimulation to the nervous tissue locally to deliver information back to the brain. BCI technologies are being developed not only for individual use, but also for collective tasks performed by multiple interconnected brains.

Keywords: brain-computer interface, neuronal network, neuronal activity, neuronal decoding algorithm, neuronal plasticity of brain, encephalogram, functional electrical stimulation, cochlear implant, visual prosthesis

Correspondence should be addressed: Olga Levitskaya

ul. Marshala Biryuzova, d. 30, kv. 45, Moscow, Russia, 123060; [email protected]

Recieved: 11.03.2016 Accepted: 25.03.2016

Все формы ментальной активности в конечном счете реализуются в виде мышечных сокращений, что позволяет нам взаимодействовать с внешним миром и общаться

друг с другом: мышцы контролируют движения губ и глаз, выражение лица и формирование речи. Мышечные сокращения — неотъемлемая часть и сенсорных функций,

например тактильных и кинестетических ощущений, для которых необходимы движения рук, и зрения, осуществляемого подвижными глазами.

Движения нашего тела отслеживаются большим количеством сенсорных рецепторов. Входящий поток сенсорных и моторных сигналов обрабатывается на разных уровнях нервной системы, включая высшие отделы мозга. Детали процесса обработки входящих сигналов, как правило, минуют наше сознание, и мы принимаем как должное то, что нам удается выполнять очень сложные задачи: ходить прямо, поддерживать равновесие, двигать пальцами, говорить и многое другое.

К сожалению, способность двигаться и ощущать может быть нарушена в результате повреждения нервной системы. Миллионы людей по всему миру страдают от сенсорных и моторных расстройств, вызванных переломами позвоночника, инсультом, болезнью Паркинсона, амио-трофическим латеральным склерозом и другими патологиями. Зачастую высшие отделы мозга всё-таки сохраняют свою функциональность, но оказываются отрезанными от мышц, и в результате пациент не может двигаться, говорить или чувствовать.

Для множества моторных и сенсорных нарушений не существует эффективных методов лечения. Пациенты оказываются прикованными к постелям или инвалидным креслам до конца своей жизни. Разработка действенных методов реабилитации или устройств, восполняющих недостающие функции, — одна из важнейших задач современной медицины.

Искусственные части для нервной системы

Интерфейс мозг-компьютер (ИМК) — перспективное средство лечения многих неврологических патологий. В его основу положен принцип создания связей между неповрежденными участками мозга и вспомогательными устройствами, которые способны компенсировать моторные и сенсорные функции [1-5]. Например, пациенты, парализованные из-за перелома позвоночника, смогут восстановить подвижность, используя ИМК, который соединяет нейронные структуры моторной коры с роботизированными руками, экзоскелетами или нейроморфными электрогенераторами. Определенные успехи в разработке таких ИМК уже достигнуты [6-9]. Более того, пациенты могут надеяться на восстановление чувствительности парализованных участков тела при помощи сенсорных ИМК, соединяющих соматосенсорные отделы нервной системы с протезами, оснащенными датчиками прикосновения и положения и вызывающими ощущения посредством электрической стимуляции коры.

ИМК не только помогают больным, но могут использоваться и здоровыми людьми, например в компьютерных играх [10] или в качестве будильника для водителей-дальнобойщиков [11]. В последнем случае состояние наступающего сна распознается по электроэнцефалограмме (ЭЭГ).

ИМК также часто называют ИММ — интерфейс мозг-машина. В целом эти термины взаимозаменяемы, но сложилась традиция называть неинвазивные интерфейсы термином ИМК, а инвазивные — ИММ. Также в качестве их синонимов используют термины «нейропротез» и «ней-роимплант». В статье мы используем термин ИМК.

Интерфейсы мозг-компьютер — одна из тех областей знания, в которой разрыв между научной фантастикой и практическим воплощением идеи не превышает 50 лет.

Однако хотя количество публикаций по теме за последние годы возросло, многие ИМК-технологии до сих пор находятся на стадии лабораторной разработки, не используются в клинической практике и не поступают в розничную продажу. Исключение составляют некоторые мионические нейроморфные системы [12] и кохлеарные импланта-ты [13, 14], уже сейчас успешно используемые в реабилитационной практике.

В обзоре мы разбираем моторные и сенсорные ИМК. Деление функций на сенсорные и моторные, впрочем, довольно условно. В мозге любого организма участков, отвечающих исключительно за движение или ощущение, не существует [15, 16]. Поэтому недавно разработанные сенсорномоторные интерфейсы являются наиболее эргономичными [17].

История исследований и создание ИМК

Уже в середине 1960-х гг. проводились эксперименты на обезьянах, которым имплантировали мультиэлектродные матрицы для регистрации потенциалов коры и электрической стимуляции [15, 18]. Было показано, что сенсомо-торная кора активировалась, когда обезьяны производили движения, а электростимуляция коры, наоборот, вызывала сокращение мышц.

В 1963 г. Walter провел эксперимент, в котором был реализован первый ИМК в том смысле, как мы его понимаем теперь [19]. Пациентам по медицинским показаниям были имплантированы электроды в различные области коры мозга. Им предлагалось переключать слайды проектора, нажимая на кнопку. Обнаружив область коры, ответственную за воспроизведение этого мышечного паттерна, исследователь подключил ее напрямую к проектору. Пациенты нажимали на отсоединенную кнопку, но слайды продолжали переключаться: управление осуществлялось непосредственно мозгом, причем даже быстрее, чем человек успевал нажать на кнопку.

Идею, сходную с идеей современных ИМК, сформулировали в конце 1960-х гг. ученые из Национального института здоровья США (National Institute of Health), которые заявили, что основным направлением их исследований будет разработка принципов и методов управления внешними устройствами с использованием сигналов мозга [20]. Исследователи имплантировали обезьянам в моторную область коры электроды, которые регистрировали потенциалы действия нескольких нейронов в то время, как животные двигали кистью [21]. Записанные разряды нейронов преобразовывали в траекторию движения кисти с помощью линейной регрессии. Потребовалось еще десять лет исследований, чтобы осуществить такое преобразование в реальном времени: обезьяна обучилась управлять курсором на экране, активируя нейроны моторной коры [22].

Похожим исследованием руководил в то же время Fetz [23], но акцент был сделан на изучение биологической обратной связи, и перед учеными стоял вопрос: сможет ли обезьяна управлять разрядами своих нейронов произвольно? Выяснилось, что произвольное управление активностью ответственных за движения нейронов возможно даже и без совершения движений. Этот результат важен для понимания работы «зеркальных нейронов» и нейронов, задействованных в механизме эмпатии.

Одновременно с разработкой моторных ИМК исследователи создавали сенсорные интерфейсы [14]. В 1957 г. французским ученым Djourno и Eyries удалось при

помощи одноканального электрода, стимулировавшего слуховой нерв, вызвать звуковые ощущения у глухих. В 1964 г. Simmons представил многоканальный вариант изобретения. В 1970-х гг. House и Urban назвали устройство, состоящее из звукопреобразователя и многоканального электрода, кохлеарным имплантатом. Разработка получила одобрение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (Food and Drug Administration). После дальнейших усовершенствований кохлеарный имплантат был успешно внедрен в клиническую практику.

В 1980-х гг. начались исследования, направленные на восстановление зрения при помощи ИМК. Полностью слепым в зрительную кору имплантировали электродную матрицу. Вызываемые зрительные ощущения — своеобразные нейроэлектрофотопиксели — были названы фосфенами. Давно или вообще никогда не видевшие света люди научились распознавать несложные узоры из фос-фенов [24, 25]. В настоящее время электросимуляционное зрение внедряется в клиническую практику: достаточно сложное изображение с видеокамеры (одной или нескольких) передается на нейроимпланты глаза или зрительной коры.

Бурный скачок ИМК-исследований пришелся на 19902000-е гг. Nicolelis и Chapin сконструировали ИМК, управлявший механическими конечностями [26]. Записанную у крыс в состоянии бодрствования активность коры и ба-зальных ганглиев передавали на робот, который доставлял животному воду. Затем Nicolelis продолжил изыскания на приматах. Это направление исследований было реализовано в ряде проектов: контролируемая корковыми ансамблями роботизированная рука [27-29], ИМК искусственной тактильной обратной связи [17], ИМК для распознавания движений ног [30], ИММ для бимануальных движений [31] и другие.

В эти же годы начались эксперименты по имплантации электродов в мозг человека. Kennedy (в 2015 г. он имплантировал электроды самому себе) работал с пациентом с боковым амиотрофическим синдромом. В кору пациента был помещен электрод, впрыскивавший факторы роста миелиновых волокон через специальный наконечник. Имплантат позволил пациенту генерировать бинарный командный сигнал [32].

В начале 2000-х гг. несколько лабораторий начали конкурировать друг с другом в области разработки инва-зивных ИМК. Группа под руководством Donoghue работала с обезьянами и людьми, в частности исследователи имплантировали мультиэлектродные матрицы в моторную кору человека, что позволяло парализованным людям управлять курсором [8] и роботизированными манипуляторами [9]. Schwartz и его коллеги изучали на обезьянах управление движениями в трехмерном пространстве [33]. В опыте с участием людей им удалось добиться максимального контроля в управлении антропоморфной роботизированной рукой [7] — пожалуй, это до сих пор наиболее продвинутая технология в этой области.

В процессе разработки ИМК Andersen, Shenoy и Vaadia, изучавшие различные участки коры в качестве источников сигналов для ИМК, создали новые оригинальные алгоритмы декодирования сигналов мозга.

Одновременно велись исследования и по неинвазив-ным нейроинтерфейсам, в основу которых были положены запись ЭЭГ, инфракрасная оксиметрия мозга и функциональная электростимуляция. Были предложены практические решения по управлению инвалидными креслами

(Birbaumer, Pfurtscheller, Walpaw, Müller, Schalk, Neuper, Kübler, Millan и другими исследователями) и восстановлению подвижности конечностей после травм и инсультов [12].

Нейрональное декодирование и нейротюнинг

Как же моторные ИМК определяют параметры (свойства) движения по возбуждению нейронов? Множество нейрофизиологических исследований показали, что потенциал действия изолированных нейронов соответствует конкретным поведенческим проявлениям. К примеру, возбуждение нейронов моторной коры определяет позицию, ускорение и угол вращения руки. Разработчики используют такие соответствия для декодирования нейронных сигналов. При этом повторяемость и узнаваемость нейрональных паттернов, так называемый нейротюнинг (настройка) — ключевой фактор декодирования. Нейроны могут быть «плохо настроены», «зашумлены», что осложняет процесс их «расшифровки».

Кодирование нейронами различных параметров движений начали исследовать в 1950-60-е гг.: при помощи игольчатых электродов записывали внеклеточную активность одиночных нейронов в разных областях мозга. Это были исследования соматосенсорной [34], моторной [16] и зрительной [35] систем. Стало понятно, что даже одиночные нейроны демонстрируют устойчивые паттерны активности, кодирующие ряд сенсорных и моторных проявлений.

Методология записи одиночной нейронной активности впоследствии была использована во многих исследованиях. Wise и соавт. открыли, что нейроны коры активируются за несколько секунд до совершения движения. В их экспериментах обезьяны знали, какое движение они должны совершить, но были обучены не делать этого до срабатывания триггера [36]. Kalaska и соавт. использовали запись одиночной нейронной активности и задание на отложенное движение, чтобы изучить влияние визуальных стимулов на направление движения [37]. Эти эксперименты показали, что разряды нейронов содержат информацию как о реальных движениях, так и о тех, что планируются мозгом, но не осуществляются.

Georgopoulos с коллегами исследовали паттерны одиночных двигательных корковых нейронов при движении руки в разных направлениях [38]. Оказалось, что зависимость между силой сигнала и направлением движения есть и описывается функцией косинуса, т. е. частота разряда нейронов была максимальной для какого-либо направления, а затем снижалась по мере отступления от него. Чтобы объяснить, каким образом разряды нейронов трансформируются в движении руки в определенном направлении, Georgopoulos предложил концепцию популяционного вектора. Такой вектор представляет собой векторную сумму сигналов множества нейронов (нейронной популяции), которая меняется при совершении движения и отображает его направление. Интересно, что даже мысленное представление перемещения без совершения такового рукой, к примеру воображение вращения в пространстве на 90°, хорошо описывалось популяционным вектором [39].

Таким образом, стало ясно, что возбуждения отдельных нейронов несут информацию о поведенческих проявлениях и их параметрах и могут быть декодированы. Нейрофизиологи часто используют громкоговоритель для отслеживания разрядов отдельных нейронов. Опытный нейрофизиолог может сказать, чем занимается его

подопытная обезьяна, просто слушая звучание разрядов. Декодер ИМК точно так же «слушает» нейроны и пытается предположить, какое движение или намерение означает это «звучание». Интерпретация тем точнее, чем больше возбужденных нейронов «слышит» декодер.

О чём поют нейронные ансамбли?

Чем больше «музыкантов» в нейронном ансамбле, тем выше точность декодирования: увеличение объема информации позволяет отсеять случайные шумовые флуктуации одиночных нейронов [1, 2]. Это не означает, что небольшие нейронные популяции бесполезны для ИМК. Иногда для работы интерфейса достаточно нескольких нейронов [33, 40]. Такие нейроны отличаются высокой степенью специализации. Иногда их называют «нейронами бабушки» или «нейронами Дженнифер Энистон», так как они реагируют исключительно на свойственный им стимул — фотографию бабушки или Дженнифер Энистон [41]. Если задача ИМК — распознавание присутствия бабушки или Дженнифер Энистон, такие нейроны удобны. Однако они встречаются относительно нечасто, и в действительности мозг воспринимает и обрабатывает информацию иначе. С единичных нейронов можно уловить «мелодию», общую идею поведенческого проявления, но его «симфония» играется множеством инструментов. Чем больше нейронов вовлечено в процесс, тем точнее кодировка [2]. По этой причине матричная регистрация активности большого числа нейронов наиболее эффективна при создании ИМК. В частности, очень важно регистрировать сигналы больших нейронных ансамблей, если необходимо декодировать сложные поведенческие проявления [30]. Такая ансамблевая запись не только улучшает декодирование, но и обеспечивает его стабильность [1].

Алгоритмы декодирования

ИМК-декодеры используют методы статистики и машинного обучения для декодирования поведенческих проявлений нейронной активности. Исходные настройки декодера устанавливаются при помощи обучающей выборки. В опытах на обезьянах для настройки необходима запись нейрональной активности длительностью 5-10 мин. В течение этого времени животное выполняет задачу вручную, например двигает джойстик лапой [17, 28, 29], а декодер «научается» распознавать параметры движения (положение, ускорение, силу). Затем режим работы переключается на управление мозгом, и обезьяна достигает цели (наводит курсор на мишень) уже через декодер, а не при помощи лап.

Обучающая выборка может быть получена и без необходимости двигать рукой. Вместо этого субъект наблюдает за движением курсора, или — в случае с человеком — мы просим его вообразить движение. Такой подход особенно важен, если участник исследования парализован.

Выбор алгоритма декодирования определяется набором параметров, свойственных изучаемому поведенческому проявлению, характеристиками нервного сигнала (запись одиночных нейронов, потенциалы поля и др.), числом каналов записи, а также особенностями поставленной перед испытуемым задачи (например, непрерывное управление положением курсора или, наоборот, движение на основе случайного выбора).

При декодировании с использованием популяционных векторов обучающей выборкой обычно является набор

простых движений, например от центра по радиусу в разных направлениях. Затем выполняется расчет популяци-онного вектора, представляющего собой сумму векторов отдельных нейронов, длина которых соответствует частоте разряда [39]. Несмотря на некоторые преимущества, одним из которых является наглядность, метод популяцион-ных векторов далеко не оптимален, так как не включает статистические операции, улучшающие точность декодирования.

Похожим образом работает фильтр Винера (Wiener filter), но он гораздо точнее, поскольку минимизирует сред-неквадратическую ошибку. Выходные данные фильтра Винера за время t представляют собой взвешенную сумму частот разрядов нейронов, измеренных в нескольких точках в прошлом (5-10 точек с интервалом в 1 с) [42]. Весовые коэффициенты рассчитываются для каждого нейрона и каждой точки с использованием матричной алгебры.

Во многих случаях, например при наличии стереотипных паттернов движений, лучше работает другой фильтр — фильтр Калмана (Kalman filter). Фильтр Калмана распределяет переменные в наборы переменных состояния (например, положение и скорость движения конечности) и переменных настройки (например, связь разряда нейрона с направлением движения). В процессе декодирования вектор состояния обновляется с дискретными временными интервалами (обычно 50-100 мс). При обновлении производятся два вычисления: предсказание следующего состояния и его уточнение на основе данных нейронной активности. Уточнение использует эмпирическую модель, описывающую связи между паттернами нейронов и состоянием системы.

Сигма-точечный фильтр Калмана (unscented Kalman Filter) повышаеткачество оценки, произведенной с помощью классического фильтра Калмана, поскольку при использовании эмпирической модели учитывает нелинейные зависимости между срабатыванием нейронов и движениями.

Интересной прикладной особенностью нейронального декодирования является его работа «в обе стороны» — возможность разрабатывать новые аналитические математические методы на основе данных о физиологии взаимодействия между нейронами. Например, так называемые искусственные нейронные сети (artificial neural networks) во многом копируют организацию нервной системы и используются для интерпретации деятельности «обычных» нейронных сетей. В ряде лабораторий для декодирования применяют рекуррентные нейронные сети (recurrent neural networks) [43].

При решении задач, предполагающих ряд дискретных ответов, используют дискретные классификаторы. Примером является ЭЭГ-декодирование букв и цифр по корковым потенциалам [44, 45]. В ИМК-декодировании также нашли применение другие методы машинного обучения: гауссовский классификатор, структуры из вероятностных классификаторов (байесовские сети), скрытые марковские модели, алгоритм ближайшего соседа (k-nearest neighbour algorithm), искусственные нейронные сети, многослойный персептрон, элементы нечеткой логики.

Теории контроля движений и моторные ИМК

Несколько теорий управления движениями были разработаны для объяснения нейрональных механизмов движений, но они значимы и для совершенствования ИМК.

Классическая схема управления движениями включает набор иерархически организованных областей нервной

системы. Согласно этой схеме, корковые структуры находятся на вершине иерархической лестницы. Они управляют самыми сложными движениями, такими как движения пальцев рук. Ствол мозга и спинной мозг контролируют более простые функции: позные автоматизмы и спинномозговые рефлексы [46]. Спинной мозг четвероногих животных обеспечивает ритмические движения ног при ходьбе посредством центрального генератора упорядоченной активности (central pattern generator) [47].

Исторически регуляция движений долгое время описывалась как набор рефлексов. Концепция рефлекторной дуги была предложена Sherrington [46]. В настоящее время рефлексы признаются, но также подчеркивается роль головного мозга в управлении произвольными (сознательными) движениями. Типичная двигательная активность содержит как произвольные, так и рефлекторные составляющие [48]. Многие ИМК имитируют эти составляющие, предоставляя контроль над высокоуровневыми параметрами (начало и окончание движения и выбор цели) испытуемому и делегируя управление низкоуровневыми задачами (например, поддержанием равновесия) контроллеру робота.

Многие современные теории контроля движений построены на идее о том, что мозг формирует внутреннюю модель тела для организации его двигательной активности. Впервые она была озвучена в концепции Head и Holmes (они предложили термин «схема тела», body scheme), объяснившей, как мозг отслеживает и обновляет информацию о конфигурации частей тела на основе сигналов от сенсорных рецепторов [49]. Разработчики современных ИМК стремятся создать нейроконтролируемые конечности, которые мозг в конечном итоге включит в схему тела [1]. (Не следует смешивать понятия «схема тела» и «образ тела». Схема тела — это модель, конструируемая мозгом, отражающая структурно-динамическую организацию тела, а образ — осознанное эстетическое и сексуальное восприятие собственного тела.)

От концепции схемы тела исследователи перешли к теории внутренней модели (internal model theory) [50]. Она предлагает вычленять две составляющие: объект управления (например, рука с мышцами и суставами) и контроллер (нейронная сеть, контролирующая движения руки). Контроллер программирует предстоящие положения объекта и предстоящую сенсорную обратную связь, соотносит результат с данными фактической сенсорной обратной связи и при необходимости корректирует активность. Один из возможных способов реализации такой модели описывается гипотезой равновесной точки [51]. Согласно этой гипотезе, высшие моторные центры устанавливают для объекта управления равновесную точку, а серво-механиз-мы спинного мозга переносят в нее объект.

«Ручные» ИМК

Движения рук — моторная основа нашей повседневной жизни. Поэтому многие разработчики ИМК сосредоточены на задаче управления руками. К тому же движения рук имеют более значительную кортикальную компоненту, что удобно для разработчиков — ведь регистрировать сигналы коры головного мозга технически проще, чем сигналы нижележащих структур.

На рис. 1 представлен пример интерфейса, воспроизводящего движения руки. В данном случае это был инва-зивный ИМК, с помощью которого обезьяны захватывали появляющиеся в различных местах объекты при помощи роботизированной руки. Для нейродекодирования использовался фильтр Винера.

В другом эксперименте с обезьянами для управления движениями в трёхмерном пространстве использовались стереоскопические очки [33]. Движение руки преобразовывалось в перемещение курсора в трёхмерном пространстве. Декодирование первоначально осуществлялось вышеупомянутым методом популяционных векторов. Затем точность системы была значительно повышена за

Модуль сбора и обработки нейрональных данных

Декодирование

Зрительная обратная связь

I »

Выходной сигнал Контролирующий декодера компьютер робота

Роботизированная рука

Рис. 1. Схема работы ИМК роботизированной руки, способной схватывать объекты (Carmena et al., [28])

Внеклеточная активность нейронов коры считывалась мультиэлектродной матрицей, имплантированной в несколько кортикальных зон обезьяны. Сигналы декодировались с помощью фильтра Винера и передавались на контролирующее устройство роботизированной руки. На экране обезьяне демонстрировали курсор, который менял свой размер в зависимости от силы сжатия. Задача состояла в том, чтобы после появления виртуального объекта на экране дотянуться до него и сжать. В одном варианте задания обезьяна управляла роботом при помощи джойстика с двумя степенями свободы, и сила захвата определялась сжатием ручки джойстика. В другом — джойстик не был подключён к роботу, и робот управлялся напрямую командами моторной коры.

счет применения адаптивного алгоритма, который минимизировал ошибки траекторий. Эта же группа исследователей некоторое время спустя продемонстрировала работу ИМК, при помощи которого обезьяны могли кормить себя, используя роботизированную руку [52]. Подобные технологии с применением роботизированной руки уже применяются для облегчения жизни полностью парализованных пациентов [7, 9].

Также разработаны виртуальные технологии, а именно: пара виртуальных рук, движущихся на экране компьютера, и управляющий ими ИМК [31]. В этих экспериментах несколько сотен электродов регистрируют активность нейронов в обоих полушариях коры, что и позволяет управлять сразу двумя руками.

Функциональная электростимуляция

Робототехнические ИМК необходимы в случае утраты конечностей, но если конечности не утрачены, а только обездвижены, возможно применение функциональной электростимуляции (ФЭС). Эта технология состоит в применении электродных матриц для электрической стимуляции мышц набором импульсов, имитирующих сигналы нервной системы. Мышцы активируются под воздействием стимуляции, и конечности приводятся в движение. Для поверхностной стимуляции мультиэлектродная матрица накладывается на кожу пациента. Такую контактную матрицу можно вшивать в одежду, превращая ее в носимую электронику (перчатки, штаны и т. д.) [53]. Контроль ИМК может осуществляться бета-ритмами ЭЭГ. Например, так воспроизводили движения парализованной кисти [54].

Используя инвазивный нейроинтерфейс, с помощью ФЭС приводили в движение парализованную руку обезьяны, при этом движения были достаточно точными [40]. При подключении к большему числу мышц и декодировании более сотни нейронов обезьяны с парализованными руками могли самостоятельно осуществлять хватательные движения [55, 56]. Недавно такое управление при помощи инвазивного ИМК было осуществлено парализованным человеком [6].

Согласно экспериментальным данным, часть низкоуровневых функций (например, подстройку позиции конечности в поле внешних сил) можно возложить на локальное самоуправление. В этом случае используют анаплерозные системы обратной связи, например датчики положения [57]. ИМК на основе ФЭС может учитывать особенности контрактильных свойств мышц и даже такой феномен, как локальная мышечная память. Инструментом обратной связи служит зрение [53] или сенсорное замещение, например с использованием вибростимуляции.

ИМК прямохождения

Впервые возможность реконструкции кинематики прямо-хождения на основе регистрации активности коры головного мозга была подтверждена сотрудниками лаборатории ЫюоУ^ [30]. Схема эксперимента представлена на рис. 2 Обезьян обучили ходить по беговой дорожке. Во время выполнения задачи регистрировали нейронную активность областей сенсомоторной коры, отвечающих за нижние конечности, и записывали на видео движения ног обезьяны. Декодер ИМК был настроен так, чтобы обработанный

Нейронная активность

Беспроводной сигнал

ни

Кинематические данные

20 см -20

0 Время (с) 30

еа лв оа

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Декодирование параметров ходьбы для разных скоростей дорожки

0.14

(м) -0.06

Медленная ходьба вперед

Быстрая ходьба вперед

0.15

(м)

-0.1

0.15

(м)

Ходьба вперед с меняющейся скоростью

-0.2

Положение сустава

Декодированное положение

0

Время, с

50

Рис. 2. Реконструкция кинематики прямохождения на основе ансамблевой активности коры головного мозга р^эттопэ е а1., [30])

Активность нейронных ансамблей сенсомоторной коры обезьян регистрировалась во время хождения по беговой дорожке. Синие кривые — движение,

отслеженное системой видеорегистрации, красные — воссозданное движение.

сигнал соответствовал наблюдаемому движению. Удалось добиться хороших результатов декодирования для хождения как вперед,так и назад.

Вдохновленные этими результатами, Niclolelis и его коллеги основали проект Walk Again Project — международный консорциум, целью которого является разработка экзоске-лета, приводимого в движение корой головного мозга [2]. Nicolelis продемонстрировал экзоскелет, управляемый на основе ЭЭГ, на открытии чемпионата мира по футболу в 2014 г. Похожий проект, Mindwalker, появился и в Европе [58]. Кроме того, Contreras Vidal и его коллеги выдвинули идею разработки экзоскелета для ног, также управляемого на основе медленных ритмов ЭЭГ, и в 2012 г. выполнили декодирование кинематики походки человека, идущего по беговой дорожке [59]. Чрезвычайно практичный экзоскелет для ног «Экзоатлет» был разработан в России [60].

В качестве альтернативы ЭЭГ изучается возможность реактивации центрального генератора управляемой активности. Она была продемонстрирована в опытах на крысах с рассеченным спинным мозгом, у которых подвижность была восстановлена с помощью эпидуральной электростимуляции и действия серотонинергических агонистов [61].

Нейропластичность, связанная с использованием ИМК

Во многих исследованиях было убедительно показано, что обучение работе с ИМК повышает пластичность головного мозга испытуемого. Было выдвинуто предположение, что за счет этого искусственные конечности со временем могут встраиваться в модель тела и восприниматься мозгом как собственные [1, 62].

Управление внешними устройствами с помощью ИМК имеет много общего с использованием инструментов. Так, в известном эксперименте по изучению нейропластич-ности у обезьян, обученных пользоваться граблями для подтягивания удаленных предметов [63], было обнаружено, что нейроны задней теменной коры, реагирующие на предметы в зоне непосредственного доступа руки, стали реагировать на предметы, расположенные в пределах досягаемости граблей. Иными словами, мозг «встроил» грабли в схему тела.

Долговременное использование ИМК может приводить к аналогичным изменениям в мозге. Так, нейроны, участвующие в управлении ИМК, меняют паттерны активности [64]. Также изменяются связи нейронов друг с другом [28, 31], и меняется их чувствительность к направлению движения [29].

Неинвазивные ИМК

Важное требование к ИМК — безопасность. Наиболее безопасны неинвазивные ИМК, т. е. не использующие проникновение в биологические ткани для записи нейронной активности. Было разработано множество неинвазивных ИМК, в первую очередь для управления инвалидными колясками и восстановления коммуникативной функции с помощью речевых синтезаторов [44, 45, 65-68].

Запись ЭЭГ — наиболее распространенный метод, применяющийся при разработке неинвазивных ИМК. По способу активации мозга метод может быть независимым (эндогенная активация — воображение движения) и зависимым (экзогенная активация — демонстрация движения на экране). В первом случае для управления исполь-

зуются медленные корковые потенциалы, мю- (8-12 Гц), бета- (18-30 Гц) и гамма-ритмы (30-70 Гц) [4]. Эффективность метода может быть повышена применением адаптивных алгоритмов декодирования [69]. Во втором случае фокусировка внимания на внешнем зрительном стимуле приводит к хорошо выраженной реакции зрительной коры в сравнении с реакцией на стимул, оставленный без внимания, и намерения пациента расшифровываются на основе предварительно записанной разности реакций на замеченные и проигнорированные стимулы. Так, при тренировке ИМК, основанного на стационарных индуцированных зрительных потенциалах, регистрируется реакция на периодически появляющиеся стимулы [70]. На экране демонстрируют несколько объектов, каждый из которых появляется и исчезает с собственной частотой. Испытуемый сосредотачивается по очереди на каждом из них. Аналогично можно использовать Р300-потенциалы [71].

Существенной проблемой ЭЭГ-ИМК являются артефакты записи ЭЭГ, которые по ошибке могут быть приняты за нейронную активность и даже послужить управляющими сигналами. Зависимые ИМК менее чувствительны к артефактам. Лучшее качество сигнала по сравнению с ЭЭГ, лучшее временное и пространственное разрешение и меньшую чувствительность к артефактам демонстрируют электрокортикографические ИМК, однако они являются инвазивными.

Помимо ЭЭГ используют магнитоэнцефалографию (МЭГ) [72]. Для регистрации слабых магнитных полей, генерируемых мозгом, требуется очень высокая чувствительность метода, которую обеспечивают сверхпроводящие квантовые магнитометры. Вследствие этого регистрация МЭГ требует специальной аппаратуры и условий (в первую очередь, магнитного экранирования), однако МЭГ обеспечивает лучшее временное и пространственное разрешение, чем ЭЭГ.

Другим методом регистрации активности мозга является отслеживание концентрации оксигемоглобина и деоксигемоглобина в мозговом кровотоке посредством ближней инфракрасной спектроскопии (БИКС) с временным разрешением 100 мс и пространственным разрешением 1 см. Главный недостаток технологии — значительная задержка сигнала, до нескольких секунд. Тем не менее, основанные на ней ИМК набирают популярность [73].

Мощным инструментом отслеживания изменений кровоснабжения в мозге является функциональная магнитно-резонансная томография. Ее временное разрешение ограничено 1-2 с, задержка сигнала составляет несколько секунд, но от всех неинвазивных техник метод отличается непревзойденным пространственным разрешением, позволяющим отслеживать активность любого отдела мозга [73].

Сенсорные ИМК

Сенсорные ИМК могут быть использованы для восстановления слуха, зрения, вкуса, обоняния, тактильной и проприоцептивной чувствительности, чувства равновесия. Нарушения функций органов чувств могут возникать как из-за повреждений периферических отделов нервной системы, вызывающих полную потерю чувств (слепота, глухота), так и из-за повреждений органов обработки сенсорной информации высшего уровня (таламус, мозжечок, подкорковые узлы, кора головного мозга), которые, тем не менее, не приводят к полной потере чувствительности.

Интересным примером является «слепозрение» у пациентов с повреждением зрительной коры, которые слепы, но могут воспринимать и обрабатывать зрительные стимулы подсознательно [74].

В настоящее время сенсорные ИМК еще не способны заменять высокоуровневые компоненты сенсорной системы. (Как, например, исправить «слепозрение»?) Современные разработки направлены на исправление низкоуровневых повреждений, связанных с дисфункцией периферических отделов и рецепторов. Такие системы заменяют физиологические сенсоры на искусственные, которые подключаются к неповрежденным сенсорным цепям [17, 75, 76]. Передача сигналов от искусственных сенсоров в нервную ткань обычно осуществляется посредством электростимуляции, но в последнее время стали набирать популярность и оптогенетические методы [77].

Следует также упомянуть сенсорное замещение — метод, при котором поток информации от искусственного сенсора перенаправляется к неповрежденным сенсорам другой части тела или другого органа чувств. При таком сенсорном замещении может производиться переключение с одной сенсорной модальности на другую. Например, искусственное зрение для слепых можно осуществить, подключив сигнал с видеокамеры к тактильной матрице, стимулирующей спину [78].

Слуховые протезы

Кохлеарные имплантаты являются наиболее успешной разработкой из числа сенсорных ИМК [13, 14]. Пациенты с такими имплантатами могут распознавать речь, отличать женские голоса от мужских и даже воспринимать мелодии. Двусторонняя имплантация восстанавливает объемный слух. Имплантат состоит из шести компонентов: (1) внешнего микрофона, (2) звукового процессора, преобразующего сигнал с микрофона в стимулирующую последовательность, (3) передатчика последовательности через кожу, (4) приемника и стимулятора, закрепленного на кости под кожей, (5) кабеля, соединяющего стимулятор и электроды, и (6) массива стимулирующих электродов, имплантированных в ушную улитку.

Сформированная последовательность импульсов передается на неповрежденные участки слухового нерва. Использование нескольких электродов позволяет стимулировать различные участки нерва; число электродов обычно варьируется от 4 до 22. Было предложено несколько различных методов формирования сигнала многоканальной стимуляции. В методе непрерывного перемежающегося отбора сигнал с микрофона преобразовывается в частотный спектр, и интенсивность сигнала в каждой полосе преобразуется в интенсивность стимула. Сжатие широкого динамического диапазона громкости в узкий диапазон стимулов достигается нелинейной функцией трансформации. Также применяются схемы, основанные на непрерывном анализе сигнала с микрофона с циклическим выбором электрода для передачи сигнала.

Для пациентов с тяжелыми повреждениями ушной улитки были разработаны стволовые имплантаты [13]. Эти устройства стимулируют слуховое ядро ствола мозга с помощью поверхностных или проникающих электродов. Некоторые пациенты с такими имплантатами отмечали низкое качество распознавания звука, но у других оно было сравнимо с качеством звука кохлеарных имплантатов.

Протезирование зрения

В настоящее время зрительные протезы способны восстановить простые зрительные ощущения [79]. Зрительные протезы можно разделить на две группы: протезы сетчатки и мозговые протезы. Протезы сетчатки применяются при патологиях, не затрагивающих зрительный нерв, а мозговые — при повреждениях зрительного нерва, когда для вызова зрительных ощущений необходимо стимулировать зрительные структуры мозга, например зрительную кору.

В зависимости от тяжести повреждения сетчатки используют несколько типов протезов сетчатки. Эпирети-нальные импланты стимулируют слой нервных волокон ганглиозных клеток сетчатки с помощью внутриглазных массивов электродов (до 60 каналов), на которые подают кадры с видеокамеры. Ожидается, что в будущем все компоненты таких протезов можно будет имплантировать внутрь глаза. Пациенты с такими имплантами способны воспринимать форму объектов, яркость цвета и направление движения.

Субретинальные протезы стимулируют электрическими сигналами ганглиозные и биполярные клетки. Они состоят из нескольких тысяч микрофотодиодов, которые реагируют на уровень освещения и отображают зрительный стимул на массив микроэлектродов. Эта разработка находится на ранней стадии исследований.

При трансхориоидальном протезировании несколько десятков стимулирующих электродов имплантируют под сосудистую оболочку глаза. Этот метод в сравнении с

Мультиканальная запись нейронной активности

Кортикальный имплантаты Точки стимуляции

Рис. 3. Схема первого интерфейса мозг-компьютер-мозг (О'ОоИег!?/ е! а1. [80])

Моторная часть петли управления приводит в движение курсор. Желаемое положение курсора декодируется по активности нейронов моторной коры. Сенсорная часть петли служит обратной связью. Она передает искусственные тактильные сигналы в соматосенсорную кору посредством интракор-тикальной микростимуляции.

(А)

(Б)

щ

%

Двумерное управление; каждой обезьяне дана одна координата

Vi5U3<

f«dbackW

Двумерное управление с усредненным вкладом от двух обезьян

■ Y

MonkeyM 410-501 пен гон s

MonkeyC 196-214 ncwo m

Visu»! ftedback

MonkeyM 410-S01 ncurortî.

Mùrkey О 156-ÎÎ9 ncujoni

(Г)

Трехмерное управление; каждая из трех обезьян управляет плоскостью ]-30-1 56 пеигопз МблкеуК

Monkcy M 410SÛ1 neuronS

MonkeyC 1 96-2 14 пеигопь

Рис. 4. Объединение мозговой активности нескольких испытуемых с помощью интерфейса мозг-компьютер (ВатакпэИпап е а1., [81]) Каждая из обезьян находилась в отдельной комнате и видела на мониторе виртуальную руку, которой необходимо было захватить объект (А). Сигналы счи-тывались при помощи 700-канальной инвазивной электродной матрицы с нескольких отделов коры животных. После декодирования сигналы посылались на виртуальную руку либо с равным приоритетом (Б), либо согласно схеме, в которой каждая обезьяна могла контролировать только одну координату (В) или одну плоскость (Г). Эти задачи решались значительно эффективнее, чем если бы рукой управляло одно животное.

другими требует сравнительно несложного хирургического вмешательства. Пациенты воспринимают стимулы как фосфены и способны различать простые объекты.

В неретинальных протезах, как правило, используют электростимуляцию зрительной коры. Уже в 1974 г. было произведено успешное восстановление простого зрительного восприятия путем имплантации 64 электродов на поверхность зрительной коры [25]. Возможно, применение внутрикорковых микроэлектродных массивов даст значительно лучшие результаты.

Двунаправленные ИМК (интерфейс мозг-компьютер-мозг)

Двунаправленные, или сенсорно-связанные, ИМК одновременно расшифровывают активность мозга и передают в него искусственные сенсорные сигналы, создавая петлю обратной связи. На рис. 3 изображена схема первого интерфейса мозг-компьютер-мозг (ИКМК), разработанного в лаборатории ЫюоУ^ [80]. Массивы микроэлектродов были вживлены в моторную и соматосенсорную кору обезьян. С помощью первого массива считывали наме-

рения, а второй массив посредством интракортикальной микроэлектростимуляции передавал искусственные тактильные ощущения обратно в мозг. ИМКМ позволил подопытным обезьянам изучать виртуальный объект с помощью курсора или реалистичного изображения (аватара) руки обезьяны. Виртуальные объекты выглядели одинаково, но имели различную текстуру, информация о которой передавалась в мозг посредством микростимуляции.

Мозгосеть

В последнее время все чаще проводят исследования сетей, соединяющих отдельные нервные системы. В общем виде исследовательская задача формулируется как создание сетей, объединяющих знания и усилия нескольких индивидуумов с целью более эффективного решения задач. Такими распределёнными сетями являются neuro-net (сообщество людей и технологий, использующих нейрональ-ные сигналы для коммуникаций), body-net (сеть, в которой движения одного индивида могут передаваться другому при помощи ФЭС) и brain-net (соединение нескольких мозгов при помощи ИМК-технологий [81], рис. 4).

ЗАКЛЮЧЕНИЕ

Мы являемся свидетелями бурного развития технологий ИМК. Исследователи непрерывно сообщают о новых результатах, продвигаясь все дальше в разработке методов и устройств, помогающих восстанавливать утерянную функциональность человеческого тела. При продолжительном использовании ИМК искусственная конечность может встраиваться в модель тела, формируемую мозгом. Многие ИМК-проекты находятся на стадии лабораторных

исследований, но уже есть примеры успешно внедренных в клиническую практику изобретений, и не за горами будущее, в котором при помощи нейроимплантов и функциональной электростимуляции слепоглухонемой парализованный человек сможет вести образ жизни здорового человека. С помощью ИМК, обеспечивающих кооперацию нервных систем, человечество может выйти на новый уровень развития. Первыми ласточками в этом развитии являются недавно появившиеся проекты по созданию «интернета тел и сознаний».

Литература

1. Lebedev MA, Nicolelis MA. Brain-machine interfaces: past, present and future. Trends Neurosci. 2006 Sep; 29 (9): 536-46. Epub 2006 Jul 21.

2. Nicolelis MA, Lebedev MA. Principles of neural ensemble physiology underlying the operation of brain-machine interfaces. Nat Rev Neurosci. 2009 Jul; 10 (7): 530-40.

3. Schwartz AB, Cui XT, Weber DJ, Moran DW. Brain-controlled interfaces: movement restoration with neural prosthetics. Neuron. 2006 Oct 5; 52 (1): 205-20.

4. McFarland DJ, Krusienski DJ, Wolpaw JR. Brain-computer interface signal processing at the Wadsworth Center: mu and sensorimotor beta rhythms. Prog Brain Res. 2006; 159: 411-9.

5. Hatsopoulos NG, Donoghue JP. The science of neural interface systems. Annu Rev Neurosci. 2009; 32: 249-66.

6. Bouton CE, Shaikhouni A, Annetta NV, Bockbrader MA, Friedenberg DA, Nielson DM, et al. Restoring cortical control of functional movement in a human with quadriplegia. Nature. 2016 Apr 13. doi: 10.1038/nature17435.

7. Collinger JL, Wodlinger B, Downey JE, Wang W, Tyler-Kabara EC, Weber DJ, et al. High-performance neuroprosthetic control by an individual with tetraplegia. Lancet. 2013 Feb 16; 381 (9886): 557-64.

8. Hochberg LR, Serruya MD, Friehs GM, Mukand JA, Saleh M, Caplan AH, et al. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature. 2006 Jul 13; 442 (7099): 164-71.

9. Hochberg LR, Bacher D, Jarosiewicz B, Masse NY, Simeral JD, Vogel J, et al. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature. 2012 May 16; 485 (7398): 372-5.

10. Tangermann M, Krauledat M, Grzeska K, Sagebaum M, Blankertz B, Vidaurre C, Müller KR. Playing pinball with noninvasive BCI. In: Koller D, Schuurmans D, Bengio Y, editors. Advances in Neural Information Processing Systems 21. Neural Information Processing Systems; 2008 Dec 8-11; Vancouver and Whistler, BC, Canada. Cambridge, MA: MIT Press; 2009. p. 1641-8.

11. Lin CT, Chang CJ, Lin BS, Hung SH, Chao CF, Wang IJ. A realtime wireless brain-computer interface system for drowsiness detection. IEEE Trans Biomed Circuits Syst. 2010 Aug; 4 (4): 214-22.

12. Виртуальная реальность и котики на хакатоне Microsoft и Сколково [Интернет]. Хабрахабр. Январь 2015. Доступно по ссылке: https://habrahabr.ru/company/microsoft/blog/275837/.

13. Shannon RV. Advances in auditory prostheses. Curr Opin Neurol. 2012 Feb; 25 (1): 61-6.

14. Wilson BS, Dorman MF. Cochlear implants: a remarkable past and a brilliant future. Hear Res. 2008 Aug; 242 (1-2): 3-21.

15. Lilly JC. Distribution of 'motor' functions in the cerebral cortex in the conscious, intact monkey. Science. 1956; 124: 937.

16. Evarts EV. Motor cortex reflexes associated with learned movement. Science. 1973; 179: 501-3.

17. O'Doherty JE, Lebedev MA, Ifft PJ, Zhuang KZ, Shokur S, Bleuler H, Nicolelis MA. Active tactile exploration using a brain-machine-brain interface. Nature. 2011 Oct 5; 479 (7372): 228-31.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

18. Lilly JC. Instantaneous relations between the activities of closely spaced zones on the cerebral cortex; electrical figures during

responses and spontaneous activity. Am J Physiol. 1954; 176: 493-504.

19. Dennett DC. Consciousness explained. London, UK: Penguin UK; 1993. 528 p.

20. Frank K. Some approaches to the technical problem of chronic excitation of peripheral nerve. Ann Otol Rhinol Laryngol. 1968 Aug; 77 (4): 761-71.

21. Humphrey DR, Schmidt EM, Thompson WD. Predicting measures of motor performance from multiple cortical spike trains. Science. 1970 Nov 13; 170 (3959): 758-62.

22. Schmidt EM. Single neuron recording from motor cortex as a possible source of signals for control of external devices. Ann Biomed Eng. 1980; 8 (4-6): 339-49.

23. Fetz EE. Operant conditioning of cortical unit activity. Science. 1969 Feb 28; 163 (3870): 955-8.

24. Brindley GS, Lewin WS. The sensations produced by electrical stimulation of the visual cortex. J. Physiol. 1968 May; 196 (2): 479-93.

25. Dobelle WH, Mladejovsky MG, Girvin JP. Artifical vision for the blind: electrical stimulation of visual cortex offers hope for a functional prosthesis. Science. 1974 Feb 1; 183 (4123): 440-4.

26. Chapin JK, Moxon KA, Markowitz RS, Nicolelis MA. Real-time control of a robot arm using simultaneously recorded neurons in the motor cortex. Nat Neurosci. 1999 Jul; 2 (7): 664-70.

27. Wessberg J, Stambaugh CR, Kralik JD, Beck PD, Laubach M, Chapin JK, et al. Real-time prediction of hand trajectory by ensembles of cortical neurons in primates. Nature. 2000 Nov 16; 408 (6810): 361-5.

28. Carmena JM, Lebedev MA, Crist RE, O'Doherty JE, Santucci DM, Dimitrov DF, et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biol. 2003; 1 (2): e42. doi:10.1371/journal.pbio.0000042.

29. Lebedev MA, Carmena JM, O'Doherty JE, Zacksenhouse M, Henriquez CS, Principe JC, Nicolelis MA. Cortical ensemble adaptation to represent velocity of an artificial actuator controlled by a brain-machine interface. J Neurosci. 2005 May 11; 25 (19): 4681-93.

30. Fitzsimmons NA, Lebedev MA, Peikon ID, Nicolelis MA. Extracting kinematic parameters for monkey bipedal walking from cortical neuronal ensemble activity. Front Integr Neurosci. 2009 Mar 9; 3:3. doi: 10.3389/neuro.07.003.2009.

31. Ifft PJ, Shokur S, Li Z, Lebedev MA, Nicolelis MA. A brain-machine interface enables bimanual arm movements in monkeys. Sci Transl Med. 2013 Nov 6; 5 (210): 210ra154.

32. Kennedy PR, Bakay RA. Restoration of neural output from a paralyzed patient by a direct brain connection. Neuroreport. 1998 Jun 1; 9 (8): 1707-11.

33. Taylor DM, Tillery SI, Schwartz AB. Direct cortical control of 3D neuroprosthetic devices. Science. 2002; 296 (5574): 1829-32.

34. Mountcastle VB. The sensory hand: neural mechanisms of somatic sensation. Cambridge, MA: Harvard University Press: 2005. 640 p.

35. Hubel D.H., Wiesel T.N. (2005). Brain and visual perception: the story of a 25-year collaboration. 744 pp. Oxford University Press.

36. Wise SP. The primate premotor cortex: past, present, and preparatory. Annu Rev Neurosci. 1985; 8: 1-19.

37. Kalaska JF, Scott SH, Cisek P, Sergio LE. Cortical control of

reaching movements. Curr Opin Neurobiol. 1997; 7 (6): 849-59.

38. Georgopoulos AP, Kalaska JF, Caminiti R, Massey JT. On the relations between the direction of two-dimensional arm movements and cell discharge in primate motor cortex. J Neurosci. 1982 Nov; 2 (11): 1527-37.

39. Georgopoulos AP, Lurito JT, Petrides M, Schwartz AB, Massey JT. Mental rotation of the neuronal population vector. Science. 1989 Jan 13; 243 (4888): 234-6.

40. Moritz CT, Perlmutter SI, Fetz EE. Direct control of paralysed muscles by cortical neurons. Nature. 2008 Dec 4; 456 (7222): 639-42.

41. Quiroga RQ, Reddy L, Kreiman G, Koch C, Fried I. Invariant visual representation by single neurons in the human brain. Nature. 2005 Jun 23; 435 (7045): 1102-7.

42. Haykin S. Adaptive filter theory. 4th ed. Upper Saddle River, New Jersey: Prentice Hall; 2002. 936 p.

43. Sussillo D, Nuyujukian P, Fan JM, Kao JC, Stavisky SD, Ryu S, Shenoy K. A recurrent neural network for closed-loop intracortical brain-machine interface decoders. J Neural Eng. 2012 Apr; 9 (2): 026027. doi: 10.1088/1741-2560/9/2/026027.

44. Birbaumer N, Ghanayim N, Hinterberger T, Iversen I, Kotchoubey B, Kübler A, et al. A spelling device for the paralysed. Nature. 1999 Mar 25; 398 (6725): 297-8.

45. Birbaumer N, Murguialday AR, Cohen L. Brain-computer interface in paralysis. Curr Opin Neurol. 2008 Dec; 21 (6): 634-8.

46. Sherrington CS. The integrative action of the nervous system. New York: Charles Scribner's Sons; 1906. 445 p.

47. Guertin PA. The mammalian central pattern generator for locomotion. Brain Res Rev. 2009 Dec 11; 62 (1): 45-56.

48. Cordo PJ, Gurfinkel VS. Motor coordination can be fully understood only by studying complex movements. Prog Brain Res. 2004; 143: 29-38.

49. Head H, Holmes G. Sensory disturbances from cerebral lesions. Brain. 1911 Nov 1; 34 (2-3): 102-254.

50. Kawato M. Internal models for motor control and trajectory planning. Curr Opin Neurobiol. 1999 Dec 1; 9 (6): 718-27.

51. Feldman AG, Ostry DJ, Levin MF, Gribble PL, Mitnitski AB. Recent tests of the equilibrium-point hypothesis (lambda model). Motor Control. 1998 Jul; 2 (3): 189-205.

52. Velliste M, Perel S, Spalding MC, Whitford AS, Schwartz AB. Cortical control of a prosthetic arm for self-feeding. Nature. 2008 Jun 19; 453 (7198): 1098-101.

53. Левицкая О. С., Крылов Н. В., Капырин Н. И. Костюм функциональной электростимуляция для нейрореабилитации с применением виртуальной реальности [Интернет]. Сколко-во Роботикс sk-news. Март 2014 [дата обращения: февраль 2016].

54. Pfurtscheller G, Müller GR, Pfurtscheller J, Gerner HJ, Rupp R. 'Thought'-control of functional electrical stimulation to restore hand grasp in a patient with tetraplegia. Neurosci. Lett. 2003 Nov 6; 351 (1): 33-6.

55. Ethier C, Oby ER, Bauman MJ, Miller LE. Restoration of grasp following paralysis through brain-controlled stimulation of muscles. Nature. 2012 May 17; 485 (7398): 368-71.

56. Pohlmeyer EA, Oby ER, Perreault EJ, Solla SA, Kilgore KL, Kirsch RF, Miller LE. Toward the restoration of hand use to a paralyzed monkey: brain-controlled functional electrical stimulation of forearm muscles. PLoS One. 2009 Jun 15; 4 (6): e5924.

57. Hick C, Hick A. Intensivkurs Physiologie. 5th ed. München-Jena: Urban&Fischer; 2006. 434 p.

58. Cheron G, Duvinage M, De Saedeleer C, Castermans T, Bengoetxea A, Petieau M,et al. From spinal central pattern generators to cortical network: integrated BCI for walking rehabilitation. Neural Plast. 2012; 2012: 375148.

59. Presacco A, Forrester LW, Contreras-Vidal JL. Decoding intra-limb and inter-limb kinematics during treadmill walking from scalp electroencephalographic (EEG) signals. IEEE Trans Neural Syst

Rehabil Eng. 2012 Mar; 20 (2): 212-9.

60. Exoatlet.ru [Internet]. Moscow: ExoAtlet LLC; c2014-2015. Available from: http://www.exoatlet.ru.

61. Courtine G, Gerasimenko Y, van den Brand R, Yew A, Musienko P, Zhong H, et al. Transformation of nonfunctional spinal circuits into functional states after the loss of brain input. Nat Neurosci. 2009 Oct 1; 12 (10): 1333-42.

62. Nicolelis MA. Beyond Boundaries: The New Neuroscience of Connecting Brains with Machines — and How It Will Change Our Lives. New York: Times Books; 2011. 354 p.

63. Iriki A, Tanaka M, Iwamura Y. Coding of modified body schema during tool use by macaque postcentral neurones. Neuroreport. 1996 Oct; 7 (14): 2325-30.

64. Zacksenhouse M, Lebedev MA, Carmena JM, O'Doherty JE, Henriquez C, Nicolelis MA. Cortical modulations increase in early sessions with brain-machine interface. PLoS One. 2011 Jul 18; 2 (7): e619.

65. Galán F, Nuttin M, Lew E, Ferrez PW, Vanacker G, Philips J, Millán JR. A brain-actuated wheelchair: asynchronous and non-invasive brain-computer interfaces for continuous control of robots. Clin Neurophysiol. 2008 Sep 13; 119 (9): 2159-69.

66. Müller-Putz GR, Gernot R, Pfurtscheller G. Control of an electrical prosthesis with an SSVEP-based BCI. IEEE Trans Biomed Eng.

2008 Jan; 55 (1): 361-4.

67. Nicolas-Alonso LF, Gomez-Gil J. Brain computer interfaces, a review. Sensors (Basel). 2012; 12 (2): 1211-79.

68. Sellers EW, Vaughan TM, Wolpaw JR. A brain-computer interface for long-term independent home use. Amyotroph Lateral Scler. 2010 Oct; 11 (5): 449-55.

69. Wolpaw JR, McFarland DJ. Control of a two-dimensionalmovement signal by a noninvasive brain-computer interface in humans. Proc Natl Acad Sci USA. 2008 Dec 21;101 (51): 17849-54.

70. Vialatte FB, Maurice M, Dauwels J, Cichocki A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog Neurobiol. 2010 Apr; 90 (4): 418-38.

71. Farwell LA, Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr Clin Neurophysiol. 1988; 70 (6): 510-23.

72. Mellinger J, Schalk G, Braun C, Preissl H, Rosenstiel W, Birbaumer N, Kübler A. An MEG-based brain-computer interface (BCI). Neuroimage. 2007 Jul 1; 36 (3): 581-93.

73. Sitaram R, Caria A, Birbaumer N. Hemodynamic brain-computer interfaces for communication and rehabilitation. Neural Netw.

2009 Nov; 22 (9): 1320-8.

74. Barton JJ. Disorder of higher visual function. Curr Opin Neurol. 2009 Feb; 24 (1): 1-5.

75. Romo R, Hernández A, Zainos A, Brody CD, Lemus L. Sensing without touching: psychophysical performance based on cortical microstimulation. Neuron. 2000 Apr; 26 (1): 273-78.

76. Fitzsimmons NA, Drake W, Hanson TL, Lebedev MA, Nicolelis MA. Primate reaching cued by multichannel spatiotemporal cortical microstimulation. J Neurosci. 2007 May 23; 27 (21): 5593-602.

77. Zhang F, Aravanis AM, Adamantidis A, de Lecea L, Deisseroth K. Circuit-breakers: optical technologies for probing neural signals and systems. Nat Rev Neurosci. 2007 Aug; 8 (8): 577-81. Erratum in: Nat Rev Nuerosci. 2007 Sep; 8 (9): 732.

78. Jones LA. Tactile communication systems optimizing the display of information. Prog Brain Res. 2011; 192:113-28.

79. Fernandes RA, Diniz B, Ribeiro R, Humayun M. Artificial vision through neuronal stimulation. Neurosci Lett. 2012 Jun 25; 519 (2): 122-8.

80. O'DohertyJE,Lebedev M,HansonTL,FitzsimmonsN,NicolelisMA. A brain-machine interface instructed by direct intracortical microstimulation. Front Integr Neurosci. 2009 Sep 1; 3: 20.

81. Ramakrishnan A, Ifft PJ, Pais-Vieira M, Byun YW, Zhuang KZ, Lebedev MA, Nikolelis MA. Computing arm movements with a monkey brained. Sci Rep. 2015 Jul 9; 5: 10767.

References