CC BY
18
ФИЗИОЛОГИЯ
УДК 612.821
ИЗУЧЕНИЕ ХАРАКТЕРИСТИК ИНТЕРФЕЙСА МОЗГ-КОМПЬЮТЕР НА ОСНОВЕ ПРЕДСТАВЛЕНИЯ ДВИЖЕНИЙ С БЫСТРОДЕЙСТВУЮЩЕЙ ТАКТИЛЬНОЙ
ОБРАТНОЙ СВЯЗЬЮ
М.В. Лукоянов1,2*, С.Ю. Гордлеева1, Н.А. Григорьев1, А.О. Савосенков1, Ю.А. Лотарева1, А.С. Пимашкин1, А.Я. Каплан1,3
1 Нижегородский государственный университет имени Н.И. Лобачевского, 603950, г. Нижний Новгород, пр. Гагарина, д. 23;
2Приволжский исследовательский медицинский университет, 603005, г. Нижний Новгород, пл. Минина и Пожарского, д. 10/1;
3Кафедра физиологии человека и животных, биологический факультет, Московский государственный университет имени М.В. Ломоносова, Россия, 119234, г. Москва, Ленинские горы, д. 1, стр. 12 *e-mail: lukoyanovm@gmail.com
Одним из подходов к реабилитации после инсульта является тренировка посредством мысленного представления движения в контуре интерфейса мозг-компьютер (ИМК), позволяющем контролировать результат каждой попытки представления движения. Технология ИМК работает на основе онлайн-анализа электроэнцефалограммы, позволяющего детектировать моменты качественного представления движения (реакцию десин-хронизации сенсомоторного ритма) и представить эти события в виде изменения сцены на экране компьютера или срабатывания электромеханических устройств, что по своей сути является обратной связью (ОС). Традиционно используемая в контурах ИМК визуальная ОС далеко не всегда является оптимальной для постинсультных пациентов. Ранее нами исследовалась эффективность тактильной ОС, срабатывавшей только после длительного, в течение нескольких секунд и более, мысленного представления движения. В настоящей работе была исследована эффективность быстрой тактильной ОС в контуре ИМК на основе представления движений при классификации коротких (0,5 с) отрезков электроэнцефалограммы. Было показано, что быстрая тактильная ОС не уступает визуальной по точности классификации и что на ее основе возможно создание ИМК с оперативным подкреплением физиологически эффективных попыток представления движения, работающих с точностью, приемлемой для практического применения. Кроме того, при определенных режимах подачи тактильная ОС может приводить к возникновению у испытуемых более выраженной десинхронизации сенсомоторного ритма, по сравнению с визуальной ОС, что может послужить основой для построения эффективных нейроинтерфейсных тренажеров.
Ключевые слова: интерфейс мозг-компьютер, электроэнцефалограмма, представление движений, реабилитация, обратная связь, идеомоторная тренировка
Более трети выживших после инсульта пациентов в той или иной мере страдают остаточными нарушениями двигательной функции [1, 2]. Актуальным поэтому становится последующее применение реабилитационных процедур, направленных на восстановление двигательной функции [3, 4]. Одним из подходов к данной проблеме является тренировка на основе мысленного представления движения, или идеомоторный тренинг, которая приводит к координированной согласно этому движению активации сенсомоторных корковых областей и к соответствующим пластическим перестройкам нейронных сетей [5, 6]. Однако эффективность такого идеомоторного тренинга может быть далеко не полной из-за отсутствия объективного контроля со стороны пациента за яркостью и интенсивностью своих мысленных представлений движения в силу их субъективной природы. В этой связи особенно перспективными становятся реабилитаци-
онные подходы, поддерживающие идеомоторную тренировку посредством технологии интерфейсов мозг-компьютер (ИМК) [7, 8]. Эта технология позволяет электронно-вычислительными средствами детектировать проявление мысленных представлений движения в специфических изменениях характеристик отрезков электроэнцефалограммы (ЭЭГ), например, в виде десинхронизации сенсомоторного ритма, и в реальном времени трансформировать их в сигналы обратной связи (ОС) для пациента. Таким образом, посредством ИМК пациент может объективно контролировать результат каждой своей попытки представления мысленного образа движения, что, очевидно, способствует повышению эффективности идеомоторного тренинга в отношении запуска корковых пластических перестроек и формированию новых двигательных координаций [9].
Однако для постинсультных пациентов, особенно если основное заболевание у них сопровожда-
ется частичными когнитивными или сенсорными нарушениями, требуется тщательная проработка как протокола, так и самой организации контура ОС [10]. В частности, важным становится вопрос о том, в какой сенсорной модальности эта ОС будет подаваться пациенту [11].
В настоящее время при создании ИМК в помощь постинсультным пациентам наибольшее распространение получила визуальная ОС, когда пациент наблюдает результат каждой своей попытки представления движения в виде трансформирующихся экранных объектов или срабатывающих внешних исполнительных устройств, например, экзоске-летов кисти [7, 8]. Однако при всей своей высокой информативности, зрительная ОС требует в ходе тренировки непрерывного фокусирования взора на объекте ОС, что в некоторых случаях просто невозможно для пациентов.
В этой связи внимание исследователей все больше привлекают возможности создания каналов ОС в ИМК на основе тактильной стимуляции, посредством микровибромоторов или конструкций с пье-зоэлементами, размещаемых на соответствующих участках тела испытуемого [12, 13]. При этом характеристики качества представления движения кодируются параметрами вибросигнала [14] или пространственным расположением самих источников тактильной активации на теле человека [15—17].
Ранее в наших работах [18, 19] было показано, что тактильная ОС ИМК, применявшаяся в качестве подкрепления мысленных образов движения, хотя и была эффективной в выработке навыка подавления сенсомоторного ритма, но не более чем традиционное предъявление обратной сигнализации в зрительной модальности. Однако в этих исследованиях сигнал ОС подавался по завершению сравнительно длительного, до 10 с, наблюдения за электроэнцефалограммой (ЭЭГ) на фоне представления движения и только в случае, если 75% этого периода в ЭЭГ регистрировалась статистически значимая десинхронизация сенсомоторного ритма. Между тем, возможности методики позволяют статистически оценивать степень десинхронизация сенсомоторного ритма каждые 0,5 с [19].
Целью настоящей работы было оценить эффективность тактильной ОС в контуре ИМК на основе представления движения в условиях ее точной синхронизации с моментами подавления сен-сомоторного ритма сверх статистически значимого порога на последовательных сегментах мониторинга ЭЭГ длительностью 0,5 с.
Материалы и методы
Испытуемые. Критериями включения в исследование были: возраст от 18 лет, отсутствие патологии ЦНС в анамнезе и на момент обследования, нормальное или скорректированное до нормального зрение. В исследовании приняли участие 6 здоровых испытуемых-добровольцев (5 женщин и один
мужчина) в возрасте 18—28 лет (среднее±стандарт-ное отклонение 21,7+3,8). Все испытуемые ранее не имели опыта работы с ИМК и были праворукими (среднее+стандартное отклонение 0,87+0,14 баллов по данным Эдинбургского опросника мануальной асимметрии [20]). Все испытуемые подписывали информированное согласие на участие в исследовании. Протокол исследования был одобрен этической комиссией Института биологии и биомедицины ННГУ имени Н.И. Лобачевского.
Регистрация ЭЭГ. Регистрация ЭЭГ осуществлялась на электроэнцефалографе №УХ52 (ООО "Медицинские Компьютерные Системы", Россия) с 30 С1^-электродами ^1, Fz, F2, FC5, FC3, FC1, FCz, FC2, FC4, FC6, С5, С3, С1, Cz, С2, С4, С6, СР5, СР3, СР1, CPz, СР2, СР4, СР6, Р3, Р1, Pz, Р2, Р4, POz). В качестве референта использовались объединенные электроды, расположенные на мастоидах. Заземляющий электрод располагался на лбу. Контактное сопротивление для всех электродов не превышало 10 кОм. ЭЭГ оцифровывалась с частотой дискретизации сигнала 1000 Гц и фильтровалась в частотном диапазоне 1—30 Гц с ^1сИ-фильтром 50 Гц.
Структура исследования. Эксперимент состоял из 3 этапов, каждый из которых проводился в отдельный экспериментальный день. В начале каждого этапа оценивались самочувствие, активность и настроение испытуемого по тесту САН [21]. Во время эксперимента испытуемый располагался в комфортном кресле с подлокотниками и подставкой для ног в положении полулежа.
Каждый этап эксперимента был разбит на сессии, в ходе которых испытуемый должен был выполнять несколько ментальных задач в ответ на командные пиктограммы, предъявляемые на ЖК-мониторе диагональю 19 дюймов, расположенном на расстоянии 2 м от глаз испытуемого. Между сессиями испытуемый мог отдохнуть в течение необходимого для него времени. В качестве ментальных задач использовались воображаемые движения левой и правой рукой, а также задача "покой", во время которой испытуемый должен был находиться в состоянии спокойного бодрствования. Команде "покой" соответствовал фиксационный крестик, располагавшийся в центре экрана, воображаемым движениям левой и правой рукой соответствовали стрелки, располагавшиеся слева или справа от фиксационного крестика соответственно. Длительность предъявления пиктограмм на всех этапах эксперимента составляла 5 с, между которыми испытуемому предъявлялся пустой серый экран длительностью 3 с для отдыха. Последовательность предъявления команд была рандомизирована. Каждая сессия, продолжительностью 4 мин, состояла из 10 предъявлений каждой из 3 команд.
На первом этапе эксперимента проводилось обучение испытуемого методике воображаемых движений в ходе не менее чем трех тренировочных сессий. Испытуемому предлагалось выбрать любое
движение рукой, комфортное, по его мнению, для воображения. В качестве примеров приводились "перебор пальцами" и вращение кисти руки в лу-чезапястном суставе. При этом акцент делался на представлении тактильных ощущений. Успешность освоения методики воображаемых движений определялась по степени десинхронизации сенсомотор-ного ритма. Для этого сигналы ЭЭГ подвергались пространственной фильтрации при помощи фильтра "Поверхностный Лапласиан" (Surface Laplacian). Далее для каждого канала рассчитывались плотность спектра мощности с шагом 1 Гц и степень десинхронизации как разность мощностей сигнала при представлении движения и сигнала "покой", отнесенная к мощности сигнала, соответствующей задаче "покой". Для каждого канала из диапазона 7-16 Гц выбиралась частота с максимальной десинхронизацией, эти значения использовались для построения топограммы, по которой проводилась оценка пространственной локализации и амплитуда максимумов десинхронизации. Если в ходе тренировок уменьшение мощности спектра ЭЭГ в диапазоне 7-16 Гц при воображаемом движении достигало 50% от уровня в состоянии покоя, то испытуемый считался успешно освоившим методику воображаемых движений и допускался для участия во втором и третьем этапах эксперимента.
Второй и третий этапы эксперимента представляли собой оценку уровня точности классификации при работе испытуемого в контуре ИМК с различными вариантами ОС. Каждый из этих этапов состоял из 6 экспериментальных сессий. Первые 3 сессии второго и третьего этапов проводились без предъявления ОС и служили в качестве контроля. Оставшиеся 3 сессии в каждом из этих этапов проводились с предъявлением либо визуальной, либо вибротактильной ОС. Порядок использования визуальной и вибротактильной ОС на втором и третьем этапе эксперимента был ран-домизирован среди испытуемых таким образом, чтобы трое испытуемых использовали визуальную ОС на втором этапе эксперимента и вибротактильную ОС на третьем, а остальные три - наоборот. В качестве визуальной ОС на экране предъявлялась вертикальная анимированная полоска зеленого цвета от центра фиксационного крестика до нижнего края экрана, заполняющаяся при верном распознавании команды. Тактильная ОС осуществлялась с помощью вибромоторов (плоские LRA — линейный резонансный привод, linear resonant actuator — без эксцентрика, 3В, диаметр 10 мм, частота работы моторов 500 Гц): на задней стороне шеи располагался вибромотор, информировавший испытуемого об успешном распознавании классификатором ментальной задачи "покой", а моторы, расположенные на предплечьях правой и левой руки, информировали испытуемого о распознавании в ИМК его представления движения правой и левой рукой соответственно.
Вибромоторы фиксировались на коже при помощи лент-липучек. Для подтверждения правильно классифицированного состояния подавался вибрационный сигнал длительностью 100 мс.
Классификация изменений в ЭЭГ, характерньх для представления движений и подача ОС. С помощью специализированного алгоритма классификации анализировались последовательные отрезки записи ЭЭГ длиной 500 мс на предмет детектирования по ЭЭГ ментального усилия с представлением движения. По каждому отрезку ЭЭГ длительностью 500 мс в реальном времени делалось заключение о соответствии текущего сигнала ЭЭГ состоянию воображения движения соответствующей конечностью или состоянию спокойного бодрствования. По факту детектирования состояния воображения движения испытуемому предъявлялась визуальная или тактильная ОС длительностью 200 мс.
Таким образом, классификация изменений в ЭЭГ, характерных для представления движений происходила каждые 500 мс, после чего приостанавливалась на 200 мс для подачи ОС.
Для выделения признаков, значимых для классификации изменений в ЭЭГ, характерных для представления движений, сигнал фильтровался в полосе 7—16 Гц с последующим расчетом коэффициентов индивидуального пространственного CSP-фильтра. Классификация проводилась с использованием метода линейного дискриминантного анализа.
В качестве показателя точности классификации использовалась относительная частота правильной классификации, рассчитываемая как отношение количества правильно классифицированных задач к общему числу задач.
Статистический анализ. Для оценки индивидуальных различий в точности классификации периодов представления движений руками использовался критерий Манна-Уитни. Для определения различий в степени десинхронизации при использовании различных видов ОС использовался критерий Вилкоксона. Для группового анализа точности классификации был использован критерий Краскела-Уоллиса. Все тесты проводились с использованием пакета "base" для языка программирования R 3.4.0.
Результаты
Результаты, полученные в исследовании с участием 6 здоровых испытуемых, достаточно однородны, что позволило не увеличивать выборку сверх указанного числа, учитывая трудоемкость и длительность каждого тестирования. Анализ результативности работы испытуемых в контуре ИМК показал, что на первом этапе исследования у всех испытуемых максимум десинхронизации сенсомо-торного ритма наблюдался в отведениях C3 и/или C4 и достигал критерия снижения мощности спектра ЭЭГ в диапазоне от 11 до 14 Гц в 50 и бо-
лее процентов от уровня этой величины в состоянии спокойного бодрствования.
Таким образом, все испытуемые были признаны успешно освоившими методику воображаемых движений и допущены ко второму и третьему этапам для тестирования работы ИМК с различными вариантами обратной связи.
Групповой анализ оценок точности классификации периодов представления движений не выявил различий между четырьмя тестировавшимися экспериментальными условиями: контрольное тестирование без ОС перед тестированием с визуальной ОС, тестирование с визуальной ОС, контрольное тестирование без ОС перед тестированием с вибротактильной ОС, тестирование с тактильной ОС (критерий Краскела-Уоллиса = 5,5, р = 0,14; N = 6, ёГ = 3). Средняя точность классификации по всем экспериментальным состояниям составила 61,07% (стандартное отклонение 24,5).
В результате проведенных экспериментов трем (ООМ, ЫУ, РЕМ — см. таблицу) из шести испытуемых введение обратной связи в контур ИМК позволило улучшить показатели точности классификации. У двоих из этих испытуемых (ООМ и ЫУ) увеличение точности классификации наблюдалось только при использовании визуальной ОС, у одного — только при тактильной ОС.
Для анализа различий в степени десинхрони-зации ЭЭГ в четырех тестировавшихся экспериментальных состояниях были выбраны отведения ЭЭГ С3 и С4, поскольку у всех испытуемых в этих позициях наблюдался максимум десинхронизации при представлении движений. Сравнительный анализ показал, что при использовании вибротактильной ОС десинхронизация сенсомоторного ритма ЭЭГ статистически значимо отличается от контроля (отсутствие ОС) для отведения С3 при воображаемых движениях как правой (рис.1А), так и левой (рис. 1В) рукой. Кроме того, для воображаемых движений левой рукой статистически достоверные различия в десинхронизации ЭЭГ наблюдалась и в отведении С4 (рис. 1Г).
При использовании визуальной ОС степень десинхронизации ЭЭГ статистически достоверно
отличалась от контроля только при представлении движений правой рукой в контралатеральном полушарии — отведение С3 (рис. 2).
Обсуждение результатов
Средняя точность обнаружения в ЭЭГ признаков мысленного представления движения, или точность классификации в контуре ИМК, в настоящем исследовании составила 61%, что было несколько ниже величины в 70%, считающейся минимально необходимой для комфортной работы с ИМК [22]. Этого следовало ожидать, так как фактом правильной классификации в настоящей работе считалось оперативное обнаружение статистически значимого снижения мощности сенсомо-торного ритма на коротком участке ЭЭГ длительностью всего 0,5 с, что, конечно, труднее сделать, чем в случае аналогичного действия на участках в несколько секунд, обычно используемых для этого в большинстве работ данного направления.
В частности, в выполненном нами ранее исследовании с использованием более длинных, до 10 с, сегментов оценивания ЭЭГ точность классификации с использованием тех же самых, что и в настоящей работе, алгоритмов, действительно была выше и достигала 65,9—73% в среднем для всех испытуемых в различных экспериментальных условиях [19, 23]. Возможно, повышение точности классификации на основе вибротактильной ОС может быть достигнуто, помимо прочего, путем изменения локализации или количества вибромоторов, изменения частоты их работы. Однако собственно глубина десинхронизации сенсомоторного ритма и основанная на этом точность классификации соответствующих отрезков ЭЭГ еще не свидетельствуют о повышении кортикоспинальной возбудимости [6] и, следовательно, не гарантируют запуск соответствующих нужному движению пластических перестроек корковых систем. Поскольку запуск мысленного представления движения осуществляется сознательным усилием испытуемого, то для формирования навыка физиологически активного, вызывающего отклик в сенсомоторных корковых системах, представления важна не только
Испытуемый Без визуальной ОС, % Визуальная ОС, % Без тактильной ОС, % Тактильная ОС, %
ТГУ 56,7+25,7 54,3+26,0 57,5+26,3 59,0+26,5
ООМ 57,6+18,8 64,4+24,1* 64+22,9 60,6+26,7
8ЛУ 55,2+31,9 57,3+21,1 60,8+24,9 66,0+20,8
ЫУ 54,3+21,6 61+19,7* 61,0+24,6 67,0+22,3
RAD 52,7+24,4 55,7+24,2 55,9+26,5 63,3+26,9
РЕМ 75,9+15,7 71,1+19,2 58,3+26,2 72,9+19,6*
Среднее 58,7+24,8 60,6+23,2 59,5+25,3 65,3+24,2
* — статистически значимое отличие от контроля (р<0,05).
Таблица
Точность классификации периодов представления движений руками при использовании различных вариантов обратной связи
(ОС; среднее±стандартное отклонение)
Рис. 1. Сравнение степени десинхронизации при представлении движений руками в контуре ИМК без обратной связи и с вибротактильной обратной связью. Показана степень десинхронизации при воображаемых движениях правой рукой для электрода С3 (А) и С4 (Б), а также левой рукой для электродов С3 (В) и С4 (Г). Статистически достоверные различия обозначены звездочкой
(тест Манна-Уитни, р<0,05)
и даже не столько интенсивность этого отклика, сколько оперативная осведомленность испытуемого об эффективности каждого его мысленного усилия. Только в этом случае можно ожидать выработки навыка физиологически действенного, т.е. способствующего формированию пластических перестроек, представления движения [9].
В этом контексте детектируемые, пусть и с несколько меньшей надежностью, но самые первые физиологические проявления процесса представления движения в виде десинхронизации сенсомо-торного ритма, предъявляемые испытуемому через ИМК в виде сигналов ОС, могут быть максимально эффективным подкреплением в системе выработки нового двигательного навыка. В то же время, если подавать обратный сигнал только после накопления данных о проявлении десинхронизации сен-сомоторного ритма на интервале оценивания ЭЭГ в течение нескольких секунд, то связь между физиологическим эффектом представления движения и его подкреплением, очевидно, может быть существенно ослаблена или вовсе потеряна.
Таким образом, в настоящей работе, во-первых, было подтверждено, что технология ИМК на ос-
нове представления движения с тактильной ОС работает не хуже, чем со зрительной обратной связью, а во-вторых, что на основе тактильной ОС можно построить контуры ИМК с оперативным подкреплением эффективных попыток представления движения. Наконец, было показано, что технология ИМК на основе оценки десинхронизации сенсо-моторного ритма на коротких отрезках ЭЭГ (менее 0,5 с) позволяет с приемлемой для целей идео-моторного тренинга точностью обнаруживать в ЭЭГ изменения, характерные для мысленного представления движения.
Результаты анализа собственно процессов де-синхронизации ЭЭГ на фоне представления движения показывают, что при определенных режимах подачи ОС тактильная ОС может приводить к возникновению более выраженной десинхронизации ЭЭГ у испытуемых, чем визуальная ОС. Эти результаты согласуются с данными, недавно полученными в работе Барсотти и др. [24], посвященной исследованию эффективности работы ИМК мо-торно-воображаемого типа с визуально-вибротактильной ОС, которая предъявлялась оператору
Рис. 2. Сравнение степени десинхронизации при представлении движений руками в контуре ИМК без обратной связи и с визуальной обратной связью. Показана степень десинхронизации при воображаемых движениях правой рукой для электрода С3 (А) и С4 (Б), а также левой рукой для электродов С3 (В) и С4 (Г). Статистически достоверные различия обозначены звездочкой (тест
Манна-Уитни, р<0,05)
непрерывно во время выполнения ментальной задачи. Нужно также отметить соответствие полученных нами результатов работе Яао и др. [25], в которой было продемонстрировано, что для повышения эффективности обучения классификатора контура ИМК моторно-воображаемого типа может использоваться вибротактильная стимуляция.
Косвенно факт увеличения выраженности де-синхронизации может свидетельствовать о более широкой активации сенсомоторных корковых механизмов у испытуемых при работе в ИМК на основе тактильной ОС, чем в случае визуальной ОС, при условии подачи ОС по факту каждого удачного представления движения в субсекундном диапазоне.
СПИСОК ЛИТЕРАТУРЫ
1. Скворцова В.И., Стаховская Л.В., Пряникова Н.А., Мешкова К.С. Вторичная профилактика инсульта // Cons. Medicum. 200б. Т. 8. № 12. С. 70-73.
2. Connell L.A., Lincoln N.B., Radford K.A. Somatosensory impairment after stroke: frequency of different deficits and their recovery // Clin. Rehabil. 2008. Vol. 22. N 8. P. 758-7б7.
3. Иванова Г.Е., Суворов А.Ю., Стаховская Л.В., Ва-рако Н.А., Ковязина М.С., Бушков Ф.А. Использование тренажера с многоканальной биологической обратной связью "Имк-Экзоскелет" в комплексной программе
При неврологических заболеваниях у ряда пациентов наблюдаются нарушения чувствительности или постинсультный болевой синдром, что накладывает ограничения на использование вибротактильной ОС. В целом, полученные в работе данные свидетельствуют о возможности построения контуров ИМК на основе представления движения с оперативной тактильной ОС и, тем самым, о перспективах создания более эффективных систем идеомоторного тренинга для неврологических пациентов, лишенных возможности качественного зрительного контроля визуальной среды.
Работа выполнена при финансовой поддержке Российского научного фонда (проект № 15-19-20053).
реабилитации больных после инсульта // Журн. высш. нерв. деят. 2017. Т. 67. № 4. С. 464-472.
4. Cifu D.X., Stewart D.G. Factors affecting functional outcome after stroke: a critical review of rehabilitation interventions // Arch. Phys. Med. Rehabil. 1999. Vol. 80. N 5. P. 35-39.
5. Frolov A.A., Mokienko O.A., Lyukmanov R.K., et al. Preliminary results of a controlled study of BCI-exoskeleton technology efficacy in patients with poststroke arm paresis // Bull. Russ. State Med.Univ. 2016. N 2. P. 16-23.
6. Vasilyev A., Liburkina, S., Yakovlev, L., Perepelkina, O., Kaplan, A. Assessing motor imagery in brain-computer interface training: Psychological and neurophysiological correlates // Neuropsychologia. 2017. Vol. 97. P. 56—65.
7. Kaplan A.Y. Neurophysiological foundations and practical realizations of the brain—machine interfaces in the technology in neurological rehabilitation // Hum. Physiol. 2016. Vol. 42. N 1. P. 103-110.
8. FrolovA.A., BiryukovaE.V., BobrovP.D., Mokienko O.A., Platonov A.K., Pryanichnikov V.E., Chernikova L.A. Principles of neurorehabilitation based on the brain-computer interface and biologically adequate control of the exoskeleton // Hum. Physiol. 2013. Vol. 39. N 2. P. 196-208.
9. Mulder T. Motor imagery and action observation: cognitive tools for rehabilitation // J. Neural. Transm. 2007. Vol. 114. N 10. P. 1265-1278.
10. Simmons L., Sharma N., Baron J.-C., Pomeroy V.M. Motor imagery to enhance recovery after subcortical stroke: who might benefit, daily dose, and potential effects // Neu-rorehabil. Neural. Repair. 2008. Vol. 22. N 5. P. 458-467.
11. Vuckovic A., Osuagwu B.A. Using a motor imagery questionnaire to estimate the performance of a Brain-Computer Interface based on object oriented motor imagery // Clin. Neurophysiol. 2013. Vol. 124. N 8. P. 1586-1595.
12. Brouwer A.-M., van Erp J.B.F. A tactile P300 brain-computer interface // Front. Neurosci. 2010. Vol. 4:19.
13. van der Waal M., Severens M., Geuze J., Desain P. Introducing the tactile speller: an ERP-based brain-computer interface for communication // J. Neural. Eng. 2012. Vol. 9. N 4:045002.
14. Chatterjee A., Aggarwal V., Ramos A., Acharya S., Thakor N.V. A brain-computer interface with vibrotactile biofeedback for haptic information // J. Neuroeng. Rehabil. 2007. Vol. 4:40.
15. Muramatsu Y., Niitsuma M., Thomessen T. Perception of tactile sensation using vibrotactile glove interface // IEEE 3rd International Conference on Cognitive Infocom-munications (CoglnfoCom) / Ed. S. Hassler. New Jersey: IEEE, 2012. P. 621-626.
16. Thurlings M.E., van Erp J.B.F., Brouwer A.M., Werkhoven P. Controlling a tactile ERP-BCI in a dual task // IEEE Trans. Comput. Intell. AI Games. 2013. Vol. 5. N 2. P. 129-140.
17. Yajima H., Makino S., Rutkowski T. M. P300 responses classification improvement in tactile BCI with touch-sense glove // Signal and Information Processing Association Annual Summit and Conference (APSIPA) / Ed. S. Hassler. New Jersey: IEEE, 2014. P. 1-7.
18. Либуркина С.П., Васильев А.Н., Гордлеева С.Ю., Каплан А.Я. Интерфейс мозг-компьютер на основе представления движения с вибротактильной модальностью стимулов // Журн. высш. нерв. деят. 2017. Т. 67. № 4. С. 414-429.
19. Lukoyanov M.V., Gordleeva S.Y., Pimashkin A.S., Grigor'ev N.A., Savosenkov A.V., Motailo A., Kazantsev V.B., Kaplan A.Y. The efficiency of the brain-computer interfaces based on motor imagery with tactile and visual feedback // Hum. Physiol. 2018. Vol. 44. N 3. P. 280-288.
20. Oldfield R.C. The assessment and analysis of hand-edness: The Edinburgh inventory // Neuropsychologia. 1971. Vol. 9. N 1. P. 97-113.
21. Доскин В.А., Лаврентьева Н.А., Мирошников М.П., Шарай В.Б. Тест дифференцированной самооценки функционального состояния // Вопр. психол. 1973. № 6. С. 141-145.
22. Ahn M., Jun S. C. Performance variation in motor imagery brain-computer interface: a brief review // J. Neu-rosci. Methods. 2015. Vol. 243. P. 103-110.
23. Gordleeva S.Y., Lukoyanov M.V., Mineev S.A., Kho-ruzhko M.A., Mironov V.I., Kaplan A.Y., Kazantsev V.B. Exoskeleton control system based on motor-imaginary brain-computer interface // Совр. технол. в мед. 2017. Vol. 9. N 3. P. 31-36.
24. Barsotti M., Leonardis D., Vanello N., Bergamasco M., Frisoli A. Effects of continuous kinaesthetic feedback based on tendon vibration on motor imagery BCI performance // IEEE Trans. Neural Syst. Rehabil. Eng. 2018. Vol. 26. N 1. P. 105-114.
25. Yao L., Xie T., Shu X., Sheng X., Zhang D., Zhu X. Long-term paired sensory stimulation training for improved motor imagery BCI performance via Pavlovian conditioning theory // 7th International IEEE/EMBS Conference on Neural Engineering (NER) / Ed. S. Hassler. New Jersey: IEEE, 2015. P. 90-93.
Поступила в редакцию 13.07.18 Принята к печати 14.09.18
PHYSIOLOGY
INVESTIGATION OF CHARACTERISTICS OF MOTOR-IMAGERY BRAIN-COMPUTER INTERFACE WITH QUICK-RESPONSE TACTILE FEEDBACK
M.V. Lukoyanov1'2'", S.Y. Gordleeva1, N.A. Grigorev1, A.O. Savosenkov1, Y.A. Lotareva1, A.S. Pimashkin1, A.Y. Kaplan13
1Lobachevsky State University of Nizhni Novgorod, Gagarin pr. 23, Nizhny Novgorod, 603950,
Russia;
2Privolzhskiy Research Medical University, Minin & Pozharsky pl. 10/1, Nizhny Novgorod, 603005,
Russia;
3Departments of Human and Animal Physiology, School of Biology, Lomonosov Moscow State University, Leninskiye Gory 1—12, Moscow, 119234, Russia *e-mail: lukoyanovm@gmail.com
One of the approaches in rehabilitation after a stroke is mental training by representation of the movement using brain-computer interface (BCI), which allows to control the result of every attempt of imaginary movement. BCI technology based on online EEG analysis, detecting
moments of imaginary movement representation and presenting these events in a form of changing scenes on the computer screen or triggering electro-mechanical devices, which essentially is a feedback. Traditionally used visual feedback is not always optimal for post-stroke patients. Earlier, we studied the effectiveness of tactile feedback, triggered only after a long-time mental representation of the movement, for several seconds or more. In this paper, the efficiency of fast tactile feedback with motor imaginary based BCI was investigated during classification of short (0.5 s) EEG segments. It was shown that fast tactile feedback is not inferior to the visual feedback and that it is possible to create BCI with tactile feedback which allow fast reward of physiologically effective attempts of motor imaginary and operate with acceptable accuracy for practical use. Furthermore, under certain conditions, tactile feedback can lead to the greater degree of sensorimotor rhythm desynchronization in subjects, in comparison with the visual feedback, which can serve as a basis for constructing effective neurointerface training system.
Keywords: brain-computer interface, electroencephalography, motor imagery, rehabilitation, feedback, ideomotor training
Сведения об авторах
Лукоянов Максим Викторович — ассистент кафедры нормальной физиологии Приволжского исследовательского медицинского университета. Тел.: 8-831-465-53-06; e-mail: lukoyanovm@gmail.com
Гордлеева Сусанна Юрьевна — канд. физ.-мат. наук, ст. преподаватель кафедры ней-ротехнологий Института биологии и биомедицины ННГУ. Тел.: 8-831-417-32-27; e-mail: gordleeva@neuro.nnov. ru
Григорьев Никита Андреевич — инженер лаборатории разработки интеллектуальных биомехатронных технологий Центра трансляционных технологий ННГУ. Тел.: 8-831417-32-27; e-mail: na0grigorev@gmail.com
Савосенков Андрей Олегович — инженер лаборатории разработки интеллектуальных биомехатронных технологий Центра трансляционных технологий ННГУ. Тел.: 8-831417-32-27; e-mail: andrey.savosenkov@gmail.com
Лотарева Юлия Александровна — инженер лаборатории разработки интеллектуальных биомехатронных технологий Центра трансляционных технологий ННГУ. Тел.: 8-831-417-32-27; e-mail: lotarevaj@gmail.com
Пимашкин Алексей Сергеевич — канд. физ.-мат. наук, науч. сотр. кафедры нейротех-нологий Института биологии и биомедицины ННГУ. Тел.: 8-831-417-32-27; e-mail: pimashkin@neuro.nnov. ru
Каплан Александр Яковлевич — докт. биол. наук, проф. кафедры физиологии человека и животных биологического факультета МГУ. Тел.: 8-495-939-13-73; e-mail: akaplan@mail.ru
