CC BY
133
УДК 681.322.067
С.М. Гончаров, М.Е. Маркин
«Интерфейс мозг-компьютер» как нестандартная технология управления и передачи информации
Рассматривается использование «интерфейса мозг-компьютер» в качестве нестандартной технологии управления движущимися объектами, позволяющей отслеживать аутентичность источника сигналов в постоянном режиме. Описываются проведение эксперимента по управлению имитатором надводного судна, оптимальные способы обработки сигнала ЭЭГ, обучение классификатора. Предлагаются направления дальнейшего развития.
Ключевые слова: электроэнцефалография, ИМК, линейный дискриминантный анализ, воображаемое движение, визуально вызванные потенциалы, управление подвижными объектами, защита информации, биометрическая аутентификация.
Одним из методов защиты информации является использование нестандартных методов передачи информации. В данной работе в качестве такого нестандартного метода рассматривается технология «интерфейс мозг-компьютер». Вопросы аутентичности источника сигналов рассматриваются в других работах авторов [3].
В последнее время направление человеко-компьютерного взаимодействия (Human-Computer Interaction) значительно расширилось и включает в себя как уже привычные, так и весьма экзотические примеры. Одним из таких проявлений является интерфейс мозг-компьютер, или ИМК (Brain-Computer Interface, BCI), созданный для обмена информацией между мозгом и электронным устройством (например, компьютером). Первые исследования в этой области были проведены ещё в середине 70-х годов [1], и в настоящее время существует множество различных способов и областей применения интерфейса мозг-компьютер.
Принцип работы заключается в распознавании активности областей головного мозга. Разные области мозга отвечают за разные виды активности. Например, реакция на зрительные раздражители отражается в затылочной доле, а именно зрительной коре (visual cortex)[2]. Основываясь на активности зон мозга можно, так или иначе, интерпретировать получаемые данные.
Регистрация ЭЭГ производится специальными электродами. Каждый электрод подключен к усилителю. Для записи ЭЭГ может использоваться бумажная лента, или сигнал может преобразовываться с помощью АЦП и записываться в файл на компьютере (рис. 1).
гсГ
¥
I f.
<9 г
i> х ££0
i> "=Т X
i> ¥ -t *
4> т
Рис. 1. Типичная схема энцефалографа (исследуемый объект и электроды - коммутатор - усилители - фильтры - регистрирующие устройства)
Однако, кроме регистрирующего энцефалографа, в составе интерфейса мозг-компьютер присутствуют и другие компоненты (рис. 2).
Применение, в силу своих особенностей, возможно весьма разнообразное - от набора текста на экране компьютера до управления сложными видами протезов.
Мгновенные данные ЭЭГ являются результатом многолетнего совершенствования, развития и обучения головного мозга человека. Поэтому снимки ЭЭГ во многом (за исключением некоторых полностью физиологических процессов) являются индивидуальными, в некоторой мере идентифицирующими характеристиками индивида.
Широкий спектр применения ИМК не мог не затронуть такую область ИБ как биометрические системы аутентификации [5]. Систему аутентификации по характеристикам сигналов мозга можно отнести к динамическому методу биометрической аутентификации. И хотя этот вид биометрической аутентификации не столь распространен, как, например, аутентификация по отпечатку пальца, исследования в этом направлении ведутся весьма обширные.
Интерфейс мозг-компьютер
Обратная связь
Приложение (набор текста, управление объектами И т.д.)
Рис. 2. Схема устройства ИМК
Основной проблемой в применении сигналов мозга для аутентификации является поиск и приведение этих сигналов в некоторый удобный или более статичный вид, поскольку они имеют особенность меняться под действием опыта. Кроме непосредственно биометрической аутентификации существует подход, предполагающий использование ИМК для парольной аутентификации. В этом случае ИМК используется как устройство ввода пароля вместо клавиатуры или другого иного способа. В таком применении ИМК имеет некоторые преимущества перед обычными методами ввода данных, например отсутствие акустического и оптического каналов утечки информации. Это объясняется отсутствием необходимости вводить информацию, которую можно неким образом подсмотреть либо подслушать.
Вообще обработанные сигналы с прибора снятия ЭЭГ можно использовать в качестве управляющих внутри некой программной среды. Следовательно, используя биологическую обратную связь, можно управлять практически любым техническим средством. Данное направление исследований весьма популярно в последнее время и развивается бурными темпами.
Существует несколько наиболее распространенных технологий управления объектами через интерфейс мозг-компьютер:
1) P300;
2) Motor Imagery;
3) SSVEP (Steady State Visually Evoked Potential).
Р300 - реакция на единичный визуальный раздражитель, которая проявляется с задержкой в среднем 300 мс [4].
Motor Imagery - мыслительная активность, сопровождающая реальные или воображаемые движения конечностями.
SSVEP - реакция на зрительный раздражитель повторяющийся с частотой от 3,5 до 75 Гц, выраженная в электрической активности зрительной области мозга с той же или кратной частотой. Для снятия электрических потенциалов коры головного мозга в эксперименте используется периферийное устройство Emotiv Epoc с 14 электродами. В качестве программной среды выбрано свободно распространяемое ПО OpenViBE.
Схема эксперимента. В ходе эксперимента производилось управление имитатором надводного судна. В данной работе используется имитатор «ИС-2005» ЗАО «Инженерный центр информационных и управляющих систем». Имитатор предназначен для имитации сигналов приемника ГЛОНАСС/DGPS, лага, компаса и датчика положения руля для проверки и настройки современных
авторулевых. Имитатор моделирует: корпус судна (подводная и надводная части), гребной винт фиксированного и регулируемого шага, руль, главный двигатель судна (модель только по частоте вращения), рулевую машину постоянной или переменной производительности (с двумя насосами) со следящей системой; действующие возмущения (постоянный ветер, порывы ветра, двухмерное нерегулярное морское волнение, постоянное течение); датчики (лаг с КМЕА-выходом, приемник ГЛОНАСС/ООРБ с КМЕА-выходом, компас с КМЕА-выходом, датчик обратной связи руля и др.)
На вход имитатора подавались сигналы положения руля, сформированные в процессе работы интерфейса мозг-компьютер.
Работа интерфейса проходит в несколько последовательных этапов.
Этап 1. Подготовительный. Следует удостовериться в корректном расположении считывающего устройства, наличии соединения клиент-сервер в среде разработки. На этом этапе обеспечивается штатный режим снятия данных ЭЭГ и/или вносятся изменения в параметры сервера, указывается специальная информация (пол, возраст и т.д.).
Этап 2. Снятие первоначальных данных. Первоначальные данные необходимы для последующих выработки фильтра и тренировки классификатора. К данному этапу следует подойти ответственно и минимизировать факторы, отвлекающие и рассеивающие внимание пользователя, поскольку обучающая выборка с точки зрения классификатора всегда достоверна. Также этот этап может использоваться и для многократной тренировки самого пользователя интерфейса. Тренировка пользователя необходима для улучшения способности концентрироваться на текущем задании.
Этап 3. Выработка фильтра. Непосредственное участие пользователя не требуется. На этом этапе вырабатывается пространственный фильтр, использование которого позволяет увеличить качество принимаемого сигнала за счет использования других электродов, кроме непосредственно расположенных над рабочей областью головного мозга.
Этап 4. Обучение классификатора. На данном этапе также используются записанные ранее первоначальные данные. Классификатор, основанный на описанном выше методе линейного дис-криминантного анализа, разделяет выборку на 2 класса.
Этап 5. Финальный. Интерфейс работает в режиме «реального времени». Данные снимаются периферийным устройством, фильтруются, обрабатываются классификатором, и в виде управляющих импульсов подаются на внешнее устройство.
Снятие первоначальных данных. В то время как данные об активности головного мозга фиксируются периферийным устройством ЭЭГ, оператору представляется рабочее поле на мониторе, через которое осуществляется визуальная стимуляция. Оно представляет собой таблицу символов с попеременно подсвечивающимися строками и столбцами (рис. 3).
На стадии первоначального сбора данных предполагается фиксировать взгляд на символах из таблицы. Однако на стадии управления значимыми являются столбцы таблицы (правый от-
Риа 3. Таблица симв°л°в вечает за поворот вправо, левый - влево, центральный - за оста-
для визуальнои стимуляции новку). У вспышек, выделяющих строки и столбцы, фиксируется время, после которого во временном окне в 300 мс ожидается реакция на предъявленный стимул.
Данные, собранные на этом этапе, используются далее для формирования пространственного фильтра и классификатора.
Классификатор. Важным этапом работы интерфейса является обучение классификатора, который выделяет значимые раздражители на финальной стадии эксперимента.
Используемый классификатор представляет собой модуль, выполняющий множественное обучение по выделению единственного характеристического вектора из множества векторов и дальнейшей проверки этого вектора на обучаемом классификаторе. В качестве математического аппарата используется линейный дискриминантный анализ.
Линейный дискриминантный анализ (ЬОА) является алгоритмом классификации, который разделяет входное множество на два класса.
Пусть исходная выборка Х разделяется на две подвыборки Х1 и Х2, где Х1 - выборка, состоящая из п1 векторов первого класса, Х2 - выборка, состоящая из п2 векторов второго класса. Пусть также (1) - центр первого класса, (2) - центр второго класса, (3) и (4) - несмещённая 1-я координата векторов первого и второго класса соответственно.
Для дальнейших вычислений необходимо построить корреляционную матрицу S, которая определяет степень корреляции между различными координатами. Данная матрица разбивается на две части - S1 и S2, соответствующие двум классам:
-1 У"1*!
х1 = ^'= ', (1)
«i
2
X2 = Ь'=1 *' , (2)
n2
XX1 = х1 -х!, 1 = 1...и , (3)
XX2 = х2 -хг2, 1 = 1...И , (4)
1 X' X j
slj = -LJT, (5)
« -1
S'2; = ^, (6)
«2 - 1
S = S1 + S 2. (7)
Результат классификации y на некотором входном векторе x вычисляется следующим образом:
У =
Г X1 + X 2 x -
2
S(X1 - X2). (8)
Вектор у содержит действительные значения, причём если вектор х принадлежал первому классу, то выход будет положительным, а в противном случае - отрицательным. Результаты. Результаты проведения эксперимента отражены на рис. 4.
Сплошной линией отмечено изменения угла положения руля по времени, пунктиром - сигналы, поступающие с выхода интерфейса (влево/стоп/вправо). И хотя достижимая точность распознавания удовлетворительна, а именно 78%, были выявлены некоторые недостатки. Как видно из графиков (см. рис. 4), сигнал на смену состояния руля приходит через фиксированные промежутки времени -это особенность выбранного метода генерации стимулов. Однако у данного метода есть потенциал развития, применительно к системам управления: возможно использование гораздо большего числа состояний, управление не только положением руля, но и другими показателями. Кроме того, предполагаемое в ближайшем времени использование методов классификации нейросетевыми алгоритмами позволит существенно увеличить точность распознавания действий [6].
Таким образом, на данном этапе развития применение этому комплексу может быть найдено в управлении некими вспомогательными системами, не требующими высокой точности действий. Отметим, что использование интерфейса мозг-компьютер в качестве побочного результата позволяет решать задачу аутентичности источника сигналов управления.
Литература
1. Vidal J. Real-Time Detection of Brain Events in EEG // Proceedings of the IEEE. - 1977. - Vol. 65, № 5. - P. 633-641.
2. Шмидт Р. Физиология человека / Р. Шмидт, Г. Тевс. - М.: Мир, 1996. - Ч. 3. - 323 с.
3. Вишняков М.С. Использование потенциалов коры головного мозга для парольной идентификации на основе технологии «ИМК» / М.С. Вишняков, М.Е. Маркин, С.М. Гончаров // Информация и безопасность. - 2012. - Т. 15, № 3. - С. 404-409.
4. Decety J. Brain structures participating in mental simulation of motor behavior: A neuropsychological interpretation / J. Decety, D.H. Ingvar // Acta Psychologica. - 1990. - Vol. 73. -P. 13-24.
5. Мещеряков Р.В. Биометрические методы идентификации / Р.В. Мещеряков, А. А. Шелупанов, В.П. Бондаренко // Известия Южного федерального университета. Технические науки. - 2003. -Т. 33, № 4. - С. 176-177.
6. Костюченко Е.Ю. Идентификация по биометрическим параметрам при использовании аппарата нейронных сетей / Е.Ю. Костюченко, Р.В. Мещеряков // Нейрокомпьютеры. - 2007. -№ 7. - С. 39-50.
Гончаров Сергей Михайлович
Канд. физ.-мат. наук, доцент, зав. каф. безопасности информации и телекоммуникационных систем Морского государственного университета им. адм. Г.И. Невельского (МГУ им. адм. Г.И. Невельского), Владивосток Эл. почта: sgprim@smtp.ru, goncharov@msun.ru
Маркин Михаил Евгеньевич
Мл. науч. сотр. сектора информационной безопасности НИИ морского транспорта МГУ им. адм. Г.И. Невельского Тел.: +7-914-652-66-79 Эл. почта: markin_1941@mail.ru
Goncharov S.M., Markin M.E.
«Brain-computer interface» as new technology of control and information transfer
Researched the applying of brain-computer interface as new non-standart technology for control of moving object and information transfer. This technology allow to verify authenticity of signal source at every turn. Describes the experiment for control of marine surface vessel simulator, optimal ways for EEG data processing and training classifiers. Offered the directions for further research.
Keywords: Brain-Computer Interface, motor imagery visual evoked potentials, control of moving objects, information security, biometric authentication.
