CC BY
108
УДК 681.322.067
С.М. Гончаров, М.С. Вишняков
Идентификация пользователей на основе электроэнцефалографии с использованием технологий «Интерфейс мозг-компьютер»
Рассматриваются основные способы идентификации пользователя на основе электроэнцефалографии головного мозга. Описываются оптимальные способы предварительной обработки сигнала ЭЭГ. Предлагаются направления дальнейшего развития методов идентификации и аутентификации пользователей на основе реакции пользователя на стимуляции с использованием методов классификации.
Ключевые слова: идентификация, электроэнцефалография, ИМК, линейный дискриминантный анализ, пространственная фильтрация, нечеткие данные, биометрический ключ, парольная мысль, воображаемое движение, визуально вызванные потенциалы.
В настоящее время широкое применение получают биометрические системы аутентификации и идентификации. К одному из новых направлений в биометрии можно отнести системы обработки данных ЭЭГ. Подобные системы получили название «Интерфейс мозг-компьютер», или ИМК (Brain-Computer Interface, BCI, англ). ИМК - это коммуникационный канал, позволяющий управлять внешними устройствами, используя лишь данные об активности головного мозга. В ходе исследований технологий ИМК разрабатываются различные направления: воображаемое движение (motor imagery, англ.), вызванные зрительные потенциалы (visual evoked potentials, VEP, англ.), вызванный потенциал P300. На основе данных технологий выполнено множество различных приложений, таких как виртуальная клавиатура или компьютерная мышь. Возможность извлечения информации из человеческого мозга привела к новой парадигме исследований - биометрии, основанной на ЭЭГ. Использование данных ЭЭГ имеет несколько преимуществ. Они конфиденциальны, их весьма сложно подделать и практически невозможно украсть, кроме того, «пароль» легко сменить [1].
Впервые идея аутентификации на основе данных ЭЭГ была предложена С. Марселом (S. Marcel) [7]. В дальнейшем Р Паранджап (R Paranjape) проводил исследования о применимости данных ЭЭГ в биометрических системах [8]. В тех же направлениях велись исследования и группой М. Поулоса (M. Poulos) с соавторами [9]. В работах Р Паланьяпана (R. Palaniappan) с соавторами особое значение отводится роли визуальных стимуляций в вопросах идентификации с использованием данных ЭЭГ [10].
В данной статье будут рассмотрены способы применения ИМК в целях идентификации пользователей. Для распространения подобных технологий первым шагом является разработка алгоритмов ввода пароля.
Наиболее приемлемыми для этой цели системами являются:
1. Ввод парольного текста с использованием методов буквопечатания на основе сигнала P300.
2. Ввод пароля как последовательности смены воображаемых движений конечностями.
3. Ввод пароля в виде кода на основе реакции головного мозга на подсвечиваемые с определённой частотой поля по методу SSVEP.
Процесс обработки сигнала для каждого из предложенных направлений представляет собой четыре этапа:
1. Снятие информации с предоставлением стимуляций (при необходимости).
2. Пространственная фильтрация.
3. Формирование классификатора на основе линейного дискриминантного анализа.
4. Непосредственно ввод пароля.
Использование сигнала P300 для набора парольного текста
Применение ИМК на основе сигнала Р300 для набора текста (буквопечатание) является хорошо зарекомендовавшим себя методом. Логичными являются попытки применить метод буквопечатания в области идентификации. В этом случае вводимый текст есть непосредственно пароль. Механизм работы ИМК основан на детектировании потенциала Р300, который возникает в затылочной доле
головного мозга во временном интервале 300 мс в ответ на зрительный стимул, предъявляемый в поле зрения испытуемого.
Экспериментальная реализация заключалась в проведении 5 обучающих и 1 контрольного теста на каждом испытуемом. На основе собранных данных после каждого обучения классификатор перенастраивался. Посредством обучения была достигнута точность ввода 90 процентов, время эксперимента жестко ограничивалось 150 с. В эксперименте принимали участие 3 испытуемых. Стати-
стика по экспериментам приведена на диаграмме (рис. 1). В результате скорость буквопечатания составила 3,6 символа в минуту (16,5 с на символ).
Рис. і. Статистика по эксперименту Р300
90
80
70
60
50
40
30
20
10
ІШЛ
■ 1 попытка
■ 2 попытка 3 попытка
■ 4 попытка 5 попытка
«Контроль
№1
№2
№3
Ввод пароля как последовательности смены воображаемых движений конечностями
«Motor Imagery» - это воображаемое движение конечностями. Воображаемое движение может быть определено как динамическое состояние, в течение которого человек мысленно имитирует заданное действие. Исследования функциональной нейровизуализацией показали, что воображаемое движение связано с активацией нейронных цепей, участвующих в ранней стадии управления движением. Эти цепи включают в себя дополнительную моторную область, первичную моторную кору, нижнюю теменную кору, базальные ганглии и мозжечок [6].
В качестве методики распознавания сигналов «Motor Imagery» использовалось свойство симметрии отделов головного мозга и управляемых ими частей тела. Данный подход позволяет определять активную зону левого или правого полушария в зависимости от представляемого испытуемым движения левой или правой конечностью [4].
Испытуемому, сидящему на удобном стуле, ставилась задача воображать поднятие правой или левой руки в соответствии с появляющимися на экране компьютера указаниями. При этом ему следовало быть неподвижным и сосредоточить своё внимание исключительно на процессе «воображения». Указания представляют собой графическую визуализацию в виде стрелки, появляющейся на экране с заданной периодичностью.
Авторами реализован ряд экспериментов в проведении 5 обучающих и 1 контрольного теста на каждом испытуемом. На основе собранных данных после каждого обучения перенастраивались классификатор и пространственный фильтр. Посредством обучения была достигнута точность определения воображаемого движения в 95%. При этом скорость ввода (скорость изменения состояния воображаемого действия) составляла 1-0,5 значения в секунду. В эксперименте принимали участие 4 испытуемых. Статистика по экспериментам приведена на диаграмме (рис. 2).
Ввод пароля в виде кода на основе реакции головного мозга на подсвечиваемые с определённой частотой поля по методу SSVEP
Технология SSVEP (стационарные визуально вызванные потенциалы) базируется на оценке потенциалов, возникающих в мозге при наблюдении за участками экрана, мигающими с разной частотой. Анализируя эти потенциалы, можно определить, на какой именно участок смотрит человек, и связать это с командами. В затылочной зоне головного мозга человека находится зона, отвечающая за реакцию узнавания. В случае появления вспышки в ритмах в затылочной и теменной области наблюдается чёткая модуляция ритма частотой сигнала, регистрируемого глазом человека.
Способ генерации визуальных стимулов (последовательности вспышек), при котором наиболее различимы нейронные реакции, называют «частотной меткой». Используется 2 или более одновременно предоставляемых стимула с разной частотой. Фиксируемый на ЭЭГ сигнал имеет чётко выраженную спектральную составляющую для каждой из частот предъявляемого стимула.
Применительно к задаче идентификации использование метода SSVEP заключается в наборе, представленного в виде последовательности «частотных меток» пароля. Задача пользователя - скон-
центрировать внимание на определённом стимуле, игнорируя другие, выполняя задачу обнаружения цели.
□ Испытание 1
■ Испытание 2
□ Испытание 3
□ Испытание 4
■ Испытание 5
□ контроль
№1 №2 №3 №4
Рис. 2. Статистика по эксперименту Motor Imagery
В ходе проведения эксперимента испытуемым предлагалось сконцентрироваться на одной из «частотных меток», либо на свободном поле и, таким образом, набрать определенную последовательность из 20 символов (рис. 3). Скорость набора, варьирующаяся от пользователя к пользователю, составляет 1-2 символа в секунду.
Рис. 3. Статистика по эксперименту SSVEP (точность набора последовательности)
Пространственная фильтрация
Снимаемый сигнал может находиться в частотном диапазоне с широкими рамками. Поэтому в первую очередь следует произвести фильтрацию. Рекомендуется использовать полосовой фильтр (фильтр Баттерворта 5-го порядка), ограничив нижнюю полосу пропускания 8 Гц, а верхнюю полосу пропускания 30 Гц.
Данные из потока подаются на вход модуля обучения пространственного фильтра. Задача пространственного фильтра - выделить для каждого типа стимуляции (направления или покоя) наиболее значимые электроды и определить коэффициент, на который будет помножена амплитуда сигнала для каждого из электродов. Оценка представляет собой сравнение состояния покоя и активности на каждом из каналов и выявления тех из них, на которых происходит наибольшее изменение. Обычно наиболее значимыми являются электроды в районе центральной моторной коры (см. рис. 2).
Классификация на основе линейного дискриминантного анализа
Для формирования закономерностей в системе между образцом и целевым действием используют способ классификации, генерирующий вектор чисел, характеризующих степень соответствия данного искомому [5].
Используемый классификатор представляет собой модуль, выполняющий множественное обучение по выделению единственного характеристического вектора из множества векторов и дальнейшей проверке этого вектора на обучаемом классификаторе. В качестве математического аппарата используется линейный дискриминантный анализ.
Линейный дискриминантный анализ (LDA) является алгоритмом классификации, который разделяет входное множество на два класса.
Пусть исходная выборка Х разделяется на две подвыборки Х1 и Х2, где Х1 - выборка, состоящая из п векторов первого класса, Х2 - выборка, состоящая из п2 векторов второго класса. Пусть также
Рис. 4. Схема размещения электродов на голове для работы с сигналом Motor Imagery (слева) и для работы с сигналами SSVEP и РЗ00 (справа)
(1) - центры первого и второго класса соответственно, (2) и (3) - несмещённая і-я координата векторов первого и второго класса соответственно.
Для дальнейших вычислений необходимо построить корреляционную матрицу 8, которая определяет степень корреляции между различными координатами. Данная матрица разбивается на две части - 81 и 82, соответствующие двум классам:
Щ п2
£х: -2 £х2
X = —, X = ----, (1)
п1 п2
-і = -і - -і, і = , (2)
X 2 = -2 - -2, і = щ, (3)
Х1 V! \г2 у2
V - і О -і' - і
8‘; = , 82 =^-1-, (4)
щ -1 п1 -1
8 = 81 + 82. (5)
Результат классификации у на некотором входном векторе х вычисляется следующим образом:
'■ к+ъиь- -2). (6)
у =
х —
Вектор у содержит действительные значения, причём если вектор х принадлежал первому классу, то выход будет положительным, а в противном случае - отрицательным [4].
Перспективы в разработке методов идентификации и аутентификации на основе данных ЭЭГ
В ходе исследований в области идентификации представленными методами замечено, что на этапе формирования классификатора образуется набор данных, уникальный для каждого пользователя. Количество элементов в наборе напрямую зависит от используемого метода идентификации: для воображаемого движения количество элементов классификатора соответствует количеству степеней свободы (количество доступных воображаемых действий частями тела); для ББУЕР соответственно - количеству выбранных частотных меток.
Значения, полученные в ходе классификации, представляют собой коэффициенты корреляции между эталонным значением и реакцией головного мозга пользователя на стимуляцию для каждого класса. Полученные значения существенно отличаются для разных пользователей (в первом знаке после запятой). Для различных итераций одного и того же пользователя значения отличаются не больше чем в третьем знаке после запятой.
Рассматривается возможность использования совокупности этих коэффициентов, представляющих разные степени свободы системы как личного уникального идентификатора пользователя.
В качестве еще одного метода рассматривается метод «парольной мысли» [3]. Алгоритм работы можно представить в виде нескольких этапов:
1. Пользователь получает стимуляцию, сообщающую о готовности системы.
2. Пользователь концентрирует внимание на ярком ключевом образе (воспоминании) -назовём его S.
3. Снятый сигнал 5 преобразуется во множество отсчётов Р, проходит обработку -фильтрацию и математическую обработку, приводящую в результате к множеству Рг. Множество Рг представляет собой наиболее значимые, соответствующие периоду концентрации внимания на ключе значения Р.
4. Полученный Рг используется для шифрования ключа или кодового слова. Следует подбирать метод шифрования, обеспечивающий минимальное количество ошибок. Результирующее значение ¥Рг используется для аутентификации.
5. В ходе аутентификации пользователь концентрируется на том же образе. При условии, что вновь полученный Рг1 достаточно близок к Рг, пользователь получает доступ к системе.
Процесс зашифрования представлен следующим образом: ¥Рг = ЕРг(К), а процесс дешифрования - соответственно 0Рг(УРг) = К, где Е и Б - алгоритм зашифрования и дешифрования соответственно.
В ходе экспериментов выяснено, что необходимым значащим образом может являться некоторый визуальный или аудиостимул, предоставляемый пользователю во время аутентификации.
Литература
1. Hideaki Touyama EEG-Based Personal Identification // Recent Advances in Biomedical Engineering. - 2009. - Р. 417-422.
2. Харин Е.А. Построение систем биометрической аутентификации с использованием генератора ключевых последовательностей на основе нечетких данных / Е.А. Харин, С.М. Гончаров, П.Н. Корнюшин // Матер. 50-й Всерос. межвуз. науч.-техн. конф. - Владивосток: ТОВМИ, 2007. - С. 112-115.
3. Thorpe J. Pass-thoughts: Authenticating With Our Minds // Proceedings of the 2005 Workshop on New Security, The Association for Computing Machinery, New York, 2006. - 107 p.
4. Decety, J. Do executed and imagined movements share the same central structures? // Cognitive Brain Research. - 1996. - Р. 87-93.
5. Карловский Д.В. Методы и алгоритмы синтеза нейрокомпьютерного интерфейса на основе анализа вызванного потенциала Р300 электроэнцефалограммы: автореф. дис... канд. техн. наук. -М.: 2009. - С. 2-7.
6. Decety J. Mapping motor representations with PET. Nature // author’s abstract of dis. - 1994. -P. 600-602.
7. Marcel S. Person Authentication Using Brainwaves (EEG) and Maximum A Posteriori Model Adaptation / S. Marcel, J. Millan // IEEE Trans. Pattern Analysis and Machine Intelligence. - 2007. -Р. 743-752.
8. Paranjape R. The Electroencephalogram as A Biometric / R. Paranjape, J. Mahovsky, L Benedicenti, Z. Koles // In Proc. Canadian Conference on Electtrical and Computer Engineering. - 2001. -Vol. 2. - Р. 1363-1366.
9. Poulos M. Neural Network Based Person Identification Using BEG Features / M. Poulos M. Rangoussi, N. Alexandris // IEEE Int. Conference on Acoustics, Speech, and Signal Processing. -1999. - Р. 1117-1120.
10. Palaniappan R. Method of Identifying Individuals Using VEP Signals and Neural Networks // Sci. Meas. Technol. - 2004. - Р. 1386-1389.
Гончаров Сергей Михайлович
Канд. физ.-мат. наук, доцент, зав. каф. «Безопасность информации и телекоммуникационных систем» (БИТС) Морского Государственного университета им. адм. Г.И. Невельского (МГУ им. Г.И. Невельского)
Тел.: +7-914-707-29-93
Эл. почта: [email protected], [email protected]
Вишняков Марк Сергеевич
Аспирант каф. БИТС МГУ им. Г.И. Невельского
Тел.: +7-924-254-44-41
Эл. почта: [email protected]
Goncharov S.M., Vishnyakov M.S.
User identification based on electroencephalography data using «Brain Computer Interface» technology
Researched the main ways of user identification based on EEG.. Considered the best ways of EEG signal preprocessing. Offered the directions for further development of identification and authentication methods based on response to stimulation using classification methods.
Keywords: identification, electroencephalography, BCI, classification, linear discriminant analysis, spatial filtering, fuzzy data, biometric key, password thought, imagined movement, visual evoked potentials.
