CC BY
72
-►
Приборы, информационно-измерительные системы
УДК 004.931
К.М. Сонькин Санкт-Петербург, Россия
РАСПОЗНАВАНИЕ ПАТТЕРНОВ МОЗГОВОЙ АКТИВНОСТИ НА ОСНОВЕ МЕТОДА СИМВОЛЬНОЙ РЕГРЕССИИ
K.M. Sonkin
St.-Petersburg, Russia
BRAIN ACTIVITY PATTERN RECOGNITION BASED ON SYMBOLIC REGRESSION
Рассмотрена задача анализа электроэнцефалограмм с целью создания эффективных средств распознавания и категоризации. Реализован метод символьной регрессии на основе генетического программирования, ключевым преимуществом которого является автоматический подбор структуры регрессионной модели. Приведены результаты исследований, показывающие, что точность регрессионных моделей сигналов малой длительности составила в среднем 86 %.
АНАЛИЗ СИГНАЛОВ ЭЭГ. СИМВОЛЬНАЯ РЕГРЕССИЯ. ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР. ПАТТЕРНЫ МОЗГОВОЙ АКТИВНОСТИ. ВООБРАЖАЕМЫЕ ДВИЖЕНИЯ.
The task of electroencephalogram analysis is examined for the purpose of generation of effective recognition and categorization means. Symbolic regression method based on genetic programming is realized with the key advantage of automatic generation of regression model structure. Research results, given in the paper, represent the accuracy of short duration signals regression models at the level of 86 % upon the average.
ANALYSIS OF EEG SIGNALS. SYMBOLIC REGRESSION. BRAIN-COMPUTER INTERFACE. BRAIN ACTIVITY PATTERNS. IMAGINED MOVEMENTS.
Системы анализа сигналов мозговой активности человека от неинвазивных источников, полученных в процессе электроэнцефалографии (ЭЭГ), являются основой интенсивно развивающегося междисциплинарного исследования по созданию интерфейса мозг-компьютер (ИМК). ИМК измеряет активность мозга и конвертирует ее в «искусственный выход мозга», который замещает или дополняет естественные выходы, и, соответственно, изменяет последующие взаимодействия между мозгом и окружающей средой [1]. Эта функция ИМК обусловливает его актуальность для людей с ограниченными возможностями, с тяжелыми двигательными нарушениями, а также в контексте развития исследований деятельности головного мозга.
Подавляющее большинство ИМК, основанных на различных подходах (регистрация вызванного потенциала Р300, регистрация моторного воображения, визуально вызванные потенциалы), имеет сходные этапы обработки сигналов ЭЭГ:
1) выделяются участки ЭЭГ в наблюдаемых каналах, на которых ожидается возникновение сигналов с характерными признаками;
2) осуществляется переход к спектральному анализу с помощью преобразования Фурье;
3) применяется нейросетевой подход для распознавания или категоризации паттернов [2-6].
Рассмотрим второй этап подробнее. Недостатком спектрального анализа является потеря информации о временной локализации частот и
корреляции между характерными событиями во временной области.
Цель данной работы - создать эффективные средства анализа сигналов ЭЭГ, позволяющие решать задачи распознавания и категоризации наблюдаемых паттернов. Для этого предлагается использовать метод символьной регрессии [7], что дает возможность, в определенной мере, устранить указанный выше недостаток. В результате получается регрессионная модель сигнала ЭЭГ в аналитическом виде, позволяющая осуществлять генерацию характерных признаков с использованием методов классического функционального анализа.
Для оценки эффективности предложенного подхода проведены модельные исследования. При этом в качестве исходных данных использовались записи ЭЭГ, полученные при осуществлении воображаемых движений пальцами одной руки. Полученные результаты показывают возможность достоверного различения воображаемых движений разными пальцами и позволяют оценить точность символьных регрессионных моделей.
Метод символьной регрессии
Задача отыскания оптимальной параметрической регрессионной модели является крайне актуальной в области распознавания образов, несмотря на большую историю исследований. Известен метод группового учета аргументов, согласно которому модель, доставляющая наилучшее приближение, отыскивается во множестве последовательно порождаемых моделей [8].
В предлагаемой статье реализуется метод символьной регрессии. Символьная регрессия - метод построения регрессионных моделей путем перебора произвольных суперпозиций функций из некоторого заданного набора. Для построения суперпозиции функций и поиска оптимальной регрессионной модели используется генетическое программирование. При этом реализуется поиск моделей по итерационной схеме «порождение-выбор» в соответствии с определенными правилами порождения моделей и критерием их выбора. Последовательно порождаются наборы конкурирующих моделей, при этом каждая модель является суперпозицией элементов заданного множества гладких параметрических функций. Из набора
выбираются лучшие модели для последующей модификации.
Поставим задачу нахождения символьной регрессионной модели нескольких свободных переменных следующим образом. Пусть имеется п независимых переменных Х1, г = 1, п и одна зависимая переменная 7. Также задана выборка е К значений независимых случайных величин
Х1 = Хк Х2 = Хк ,2 , Хп = Хк, п , к = 1N :
X =
и вектор 7 е КИ соответствующих значений зависимой случайной величины
>1
_ 1 У 2
7(Х1 = ХкД, •..,Хп = Хк,п) = Ук,к = 1,N : 7 = '
Обозначим как множество входных данных множество Б = {X, 7 }.
Также задано множество гладких функций О = {£ (х, у, г, •..)! g : К х... х К ^ К}. Функции g(х,у, г, •..)е О имеют конечное число аргументов, отличное от нуля. В качестве аргументов функций g е О могут выступать как значения независимых переменных из матрицы X, так и значения, являющиеся результатом вычисления другой функции g' е О (g' не обязательно должна быть отлична от g). Состав множества гладких функций определяется с учетом природы анализируемых данных. Наиболее часто с этой целью используются экспоненциальные, тригонометрические, логарифмические функции.
Рассмотрим множество всевозможных суперпозиций из не более, чем г е К функций
g еО: Я = {ш(х) = С?1 0g2 gk)(х)| gi е О,
г = 1, к, к < г} . Каждый элемент множества ш е 0.г является гладкой функцией от вектора независимых переменных ш = ш (х), х = (х1, •.., хп )т . В общем случае произвольная функция ш может зависеть не от всех компонент вектора х.
Регрессионная модель /г'л (м>, х) будет задаваться следующим образом:
Рис. 1. Паттерны ЭЭГ, соответствующие воображаемым нажатиям на кнопку большим и указательным пальцами одной руки
г,4 (х) = wт
О
где тор
= w0 + ^гаДх) + ... + wi (х),
4 е Я ; w = (wo, ..., wd)т е Я4+1 регрессионной
- век-модели;
параметров
х = (х1, ..., хп) е Яп - вектор независимых переменных; О а = [® 1( х), ю 4 (х)]т, ю г (х) е О, г, г = 1, 4 - вектор, компонентами которого являются суперпозиции гладких функций из множества Ог. Таким образом, регрессионная модель в общем случае является нелинейной относительно вектора независимых переменных. В предлагаемой работе построение суперпозиции функций и поиск оптимальной регрессионной модели происходит с помощью генетического программирования.
Наконец, определим множество всех регрес-
сионных моделей Фг,2 = {/г,4 (w, х) | 4 < 2}.
Зададим функционал невязки регрессионной модели /г,л х) следующим образом:
1 М
р( Г4) = ^ N У (Г 4 ^,)— )2,
где Хк - строка матрицы X значений независимых переменных; ук -компонента вектора У - соответствующее значение зависимой переменной;
- вектор оптимальных параметров для линейной регрессионной модели /Г,Л х), найденный с помощью метода наименьших квадратов:
= агвтш! -У (Г,4(w,Хк)-Ук)2
wеR
Итак,
1 N
2 к=1
требуется
найти такую регресси-
онную модель /г' (И, х) е Фг 2, которая доставляет минимум функционалу р(/г,4):
РЛ (W, х) = а^тт р( Г,Л).
г 4 ефг,2
Рис. 2. Паттерны ЭЭГ, соответствующие воображаемым и реальным нажатиям на кнопку большим пальцем
- 1 1 1 ■ 1 1 1 1 1
\\ /АА? У м
- 1 1 | I 1111
Рис. 3. Паттерн ЭЭГ, соответствующий воображаемому нажатию на кнопку указательным пальцем (-), полученная регрессионная модель (----)
Результаты эксперимента
Символьная регрессия коротких участков сигналов ЭЭГ, соответствующих мысленным командам, рассматривается в качестве средства перехода от численных к аналитическим, функциональным методам анализа.
На данный момент среди ИМК, основанных на анализе ЭЭГ, наиболее перспективными представляются интерфейсы, классифицирующие ментальные состояния, соответствующие воображению движений различных органов тела. У людей в состоянии бодрствования наблюдается ритм в диапазоне 8-12 Гц над первичными областями соматосенсорной и двигательной коры в отсутствие сенсорного входа или движения, называемый мю-ритмом. Движение или подготовка к движению некоторого исполнительного органа обычно сопровождается десинхрониза-цией мю- и бета-ритмов в корковых представительствах этого органа, Увеличение мю-ритма, т. е. синхронизация, связанная с событием, наблюдается после движения и во время расслабления [9].
В результате совместных исследований с сотрудниками Института мозга человека РАН организован и проведен эксперимент, в котором в качестве управляющих команд регистрировались сигналы ЭЭГ, записанные во время выполнения испытуемым реальных и воображаемых движений. Такими движениями были нажатия на кнопку большим и указательным пальцами одной руки. Кнопка располагалась под двумя пальцами, что исключало необходимость движения кистью. Проводились серии воображаемых и реальных нажатий по 100 реализаций каждая. В результате эксперимента установлено, что паттерны, уникальные для каждого из типов движений, возникают в отведениях С3 и Сz, что соответствует
литературным данным [9]. На рис. 1 и 2 приведены паттерны мозговой активности: сигналы ЭЭГ, усредненные по 10 реализациям, соответствующие различным типам движения.
Особый интерес представляют записи сигналов ЭЭГ при воображаемых движениях большим и указательным пальцами. Из результатов эксперимента следует, что при обеспечении необходимой точности средств распознавания и классификации, возможно управление ИМК с помощью воображаемых движений пальцами руки.
Для каждого из полученных сигналов были построены символьные регрессионные модели с использованием приведенного в статье метода. На рис. 3 приведен один из сигналов и соответствующая регрессионная модель.
Аналитический вид полученной регрессионной модели:
4,575 sin2(6,236x) + (2,907 - 71,57/х) х х sin(6,236x) - 0,025 8ш(6,Их)(х + 29,76) + +0,02 sin(6,039x)(5,961x + 38,89) -- 0,0006 sin(6,039x)(x + 17,57)2 - 2,846.
Высокая точность полученных регрессионных моделей, составляющая, усредненно по выборке, 86 %, позволяет учесть все характерные точки исходного сигнала, а широкий набор средств функционального анализа делает возможным формирование вектора признаков, соответствующего конкретным командам из определенного набора. Таким образом, целостный конструкт ритмов ЭЭГ ставится в соответствие целостному когнитивному процессу - мысленной команде.
В результате проведенных исследований установлено, что метод символьной регрессии применим для построения регрессионных моделей сигналов электроэнцефалограмм и анализа
их во временной области. В частности, проведены эксперименты по анализу сигналов ЭЭГ большой (порядка 2000 мс) и малой (400-500 мс) длительности, регистрируемых во время решения различных когнитивных задач. В первом случае получены символьные регрессионные модели паттернов мозговой активности при решении пространственных и вербально-логических задач, соответствующих полному времени решения задачи. Результатом применения описанного выше метода для различения паттернов когнитивной деятельности стало существенное снижение размерности данных, возможность структурного анализа и выявления характерных ритмических признаков [10].
Особый интерес представляют результаты применения регрессионных моделей для сиг-
налов малой длительности, регистрируемых во время воображаемых нажатий на кнопку, где точность модели составила в среднем 86 %. Это создает необходимые предпосылки для значительного увеличения точности средств распознавания и категоризации сигналов мозговой активности, в частности, в интерфейсе мозг-компьютер, позволяющем управлять устройствами с помощью мысленных команд в реальном времени.
Ключевыми преимуществами применения предложенного метода являются автоматический подбор регрессионной модели в аналитическом виде и анализ сигнала во временной области, что позволяет генерировать векторы признаков для подачи на вход нейронной сети с учетом локальных экстремумов и их временной локализации.
СПИСОК ЛИТЕРАТУРЫ
1. Wolpaw, J.R. Brain-computer interfaces as new brain output pathways [Text] / J.R. Wolpaw // J. Physiol 579.3. -2007. -P 613-619.
2. Farwell, L.A. Taking off the top of your head: toward a mental prosthesis utilizing event-related potentials [Text] / L.A. Farwell, E. Donchin // Electroencephalogr. Clinical Neurophysiology. -1988. -Vol. 70. -P. 510-523.
3. Шишкин, С.Л. Интерфейс мозг-компьютер на основе волны P300: волна N1 и проблема дистракто-ров [Текст] / С.Л. Шишкин, И.П. Ганин, И.А. Басюл, А.Я. Каплан // Матер. XV Междунар. конф. по нейро-кибернетике ICNC-09. -Ростов-на-Дону: ЮФУ, 2009. -Т. 2. -С. 30-33.
4. Wolpaw, J.R. Brain-computer interfaces for communication and control [Text] / J.R. Wolpaw [et al.] // Clinical Neurophysiology. -2002. -Vol. 113. -P. 767-791.
5. Zhu, D. A Survey of Stimulation Methods Used in SSVEP-Based BCIs [Text] / D. Zhu [et al.] // Computational
Intelligence and Neuroscience. -2010.
6. Иваницкий, Г.А. Распознавание типа решаемой в уме задачи по нескольким секундам ЭЭГ с помощью обучаемого классификатора [Текст] / Г.А. Иваницкий // Сб. науч. тр. VIII Всерос. науч.-техн. конф. Нейроинформатика-2006. -М.: МИФИ. -2006. -Т. 3. -С. 217-224.
7. Стрижов, В.В. Поиск параметрической регрессионной модели в индуктивно заданном множестве [Текст] / В.В. Стрижов // Журнал вычислительных технологий. -2007. -№ 1. -С. 93-102.
8. Malada, H.R. Inductive Learning Algorithms for Complex Systems Modelling [Text] / H.R. Malada, A.G. Ivakhnenko. -CRC Press, 1994.
9. McFarland, D.J. Mu and beta rhythm topographies during motor imagery and actual movement [Text] / D.J. McFarland, L.A. Miner, T.M. Vaughan [et al.]. -Brain Topogr. 2000a, 3. -P. 177-186.
1. Wolpaw J.R. Brain-computer interfaces as new brain output pathways / J. Physiol 579.3. - 2007.
- P 613-619.
2. Farwell L.A., Donchin E. Taking off the top of your head: toward a mental prosthesis utilizing event-related potentials / Electroencephalogr. Clinical Neurophysiology.
- 1988. Vol. 70. P. 510-523.
3. Shishkin S.L., Ganin I.P., Basiul I.A., Kaplan A.Ia. Interfeis mozg-komp'iuter na osnove volny P300: volna N1 i problema distraktorov / Mater. XV Mezhdunar. konf. po neirokibernetike "ICNC-09" (Rostov-na-Donu, 23-25 sent. 2009). - Rostov-na-Donu: IUFU, 2009. -T. 2.
- S. 30-33. (rus)
4. Wolpaw J.R. et al. Brain-computer interfaces for
communication and control / Clinical Neurophysiology. -2002. - Vol. 113. - P. 767-791.
5. Zhu D. et al. A Survey of Stimulation Methods Used in SSVEP-Based BCIs / Computational Intelligence and Neuroscience. - 2010.
6. Ivanitskii G.A. Raspoznavanie tipa reshaemoi v ume zadachi po neskol'kim sekundam EEG s pomoshch'iu obuchaemogo klassifikatora / Sb. nauch. tr. VIII Vseros. nauch.-tekhn. konferentsii Neiroinformatika-2006. - M.: MIFI, 2006. - T. 3. - S. 217-224. (rus)
7. Strizhov V. V. Poisk parametricheskoi regressionnoi modeli v induktivno zadannom mnozhestve / Zhurnal vychislitel'nykh tekhnologii. - 2007. - № 1. - S. 93-102. (rus)
4
8. Malada H.R., Ivakhnenko A.G. Inductive Learning Algorithms for Complex Systems Modelling. - CRC Press, 1994.
9. McFarland D.J., Miner L.A., Vaughan T.M.,
Wolpaw J.R. Mu and beta rhythm topographies during motor imagery and actual movement. - Brain Topogr. 2000a, 3. - P. 177-186.
© Санкт-Петербургский государственный политехнический университет, 2013
