CC BY
55
Научная статья
УДК 004.415.2.031.43
DOI 10.25205/1818-7900-2021-19-3-5-16
Разработка программного обеспечения для управления виртуальными объектами при помощи вызванного потенциала P300
Дмитрий Юрьевич Адов
Новосибирский национальный исследовательский государственный университет
Новосибирск, Россия [email protected], https://orcid.org/0000-0001-5220-2753
Аннотация
Рассмотрен принцип работы интерфейсов «мозг - компьютер» (ИМК) и метод детектирования фокуса внимания человека, основанный на вызванных потенциалах мозга (P300), проведен обзор существующих аппаратных и программных решений для реализации ИМК, выявлены их преимущества и недостатки. Спроектировано и реализовано программное обеспечение, которое, основываясь на методах работы с вызванными потенциалами, позволяет совершать выбор желаемого стимула из набора предъявляемых. Для получения электроэнцефалограммы была использована «Система для регистрации восьмиканальной ЭЭГ» от компании «BiTronics Lab», основанная на платформе Arduino. Фильтрация сигнала, обучение классификатора и визуализация реализованы на языке программирования Python. Ключевые слова
электроэнцефалография, ЭЭГ, программное обеспечение, интерфейс «мозг - компьютер», ИМК, вызванные потенциалы, P300 Благодарности
Автор выражает признательность Ольге Андреевне Джафаровой за идею для работы и профессиональные консультации, а также лаборатории «Инжевика» ФИТ НГУ за предоставленное оборудование Для цитирования
Адов Д. Ю. Разработка программного обеспечения для управления виртуальными объектами при помощи вызванного потенциала P300 // Вестник НГУ. Серия: Информационные технологии. 2021. Т. 19, № 3. С. 5-16. DOI 10.25205/1818-7900-2021-19-3-5-16
Development of Software for Control of Virtual Objects Using Event-Related Potential P300
Dmitrii Yu. Adov
Novosibirsk State University Novosibirsk, Russian Federation [email protected], https://orcid.org/0000-0001-5220-2753
Abstract
The article considers the principle of operation of brain-computer interfaces (BCI) and a method for detecting the focus of a person's attention using event-related potential (P300). The review of the existing hardware and software solutions for the implementation of BCIs was performed including the identification of their advantages and disadvantages. The program that allows you to choose the desired stimulus from a variety of presented was developed.
© Адов Д. Ю., 2021
An electroencephalograph of the BiTronics Lab company on the Arduino platform was used to receive the signal. Signal filtering, classifier training and visualization are implemented in Python. Keywords
electroencephalography (EEG), software, brain-computer interface (BCI), event-related potential, P300 Acknowledgements
The author expresses gratitude to Olga A. Jafarova for the idea for work and professional advice, as well as to the laboratory "Inzhevika" of the FIT NSU for the equipment provided For citation
Adov D. Yu. Development of Software for Control of Virtual Objects Using Event-Related Potential P300. Vestnik
NSU. Series: Information Technologies, 2021, vol. 19, no. 3, p. 5-16. (in Russ.) DOI 10.25205/1818-7900-2021-193-5-16
Введение
Следующий крупный скачок в развитии человечества, вероятнее всего, будет связан с нейротехнологиями и постепенным увеличением производительности умственного труда за счет интеграции вычислительных машин и мозга человека. Развитие этого направления ускорится после завершения расшифровки работы мозга и в связи с биотехнологической революцией, которая началась после расшифровки генома человека.
Применение интерфейсов «мозг - компьютер» в образовательных целях позволит резко увеличить скорость и объем усвоения новой информации, а развитие нейрогарнитур, модуляции памяти и нейрофитнеса приведет к заметному усилению когнитивных способностей человека 1.
В связи с постоянным ростом рынка текущая ситуация характеризуется дефицитом кадров в области нейротехнологий. Одной из самых разумных форм развития индустрии является сеть «кружков» - современно методически оснащенных центров, которые объединяют специалистов в области информационных технологий, физиологии, кибернетики и робототехники. Основным фокусом работы таких центров должно стать создание учебных программ 2. Поэтому мной принято решение разработать программное обеспечение для проведения тренингов с использованием биологической обратной связи, в частности вызванный потенциал P300. На основе работы было создано учебно-методическое пособие для развития и продвижения нейротехнологий среди школьников.
Объект работы - программное обеспечение для реализации интерфейса «мозг - компьютер». Предмет работы - разработка программного обеспечения, реализующего систему «мозг - компьютер», а также разработка учебно-методического комплекса (УМК), позволяющего познакомиться с нейротехнологиями учащимся школ.
Цель - разработать программное обеспечение для реализации интерфейса «мозг - компьютер», который позволит совершать выбор желаемого стимула из набора предъявляемых, используя классификатор на базе когнитивных компонентов вызванных потенциалов (Р300) для дальнейшего создания УМК.
Для достижения этой цели были поставлены следующие задачи:
• анализ предметной области;
• ознакомление с существующими решениями, выявление их недостатков и особенностей;
• составление требований для разрабатываемого интерфейса «мозг - компьютер»;
• реализация программной части;
• проведение апробации.
1 Национальная технологическая инициатива. Нейронет. URL: https://nti2035.ru/markets/neuronet (дата обращения 06.03.2021).
2 Экспертно-аналитический отчет: Анализ состояния и динамики мирового рынка нейротехнологий. URL: https://www.rvc.ru/upload/iblock/d0d/Analyz_sostoyanoya_i_dinamiki_mirovogo_ryinka_neirotehnologyi.pdf (дата обращения 04.10.2020).
ИМК и вызванные потенциалы P300
В течение многих лет люди предполагали, что электроэнцефалографическая активность мозга может предоставить новый немышечный канал для отправки сообщений и команд во внешний мир - интерфейс «мозг - компьютер» (ИМК). За последние два десятка лет было проведено множество исследовательских программ по отношению к ИМК. В связи с постоянно растущим уровнем понимания деятельности мозга, появлением недорогого высокопроизводительного компьютерного оборудования и растущим осознанием потребностей людей с ограниченными возможностями исследователи ИМК сосредоточены на разработке новых дополнительных технологий коммуникации и контроля для людей с тяжелыми нервно-мы-шеечными расстройствами. К таким можно отнести боковой амиотрофический склероз, инсульт ствола мозга и травму спинного мозга. Одной из основных целей является предоставление частично или полностью парализованным пользователям базовых возможностей общения для коммуникации с окружающими людьми. Более того, подобные системы способны помочь управлять программами обработки текстов или протезами, сопряженными с нейро-гарнитурами [1].
ИМК по сути своей - это программно-аппаратные системы детектирования и декодирования различных паттернов электроэнцефалограммы (ЭЭГ), позволяющих осуществлять процедуру биологической обратной связи, например управлять различными механизмами.
Возможности в кодировании намерений человека предоставляют технологии зависимых ИМК. В основе этих ИМК лежит регистрация реакций ЭЭГ на внешнюю стимульную среду, организованную таким образом, чтобы в специфике ответов ЭЭГ можно было определить текущий фокус внимания человека к одному из этих объектов, например к кнопке с соответствующими пиктограммами. Иначе говоря, внешние стимулы начинают кодировать намерения человека, а внимание человека, направленное на некоторый объект, выдает его намерение. Одной из самых удачных систем с практической реализацией зависимых ИМК является спеллер для набора текстов Фарвела и Дончина. Он был разработан еще в конце 1980-х гг., сейчас же исследователи со всего мира совершенствуют различные его модификации: применение цветовых меток целевых стимулов, гибридизация P300-регламентов, использование подвижных стимульных элементов. В ИМК подобного рода используется известное свойство связанных с событиями потенциалов, когда выходящий из ряда (odd-ball) стимул провоцирует появление повышенной позитивности в вызванных потенциалах примерно через 300 мс после предъявления стимула. Эти скачки и служат маркерами фокуса внимания на конкретном объекте из 30-40 находящихся в зрительном поле. Каждый такой объект в стимульной матрице выделяется в случайном порядке подсветкой и таким образом вызывает реакции ЭЭГ. Стоит отметить, что только один объект будет отличаться реакцией ЭЭГ с увеличенным компонентом Р300 - это тот, на котором оператор-испытуемый фокусирует свое внимание. Именно так реализуется стимульно-реактивная среда. В ней алгоритмы могут детектировать последовательные «ходы» фокуса внимания оператора от одного объекта к другому, например, они могут детектировать нажатия кнопок виртуальной клавиатуры, пульта управления или другого виртуального устройства ввода информации. Точность детектирования команд в таком ИМК достигает 95-97 % при скорости выбора символов до 12-15 в минУтУ [2].
Стоит отметить, что впервые о P300 было сообщено более 50 лет назад. Его открытие было вызвано результатом слияния технологических возможностей усреднения сигналов в режиме реального времени и влияния теории информации на психологические исследования. Все последующие результаты показали роль вероятности стимула и релевантности задачи, что послужило основой для его функционального анализа. В большинстве случаем данные были получены при помощи парадигмы «odd-ball». Ее суть заключается в чередовании элементов с низкой вероятностью с элементами с высокой вероятностью, не являющимися целевыми (или «стандартными»). При регистрации с помощью ЭЭГ сигнал Р300 проявляется
как положительное отклонение напряжения с задержкой (между стимулом и ответом) примерно от 250 до 500 мс [3]. Именно на этот промежуток будет обращено внимание при анализе сигнала ЭЭГ.
При работе с нейрофизиологической литературой можно столкнуться различными терминами относительно используемого сигнала. Необходимо учитывать, что с момента первого открытия P300 исследования показали, что P300 состоит из двух подкомпонентов - P3 или P3a и классический P300, который с тех пор был переименован в P3b [4].
Обзор существующих программных решений
Experiment - библиотека Python с открытым исходным кодом. Она предназначена для разработки и проведения экспериментов на основе сценариев в режиме реального времени. Работает на Linux, Windows, Mac OS и Android. Разработчики указывают, что библиотекой могут пользоваться непрограммисты, но стоит обратить внимание на то, что для написания сценариев необходимо владеть высоким уровнем навыков программирования 3.
MNE-Python - библиотека Python с открытым исходным кодом. Используется для получения, анализа и визуализации нейрофизиологических данных человека (ЭЭГ, ЭМГ и др.). Написание сценариев требует высокого уровня навыков программирования. Работает на Linux, Windows, Mac OS 4
BioEra - визуальный дизайнер, применяемый для анализа сигналов в реальном времени. Он может взаимодействовать с большим количеством устройств, имеющих возможность потоковой передачи данных на компьютер. Его можно использовать для игр и самостоятельных исследований. Для создания дизайна не нужны навыки программирования, необходимо только понимание сути процесса. Работает на Windows и Android. Бесплатная версия сильно ограничена, например, в ней нельзя сохранить сценарий, если в нем более 15 элементов 5.
BioExplorer - это программа для сбора, обработки и отображения биофизических данных в режиме реального времени. Она предназначена для личного использования в сфере развлечений, образования и экспериментов. В подробном описании beta-версии сказано, что программное обеспечение не подходит для использования в медицинских и исследовательских целях, а создано исключительно для личного использования. Работает только на Windows. Мало совместимых устройств 6.
BrainBay - приложение для биологической обратной связи, предназначенное для работы с различными усилителями ЭЭГ (включая аппаратные усилители OpenEEG и OpenBCI). Оно поддерживает функции интерфейса «человек - компьютер» и программную платформу NeuroServer для передачи записей в реальном времени через Интернет и локальную сеть. Доступно под Windows 7.
EEGLAB - интерактивный набор инструментов Matlab для обработки непрерывных событий, связанных с ЭЭГ, ЭМГ и другими электрофизиологическими данными. Он включает возможность анализа времени, частоты и артефактов. Предоставляет статистику, связанную с событиями, и несколько полезных режимов визуализации испытаний. EEGLAB работает под Linux, Windows и Mac OS. Это одно из лучших решений среди подобных программ 8.
EEGMIR - приложение на стадии альфа. В настоящее время почти нет документации. Приложение способно считывать данные из файла или последовательного порта в одном из
3 URL: https://www.expyriment.org (дата обращения 04.12.2019).
4 URL: https://martinos.org/mne (дата обращения 04.12.2019).
5 URL: http://www.bioera.net (дата обращения 05.09.2020).
6 URL: http://www.cyberevolution.com (дата обращения 05.09.2020).
7 URL: http://www.shifz.org/brainbay (дата обращения 05.09.2020).
8 URL: https://sccn.ucsd.edu/eeglab (дата обращения 05.09.2020).
нескольких форматов и позволяет отображать анализ в виде столбцов. Совместим с Windows и Linux 9.
E-Prime Extensions for Brain Products - программное обеспечение, предназначенное для оптимизации экспериментального взаимодействия с системами ЭЭГ Brain Products. Позволяет производить запись ЭЭГ и сохранять в файл, устанавливать маркеры на основе стимулов для более простого анализа данных. Для использования требуется E-Prime 3.0, рекордер BrainVision и сервер удаленного управления 10.
Mind-Body Training Tools - программный продукт с биологической обратной связью, предназначенный как для профессионалов (тренеров и терапевтов), так и для домашних пользователей. Он предлагает набор уже готовых приложений для биологической обратной связи и нейробиоуправления, включая тренинги с использованием сердечного ритма, дыхания, ЭМГ и ЭЭГ. Приложения были разработаны с использованием конструктора BioEra, что говорит о наличии зависимостей. Сложный процесс установки, сильно урезанная бесплатная версия. Работает на Windows 11.
NeoRec - программа для регистрации ЭЭГ и других нейрофизиологических сигналов для научных или медицинских исследований. Она позволяет записывать данные в файлы различных форматов и потоки данных, но только для последующего анализа и обработки сторонним программным обеспечением. Доступна для Windows и Android 12.
OpenViBE - программная платформа, предназначенная для проектирования, тестирования и использования ИМК. Она подходит для сбора, фильтрации, обработки, классификации и визуализации сигналов мозга в режиме реального времени. Это бесплатное программное обеспечение с открытым исходным кодом, которое работает в операционных системах Windows и Linux. Основными областями применения OpenViBE являются медицина (помощь людям с ограниченными возможностями, БОС в реальном времени, нейробиоуправле-ние), мультимедиа (погружение в виртуальную реальность, использование в видеоиграх) и другие приложения, связанные с ИМК. Пользователи OpenViBE могут быть как программистами, так и людьми, не знакомыми с программированием. Это позволяет использовать платформу врачам, разработчикам видеоигр, исследователям в области обработки сигналов или робототехники [5].
Paradigm Elements for Ports - программа, позволяющая создавать сценарии экспериментов с помощью интуитивно понятного конструктора и интегрировать их с широким спектром систем ЭЭГ и ЭМГ. Есть возможность отправлять триггеры на устройства, используя параллельный, сетевой и последовательный порты. Доступна для Windows 13.
Rehacor - программный комплекс, содержащий процедуры биологической обратной связи для широкого применения. Например, можно создать сценарий для работы с частотой сердцебиения, дыханием, температурой, электромиограммой, гальванической реакцией 14.
Обзор популярных аппаратных решений
Muse - это устройство ЭЭГ, широко используемое по всему миру. Muse подключается к вашему мобильному устройству через Bluetooth. Обладает четырьмя активными электродами ЭЭГ. Основным применением является медитация и ускорение процесса обучения.
9 URL: http://uazu.net/eegmir (дата обращения 05.09.2020).
10 URL: https://psychology-software-tools.mybigcommerce.com/e-prime-extensions-for-brain-products-3-0 (дата обращения 05.09.2020).
11 URL: https://www.stressresilientmind.co.uk/mbtt (дата обращения 07.09.2020).
12 URL: https://mks.ru/product/neorec (дата обращения 07.09.2020).
13 URL: http://www.paradigmexperiments.com (дата обращения 07.09.2020).
14 URL: http://medicom-mtd.com/en/study/rehacor/rehacor_study.html (дата обращения 07.09.2020).
Особенности конструкции и количество электродов не позволяют использовать данное устройство для полноценной работы с вызванными потенциалами 15.
NeuroSky MindWave - Портативная ЭЭГ гарнитура, совместимая с персональными компьютерами и мобильными устройствами. Предоставляет большой выбор приложений для проведения сеансов биологической обратной связи. Первая версия реализована на одном ЭЭГ-электроде, что не позволяет использовать данное устройство для полноценной работы с вызванными потенциалами 16.
NVX - это усилитель постоянного тока с 24, 32 или 48 монополярными каналами для электродов и 4 вспомогательными биполярными каналами для датчиков NeoSens. Устройство используется в тренировочных системах, клинических и научных исследованиях в составе компьютерной исследовательской системы для кратковременной регистрации электрофизиологических сигналов, в первую очередь ЭЭГ. NVX является профессиональным оборудованием с высокой точностью, но и высокой стоимостью. Подобный вариант сложен в использовании при реализации образовательной деятельности с учащимися школ 17.
«Система для регистрации восьмиканальной ЭЭГ» BiTronics Lab - набор, созданный специально для сборки, программирования и регистрации восьмиканальной электроэнцефалограммы мозга в кружках технического творчества и робототехники в рамках дополнительного образования (8-11 классы). Включает в себя восемь одноканальных датчиков ЭЭГ, которые необходимо собрать в единую установку. Для реализации проектов на нем необходимы навыки программирования на Python, а также базовые знания языка C++ и основ машинного обучения 18.
Проектирование системы и разработка требований
Одним из основных требований к разрабатываемой системе является простота освоения аппаратной и программной части, так как на основе системы разрабатывается учебно-методический материал для преподавания схемотехники, программирования и нейрофизиологии учащимся школ. Почти все перечисленные ранее программы и аппаратные комплексы не позволяют сконструировать доступные и эффективные системы для работы с вызванными потенциалами.
Программные решения можно разделить на три категории.
1. Простые в использовании программы, позволяющие писать сценарии экспериментов, составляя их из готовых блоков. Сценарии можно быстро редактировать, не обладая навыками программирования, однако у таких решений отсутствует возможность создать визуализацию для собственных экспериментов.
2. Библиотеки, используемые в научно-исследовательской деятельности, которые позволяют получать, обрабатывать данные и качественно визуализировать ЭЭГ-сигнал. Для использования подобных решений необходим высокий уровень навыков программирования, что делает невозможным процесс пошагового обучения.
3. Программные платформы, которые содержат в себе лучшие стороны предыдущих двух вариантов. Они просты в написании сценариев, а также легко интегрируются с высокоуровневыми языками программирования, тем самым позволяя создать хорошую визуализацию. Однако, так как они являются лишь связующим звеном между устройством, получающим ЭЭГ-сигнал, и скриптом, реализующим визуализацию, использование подобных платформ лишь оказывает дополнительную нагрузку на вычислительное устройство.
15 URL: https://choosemuse.com (дата обращения 15.11.2019).
16 URL: http://neurosky.com/biosensors/eeg-sensor/biosensors (дата обращения 15.11.2019).
17 URL: https://mks.ru/product/nvx (дата обращения 15.11.2019).
18 URL: https://bitronicslab.com/rs8eeg (дата обращения 15.11.2019).
Аппаратные решения можно разделить на две категории:
1) устройства с фиксированным положением электродов, не позволяющие вести многоканальную запись сигнала с мозга, что делает невозможным работу с вызванными потенциалами;
2) профессиональные электроэнцефалографы, стоимость которых делает невозможным закупку подобного оборудования в школы.
Для разработки УМК мной принято решение использовать восьмиканальную систему для регистрации ЭЭГ от компании «BiTronics». Набор специально разрабатывался для преподавания нейротехнологий учащимся школ, в том числе для работы с вызванными потенциалами. Поэтому с точки зрения аппаратной части он полностью соответствует требованиям:
• позволяет проводить многоканальную запись электроэнцефалограммы;
• имеет в комплекте шапочки, позволяющие изменять расположение электродов;
• работает на Arduino, что позволяет перехватывать сигнал через поток и обрабатывать и визуализировать его любыми удобными методами;
• совместима с операционными системами Windows и Linux;
• полностью безопасна для использования учащимися школ;
• проста в сборке;
• имеет подробную документацию.
Разработка же программного обеспечения для реализации ИМК, позволяющего совершать выбор желаемого стимула из набора предъявляемых, используя классификатор на базе когнитивных компонентов вызванных потенциалов (Р300), является основной целью работы. Для этого необходимо получить сигнал с электроэнцефалографа, предобработать его, обучить классификатор и написать визуализацию для предъявления стимулов. Для программного обеспечения, учитывая то, что на его основе будет разработан образовательный курс, где учащимся 9-11 классов будет предложено самостоятельно разработать подобную систему, основным требованием является простота реализации. Под этим подразумевается использование библиотек с доступной документацией, а также игровая форма представления стимулов.
Сбор установки
Считывание сигнала реализовано с помощью датчиков ЭЭГ «BiTronics Lab-EEG», входящих в комплект «Система для регистрации восьмиканальной ЭЭГ» «BiTronics Lab». Датчики разработаны с использованием Arduino. Arduino - это электронный конструктор и платформа с открытым исходным кодом, основанная на простом в использовании аппаратном и программном обеспечении, созданная для быстрой разработки электронных устройств для новичков и профессионалов. Из-за простого и доступного пользовательского интерфейса Arduino используется при создании различных проектов и приложений. Хоть программное обеспечение Arduino простое в использовании, оно обладает рядом преимуществ для опытных пользователей. Платформа работает на Windows, Linux и Mac. Учащиеся школ, студенты, преподаватели и научные сотрудники используют ее для создания дешевых инструментов для доказательства принципов физики или для начала работы с программированием и схемотехникой. Устройство программируется через идущий в комплекте кабель USB и не требует использования отдельных программаторов 19.
Регистрация сигнала осуществляется с помощью электродов, которые закреплены в шапочке, надетой на человека. Для улучшения электрического контакта между проводящей частью электрода и поверхностью кожи головы требуется нанести электропроводящий гель.
Поскольку модуль ЭЭГ является одноканальным и дифференциальным, потребуется расположить 2 электрода в той области головы, где требуется осуществить считывание сигнала,
19 URL: http://arduino.ru/ (дата обращения 08.03.2021).
а рядом с ними расположить референсный электрод. Таким образом, для регистрации всех восьми каналов ЭЭГ я закрепил в шапочке и подключил к модулям 16 сигнальных электродов и 8 референсных, всего 24 электрода. На выходе модуля ЭЭГ мы получаем усиленный аналоговый сигнал ЭЭГ, который необходимо будет оцифровать для дальнейшей обработки.
Оцифровка была осуществлена средствами контроллера Arduino Mega, который позволяет одновременно оцифровывать 8 аналоговых сигналов (максимальное количество - 16). Таким образом, сборка установки сводится к подключению электродной системы (совокупность электродов ЭЭГ с проводами) к модулям ЭЭГ (рис. 1), которые, в свою очередь, подключаются к Arduino Mega. Оцифрованный сигнал с Arduino Mega через USB-кабель подается на персональный компьютер.
Рис. 1. Одноканальный модуль ЭЭГ Fig. 1. EEG module for one channel
Ранее соединение модулей с Arduino Mega происходило при помощи макетной платы и большого количества дополнительных проводов типа «папа-папа» (рис. 2).
Рис. 2. Общий вид собранной установки Fig. 2. General view of the assembled installation
В 2020 г. в ЛабИФИТ, на базе которой выполнялась работа, поступили новые наборы, которые содержат в себе плату-переходник (рис. 3). Отсутствие проводов очень упростило процесс сборки, а также позволило избавиться от лишних помех, которые могут возникнуть при малейшем движении. Более подробную инструкцию по сборке оборудования можно найти в комплекте с ресурсным набором «ВЛгоп^ Lab-EEG». Стоит отметить, что мной из конструкции был удален фоторезистор, используемый для синхронизации программной и аппаратной частей, так как современные вычислительные машины обладают достаточной мощностью для обработки сигнала в режиме реального времени без дополнительной синхронизации.
Рис. 3. Общий вид собранной установки с платой-переходником Fig. 3. General view of the assembled installation to the adapter board
Написание программной части
В первую очередь необходимо установить и настроить среду Arduino IDE. Скачать программное обеспечение можно с официального сайта. Для работы с платами необходимо дополнительно установить библиотеку TimerOne 20. Ее использование позволяет вызывать функцию каждые n мс., где n является аргументом.
Для получения сигнала с модулей на плату Arduino был написан скетч, который считывает данные с аналоговых портов и передает их в последовательный порт. Далее необходимо было построить графики сырого сигнала ЭЭГ для детектирования помех и переустановки электродов, если сигнал слишком слабый. После того, как сырой сигнал получен, была задача научиться выделять предполагаемые вызванные потенциалы путем усреднения нескольких эпох и разметки данных, выполняется это при помощи языка программирования Python 21.
По сути, необходимо работать всего с двумя массивами данных, в одном из которых есть Р300 (рис. 4), а в другом нет. Чтобы повысить качество работы классификатора, данные предварительно очищались при помощи фильтра Баттерворта 22.
Сама по себе задача классификации направлена на определение типа объекта из двух и более классов. Классификатор - система, которая и определяет тип объекта. Одна из самых
20 URL: http://bitronicslab.eom/neuromodelist#i/tab/242108447-2 (дата обращения 04.04.2019).
21 URL: https://www.python.org (дата обращения 24.12.2020).
22 URL: https://en.wikipedia.org/wiki/Butterworth_filter (дата обращения 11.02.2021).
популярных библиотек для машинного обучения на Python - Scikit-Leam, в ней содержится также несколько основных типов классификаторов. Для предсказания наличия вызванного потенциала в определенной эпохе я решил использовать классификатор, основанный на методе опорных векторов 23, поскольку этот метод является одним из самых простых и эффективных для решения подобных задач.
РЗ
Latency (msec)
Рис. 4. Вызванный потенциал P300 Fig. 4. Event-related potential P300
Для сбора данных / представления стимула мной было решено использовать лабиринт, в котором игроку предлагается выбрать направление движения. Четыре варианта движения (вверх, вниз, влево, вправо) поочередно подсвечиваются, а когда испытуемый (он же игрок) видит, что загаданное им направление загорается, программа фиксирует вызванный потенциал, после чего игровой персонаж перемещается на экране (рис. 5). Визуализация написана средствами библиотеки PyGame.
Рис. 5. Выбор пути персонажа при помощи классификации вызванного потенциала Fig. 5. Choosing a character path using the event-related potential classification
23 URL: https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html (дата обращения 02.02.2021).
Заключение
В работе был проведен анализ предметной области, разработаны требования к системе, спроектировано и реализовано программное обеспечение. Основываясь на методах работы с вызванными потенциалами, разработанная программа позволяет совершать выбор желаемого стимула из набора предъявляемых, используя классификатор на базе когнитивных компонентов вызванных потенциалов (Р300). Все поставленные задачи были выполнены, цель достигнута.
Для получения сигнала использована «Система для регистрации восьмиканальной ЭЭГ» от компании «BiTronics Lab», основанная на платформе Arduino. Фильтрация сигнала, обучение классификатора и визуализация реализованы на языке программирования Python.
Разработанная программа была использована при построении образовательного курса по нейротехнологиям в лаборатории «Инжевика» ФИТ НГУ.
Список литературы
1. Wolpaw J. R., Birbaumer N., McFarland D. J., Pfurtscheller G., Vaughan T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology, 2002, vol. 113, no. 6, pp. 767-791. DOI 10.1016/S1388-2457(02)00057-3
2. Каплан А. Я., Кочетова А. Г., Шишкин С. Л., Басюл И. А., Ганин И. П., Васильев А. Н., Либуркина С. П. Экспериментально-теоретические основания и практические реализации технологии «интерфейс мозг - компьютер» // Бюллетень сибирской медицины. 2013. Т. 12, № 2. С. 21-29. DOI 10.20538/1682-0363-2013-2-21-29
3. Polich J. Updating P300: An integrative theory of P3a and P3b. Clinical Neurophysiology, 2007, vol. 118, no. 10, pp. 2128-2148. DOI 10.1016/j.clinph.2007.04.019
4. Squires N. K., Squires K. C., Hillyard S. A. Two varieties of long-latency positive waves evoked by unpredictable auditory stimuli in man. Electroencephalography and Clinical Neurophysiology, 1975, vol. 38, no. 4, pp. 387-401. DOI 10.1016/0013-4694(75)90263-1
5. Renard Y., Lotte F., Gibert G., Congedo M., Maby E., Delannoy V., Bertrand O., Lecuyer A. OpenViBE: An Open-Source Software Platform to Design, Test and Use Brain-Computer Interfaces in Real and Virtual Environments. Massachusetts Institute of Technology Press (MITPress), 2010, vol. 19, no. 1, pp. 35-53. DOI 10.1162/pres.19.1.35
References
1. Wolpaw J. R., Birbaumer N., McFarland D. J., Pfurtscheller G., Vaughan T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology, 2002, vol. 113, no. 6, pp. 767-791. DOI 10.1016/S1388-2457(02)00057-3
2. Kaplan A. Ya., Kochetova A. G., Shishkin S. L., Basyul I. A., Ganin I. P., Vasilev A. N., Liburkina S. P. Experimental and theoretical foundations and practical implementation of technology brain-computer interface. Bulletin of Siberian Medicine, 2013, vol. 12, no. 2, pp. 21-29. (in Russ.) DOI 10.20538/1682-0363-2013-2-21-29
3. Polich J. Updating P300: An integrative theory of P3a and P3b. Clinical Neurophysiology, 2007, vol. 118, no. 10, pp. 2128-2148. DOI 10.1016/j.clinph.2007.04.019
4. Squires N. K., Squires K. C., Hillyard S. A. Two varieties of long-latency positive waves evoked by unpredictable auditory stimuli in man. Electroencephalography and Clinical Neurophysiology, 1975, vol. 38, no. 4, pp. 387-401. DOI 10.1016/0013-4694(75)90263-1
5. Renard Y., Lotte F., Gibert G., Congedo M., Maby E., Delannoy V., Bertrand O., Lecuyer A. OpenViBE: An Open-Source Software Platform to Design, Test and Use Brain-Computer Interfaces in Real and Virtual Environments. Massachusetts Institute of Technology Press (MITPress), 2010, vol. 19, no. 1, pp. 35-53. DOI 10.1162/pres.19.1.35
Информация об авторе Дмитрий Юрьевич Адов, магистрант второго года обучения
Information about the Author Dmitrii Yu. Adov, 2nd year master student
Статья поступила в редакцию 20.06.2021; одобрена после рецензирования 01.08.2021; принята к публикации 01.08.2021 The article was submitted 20.06.2021; approved after reviewing 01.08.2021; accepted for publication 01.08.2021
