БЕСКОНТАКТНОЕ УПРАВЛЕНИЕ РОБОТОМ-ТЕЛЕЖКОЙ НА ОСНОВЕ ИНТЕРФЕЙСА «МОЗГ–КОМПЬЮТЕР» Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.896

doi:10.18720/SPBPU/2/id24-166

Журавская Анжелика 1, ст. преподаватель;

Шкабара Ярослав Александрович 2,

инженер-программист

БЕСКОНТАКТНОЕ УПРАВЛЕНИЕ РОБОТОМ-ТЕЛЕЖКОЙ НА ОСНОВЕ ИНТЕРФЕЙСА «МОЗГ-КОМПЬЮТЕР»

1 Россия, Санкт-Петербург, Санкт-Петербургский политехнический университет Петра Великого, hella94@mail.ru;

2 Россия, Санкт-Петербург, ООО «Геоскан», ananas617@mail.ru

Аннотация. В статье рассматривается система бесконтактного управления на основе интерфейса «мозг-компьютер» для робота-тележки и использованием оборудования Neuroplay-8Cap. Данная нейрогарнитура имеет 8 сухих электродов. Для управления роботом использовалось 5 команд: остановка, ехать вперед, ехать назад, поворот влево, поворот вправо. Команды сопоставляются с моторными воображаемыми движениями рук, ног и фазой бездействия. Для классификации ЭЭГ-данных использовался алгоритм на основе римановой геометрии, максимальная точность, которого по всем испытаниям составила 64,8 %. Предполагается, что точность классификации в дальнейшем может быть повышена путем оптимизации настроек риманова классификатора.

Ключевые слова: интерфейс «мозг-компьютер», электроэнцефалография, воображаемые движения, классификация, бесконтактное управление.

Anzelika Zuravska 1,

Senior Lecturer;

Yaroslav A. Shkabara 2,

Software Engineer

NON-CONTACT CONTROL OF A ROBOT CART BASED ON THE BRAIN-COMPUTER INTERFACE

1 Peter the Great St. Petersburg Polytechnic University, St. Petersburg, Russia,

hella94@mail.ru;

2 LLC "Geoscan", St. Petersburg, Russia, ananas617@mail.ru

Abstract. The article discusses a non-contact control system based on a brain computer interface for a robot cart using Neuroplay-8Cap equipment. This neuroheadset has 8 dry electrodes. To control the robot, 5 commands were used: stop, go forward, go back, turn left, and turn right. The commands are compared with motor imaginary movements of the arms, legs and the inactive phase. To classify EEG data, an algorithm based on Riemannian geometry was used, the maximum accuracy of which was 64.8% for all tests. It is assumed that the classification accuracy can be further improved by optimizing the settings of the Riemannian classifier.

Keywords: brain-computer interface, electroencephalography, imaginary leg movements, classification, non-contact control.

Введение

Бесконтактное управление на основе интерфейсов «мозг-компьютер» (ИМК) охватывает различные области применения, причем робототехника не стала исключением. Много работ связаны с применением роботов в качестве ассистивных технологий, например, использование роботизированных рук для постинсультной реабилитации [1], управление гуманоидными роботами для захвата объектов, передвижения/навигации и телеприсутствия [2], в том числе в иммерсионных технологиях [3].

Роботы-тележки могут использоваться в качестве вспомогательных средств, помогающих людям с ограниченными возможностями движений или особыми потребностями в качестве помощников, развлечения или нейротренировок [4]. Именно такие робототехнические устройства должны управляться бесконтактно, т. е. без использования рук и ног для управления через клавиатуры или джойстики.

Одним из важных элементов системы любого ИМК является оборудование, с помощью которого идет запись электроэнцефалографического (ЭЭГ) сигнала. На данный момент существует большое количество разновидностей устройств и можно выделить основные группы: инвазивные и неинвазивные. В данной работе делается упор на неинвазивные нейрогар-нитуры, которые позволяют сделать технологию ИМК доступной для широкого круга пользователей. Для данного типа устройств можно сделать еще одно обобщающее разделение: гелевые и сухие электроды. Первые позволяют получить сигнал более высокого качества, но пользователю необходимо использовать электрофизиологический токопроводящий гель под электроды, который остается на поверхности кожи головы после использования оборудования. Это делает саму процедуру регистрации ЭЭГ сигнала не очень комфортной, а также требует помощи оператора, который осуществляет правильный монтаж электродов на поверхности кожи головы. Сухие электроды не требуют применения гелей и просто устанавливаются, что сокращает время на подготовку к работе с ними и оборудованием их включающим. Поэтому в этой работе уделено особое внимание гарнитуре Neuroplay-8Cap с восьмью сухими электродами.

Цель работы — исследовать возможность управления мобильным роботом-тележкой путем воображения моторных движений (МВ) с использованием нейрогарнитуры Neuroplay-8Cap и алгоритма классификации на основе римановой геометрии.

Далее в разделе 2 статьи в общих чертах описывается, из чего состоят системы ИМК, в частности, та система, которой посвящена статья, в разделе 3 описывается классификатор, в 4 части — тестирование системы и его результаты.

2. Интерфейсы «мозг-компьютер» в управлении устройствами

ИМК обеспечивает прямое взаимодействие человека с компьютером через мозг, минуя нервно-мышечные пути [5]. Существуют пассивные и активные ИМК [6]. Первые созданы для «отслеживания» активности мозга по сигналам ЭЭГ во время каких-либо действий. Вторые ориентированы на создание управляющих команд устройствам, связанным с ИМК. Иными словами, для пассивного ИМК нам не нужно решать нейрозадачи и специально создавать определенные сигналы мозга, как это необходимо для активного ИМК.

В нашей работе используется активный ИМК на основе моторных воображаемых движений. Активность мозга во время выполнения реальных движений совпадает с активностью головного мозга, когда человек воображает те же самые движения. При создании образа МВ движения в мозговой активности можно заметить снижение мощности в различных частотных диапазонах (десинхронизацию, связанную с событием (event-related desynchronization — ERD) [7]. Воображение движений различных частей тела приводит к разной пространственной десинхронизации, которую в ИМК можно использовать для обнаружения воображаемого движения. На практике классы воображаемых классы движений (например, правой/левой руки) могут быть сопоставлены с переключателем для управления движением роботизированной конечности, робота-тележки, экзоскелета и другого устройства.

Согласно общей схеме большинство ИМК включают в себя следующие модули: регистрацию ЭЭГ-данных, предобработку данных, формирование характерных признаков, классификацию данных на основе характерных признаков, генерация команд внешнему устройству, исполнительное устройство, обратную связь (визуальную, звуковую, тактильную). Общую архитектуру, разработанной нами системы управления роботом можно увидеть на рисунке 1.

Robot

Neuroplay-8Cap Classifier control Gazebo

system

Рис. 1. Система управления роботом на основе ИМК

Модуль предобработки данных в данной системе размещен в блоке классификации. Блок формирования характерных признаков здесь отсутствует, так как мы работаем с алгоритмом классификации на основе Ри-мановой геометрии, который манипулирует ковариационными матрица-

ми, а не признаками, и делает свою оценку на основании минимального среднего расстояния между этими матрицами, о чем подробнее, как и о самой системе будет описано далее.

В настоящий момент существует множество разновидностей алгоритмов классификации для ЭЭГ данных, например, авторы работы [8] предлагают следующее разделение на группы:

1. Линейные классификаторы.

2. Нелинейные классификаторы на основе теоремы Байеса.

3. Классификаторы, использующие матрицы и тензоры, созданные на основе ЭЭГ.

4. Адаптивные классификаторы.

5. Классификаторы на нейронных сетях и глубоком обучении.

6. Комбинации классификаторов.

Использование любого алгоритма имеет свои особенности: например, один из алгоритмов может хорошо решать задачи, связанные со зрительными образами в ИМК, а другой — показывать лучшие результаты при работе с МВ движениями. На текущий момент нет универсального алгоритма классификации для ИМК на основе ЭЭГ-данных.

В прошлых работах [9-10] более подробно рассматривались различные методы классификации. В них на основании обзора литературы был сделан вывод о том, что методы римановой геометрии являются достаточно перспективными, так как учитывают пространственно-временную структуру многомерных сигналов ЭЭГ, могут работать с малым количеством образцов и быть устойчивыми к зашумленности и вариативности сигнала, также имеют возможность работы с многомерными данными.

В данной работе используется оборудование Neuroplay-8Cap — восьмиканальный мобильный биоусилитель с сухими электродами на которых покрытие Ag/AgCl, с частотой дискретизации 125 Гц и интерфейсом связи Bluetooth Low Energy. Электроды на шлеме располагаются по международной системе 10-20. Шлем и стандартная схема расположения электродов представлены на рисунке 2, черным отмечены электроды, используемы в монтаже. В нашей системе передача данных в классификатор в режиме работы онлайн производится через HTTP протокол.

На рисунке 3 представлена модель мобильного робота-тележки, управление которой осуществлялось через, разработанный нами ИМК. Модель робота-тележки создана в среде Gazebo. Робот имеет три колеса. За линейное перемещения у него отвечают два ведущих колеса в передней части тележки, в то время как поворот осуществляется благодаря колесу в задней части. Робот активно взаимодействует с управляющей системой, читая сообщения из топика и выполняя указанные команды.

ШЮ1М

Рис. 2. Шлем №игор1ау-8Сар (слева) и схема расположения электродов (справа)

Рис. 3. Модель робота

Для управления роботом используются следующие команды, генерируемые при распознавании с помощью ИМК нескольких воображаемых движений указанных в таблице 1.

Таблица 1

Перевод воображаемых движений в команды роботу

Воображаемое движение Команда роботу

Отсутствие движения Остановка

Левая рука Ехать вперед

Правая рука Ехать назад

Левая нога Поворот влево

Правая нога Поворот вправо

3. Классификатор ЭЭГ сигналов

Классификатор написан на языке программирования С++ и состоит из нескольких модулей, которые подключаются в качестве заголовочных файлов. Каждый модуль выполняет определенные функции и взаимодействует с другими модулями для обеспечения эффективного управления роботом-тележкой через ИМК. Данный классификатор обладает возможностью проводить как оффлайн, так и онлайн классификацию, что позволяет эффективно анализировать и интерпретировать сигналы мозга и

принимать соответствующие управляющие решения. В таблице 2 представлены сторонние библиотеки, используемые в проекте.

Таблица 2

Сторонние библиотеки, используемые в проекте

Библиотека Описание

EDFlib [11] Библиотека для чтения/записи EDF файлов (European Data Format), один из форматов, используемых для хранения ЭЭГ данных.

Eigen [12] Библиотека шаблонов линейной алгебры: матрицы, векторы, числовые решатели и связанные алгоритмы для векторно-матричных вычислений.

JSON [14] Библиотека, реализующая поддержку файлов формата JSON.

cURLpp [13] Библиотека, библиотека передачи URL-адресов, в нашем случае использовалась для работы с HTTP протоколом.

Модули, используемые в управлении роботом-тележкой, могут быть разделены на две категории: основные и вспомогательные. Основные модули отвечают за обучение и классификацию, а также и используют вспомогательные модули для выполнения специализированных действий. Вспомогательные модули в свою очередь решают небольшие, но законченные задачи, такие как фильтрация, расчет ковариационных матриц, а также определение расстояния между матрицами и другими подобными операциями.

Основные модули системы имеют следующие части:

- ClassifierTraining (Обучение классификатора);

- Classifier (Оффлайн классификация);

- OnlineClassifier (Онлайн классификация).

Для того, чтобы классификатор мог осуществлять оценку подаваемых ему на вход данных необходимо его обучить. Обучение можно представить в виде следующей последовательности шагов:

1. Загрузка EDF файла, содержащего данные о воображаемых движениях.

2. Предобработка ЭЭГ данных:

а. Обрезка временного ряда.

б. Применение полосовой фильтрации в диапазоне от 10 до 60 Гц.

в. Выделение участков, связанных с воображаемыми движениями.

3. Расчет матриц ковариаций для каждого выделенного участка.

4. Вычисление среднего значения для всех рассчитанных матриц.

5. Загрузка полученных матриц в классификатор.

Первые четыре шага алгоритма выполняются с помощью модуля ClassifierTraining, подробно описанного в таблице 3.

Таблица 3

Описание методов модуля обучения классификатора

Название метода Аргументы Описание

ClassifierTraining 1) Путь к записи ЭЭГ 2) Тип воображаемого движения в этой записи Конструктор класса

process 1) Время, которое необходимо пропустить от начала записи Последовательно вызывает функции prepareEdf extractMovements и calculateMean

prepareEdf 1) Время, которое необходимо пропустить от начала записи 1) Загрузка ЕББ файл 2) Обрезка начала записи 3) Разделение записи на фрагменты, в которых находятся МВ движения

extractMovements - 1) Фильтрация данных 2) Подсчет матриц ковариации для каждого фрагмента

calculateMean - Подсчет средней матрицы

getMeanMatrix - Возвращает среднюю матрицу

getCovariances - Возвращает вектор ковариационных матриц

getClassificationMatrices - Возвращает вектор ClassifiedMatrix

Пятое действие происходит в офлайн классификаторе, представленным модулем Classifier. Перед тем как использовать данный модуль его необходимо обучить, что можно сделать двумя способами:

1. Использование функции loadMatrices для загрузки предварительно сохраненных матриц с жесткого диска.

2. Последовательный вызов функции addClass, которая принимает среднюю матрицу ковариации и тип воображаемого движения. После обучения, для классификации матрицы необходимо передать

структуру ClassifiedMatrix в функцию classify, которая определена в модуле Common. Затем происходит определение минимального среднего расстояния для каждого класса, добавленного в классификатор. Когда на вход подается новая матрица, класс которой еще не определен, то ей присваивают тот класс, к которому она находится ближе, согласно минимальному риманову расстоянию до среднего.

Истинный и назначенный классы передаются в модуль Statistic для обновления статистики. На рисунке 4 показан пример статистики, полученной после оффлайн классификации. Строки представляют истинные классы, а столбцы — назначенные классы.

Offline classification

16 22 1 0 0

0 23 Ii 2 0

0 0 38 0 0

0 3 3 32 0

5 0 Ii 0 9

Scone: 118/182 Accuracy: 0.648352

Рис. 4. Статистика оффлайн классификации

Информация о вспомогательных модулях отражена в таблице 4.

Таблица 4

Описание вспомогательных модулей

Название Описание/Назначение

CircularBuffer Кольцевой буфер, используемый онлайн классификатором

Common Определение типов, перечисление воображаемых движений; Структура TypedMatrix^. содержит матрицу ковариации и тип воображаемого движения; Структура ClassifiedMatrix. хранит в себе матрицу, истинный тип движения, определенный классификатором тип, массив расстояний до средней матрицы каждого класса и минимальное расстояние

Covariance Расчет ковариаций для одной матрицы или вектора матриц

Distance Расчет Риманова расстояния между матрицами; Расчет Евклидовой и Римановой средних матриц для вектора ковариаций

FileManager Сохранение матриц на жесткий диск и их загрузка

Filter Частотная фильтрация ЭЭГ данных

FilterGenerator Расчет коэффициентов для фильтра

SerialPort Коммуникация с управляющей системой робота

Space Перевод матриц из Риманова пространства в касательное и обратно

Statistic Накопление статистики классификации и ее сохранение в файл

Для онлайн классификации мы используем модули Classifier и OnlineClassifier. OnlineClassifier получает данные от ЭЭГ-шлема через протокол HTTP и сохраняет их в кольцевой буфер. Когда накапливается достаточно данных, они проходят фильтрацию. Затем мы вычисляем матрицу ковариации, которая передается в Classifier для определения класса. После этого, назначенный класс отправляется в управляющую систему робота. Ширина окна анализа и смещение определяются константамиprobeLen и windowShift соответственно.

Система управления роботом получает сигналы от классификатора через сокет. В таблице 1 представлено соответствие воображаемых движений командам для робота. Когда системе последовательно поступает три одинаковых движения, она отправляет команду роботу через ROS топик. Важно отметить, что перед каждой командой робот останавливается. Таким образом, робот не может одновременно ехать и поворачивать.

4. Тестирование системы

Запись ЭЭГ-сигнала производилась при помощи оборудования Neu-roplay-8Cap и официального приложения NeuroPlayPro. Одновременно с началом записи ЭЭГ запускался интервальный таймер, который каждые три секунды издавал звуковой сигнал. После звукового сигнала пользователь генерировал одно из воображаемых движений. Сессия записи сигнала длится от полутора до двух минут, в которые записывает от 30 до 40 МВ движений. Временной зазор, которой есть перед началом записи сигнала и запуском таймера удаляется в модуле ClassifierTraining. Для каждого класса было создано по десять записей.

На этапе офлайн классификации используются ранее созданные записи ЭЭГ, разделенные в соотношении 7 : 3 между тренировочными и тестовыми выборками. Параметры подбираются таким образом, чтобы система показывала наилучшее качество работы. Оценка качества работы классификатора производится по расчету соотношения количества верных классификаций к общему количеству классификаций, что является оценкой точности алгоритма.

Классификатор оказался чувствительным к входным данным. В некоторых случаях он показывает хорошие результаты (максимальная точность составляет 64,8 %). Однако, чаще всего он назначает одинаковый класс всем измерениям. Причиной этого является то, что матрицы ковариации одного класса, полученные из разных записей, находятся на большом расстоянии в Римановом пространстве. Большое расстояние между матрицами в Римановом пространстве связано с низкой частотой дискретизации оборудования: его невысокой точностью. Результаты классификации представлены на рисунке 5.

При онлайн классификации, как описывалось ранее, данные передаются через HTTP протокол и сохраняются в кольцевом буфере. Происходит имитация работы с реальным устройством. При онлайн тестировании класс входящего сигнала неизвестен.

Offline classification 1

0 2 0 1 21

0 0 22 0 1

0 0 23 0 0

0 0 23 0 0

0 0 19 2 2

Score: 25/116 Accuracy: 0.215517

Offline classification 2

16 22 1 0 0

Э 23 14 2 0

0 0 38 0 0

0 3 3 32 0

5 0 14 0 9

Score: 113/182 Accuracy: 0.648352

Offline classification 3

22 0 3 0 3

9 4 11 2 2

18 6 4 0 0

0 28 0 0 0

8 12 0 8 0

Score: 30/140 Accuracy: 0.214286

Рис. 5. Результаты оффлайн классификации

По причине низкой точности оборудования и классификатора на этапе офлайн тестирования, тестирование в режиме онлайн было решено не проводить.

Заключение

В данной работе была рассмотрена возможность реализации бесконтактного управления роботом-тележкой на основе интерфейсов мозг-компьютер с использованием оборудования Neuroplay-8Cap с сухими электродами. Управление моделью робота-тележки в симуляционной среде Gazebo осуществлялось с помощью пяти команд, четыре из которых соответствовали моторным воображаемым движениями рук и ног.

Для классификации использовался алгоритм на основе римановой геометрии и вычисления минимального расстояния до среднего. В нем рассчитывались ковариационные матрицы для каждой пробы ЭЭГ-сигнала и минимальное расстояние между ними в пространстве Римана.

Офлайн тестирование показало максимальную точность, по всем испытаниям 64,8 %. Из-за низкой точности было решено не проводить эксперимент с онлайн классификацией. Относительно низкие результаты показывают, что необходима доработка текущей версии классификатора. Для большей достоверности необходимо произвести тестирование на большем количестве испытуемых с использованием различного монтажа и настройки классификатора.

Кроме этого, для повышения точности можно использовать гибридные классификаторы, сочетающие подходы римановой геометрии с линейными или другими видами классификаторов. Также многообещающим выглядит подход с использованием комитета классификаторов [15]. В данном подходе можно использовать разработанный нами классификатор, настроенный на распознавание только одного класса. Общее решение о распознанном классе принимается, исходя из набора решений локальных классификаторов, например, по максимальной оценке вероятности распознавания своего класса.

Благодарности

Исследование выполнено за счет гранта Российского научного фонда № 23-21-00287, https://rscf.ru/project/23-21-00287.

Список литературы

1. Baniqued P.D.E. et al. Brain-computer interface robotics for hand rehabilitation after stroke: a systematic review // Journal of neuroengineering and rehabilitation. - 2021. -Vol. 18. - No 1. - Pp. 1-25.

2. Chamola V. et al. Brain-computer interface-based humanoid control: a review // Sensors. - 2020. - Vol. 20. - No 13. - P. 3620.

3. Alanis-Espinosa M., Gutiérrez D. On the assessment of functional connectivity in an immersive brain-computer interface during motor imagery // Frontiers in Psychology. -2020. - Vol. 11. - P. 1301.

4. Korovesis N. et al. Robot motion control via an EEG-based brain-computer interface by using neural networks and alpha brainwaves // Electronics. - 2019. - Vol. 8. -No. 12. - P. 1387.

5. Сонькин К.М., Станкевич Л.А., Хоменко Ю.Г., Нагорнова Ж.В., Шемякина Н.В. Классификация электроэнцефалографических паттернов воображаемых и реальных движений пальцев одной руки методом опорных векторов // ТМЖ. - 2014. -№ 2 (56).

6. Mousavi M., de Sa V.R. Spatio-temporal analysis of error-related brain activity in active and passive brain-computer interfaces //Brain-computer interfaces. - 2019. - Vol. 6. - No. 4. - Pp. 118-127.

7. Pfurtscheller G. et al. Mu rhythm (de) synchronization and EEG single-trial classification of different motor imagery tasks // Neurolmage. - 2006. - Vol. 31. - No. 1. -Pp. 153-159.

8. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update // Journal of neural engineering. - 2018. - Vol. 15. - No. 3. -P.031005.

9. Журавская А., Станкевич Л.А. Применение неинвазивного интерфейса «мозг-компьютер» для классификации воображаемых движений нижних конечностей человека // Системный анализ в проектировании и управлении. сборник научных трудов XXV Международной научной и учебно-практической конференции. В 3 ч. Ч. 3. Санкт-Петербург, 2021. - СПб.: ПОЛИТЕХ-ПРЕСС, 2021. - С. 146-158.

10. Журавская А., Станкевич Л.А. Классификация временных последовательностей на основе римановой геометрии // В сборнике научных трудов XXVI Международной научно-практической конференции «Системный анализ в проектировании и управлении», 13-14 октября 2022 г. В 3 ч. Ч. 2. - СПб: ПОЛИТЕХ-ПРЕСС; ФГАОУ ВО «Санкт-Петербургский политехнический университет Петра Великого», 2023. -С. 67-73.

11. EDFlib // Teunis van Beelen website. - URL: https://www.teuniz.net/edflib/ (date of access: 02.11.2023).

12. Eigen. - URL: https://eigen.tuxfamily.org/ (date of access: 02.11.2023).

13. cURLpp. - URL: http://www.curlpp.org/ (date of access: 02.11.2023).

14. JSON for Modern C++ // Niels Lohmann. - URL: https://json.nlohmann.me/ (date of access: 03.11.2023).

15. Trofimov A. G. et al. A greedy feature selection algorithm for brain-computer interface classification committees // Procedia computer science. - 2018. - Vol. 123. -P. 488-493.

УДК 004.81

doi:10.18720/SPBPU/2/id24-167

Корсаков Антон Михайлович 1,

ст. науч. сотр.;

Бахшиев Александр Валерьевич 2, доцент, канд. техн. наук;

Станкевич Лев Александрович 3, доцент, канд. техн. наук;

Лопота Александр Витальевич 4, директор-главный конструктор, д-р техн. наук

НЕЙРОМОРФНЫЕ СРЕДСТВА РЕШЕНИЯ ЗАДАЧ КЛАССИФИКАЦИИ И УПРАВЛЕНИЯ

1 3 4 Россия, Санкт-Петербург, ГНЦ РФ «ЦНИИ робототехники и

технической кибернетики», 1 a.korsakov@rtc.ru, 4 alopota@rtc.ru;

2 3 Россия, Санкт-Петербург, Санкт-Петербургский политехнический

университет Петра Великого, 2 palexab@gmail.com, 3 stankevich_lev@inbox.ru

Аннотация. В качестве модели нейрона для данной работы обосновывается выбор сегментной спайковой модели. Приводится краткое описание такой модели. Описывается способ структурной адаптации модели ко входному паттерну импульсов. Приводится общая схема организации сегментных спайковых нейронов в сеть для решения задачи классификации. В качестве кодирования числовой информации в паттерны импульсов выбирается временное кодирование. Приводятся краткие результаты экспериментов по решению задачи классификации на общедоступных наборах данных (Iris, MNIST). Делается вывод о сопоставимости полученных результатов с результатами, полученными классическими методами.

Ключевые слова, нейроморфные системы, спайковый нейрон, спайковые нейронные сети, задача классификации.