CC BY
2УДК 62
Шестаков В.К.
аспирант кафедры робототехники и мехатроники Московский государственный технологический университет «СТАНКИН» (г. Москва, Россия)
ИНТЕРФЕЙС ВЗАИМОДЕЙСТВИЯ ОПЕРАТОРА И ЭКЗОСКЕЛЕТА, ИСПОЛЬЗУЮЩИЙ ЭЛЕКТРОЭНЦЕФАЛОГРАФИЮ
Аннотация: в статье рассмотрена возможность построения экзоскелетной системы с использованием электроэнцефалографии. Приведена структура человеко-машинного интерфейса. Проведен анализ существующих систем расположения электродов, системы 10-10% и 10-20%. Проведен анализ строение головного мозга, выделены зоны, которые могут быть использованы при разработке человеко-машинного интерфейса.
Ключевые слова: электроэнцефалография, экзоскелет, система управления, человеко-машинный интерфейс.
Введение.
В настоящее время экзоскелеты разрабатываться для широкого спектра задач. По своей сути, экзоскелет - это устройство, которое предназначено для улучшения физических параметров человека. Экзоскелет должен повторять движения опорно-двигательного аппарата человека. Экзоскелеты применяют для военного дела, реабилитации и промышленности. В промышленности, обычно, используют пассивные экзоскелеты. Они не обладают источниками механической энергии и предназначены для облегчения труда. Активные экзоскелеты также используются в промышленности, но цена и сложность их производства не позволяет использовать их в полной мере. Активные экзоскелеты используют в реабилитации болезней, связанных с опорно-
1765
двигательным аппаратом. В активном экзоскелете важнейшей частью является интерфейс взаимодействия между человеком и экзоскелетом. Одним из них является электроэнцефалография (ЭЭГ). Целью работы является исследование возможности создания экзосклетной системы с использованием ЭЭГ.
Интерфейсы взаимодействия оператора и экзоскелета.
Взаимодействие оператора и экзоскелета необходимо рассматривать как сложное био-электромеханическое взаимодействие [1, 7]. Оператор принимает решение к движению исходя из когнитивного процесса, который зависит от информации, получаемой с помощью тактильных ощущений, зрительной информации и слуховой информации. На процесс принятия решений влияет экзоскелет, так как он непосредственно связан с опорно-двигательным аппаратом человека [6]. Интерфейс взаимодействия между человеком и экзоскелетом может быть выстроен разными путями.
Благодаря использованию инерциальных сенсоров, силовых сенсоров, тактильных сенсоров можно выстроить интерфейс взаимодействия с системой. Скорость работы такой системы будет низкой из-за задержки, вызываемой инерциальными сенсорами. Движение происходит раньше, чем система успевает на него среагировать [2].
Интерфейс взаимодействия, включающий в себя сенсоры, оценивающие электрические показатели тела человека обладают большей скоростью работы. Экзоскелет с интерфейсом взаимодействия, включающим в себя сенсоры мышечной активности, реагируют на движение до его начала, так как сигнал, получаемый от мышцы, появляется раньше, чем само движение [3]. Электромиография (ЭМГ), как способ записи мышечной активности человека используют электроды. Обнаружение ЭМГ сигнала можно производит как инвазивным методом, так и неинвазивным. Наиболее часто в экзоскелетных системах используется неинвазивный метод обнаружения ЭМГ сигнала.
1766
Интерфейс взаимодействия мозг-компьютер.
Интерфейс мозг-компьютер является одним из самых перспективных способов управления экзоскелетными системами. Электроэнцефалография -метод исследования головного мозга, основанный на регистрации его электрических потенциалов [4, 5]. Использование ЭЭГ позволяет повысить комфорт при использовании экзоскелета, комплект ЭЭГ имеет сравнительно низкую цену. Электроды ЭЭГ могут располагаться по-разному. Общепринятые системы расположение электродов — система 10-20% и система 10-10%, рисунок 1.
а, б
Рисунок 1. а. Расположение электродов по системе 10-20%, б. Расположение
электродов по системе 10-10%.
Место расположение электродов в системе 10-20% определяется следующим образом: линия, соединяющая переносицу и затылочный бугор, делится на 10 равных отрезков. Первый и последний электроды накладывают на расстоянии, соответствующем 10 % общей длины линии, от переносицы или затылочного бугра. От первого электрода на расстоянии, соответствующем 20 % общей длины линии, накладывается другой электрод и т. д. Таким образом, по линии переносица-затылок накладывают 5 электродов. На линии наружные слуховые проходы (центральная линия) так же накладывают по два электрода на каждое полушарие и макушечный электрод. Линии, параллельные
1767
медианной, и проходящие через электроды, наложенные по центральной линии, носят название парасагиттальных и височных (правая и левая). При этом на парасагиттальной линии накладывают по 5 электродов, а на височные — по 3 электрода. Всего в этом случае на поверхность головы накладывают 21 электрод. В системе 10-10% процесс расположения электродов аналогичен, за исключением расстояния, которое соответствует 10% от общей длины.
Как можно понять, система 10-10% точнее, так как обладает большим количеством электродов, которые, в свою очередь, могут дать больше полезной информации для системы управления экзоскелета. Максимальное количество электродов, которое можно использовать по системе 10-10% - 64. Такое количество электродов положительно влияет на точность, но вычислительная мощность системы должна быть выше. Количество электродов может быть снижено, так как не все части головного мозга отвечают за движение.
Интерпретация сигнала ЭЭГ для управления экзоскелетом является тяжелой задачей. Каждая часть головного мозга отвечает за определенную функцию, рисунок 2.
-Теменная доля
двигательная зона коры головного мозга
Таламус
.^Гиппокамп
Префронтальная кора |
-- Ассоциативная зона коры
Фронтальная часть ** поясной извилины
Первичная зрительная кора
Рисунок 2. Схема функциональных областей головного мозга.
1768
Моторная (двигательная) кора головного мозга расположена в средне-задней части прецентральной извилины и отвечает за планирование, контроль и выполнение произвольных движений от ног до лица. Также мозжечок, отвечающий за координацию движений, регуляцию равновесия и мышечного тонуса. У человека располагается позади продолговатого мозга и варолиева моста, под затылочными долями полушарий головного мозга. Посредством трёх пар ножек мозжечок получает информацию из коры головного мозга, базальных ганглиев, экстрапирамидной системы, ствола головного мозга и спинного мозга. Также, немаловажное значение в координации движений являются органы чувств человека. Человек принимает решение к движению исходя из когнитивного процесса, который зависит от информации, получаемой с помощью тактильных ощущений, зрительной информации и слуховой информации [7]. Исходя из этой информации необходимо принимать решение о количестве электродов, которые должны быть расположены в местах, в которых можно извлечь максимум информации о движении конечностей.
Для построения системы управления экзоскелетом можно использовать дополнительные интерфейсы взаимодействия с внешней средой [8 - 10]. Можно использовать зрительный интерфейс для определения цели (вещи), которую хочет взять оператор. Реализовать данный интерфейс можно с помощью устройства отслеживания зрачков. Алгоритм управления для взятия объекта в таком случае будет выглядеть следующим образом:
1. Выбор объекта: выбор объекта осуществляется с помощью устройства отслеживания взгляда,
2. Выдача команды с отслеживанием ЭЭГ,
3. Достижение объекта: запускает экзоскелет, для достижения объекта,
4. Захват и перемещение объекта.
Данный алгоритм подходит для задач по взятию объекта. Алгоритм может быть адаптирован под задачи питья и принятия пищи.
1769
Заключение.
Электроэнцефалография является одним из самых перспективных интерфейсов взаимодействия между пользователем и экзоскелетом. В данный момент уже существуют экзоскелетные системы, использующие ЭЭГ для управления. Но из-за недостатка таких систем их цена высока. Интерфейс мозг-компьютер может обладать достаточной точностью и удобством, чтобы использовать его в составе еэезоскелетных систем, предназначенных для реабилитации, промышленности, военного дела.
СПИСОК ЛИТЕРАТУРЫ:
1. Павловский В.Е., Солдатенкова Е.А. "Интерфейс мозг-компьютер" для экзоскелета БИОМЕХ: базовая функциональность // Препринты ИПМ им. М.В.Келдыша. 2017. № 83. 20 с. doi:10.20948/prepr-2017-83 URL: http://library.keldysh.ru/preprint.asp?id=2017-83;
2. Сайпулаев Г.Р., Сайпулаев М.Р., Меркурьев И.В., Адамов Б.И., Гарсиа Р.Б. Применение блока инерциальных датчиков для оценивания положения и управления движением экзоскелета нижних конечностей. Advanced Engineering Research (Rostov-on-Don). 2022,22(3):204-213. https://doi.org/10.23947/2687-1653-2022-22-3-204-213;
3. Ferreira, A., Celeste, W.C., Cheein, F.A. et al. Human-machine interfaces based on EMG andG applied to robotic systems. J NeuroEngineering Rehabil 5, 10 (2008). https://doi.org/10.1186/1743-0003-5-10;
4. Fedotchev A.I., Parin S.B., Polevaya S.A., Velikova S.D. Brain-computer interface and neurofeedback technologies: current state, problems and clinical prospects (review). Sovremennye tehnologii v medicine 2017, 9(1): 175-184, https://doi.org/10.17691/ stm2017.9.1.22;
5. Gordleeva S.Yu., Lukoyanov M.V., Mineev S.A., Khoruzhko M.A., Mironov V.I., Kaplan A.Ya., Kazantsev V.B. Exoskeleton control system based on motor-
1770
imaginary brain-computer interface. Sovremennye tehnologii v medicine 2017, 9(3): 31-38, https://doi.org/10.17691/stm2017.9.3.04;
6. Yatsun S.F., Yatsun A.S., Savel'eva E.V., Karlov A.E. SIMULATION OF INTERACTION BETWEEN AN OPERATOR AND AN EXOSKELETON, Journal of Machinery Manufacture and Reliability. 2020. Т. 49. № 6. С. 490-499;
7. Филист С.А. Петрунина Е.В. Трифонов А.А. Серебровский А.В. Кодовые образы сигналов электроэнцефалограммы для управления робототехническими устройствами посредством интерфейса мозг-компьютер, Моделирование, оптимизация и информационные технологии. 2019,7(1). Доступно по: https://moit.vivt.ru/wp-content/uploads/2019/01/PhilistSoavtori_1_19_1.pdf DOI: 10.26102/2310-6018/2019.24.1.025;
8. Ferrero, L., Soriano-Segura, P., Navarro, J. et al. Brain-machine interface based on deep learning to control asynchronously a lower-limb robotic exoskeleton: a case-of-study. J NeuroEngineering Rehabil 21, 48 (2024). https://doi.org/10.1186/s12984-024-01342-9;
9. Catalán, J.M., Trigili, E., Nann, M. et al. Hybrid brain/neural interface and autonomous vision-guided whole-arm exoskeleton control to perform activities of daily living (ADLs). J NeuroEngineering Rehabil 20, 61 (2023). https://doi.org/10.1186/s12984-023-01185-w;
10. Spüler, M., López-Larraz, E. & Ramos-Murguialday, A. On the design ofG-based movement decoders for completely paralyzed stroke patients. J NeuroEngineering Rehabil 15, 110 (2018). https://doi.org/10.1186/s12984-018-0438-z
1771
Shestakov V.K.
Moscow State Technological University "STANKIN" (Moscow, Russia)
INTERFACE OPERATOR AND EXOSKELETON USING ELECTROENCEPHALOGRAPHY
Abstract: the article discusses the possibility of constructing an exoskeleton system using electroencephalography. The structure of the human-machine interface is given. An analysis of existing electrode placement systems, 10-10% and 10-20% systems, was carried out. The structure of the brain was analyzed and zones were identified that can be used in the development of a human-machine interface.
Keywords: electroencephalography, exoskeleton, control system, human-machine interface.
1772
