CC BY
432Гуманитарная информатика. 2017. № 12. С. 23-31
УДК 612.7, 612.8
DOI: 10.17223/23046082/12/3
ИСПОЛЬЗОВАНИЕ НЕЙРОИНТЕРФЕЙСА BRAINLINK LITE ДЛЯ СОЗДАНИЯ СИСТЕМЫ УПРАВЛЕНИЯ МЕХАТРОННЫМИ УСТРОЙСТВАМИ
Ю. О. Лобода, А.В. Функ, З.А. Гасымов
Томский университет систем управления и радиоэлектроники, Томск, Россия
e-mail: [email protected]; [email protected]; [email protected]
Рассматривается применение нейроинтерфейсов в управлении мехатронными устройствами. При распознавании нейроинтерфейсом паттернов (устойчивых состояний) сигнала отдаётся команда для действия мехатронного устройства. В эксперименте задействованы мобильный робот ScEdBo и мехатронная рука-манипулятор InMoov.
Ключевые слова: интеллектуальное управление, нейроинтерфейс BRAIN-LINK LITE, InMoov, SCEDBO, мехатронные устройства, GENUINO 101, INTELEDISON 101.
USING THE BRAINLINK LITE BCI FOR ESTABLISHING A CONTROL SYSTEM FOR MECHANICAL DEVICES
Yulia O. Loboda, Angelina V. Funk, Zahid A. Ogly Gasymov
Tomsk State University of Control Systems and Radioelectronics, Tomsk, Russia
e-mail: [email protected]; [email protected]; [email protected]
The article takes up the issues of application of BCI in the mechatronic devices management. When a BCI is recognized by patterns (stable states) of the signal, it gives a command to the action of mechatronic device. The experiment involves a mobot ScEdBo and mechatronic arm-manipulator InMoov.
Key words: intelligent control, brain-computer interface, InMoov, SCEDBO, mechatronic devices, GENUINO 101, INTELEDISON 101.
Введение
Нейроинтерфейс - это прибор, считывающий электрическую активность головного мозга. Полученные в результате сигналы можно классифицировать и применить для передачи команд на мехатронные устройства. Активное развитие применения нейроинтерфейсов в системах управления обусловливает актуальность данной работы.
Цель работы: исследование возможностей управления мехатронными устройствами с помощью нейроинтерфейса BrainLink Lite.
Различают два типа внедрения нейроинтерфейсов по способу получения сигнала. Инвазивное устройство: измерение производится непосредственно с коры головного мозга. Для внедрения нейроинтерфейсов данного типа требуется операция. Датчик могут установить в кору головного мозга, чтобы измерить электрическую активность отдельных нейронов. Полученный сигнал достаточно точен, однако инвазийное вмешательство сопряжено с последствиями для здоровья человека.
При использовании неинвазивного нейроинтерфейса датчик устанавливается без вторжения в организм человека, с меньшим риском для пользователя. Такие датчики чаще всего используются в технологии нейроуправления. Эти устройства можно легко носить на теле, однако из-за преграды (черепа) сигнал электромагнитных волн ослабевает, размывается и требуется дополнительное техническое решение для усиления и обработки сигнала.
Проблема исследования
Биологические системы управления используют комбинированное управление: активное и пассивное. Технически активное управление используется посредством инвазивного внедрения датчиков в головной мозг, что небезопасно. Подгонка современных протезов отнимает месяцы и годы, может быть сопряжена с заболеваниями и физиологическими изменениями. Для управления протезами используются огромные вычислительные мощности из-за большого объема данных, необходимых для обработки полученной информации. Внедрение бионических протезов (LUKE (Life Under Kinetic Evolution) или Холдинга Швабе) не решает проблему полностью, поскольку идёт обработка только сигналов концевых мышц культи.
Основные вопросы исследования: классификация использования ней-роинтерфейсов в качестве управляющей системы для мехатронных устройств, в целом проект направлен на разработку нового поколения программного обеспечения, которое позволяет активно управлять проте-
зами верхней и нижней конечностей. Данный программный продукт является существенным дополнением к современным бионическим системам управления, использующим в основном пассивные системы управления. Предлагается дополнить систему управления мехатронными устройствами сигналами ЦНС и сделать его комбинированным.
Цель исследования
Изучить возможности использования нейроинтерфейса в управлении мехатронными устройствами.
Методы исследования
Анализ научной литературы, подбор мехатронных устройств (8сЕЖо, мехатронная рука 1пМооу), управление которыми можно осуществлять с помощью нейроинтерфейса.
На начальной стадии исследования было проведено сравнение существующих на потребительском рынке неинвазийных нейроинтерфесов (таблица).
Описание нейроинтерфейсов
Наименование Страна Количество датчиков Наличие Bluetooth Стоимость, долл.
EMOTIV Insight Emotiv - США 9 датчиков движения оси для точного измерения положения головы и движения Есть 38 500
NeuroSky MindWave NeuroSky -США 1 электрод Есть 38 000
MUSE Interaxon -Канада 7 сенсорных датчиков: 5 лобных датчиков, 2 ушных Есть 25 900
BrainLink Lite Macrotellect -Китай 3 «сухих» лобных электрода: EEG, GND, REF Есть 18 510
EMOTIV Epoc Emotiv - США 14 Есть 55 000
Neural Impulse Actuator OCZ Technology -США 3 Нет 3 300
Прежде всего нужно отметить, что принцип работы большинства не-инвазивных нейроинтерфейсов заключается в получении электроэнцефалограммы человеческого мозга в режиме реального времени. Хотя некоторые приборы также используют и иные параметры, например сигналы мышечной активности, в частности, мимики лица и морганий, но в основе работы лежит именно ЭЭГ человеческого мозга. Для исследования был выбран нейроинтерфейс BrainLink Lite, поскольку данный прибор был оптимален в соотношении цена/качество и не был слишком чувствителен к возмущениям внешней среды.
Управление мехатронными устройствами с помощью нейроинтерфейсов
Устройства, не Медицина: протезы
имеющие прямого встроенные
контакта с сверхмеханизмы
человеческим телом (киборги)
Рис. 1. Классификация видов управления мехатронными устройствами использования нейродатчиков
Идея управления мехатронными устройствами «силой мысли» зародилась довольно давно. Сейчас существуют проекты, в которых с помощью нейроинтерфейса можно включать компьютер или кондиционер, открывать или закрывать окна и двери. В одном из наших экспериментов в качестве управляемого мехатронного устройства задействован мобильный робот «ScEdBo» (school educational robot), разработанный в STEM-центре Томского государственного университета систем управления и радиоэлектроники. Было выбрано управление, основанное на базовой реакции нейроинтерфейса на открывание и закрывание глаз. Результат представлен на рис. 2.
На рис. 2 чётко видны зоны, когда человек закрывает глаза. Изменение сигнала считывается нейроинтерфейсом и может быть легко использовано для управления мехатронным устройством, например мобильным роботом, созданным на базе конструктора ScEdBo. Конструктор «ScEdBo» представляет собой электронный набор для разработки автоматических устройств и проектов разной степени сложности. В основе
«8сЕЖо» - печатная плата с установленным микроконтроллером, датчики и конструктивные элементы.
о —i—|—.—|—,—|—.—[—i—|—.—|—i—,—i—|—.—|—i—,—.—,—.—|
О J0 100 ISO 200 2SO 300 350 400 450 ИЗО 3S0 Й00
Время
Рис. 2. Влияние работы мышц на выходной сигнал
Действующая модель содержит более 60 деталей в базовой комплектации. В набор входят детали, изготовленные по специально созданным трехмерным моделям на 3Б-принтере и фрезерном станке из доступных расходных материалов: пластика, фанеры, оргстекла. Также для конструктора были подобраны металлические крепёжные материалы и управляющее устройство Arduino/Genuino 101. Поскольку Genuino 101, являясь одной из последних разработок Intel, снабжена интегрированными гироскопом, акселерометром и Bluetooth-модулем, её выделяют как оптимальную плату для управляемого устройства.
На рис. 3 представлена функциональная схема управления мехатрон-ным устройством с использованием нейроинтерфейса. Для устройств, не имеющих прямого контакта с человеческим телом, в качестве индикатора взаимодействия может быть использован светодиод или звуковой сигнал, а также непосредственно движение объекта, инициализированное верным толкованием ЭЭГ. Существуют положительные опыты управления системами подобного рода. Для мехатронных устройств, используемых в медицине, всё несколько сложнее. В частности, блок обратной связи находится в разработке, поскольку к сигналам воздействия на человеческий мозг следует относиться с крайней осторожностью.
Целью управления в определённой биологической системе можно назвать некое конечное состояние, в которое система должна прийти в
силу своей структурной организации, или некий ожидаемый результат действий.
Рис. 3. Внешний вид электронного образовательного набора ScEdBo: 1 - беспаечная макетная плата; 2 - плата Arduino/Genuino 101; 3 - батарея; 4 - моторы; 5 - драйвер шагового двигателя; 6 - датчики освещенности FC-51
Рис. 4. Схема управления мехатронным устройством с использованием нейроинтерфейса BrainLink Lite
Конечное состояние биологической системы - это наиболее оптимальное состояние как всей системы в целом, так и отдельных её составляющих на всех уровнях организации в условиях наиболее качественного управления. Таким образом, мы имеем пространство состояний, в которые переходит биологическая система. Управление разделяют на пассивное и активное. Пассивное управление - вторичное управление, сопутствующее структуре, управляющий центр пассивного управления не выявлен. Людвиг фон Бенталанфи («Обшая теория систем») предложил для подобного управления термин «первичная регуляция». Активное управление - система управления выделена в отдельный функциональный блок. Иногда такие системы предсказывают появление внешнего воздействия (системы с фазовым опережением) [1. Т. 1].
Сигналы, считываемые с концевых мышц культи, могут относиться к пассивной системе управления, а сигнал, передаваемый на протез нейро-датчиком, - это элемент активной системы управления. При комбинировании активного и пассивного сигналов система управления протезом с большой степенью соответствует биологической системе (рис. 4, 5).
Сигналы ЦНС
Прог сист
Протез
ЦП
Рис. 5. Механизм активного управления протезом
Для проведения эксперимента планируется использовать мехатрон-ную руку на базе Genuino 101. В качестве модели управления была выбрана мехатронная рука, созданная на базе открытого образовательного проекта InMoov [2]. Модель создана с помощью 3Б-принтера в лаборатории STEM-центра Томского государственного университета систем управления и радиоэлектроники. Для создания модели использован ABS-пластик, поскольку он имеет преимущества в прочности изделий и в то же время легко подвергается обработке. Не размягчается до 105°C, однако имеет ярко выраженную усадку (изменение размеров распечатанной детали после остывания).
В дальнейшем планируется использование PLA-пластика, поскольку данный вид пластика производится из отходов сельскохозяйственной промышленности (кукурузы, сахарного тростника) и является экологически чистым. Пластик PLA достаточно неприхотлив к условиям печати и имеет малую деформацию по сравнению с ABS. Для координации движений нескольких элементов человекоподобного робота InMoov планируется использовать плату IntelEdison. Собирается статистика по считыванию нейроинтерфейсом BrainLink Lite устойчивых состояний (паттернов), характеризующих базовые захваты руки (рис. 6).
Рис. 6. Модель мехатронной руки InMoov
Вывод
Современное оборудование позволяет дополнить мехатронные системы новым механизмом воздействия. Существуют положительные опыты управления мехатронными устройствами с использованием нейроинтер-фейсов. Новизна проекта заключается в создании уникального программного продукта, позволяющего осуществлять управление биомеханическими протезами с использованием нейроинтерфейсов.
Будет создана база паттернов для описания полного объёма системы движений верхней и нижней конечностей.
Учитывая, что система управления конечностями предполагает комбинацию активного и пассивного воздействия, а бионические протезы в основном имеют пассивное управление (с применением миодатчиков), создаваемый нами комплекс позволит модифицировать систему движения протезов и приблизить ее к реальным двигательным функциям.
Результаты были представлены в виде докладов на конференции «Когнитивная робототехника» (7-10 декабря 2016 г., Томск) [3. С. 178-183].
Также данный проект стал победителем StartupTour 2017 по Сибирскому федеральному округу в номинации IT. Планируются дальнейшие эксперименты по использованию нейроинтерфейса как элемента активного управления протезом на базе модели InMoov и продолжение работы в данном направлении с мобильным роботом ScEdBo. Проект выполнен в рамках базовой части государственного задания Министерства образования и науки Российской Федерации на 2017-2019 гг. № 8.9628.2017/БЧ.
ЛИТЕРАТУРА
1. Земляков И.Ю. Физиологическая кибернетика. Ч. 1: Основы физиологической кибернетики и теория систем управления. Томск : Изд-во СибГМУ, 2006. 340 с.
2. Проект InMoov. URL: http://inmoov.fr/ (дата обращения: 10.12.2016).
3. Лобода Ю.О., Функ А.В. Возможности использования нейроинтерфейсов в управлении мехатронными устройствами // Материалы Международной конференции «Когнитивная робототехника» (7-10 декабря 2016 г.) / Томский государственный университет. Томск, 2016. С. 178-183.
