CC BY
333Гуманитарная информатика. 2016. № 11. С. 34-42
УДК 621.391
DOI: 10.17223/23046082/11/5
НЕЙРОПИЛОТИРОВАНИЕ В ОБРАЗОВАТЕЛЬНОЙ РОБОТОТЕХНИКЕ: ТЕОРИЯ И ПРАКТИКА
Р.А. Богачёва
ООО «Нейроботикс», ООО «НейроАс», Зеленоград, Россия e-mail: r.bogacheva@neurobotics.ru
Рассматриваются возможности и перспективы использования нейропилоти-рования в контексте образовательной робототехники, теории нейропилотирова-ния, методиках обучения операторов; сделан краткий обзор нейрогарнитур, пригодных для образовательных целей, рассмотрен пример содержательного наполнения кратковременного курса по основам робототехники и нейропилотирования.
На практике использовалась нейрогарнитура «Нейробелт», позволяющая операторам освоить от 2 до 8 команд. В качестве сигналов выступают: нейтральное состояние, расслабление, концентрация, деконцентрация, воображаемая двигательная активность. Для обучения и управления робототехническими устройствами используется ПО «CyborgInteraction» (принимает, обрабатывает и классифицирует сигналы мозговой деятельности) и «BioEcho» (переводит сигналы в команды для виртуальных или робототехнических объектов). В качестве роботов наиболее часто используются роботы LEGO Mindstorms, квадракоптеры ArDrone и др.
Ключевые слова: нейропилотирование, нейроуправление, нейрогарнитура, нейроинтерфейс, образовательная робототехника.
NEURO CONTROL IN EDUCATION ROBOTICS: THEORY AND PRACTICE
Raisa A. Bogacheva
«Neurobotics», «NeuroAs», Zelenograd, Russia e-mail: r.bogacheva@neurobotics.ru
The brain-computer interface (BCI) could provide student's very fascinating alternative of robot control via changes of human brain states reflected in the scalp biosignal patterns. Such control requires PC, wearable neurointerface, special software and controllable object. Regular exercise using this brain-computer interface also helps students
to increase their level of self-control, which will be helpful during examinations and other situations.
The article proposes to use «Neurobelt» neurointerface system, since this system allows operators to employ from 2 to 8 control commands, it provides high-speed switching between brain states as well as good retention of the selected brain state. The following brain states are the most commonly used: neutral, relaxation, concentration, deconcentration, motor imaginary tasks. Two special software programs are included in to the neurointerface. The first program called «CyborgInteraction» is intended for biosignal registration, preprocessing and analysis with further brain states classification and generation of the general control commands. The second program «BioEcho» is used to convert these general control commands (or their sequence) to instructions specific for particular robot, or other real or virtual objects. For a workout with real objects in real time the LEGO Mindstorms EV3 constructor or Parrot ArDrone quadrocopter could be used.
Keywords: neuro control, brain-computer interface, mind-machine interface, educational robotics.
Мировая образовательная робототехника переживает расцвет в последние 5-10 лет, что обусловлено массовым появлением на рынке доступных по цене робототехнических платформ (LEGO Mindstorms, Huno, FischerTechnik, Bioloid, Nao, Dar Win-On, Parrot ArDrone, Pepper и др.) и обилием программного обеспечения, возможностью обмениваться идеями проектов, 3D моделями, открытыми кодами, распространенностью инструментов для прототипирования: 3D принтеров, сканеров, фрезеровальных и лазерных станков и т.д. как для покупки или аренды, так и в местах коллективного пользования (ЦМИТах, кванториумах, бизнес-инкубаторах и технопарках, технических кружках и т.д.); это стимулирует развитие также всевозможных конкурсов и тематических мероприятий разного масштаба - от мировых до региональных, где можно представить свой проект. Наиболее популярные всемирные соревнования: WRO, WorldSkills, CES, Maker Faire, CEATEC и т.п.; всероссийские: отборочные этапы WRO и WorldSkills, Robotics Expo, Skolkovo Robotics, Политехнический музей, Бал роботов и др.
В последние несколько лет популярным становится также использование технологии управления различными устройствами и программным обеспечением при помощи «силы мысли» (нейроуправления) не только профильными организациями (реабилитационными, развлекательными, образовательными и т.п.), но и обычными пользователями. Широкие массы применяют нейропилотирование, преимущественно в игровой сфере, однако многие специалисты прогнозируют, что профессия нейропилот войдет в список востребованных в ближайшие 10-15 лет [1], поэтому уже сейчас становится актуальным создание образовательных методик по обучению нейроуправлению.
Интерфейс мозг-компьютер позволяет выполнять несколько задач одновременно, т.е. можно говорить, жестикулировать, передвигаться в пространстве и т.д. и параллельно управлять необходимыми устройствами при помощи «силы мысли» (или контролировать и вмешиваться в процесс работы), это полезно как в быту, так и в многозадачных направлениях профессиональной деятельности. В ряде профессий очень важна скорость реакции, а устройства нейроуправления позволяют сэкономить время, отведенное на передачу информации от мозга к двигательным органам (например, чтобы нажать на кнопку «Стоп»), вместо этого команда передается сразу исполнительному механизму (например, автоматически закрывающемуся люку в связи с опасной утечкой вещества). Для людей, не способных самостоятельно передвигаться или обслуживать себя (с рождения или вследствие приобретенных заболеваний, в том числе повреждений вследствие несчастных случаев), нейротехнологии открывают большие возможности самообслуживания, передвижения, общения и даже трудоустройства. Таким образом, обучение нейроуправлению, помимо улучшения качества самоконтроля и развития когнитивных способностей (на данный момент пункт про развитие когнитивных способностей спорный, однако в ближайшие несколько лет разработчики соответствующего оборудования будут делать на него больший упор), позволяет рассчитывать прошедшим обучение школьникам на большую конкурентоспособность по завершении ими образовательного процесса.
Совмещение образовательной робототехники и обучение нейропило-тированию может оказать благотворное воздействие на обе эти отрасли: самостоятельно придуманный и собранный робот из деталей конструктора или разработанный и изготовленный с нуля, управляемый при помощи команд, идущих от мозга, поражает воображение и дает мощный стимул к развитию тех детей, которые еще не изучали робототехнику, а также тех, кто забросил занятия из-за того, что стало скучно (а это распространенная проблема, о которой часто говорят преподаватели и родители таких школьников, особенно если занятия проводить только на базе лего-роботов). Также некоторые школьники не хотят программировать - им кажется это сложным и неинтересным, но собирать, моделировать и изготавливать детали им нравится, но без программирования механизм не оживить, а значит, не увидеть результат. Здесь также может помочь нейропилотирование - в программном обеспечении нейрогарнитуры можно выбрать необходимого робота, обозначить двигатели или сценарии поведения для роботов, запускать их при помощи нейроинтерфейса.
Далее рассмотрим более подробно процесс нейропилотирования, необходимое оборудование и примеры занятий.
Благодаря СМИ многие люди слышали об управлении программами или техническими устройствами при помощи «силы мысли», однако так и не поняли, что же оно из себя представляет. Далее разберем этот процесс на составляющие.
Итак, нейропилотирование - это технология, позволяющая, используя данные, получаемые от нейроинтерфейса, при помощи специализированного ПО управлять виртуальными объектами или робототехнически-ми устройствами. Нейрокомпьютерный интерфейс (НКИ), или интерфейс мозг - компьютер (ИМК), - это система, созданная для обмена информацией между мозгом и электронным устройством, например компьютером. В основе нейрокомпьютерного интерфейса часто используется метод биологической обратной связи. Чаще всего для получения биологической обратной связи используют метод ЭЭГ. Электроэнцефалограмма (ЭЭГ) -электрическая активность мозга, регистрируемая с помощью электродов, расположенных на поверхности скальпа, и являющаяся результатом электрической суммации и фильтрации элементарных процессов в нейронах.
Для снятия ЭЭГ необходимы:
- электроды для считывания сигнала. Минимальное количество - 2, в медицинских целях записи производят с помощью 21, 64 и 128 каналов, в пользовательских - от 2;
- усилитель биопотенциалов, подключаемый к ПК;
- ПК;
- ПО для регистрации и обработки ЭЭГ, перевода сигналов в команды для исполнительных устройств (виртуальных объектов, роботов и т. д.).
На сегодняшний день на рынке пользовательских нейрогарнитур представлено несколько наиболее популярных продуктов, ниже проведем их анализ. В качестве сравнительных характеристик можно использовать несколько ключевых:
- Количество датчиков. С одной стороны, чем их больше, тем большее количество сигналов можно получить и обработать, с другой стороны, чрезмерно большое количество каналов делает прибор очень чувствительным и сложным в обслуживании, увеличивает вероятность ошибок и стоимость прибора.
- Тип используемых электродов - мокрые или сухие. Сухие электроды хороши тем, что их проще использовать - просто надеваешь гарнитуру и запускаешь программу, но у всех людей размер и форма головы различные, а это значит, что вряд ли гарнитура «сядет» идеально, кроме того, сцепление с поверхностью головы будет слабым, из-за этого будут высокое сопротивление и нестабильный сигнал, соответственно, качество соединения сильно пострадает. Для частичного решения этой проблемы выпуска-
ют игольчатые сухие электроды, но они стоят значительно дороже и давят на кожу, создавая у оператора дискомфорт, что не позволит пользоваться гарнитурой длительное время. Мокрые электроды требуют использования специального ЭЭГ геля или водно-солевого раствора, что требует немного больше времени на подготовку оператора, однако обеспечивает хороший контакт и длительное удержание сигнала, поэтому в медицинской электроэнцефалографии преимущественно используют мокрые электроды.
- Количество и тип команд, которые можно передавать при помощи нейроинтерфейса - это достаточно субъективный показатель, так как на него влияют количество и расположение датчиков (что позволяет считывать разные длины волн; стоит уточнить, что ЭЭГ-гаджеты, имеющие два электрода, чисто технически не могут выделять более двух состояний -нейтрального и какого-то другого, зависящего от расположения датчиков, однако производители часто вводят покупателей в заблуждение) и техники обучения оператора (производители используют различные методики). Также стоит отметить, что большинство пользовательских гарнитур на самом деле в качестве основного используют не метод ЭЭГ, а опираются на гироскоп, акселерометр, магнитометр и др. и в качестве команд используют еще движения головой или мышцами, что не относится к нейроуправлению.
- Цена - варьируется в зависимости от количества электродов и других технических характеристик, а также идущего в комплекте программного обеспечения и его возможностей.
Следует заметить, что все эти устройства каждый раз требуют калибровки, чтобы подстроиться под конкретного пользователя и его состояние в данный момент времени.
Показатель EMOTIV Neurosky Mindwave BrainLink Lite Нейробелт
Количество электродов 5 2 3 8
Тип датчиков Сухие Сухие Сухие Мокрые
Количество и тип команд Одновременно только 2 команды от мозга (нейтральное состояние и другое) или мимические команды: улыбка, подмигивание, удивление, заинтересованность 2 2 От 2 до 8 команд, связанных с макросостояниями оператора
Цена, тыс. руб. 38-40 12-16 18,5 80
Назначение Игровое, образовательное Игровое Игровое, медитативное Медицинское, образовательное
Выбор устройства следует осуществлять по всем вышеперечисленным показателям, а также в зависимости от целей использования. В случае, когда гарнитура нужна для пользовательского развлекательного формата, то достаточно будет и двух команд, особенно, если игра предполагает элемент соревновательности.
В качестве примера такого устройства можно привести набор «МтЖа11», если же устройство планируется использовать для серьёзного углубленного обучения и дальнейшего участия в соревнованиях, то, конечно, оно должно предоставлять большие управленческие способности и обеспечивать качество и стабильность сигнала.
Далее приведем пример для проведения практических занятий по обучению нейропилотированию с помощью прибора «Нейробелт» по методическим указаниям сотрудника компании «Нейроботикс» А. Зоно-ва. Данная система использовалась на первых Всемирных соревнованиях ассистивных технологий «Кибатлон» 2016 г. в Цюрихе. Спортсмен, выступавший от РФ в данном оборудовании, смог показать второй по скорости результат [2].
Также «Нейробелт» использовали для проведения всероссийских соревнований по управлению тараканами-киборгами сотрудники МТИ, так как организаторам было важно поддерживать стабильность и скорость управления.
В состав комплекта «Нейробелт» [3] входят ЭЭГ-шлем с пластиковыми держателями электродов, устройство регистрации «Нейро-белт», набор электродов, приемопередатчик сигналов, подключающийся к компьютеру, блок питания для устройства регистрации «Нейробелт», ЭЭГ-гель, шприц для нанесения электропроводящего геля, установочный диск и руководство по эксплуатации. ПО в комплекте: «СуЪо^Шег-асИоп» и «ВюЕсИо». ПО «СуЪо^ШегасИоп» предназначено для регистрации и предварительной обработки, анализа и классификации состояний биопотенциалов головного мозга и формирования управляющих команд по состояниям. ПО «ВюЕсИо» служит для преобразования управляющих команд (или их последовательности) по состояниям в произвольные команды для управления робототехническим устройством, а также программными виртуальными тренажерами.
В зависимости от целей подготовки операторов выделяется 2 уровня сложности:
Уровень сложности Базовый Продвинутый
Количество состояний 2-3 4-5
Применение тест-тренировочных программ «Диаграммы», «Умный дом» «Диаграммы», тренажёр набора команд, игровые тренажёры: «Лабиринт», «Умный дом»
Общее количество тренировочных часов От 15 мин до 1-1,5 ч в день 4-5 ч, 1-1,5 ч в день
Результаты наработки состояний Произвольное удержание и переключение команд Произвольное удержание и переключение команд
В качестве управляющих состояний используются: нейтральное, расслабления, концентрации, деконцентрации, выделения ментальной зоны.
В ходе процесса обучения оператору необходимо освоить следующие составляющие команд: удержание, переключение, произвольное переключение, «слепое» переключение, управление объектом.
Первое занятие (45 мин) может быть выстроено таким образом: 1015 мин - настройка ЭЭГ-оборудования, запись и тренировка двух состояний (нейтральное + любое второе, чаще в качестве второго выбирают расслабление или концентрацию) с помощью сценария «Диаграммы» в ПО «БиоЭхо» - 30-35 мин. Второе занятие включает уже запись и тренировку 2-3 состояний и использование сценариев «Диаграммы», и «Лабиринт». Управление робототехническим устройством требует от двух и более команд (в случае двух состояний: нейтральное состояние - отсутствие команды, любое другое состояние - команда, например, выбрать сценарий «Приветсвие», когда лего-робот поздоровается и выведет на дисплей слово «Hello») в зависимости от конструкции и пожеланий, так, например, управление квадракоптером или мобильной платформой требует освоения четырех состояний, чтобы осуществить команды: Старт / Вперед, Вправо, Влево, Посадка / Стоп.
Учащиеся 8-10-х классов (46 человек) зеленоградской школы № 618 в рамках профориентационных занятий при поддержке зеленоградского кластера по желанию освоили кратковременный курс «Основы робототехники и нейропилотирования» в объеме 6 ч в течение нескольких недель под руководством сотрудников компании «Нейроботикс». Оборудование: 3 робота LEGO Mindstorms EV3, 3 набора «Нейробелт», 6 ПК. Первое занятие было посвящено знакомству с конструктором и сборкой простого мобильного робота по инструкции, второе занятие было направленно на освоение среды программирования и создание сценариев поведения роботов, третье занятие было посвящено освоению трех состояний сознания и применения полученных навыков для управления движением мобильной платформы: вперед, вправо, влево. По результа-
там было отобрано 15 самых старательных и способных школьников, с которыми было выстроено более углубленное обучение.
В заключение отметим, что уже на ближайшие 10-20 лет мировое сообщество делает достаточно большую ставку на нейротехнологии. В Интернете можно найти множество проектов [4], направленных на исследования работы мозга и превращение их результатов в комплекс коммерческих продуктов. Среди них можно выделить несколько глобальных:
- Human Brain Project (2012 г.) - европейский проект, направленный на реконструкцию мозга путем моделирования миллиардов нейронов и их триллионов связей с использованием компьютеров.
- BRAIN (2013 г.) - американский проект, направленный на разработку технологий для получения новой информации о функциональной структуре мозга с верхнего до нижнего уровня. Генерирует Big Data для HBP.
- MINDS (2014 г.) - японский проект, направленный на исследование связи генома с поведением, психическими и нейродегенеративными заболеваниями человека (болезнь Альцгеймера, шизофрения, аутизм). Используются методы генной инженерии (разрушения и вставки генов) на человекообразных обезьянах (мартышках). Исследования проводятся на молекулярном и поведенческом уровнях.
- China Brain (2015 г.) - китайский проект, направленный на создание нейроморфных систем, учитывающих строение мозга человека. Разработка AI для гражданского и военного применения под управлением частной компании (Baidu) и др.
Все эти проекты направлены на понимание детальной анатомической структуры мозга и выявление закономерностей связей его функциональной структуры с психическими процессами (памятью, мышлением, восприятием и т.д.). Есть подобный проект и в РФ под названием «CoBrain». Он направлен на расширение ресурсов больного и здорового мозга человека через разработку высокоэффективных технологий от клеточного уровня до уровня целостного мозга, а также интеграцию мозга человека в информационные и технические среды различного уровня сложности.
Это новые рынки и возможности будущего. Обучение школьников нейропилотированию уже в ближайшие годы даст им конкурентные преимущества, а использование роботов в качестве объектов управления сделает занятия более увлекательными и полезными.
ЛИТЕРАТУРА
1. Ученики школы юных нейротехнологов МТИ представили на Worldskills hitech новую профессию - нейропилот. URL: http://worldskills.ru/ucheniki-shkoly-yunykh-neyrotekhnologov-m (дата обращения: 14.11.2016).
2. Россия на Кибатлоне. Опыт участия компании Нейроботикс. URL: http://www.robogeek.ru/robo-sobytija/rossiya-na-kibatlone-opyt-uchastiya-kompanii-neirobotiks (дата обращения: 12.11.2016).
3. Интерфейс мозг-компьютер. URL: http://neuro-botics.ru/neurophysiology/bci (дата обращения: 14.11.2016).
4. Проект CoBrain. Национальный исследовательский проект по расширению ресурсов мозга человека в рамках НТИ «Нейронет». URL: http://rusneuro.net/chto-takoe-nejronet/segmenty-i-proyekty/cobrain (дата обращения: 12.11.2016).
