CC BY
50
разработка иеироупра для мобилизации людей с двигательным дефицитом
DOI: 10.17691/stm2018.10.4.06 УДК 620.3:615.478.32 Поступила 14.06.2018 г.
B.И. Миронов, научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра трансляционных технологий1;
C.А. Лобов, к.б.н., научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра трансляционных технологий1; Н.П. Крылова, младший научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра трансляционных технологий1; ^Ю. Гордлеева, к.ф.-м.н., научный сотрудник лаборатории мозго-машинных интерфейсов Центра трансляционных технологий1;
А.Я. Каплан, д.б.н., профессор, зав. лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов2; руководитель лаборатории мозго-машинных интерфейсов Центра трансляционных технологий1; Т.В. Буйлова, д.м.н., профессор, зав. кафедрой адаптивной физической культуры Института реабилитации и здоровья человека1;
A.В. Бахшиев, к.т.н., старший научный сотрудник лаборатории систем технического зрения3; Д.В. Щуровский, к.т.н., генеральный директор4;
B.О. Вагнер, директор по инжинирингу4;
И.А. Кастальский, к.ф.-м.н., научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра трансляционных технологий1;
A.Н. Ли, зам. проректора по научной работе1;
B.Б. Казанцев, д.ф.-м.н., ведущий научный сотрудник, зав. кафедрой нейротехнологий Института биологии и биомедицины1; проректор по научной работе1
Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского, пр. Гагарина, 23, Н. Новгород, 603950;
2Московский государственный университет им. М.В. Ломоносова, Ленинские Горы, 1, Москва, 119991; 3Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики, Тихорецкий проспект, 21, Санкт-Петербург, 194064; 4ООО «ЗЕТТА», ул. Новозаводская, 10а, Тольятти, 445007
Цель исследования — разработка транспортного средства с элементами нейроуправления для маломобильной категории граждан и апробация алгоритмов интерпретации сигналов биоэлектрической активности человека для управления автомобилем.
Результаты. Создан ходовой макет первого городского электромобиля (нейромобиля) с элементами нейроуправления и ней-роассистирования, который предназначен для лиц с двигательным дефицитом и пожилых людей. Нейромобиль представляет собой оригинальную компоновку кузова и приводов в виде асинхронных мотор-колес, которая обеспечивает самостоятельную погрузку пилота на инвалидной коляске с возможностью размещения сопровождающего лица (пассажира). Он оснащен системой ассистирования пилоту — комплексом технического зрения, который более надежно оценивает дорожную обстановку (за счет интеграции разного типа данных) и рекомендательным образом планирует траекторию движения автомобиля. Результатом функционирования этой системы является рекомендуемый для водителя набор возможных сценариев движения (например, «перестроение в другую полосу», «движение в текущей полосе», «поворот» и др.), представляемых пилоту аудиовизуальными средствами информирования. Другой компонент нейромобиля — система нейроуправления, осуществляющая анализ сигналов различной модальности, включая электроэнцефалограмму головного мозга (интерфейс мозг-компьютер) и электромиографические сигналы (нейромышеч-ный интерфейс). Она формирует намерение пилота следовать по одному из предложенных вариантов движения. Обобщенное решение электронных систем ассистирования пилоту и нейроинтерфейсных средств передается системе управления приводными компонентами (мотор-колесо, руль, тормоза и т.д.) для итоговой отработки выбранного варианта движения. Таким образом, разрабатываемый нейромобиль позволит существенно расширить круг пациентов с поражениями двигательной системы, которые могут стать полноправными участниками дорожного движения.
Ключевые слова: нейромобиль; нейроуправление; интерфейс мозг-компьютер; система технического зрения; нейромышеч-ный интерфейс.
Для контактов: Миронов Василий Иванович, e-mail: [email protected]
Как цитировать: Mironov V.I., Lobov S.A., Krylova N.P., Gordleeva S.Yu., Kaplan A.Ya., Buylova T.V., Bakhshiyev A.V., Shchurovsky D.V., Wagner V.O., Kastalskiy I.A., Li A.N., Kazantsev V.B. Development of a neurally-controlled vehicle — neuro-mobile — for driving by individuals with motor deficiency. Sovremennye tehnologii v medicine 2018; 10(4): 49-59, https://doi.org/10.17691/ stm2018.10.4.06
English
Development of a Neurally-Controlled Vehicle - Neuro-Mobile -for Driving by Individuals with Motor Deficiency
V.I. Mironov, Researcher, Laboratory for the Development of Intelligent Biomechatronic Technologies, Center for Translational Technologies1;
S.A. Lobov, PhD, Researcher, Laboratory for the Development of Intelligent Biomechatronic Technologies, Center for Translational Technologies1;
N.P. Krylova, Junior Researcher, Laboratory for the Development of Intelligent Biomechatronic Technologies, Center for Translational Technologies1;
S.Yu. Gordleeva, PhD, Researcher, Laboratory for Brain-Machine Interface Development, Center for Translational Technologies1;
A.Ya. Kaplan, DSc, Professor, Head of the Laboratory of Neurophysiology and Neuro-Computer Interfaces2; Head of the Laboratory for Brain-Machine Interface Development, Center for Translational Technologies1; T.V. Buylova, DSc, Professor, Head of the Department of Adapted Physical Culture, Human Health and Rehabilitation Institute1;
A.V. Bakhshiyev, PhD, Senior Researcher, Laboratory of Technical Vision Systems3; D.V. Shchurovsky, PhD, General Director4; V.O. Wagner, Director of Engineering4;
IA fastalskiy, PhD, Researcher, Laboratory for the Development of Intellectual Biomechatronic Technologies, Center for Translational Technologies1; A.N. Li, Deputy Vice-Rector for Research1;
V.B. Kazantsev, DSc, Leading Researcher, Head of the Department of Neurotechnologies, Institute of Biology and Biomedicine1; Vice-Rector for Research1
1National Research Lobachevsky State University of Nizhny Novgorod, 23 Prospekt Gagarina, Nizhny Novgorod, 603950, Russia;
2Lomonosov Moscow State University, 1 Leninskiye Gory, Moscow, 119991, Russia; 3Central Research and Development Institute of Robotics and Technical Cybernetics, 21 Tikhoretsky Prospect, Saint Petersburg, 194064, Russia;
4LLC "ZETTA", 10a Novozavodskaya St., Tolyatti, 445007, Russia
The aims of the study were to develop a vehicle with elements of neural-control for people with limited mobility and to test algorithms for transforming human bioelectric activity into the driving commands.
Results. A running model of the first urban electric vehicle (neuro-mobile) with elements of neural-control and neuro-assistance intended for people with motor deficits and the elderly, has been created. The neuro-mobile is an original combination of the car body and asynchronous motor-wheels drives, able to accommodate the pilot on a wheelchair and a second person (passenger). It is equipped with a pilot assistance gear — a technical vision system, which reliably assesses the traffic situation by integrating the sensor data and recommends the correct driving path. Thus, the pilot is advised on possible driving scenarios (e.g., "changing lanes", "staying in this lane", "turning", etc.) presented by the audiovisual information tools. Another component of the neuro-mobile is the neural-control system able to analyze various bio-signals, including the electroencephalogram (brain-computer interface) and electromyogram (neuromuscular interface). The signals reflect the pilot's intention to choose one of the proposed movement options. A combined solution of the assisting electronic systems and the neuro-interfaces is transmitted to the drive control system (motor-wheel, steering wheel, brakes, etc.) to carry out the selected command. Thus, the proposed neuro-mobile may substantially increase the number of individuals with musculoskeletal deficiency, capable of moving with the road traffic.
Key words: neuro-mobile; neural-control; brain-computer interface; vision system; neuromuscular interface.
Введение
Потеря возможности самостоятельного передвижения, возникающая в результате ряда заболеваний,
дорожно-транспортных происшествий, операций, является одной из важных медико-социальных проблем и касается многих миллионов людей. Согласно данным Федеральной государственной информационной
системы «Федеральный реестр инвалидов», на 1 января 2018 г в России официально состоит на учете 12 млн. 111 тыс. инвалидов. В структуре основных видов стойких нарушений функций организма человека нарушения нейромышечных, скелетных и связанных с движением (статодинамических) функций занимают ведущее место. Количество лиц, впервые признанных инвалидами по данному виду нарушений, в 2017 г составило 167 618 человек.
Согласно принятой классификации основных видов стойких расстройств функций организма (приказ Министерства труда и соцзащиты РФ от 17 декабря 2015 г №1024н), выраженные нарушения статодина-мических функций могут наблюдаться у инвалидов вследствие 15 групп заболеваний. Наиболее весомый вклад в общую статистику нарушений вносится поражениями центральной нервной системы из-за позвоночно-спинномозговой травмы, опухолей и сосудистых катастроф спинного мозга, новообразований и сосудистых заболеваний головного мозга, демиели-низирующих заболеваний. В большинстве случаев к инвалидности приводят травмы позвоночника, и каждый год число инвалидов по причине спинномозговых травм растет.
Согласно Международной классификации функционирования, ограничений жизнедеятельности и здоровья (МКФ, 2001 г) одним из ведущих видов активности, составляющих качество повседневной жизни человека, является мобильность. Понятие «мобильности» очень многогранно, оно включает в себя 4 основных раздела: «изменение и поддержание положения тела», «перенос, перемещение и манипулирование объектами», «ходьба и передвижение», «передвижение с использованием транспорта». Во всем мире люди с ограниченной мобильностью демонстрируют более низкие показатели здоровья, более низкие достижения в области образования, меньшую экономическую активность и более высокие показатели бедности в сравнении со здоровыми людьми. Это обусловлено возникновением барьеров доступа к услугам, которые для многих из нас являются привычными, такими как здравоохранение, образование, занятость и транспорт.
Вследствие этого социальная защита инвалидов и их реабилитация входят в ряд важнейших проблем, стоящих перед государством в настоящее время.
На данный момент класс изделий, предназначенных для повышения мобильности инвалидов с расстройством статодинамических функций, представлен инвалидными колясками (креслами-колясками). Существует множество вариаций инвалидных колясок, предусматривающих движение за счет мышечной силы, электрической энергии или других альтернативных источников, однако все они представляют собой весьма ограниченные средства мобилизации.
Анализ существующих на российском рынке технических средств реабилитации показал, что они обеспечивают возможность передвижения инвалида
только в пределах тех или иных помещений: личные апартаменты, дом и другие объекты жилого характера, лечебные учреждения (больницы, санатории и др.), образовательные организации, а также предприятия сферы услуг и общего назначения. Такие технические средства не снимают проблему мобильности инвалидов, поскольку перемещение за пределами зданий остается затруднительным. Проблема интеграции маломобильных групп населения, принципиального улучшения качества жизни этой категории граждан требует комплексного решения, предусматривающего возможность относительно длительных перемещений.
Решением в сложившейся ситуации может стать разработка специализированных индивидуальных транспортных средств для перемещения инвалидов по улицам города и для длительных поездок.
Материалы и методы
В Национальном исследовательском Нижегородском государственном университете им. Н.И. Лобачевского ведется разработка нейропилотируемо-го транспортного средства для маломобильной категории граждан с расстройствами статодинами-ческих функций (наличие двигательного дефицита верхних и нижних конечностей). Данное средство при визуальном сходстве с обыкновенными автомобилями будет оснащено целым комплексом уникальных научно-технических решений как в части конструкции, так и в части системы управления и пилотирования: система управления нейромобилем будет включать активное ассистирование пилотированию и нейроуправлению. Следует отметить, что разрабатываемый нейромобиль представляет собой платформенное решение, где подбор наиболее комфортного нейроинтерфейса для конкретного водителя будет осуществляться индивидуально с учетом его особенностей и типа двигательной дисфункции.
Разрабатываемая система управления берет на себя часть функций человека, выполняя анализ дорожной обстановки, выдавая свои рекомендации (ассистирование), а пилот уже на их основании формирует управляющее воздействие, которое считы-вается мультимодальным регистратором сигналов головного мозга человека и транслируется в управляющие команды (в том числе относительно направления движения, скоростных параметров и др.) исполнительным механизмам нейромобиля (мотор-колесо, рулевое управление, световая сигнализация, двери, окна, мультимедиа и др.).
Аппаратные и приводные компоненты нейромобиля. Традиционное построение платформ в автомобилестроении, включая электроприводной транспорт, заключается в использовании набора силовых агрегатов, в том числе механизмов передачи крутящего момента (трансмиссия, редукторы), и конструктива для различных моделей транспорта.
В разработке нейромобиля будет использован мо-
Рис. 1. Принцип модульного формирования электромобиля:
1 — капсула; 2 — платформа; 3 — асинхронное мотор-колесо
дульный принцип компоновки (рис. 1). Транспортное средство будет представлять собой капсульный кузов (силовой каркас с синтетическими панелями), закрепленный на универсальной бестрансмиссионной платформе. Ключевым компонентом последней являются электрические асинхронные мотор-колеса (АМК), позволяющие через управляющие воздействия, включая прямое управление водителем, осуществлять управление движением транспортного средства.
Неотъемлемым компонентом нейромобиля является комплекс сенсорных устройств для мониторинга дорожной обстановки в сочетании с бортовым компьютером, объединяющим высокоуровневые команды управления транспортным средством с аппаратно-программными компонентами силовой установки и систем торможения, освещения, регулировки климата, контроля заряда батареи и ее зарядки, бортовой электроники.
Представленная компоновка кузова и бестрансмиссионная конструкция привода обеспечивают при малых габаритах нейромобиля вместительное полезное пространство, что позволяет разместить не только пилота на инвалидной коляске и сопровождающее лицо, но и мощный вычислительный блок для работы системы активного ассистирования водителю (с элементами автопилотирования) и системы нейроуправления.
Средства ассистирования пилоту нейромобиля. Для решения задачи создания устройства ассистирования водителю транспортного средства сформулирован набор критически важных датчиков, позволяющих осуществлять мониторинг складывающейся дорожной обстановки с целью последующего информирования водителя. К их числу относятся:
телевизионные камеры, обеспечивающие наиболее полный поток информации о локальном положении транспортного средства на полотне дороги и об осо-
бенностях дорожной обстановки вокруг транспортного средства;
тепловизионная камера как средство обнаружения людей и других участников движения в темное время суток, в дождливую погоду и т.п.;
лазерные дальномеры, обеспечивающие высокоточное определение дальности нахождения, скорости движения объектов и позволяющие получить информацию о свободной зоне вблизи транспортного средства;
ультразвуковые датчики, применяемые в качестве основных датчиков системы предотвращения столкновений при низкоскоростных маневрах в стесненных условиях (движение задним ходом, проезд дворов, парковка).
Для комплексирования данных, поступающих с разных типов датчиков обнаружения, система управления нейромобилем использует следующий алгоритм (рис. 2) идентификации объектов дорожной обстановки с целью последующего поиска вариантов движения.
Для решения задачи обнаружения объектов применяются алгоритмы на основе глубоких нейронных сетей [1], а задачи сопровождения объектов — универсальные алгоритмы [2] и методы на основе оптических потоков.
Система нейроуправления транспортным средством. Входящая в состав разрабатываемого ходового макета нейромобиля система нейроуправления, предназначенная для анализа сигналов мозговой активности, включает следующие модальности: электроэнцефалограмму (ЭЭГ) головного мозга (интерфейс мозг-компьютер, ИМК) и электромиографические (ЭМГ) сигналы (нейромышечный интерфейс). Как уже отмечалось, данный перечень не является закрытым и может модифицироваться в зависимости
Рис. 2. Структура алгоритма сбора и обработки информации о дорожной обстановке:
ИК — фронтальная инфракрасная камера; К — блок камер кругового обзора; Р — блок радаров; СТ — фронтальная стереопара; RW — прямоугольная область обнаруженного и классифицированного объекта дорожной обстановки; Ск — результат кластеризации точечных данных с радаров; С305, С205 — результат кластеризации трехмерного (при использовании стереопары) облака точек и сопоставление его с положением точек на плоском кадре; Wi — индекс класса распознаваемого объекта
К
-
Обнаружение объектов
ИК Обнаружение объектов и«
-> 1
Модель движения
i
Сопровождение объектов
i
Трекер
Для каждого Wi
п п
Р Обнаружение Кластеризация
препятствий
СТ Выделение — Кластеризация
->■ облака точек
■С 3' С 3-
к
М
С
к
от потребности каждой категории водителей с учетом типа двигательной дисфункции.
Интерфейс мозг-компьютер. Работа мозга сопровождается генерацией ряда сигналов, которые детектируются различными датчиками и используются для построения ИМК. Наиболее комфортной для пользователя является запись ЭЭГ, так как при этом не требуется инвазивного проникновения в ткань мозга (как в случае имплантируемых в мозг микроэлектродов) и громоздкого дорогостоящего оборудования (как для регистрации магнитоэнцефалограммы или магнитной томограммы) [3, 4]. В рамках реализации макетного решения нейромобиля применялись именно ЭЭГ-сигналы мозга ввиду их практичности и удобства использования [5].
Интерфейс мозг-компьютер, используемый в контуре системы нейропилотирования, реализован на основе технологии моторно-воображаемого типа и состоит из следующих основных блоков: блок регистрации ЭЭГ-сигналов, классификатор ЭЭГ-сигналов и программное обеспечение для передачи команд на автомобиль.
Для регистрации ЭЭГ-сигнала применяется сер-
тифицированный усилитель NVX52 («Медицинские Компьютерные Системы», Россия). Для записи ЭЭГ используются 7 отведений (С5, С3, С1, Cz, С2, С4, С6), размещенных в соответствии с международной схемой 10-10. Референтный электрод располагается на мочке левого уха, электрод заземления — на лбу. Частота оцифровки сигнала составляет 500 Гц. Сопротивление под электродами не превышает 10 кОм. Сигнал фильтруется в диапазоне от 8 до 15 Гц с Notch-фильтром 50 Гц.
В экспериментальных исследованиях участвовали 10 здоровых испытуемых (6 мужчин и 4 женщины) в возрасте от 18 до 23 лет, давших письменное согласие на участие в эксперименте. Исследование одобрено Комиссией по биоэтике Национального исследовательского Нижегородского государственного университета им. Н.И. Лобачевского.
Методика эксперимента по управлению автомобилем с помощью ИМК включает в себя две последовательные сессии: обучающую сессию и сессию управления. Сессия обучения служит для первоначальной настройки классификатора ИМК. В ходе обучения классификатора оператор выполняет одну из трех
инструкций: расслабиться при появлении на мониторе изображения «крестика», представить движение левой или правой руки при появлении на мониторе изображения стрелки «влево/вправо». Оператору предлагается выбрать любое движение рукой, комфортное, по его мнению, для воображения. В качестве примеров предлагались «перебор» пальцами и вращение кисти руки в лучезапястном суставе. По инструкции «расслабиться» оператор должен спокойно сидеть, концентрируясь на дыхании. Для каждой инструкции предусмотрено 10 предъявлений, длительность предъявления — 4 с. Межстимульный интервал составляет 3 с (пустой экран). Стимулы предъявляются в случайном порядке. Длительность обучения классификатора — 4 мин. Во время предъявления стимулов ведется запись ЭЭГ при помощи программы NeoRec («Медицинские Компьютерные Системы», Россия), которая передает полученный сигнал по протоколу LSL. Передаваемый сигнал считывается скриптом, написанным на языке Python, который контролирует синхронизацию между предъявлением стимулов и сигналом ЭЭГ
Нейромышечный интерфейс. Другая модальность, которая может быть сопряжена с сигналами нейросе-тевой активности и использована в рамках разработки
макета нейропилотируемого транспортного средства, — нейромышечная (ЭМГ) активность, сопровождающая любые двигательные акты, совершаемые человеком.
Ввиду высокой информационной емкости данного типа сигналов им в концепции системы нейропило-тирования уделено существенное внимание. В более ранних исследованиях [6] нами было показано, что основными факторами, лимитирующими использование ЭМГ-интерфейса, являются анатомические и физиологические особенности пользователей. Поэтому одной из ключевых задач в данной работе стало исследование возможности формирования и улучшения навыка применения ЭМГ-интерфейса управления мобильным объектом.
В качестве объекта управления использовали робот Pioneer 3DX (Adept MobileRobots, США) и виртуальный автомобиль в аркадной компьютерной игре (рис. 3). Испытуемые управляли мобильным объектом с помощью жестов руки.
Регистрация ЭМГ-сигналов производилась с помощью миобраслета MYO (Thalmic Labs, Канада) с 8 электродами, расположенными по кольцу вокруг предплечья руки (рис. 3, б). Связь между браслетом и компьютером, на котором выполнялась обработка
Рис. 3. Схема эксперимента по обучению людей навыку использования ЭМГ-интерфейса при управлении мобильным объектом:
а — управление реальным мобильным роботом Pioneer 3DX; б — пример управляющего жеста «влево», в качестве которого выбрано сгибание запястья; красным выделены мышцы, ЭМГ-сигнал с которых имеет максимальную амплитуду при совершении данного жеста; в — пример управления мобильным виртуальным объектом в компьютерной игре
ЭМГ-сигналов, осуществляется по беспроводному Bluetooth-интерфейсу. Для оценки степени мышечного усилия используется среднее абсолютное значение сигнала MAV (англ. mean absolute value) [7]. Классификация ЭМГ-паттернов производилась с помощью искусственной нейронной сети, представляющей собой многослойный персептрон. В качестве входного сигнала сети использовалось среднее квадратичное значение ЭМГ-сигнала — RMS (англ. root mean square), рассчитываемое для каждого канала. Интервал усреднения включал в себя 100 значений. ЭМГ-управление виртуальным объектом в компьютерной игре реализовывалось в рамках приложения MyoCursor [8].
В исследовании принимали участие 18 человек в возрасте от 20 до 40 лет. Все испытуемые дали письменное согласие. Участники были поделены на две группы, одна из которых управляла реальным роботом, а другая — виртуальным объектом. Тренировки проводились через день в течение двух недель. Испытуемые выполняли серию основных и промежуточных жестов, при этом для настройки классификатора и оценки его точности производилась регистрация ЭМГ-паттернов. Каждый жест выполнялся в течение 3 с и чередовался с таким же по длительности интервалом расслабления. Серия жестов повторялась 4 раза. После процедуры обучения классификатора выполняли основное задание на время. Полученные данные (время и ошибка классификации) по каждому тренировочному дню нормировались к первому дню для каждого пользователя индивидуально. Затем нормированные данные усреднялись по всем пользователям.
Результаты
Аппаратные и приводные компоненты.
Важным результатом в реализации задачи проектирования аппаратных компонентов явилась разработка АМК, которые, как отмечалось, составляют основу бестрансмиссионной платформы нейромобиля.
Разработку конструкции АМК проводили с учетом особенностей эксплуатации создаваемого объекта. Так, отдельное внимание уделялось необходимости формирования технического решения, обеспечивающего легкость (без дополнительных манипуляций с основной конструкцией мотор-колеса) сервисного обслуживания и смены колес в случае выхода из строя шины колеса транспортного средства.
Итоговый вариант конструкции АМК представлен в виде 3й-модели (рис. 4).
Для соблюдения требований безопасности конструкции АМК проектное решение обеспечивает дублирование системы торможения. Иными словами, система торможения является двухконтурной: электромагнитная и гидравлическая. При начале торможения АМК входит в режим рекуперации, т.е. происходит рекуперативное торможение. Контроллер, считывая показания с сенсоров АМК (с диска энкодера и инкрементального датчика), управляет режимом торможения и зарядкой батарей электропитания. В случае экстренного торможения или необходимости торможения на малых оборотах для полной остановки выполняется переход из условий рекуперативного торможения в условия торможения противовключением, при этом задействуется гидравлическая система торможения. При поломке электрической части системы торможения мотор-колеса, т.е. при отсутствии возможности торможения магнитным полем, система торможения работает на гидравлическом тормозе.
Средства ассистирования пилоту нейромобиля. Предложенный алгоритм (см. рис. 2) исследовали в ряде экспериментов с использованием реальных данных. Решалась задача обнаружения знаков дорожного движения. С этой целью были проведены следующие эксперименты с различным числом классов в выборке:
1) 1 класс: «пешеходный переход» (индекс 5.19.1 в соответствии с правилами дорожного движения — ПДД);
2) 2 класса: «пешеходный переход», «главная дорога» (5.19.1; 2.1 в соответствии с ПДД);
Рис. 4. Конструктивное решение для асинхронного мотор-колеса из состава приводной системы ходового макета нейромобиля
Таблица 1
Сводная таблица результатов экспериментов
№ МС СТ СТк Лучший результат
эксперимента 5.19.1 2.1 Знак ПЗ ИП ЛП ЛОП Точность Полнота Точность х полнота
1 0,2 0,89 — — 0,89 0,4 2913 331 382 0,90 0,88 0,79
2 0,2 0,88 0,94 — 0,91 0,4 4560 431 477 0,91 0,91 0,83
3 0,2 0,91 0,93 0,82 0,89 0,4 5528 1617 815 0,77 0,87 0,67
4 0,2 — — 0,84 0,84 0,5 2792 404 429 0,87 0,87 0,76
Здесь: МС — мера сходства двух множеств; СТ — средняя точность по классу; СТк — средняя точность по всем классам; ПЗ — пороговое значение уверенности предсказаний нейросетевого алгоритма; ИП — число истинно-положительных предсказаний; ЛП — число ложноположительных предсказаний; ЛОП — число ложноотрицательных предсказаний.
3) 3 класса: «пешеходный переход», «главная дорога», «знак» (5.19.1; 2.1); термином «знак» в выборке обозначались все остальные классы;
4) 1 класс: «знак».
Результаты представлены в табл. 1.
Как видно из таблицы, средняя точность по «узким» классам 5.19.1 («пешеходный переход») и 2.1 («главная дорога») довольно высока, в то время как по суперклассу «знак» она не превышает 85%. В эксперименте 3 с выборкой, содержащей и «узкие» классы, и суперкласс, средняя точность по всем классам ниже, чем в эксперименте 2 без суперкласса — именно из-за влияния на общий результат точности по суперклассу. При этом точность по «узким» классам не претерпела значительных изменений.
Система нейроуправления транспортным средством
Интерфейс мозг-компьютер. Анализ сигналов ЭЭГ-активности проводили классификатором, построенным на основе линейного дискриминантного анализа, который использует для классификации признаки, выделенные при помощи пространственной фильтрации методом CSP [9] попарно для всех типов команд.
После обучения классификатора оператор мог приступать к управлению внешним устройством, в качестве которого выступал нейромобиль. Оператору для управления предлагалось по своему усмотрению последовательно выбирать одну из трех команд (представление движения левой или правой рукой и покой). Каждые 2 с классификатор анализировал запись ЭЭГ, делал заключение и передавал команду, которую выбрал оператор, на внешнее устройство.
По результатам работы оператора рассчитывалась средняя точность его управления с помощью данного ИМК как отношение общего числа правильно введенных команд к общему числу попыток. Оператору в каждой сессии предоставлялось 10 попыток для каждой команды. В результате тестирования на 10 добровольцах средняя точность управления в разработанном моторно-воображаемом ИМК для трех команд составляет в трех сессиях в среднем 72%. При этом инте-
ресно отметить, что индивидуальные результаты по показателю точности при тестировании классификатора хорошо предсказывают (коэффициент корреляции = 0,8) последующие оценки точности управления автомобилем. Отметим также, что часть испытуемых (около трети) уверенно достигали достаточно высокой точности (90% и выше).
Нейромышечный интерфейс. На рис. 5 представлены результаты двухнедельных тренировок 18 испытуемых по ЭМГ-управлению. И в случае использования робота в реальных условиях, и в случае виртуального объекта в условиях компьютерной игры можно наблюдать постепенное уменьшение времени выполнения тестов. В среднем к концу тренировочного периода время прохождения теста «змейка» роботом Pioneer 3DX сократилось на 60%,
1,4
ш т го
I
со ф
_0
го m о
го
ср о X
♦ реальный робот
•> виртуальный объект
• ошибка классификации
4 5 6
Дни тренировки
Рис. 5. Результаты выполнения задачи ЭМГ-управле-ния в зависимости от дня тренировки:
реальный робот — время выполнения задачи управления роботом Pioneer 3DX; виртуальный объект — время выполнения задачи управления виртуальным объектом; ошибка классификации — значение ошибки классификации для всех испытуемых (точками представлены средние значения, барами — стандартные ошибки); результаты каждого испытуемого нормировались к первому дню тренировки
Рис. 6. Результаты анализа траекторий управляемого виртуального объекта:
а — пример траекторий в первый и последний дни тренировок; user — траектории объекта, управляемого человеком; best — оптимальное направление, рассчитанное алгоритмом Simple Rule; target — траектория движущейся цели; б — доля некорректных и оптимальных жестов, усредненная по всем испытуемым в первый и последний дни тренировок; звездочками отмечены статистически значимые различия
Первый день
Последний день
■ (
100 px ^
Некорректные жесты
Оптимальные жесты
0,1
—» user —» user —a best target
hm IUI
первый день последний день
Вниз Вверх Влево Вправо
Вниз Вверх Влево Вправо Команды
а
б
0
а игрового теста — на 50%. Для обоих случаев в наблюдаемом интервале зависимость времени от тренировочного дня имеет четко выраженный линейный характер, свидетельствующий о том, что улучшение показателей происходит последовательно от одного тренировочного дня к другому. Тренировочный эффект нельзя объяснить изменениями «качества» ЭМГ-паттернов, что подтверждается и данными по ошибке классификации. Ее средние значения в первый тренировочный день немного выше, чем в последующие, однако данное различие не является статистически значимым. Это доказывает, что сокращение тестового времени достигалось не за счет изменений в выполнении статичных жестов, используемых для настройки классификатора, а за счет другого фактора.
Результаты сравнения траекторий управляемого виртуального объекта в первый и последний тренировочные дни (рис. 6) позволили выявить фактор, опосредующий тренировочный эффект. На характерном примере (рис. 6, а) видно, что в первый день траектория объекта имеет зигзагообразный характер, что говорит о наличии ЭМГ-паттернов и, соответственно, управляющих жестов (движений), некорректных в контексте текущего задания. С течением тренировки можно наблюдать сокращение количества таких некорректных движений, что ведет к оптимизации траекторий. На рис. 6, б показаны доли оптимальных и некорректных жестов, усредненные по всем испыту-
емым в задании с виртуальным объектом. Доля всех некорректных жестов после тренировки уменьшилась (статистически значимо для жестов команд «вниз» и «влево»), а доля всех оптимальных — увеличилась (статистически значимо для жестов команд «влево» и «вправо»).
Полученные результаты говорят о том, что кратковременное обучение приводит к улучшению четкости выполнения движений, управляющих мобильным объектом в динамически меняющихся условиях.
Обсуждение
Разработка уникальной конструкции кузова и бестрансмиссионного привода на основе АМК позволяет решить несколько проблем построения городского автомобиля для инвалидов. Во-первых, при малых габаритах нейромобиль имеет внушительное пространство для размещения водителя на инвалидной коляске, сопровождающего лица — пассажира, аккумуляторов и мощного вычислительного комплекса. Во-вторых, система управления исполнительными механизмами нейромобиля, включая мотор-колеса, полностью интегрируется с системой активного ассистирования и нейроуправления.
Разработанная система нейропилотирования позволяет использовать ее в режиме медленного (городского) движения. Показана результативность управления мобильным объектом сигналами разной
Таблица 2
Основные технические характеристики нейромобиля в сравнении с зарубежными аналогами
Основные характеристики Аналоги
Кепдиги (Венгрия, США) Elbee (Чехия) EQUAL Нет данных Ferrari Numero UNO (Италия) Chairiot solo (США) Нейромобиль
Масса автомобиля, кг 550 400 440 1000 580 486-708 (в зависимости от комплектации)
Крутящий момент, Нм 60 50 80 Нет данных 80 1600
Мощность, кВт 4 12,5 6 231 7 Не менее 80
Тип двигателя Электропривод (задний привод) Двигатель внут- Электропривод реннего сгорания (задний привод) (передний привод) Гибридный двигатель (полный привод) Электропривод (задний привод) Электропривод (полный привод)
Тип батареи Литий-ионная — Литий-ионная Нет данных Свинцово-кис-лотная (AGM) Литий-ионная
Емкость батареи, кВтч 15 — 10 Нет данных 10 8-32
Запас хода на одной зарядке, км 110 — 100 — 60 от 200 до 600
Максимальная скорость, км/ч 45 80 50 250 42 140
Материал кузова Стальная рама и композитный кузов Алюминиевая рама и композитный кузов Алюминиевая рама и композитный кузов Алюминиевая рама и композитный кузов Стальная рама и композитный кузов Алюминиевая рама и композитный кузов
Активное ассистирование — — — — — Наличие
модальности (иными словами, в эксперименте по классификации ЭЭГ-сигналов не принималась во внимание ЭМГ-активность и наоборот). Дальнейшая работа в данном направлении предполагает проведение исследования эффективности алгоритмов в случае одновременного анализа сигналов нескольких модальностей.
Разработана система обучения нейроуправлению с помощью виртуального симулятора нейромобиля. Время обучения составляет несколько месяцев в зависимости от индивидуальных особенностей двигательной дисфункции.
Технические характеристики автомобиля не уступают зарубежным аналогам (табл. 2). Появление такого нейромобиля позволит вывести на качественно новый уровень социальную реабилитацию инвалидов и людей с двигательными дисфункциями, обеспечивая им возможность самостоятельного комфортного передвижения в городской среде.
Заключение
Представлены результаты разработки городского автомобиля (нейромобиля) для самостоятельного использования людьми с двигательными дисфункциями
(инвалиды-колясочники, пожилые люди). Автомобиль снабжен системой активного ассистирования водителю на основе системы технического зрения и интерфейсом нейроуправления, включающим в базовой версии интерфейс мозг-компьютер и нейромышечный интерфейс.
Финансирование исследования. Работа выполнена при поддержке Министерства образования и науки РФ в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы». Соглашение о предоставлении субсидии №14.581.21.0022 от 03.10.2017 г (уникальный идентификатор проекта RFMEFI58117X0022).
Конфликт интересов. У авторов нет конфликта интересов.
Литература/References
1. Орлова С.Р., Бахшиев А.В. Распознавание дорожных знаков на базе глубоких нейронных сетей. В кн.: Экстремальная робототехника и конверсионные тенденции. СПб; 2018; с. 451-459. Ог^а Б^., Вак1^1^ А.У Raspoznavanie dorozhnykh znakov па baze дЮЬойкИ
neyronnykh setey. V kn.: Ekstremal'naya robototekhnika i konversionnye tendentsii [Road sign recognition using deep neural networks. In: Extreme robotics and conversion tendencies]. Saint Petersburg; 2018; p. 451-459.
2. Nebehay G. Robust object tracking based on tracking-learning-detection [dissertation]. TU Wien; 2012.
3. Lebedev M.A., Nicolelis M.A. Brain-machine interfaces: past, present and future. Trends Neurosci 2006; 29(9): 536546, https://doi.org/10.1016/jtins.2006.07.004.
4. McFarland D.J., Wolpaw J.R. Brain-computer interfaces for communication and control. Commun ACM 2011; 54(5): 60-66, https://doi.org/10.1145/1941487.1941506.
5. Gordleeva S.Yu., Lukoyanov M.V., Mineev S.A., Khoruzhko M.A., Mironov V.I., Kaplan A.Ya., Kazantsev V.B. Exoskeleton control system based on motor-imaginary brain-computer interface. Sovremennye tehnologii v medicine 2017; 9(3): 31-38, https://doi.org/10.17691/stm2017.9.3.04.
6. Lobov S., Krilova N., Kastalskiy I., Kazantsev V., Makarov
V.A. Latent factors limiting the performance of sEMG-interfaces. Sensors 2018; 18(4): 1122, https://doi.org/10.3390/s18041122.
7. Lobov S.A., Mironov V.I., Kastalskiy I.A., Kazantsev V.B. Combined use of command-proportional control of external robotic devices based on electromyography signals. Sovremennye tehnologii v medicine 2015; 7(4): 30-38, https:// doi.org/10.17691/stm2015.7A04.
8. Lobov S., Krilova N., Kastalskiy, I., Kazantsev V., Makarov V. A human-computer interface based on electromyography command-proportional control. In: Proceedings of the 4th International Congress on Neurotechnology, Electronics and Informatics — Volume 1: NEUROTECHNIX. Portugal; 2016; p. 57-64, https://doi. org/10.5220/0006033300570064.
9. Koles Z.J., Lazar M.S., Zhou S.Z. Spatial patterns underlying population differences in the background EEG. Brain Topogr 1990; 2(4): 275-284, https://doi.org/10.1007/ bf01129656.
