CC BY
45
УДК 004.5
ВЫЯВЛЕНИЕ ИНДИВИДУАЛЬНЫХ ОСОБЕННОСТЕЙ ПРОИЗВОЛЬНОЙ МОТОРНОЙ АКТИВНОСТИ ЧЕЛОВЕКА ПРИ УПРАВЛЕНИИ МАНИПУЛЯТОРОМ ПО ИНТЕРФЕЙСУ МОЗГ-КОМПЬЮТЕР
Я.А. Туровский1, С.Д. Кургалин2, А.Г. Семёнов2, Я.С. Подвигина2
Лаборатория «Информационные технологии в медицине» (1); кафедра «Цифровые технологии» (2), ФГБОУ ВПО «Воронежский государственный университет», г. Воронеж; kurgalin@bk.ru
Ключевые слова и фразы: дерево классификации; индивидуальный паттерн движения; манипулятор; нейронная сеть.
Аннотация: Описан анализ произвольной моторной активности человека при управлении манипулятором, имитирующим движение верхней конечности. Для выявления индивидуальных особенностей такого управления использовано два подхода: на основе нейронных сетей и деревьев классификации. Показано, что применение нейронных сетей в варианте трехслойного персептрона с числом скрытых нейронов более 25 дает высокую точность выделения нужного параметра моторной активности пользователя при управлении манипулятором, в то время как использование деревьев классификации не обеспечивает необходимой точности такого выделения.
Разработка систем управления разнообразными устройствами как с применением технологий нейро-компьютерных интерфейсов (НКИ), так и в более широком смысле на основе систем биологической обратной связи, которые не используют традиционные каналы коммуникации человек-компьютер (клавиатуру, мышь, джойстик и т.п.), представляет собой актуальную проблему. Одним из направлений деятельности при решении этой проблемы является создание систем управления движением верхней конечности, роль которой может выполнять робот-манипулятор. Однако эффективное управление устройствами с помощью не-инвазивных НКИ, то есть без вживления датчиков, связано со многими проблемами в первую очередь из-за высоких требований к точности и, особенно, к скорости работы НКИ [1], и во вторую - к обеспечению необходимых условий непрерывной и длительной работы пользователя с интерфейсом. Очевидно, что кроме ставших классическими заданий по набору текстов, системы НКИ могут иметь значительно более широкое применение, связанное с использованием различных внешних устройств типа самоходного шасси, манипулятора, экзоскелета и т.д. В таких случаях, за довольно редким исключением [2, 3], существенную часть нагрузки, связанной с управлением внешними устройствами, возлагают на пользователя. Это в условиях достаточно низкой скорости и малой точности, которые дает данный канал коммуникации по сравнению с классическими каналами, не приводит к удовлетворительным результатам. Проблему можно если не устранить, то в значительной степени смягчить, используя для ее решения методы гибридного интеллекта, когда значительная часть нагрузки, связанная с управлением, например манипулятором, заменяющим верхнюю конечность, перекладывается с пользователя на программно-аппаратную часть НКИ (включая компьютер).
Действительно, принцип управления различными видами движений в организмах является многоуровневым. Эти уровни образуют: корковые нейроны моторных зон коры больших полушарий головного мозга, стриопаллидарная система, мозжечок (как кора мозжечка, так и подкорковые ядра), ядра ствола мозга и моторные ядра спинного мозга и т.д. При этом двигательный акт, запускаемый и контролируемый сознанием, тем не менее в значительной мере реализуется бессознательными механизмами. Таким образом, идею переноса на пользователя управления абсолютно всеми действиями манипулятора при использовании НКИ нельзя признать удовлетворительной. Логичным было бы, оставив за пользователем только целеполагание на выполнение определенных действий, то есть, по сути, сознательное управление, все бессознательные функции передать программно-аппаратной части НКИ.
Требования в виде достаточной скорости, точности и сохранения индивидуальных характеристик пользователя при управлении манипулятором с применением технологии НКИ приводят к необходимости разработки метода оценки успешности управления таким манипулятором, обеспечивающим не только оптимизацию скорости НКИ, но и сохранение индивидуального паттерна команд, подаваемых человеком.
В настоящем исследовании поставлена задача выявления и оценки индивидуальных паттернов моторной активности человека, осуществляющего управление внешним устройством, имитирующим работу верхней конечности, и получение на этой основе индивидуальных паттернов управления. Для ее решения сформирована группа из 10 праворуких добровольцев-мужчин, которые в ходе эксперимента управляли манипулятором с использованием ручного пульта. Они должны были захватить и перенести груз из одного участка экспериментального поля в другой. Каждый испытуемый после тренировки, состоящей из одной-двух попыток, проводил по 20 испытаний, результаты которых регистрировались.
Схема используемого в эксперименте дистанционно управляемого манипулятора представлена на рис. 1: узлы А и В имитируют движения плечевого и локтевого суставов; узлы С и Б - движение лучезапястного сустава, а узел Е - хватательные движения кисти руки.
Таким образом, испытуемый управляет манипулятором на основе сознательно генерируемых им команд и использует привычный ему способ управления с применением компьютерной мыши. Это сделано для того, чтобы получить оценку его действий в «идеальных условиях», не осложненных использованием незнакомых ему интерфейсов.
Рис. 1. Модель верхней конечности, реализованная в виде дистанционно управляемого робота-манипулятора
Для получения меры оценки движения манипулятора в трехмерном пространстве предложено два подхода. В первом из них предполагается фиксировать положение «кисти» манипулятора по координатам (х, у, z) с тем, чтобы описать временную динамику перемещения груза. Однако в этом случае не учитывается, какими именно «суставами» управляет испытуемый, поскольку одни и те же координаты можно получить, активируя управление, например суставами В и С. Очевидно, что в случае достаточно сложно устроенных эффекторов это приобретает еще большее значение, так как высокая сложность и большие возможности управляемых устройств позволяют осуществлять их перемещение по одной и той же траектории, используя разные наборы команд.
В рамках второго подхода координаты переносимого груза в случае, если скорость движения управляемого объекта или его элементов постоянна, можно представить как (Х, ©), где Х - номер «сустава», вокруг которого в данный момент совершается движение; © - время, затраченное на это движение. Таким образом, динамика движения манипулятора описывается последовательностью (Хь ©1) ^ (Х2, ©2) ^ (Х3, ©з) ^ ... . Следовательно, любой двигательный акт, выполняемый по команде манипулятором, можно представить как «квант поведения» [4], определяя наиболее часто встречающиеся (устойчивые) последовательности команд (рис. 2). При этом надо иметь в виду, что выполняемая последовательность команд содержит как «индивидуальные компоненты», характерные для конкретного индивидуума, так и компоненты «групповые», характерные для тех или иных групп людей при выполнении определенных действий.
По оси абсцисс (см. рис. 2) отложено время, в течение которого функционирует данный «сустав». По оси ординат указаны соответствующие «суставы» - оси манипулятора. Символы «+» и «-» отражают выбор полуоси «сустава» и соответствуют движению сустава в противоположные стороны. Черный прямоугольник -интервал времени, в течение которого выполнялась данная команда. Видно, что «сустав» Б манипулятора испытуемым не использовался.
Выделим индивидуальные особенности управления манипулятором конкретным пользователем. Учитывая сложность данной задачи, воспользуемся двумя методами многомерной статистики: на основе деревьев классификации и многослойных персептронов. Кроме того, для выявления возможных индивидуальных паттернов моторной активности используем два способа. В первом из них классифицируем всех испытуемых по паттернам их моторной активности, связанным с управлением манипулятором. Во втором способе осуществляем классификацию
Рис. 2. Схема, демонстрирующая результат управления манипулятором испытуемым
моторной активности не для всех испытуемых одновременно, а исходя из идентификации данного конкретного пользователя, а всех остальных испытуемых объединим в одну группу.
При этом данные, соответствующие идентифицируемому испытуемому, дублируются анализирующей программой таким образом, чтобы частота встречаемости показателей для данного испытуемого равнялась частоте встречаемости членов остальной группы, с тем чтобы избежать неправильного обучения классификаторов. Действительно, при невыполнении этого условия велика вероятность того, что нейронная сеть или дерево классификации будут обучены таким образом, чтобы отклонять гипотезу о принадлежности набора данных конкретному испытуемому, при этом ошибка классификации составила бы не более 10 %, что можно формально признать успешным обучением для такой гибкой и многовариантной системы, как моторика человека. Таким образом, первый способ выявления будет отвечать на вопрос «кто именно обладает данным паттерном моторной активности из известных испытуемых?», а второй - «можно ли отнести данный паттерн активности к данному испытуемому?». Обозначим условно первый способ как «классификация всех», а второй - как «классификация один против всех».
В качестве входных параметров нейронной сети использовались обозначения «суставов» манипулятора, на который пользователь подавал команды; длительность и «направление» команды (например, «согнуть», «разогнуть» и др.); номер данной команды N в ряду команд в каждом из экспериментов; номер эксперимента. Последнее необходимо для учета эффектов обучения и утомления пользователя (рис. 3). Видно уменьшение медианного времени, отражающее обучение испытуемого.
Использование деревьев классификации как в вариантах С&ЯТ, так и в различных вариантах дискриминантного анализа, позволяет показать достаточно низкую эффективность классификации: результаты кросс-проверки определяют точность отнесения имеющегося наблюдения анализируемым классам не более чем 44 %, при том что в большинстве случаев этот показатель не превышает отметку 30 %. При этом подобные невысокие результаты характерны как для варианта «классификация всех», так и для варианта «классификация один против всех».
t, с
Рис. 3. Медианные значения суммарного времени затраченного десятью испытуемыми при выполнении задания по управлению манипулятором
Значительно лучшие результаты продемонстрировали нейронные сети прямого распространения. В качестве используемых для классификации сетей применялись многослойные персептроны, содержащие один скрытый слой, а число нейронов в скрытом слое колебалось от 10 до 50. Для сетей с радиальными базисными функциями число нейронов скрытого слоя находилось в диапазоне от 20 до 300.
Использование модуля нейронных сетей из программного пакета 81а118Йса позволило провести автоматизированное тестирование группы нейронных сетей и выбрать для дальнейшего изучения нейронную сеть с лучшими параметрами. В качестве функций активации для нейронов как скрытого, так и выходного слоев использовались гиперболический тангенс, логистическая и экспоненциальная функции. Результаты классификации и использование радиальных базисных функций продемонстрировали, в целом, значительно более низкие показатели точности по сравнению с указанными выше функциями, а результаты классификации остались на уровне показателей деревьев классификации. Также низкие результаты (не более 37 % корректно классифицированных значений) продемонстрировали искусственные нейронные сети в варианте «классификация всех». Однако вариант «классификация один против всех» дал значительно лучшие результаты: при числе нейронов скрытого слоя многослойного персептрона больше 25 результаты классификации, в целом, демонстрируют достаточно высокую точность классификации. При анализе данных следует учитывать, что частоты встречаемости различных наблюдений разные (данные испытуемого, в отношении которого проверяется гипотеза, присутствуют в массиве данных в 9 раз чаще, чем данные любого другого пользователя). Таким образом, вероятность случайной верной классификации составляет 50 %. Полученные результаты классификации индивидуальных паттернов моторной активности десяти испытуемых представлены в таблице, из которой видно, что, как и следовало ожидать, успешность классификации индивидуальных паттернов моторной активности различна в зависимости от того, определена ли принадлежность данного паттерна интересующему нас испытуемому или же решен вопрос о принадлежности данного паттерна иным индивидуумам. Обнаружено, что для исследуемого пользователя число корректно распознанных состояний приближается к 100 %.
Таким образом, в результате проведенных исследований получены конфигурации весов в нейронной сети, которые позволяют довольно точно распознавать паттерны поведения отдельного человека. Обученные нейронные сети сохранены в виде программного кода для последующей их вставки в программные модули управления манипулятором.
Результаты классификации индивидуальных паттернов моторной активности десяти испытуемых, %
Корректно
Порядковый номер испытуемого
распознанные случаи 1 2 3 4 5 6 7 8 9 10
Для исследуемого пользователя 99 99 99 89 100 99 100 99 99 99
Для остальной группы пользователей 81 83 79 87 84 88 84 89 94 83
Заключение
В настоящей работе проведен анализ произвольной моторной активности пользователя при управлении им манипулятором, имитирующим движение верхней конечности человека. В ходе исследования оценены возможности классификаторов для выявления особенностей движений конкретного пользователя с тем, чтобы на следующем этапе работ можно было воспроизвести индивидуальные паттерны его активности при управлении различными типами устройств. Для выявления индивидуальных особенностей управления манипулятором использовано два подхода: на основе нейронных сетей и деревьев классификации. В качестве входных параметров для классификаторов использовались: идентификаторы «суставов» манипулятора, на которые пользователь подавал команды; длительность и «направление» команд («разогнуть», «согнуть» и др.); номер команды в ряду команд в каждом из экспериментов; номер эксперимента. Сделан вывод, что применение нейронной сети в варианте трехслойного персептрона с числом скрытых нейронов более 25 дает приемлемую точность выделения нужного параметра моторной активности, а использование деревьев классификации не обеспечивает необходимой точности классификации.
Полученные результаты могут найти применение при разработке систем нейро-компьютерных интерфейсов, использующих при управлении внешними устройствами индивидуальные паттерны активности конкретного пользователя.
Список литературы
1. Garcia, G. High Frequency SSVEPs for BCI Applications / Gary Garcia // Computer-Human Interaction. - April, 2008, Florence, Italy.
2. Сороко, С.И. Нейрофизиологические и психофизиологические основы адаптивного биоуправления / С.И. Сороко, В.В. Трубачев. - СПб. : Политехника-сервис, 2010. - 607 с.
3. Recent Advances in Brain-Computer Interface Systems / C. Guger [et al.] // Reza Fazel Publisher. - 2011. - Feb. - P. 193-222.
4. Системные механизмы поведения / под ред. К.В. Судакова. - М. : Медицина, 1990. - 121 с.
Identification of Individual Features of Random Motor Activity of Human for Manipulator Control in Brain-Computer Interface
Ya.A. Turovsky1, S.D. Kurgalin2, A.G. Semyonov2, Ya.S. Podvigina2
Laboratory "Information Technologies in Medicine" (1);
Department "Digital Technologies" (2), Voronezh State University, Voronezh;
kurgalin@bk.ru
Key words and phrases: classification tree; individual move pattern; manipulator; neuronet.
Abstract: The human arbitrary moving activity in manipulator action, which imitated arm move, was analyzed. For individual pattern detection two ways were used: neuronet and classification tree. The three-layered perseptron with more then 25 units in hidden layer demonstrated best results. However, the classification tree did not demonstrate the required accuracy of the prognosis.
Feststellung der individuellen Besonderheiten der willkürlichen motorischen Aktivität des Menschen für die Anwendung in der Steuerung vom Manipulators nach dem Interface vom Gehirn-Computer
Zusammenfassung: Im Artikel ist die Analyse der willkürlichen motorischen Aktivität des Menschen bei der Steuerung vom Manipulator, der die Bewegung des oberen Endorganes imitiert, durchgeführt. Für die Feststellung der individuellen Besonderheiten solcher Steuerung war es zwei Herangehen verwendet: auf der Grundlage der Neuronetze und der Bäume der Klassifikation. Es ist gezeigt, dass die Anwendung der Neuronetze in der Variante des dreischichtigen Perseptrones mit der Zahl der verborgenen Neuronen mehr als 25 die hohe Genauigkeit der Absonderung des nötigen Parameters der motorischen Aktivität des Benutzers bei der Steuerung vom Manipulator gibt, während die Nutzung der Bäume der Klassifikation keine solche Genauigkeit gewährleistet.
Déduction des possibilités individuelles de l'activité facultative moteure d'une personne pour l'empoi dans la commande du manipulateur par interface cerveau-ordinateur
Résumé: Das l'article est effectuée l'analyse de l'activité facultative de moteur d'une personne pendant la commande du manipulateur imitant le mouvement du bras. Pour la déduction des possibilités individuelles d'une telle commande on a utilisé deux approches: à la base des réseaux des neurons et des arbres de classification. Est montré que l'emploi des réseaux des neurons dans sa variante de perceptron avec les neuros cachés ne dépassant pas le nombre de 25 donne une haute précision de la déduction d'un paramètre nécessaire de l'activité moteure de l'utilisateur pendant que l'emploi des arbres de classification n'assure pas une nette précision d'une telle déduction.
Авторы: Туровский Ярослав Александрович - кандидат медицинских наук, доцент, заведующий лабораторией «Информационные технологии в медицине»; Кургалин Сергей Дмитриевич - доктор физико-математических наук, профессор, заведующий кафедрой «Цифровые технологии»; Семёнов Александр Германович -магистрант кафедры «Цифровые технологии»; Подвигина Яна Сергеевна - магистрант кафедры «Цифровые технологии», ФГБОУ ВПО «Воронежский государственный университет», г. Воронеж.
Рецензент: Бормонтов Евгений Николаевич - доктор физико-математических наук, профессор, заведующий кафедрой физики полупроводников и микроэлектроники, ФГБОУ ВПО «Воронежский государственный университет», г. Воронеж.
