CC BY
19ПРИБОРОСТРОЕНИЕ, МЕТРОЛОГИЯ И ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ ПРИБОРЫ И СИСТЕМЫ
ПРИБОРЫ, СИСТЕМЫ И ИЗДЕЛИЯ МЕДИЦИНСКОГО НАЗНАЧЕНИЯ
УДК 004.5:004.8
ДВУХУРОВНЕВАЯ НЕЙРОСЕТЕВАЯ МОДЕЛЬ ДЕШИФРАТОРА ЭЛЕКТРОМИОСИГНАЛА В СИСТЕМЕ УПРАВЛЕНИЯ ВЕРТИКАЛИЗАЦИЕЙ ЭКЗОСКЕЛЕТА1
Статья поступила в редакцию 10.07.2020, в окончательном варианте - 13.10.2020.
Трифонов Андрей Андреевич, Юго-Западный государственный университет, 305004, Российская Федерация, г. Курск, ул. Челюскинцев, 19, корпус Б, аспирант, e-mail: [email protected]
Филист Сергей Алексеевич, Юго-Западный государственный университет, 305004, Российская Федерация, г. Курск, ул. Челюскинцев, 19, корпус Б,
доктор технических наук, профессор, ORCID https://orcid.org/0000-0003-1358-671X, SCOPUS https://www.scopus.com/authid/detail.uri?authorId= 6603139063, ResearcherID http://www.researcherid. com/rid/O-4610-2015, e-mail: [email protected], https://elibrary.ru/author_profile.asp?id=251980
Кузьмин Александр Алексеевич, Юго-Западный государственный университет, 305004, Российская Федерация, г. Курск, ул. Челюскинцев, 19, корпус Б,
кандидат технических наук, доцент, ORCID https://orcid.org/0000-0001-7980-0673, SCOPUS https://www.scopus.com/authid/detail.uri?authorId=36142241500, ResearcherIDhttp://www.researcherid. com/rid/F-8405-2013, e-mail: [email protected], https://elibrary.ru/author_profile.asp?id=616342
Жилин Валерий Вячеславович, Курский институт кооперации, филиал Белгородского университета потребительской кооперации, экономики и права, 305004, Российская Федерация, г. Курск, ул. Радищева, 116,
кандидат технических наук, доцент, e-mail: [email protected], https://elibrary.ru /author_profile.asp?id=:321882
Петрунина Елена Валерьевна, Московский государственный гуманитарно-экономический университет, 107150, Российская Федерация, г. Москва, ул. Лосиноостровская, 49, кандидат технических наук, доцент, e-mail: [email protected]
Представлена система управления экзоскелетом в биотехнической системе, предназначенной для восстановления двигательной активности мышц пациента. Сущность используемого метода управления экзоскелетом заключается в том, что при дешифрации электромиосигнала используются не только ее амплитудные показатели, но и частотные характеристики. Основанием для этого является то, что повышение двигательной активности приводит не только к увеличению амплитуды электромиосигнала, но и числа задействованных двигательных единиц. Так же как и в известных методах, с целью адаптации функционального состояния пациента и процесса вертикализации в дешифраторе используется множество дублирующих каналов элек-тромиосигнала, связанных с мышцей или группами мышц, контролирующих движение одного и того же сустава конечностей. В результате этого на выходе классификатора каждого канала получаем число, соответствующее «уверенности» в команде управления серводвигателя экзоскелета. Для агрегации решений по каналам классификаторов все их выходы поступают на нечеткую нейронную сеть. Ее дефаззификатор формирует управляющий сигнал на контроллер серводвигателя. В результате анализа этого сигнала контроллер определяет скорость и направление вращения двигателя. На основе базовой модели классификатора осуществлено управление движением экзоскелета в режиме «встать - сесть». Определено расположение электродов на группе мышц для осуществления режима вертикализации с комбинированным управлением. Показано, что упрощенная кинематическая модель режима вертикализации позволяет совместно с двухуровневой нейросе-тевой моделью дешифратора электромиосигнала осуществлять адаптацию реабилитационного процесса к функциональному состоянию пациента. Полученные модели классификаторов поверхностных сигналов электромиограмм могут быть использованы при построении интеллектуальных систем реабилитации пациентов с неврологическими заболеваниями. Это позволит разрабатывать адаптирующиеся стимулирующие программы, тестирование результатов работы которых даст возможность разработать новые методы и средства для реабилитации пациентов с неврологическими заболеваниями.
Ключевые слова: электромиосигнал, экзоскелет, дешифратор электромиосигнала, нейронная сеть, аг-регатор решений, алгоритм, биотехническая система, адаптация реабилитационной системы к пациенту
1 Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-38-90112.
Графическая аннотация (Graphical annotation)
TWO-LEVEL NEURAL NETWORK MODEL OF ELECTROMIOSIGNAL DECODER IN EXOSCELETE VERTICALIZATION CONTROL SYSTEM
The article was received by the editorial board on 10.07.2020, in the final version — 13.10.2020.
Trifonov Andrey A., Southwest State University, building B, 19 Chelyuskintsev St., Kursk, 305004, Russian Federation,
postgraduate student, e-mail: [email protected]
Filist Sergey A., Southwest State University, building B, 19 Chelyuskintsev St., Kursk, 305004, Russian Federation,
Doct. Sci. (Engineering), Professor, ORCID https://orcid.org/0000-0003-1358-671X, SCOPUS https://www.scopus.com/authid/detail.uri?authorId= 6603139063, ResearcherID http://www.researcherid. com/rid/O-4610-2015, e-mail: [email protected], https://elibrary.ru/author_profile.asp?id=251980
Kuzmin Alexander A., Southwest State University, building B, 19 Chelyuskintsev St., Kursk, 305004, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, ORCID https://orcid.org/0000-0001-7980-0673, SCOPUS https://www.scopus.com/authid/detail.uri? authorId=36142241500, Researcher-IDhttp://www.researcherid.com/rid/F-8405-2013, e-mail: [email protected], https://elibrary.ru /author_profile.asp?id=616342
Zhilin Valery V., Kursk Institute of Cooperation, a branch of the Belgorod University of Consumer Cooperation, Economics and Law, 116 Radishchev St., Kursk, 305004, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, e-mail: [email protected], https://elibrary.ru/ author_profile.asp?id=: 321882
Petrunina Elena V., Moscow State University of the Humanities and Economics, 49 Losinoostrov-skaya St., Moscow, 107150, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, e-mail: petrunina @ mggeu.ru
An exoskeleton control system in a biotechnological system designed to restore the motor activity of a patient's muscles is presented. The essence of the exoskeleton control method used is that when decoding the electromiosignal, not only its amplitude indicators, but also frequency characteristics are used, since it is known that an increase in motor activity leads not only to an increase in the amplitude of the electromiosignal, but also to an increase in the number of motor units involved. Also, as in the known methods, in order to adapt the patient's functional state and the verticalization process, the decoder uses many duplicate channels of electromiosignals associated with the muscle or muscle groups that control the movement of the same limb joint, resulting in the output of each classifier of the channel, we obtain the number corresponding to the confidence in the control command of the exoskeleton servomotor,
and for aggregation of decisions on the channels of classifiers, all outputs of the channel classifiers go to a fuzzy neural network, the defusifier of which generates a control signal to the servo motor controller, as a result of which analysis the controller determines the speed and direction of rotation. Based on the basic models of the classifier, the exo-skeleton was controlled in the "stand up - sit down" mode. The location of the electrodes on the muscle group for the implementation of the verticalization mode with combined control is determined. It is shown that a simplified kinematic model of the verticalization mode allows, together with a two-level neural network model of an electromyosig-nal decoder, to adapt the rehabilitation process to the functional state of the patient. The obtained models of classifiers of surface signals of electromyograms can be used to build intelligent rehabilitation systems for patients with neurological diseases and will allow the development of adaptive stimulating programs, testing the results of which will allow developing new methods and tools for rehabilitation of patients with neurological diseases.
Keywords: electromyosignal, exoskeleton, decoder of electromyosignal, neural network, solution aggregator, algorithm, biotechnical system, adaptation of the rehabilitation system to the patient
Введение. В последние годы все большее распространение получили устройства, названные экзоскелетонами (экзоскелетами), т.е. внешними скелетами. Основной задачей таких аппаратов является оказание помощи человеку при перемещении в пространстве, в том числе и при ходьбе. Однако они могут использоваться и на начальном этапе реабилитации пациентов путем их верти-кализации, т.е. «перевода» пациентов из положения «сидя» в положение «стоя» [1].
Клиническое применение вертикализации доказало высокую ее эффективность в проведении реабилитационной терапии при самых различных неврологических нарушениях. Вертикализация позволяет эффективно улучшить и стабилизировать показатели работы сердечно-сосудистой системы, нормализовать процесс дыхания, улучшить подвижность мышц, активизировать работу и улучшить иннервацию опорно-двигательного аппарата. При этом вертикализация не только ускоряет процесс реабилитации, но и значительно снижает риск вторичных осложнений, связанных с длительной обездвиженностью пациента.
На рынке медицинского оборудования присутствуют многочисленные реабилитационные эк-зоскелеты. Однако на сегодняшний день нет эффективных алгоритмов, обеспечивающих устойчивое перемещение пациента в экзоскелете в процессе вертикализации. Открытыми остаются и вопросы математического моделирования поведения пациента в экзоскелете. Основной претензией к медицинским экзоскелетам со стороны специалистов является отсутствие возможности их адаптации к конкретному пациенту. Поэтому медики очень часто предпочитают более дешевые и эффективные средства реабилитации, использующие технологии вертикализации пациентов.
Для осуществления постинсультной реабилитации биотехническая система «экзоскелет - пациент» должна функционировать в комбинированном режиме. В определенный момент времени пациент занимает активное положение в системе и выполняет заданное движение самостоятельно. В другой момент времени пациент занимает в системе пассивное положение, и экзоскелет осуществляет заданное программно движение или движение, определяемое посредством декодирования электромиограм-мы (ЭМГ) пациента. В этом случае пациент совершает заданные движения с помощью экзоскелета, а биотехническая система определяет момент и размер необходимой помощи. Поэтому декодер электромиосигнала (ЭМС) должен определять не только тип движения и координаты конечности, но и усилие (момент), которое передается на соответствующий исполнительный орган экзоскелета.
Наиболее важная задача анализа ЭМС - необходимость найти информативные признаки (ИП), чтобы различать и классифицировать мышечные движения. ИП представляют текущий сигнал в виде кода с информацией о конкретном движении конечностей. Эта информация декодируется в декодере или классификаторе. Учитывая временные ограничения на расшифровку команды, исследователи предпочитают методы кодирования ЭМС во временной области на основе анализа амплитуд сигналов. Основным требованием к коду является его простота приема и скорость декодирования (классификация команды). Перечисляемые далее значения во временной области, измеренные как функции времени, используются в качестве ИП: интегральный ЭМС; среднее арифметическое ЭМС; среднее значение модуля сигнала; конечные разности отсчетов сигнала; сумма элементарных областей ЭМС; дисперсия ЭМС; стандартное отклонение ЭМС; длительность ЭМС; максимальное значение ЭМС. Более подробная информация о выборе признаков для классификации приведена в [3].
При реабилитации целесообразен комбинированный режим управления экзоскелетом, при котором последний выступает в качестве ассистента (помощника). В этом случае необходима информация о состоянии пациента, которая бы позволила определить размер необходимой ему помощи при выполнении тестовых движений. Эта информация позволит создать на серводвигателях экзоскелета минимальный момент, позволяющий уменьшить ошибки при позиционировании эк-зоскелета посредством серводвигателей, управляемых по командам, получаемым по результатам декодирования ЭМС. Таким образом, адаптация реабилитирующего экзоскелета к функциональному
состоянию пациента посредством анализа и декодирования поверхностных ЭМС является актуальной и важной для практики задачей.
Методы. Известно множество технических решений, позволяющих управлять экзоскелетом посредством биотехнической обратной связи [3, 4, 8, 10, 11, 13]. Для управления процедурой реабилитации необходимы модули принятия решений для расшифровки поверхностных ЭМГ. Обученные классификаторы используются в качестве таких модулей для обеспечения принятия решений. Классификаторы построены на основе моделей нейронных сетей, моделей нечеткого вывода или гибридных (гетерогенных) моделей [2, 5, 6, 7, 12]. В то же время обучающие выборки для обучения этих классификаторов формируются из базы данных, полученной в результате поискового анализа по открытым базам данных физиологических сигналов.
Для разработки методов кодирования ЭМС мы анализируем процесс генерации этих сигналов. Сигнал ЭМС должен поступать в декодер, который решает включить или нет исполнительный механизм, соответствующий команде, зашифрованной в этом сигнале. Если рассматривать сервомотор в качестве исполнительного механизма, то командный декодер состоит из двух двух-альтернативных классификаторов.
Амплитудные демодуляторы ЭМС были предложены в [13]. Для их реализации вводятся следующие показатели:
I 1 N
RMS= -Ix„2 , (1)
\Nn=1
1 N I
MAV=-Yxn\, (2)
N n=l
где N - ширина окна ЭМС, в котором вычисляется RMS или MAV; xn - значения отсчетов ЭМС в этом окне.
Модель декодера определяется моделью кодера. Если декодер основан на модели нейронной сети (NET), то количество входов NET определяется шириной окна N, шагом его перемещения вдоль сигнала ЭМС и частотой его дискретизации. В свою очередь выбор N определяется продолжительностью возбуждения двигательных единиц (ДЕ) работающей мышцы. При условии, что частота дискретизации ЭМС выбрана равной 500 Гц, мы получаем 25 выборок в интервале ширины окна.
Основным недостатком формирования ИП, согласно (1) и (2), является то, что в окне используются только амплитудные характеристики отсчетов сигнала. Это приводит к снижению информативности ЭМС и достаточно высокому уровню ошибок в классификации команд. Поэтому повышение точности классификации команд осуществляется за счет дублирования ЭМС по нескольким каналам и расшифровки сформированного таким образом вектора ИП посредством использования обучаемой нейронной сети. Однако указанное техническое решение может быть применено только при съеме сигналов с верхних или нижних конечностей и неприемлемо при дешифрации ЭМС мышц спины. В то же время их расшифровка необходима при управлении реабилитационными эк-зоскелетами в режиме «встать - сесть» или промышленными экзоскелетами - в режиме подъема груза. Кроме того, использование дублирующих каналов не приводит к повышению информативности сигнала, а направлено, скорее, на повышение его помехозащищенности. Это обстоятельство влечет за собой снижение надежности нейросетевого классификатора, на входы которого подаются высоко коррелированные признаки. Эти признаки формируются не только на основе анализа сигналов, зависящих от ЭМС, но и от места положения электрода в текущем эксперименте или от различной динамики изменения кожного сопротивления под электродами в процессе эксперимента. Эти обстоятельства не могут быть учтены в процессе обучения нейронной сети.
Сущность предлагаемого метода управления экзоскелетом состоит в том, что при дешифрации ЭМС используются не только их амплитудные показатели, но и частотные характеристики. Причина - известно, что повышение двигательной активности приводит не только к росту амплитуды ЭМС, но и к увеличению числа задействованных ДЕ. То есть для кодирования ЭМС используется гипотеза об амплитудной и частотной модуляции этого сигнала [9]. Соответствующий демодулятор используется для построения кодера. Его выходные сигналы используются в качестве ИП для соответствующих декодеров.
Так же как и в известных методах, с целью адаптации функционального состояния пациента и процесса вертикализации в дешифраторе используется множество дублирующих каналов ЭМС, связанных с мышцей или группами мышц, контролирующих движение одного и того же сустава в конечности. В результате на выходе классификатора каждого канала получаем число, соответствующее уверенности в команде управления серводвигателя экзоскелета. Для агрегации решений по каналам классификаторов все их выходы поступают на нечеткую нейронную сеть. Ее
дефаззификатор формирует управляющий сигнал на контроллер серводвигателя. В результате анализа этого сигнала контроллер определяет скорость и направление вращения серводвигателя.
Структурная схема устройства управления экзоскелетом посредством ЭМС представлена на рисунке 1. Устройство состоит из блока электродов 1, блока обработки ЭМС 2; бортового процессора 3, и контроллера серводвигателей 4. Отличительной особенностью этого устройства является отсутствие биотехнических обратных связей. Обратная связь осуществляется только через сенсорный канал оператора (пациента).
Рисунок 1 - Структурная схема устройства управления экзоскелетом посредством анализа ЭМС
Сущность метода управления экзоскелетом заключается в сегментации текущего сигнала ЭМС на непересекающиеся окна шириной TW с последующим формированием из отсчетов каждого окна информативного признака FD. С этой целью осуществляют переход от текущего дискретного отсчета ЭМС xT к отсчету yT, получаемому путем сравнения текущего отсчета с порогом 0 и вычисляемому согласно выражению
h, если |хг| > Э; (3)
т [0, если |хг|< 3.
На основе отсчетов (1) вычисляют информативный признак в окне TW как
1 TW
FD =-(4)
TW Т
На рисунке 2 показано, как из сигнала ЭМС x(t) на рисунке 2а получается сигнал y(t) по рисунку 2б для одного порога 0;. На ширине окна можно использовать множество порогов 0 и, как следствие, получить множество информативных признаков FD.
Таким образом, на апертуре окна TW формируется множество информативных признаков (3), на основе распознавания которых на серводвигатели 4 (рис. 1) подается соответствующая команда. Задавшись апертурой ЭМС, на которой принимается решение о включении серводвигателя, можем выделить на ней множество окон. Учитывая, что временная апертура дешифрации ЭМС составляет 250 мс, а минимальный информационный квант, то есть минимальный отрезок ЭМС, который переносит релевантную информацию, составляет 25 мс, агрегатор решений работает на апертуре 250 мс. Рисунок 3 иллюстрирует процесс формирования окон. Так как решение, принимаемое по результатам анализа одного окна, является частным решением, то необходим агрегатор этих решений. Таким образом, приходим к выводу, что необходимы две ступени дешифрации ЭМГ.
Для осуществления дешифрации ЭМС на двух ступенях используем обучаемые нейронные сети прямого распространения сигнала. Первая нейронная сеть (NET1) работает с пространством информативных признаков (2), сформированном в окне Tw. В качестве агрегатора также используем обучаемую нейронную сеть прямого распространения, которая работает на апертуре MW = int(250/W) или, если используются окна с перекрытием, то на апертуре MW = int((250-TW)/W), где W - шаг перемещения окна на апертуре ЭМС. Процесс определения числа неперекрывающихся окон анализа иллюстрирует рисунок 3.
На рисунке 4 представлен алгоритм управления экзоскелетом посредством анализа ЭМС. Блоки 2-5 алгоритма осуществляют анализ окон ЭМГ на заданной апертуре сигнала. Результаты этого анализа накапливаются в блоке памяти 5. После анализа ЭМС на заданной апертуре осуществляется переход на агрегатор NET 2, в котором принимается окончательное решение по выдаче команд на серводвигатели.
0i
t
а)
y(t 1
0
t
б)
Рисунок 2 - Иллюстрация перехода от сигнала ЭМС х(1;) (а) к сигналу >(1;) (б)
- W <—м
W
^—и
W .
250 мс
t
Рисунок 3 - Иллюстрация процесса формирования окон на апертуре ЭМС
Так как выходы ЫЕТ1, которые формируются на основе анализа сигнала ЭМГ (рис. 3), разнесены во времени, то для принятия решения по совокупности результатов этих выходов необходимо запоминающее устройство, в котором хранятся эти результаты. Накопление результатов классификации окон в ЫЕТ1 осуществляется в блоке 5 на рисунке 4. После анализа соответствующего количества окон его результаты поступают на обучаемую нейронную сеть ЫЕТ2 (блок 6), выходы которой подключены к контроллеру серводвигателей 4 (рис. 1). Число окон анализа, то есть входов ЫЕТ2, зависит от времени дешифрации команды, зашифрованной в ЭМС, и от минимального кванта информации, переносимого ЭМС.
Для синхронизации работы структурных элементов в дешифраторе ЭМС используется синхронизатор, временная диаграмма которого показана на рисунке 5. На рисунке 5а представлены скользящие окна анализа (дешифрации) сигнала х($. В данном примере имеет место случай с неперекрывающими окнами. На рисунке 5б показаны стробирующие сигналы Е1, поступающие на накопитель инфомативных признаков для ЫЕТ2. Эти сигналы переключают регистры адреса блока памяти. На рисунке 5в показан стробирующий сигнал, сигнализирующий о том, что на выходах \1<"Г2 появилась релевантная информация. Строб Е2 формируется после того, как выходами ЫЕТ1 будет сформирован вектор . Строб разрешает контроллеру серводвигателей 4
(рис. 1) исполнять команды, поступающие с ЫЕТ2.
Клшгп
Рисунок 4 - Схема алгоритма управления экзоскелетом
Результаты. За основу реабилитационного процесса был выбран процесс вертикализации пациента с опорой для рук, которая выступает в качестве простейшего реабилитационного изделия. Схематично этот процесс реабилитации иллюстрируется рисунком 6.
Кинематическая модель экзоскелета, соответствующая процессу реабилитации, представленному на рисунке 6, показана на рисунке 7.
Для простоты расчетов полагаем, что ф1 = 90° и не изменяется в процессе вертикализации (этот случай показан на рисунке 6). Тогда процесс вертикализации может быть осуществлен с помощью двух серводвигателей СД1 и СД2, управляющих углами ф2 и ф3, соответственно.
Для управления серводвигателями экзоскелета в процессе вертикализации используем пять каналов ЭМГ, которые считывают ЭМС с большой ягодичной мышцы, двуглавой мышцы бедра, полуперепончатой мышцы, полусухожильной мышцы, большой поясничной мышцы. На рисунке 8 показана топология электродов ЭМГ на соответствующих анатомических структурах пациента.
x(t)
Ei
E9
TW1
TW2
TW3
TWmw
t а)
-L-
->t б)
t в)
Рисунок 5 - Эпюры формирования управляющих импульсов на выходе синхронизатора
О
- Иллюстрация вертикализации пациента, осуществляемой
посредством простейшего устройства
а) б)
в)
Рисунок 7 - Кинематическая схема экзоскелета: 1 - голень, 2 - бедро, 3 - позвоночник, 4 - стопа; а) - начальное состояние вертикализации, б) - промежуточное состояние вертикализации, в) - конечное состояние вертикализации
Рисунок 8 - Топология электродов ЭМГ на соответствующих мышцах для управления вертикализацией
Процесс вертикализации управляется посредством дешифрации ЭМС в каналах, а скорость вертикализации зависит от интенсивности этих сигналов. При определенных сочетаниях интен-сивностей ЭМС в каналах серводвигатели могут остановиться в любой фазе процесса вертикализации. Чувствуя, что у него «не хватает сил встать», пациент захочет сесть. В этом случае возможна генерация соответствующих сигналов ЭМГ, которые могут быть использованы для реверса серводвигателей. Для осуществления режима «сесть» используются каналы ЭМГ с подвздошно-поясничной мышцы. Для вертикализатора в качестве дешифратора ЭМС необходимо использовать, как минимум, шесть каналов ЭМГ и еще одну нейросетевую структуру, используемую в качестве агрегатора дешифраторов канальных ЭМГ. Пять каналов ЭМГ соответствуют топологии электродов, представленной на рисунке 8, и предназначены для управления процессом вертикализации экзоскелета. Шестой канал используется при управлении режимом «сесть». Структурная схема такого дешифратора показана на рисунке 9.
В каждом канале включен блок компараторов, который осуществляет клиппирование ЭМС согласно (3) и вычисление информативного признака по клиппированному сигналу согласно (4). Нейронная сеть NET1 в каждом канале получает на входе столько информативных признаков, сколько клиппированных сигналов выдает канальный компаратор. Блок памяти хранит решения NET1 по каждому окну анализа, тем самым формируя входной вектор для NET2. Нейронная сеть NET3 является нечеткой нейронной сетью. Ее выход вычисляется путем дефаззификации шести функций принадлежности, представленных на рисунке 10.
Управление вторым серводвигателем осуществляется контроллером серводвигателей на основе модели движения экзоскелета в режиме «встать - сесть». Параметры модели адаптируются под физическое состояние пациента. Это позволяет устранить основной недостаток известных реабилитирующих экзоскелетов.
Рисунок 9 - Структурная схема классификатора ЭМГ при использовании дублирующих каналов
Рисунок 10 - Функция принадлежности для управления серводвигателем СД1: 1 - «сесть быстро», 2 - «сесть в среднем темпе», 3 - «сесть медленно», 4 - «встать медленно», 4 - «встать медленно», 5 - «встать в среднем темпе», 6 - «встать быстро»
Выводы. Для управления экзоскелетом в процессе реабилитации использовался нейросете-вой дешифратор ЭМС с дублирующими каналами. Дешифратор ЭМС в каждом канале построен на основе двух последовательно включенных нейронных сетей и многопорогового компаратора ЭМС. Дешифрация ЭМС в каждом канале осуществлялась посредством пошаговой сегментации на пересекающиеся или на непересекающиеся окна. Формирование вектора информативных признаков для нейронной сети первого уровня дешифрации осуществлялось посредством многопорогового компаратора, число порогов которого определяется размерностью вектора информативных признаков, а компоненты вектора информативных признаков определялись посредством процедуры клиппирования сигнала ЭМГ на различных уровнях компарации.
Вторая нейронная сеть предназначена для обобщения данных, получаемых при классификации векторов информативных признаков текущего окна. Размерность вектора информативных признаков для этой нейронной сети определяется числом окон ЭМС, используемых при принятии решения о включении/выключении соответствующего серводвигателя.
В дешифраторе используются несколько дублирующих каналов дешифрации ЭМС, связанных с мышцей или группами мышц, контролирующих движение одного и того же сустава конечностей.
В результате на выходе классификатора каждого канала получают число, соответствующее уверенности в определенной команде на серводвигатель экзоскелета. Выходы классификаторов каналов ЭМС поступают на нечеткую нейронную сеть, дефаззификатор которой формирует управляющий сигнал на контроллер серводвигателя. Контроллер серводвигателей анализирует управляющие сигналы и по результатам анализа определяет скорость и направление вращения соответствующих шарниров.
На основе базовой модели классификатора осуществлено управление движением экзоскелета в режиме «встать - сесть». Определено расположение электродов на группе мышц для осуществления режима вертикализации с комбинированным управлением. Показано, что упрощенная кинематическая модель режима вертикализации позволяет совместно с двухуровневой нейросетевой моделью дешифратора электромиосигналов осуществлять адаптацию реабилитационного процесса к функциональному состоянию пациента. Полученные модели классификаторов поверхностных сигналов электромиограмм могут быть использованы при построении интеллектуальных систем реабилитации пациентов с неврологическими заболеваниями.
Библиографический список
1. Аль-Бареда А. Я. С. Алгоритмы синтеза оптимального управления в биотехнических системах реабилитационного типа на основе технологий нейронных сетей / А. Я. С. Аль-Бареда, А. Н. Брежнева, Р. А. Томакова // Системный анализ и управление в биомедицинских системах. - 2018. - Т. 17, № 3. - С. 750-754.
2. Белых В. С. Разработка и исследование метода и алгоритмов для интеллектуальных систем классификации сложноструктурируемых изображений / В. С. Белых, М. А. Ефремов, С. А. Филист // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. - 2016. - № 2 (19). - С. 12-24.
3. Бобе А. С. Использование паттернов ЭМГ в задаче распознавания цикла ходьбы человека / А. С. Бобе, Д. В. Конышев, С. А. Воротников // Прикаспийский журнал: управление и высокие технологии. -2016. - № 3 (35). - С. 21-28.
4. Будко Р. Ю. Создание классификатора мимических движений на основе анализа электромиограммы / Р. Ю. Будко, И. Б. Старченко // Труды СПИИРАН. - 2016. - Вып. 46. - С. 76-89.
5. Филист С. А. Метод классификации сложноструктурируемых изображений на основе самоорганизующихся нейросетевых структур / С. А. Филист, Р. А. Томакова, О. В. Шаталова, А. А. Кузьмин, К. Д. Али Кассим // Радиопромышленность. - 2016. - № 4. - С. 57-65.
6. Филист С. А. Модели нечетких нейронных сетей с трехстабильным выходом в инструментарии для психологических и физиологических исследований / С. А. Филист, Абдул Ра-хим Салем Халед, О. В. Шаталова, В. В. Руденко // Системный анализ и управление в биомедицинских системах. - 2007. - Т. 6, № 2. - С. 475-479.
7. Киселев А. В. Нейросетевые модули с виртуальными потоками для классификации и прогнозирования функционального состояния сложных систем /, Т. В. Петрова, С. В. Дегтярев, А. Ф. Рыбочкин, С. А. Филист, О. В. Шаталова, В. Н. Мишустин // Известия Юго-Западного государственного университета. - 2018. -№ 4 (79). - С. 123-134.
8. Патент РФ RU 2 635 632 C1. Способ и система управления интеллектуальной бионической конечностью / Н. М. Иванюк, В. Р. Каримов, Р. Ю. Будко, П. В. Гронский, С. М. Клейман ; опубл. 14.11.2017, Бюл. № 32.
9. Петрова Т. В. Предикторы синхронности системных ритмов живых систем для классификаторов их функциональных состояний / Т. В. Петрова, С. А. Филист, С. В. Дегтярев, А. В. Киселев, О. В. Шаталова // Системный анализ и управление в биомедицинских системах. - 2018. - Т. 17, № 3. - С. 693-700.
10. Трифонов А. А. Биотехническая система с виртуальной реальностью в реабилитационных комплексах с искусственными обратными связями / А. А. Трифонов, Е. В. Петрунина, С. А. Филист, А. А. Кузьмин, В. В. Жилин // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. - 2019. - № 9 (4). - С. 49-66.
11. Филист С. А. Кодовые образы сигналов электроэнцефалограммы дляуправления робототехнически-ми устройствами посредством интерфейса мозг-компьютер / С. А. Филист, Е. В. Петрунина, А. А. Трифонов, А. В. Серебровский // Моделирование, оптимизация и информационные технологии. - Т. 7, № 1. - С. 67-79.
12. Филист С. А. Гибридная нейронная сеть с макрослоями для медицинских приложений / С. А. Филист, О. В. Шаталова, М. А. Ефремов // Нейрокомпьютеры. Разработка и применение. - 2014. - № 6. - С. 35-39.
13. Ataee Pedram and Aleem Idris S. Patent US, 20150370333 A1, G 06 F 3/01. applicant: Thalmic Labs Inc. -Appl. No.: 14/737,081, Filed: Jun. 11, 2015, Pub. Date: Dec. 24, 2015. 27 p.
References
1. Al-Bareda A. Ya. S., Brezhnev A. N., Tomakova R. A. Algoritmy sinteza optimalnogo upravleniya v bio-tekhnicheskikh sistemakh reabilitatsionnogo tipa na osnove tekhnologii neyronnykh setey [Algorithms for optimal control synthesis in biotechnical systems of rehabilitation type based on neural network technologies]. Sistemnyy analiz i upravlenie v biomeditsinskikh sistemakh [System analysis and management in biomedical systems], 2018, vol. 17, no. 3, pp. 750-754.
2. Belykh V. S., Efremov M. A., Filist S. A. Razrabotka i issledovanie metoda i algoritmov dlya intellektual-nykh sistem klassifikatsiy slozhnostrukturiruemykh izobrazheniy [Development and research of methods and algorithms for intelligent classification systems of complex structured images]. Izvestiya Yugo-Zapadnogo gosudarstven-nogo universiteta. Seriya: Upravlenie, vychislitelnaya tekhnika, informatika. Meditsinskoe priborostroenie
[Proceedings of the Southwest State University. Series: Control, Computing Engineering, Information Science. Medical Instruments Engineering], 2016, no. 2 (19), pp. 12-24.
3. Bobe A. S., Konyshev D. V., Vorotnikov S. A. Ispolzovanie patternov EMG v zadache raspoznavaniya tsi-kla hodby cheloveka [Using EMG patterns for human gait cycle recognition]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Control and High Technologies], 2016, no. 3 (35), pp. 21-28.
4. Budko R. Yu., Starchenko I. B. Sozdanie klassifikatora mimicheskikh dvizheniy na osnove analiza elektromiogrammy [Creating a classifier of facial movements based on the analysis of an electromyogram]. Trudy SPIIRAN [SPIIRAS Proceedings], 2016, no. 46, pp. 76-89.
5. Filist S. A., Tomakova R. A., Shatalova O. V., Kuzmin A. A., Kassim K. D. Ali. Metod klassifikatsii slozhnostrukturiruemykh izobrazheniy na osnove samoorganizuyushchikhsya neyrosetevykh struktur [Method of classification of complex structured images based on self-organizing neural network structures]. Radiopromysh-lennost [Radio Industry], 2016, no. 4, pp. 57-65.
6. Filist S. A., Rakhim Salem Khaled Abdul, Shatalova O. V., Rudenko V. V. Modeli nechetkikh neyronnykh setei s trekhstabilnym vykhodom v instrumentarii dlya psikhologicheskikh i fiziologicheskikh issledovaniy [Models of fuzzy neural networks with three-stable output in tools for psychological and physiological research]. Sistemnyy analiz i upravlenie v biomeditsinskikh sistemakh [System Analysis and Management in Biomedical Systems], 2007, vol. 6, no. 2, pp. 475-479.
7. Kiselev A. V., Petrova T. V., Degtyarev S. V., Rybochkin A. F., Filist S. A., Shatalova O. V., Mishustin V. N. Neyrosetevye moduli s virtualnymi potokami dlya klassifikatsii i prognozirovaniya funktsionalnogo sostoyaniya slozhnykh sistem [Neural network modules with virtual flows for classification and prediction of the functional state of complex sys-tems]. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta [Proceedings of the Southwest State University], 2018, no. 4 (79), pp. 123-134.
8. IvanyukN. M., Karimov V. R., Budko R. Yu., Gronskiy P. V., Kleyman S. M. Patent RF RU 2 635 632 C1. Sposob i sistema upravleniya intellektualnoy bionicheskoy konechnostyu [Method and control system of intellectual bionic limb], publ. on 14.11.2017, Bull. no. 32.
9. Petrova T. V., Filist S. A., Degtyarev S. V., Kiselev A. V., Shatalova O. V. Prediktory sinkhronnosti sis-temnylh ritmov zhivylh sistem dlya klassifikatorov ikh funktsionalnykh sostoyaniy [Predictors of synchronism of systemic rhythms of living systems for classifiers of their functional states]. Sistemnyy analiz i upravlenie v bio-medicinskikh sistemakh [System analysis and management in biomedical systems], 2018, vol. 17, no. 3, pp. 693-700.
10. Trifonov A. A., Petrunina E. V., Filist S. A., Kuzmin A. A., Zhilin V. V. Biotekhnicheskaya sistema s vir-tualnoy realnostyu v reabilitatsionnykh kompleksakh s iskusstvennymi obratnymi svyazyami [Biotechnical system with virtual reality in rehabilitation complexes with artificial feedback]. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya: Upravlenie, vychislitelnaya tekhnika, informatika. Meditsinskoe priborostroenie [Proceedings of the Southwest State University. Series: Control, Computing Engineering, Information Science. Medical Instruments Engineering], 2019, no. 9 (4), pp. 49-66.
11. Filist S. A., Petrunina E. V., Trifonov A. A., Serebrovsky A.V. Kodovye obrazy signalov elektroentse-falogrammy dlya upravleniya robototekhnicheskimi ustroystvami posredstvom interfeisa mozg-kompyuter [Code images of electroencephalogram signals for controlling robotic devices via the brain-computer interface]. Mod-elirovanie, optimizatsiya i informatsionnye tekhnologii [Modeling, optimization and information technologies], 2019, vol. 7, no. 1, pp. 67-79.
12. Filist S. A., Shatalova O. V., Efremov M. A. Gibridnaya neyronnaya set s makrosloyami dlya meditsinskikh prilozheniy [Hybrid neural network with macro-layers for medical applications]. Neyrokompyutery. Razrabotka iprimenenie [Neurocomputers. Development and application], 2014, no. 6, pp. 35-39.
13. Ataee Pedram and Aleem Idris S. Patent US, 20150370333 A1, G 06 F 3/01. applicant: Thalmic Labs Inc. Appl. No.: 14/737,081, Filed: Jun. 11, 2015, Pub. Date: Dec. 24, 2015. 27 p.
