CC BY
510
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ март-апрель 2019 Том 19 № 2 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
March-April 2019
Vol. 19 No 2 ISSN 2226-1494
http://ntv.ifmo.ru/en
УДК 681.527.2, 681.532.62, 681.532.8
МЕТОДЫ УПРАВЛЕНИЯ ПРОТЕЗАМИ ВЕРХНИХ КОНЕЧНОСТЕЙ Н.М. Горохова", М.А. Головинь, М.С. Чежин"
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
b ФГБУ ФНЦРИ им. Г.А. Альбрехта Минтруда России, Санкт-Петербург, 195067, Российская Федерация Адрес для переписки: gnatali1997@gmail.com Информация о статье
Поступила в редакцию 08.11.18, принята к печати 29.01.19 doi: 10.17586/2226-1494-2019-19-2-314-325 Язык статьи - русский
Ссылка для цитирования: Горохова Н.М., Головин М.А., Чежин М.С. Методы управления протезами верхних конечностей // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 2. С. 314-325. doi: 10.17586/22261494-2019-19-2-314-325 Аннотация
Проанализированы методы управления протезами верхних конечностей. Рассмотрены особенности управления протезами на три вида ампутации (на уровне кисти и пальцев, на уровне предплечья и после вычленения предплечья, на уровне плеча и после вычленения плеча). Показано, как уровень ампутации связан с используемыми методами управления. Наиболее перспективными методами управления в протезах кисти и пальцев являются методы с расширенной обратной связью и адаптивные; на уровне предплечья и после его вычленения актуально использование нейроинтерфейсов, явления мышечных синергий и других; на уровне плеча и после его вычленения эффективны неинвазивные и интуитивные методы управления. Несмотря на многообразие достижений современных технологий задача полного восстановления всех утраченных функций верхней конечности остается актуальной. Выделен ряд нерешенных задач в области разработки систем управления протезами верхних конечностей: организация расширенной обратной связи «человек-протез», управление большим количеством степеней подвижности протеза и одновременное использование источников полезных сигналов различной природы. Ключевые слова
протез верхней конечности, система управления, метод управления, автоматическое управление, ЭМГ, ЭЭГ, распознавание образов, нейронная сеть, интуитивное управление, адаптивное управление
CONTROL METHODS FOR UPPER EXTREMITY PROSTHESES N.M. Gorokhova", M.A. Golovinb, M.S. Chezhin"
aITMO University, Saint Petersburg, 197101, Russian Federation
b"Federal Scientific Center of Rehabilitation of the Disabled named after G.A. Albrecht" of the Ministry of Labour and Social Protection of the Russian Federation, Saint Petersburg, 195067, Russian Federation Corresponding author: gnatali1997@gmail.com Article info
Received 08.11.18, accepted 29.01.19 doi: 10.17586/2226-1494-2019-19-2-314-325 Article in Russian
For citation: Gorokhova N.M., Golovin M.A., Chezhin M.S. Control methods for upper extremity prostheses. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 2, pp. 314-325 (in Russian). doi: 10.17586/2226-1494-2019-19-2-314-325
Abstract
The paper deals with upper extremity prostheses control methods analysis. We consider prostheses control peculiarities for three main levels of amputation (prostheses for hand and fingers amputation, forearm amputation or forearm disarticulation, shoulder amputation or shoulder disarticulation). It is shown how amputation level is connected with used prosthesis control methods. The most perspective control methods for hand and fingers prostheses are the ones with extended feedback and adaptivity. It is beneficial to use neurointerfaces and muscle synergy phenomenon in control methods for forearm prostheses. Non-invasive and intuitive control methods are considered to be the most effective for shoulder prostheses. In spite of a great variety of modern technological achievements, the question of full recovery for all upper extremity functions remains open. A number of still unsolved problems, concerning the development of upper extremity prostheses control systems, is outlined: organization of extended "human - prosthesis" feedback, an effective control of multiple degrees of freedom, and simultaneous usage of the useful signal sources of different origins. Keywords
upper extremity prosthesis, control system, control method, automatic control, EMG, EEG, pattern recognition, neural network, intuitive control, adaptive control
Введение
В результате болезни, производственной травмы или несчастных случаев может быть усечена или устранена конечность на уровне одного из ее сегментов. После ампутации верхних конечностей человек утрачивает способности к самообслуживанию. В настоящее время актуальна задача создания технических средств, заменяющих отдельные части организма человека - протезов.
Разработка протезно-ортопедических изделий (ПОИ), предназначенных для компенсации утраченных или нарушенных функций опорно-двигательного аппарата, основывается на глубоком понимании особенностей двигательного аппарата человека и основных закономерностей выполнения человеком разнообразных действий, связанных с движением сегментов тела. ПОИ подразделяются на группы, одной из которых являются протезы.
В настоящей статье рассматриваются протезы верхних конечностей, различающихся по виду ампутации: на уровне кисти и пальцев; предплечья и после вычленения предплечья; плеча и после вычленения плеча. Следует отметить, что операторы (пользователи протезов) с врожденными недоразвитиями (например, крайние степени брахи, эктродактилии пальцев и др.) используют протезы с аналогичными по своей организации описанными в данной статье системами управления (СУ). В этом случае существует определенная специфика, связанная с получением полезного сигнала управления из-за высокой вариативности изменения костно-мышечных и других структур организма в целом и конечности, в частности у людей с врожденными недоразвитиями. Необходима медицинская оценка эксперта перед непосредственным протезированием. Соответствующие случаи уникальны и не являются предметом рассмотрения настоящей статьи.
В настоящей статье представлены результаты анализа современных научно-технических достижений в области разработки СУ протезами верхних конечностей за последние пять лет. Проанализированы достоинства и недостатки основных типов протезов. Рассматривается эффективность СУ для каждого конкретного вида ампутации, указаны перспективные направления дальнейших исследований для трех основных видов протезов верхних конечностей.
История развития протезов
На протяжении веков конструкция протезов верхних конечностей изменялась в зависимости от уровня существующих технологий. Первые деревянные и железные протезы появились еще до нашей эры. Со временем протезы стали включать механические элементы: появились храповые механизмы, системы рычагов, тяг, шарниров, пружин и шестерней. Это привело к возможности управлять схватом и раскрытием кисти, а также использовать рабочие протезы (вспомогательные средства, дающие возможность операторам заниматься физическим трудом). Однако, несмотря на значительные достижения, в механике такие протезы обладали рядом принципиальных недостатков. Сила схвата зависела исключительно от силы пружины, которая была сильно ограничена. Другой недостаток заключался в том, что развиваемое усилие в протезах было слишком незначительным [1].
В середине XX в. появились протезы верхних конечностей с внешним источником энергии. В этот период в качестве исполнительных двигателей широко использовались пневмоприводы, но спустя несколько лет их место заняли электрические двигатели. С развитием микроконтроллерной техники возникла новая элементная база, а протезы стали представлять собой электромеханическую систему управления, включающую в себя задающие устройства и регуляторы, реализующие алгоритмы и методы управления (МУ). Идея работы одного из первых биоэлектрически управляемых протезов с внешним источником энергии в случае ампутации на уровне кисти заключалась в управлении электромеханической кистью с помощью биопотенциалов, снимаемых с кожи в области проекции брюшка сокращающейся мышцы. Сигналы снимаются электродами поверхностной электромиографии (ЭМГ) с двух групп мышц культи (сгибателей и разгибателей) и через усилители подаются на систему управления электромеханической кистью [2].
В качестве устройств, регистрирующих задающие сигналы с биологического объекта (оператора протеза), могут выступать не только ЭМГ-электроды, измеряющие биопотенциалы сокращающихся мышц, но и электроды электроэнцефалографии (ЭЭГ), фиксирующие мозговую активность оператора.
Дальнейшее развитие протезов стало определяться применяемыми технологиями и методами управления.
В основе используемых методов управления протезами лежат общие фундаментальные принципы: разомкнутого управления (без обратной связи); обратной связи (по замкнутому контуру); компенсации [3]. Выбор метода управления протезом верхней конечности во многом определяется используемыми источниками полезных сигналов. Например, в качестве таких сигналов могут применяться механическое перемещение сегментов руки, биоэлектрические сигналы сокращающихся мышц, а также изменяющийся импеданс (полное сопротивление) переменному току сокращающейся мышцы [4].
По мере развития компьютерной техники возникли принципиально новые технологии, применяемые в управлении протезами верхних конечностей: технологии распознавания образов,
нейронные сети и др., что придает существенный импульс в развитии методов управления протезами и позволяет значительно продвинуться в повышении качества и удобства использования протезов.
Особенности управления протезами при разных видах ампутации
Одними из основных методов управления протезами являются: миотонический, биоэлектрический и контактный [5]. При биоэлектрическом используется биоэлектрический компонент мышечной активности, при миотоническом - объемное изменение мышц, при контактном - воздействие на элемент управления (например, переключатель), при комбинированном используются два или более способа управления [6].
Наиболее универсальным техническим решением является СУ протезом верхней конечности с внешним источником энергии, имеющим биоэлектрическое управление и обратную связь (ОС) по положению или по усилию. Управление степенями подвижности протеза в такой конструкции является поочередным из-за ограниченного числа источников управляющих сигналов [7].
В зависимости от уровня ампутации различается число источников управляющих сигналов. Чем выше уровень ампутации, тем меньше доступных источников. Во всех случаях, манипулируя предметами, оператор использует компенсаторные движения остаточных сегментов руки и плечевого пояса или движения сегментов нижних конечностей. Объем компенсаторных движений зависит от уровня ампутации: чем короче культя, тем больше компенсаторных движений [8].
Современные СУ протезами должны обеспечивать скорость, усилие, быстродействие, точность, энергопотребление и др. Одним из важнейших факторов при разработке СУ протезами является удовлетворение требованию эргономичности протеза (удобство управления). При этом удобство управления -совокупность качеств СУ, которые обеспечивают минимально необходимое количество компенсаторных движений, минимальный период обучения пользованию и минимальное число команд управления, выполняемых оператором. Поскольку протез является биотехнической системой, т.е. информация получается от биологического объекта (оператора), при непосредственном проектировании нужна медицинская оценка эксперта. СУ также должна удовлетворять требованиям оператора. В противном случае получить информацию от биологического объекта для управления техническим объектом (протезом) невозможно.
Протезы на уровне кисти и пальцев предназначены для компенсации таких утраченных функций, как схват и удержание объектов с определенной силой. Основными требованиями для СУ такими протезами являются: способность «подстраиваться» под форму объекта, возможность регулирования силы схвата во избежание деформации или поломки объектов, наличие обратной связи для обеспечения оператора информацией о свойствах и параметрах объекта. Поэтому наиболее эффективные методы строятся на основе систем с обратной связью и адаптивными регуляторами.
Протезы на уровне предплечья и после его вычленения предназначены в основном для манипулирования: перемещения объектов из одного положения в другое. Алгоритмы СУ должны позволять управлять протезами с большим числом степеней подвижности. Одним из методов является использование нейроинтерфейсов и нейронных сетей, а алгоритмы самообучения некоторых позволяют распознавать движения оператора с помощью команд управления. Существуют также МУ, основанные на явлении мышечных синергий.
Протезирование на уровне плеча затруднено отсутствием значительного числа звеньев биокинематической цепи верхней конечности. Немаловажным фактором является то, что получить четкий дифференцированный сигнал также практически невозможно. Поэтому при данном виде ампутации наиболее эффективными оказываются инвазивные и интуитивные МУ.
Методы управления с обратной связью между человеком и протезом
Существующие МУ протезами требуют зрительной биологической ОС. Техническая ОС, как правило, реализована либо по усилию [9, 10], либо по положению. Для повышения эффективности выполняемых операций человеку необходимо получать больше информации о состоянии объекта (например, о температуре объекта, влажности поверхности), что требует расширенной обратной связи, которая в подавляющем большинстве современных систем [9-12] пока не реализована.
С помощью МУ [13] решаются задачи очувствления неживого механизма и дальнейшего его использования в управлении протезами. Одним из решений является расширенная физиологическая проприоцепция (Extended Physiological Proprioception, EPP) - способ описания способности получать информацию посредством чувств на кончике инструмента, в данном случае на подушечках пальцев искусственной кисти. EEP может служить в качестве «расширения» проприоцепции оператора в протезе (протез становится так называемым продолжением конечности оператора) и выступать в качестве расширенной ОС. В данном методе используется распространенная топология подключения устройств «ведущий-ведомый». Непосредственно EEP внедряется с помощью системы дистанционного управления, где каждая мышца из антагонистической пары прикрепляется к эффектору маломощного «ведущего» робота, прикладывая к нему нормальное усилие.
Метод с биологической обратной связью [14] отличается от «классического» с использованием
поверхностной ЭМГ тем, что биологическая ОС позволяет оператору «видеть» сгенерированные сигналы на экране монитора. Такой подход упрощает обучение пользованию протезом, так как обеспечивает наглядность формирования управляющих сигналов.
Разработанный протез искусственной кисти SSSA-MyHand [15] позволяет решать большинство задач повседневной жизни, с помощью трех актуаторов в конструкции. Задающие сигналы снимаются с помощью ЭМГ-электродов, а на подушечках пальцев искусственной кисти находятся чувствительные к давлению датчики. При этом ОС реализуется с помощью вибротактильного сенсорного интерфейса.
Разработанная российскими учеными СУ биоэлектрическим протезом [16] имеет устройство позиционного очувствления подвижности пальцев искусственной кисти, выполненное в виде отдельного модуля, и СУ его подвижными сегментами. Она повышает не только удобство пользования, но и «естественность» и точность управления благодаря введению устройства позиционного очувствления подвижности пальцев кисти.
Анализ описанных выше МУ показал, что ключевым моментом построения СУ является выбор способа организации ОС. В отличие от замкнутого контура, управление по разомкнутому используется в СУ протезами намного чаще в силу простоты реализации. В таких системах, как правило, не возникает проблем с устойчивостью, что является достоинством этого типа управления. Недостатком управления без ОС является невозможность компенсировать все возмущения среды: большое число возмущений требует соответствующего числа компенсационных каналов, что не всегда может быть достигнуто. Однако такие СУ не зависят от возмущающих воздействий. Распространенный вариант реализации ОС между протезом и человеком - биологическая обратная связь посредством человеческого зрения [14]. ОС, наиболее приближенная к «естественной» сенсорной в организме человека, реализована в МУ [13], но в данном случае необходимо хирургическое вмешательство. Ее использование не всегда возможно. Вибротактильный сенсорный интерфейс в МУ [15] может оказаться неудобным для оператора. Таким образом, реализация обратной связи с передачей информации о состоянии объекта оператору через современный протез верхних конечностей затруднена.
Адаптивные методы управления
Одной из основных бытовых задач, которую выполняет кисть человеческой руки, является захват объектов различной формы и размеров. В зависимости от свойств и характеристик объекта, требуется разная сила схвата, которая при наличии здоровой конечности выбирается человеком интуитивно. Следовательно, соответствующий протез предназначен для восстановления этой функции. Большинство неадаптивных МУ, используемых в разработке протезов на уровень кисти и пальцев, не способны учитывать условия окружающей среды и изменять алгоритмы управления в соответствии с ними. Таким методом является, например, неадаптивный МУ протезом кисти с помощью ультразвукового изображения [17], используемый в человеко-машинном интерфейсе для управления протезом кисти, где в качестве входных сигналов управления на классификатор подаются гистограммы направленных градиентов изображений (HOG) [18]. Концепция HOG сравнивалась с традиционной концепцией ROI [19], используемой в построении изображений для медицинской диагностики.
Неадаптивным является и МУ кистью протеза, входными управляющими воздействиями которого выступают сигналы, полученные с ЭМГ-датчиков и голосовых команд управления [12]. Метод имеет следующую особенность: оператор может генерировать несколько видов сигналов управления - ЭМГ-сигналов, а также голосовые команды, обрабатываемые модулем распознавания речи в системе. Голосовое управление может использоваться в случае выхода из строя СУ.
Существенный недостаток описанных МУ: они не могут «подстраиваться» под форму схватываемого объекта и регулировать силу схвата. Эти недостатки можно устранить, применив адаптивные СУ Например, с помощью ПИД-регулятора, построенного на нечеткой логике, можно управлять силой схвата искусственной кисти [20]. В качестве задающего управляющего воздействия используется искомая величина силы схвата, а управление происходит по рассогласованию между искомой величиной и величиной на выходе СУ.
Схватом также возможно управлять с помощью алгоритма управления, способного прогнозировать выходные сигналы на основе входных задающих воздействий [9]. В таком случае может быть использована нейронная сеть с авторегрессионной моделью формирования сигнала, которая обучается с помощью входных сигналов с временной задержкой и выходными сигналами с информацией о токе двигателей.
Управление схватом искусственной кисти может осуществляться и с помощью МУ, основанного на инкрементном обучении для непрерывной адаптации к изменениям сигналов, полученных с помощью метода силовой миографии [10].
Входные сигналы управления, полученные с массива датчиков, состоящих из пьезорезистивных элементов и помещенных в приемную гильзу протеза, используются для обучения ELM (Extreme Machine Learning) классификатора.
В СУ протезом кисти [21] в качестве задающего сигнала используются данные, полученные с двухосного микроэлектромеханического акселерометра (МЭМС). Поверхностный МЭМС-датчик определяет значение параметров движения и выдает сигнал, который преобразуется в микроконтроллере.
Во время схвата происходит не только адаптация по величине силы схвата, но и к форме схватываемого объекта. МУ протезом искусственной кисти, состоящей из трех пальцев, обеспечивает и интуитивный схват, и гибкую адаптацию к форме схватываемого объекта [11]. Два устройства взаимодействуют по принципу «ведущий-ведомый». «Ведущее» устройство располагается на части тела оператора, в данном случае на пальце стопы. С помощью реверсивного управления передается сила схвата искусственной кисти протеза «ведущему» устройству. Таким образом, оператор может управлять одним лишь схватом непосредственно, а сама СУ будет адаптироваться под форму схватываемого объекта.
Очевидным преимуществом адаптивных МУ является способность приспосабливаться к изменяющимся внешним факторам, действующим на объект управления. Такие СУ наиболее эффективны в повседневной жизни, так как способны подстраиваться под форму объекта [11] или рассчитывать нужную силу схвата [9, 10, 20]. Однако увеличение числа переменных на входе СУ [20] экспоненциально увеличивает сложность вычислений. В отличие от адаптивных, в неадаптивных методах не требуются начальная настройка параметров или ввод системы правил, необходимых для решения задач нечеткой логики. Это сокращает вычислительные затраты в процессе обработки алгоритма управления. Неадаптивные МУ в некоторых случаях [17] позволяют наблюдать за изменением интенсивности сокращения мышц либо дают возможность оператору использовать несколько источников входного управляющего воздействия [12]. Кроме того, в адаптивных методах коэффициенты усиления регулятора могут изменяться настолько быстро, насколько вспомогательные параметры объекта управления регистрируются СУ (т.е. как быстро она реагирует). Но слишком частые и быстрые изменения значений коэффициентов усиления регуляторов могут привести к неустойчивости всей СУ, поэтому скорость изменения этих значений программно ограничена.
Нейроинтерфейсы
Использование нейроинтерфейсов помогает управлять увеличенным количеством степеней подвижности протеза предплечья. Эти технологии позволяют приблизиться к интуитивному методу управления, что наиболее удобно вследствие специфики управления протеза.
Например, для управления тремя степенями подвижности в МУ [22] используется нейромашин-ный интерфейс (НМИ), основанный на технологии ЭМГ. Интерфейс универсален и способен постоянно прогнозировать изменение координат между пястно-фаланговым суставом и сгибанием/разгибанием запястья. В основе НМИ лежит универсальная многофункциональная мышечно-скелетная модель. Она содержит 9 различных движений, где каждая мышца была смоделирована как актуатор типа Хилла [23].
МУ с помощью данных, полученных с инерционного измерительного устройства (IMU) [24], обеспечивает управление одной степенью подвижности. Координации моделируются с использованием сети радиально-базисных функций (RBFN). IMU было подключено к контроллеру протеза, который запускает регрессионный алгоритм: он конвертирует инерционные данные в желаемые значения угловой скорости локтевого сустава.
Две степени подвижности нейропротеза управляются с помощью технологии поверхностной ЭМГ [25]. ЭМГ-сигналы, полученные с четырех сухих электродов, и система распознавания образов позволяют записать пять видов движений, с помощью которых осуществляется управление протезом.
В МУ, основанном на технологии нечеткой нейронной сети, в качестве задающего сигнала управления используются показания датчиков ЭМГ и ЭЭГ [26]. С помощью полученных ЭМГ-сигналов, снятых с бицепса и трицепса, осуществляется управление движениями локтевого сустава (сгибание и разгибание). Для управления схватом и раскрытием кисти протеза используются ЭЭГ-сигналы, полученные с помощью метода, основанного на соматосенсорных вызванных потенциалах (steady state visually evoked potentials, SSVEP). Оператор смотрит на мигающее с определенной частотой светодиодное кольцо, вмонтированное в запястную часть протеза, SSVEP-сигнал, в свою очередь, генерируется в мозгу с той же самой частотой, и эти сигналы преобразовываются в двигательные команды кисти протеза.
Мышечные синергии
Мышечные синергии представляют собой согласованное функционирование группы мышц, участвующих в реализации движения. Такую биомеханическую особенность можно использовать с целью упрощения управлением протеза. В результате время обучения пользованию протезом значительно сокращается. Например, между движениями плеча и поворотом запястья существуют мышечные синергии, причем угол поворота лучезапястного сустава связан с углом поворота плечевого сустава [27]. Протез содержит ротатор запястья с одной степенью подвижности и искусственную кисть с пятью подвижными пальцами. IMU-датчики измеряют угол поворота предплечья по оси вращения запястья, в то
время как запястье вращается из-за движений плеча. Полученные данные с IMU, в комбинации с ЭМГ-сигналами, являются входными сигналами для СУ
Существует ряд исследований, связанных и с управлением протезами с большим количеством степеней подвижности. Например, метод [28] также основан на мышечных синергиях между плечом и локтем. Он дополняет «стандартный» метод миоэлектрического управления с помощью внедрения IMU-датчика, который обеспечивает кинематическую пару между искусственным локтем и неповрежденной частью руки (взаимосвязь между угловой скоростью плеча и угловой скоростью локтя, угол которых модулируется с помощью ЭМГ) и автоматическое переключение между управлениями кистью и локтем, основанные на движениях неповрежденного плеча.
Другие методы управления протезами предплечья
Управление протезом предплечья может осуществляться с помощью определенных компенсаторных движений. Разработана СУ протезом предплечья с биоэлектрическим управлением и двумя степенями подвижности [29]. Благодаря введению электромеханических приводов ротации и сгибания кисти снижается уровень силового воздействия на несущую и приемную гильзы посредством компенсаторного движения отведения с повышенной амплитудой и ротации плеча. Также при управлении уменьшаются энергетические затраты оператора.
Протез предплечья может быть установлен в определенное положение с помощью графического интерфейса, содержащего модуль с жидкокристаллическим дисплеем (LCD-модуль) и встроенными командами управления. В [30] разработана библиотека жестов, доступ к которой осуществляется через графический интерфейс «человек-протез». В качестве входных используются ЭМГ-сигналы, с помощью которых активируется исполнительное устройство. С помощью умного LCD-модуля оператор может выбирать запрограммированное движение путем нажатия кнопок на кисти протеза.
С помощью движений нижних конечностей также возможно управлять протезом верхней конечности, если задающими сигналами управления являются данные о положении стопы и голени. МУ [31] позволяет управлять протезом с четырьмя степенями подвижности. В качестве входных сигналов используются сигналы, полученные путем накожной ЭМГ-регистрации биопотенциалов при активности мышц голени и стопы, которые картируются соответственно степеням подвижности локтя, запястья и кисти руки. С помощью LDA-алгоритма (linear discriminant analysis) классифицированы данные о работе мышц ступни, на основе этих данных выполняется непосредственное управление.
В управлении протезами предплечья возможно использование технологий дополненной реальности (Augmented Reality, AR), которые помогают оператору научиться пользоваться протезом [32] (рис. 1). Для управления всей системой оператор носит наголовный дисплей (HMD) с камерой. Виртуальный протез выполняет схват виртуальных объектов, положение которых определяется с помощью технологий распознавания изображений и координатных преобразований. Преобразование выполняется с целью «отрисовки» виртуальных объектов в любом положении, которое определяется по положению AR-маркеров.
Рис. 1. Блок-схема системы управления с большим числом степеней подвижности протеза
Самообучающиеся системы
К самообучающимся относятся СУ, основанные на методах автоматической классификации или на методах обучения на примерах. В процессе обучения проводится автоматическое построение обобщающих правил или функций, которые описывают принадлежность ситуаций к определенным классам. Впоследствии система пользуется этими правилами при интерпретации незнакомых ситуаций. Из обобщающих правил и функций формируется база знаний, которая периодически корректируется по мере накопления информации об анализируемых ситуациях [33]. СУ протезами предплечья с самообучением способны решать задачи, в которых заранее неизвестно развитие ситуации и зависимости между входными и выходными данными. Несмотря на широкое использование управления с
алгоритмами самообучения, управление протезами может осуществляться и без обучения.
К МУ без обучения можно отнести [34]: управление локтем, запястьем и схватом кисти протеза осуществляется с помощью пяти голосовых команд управления. СУ распознает команды управления, при этом учитывается тембр голоса в разных шумовых условиях.
Управление движениями схвата и ротации кисти без обучения [35] выполняется по двум независимым каналам: механическое - ротацией кисти (по принципу следящего привода) с ОС по положению и усилию, биоэлектрическое - схватом и раскрытием кисти.
Особенностью МУ без самообучения [36] является возможность сократить компенсаторные движения оператора и время выполнения двигательных операций при пользовании протезом путем реализации активной функции сгибания/разгибания кисти в случае одновременного управления ротацией кисти и схватом.
Одним из наиболее распространенных МУ с самообучающимися системами является распознавание образов (pattern recognition, PR). МУ [37] содержит алгоритмы распознавания образов, которые позволяют идентифицировать и ликвидировать ошибки классификации с помощью самокорректирующего механизма. LDA-классификатор вычисляет максимальную вероятность и средний уровень активности мышц. Для самокоррекции используется искусственная нейронная сеть, которая обучается с помощью данных об интенсивности сокращения мышц и предыдущих сигналов на выходе классификатора. Таким образом определяется надежность решения классификатора.
К самообучающимся относится МУ с помощью оптомиографии (ОМГ) [38]. ОМГ использует активные оптические сенсоры ближней инфракрасной части спектра, чтобы измерить изменения в сигналах, отраженных от поверхности кожи во время работы мышц вокруг участка, на который помещен фотоэлектрический датчик, измеряющий сигналы, отраженные от этого участка. На основе полученных сигналов можно записывать и в дальнейшем различать движения руки с использованием техник распознавания образов, а полученные данные применять в управлении протезом.
МУ [39] основан на машинном обучении. В нем разработан специальный алгоритм прямого прогнозирующего совместного управления, который использует обучение с подкреплением для временного прогнозирования поведения оператора. Результаты передаются в устройство управления актуаторами. В описанном МУ оператор управляет лишь одним суставом протеза, в то время как робот управляет остальными суставами.
Управление с помощью ультразвука представляет собой альтернативу управлению с помощью ЭМГ и может быть отнесено к МУ с самообучением. Изменения в толщине мышц распознаются посредством ультразвуковых сигналов и отображаются на экране в качестве зрительной ОС [40]. Во время эксперимента в МУ была создана библиотека двигательной активности мышц операторов, на основе которой выполнялись дальнейшая классификация и управление виртуальным протезом.
Пример МУ с самообучением - использование ЭМГ-сигналов и спектроскопии в ближней инфракрасной области (NIRS) [41] (рис. 2). NIRS позволяет наблюдать за оксигенацией и перфузией мышц во время их сокращений, и эти данные являются входными сигналами управления. Использование и ЭМГ, и NIRS помогает точнее распознать движение конечности.
Сегментация
Извлечение признаков
Предварительная обработка
Рис. 2. Блок-схема системы управления с использованием человеко-машинного интерфейса
Управление протезом предплечья может осуществляться с помощью механомиографии (ММГ), за счет регистрации механического сигнала с поверхности мышцы при ее сокращении. В начале сокращения грубые изменения формы вызывают большой пик в сигнале ММГ. Последующие вибрации обусловлены колебаниями мышечных волокон на резонансной частоте. Метод [42] представляет собой робастную мультиканальную носимую систему датчиков, которые собирают данные о намерениях оператора совершить движение. В методе выдвинута гипотеза о том, что взаимодействия вибраций, производимых разными группами мышц в непосредственной близости друг от друга, могут послужить
подходящими паттернами для распознавания различных движений.
МУ протезом предплечья [26] функционирует по принципу самообучающейся системы, работа которой основана на использовании классификации сигналов, полученных с ЭЭГ-датчиков.
В качестве задающего сигнала управления в МУ [43] используется кожная гальваническая реакция (КГР) - изменение в электрических свойствах кожи. Сигнал регистрируется с помощью Ag/AgCl-электродов, а впоследствии подвергается обработке - усилению и фильтрации. Выходными для СУ являются сигналы управления двигателем.
Одним из нестандартных для протеза предплечья является МУ, в котором используется система распознавания движений большого пальца ноги [44]. В СУ используются датчики касания, закрепленные на гибкой основе, которые в комбинации с электроникой образуют «умную» обувную стельку. Оператор вводит команды управления большим пальцем ноги посредством азбуки Морзе, которые регистрируются массивом емкостных датчиков, установленных в стельке. Изменения емкости конденсаторов снимаются и обрабатываются с помощью электрической схемы, а затем передаются беспроводным путем СУ
Согласно исследованиям, СУ с самообучением способны адаптироваться к изменениям окружающей среды и могут быть переучены для работы в иных условиях, что довольно выгодно в управлении протезами. В отличие от СУ без самообучения, они менее устойчивы к шумам во входных данных: из-за зашумленности (избыточности) обучающей выборки точность сформированной базы знаний невысока. Такие шумы, как перекрестные наводки в ЭМГ-сигналах, могут значительно ухудшить процесс управления протезом и снизить точность СУ Полученные данные в системах с самообучением имеют узкую направленность применения из-за ограничений множества труднообъяснимых признаков. А система с обучением способна выдавать ответ за доли секунды, что характеризует ее быстродействие, однако сам процесс обучения имеет высокую вычислительную стоимость как по времени, так и по объему памяти. Это приводит к ограниченности области использования систем с самообучением. Недостатки таких систем не позволяют широко их использовать в практической деятельности, в том числе и в управлении протезами.
Использование инвазивных методов
Большая часть современных систем основана на неинвазивных методах. Но при использовании подобных методов возможно многократное возрастание шумов в окружающей среде в связи с увеличением количества электродов, использования беспроводных технологий и т.д. Однако такие методы применяются в управлении протезами. Например, в МУ [45] используется надеваемая на голову оператора портативная система измерения ActiveTwo BioSemi, содержащая 64 электрода. Полученные сигналы декодируются согласно разработанному алгоритму, и в результате получаются значения скорости движения приводов модулей кисти и локтя верхней конечности.
Существует специализированный инвазивный способ: целевая мышечная реиннервация (targeted muscle reinnervation, TMR). Предназначенная для повышения качества управления протезом верхней конечности и повышения интуитивности управления им хирургическая операция TMR [46] заключается в том, что нервы, раннее иннервировавшие мышцы руки, подводятся к другим мышцам, и с этих мышц можно регистрировать биоэлектрические потенциалы для управления протезом. Исследование показало, что для более эффективного управления протезом верхней конечности оператором, прошедшим TMR, требуется размещение электродов на поверхности кожи над реиннервированными мышцами с достаточным интервалом между ними [47]. «Классический» МУ с помощью ЭМГ неэффективен при ампутации с вычленением плеча, так как полученные ЭМГ-сигналы имеют высокую плотность размещения, а следовательно, их сложно дифференцировать.
Инвазивный МУ требует долгой реабилитации. Например, после TMR [46] необходимо восстановление больше шести месяцев. С помощью неинвазивных [45] электродов можно также получить множество задающих сигналов управления, как и в инвазивном методе [46], а следовательно, неинвазивный метод может эффективно использоваться. Но в случае с неинвазивными методами требуется дополнительное оборудование в виде «шапки» электродов в [45]. С точки зрения эксплуатации СУ инвазивный метод гораздо проще в управлении, которое осуществляется самим человеком, что более близко к интуитивному управлению.
Интуитивные методы управления
В интуитивных методах управление осуществляется с помощью сигналов мозга [45-47]. Например, в неинтуитивном МУ задающие сигналы управления могут поступать с двух пар датчиков: двух M-IMU (магнитно-инерционных), размещенных на торсе и культе для оценки углов приведения/отведения и сгибания/разгибания, и с двух ЭМГ-электродов, которые размещены на мышцах-антагонистах и оценивают биоэлектрическую активность мышц [48].
В [49] приводится описание использования неинтуитивного МУ на человекоподобном роботе. C помощью алгоритма неотрицательной матричной факторизации (NMF) извлечена информация о
движении с трех нормализированных ЭМГ-сигналов. Они использовались для одновременного управления положениями плеча, локтя и запястья робота.
Интуитивные МУ более эффективны и предпочтительны, так как оператору не требуется самостоятельно формировать сигнал управления. Современным уровнем развития является использование нейрокомпьютерного интерфейса, регистрирующего задающие сигналы, полученные с электроокулографии (ЭОГ) и ЭЭГ [50]. Сигналы мозговой активности для моторных образов являются задающими и обрабатываются с помощью CSP-алгоритма (common spacial pattern) и временно-частотного анализа с целью дальнейшего извлечения признаков и классификации методом опорных векторов (support vector machine, SVM). С помощью информации ЭОГ-сигналов возможно спрогнозировать намерение оператора.
Согласно результатам анализа, ряд недостатков метода [48] связан с повышенной концентрацией оператора, так как ему необходимо контролировать длительность коактивации, и с мышечной усталостью. Аналогичные недостатки имеет неинтуитивный МУ [50], так как СУ «переключает» режимы работы в зависимости от количества морганий оператора. Интуитивные МУ имеют значительное преимущество в возможности управлять большим количеством степеней подвижности, в том числе одновременно управлять несколькими модулями протеза (локтевым, запястным и т.д.).
Использование интуитивных МУ чаще всего требует хирургического вмешательства, что не всегда возможно в связи с состоянием здоровья оператора, его согласием и периодом, прошедшим с момента ампутации. Например, TMR нельзя сделать, в случае если ампутация была сделана более 10 лет назад с момента начала протезирования.
Заключение
Современные протезы позволяют выполнять большое количество функций конечности человека и постепенно приближаются к полной реализации всех биомеханических функций, утраченных в результате ампутации.
Наиболее перспективными для разработки протезов кисти и пальцев являются метод с расширенной обратной связью и адаптивные методы - из-за их способности активно реагировать на изменения воздействий окружающей среды и объекта управления. Для протезов предплечья актуальна разработка системы с большим количеством степеней подвижности за счет использования нейроинтерфейсов и мышечных синергий. Для протезов плеча наиболее перспективны интуитивные и неинвазивные методы, так как они наиболее приближены к «естественному» управлению конечностью. Использование инвазивных методов не всегда возможно.
Несмотря на существенный прогресс в разработке систем управления протезами существует ряд актуальных задач, таких как организация расширенной обратной связи, управление большим количеством степеней подвижности протеза и одновременное использование источников полезных сигналов различной природы происхождения.
Литература
1. Курдыбайло С.Ф., Замилацкий Ю.И., Андриевская А.О., Буров Г.Н., Антипов А.В., Чекушина Г.В., Петров В.Г. Конструкции протезов верхних конечностей. Учебное пособие (исторический очерк). СПб: Нимфа, 2009. 458 с.
2. Киракозов Л.Р., Монахова М.И. Исследование рынка высокофункциональных электромеханических кистей для протезов верхних конечностей с биоэлектрическим управлением // Вестник всероссийской гильдии протезистов-ортопедов. 2014. № 4 (58). С. 23-26.
3. Буров Г.Н., Большаков В.А., Большакова М.А. Принципы создания современных реабилитационных устройств в протезировании верхних конечностей // Вестник всероссийской гильдии протезистов-ортопедов. 2017. № 1 (63). С. 9-13.
4. Большаков В.А., Буров Г.Н. К вопросу формирования системы управления протезом при ампутационных дефектах в пределах предплечья // Вестник всероссийской гильдии протезистов-ортопедов. 2014. № 4 (58). С. 31-33.
5. Буров Г.Н. Анализ систем управления протезами верхних конечностей / Руководство по протезированию и ортезированию / под ред. М.А. Дымочки, А.И. Суховерховой, Б.Г. Спивака. 3-е изд. Т. 2. М., 2016. С. 106-116.
6. Кужекин А.П., Морейнис И.Ш., Якобсон Я.С. и др. Конструкции протезно-ортопедических изделий. М.: Легкая и пищевая промышленность, 1984. 240 с.
References
1. Kurdybailo S.F., Zamilatskii Yu.I., Andrievskaya A.O., Burov G.N., Antipov A.V., Chekushina G.V., Petrov V.G. Constructions of Upper Limb Prostheses. Tutorial: Historical Review. St. Petersburg, Nimfa Publ., 2009, 458 p. (in Russian)
2. Kirakozov L.R., Monakhova M.I. Market research on highly functional electromechanical brushes for prosthetic upper limbs with bioelectric control. All-Russian Prosthetists and Orthopaedists Guild Bulletin, 2014, no. 4, pp. 23-26. (in Russian)
3. Burov G.N., Bolshakov V.A., Bolshakova M.A. Principles of creation of modern rehabilitation devices in prosthetics of the upper extremities. All-Russian Prosthetists and Orthopaedists Guild Bulletin, 2017, no. 1, pp. 9-13. (in Russian)
4. Bolshakov V.A., Burov G.N. On the formation of a prosthesis control system for amputation defects within the forearm. All-Russian Prosthetists and Orthopaedists Guild Bulletin, 2014, no. 4, pp. 31-33. (in Russian)
5. Burov G.N. Analysis of the control systems for upper limb prostheses. In Guide to Prosthetics and Orthotics. Eds. M.A. Dymochka, A.I. Sukhoverkhova, B.G. Spivak. 3rd ed. Vol. 2. Moscow, 2016, pp. 106-116. (in Russian)
6. Kuzhekin A.P., Moreinis I.Sh., Yakobson Ya.S. et al. Designs of Prosthetic and Orthopedic Products. Moscow, Legkaya i Pishchevaya Promyshlennost' Publ., 1984, 240 p. (in Russian)
7. Burov G.N., Bolshakov V.A. Determination of requirements to the sources of control signals of the forearm prosthesis control system. All-Russian Prosthetists and Orthopaedists Guild
7. Буров Г.Н., Большаков В.А. Определение требований к источникам управляющих сигналов системы управления протезом предплечья // Вестник всероссийской гильдии протезистов-ортопедов. 2017. № 2 (64). С. 36-40.
8. Буров Г.Н., Большаков В.А. Исследование компенсаторных движений с использованием гониометрического комплекса после ампутаций предплечья // Вестник всероссийской гильдии протезистов-ортопедов. 2014. N° 2 (56). С. 15-19.
9. Pasluosta C.F., Chiu A.W.L. Modulation of grasping force in prosthetic hands using neural network-based predictive control // Methods in Molecular Biology. 2015. V. 1260. P. 179-194. doi: 10.1007/978-1-4939-2239-0_11
10. Rasouli M. et al. Stable force-myographic control of a prosthetic hand using incremental learning // Proc. 37th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society. Milan, Italy, 2015. P. 4828-4831. doi: 10.1109/embc.2015.7319474
11. Fukushima S., Nozaki T., Ohnishi K. Development of haptic prosthetic hand for realization of intuitive operation // Proc. 42nd Annual Conference of the IEEE Industrial Electronics Society. 2016. P. 6403-6408. doi: 10.1109/IEC0N.2016.7793456
12. Ortega-Palacios R. et al. Low-cost upper limb prosthesis, based on opensource projects with voice-myoelectric hybrid control // Proc. GMEPE/PAHCE. Porto, Portugal, 2018. doi: 10.1109/GMEPE-PAHCE.2018.8400727
13. Mablekos-Alexiou A. et al. A biomechatronic extended physiological proprioception (EPP) controller for upper-limb prostheses // Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. Hamburg, Germany, 2015. P. 6173-6178. doi: 10.1109/IR0S.2015.7354257
14. Dosen S. et al. EMG biofeedback for online predictive control of grasping force in a myoelectric prosthesis // Journal of Neuro Engineering and Rehabilitation. 2015. V. 12. N 1. doi: 10.1186/s12984-015-0047-z
15. Controzzi M. et al. The SSSA-MyHand: a dexterous lightweight myoelectric hand prosthesis // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2017. V. 25. N 5. P. 459-468. doi: 10.1109/TNSRE.2016.2578980
16. Буров Г.Н., Большаков В.А. Система управления биоэлектрическим протезом. Патент РФ №2653820. Бюл. 2018. № 14.
17. Ortenzi V. et al. Ultrasound imaging for hand prosthesis control: a comparative study of features and classification methods // Proc. 2015 IEEE Int. Conf. on Rehabilitation Robotics. Singapore, 2015. doi: 10.1109/icorr.2015.7281166
18. Castellini C. et al. Using ultrasound images of the forearm to predict finger positions // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2012. V. 20. N 6. P. 788-797. doi: 10.1109/TNSRE.2012.2207916
19. Dalal N., Triggs B. Histograms of oriented gradients for human detection // Proc. IEEE Computer Society Conference on Computer Vision & Pattern Recognition. 2005. V. 2. P. 886-893. doi: 10.1109/CVPR.2005.177
20. Li Q.M., Lv Y.P. A fuzzy PID control method for the grasping force of an underactuated prosthetic hand // Applied Mechanics and Materials. 2014. V. 551. P. 514-522. doi: 10.4028/www.scientific.net/AMM.551.514
21. Deepika Princess D. et al. MEMS accelerometer based control of prosthetic hand // International Research Journal of Medical Sciences. 2014. V. 2. N 4. P. 20-23.
22. Pan L. et al. Myoelectric control based on a generic musculoskeletal model: toward a multi-user neural-machine interface // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2018. V. 26. N 7. P. 1435-1442. doi: 10.1109/TNSRE.2018.2838448
23. Winters J.M. Hill-based muscle models: a systems engineering perspective / In: Multiple Muscle Systems. Eds. J.M. Winters, S.LY. Woo. Springer, 1990. doi: 10.1007/978-1-4613-9030-5_5
24. Merad M. et al. Intuitive prosthetic control using upper limb inter-joint coordinations and IMU-based shoulder angles measurement: a pilot study // IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. 2016. P. 5677-5682. doi: 10.1109/IR0S.2016.7759835
25. Ogiri Y. et al. Development of an upper limb neuroprosthesis to voluntarily control elbow and hand // Proc. 26th IEEE Int.
Bulletin, 2017, no. 2, pp. 36-40. (in Russian)
8. Burov G.N., Bolshakov V.A. Study of compensatory movements using a goniometric complex after forearm amputations. All-Russian Prosthetists and Orthopaedists Guild Bulletin, 2014, no. 2, pp. 15-19. (in Russian)
9. Pasluosta C.F., Chiu A.W.L. Modulation of grasping force in prosthetic hands using neural network-based predictive control. Methods in Molecular Biology, 2015, vol. 1260, pp. 179-194. doi: 10.1007/978-1-4939-2239-0_11
10. Rasouli M. et al. Stable force-myographic control of a prosthetic hand using incremental learning. Proc. 37th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society. Milan, Italy, 2015, pp. 4828-4831. doi: 10.1109/embc.2015.7319474
11. Fukushima S., Nozaki T., Ohnishi K. Development of haptic prosthetic hand for realization of intuitive operation. Proc. 42nd Annual Conference of the IEEE Industrial Electronics Society, 2016, pp. 6403-6408. doi: 10.1109/IEC0N.2016.7793456
12. Ortega-Palacios R. et al. Low-cost upper limb prosthesis, based on opensource projects with voice-myoelectric hybrid control. Proc. GMEPE/PAHCE. Porto, Portugal, 2018. doi: 10.1109/GMEPE-PAHCE.2018.8400727
13. Mablekos-Alexiou A. et al. A biomechatronic extended physiological proprioception (EPP) controller for upper-limb prostheses. Proc. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. Hamburg, Germany, 2015, pp. 6173-6178. doi: 10.1109/IROS.2015.7354257
14. Dosen S. et al. EMG biofeedback for online predictive control of grasping force in a myoelectric prosthesis. Journal of Neuro Engineering and Rehabilitation, 2015, vol. 12, no. 1. doi: 10.1186/s12984-015-0047-z
15. Controzzi M. et al. The SSSA-MyHand: a dexterous lightweight myoelectric hand prosthesis. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, vol. 25, no. 5, pp. 459-468. doi: 10.1109/TNSRE.2016.2578980
16. Burov G.N., Bolshakov V.A. Bioelectrical Prosthesis Control System. Patent RU2653820, 2018.
17. Ortenzi V. et al. Ultrasound imaging for hand prosthesis control: a comparative study of features and classification methods. Proc. 2015 IEEE Int. Conf. on Rehabilitation Robotics. Singapore, 2015. doi: 10.1109/icorr.2015.7281166
18. Castellini C. et al. Using ultrasound images of the forearm to predict finger positions. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012, vol. 20, no. 6, pp. 788-797. doi: 10.1109/TNSRE.2012.2207916
19. Dalal N., Triggs B. Histograms of oriented gradients for human detection. Proc. IEEE Computer Society Conference on Computer Vision & Pattern Recognition, 2005, vol. 2, pp. 886-893. doi: 10.1109/CVPR.2005.177
20. Li Q.M., Lv Y.P. A fuzzy PID control method for the grasping force of an underactuated prosthetic hand. Applied Mechanics and Materials, 2014, vol. 551, pp. 514-522. doi: 10.4028/www.scientific.net/AMM.551.514
21. Deepika Princess D. et al. MEMS accelerometer based control of prosthetic hand. International Research Journal of Medical Sciences, 2014, vol. 2, no. 4, pp. 20-23.
22. Pan L. et al. Myoelectric control based on a generic musculoskeletal model: toward a multi-user neural-machine interface. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, vol. 26, no. 7, pp. 1435-1442. doi: 10.1109/TNSRE.2018.2838448
23. Winters J.M. Hill-based muscle models: a systems engineering perspective. In Multiple Muscle Systems. Eds. J.M. Winters, S.LY. Woo. Springer, 1990. doi: 10.1007/978-1-4613-9030-5_5
24. Merad M. et al. Intuitive prosthetic control using upper limb inter-joint coordinations and IMU-based shoulder angles measurement: a pilot study. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2016, pp. 5677-5682. doi: 10.1109/IR0S.2016.7759835
25. Ogiri Y. et al. Development of an upper limb neuroprosthesis to voluntarily control elbow and hand. Proc. 26th IEEE Int. Symposium on Robot and Human Interactive Communication, RO-MAN. Lisbon, Portugal, 2017, pp. 298-303. doi: 10.1109/R0MAN.2017.8172317
26. Ruhunage I. et al. EMG signal controlled transhumerai prosthetic with EEG-SSVEP based approch for hand open/close. Proc. IEEE Int. Conf. on Systems, Man, and Cybernetics. Banff,
Symposium on Robot and Human Interactive Communication (R0-MAN). Lisbon, Portugal, 2017. P. 298-303. doi: 10.1109/ROMAN.2017.8172317
26. Ruhunage I. et al. EMG signal controlled transhumerai prosthetic with EEG-SSVEP based approch for hand open/close // Proc. IEEE Int. Conf. on Systems, Man, and Cybernetics. Banff, Canada, 2017. P. 3169-3174. doi: 10.1109/SMC.2017.8123115
27. Bennett D.A., Goldfarb M. IMU-based wrist rotation control of a transradial myoelectric prosthesis // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2018. V. 26. N 2. P. 419-427. doi: 10.1109/TNSRE.2017.2682642
28. Alshammary N.A. et al. Synergistic elbow control for a myoelectric transhumeral prosthesis // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2018. V. 26. N 2. P. 468-476. doi: 10.1109/TNSRE.2017.2781719
29. Буров Г.Н., Большаков В.А. Протез предплечья. Патент РФ №2615278. Бюл. 2017. №10.
30. Fajardo J. et al. An Affordable open-source multifunctional upper-limb prosthesis with intrinsic actuation // IEEE Workshop on Advanced Robotics and its Social Impacts. Austin, USA, 2017. doi: 10.1109/ARS0.2017.8025206
31. Lyons K.R., Sanjay S.J. Upper limb prosthesis control for high-level amputees via myoelectric recognition of leg gestures // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2018. V. 26. N 5. P. 1056-1066. doi: 10.1109/TNSRE.2018.2807360
32. Nishino W. et al. Development of a myoelectric prosthesis simulator using augmented reality // IEEE International Conference on Systems, Man, and Cybernetics. Banff, Canada, 2017. P. 1046-1051. doi: 10.1109/SMC.2017.8122749
33. Аждер В.Д., Аждер Т.Б. Интеллектуальные информационные системы // Новая наука: современное состояние и пути развития. 2017. № 1-2. С. 113-115.
34. Samant P., Agarwal R. Real-time speech recognition system for prosthetic arm control // International Journal of Sensing, Computing and Control. 2015. V. 5. N 1. P. 39-46.
35. Головин М.А., Буров Г.Н., Белянин О.Л. Структура и возможности реализации метода управления движениями схвата и ротации кисти в протезе верхней конечности // Вестник всероссийской гильдии протезистов-ортопедов. 2017. № 1 (63). С. 14-18.
36. Буров Г.Н., Большаков В.А. Протез предплечья. Патент РФ №2541816. Бюл. 2015. № 5.
37. Amsuess S. et al. Self-correcting pattern recognition system of surface EMG signals for upper limb prosthesis control // IEEE Transactions on Biomedical Engineering. 2014. V. 61. N 4. P. 1167-1176. doi: 10.1109/TBME.2013.2296274
38. Muhammed H.H., Raghavendra J. A new approach for rehabilitation and upper-limb prosthesis control using optomyography (OMG) // Proc. 1st Int. Conf. on Biomedical Engineering. Yogyakarta, Indonesia, 2016. doi: 10.1109/IBI0MED.2016.7869814
39. Sherstan C. et al. A Collaborative approach to the simultaneous multi-joint control of a prosthetic arm // Proc. IEEE Int. Conf. on Rehabilitation Robotics. Singapore, 2015. doi: 10.1109/IC0RR.2015.7281168
40. Baker C.A. et al. Real-time, ultrasound-based control of a virtual hand by a trans-radial amputee // Proc. 38th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society. Orlando, USA, 2016. P. 3219-3222. doi: 10.1109/EMBC.2016.7591414
41. Guo W. et al. Toward an enhanced human-machine interface for upper-limb prosthesis control with combined EMG and NIRS signals // IEEE Transactions on Human-Machine Systems. 2017. V. 47. N 4. P. 564-575. doi: 10.1109/THMS.2016.2641389
42. Wilson S., Ravi V. Upper-limb prosthetic control using wearable multichannel mechanomyography // Proc. Int. Conf. on Rehabilitation Robotics. London, 2017. P. 1293-1298. doi: 10.1109/IC0RR.2017.8009427
43. Saravanan A. et al. A method to control bionic arm using Galvanic skin response // Proc. 8th Int. Conf. on Communication Systems and Networks. Bangalore, India, 2016. doi: 10.1109/C0MSNETS .2016.7440030
44. Navaraj W.T. et al. Upper limb prosthetic control using toe
Canada, 2017, pp. 3169-3174. doi: 10.1109/SMC.2017.8123115
27. Bennett D.A., Goldfarb M. IMU-based wrist rotation control of a transradial myoelectric prosthesis. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, vol. 26, no. 2, pp. 419-427. doi: 10.1109/TNSRE.2017.2682642
28. Alshammary N.A. et al. Synergistic elbow control for a myoelectric transhumeral prosthesis. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, vol. 26, no. 2, pp. 468-476. doi: 10.1109/TNSRE.2017.2781719
29. Burov G.N., Bolshakov V.A. Forearm Prosthesis. Patent RU2615278, 2017.
30. Fajardo J. et al. An Affordable open-source multifunctional upper-limb prosthesis with intrinsic actuation. IEEE Workshop on Advanced Robotics and its Social Impacts. Austin, USA, 2017. doi: 10.1109/ARS0.2017.8025206
31. Lyons K.R., Sanjay S.J. Upper limb prosthesis control for high-level amputees via myoelectric recognition of leg gestures. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, vol. 26, no. 5, pp. 1056-1066. doi: 10.1109/TNSRE.2018.2807360
32. Nishino W. et al. Development of a myoelectric prosthesis simulator using augmented reality. IEEE International Conference on Systems, Man, and Cybernetics. Banff, Canada, 2017, pp. 1046-1051. doi: 10.1109/SMC.2017.8122749
33. Azhder V.D., Azhder T.B. Intelligent information systems. Novaya Nauka: Sovremennoe Sostoyanie i Puti Razvitiya, 2017, no. 1-2, pp. 113-115. (in Russian)
34. Samant P., Agarwal R. Real-time speech recognition system for prosthetic arm control. International Journal of Sensing, Computing and Control, 2015, vol. 5, no. 1, pp. 39-46.
35. Golovin M.A., Burov G.N., Belyanin O.L. The structure and possibilities of the method of controlling the movements of the Tong and rotation of the hand in the upper limb prosthesis. All-Russian Prosthetists and Orthopaedists Guild Bulletin, 2017, no. 1, pp. 14-18. (in Russian)
36. Burov G.N., Bolshakov V.A. Forearm Prosthesis. Patent RU2541816, 2015.
37. Amsuess S. et al. Self-correcting pattern recognition system of surface EMG signals for upper limb prosthesis control. IEEE Transactions on Biomedical Engineering, 2014, vol. 61, no. 4, pp. 1167-1176. doi: 10.1109/TBME.2013.2296274
38. Muhammed H.H., Raghavendra J. A new approach for rehabilitation and upper-limb prosthesis control using optomyography (OMG). Proc. 1s Int. Conf. on Biomedical Engineering. Yogyakarta, Indonesia, 2016. doi: 10.1109/IBI0MED.2016.7869814
39. Sherstan C. et al. A Collaborative approach to the simultaneous multi-joint control of a prosthetic arm. Proc. IEEE Int. Conf. on Rehabilitation Robotics. Singapore, 2015. doi: 10.1109/IC0RR.2015.7281168
40. Baker C.A. et al. Real-time, ultrasound-based control of a virtual hand by a trans-radial amputee. Proc. 38th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society. Orlando, USA, 2016, pp. 3219-3222. doi: 10.1109/EMBC.2016.7591414
41. Guo W. et al. Toward an enhanced human-machine interface for upper-limb prosthesis control with combined EMG and NIRS signals. IEEE Transactions on Human-Machine Systems, 2017, vol. 47, no. 4, pp. 564-575. doi: 10.1109/THMS.2016.2641389
42. Wilson S., Ravi V. Upper-limb prosthetic control using wearable multichannel mechanomyography. Proc. Int. Conf. on Rehabilitation Robotics. London, 2017, pp. 1293-1298. doi: 10.1109/IC0RR.2017.8009427
43. Saravanan A. et al. A method to control bionic arm using Galvanic skin response. Proc. 8th Int. Conf. on Communication Systems and Networks. Bangalore, India, 2016. doi: 10.1109/C0MSNETS.2016.7440030
44. Navaraj W.T. et al. Upper limb prosthetic control using toe gesture sensors. Proc. IEEE SENSORS. Busan, South Korea, 2015, pp. 1-4. doi: 10.1109/ICSENS.2015.7370369
45. Kim J.H. et al. Three-dimensional upper limb movement decoding from EEG signals. International Winter Workshop on Brain-Computer Interface. Gangwo, South Korea, 2013, pp. 109-111. doi: 10.1109/IWW-BCI.2013.6506648
46. Cheesborough J. et al. Targeted muscle reinnervation and advanced prosthetic arms. Seminars in Plastic Surgery, 2015, vol. 29, no. 1, pp. 62-72. doi: 10.1055/s-0035-1544166
47. Tkach Dennis C. et al. Real-time and offline performance of pattern
gesture sensors // Proc. IEEE SENSORS. Busan, South Korea, 2015. P. 1-4. doi: 10.1109/ICSENS.2015.7370369
45. Kim J.H. et al. Three-dimensional upper limb movement decoding from EEG signals // International Winter Workshop on Brain-Computer Interface. Gangwo, South Korea, 2013. P. 109-111. doi: 10.1109/IWW-BCI.2013.6506648
46. Cheesborough J. et al. Targeted muscle reinnervation and advanced prosthetic arms // Seminars in Plastic Surgery.
2015. V. 29. N 1. P. 62-72. doi: 10.1055/s-0035-1544166
47. Tkach Dennis C. et al. Real-time and offline performance of pattern recognition myoelectric control using a generic electrode grid with targeted muscle reinnervation patients // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2014. V. 22. N 4. P. 727-734. doi: 10.1109/TNSRE.2014.2302799
48. Lauretti C. et al. Fusion of M-IMU and EMG signals for the control of trans-humeral prostheses // Proc. 6th IEEE Int. Conf. on Biomedical Robotics and Biomechatronics. Singapore, 2016. P. 1123-1128. doi: 10.1109/BI0R0B.2016.7523782
49. He L., Pierre A.M. Degree-wise control of an humanoid manipulator based on biceps brachii muscle activity // IEEE EMBS International Student Conference. Ottawa, Canada,
2016. P. 1-4. doi: 10.1109/EMBSISC.2016.7508612
50. Yang J. et al. Hybrid EEG-EOG system for intelligent prosthesis control based on common spatial pattern algorithm // IEEE Int. Conf. on Information and Automation. Ningbo, China, 2016. P. 1261-1266. doi: 10.1109/ICInfA.2016.7832013
Авторы
Горохова Наталья Михайловна - студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 0000-0002-4010-9364, gnatali1997@gmail.com Головин Михаил Андреевич - руководитель отдела, ФГБУ ФНЦРИ им. Г.А. Альбрехта Минтруда России, Санкт-Петербург, 195067, Российская Федерация, Scopus ID: 57202959296, ORCID ID: 0000-0002-7063-1284, muxagolovin@gmail .com
Чежин Михаил Сергеевич - кандидат технических наук, доцент, заместитель начальника департамента, Университет ИТМО Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 57090906600, ORCID ID: 0000-0003-4889-8457, msch@cde.ifmo.ru
recognition myoelectric control using a generic electrode grid with targeted muscle reinnervation patients. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2014, vol. 22, no. 4, pp. 727-734. doi: 10.1109/TNSRE.2014.2302799
48. Lauretti C. et al. Fusion of M-IMU and EMG signals for the control of trans-humeral prostheses. Proc. 6th IEEE Int. Conf. on Biomedical Robotics and Biomechatronics. Singapore, 2016, pp. 1123-1128. doi: 10.1109/BIOROB.2016.7523782
49. He L., Pierre A.M. Degree-wise control of an humanoid manipulator based on biceps brachii muscle activity. IEEE EMBS International Student Conference. Ottawa, Canada, 2016, pp. 1-4. doi: 10.1109/EMBSISC.2016.7508612
50. Yang J. et al. Hybrid EEG-EOG system for intelligent prosthesis control based on common spatial pattern algorithm. IEEE Int. Conf. on Information and Automation. Ningbo, China, 2016, pp. 1261-1266. doi: 10.1109/ICInfA.2016.7832013
Authors
Natalia M. Gorokhova - student, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 0000-00024010-9364, gnatali1997@gmail.com
Mikhail A. Golovin -Head of department, "Federal Scientific Center of Rehabilitation of the Disabled named after G.A. Albrecht" of the Ministry of Labour and Social Protection of the Russian Federation, Saint Petersburg, 195067, Russian Federation, Scopus ID: 57202959296, ORCID ID: 0000-0002-7063-1284, muxagolovin@gmail.com
Mikhail S. Chezhin - PhD, Associate Professor, Deputy Department Head, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 57090906600, ORCID ID: 0000-0003-48898457, msch@cde.ifmo.ru
