Научная статья на тему 'РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА ВЕКТОРНОГО АНАЛИЗА ЭМГ ПРЕДПЛЕЧЬЯ ДЛЯ ПОСТРОЕНИЯ ЧЕЛОВЕКО-МАШИННЫХ ИНТЕРФЕЙСОВ'

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА ВЕКТОРНОГО АНАЛИЗА ЭМГ ПРЕДПЛЕЧЬЯ ДЛЯ ПОСТРОЕНИЯ ЧЕЛОВЕКО-МАШИННЫХ ИНТЕРФЕЙСОВ Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

CC BY
143
28
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИНТЕРФЕЙС ЧЕЛОВЕК-МАШИНА / ВЕКТОРНО-КОМАНДНОЕ УПРАВЛЕНИЕ / ЭЛЕКТРОМИОГРАММА

Аннотация научной статьи по электротехнике, электронной технике, информационным технологиям, автор научной работы — Будко Наталья Александровна, Медведев Михаил Юрьевич, Будко Артём Юрьевич

Рассматриваются проблемы увеличения глубины и повышения долговременной устойчивости каналов связи в интерфейсах человек-машина, построенных на основе данных об электрической активности мышц предплечья. Возможным вариантом решения является применение метода анализа сигналов электромиограмм (ЭМГ), совмещающий векторное и командное управление. В виду возможности случайного смещения положения электродов в процессе эксплуатации, построена математическая модель для векторного анализа ЭМГ в сферических координатах, инвариантная к пространственному расположению электродов на предплечье. Командное управление осуществляется на основе распознавания жестов посредством предварительно обученной искусственной нейронной сети (ИНС). Векторное управление заключается в решении задачи калибровки каналов датчиков ЭМГ по пространственному расположению электродов и расчета результирующего вектора мышечных усилий, используемого в качестве дополнительного информационного канала для задания направления движения рабочей точки объекта управления. Предложенный метод апробирован на реально регистрируемых сигналах ЭМГ. Исследовано влияние длительности обрабатываемых фрагментов сигнала на процесс извлечения информации о вращательном движении кисти. Поскольку изменение положения электродов между сеансами эксплуатации различно, представлен алгоритм переназначения и калибровки усиления каналов ЭМГ, позволяющий в дальнейшем использовать единожды обученную ИНС для распознавания и классификации жестов. Практическое применение результатов работы возможно при разработке алгоритмов калибровки, распознавания жестов и управления техническими объектами на основе электромиографических интерфейсов человек-машина.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по электротехнике, электронной технике, информационным технологиям , автор научной работы — Будко Наталья Александровна, Медведев Михаил Юрьевич, Будко Артём Юрьевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DEVELOPMENT AND RESEARCH OF THE METHOD OF VECTOR ANALYSIS OF EMG OF THE FOREARM FOR CONSTRUCTION OF HUMAN-MACHINE INTERFACES

The paper deals with the problems of increasing the depth and increasing the long-term stability of communication channels in human-machine interfaces, built on the basis of data on the electrical activity of the forearm muscles. A possible solution is to use the method of analysis of electromyogram (EMG) signals, which combines vector and command control. In view of the possibility of random displacement of the position of the electrodes during operation, a mathematical model was built for vector analysis of EMG in spherical coordinates, which is invariant to the spatial arrangement of the electrodes on the forearm. Command control is based on gesture recognition by means of a pretrained artificial neural network (ANN). Vector control consists in solving the problem of calibrating the channels of EMG sensors according to the spatial arrangement of the electrodes and calculating the resulting vector of muscle forces used as an additional information channel to set the direction of movement of the operating point of the control object. The proposed method has been tested on actually recorded EMG signals. The influence of the duration of the processed signal fragments on the process of extracting information about the rotational movement of the hand was investigated. Since the change in the position of the electrodes between operating sessions is different, an algorithm for reassigning and calibrating the amplification of the EMG channels is presented, which makes it possible to use a once trained ANN for recognition and classification of gestures in the future. Practical application of the results of the work is possible in the development of algorithms for calibration, gesture recognition and control of technical objects based on electromyographic human-machine interfaces.

Текст научной работы на тему «РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА ВЕКТОРНОГО АНАЛИЗА ЭМГ ПРЕДПЛЕЧЬЯ ДЛЯ ПОСТРОЕНИЯ ЧЕЛОВЕКО-МАШИННЫХ ИНТЕРФЕЙСОВ»

13. Alam S., De D. Analysis of Security Threats in Wireless Sensor Network, International Journal of Wireless & Mobile Networks, 2014, Vol. 6, No. 2, pp. 1-12.

14. Borgohain T., Sanyal S. Survey of Operating Systems for the IoT Environment, International Journal of Advanced Networking and Applications, 2015, Vol. 6, pp. 1-5.

15. Gentry C., Halevi S., Smart N.P. Homomorphic Evaluation of the AES Circuit, Advances in Cryptology - CRYPTO 2012. Vol 7417, Springer, pp. 850-867.

16. Kriptograficheskaya zashchita informatsii Blochnye shifry - GOST R 34.12-2015 [Cryptographic protection of information Block ciphers-GOST R 34.12-2015]. Available at: https://www.tc26.ru/standard/gost/GOST R 3412-2015.pdf (accessed 07 May 2021).

17. Babenko L.K., Ishchukova E.A., Tolomanenko E.A. Differentsial'nyy analiz shifra Kuznechik [Differential analysis of the Grasshopper cipher], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2017, No. 5 (190), pp. 25-37.

18. Ishchukova E.A., Babenko L.K. Two simplified versions of Kuznyechik cipher (GOST R 34.12-2015), Proceedings of the 10h International Conference on Security of Information and Networks. - SIN '17. New York, NY, USA: ACM, 2017.

19. Brakerski Z., Gentry C., Vaikuntanathan Vinod. Fully homomorphic encryption without bootstrapping, Cryptology ePrint Archive, Report 2011/277, 2011. Available at: https://eprint.iacr.org/ 2011/277 (accessed 07 May 2021)

20. Babenko L.K., Tolomanenko E.A. Development of algorithms for data transmission in sensor networks based on fully homomorphic encryption using symmetric Kuznyechik algorithm, Journal of Physics: Conference Series, 2021, Vol. 1812, pp. 246-251.

Статью рекомендовала к опубликованию к.т.н. Е.А. Ищукова.

Бабенко Людмила Климентьевна - Южный федеральный университет; e-mail: lkbabenko@sfedu.ru; г. Таганрог, Россия; тел.: 88634312018; кафедра безопасности информационных технологий; профессор.

Толоманенко Екатерина Алексеевна - e-mail: kat.tea@mail.ru; тел.: 88634371905; кафедра безопасности информационных технологий; аспирант.

Babenko Lyudmila Klimentevna - Southern Federal University; e-mail: lkbabenko@sfedu.ru; Taganrog, Russia; phone: +78634312018; the department of security of information technologies; professor.

Tolomanenko Ekaterina Alekseevna - e-mail: kat.tea@mail.ru; phone: +78634371905; the department of security of information technologies; postgraduate student.

УДК 612.743, 612.817.2 DOI 10.18522/2311-3103-2021-2-18-31

Н.А. Будко, М.Ю. Медведев, А.Ю. Будко

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА ВЕКТОРНОГО АНАЛИЗА ЭМГ ПРЕДПЛЕЧЬЯ ДЛЯ ПОСТРОЕНИЯ ЧЕЛОВЕКО-МАШИННЫХ

ИНТЕРФЕЙСОВ

Рассматриваются проблемы увеличения глубины и повышения долговременной устойчивости каналов связи в интерфейсах человек-машина, построенных на основе данных об электрической активности мышц предплечья. Возможным вариантом решения является применение метода анализа сигналов электромиограмм (ЭМГ), совмещающий векторное и командное управление. В виду возможности случайного смещения положения электродов в процессе эксплуатации, построена математическая модель для векторного анализа ЭМГ в сферических координатах, инвариантная к пространственному расположению электродов на предплечье. Командное управление осуществляется на основе распознавания жестов посредством предварительно обученной искусственной нейронной сети (ИНС). Векторное управление заключается в решении задачи калибровки каналов датчиков ЭМГ по пространственному расположению электродов и расчета результирующего вектора мы-

шечных усилий, используемого в качестве дополнительного информационного канала для задания направления движения рабочей точки объекта управления. Предложенный метод апробирован на реально регистрируемых сигналах ЭМГ. Исследовано влияние длительности обрабатываемых фрагментов сигнала на процесс извлечения информации о вращательном движении кисти. Поскольку изменение положения электродов между сеансами эксплуатации различно, представлен алгоритм переназначения и калибровки усиления каналов ЭМГ, позволяющий в дальнейшем использовать единожды обученную ИНС для распознавания и классификации жестов. Практическое применение результатов работы возможно при разработке алгоритмов калибровки, распознавания жестов и управления техническими объектами на основе электромиографических интерфейсов человек-машина.

Интерфейс человек-машина; векторно-командное управление; электромиограмма.

N.A. Budko, M.Yu. Medvedev, A.Yu. Budko

DEVELOPMENT AND RESEARCH OF THE METHOD OF VECTOR ANALYSIS OF EMG OF THE FOREARM FOR CONSTRUCTION OF HUMAN-MACHINE INTERFACES

The paper deals with the problems of increasing the depth and increasing the long-term stability of communication channels in human-machine interfaces, built on the basis of data on the electrical activity of the forearm muscles. A possible solution is to use the method of analysis of electromyogram (EMG) signals, which combines vector and command control. In view of the possibility of random displacement of the position of the electrodes during operation, a mathematical model was built for vector analysis of EMG in spherical coordinates, which is invariant to the spatial arrangement of the electrodes on the forearm. Command control is based on gesture recognition by means of a pretrained artificial neural network (ANN). Vector control consists in solving the problem of calibrating the channels of EMG sensors according to the spatial arrangement of the electrodes and calculating the resulting vector of muscle forces used as an additional information channel to set the direction of movement of the operating point of the control object. The proposed method has been tested on actually recorded EMG signals. The influence of the duration of the processed signal fragments on the process of extracting information about the rotational movement of the hand was investigated. Since the change in the position of the electrodes between operating sessions is different, an algorithm for reassigning and calibrating the amplification of the EMG channels is presented, which makes it possible to use a once trained ANN for recognition and classification of gestures in the future. Practical application of the results of the work is possible in the development of algorithms for calibration, gesture recognition and control of technical objects based on electromyographic human-machine interfaces.

Human-machine interface; vector-command control; electromyogram.

Введение. Задача управления мехатронными и роботизированными системами особенно актуальна для разработки интерфейсов человек-машина для людей с ограниченными возможностями [1-7]. Численность инвалидов на ноябрь 2020 года составляет более 11 млн. человек, что соответствует 8 % от общего населения России. Более 200 тысяч нуждаются в протезировании рук или ног [8]. Одним из возможных примеров является управление роботом-ассистентом, имеющим в качестве исполнительного механизма, манипулятор, закрепленный на инвалидном кресле или другом устройстве.

Одной из главных проблем бионического управления является нестационарность сигналов ЭМГ и изменение положения электродов относительно мышц в процессе эксплуатации [9, 10]. Точность классификации значительно изменяется во времени, поскольку данные, записанные в один и тот же день, имеют характеристики, отличные от данных, записанных в другой день, из-за влияния реальных условий, таких как смещение датчиков, изменение состояния контакта кожа-электрод, изменение паттернов мышечной активности в процессе выработки стереотипа движения. То есть в настоящий момент одной из ключевых проблем явля-

ется не лабораторные, краткосрочные условия, а ежедневное использование [11, 12]. Ежедневное смещение электродов в процессе эксплуатации может привести к различиям в свойствах сигнала, что делает их нераспознаваемыми для предварительно обученного классификатора. Таким образом, возникает задача оценки пространственного положения электродов по данным ЭМГ для переназначения каналов, перед подачей информации на вход классификатора жестов. В данной работе предлагается производить процедуру калибровки на основе направления максимального вектора мышечных усилий во время кругового движения кисти, поскольку положение такого вектора обусловлено анатомическими особенностями строения предплечья и инвариантно к положению электродов.

Другой проблемой классического подхода к анализу ЭМГ, основанном на классификации и распознавании жестов, является ограничение по количеству степеней свободы для единовременного перемещения рабочей точки [13-16]. Например, система управления положением рабочей точки на основе классификатора жестов может быть основана на 4 жестах, кисть вверх, вниз, влево и вправо. Тогда, каждому жесту кисти будет соответствовать перемещение вдоль осей координат, таким образом, набор команд будет состоять из 4 направлений. Для наглядности рассмотрим пример на основе задачи перемещения рабочей точки (положения манипулятора или курсора) из точки А в точку В, рис. 1.

B

B

B

B

а б в г д

Рис. 1. а - е. Примеры решения задачи перемещения рабочей точки

В прямоугольной системе координат кратчайшим путем будет являться траектория, приведенная на рис. 1,а. Однако, такая многоступенчатая стратегия управления не свойственна человеку, и с большой вероятностью при ограниченном выборе направления перемещения рабочей точки он будет решать задачу перемещения по неоптимальной траектории, пример которых приведен на рис. 1,б,в. Это приводит к увеличению времени достижения результата и отрицательно влияет на его точность. Для человека более естественно перемещение к целевой точке по вектору с произвольным направлением, а не по последовательности движений, направленных вдоль осей прямоугольной системы, рис. 1,г,д. При этом появляется дополнительная возможность сокращения времени достижения цели за счет изменения скорости перемещения рабочей точки пропорционально мышечному усилию.

Таким образом, задача разработки системы управления на основе ЭМГ, позволяющей задавать произвольное направление вектора перемещения рабочего органа, является актуальной, поскольку позволяет повысить удобство пользования, уменьшить время выполнения конечного действия, и повысить точность позиционирования. Заметным исследованием в данном вопросе является двумерный указатель, управляемый ЭМГ, изобретенный Розенбергом (1998), который известен как указатель биологической обратной связи [17, 18]. Основная проблема метода, отмеченная авторами исследования, заключается в том, что движения пользователя могут не адекватно синхронизироваться с курсором [19]. Также следует отметить необходимость точного позиционирования электродов в данном методе.

В исследовании Таваколи и соавт. описана классификация жестов руки по двум каналам ЭМГ сигнала, для классификации предлагается метод опорных векторов (МОВ) [20]. Преимуществом данного метода является высокая скорость калибровки и точность классификации, а также устойчивость при работе в многомерном пространстве признаков. Также алгоритм МОВ показывает релевантные результаты при наличии маленькой выборки для обучения. Результатом является способность классификатора достигать точности от 95 % до 100 % для пяти выходных классов.

В данной работе представлены результаты анализа возможности осуществления векторного управления положением рабочей точки в произвольном двумерном пространстве сферических или декартовых координат на основе прямого расчета результирующего вектора мышечных усилий на основе пространственного положения электродов, а также приведены некоторые аспекты использования данной информации для калибровки системы датчиков.

Методология. Для съема ЭМГ мышц предплечья в работе используется браслет MYO Thalmic Labs, рис. 2,а. Браслет MYO состоит из 8 секций, который при одевании на руку располагаются равномерно по окружности предплечья. Рассмотрим схему расположения датчиков на предплечье, рис. 2,б.

Рис. 2. Браслет ЫХО и схема расположения датчиков на предплечье: а - внешний вид браслета; б - схематичное изображение мышц предплечья и расположения датчиков; в - пример взаимоположения датчиков и мышц на срезе предплечья, красным цветом выделены условно активированные мышцы при поднятии кисти

на себя

Как видно из рис. 2,в, точное расположение браслета над одними и теми же мышцами может быть затруднительно в силу сложного строения предплечья, поэтому представляется целесообразным ориентироваться на группы мышц, задействованные при направлении кисти в разные стороны. Например, при движении кисти вверх и удержании этого жеста активируются мышцы на внешней стороне предплечья. Это справедливо и для других направлений, таких как вниз («кисть на себя»), вправо, влево и промежуточных направлений.

Предварительная оценка данных. Получены записи сигналов для анализа исходных данных. Для анализа выбраны направления движения под углом 90 ° друг к другу. Этим позициям соответствуют следующие направления руки: от себя («Вверх»), к себе («Вниз»), влево и вправо. На рис. 3 представлены сигналы ЭМГ для исследованных жестов во временной области.

1

а б в

в г

Рис. 3. Сигналы ЭМГ для различных жестов: а - кисть на себя («Вверх»), б - кисть от себя («Вниз»), в - кисть влево, г - кисть вправо

б

а

На рис. 4 приведены образы исследованных жестов в круговых диаграммах.

Рис. 4. Образы исследованных жестов в круговых диаграммах: а - кисть на себя («Вверх»), б - кисть от себя («Вниз»), в - кисть влево, г - кисть вправо

Насыщенность цвета сектора на рис. 4 определяется усредненной амплитудой сигнала соответствующего канала. Анализ данных показывает, что в целом направления результирующих векторов совпадают с направлением усилия оператора, однако имеют несимметричную картину.

Расчет результирующего вектора мышечных усилий. Поскольку браслет МУО имеет восемь датчиков ЭМГ, расположенных равномерно по окружности предплечья, можно представить выходные данные браслета в виде векторной диаграммы из 8 компланарных векторов, берущих начало в одной точке и расположенных под углом 360/8= 45 градусов друг к другу, как это показано на рис. 5,а. На рис. 5,б показан пример мгновенно регистрируемой векторной диаграммы при жесте «кисть вверх».

90

120 . 60 100

150 30

50

180 • в 0

210 330

240 300

а б

Рис. 5. Представление выходных сигналов в виде векторной диаграммы: а - схема построения векторов, б - пример расчета результирующего вектора для реально регистрируемых сигналов: результирующий вектор отмечен красным маркером

Для удобства выбрана полярная система координат. Начало координаты ф выбирается произвольной привязкой к любому каналу, поскольку в дальнейшем оно будет переопределено во время процедуры калибровки исходя из направления максимального вектора мышечных усилий для кругового движения. Тогда мгновенный вектор сигнала каждого для канала на полярной плоскости координат будет определяться его угловой координатой фь являющейся константой для каждого канала, а также его величиной Fi , равной мгновенной амплитуде сигнала.

Рассмотрим процесс расчета результирующего вектора для всех 8 каналов. Для упрощения дальнейшего объяснения анализа векторной диаграммы проведем аналогию с системой сил, действующих на твердое тело, используемой, например, в теоретической механике. Тогда для сходящейся системы сил, представленной на рис. 5 результирующим вектором, будет являться вектор результирующей силы, воздействующей на тело в точке приложения, соответствующей началу радиальных координат векторов. Результирующая сила R будет равна сумме сил, определяемых векторами F1-F8 (1):

й =К+ %+ %+ %+ % + Т6 +Т7 +%. (1)

Для расчета R необходимо последовательно сложить все 8 векторов F1-F8. Результирующий вектор сложения двух компланарных векторов может быть вычислен тригонометрическим способом с помощью теоремы косинусов (2):

R1 = ^ F1 + F2 + 2 F± F2 соs (1 8 0 - a) , (2)

где a = угол между исходными векторами.

Угол между результирующим вектором и одним из исходных векторов может быть вычислен по теореме синусов (3):

Pr ! = arcs in [f£s in ] , (3)

где a = угол между исходными векторами.

Для уравнения (3) на каждом шаге сложения векторов проверяется условие недопустимости деления на 0.

Анализ вращательного движения. Для оценки возможности управления положением рабочей точки на основе результирующего вектора мышечных усилий был произведен анализ ЭМГ при вращательном движении кисти. В процессе эксперимента записан сигнал при совершении кистью правой руки 5 вращательных движений по часовой стрелке с периодом около 2 секунд на один полный оборот (0,5 Гц). Длительность записи составила 13 секунд, что при частоте дис-

кретизации 200 Гц составляет 2600 отчетов. Рассмотрим поля расчетных координат результирующего вектора для полученной выборки. Поскольку мышцы предплечья, отвечающие за движение кисти в различных направлениях, сгруппированы и развиты неравномерно, то картина выборки без калибровки является несимметричной, как это показано на рис. 6,а. Для повышения удобства пользователя, на данном этапе необходимо произвести калибровку коэффициентов усиления каждого канала, имеющую своей целью получить максимально симметричную картину. Координаты вектора после процедуры калибровки усиления по каналам приведены на рис. 6,б.

Рис. 6. Координаты расчетного вектора для полученной выборки: а - без калибровки усиления по каналам, б - с калибровкой усиления по каналам, в - график зависимости радиуса R от времени, г - график зависимости угла ф

от времени

В данном исследовании коэффициенты усиления рассчитаны по усреднённым значениям амплитуд всего вектора пропорционально по отношению к усредненному значению произвольно выбранного канала, принятого за опорный. Следует отметить, что задача настройки коэффициентов усиления сигнала по каналам для обеспечения максимальной симметричности векторной диаграммы, является одной из основных для получения качественного процесса управления.

Для выделения полезной части сигнала необходимо проведение предварительной фильтрации и обработки. После записи экспериментальной выборки необходимо произвести разбиение сигнала на фрагменты (фреймы) конечной длительности и выделение информативных признаков. Предварительная обработка для вычисления результирующего вектора мышечных усилий осуществляется на основе усреднения по модулю всех значений сигнала в пределах одного фрейма. Исследован диапазон длительностей фреймов от 10 мс до 1,5 с, что соответствует усреднению по 2-300 отчетам при частоте дискретизации 200 Гц. Шаг изменения

а

в

г

длительности фрейма составил 25 мс или 5 отчетов. На рис. 7 представлены примеры полученных расчетных координат результирующего вектора для различных длительностей фреймов.

г д е

Рис. 7. Расчетные координаты результирующего вектора для пяти вращательных движений при различных длительностях фреймов: а - 25мс, б - 50мс, в - 250мс, г - 350, д - 1 сек, е - 1,5 сек

Анализ данных показал, что при использовании длительности фрейма более 400мс информация о характере действия (вращение кисти) теряется. При этом вращение кисти с большей частотой, чем в данном эксперименте, может дополнительно ограничить максимальную длину фрейма для усреднения. Для работы системы с большим быстродействием целесообразно использовать фреймы сигнала меньшей длины, что, однако ведет к зашумлению выходных координат. При построении подобной системы необходимо находить компромисс между быстродей-

б

а

в

ствием системы и плавностью изменения координат в зависимости от целей и особенностей объекта управления. В данной работе длительность фрейма выбрана 250 мс. Графики движения рабочей точки в полярной системе координат приведены на рис. 8.

а б

Рис. 8. Графики перемещения рабочей точки в полярной системе координат и значений координат во временной области: а - графики вектора R, б - угол ф в зависимости от времени в полярной системе координат

На рис. 8,б для наглядности траектории движения точки координата радиуса вектора посчитана с накоплением от начала к концу движения. Если это необходимо, то переход в декартову систему координат может быть осуществлен по формулам (5):

Х± = ^ 5т(<р12), = ^ со5(<р12). (4)

Для улучшения качества управления целесообразно произвести аппроксимацию и сглаживание выходных координат результирующего вектора. На рис. 9 показана траектория движения рабочей точки в декартовой системе координат, при этом координаты вектора были сглажены сплайнами.

Рис. 9. Сглаженная траектория движения рабочей точки в декартовой системе

координат

Анализ траектории движения рабочей точки на рис. 9 показывает, что, несмотря на введенные коэффициенты усиления, и процедуру сглаживания график остается несимметричным относительно начала отчета. Это указывает на анатомические особенности руки человека, в которой в определенном направлении может быть больше крупных и сильных мышц, чем в другом. Дальнейшее улучшение результата возможно с применением ИНС и систем с подкреплением для более

тонкой настройки коэффициентов усиления, применением алгоритмов обработки для векторов входных и выходных величин и т. д. При этом, информация об анатомических особенностях, получаемая на основе анализа подобного рода может быть использована для определения пространственного положения датчиков в процессе эксплуатации.

Алгоритм калибровки каналов на основе векторного анализа набора данных ЭМГ предплечья. На основе полученных данных предложен алгоритм калибровки при ежедневном использовании интерфейса, рис. 10.

а б

Рис. 10. а - алгоритм работы при первоначальной настройке, б - ежедневное использование

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

На рис. 10,а показан алгоритм работы при первоначальной настройке интерфейса. Производится чтение и запись сигналов ЭМГ, рассчитывается средний результирующий вектор для трёх вращений и сохраняется в памяти. Далее производится переопределение системы координат в направлении результирующего вектора мышечных усилий и осуществляется привязка каналов. Далее производится обучение классификатора жестов на основе ИНС и его тестирование, коэффициенты ИНС сохраняются в память. При ежедневном использовании, рис. 10,б, в начале работы в целях калибровки рассчитывается средний результирующий вектор для трёх вращений и сравнивается с эталоном, полученным при первичной настройке. При несовпадении данных сначала производится калибровка каналов, включающая переопределение номеров каналов и корректировку коэффициентов усиления. Процедура позволяет привести данные по каналам ЭМГ к эталонной конфигурации при обучении и использовать ранее полученные веса ИНС. Алгоритм калибровки более подробно показан на рис. 11.

Конец

Рис. 3. Алгоритм калибровки

Для калибровки каналов на основе векторного анализа набора данных ЭМГ предплечья необходимо рассчитать результирующий вектор и разность фаз. Далее производится переопределение каналов и калибровка усиления с учётом эталонных значений. Полученные данные сохраняются в таблицах переназначения и коэффициентов усиления. Далее производится переопределение системы координат по вектору мышечных усилий и контроль калибровки. Если наблюдается соответствие эталону образа ЭМГ, то программа калибровки завершается, если нет, то осуществляется повторная регистрация сигнала и повторение процедуры калибровки.

Заключение. В работе предложен метод обработки ЭМГ на основе векторной диаграммы и усреднения по фреймам, позволяющий извлекать полезную информацию о направлении результирующего вектора мышечного усилия и анатомических особенностях предплечья. Представлены результаты экспериментального исследования применимости предложенного метода для случая вращательного движения кисти. Приведены качественные и количественные оценки положения кисти по данным ЭМГ. Предложен алгоритм калибровки датчиков, построенный на основе разработанного метода. Отличительными особенностями предложенного метода является инвариантность к положению электродов на предплечье и возможность извлечения дополнительной информации о положении кисти, которая может быть использована для управления манипулятором или курсором на экране компьютера при разработке перспективных человеко-машинных интерфейсов.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Гурфинкель В.С. Биоэлектрическое управление. - М.: Наука, 1972. - 243 с.

2. Будко Н.А., Будко Р. Ю., Будко А.Ю. Применение искусственных нейронных сетей в интерфейсах человек-машина // Моделирование, оптимизация и информационные технологии. - 2019. - Т. 7, № 1. - http://moit.vivt.ru/.

3. Будко Р.Ю., Чернов Н.Н., Будко Н.А., Будко А.Ю. Распознавание электромиограммы предплечья и выбор жестов для управления протезом // Моделирование, оптимизация и информационные технологии. - 2019. - Т. 7, № 1. - http://moit.vivt.ru/.

4. Будко Р.Ю., Чернов Н.Н., Будко Н.А. Исследование методов классификации ЭМГ в задаче управления жестами руки // Известия высших учебных заведений. Приборостроение. - 2019. - Doi 10.17586/0021-3454-2019-62-12-1098-1104.

5. Будко Р.Ю., Чернов Н.Н., Будко Н.А. Метод управления устройствами замещения утраченных функций на основе миосигнала и его верификация в реальном масштабе времени // Вестник молодёжной науки России. - 2019. - Вып. № 6.

6. Славуцкий Я.Л. Физиологические аспекты биоэлектрического управления протезами.

- М.: Медицина, 1982. - 288 с.

7. Буров Г.Н. Современное состояние проблемы управления протезами верхних конечностей и достигаемый эффект протезирования // Вестник гильдии протезистов-ортопедов.

- 2002. - № 4 (10). - C. 37-43.

8. Федеральная государственная информационная система. Федеральный реестр инвалидов. - Режим доступа: https://sfri.ru/analitika/chislennost (дата обращения: 01.12.20).

9. Персон Р.С. Электромиография в исследованиях человека. - М.: Наука, 1969. - 231 с.

10. Resnik L. Development and testing of new upper-limb prosthetic devices: research designs for usability testing // J. Rehabil. Res. Dev. - 2011. - Vol. 48, No. 6. - P. 697-706.

11. Фарбер Б.С., Витензон А.С. Теоретические основы построения протезов нижних конечностей и коррекции движения. - М.: ЦНИИПП, 1994. - 645 с.

12. Vigreux B., Cnockart J.C., Pertuzon E. Factors influenced quantified surface EMG // Journal Applied Physiology. - 1979. - Vol. 41, No. 4. - P. 119-129.

13. Ogiri Y. Development of an upper limb neuroprosthesis to voluntarily control elbow and hand // Proc. 26th IEEE Int. Symposium on Robot and Human Interactive Communication (RO-MAN). Lisbon, Portugal, 2017. - P. 298-303. - Doi: 10.1109/R0MAN.2017.8172317.

14. Юсевич Ю.С. Очерки по клинической электромиографии. - М.: Медицина, 1972. - 187 с.

15. Коуэн Х., Брумлик Дж. Руководство по электромиографии и электродиагностике. - М.: Медицина, 1975. - 358 с.

16. КондрашинН.И., СанинВ.Г. Ампутация конечностей и первичное протезирование. - М.: Медицина, 1984. - 160 с.

17. Ивановский Ю.В. Принципы использования метода биологической обратной связи в системе медицинской реабилитации // Биологическая обратная связь. - 2000. - № 3. - С. 2-9.

18. Кунельская Н.Л. Метод биологической обратной связи в клинической практике // Журнал неврологии и психиатрии им. С.С. Корсакова. - 2014. - № 114 (8). - C. 46-50.

19. Rosenberg, R. The biofeedback pointer: EMG control of a two-dimensional pointer, Wearable Computers // Digest of Papers. Second International Symposium on 19-20 Oct. 1998. - P. 162-163.

20. Tavakoli M. Robust hand gesture recognition with a double channel surface EMG wearable armband and SVM classifier // Biomedical Signal Processing and Control. - 2018. - No. 46.

- P. 121-130. - Doi:10.1016/j.bspc.2018.07.010.

REFERNCES

1. Gurfinkel' V.S. Bioelektricheskoe upravlenie [Bioelectrical control]. Moscow: Nauka, 1972, 243 p.

2. Budko N.A., Budko R. Yu., Budko A.Yu. Primenenie iskusstvennykh neyronnykh setey v interfeysakh chelovek-mashina [Application of artificial neural networks in human-machine interfaces], Modelirovanie, optimizatsiya i informatsionnye tekhnologii [Modeling, Optimization and Information Technologies], 2019, Vol. 7, No. 1. Available at: http://moit.vivt.ru/.

3. Budko R.Yu., Chernov N.N., Budko N.A., Budko A.Yu. Raspoznavanie elektromiogrammy predplech'ya i vybor zhestov dlya upravleniya protezom [Recognition of the forearm electro-myogram and selection of gestures for controlling the prosthesis], Modelirovanie, optimizatsiya i informatsionnye tekhnologii [Modeling, optimization, and information technology], 2019, Vol. 7, No. 1. Available at: http://moit.vivt.ru/.

4. Budko R.Yu., Chernov N.N., Budko N.A. Issledovanie metodov klassifikatsii EMG v zadache upravleniya zhestami ruki [Research of methods of classification of EMG in the control of hand gestures], Izvestiya vysshikh uchebnykh zavedeniy. Priborostroenie [News of higher educational institutions. Instrumentation], 2019. Doi 10.17586/0021-3454-2019-62-12-1098-1104.

5. Budko R.Yu., Chernov N.N., Budko N.A. Metod upravleniya ustroystvami zameshcheniya utra-ennykh funktsiy na osnove miosignala i ego verifikatsiya v real'nom masshtabe vremeni [A method for controlling devices for replacing lost functions based on the miosignal and its verification in real time], Vestnik molodezhnoy nauki Rossii [Bulletin of Youth Science of Russia], 2019, Issue No. 6.

6. Slavutskiy Ya.L. Fiziologicheskie aspekty bioelektricheskogo upravleniya protezami [Physiological aspects of bioelectric control of prostheses]. Moscow: Meditsina, 1982, 288 p.

7. Burov G.N. Sovremennoe sostoyanie problemy upravleniya protezami verkhnikh konechnostey i dostigaemyy effekt protezirovaniya [Current state of the problem of management of upper limb prostheses and the achieved effect of prosthetics], Vestnik gil'dii protezistov-ortopedov [Bulletin of the Guild of Prosthetics and Orthopedists], 2002, No. 4 (10), pp. 37-43.

8. Federal'naya gosudarstvennaya informatsionnaya sistema. Federal'nyy reestr invalidov [Federal State Information System. Federal Register of Disabled Persons]. Available at: https://sfri.ru/analitika/chislennost (accessed 01 December 20).

9. Person R.S. Elektromiografiya v issledovaniyakh cheloveka [Electromyography in human research]. Moscow: Nauka, 1969, 231 p.

10. Resnik L. Development and testing of new upper-limb prosthetic devices: research designs for usability testing, J. Rehabil. Res. Dev., 2011, Vol. 48, No. 6, pp. 697-706.

11. FarberB.S., Vitenzon A.S. Teoreticheskie osnovy postroeniya protezov nizhnikh konechnostey i korrektsii dvizheniya [Theoretical foundations of the construction of lower limb prostheses and motion correction]. Moscow: TSNIIPP, 1994, 645 p.

12. Vigreux B., Cnockart J.C., Pertuzon E. Factors influenced quantified surface EMG, Journal Applied Physiology, 1979, Vol. 41, No. 4, pp. 119-129.

13. Ogiri Y. Development of an upper limb neuroprosthesis to voluntarily control elbow and hand, Proc. 26th IEEE Int. Symposium on Robot and Human Interactive Communication (ROMAN). Lisbon, Portugal, 2017, pp. 298-303. Doi: 10.1109/R0MAN.2017.8172317.

14. Yusevich Yu.S. Ocherki po klinicheskoy elektromiografii [Essays on clinical electromyography]. Moscow: Meditsina, 1972, 187 p.

15. Kouen Kh., Brumlik Dzh. Rukovodstvo po elektromiografii i elektrodiagnostike [Manual of electromyography and electrodiagnostics]. Moscow: Meditsina, 1975, 358 p.

16. Kondrashin N.I., Sanin V.G. Amputatsiya konechnostey i pervichnoe protezirovanie [Amputation of limbs and primary prosthetics]. Moscow: Meditsina, 1984, 160 p.

17. Ivanovskiy Yu. V. Printsipy ispol'zovaniya metoda biologicheskoy obratnoy svyazi v sisteme meditsinskoy reabilitatsii [Principles of using the method of biological feedback in the system of medical rehabilitation], Biologicheskaya obratnaya svyaz' [Biological feedback], 2000, No. 3, pp. 2-9.

18. Kunel'skaya N.L. Metod biologicheskoy obratnoy svyazi v klinicheskoy praktike [Method of biological feedback in clinical practice], Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova [Journal of Neurology and Psychiatry named after S. S. Korsakov], 2014, No. 114 (8), pp. 46-50.

19. Rosenberg, R. The biofeedback pointer: EMG control of a two-dimensional pointer, Wearable Computers, Digest of Papers. Second International Symposium on 19-20 Oct. 1998, pp. 162-163.

20. Tavakoli M. Robust hand gesture recognition with a double channel surface EMG wearable armband and SVM classifier, Biomedical Signal Processing and Control, 2018, No. 46, pp. 121-130. Doi:10.1016/j.bspc.2018.07.010.

Статью рекомендовал к опубликованию д.т.н., профессор С.Г. Капустян.

Будко Наталья Александровна - НИИ РиПУ ЮФУ; e-mail: natalia.tb13@mail.ru; г. Таганрог, Россия; тел.: +79185670210; инженер; аспирант кафедры ЭиМ ИРТСУ ЮФУ.

Медведев Михаил Юрьевич - e-mail: medvmihal@gmail.com, тел.: +79198927349; в.н.с.;

д.т.н.; профессор; зав. кафедрой ЭиМ.

Будко Артём Юрьевич - e-mail: aptem_budko@mail.com; тел.: +79281545833; с.н.с.; к.т.н.;

доцент кафедры ЭиМ.

Budko Natalia Aleksandrovna - RDIRCS SFU; e-mail: natalia.tb13@mail.ru; Taganrog, Russia; phone: +79185670210; engineer; graduate student SFU.

Medvedev Mikhail Yurievich - e-mail: medvmihal@gmail.com; phone: +79198927349; leading researcher; dr. of eng. sc.; professor; head of department SFU.

Budko Artem Yurievich - e-mail: aptem_budko@mail.com; phone: +79281545833; senior research; cand. of eng. sc.; associate professor of the department SFU.

УДК 658.512 DOI 10.18522/2311-3103-2021-2-31-39

В.И. Данильченко, Е.В. Данильченко, В.М. Курейчик

МНОГОМЕРНЫЙ ПОИСК В ЗАДАЧЕ РАЗМЕЩЕНИИ ЭЛЕМЕНТОВ СБИС НА ОСНОВЕ ГЕНЕТИЧЕСКОГО АЛГОРИТМА

Все крупные производители идут к уменьшению габаритов современных микроэлектронных устройств. Это приводит к переходу на новые нормы проектирования и изготовления СБИС. Известные алгоритмы автоматизированного проектирования не в полной мере способны реализовывать новые требования при проектировании СБИС. В связи с этим, при решении задач конструкторского проектирования появляется необходимость в разработке новых методик решения данного класса задач. Одним из таких методик может стать гибридная многомерная система поиска, основанная на генетическом алгоритме (ГА). Описывается автоматизированный подход к проектированию СБИС на основе генетического алгоритма, позволяющий создать алгоритмическую среду в области многомерного генетического поиска для решения NP полных задач, в частности размещения элементов СБИС. Цель данной работы заключается в нахождении путей размещения элементов СБИС на основе генетического алгоритма. Научная новизна заключается в разработке модифицированного многомерного генетического алгоритма для автоматизированного проектирования сверхбольших интегральных схем. Постановка задачи в данной работе заключается в следующем: оптимизировать размещение элементов СБИС путем применения, многомерного модифицированного ГА. Практическая ценность работы заключается в создании подсистемы, позволяющей использовать разработанные многомерные архитектуры, методы и алгоритмы для эффективного решения задач конструкторского проектирования СБИС, а также проводить сравнительный анализ с существующими аналогами. Принципиальное отличие от известных подходов в применении новых многомерных генетических структур в автоматизированном проектировании СБИС, кроме того в работе праведен модифицированный генетический алгоритм. Приведенные результаты вычислительного эксперимента, показали преимущества предложенного в работе многомерного подхода к решению задач размещения элементов СБИС по сравнению с существующими аналогами. Таким образом, проблема создания методов, алгоритмов и программного обеспечения для автоматизированного размещения элементов СБИС в настоящее время имеет особую актуальность. Ее решение позволит улучшить качественные характеристики проектируемых устройств, сократит сроки и затраты на проектирование.

Генетические алгоритмы; графы и гиперграфы; эволюционные вычисления; размещение СБИС; САПР; многомерные вычисления; производства электронных средств.

V.I. Danilchenko, Y.V. Danilchenko, V.M. Kureichik

AUTOMATED STRUCTURAL-PARAMETRIC SYNTHESIS OF A STEPSED DIRECTIONAL RESPONDER ON CONNECTED LINES BASED ON A GENETIC ALGORITHM

All major manufacturers go to a decrease in the dimensions of modern microelectronic devices. This leads to the transition to new standards for designing and manufacturing SBSS. The well-known automated design algorithms are not fully able to implement new requirements when designing a SBI. In this regard, when solving the tasks of design design, there is a need to

i Надоели баннеры? Вы всегда можете отключить рекламу.