CC BY
21позволяет не только ввести избыточность для исправления ошибок при воздействии различных помех, но и управлять параметрами системы для минимизации величины ошибки, например, скоростью воспроизведения траектории. Также описаны возможности программного решения ряда проблем, возникающих при одновременном доступе пользователей к устройствам, при проблемах с синхронизацией управления устройством и при временном отсутствии связи с устройством.
Список литературы
1. Ignat'ev M.B.: The Study of the Adaptational Phenomenon in Complex Systems. In: Computing Anticipatory Systems - CASYS'05: Seventh International Conference on Computing Anticipatory Systems, pp. 322-330. Liege (2006).
2. Ignat'ev M.B., Katermina T.S.: Chaos Control and Uncertainty. In: Proceedings of the 19th International Conference on Soft Computing and Measurements, SCM, pp. 449452. Institute of Electrical and Electronics Engineers Inc. Publ., St. Petersburg (2016).
3. Ignat'ev M.B., Korshunov A.V., Pyatishev E.N. Micromechanical Robotic Systems Problems. In: Proceedings of SPIE - the International Society for Optical Engineering. Proceedings of the 1999 Indo-Russian Workshop on Micromechanical Systems, pp. 59-76. S P I E - International Society for Optical Engineering Publ., New Delhi (1999).
4. Слива М.В. Использование Node.js в качестве платформы для умного помещения // Традиции и инновации в образовательном пространстве России: материалы VII Всероссийской научно-практической конференции (г. Нижневартовск, 21 апреля 2018 года) / отв. ред. А.А. Никифорова. Нижневартовск: Изд-во Нижневарт. гос. унта, 2018. - С. 49-52.
УДК 004.4
doi :10.18720/SPBPU/2/id21 -364
Журавская Анжелика \
аспирант;
Станкевич Лев Александрович1,
канд. техн. наук, доцент
ПРИМЕНЕНИЕ НЕИНВАЗИВНОГО ИНТЕРФЕЙСА «МОЗГ-КОМПЬЮТЕР» ДЛЯ КЛАССИФИКАЦИИ ВООБРАЖАЕМЫХ ДВИЖЕНИЙ НИЖНИХ КОНЕЧНОСТЕЙ ЧЕЛОВЕКА
1 2
' Россия, Санкт-Петербург, Санкт-Петербургский политехнический
университет Петра Великого,
1 2
[email protected], [email protected]
Аннотация. В данной работе обсуждается проблема классификации движений нижних конечностей человека по сигналам активности мозга, воспринимаемым и декодируемым с помощью интерфейса «мозг-компьютер» (ИМК). Представлена структура неинвазивного ИМК, ориентированная на распознавание воображаемых моторных команд по электроэнцелографическим (ЭЭГ) сигналам. Выполнен
аналитический обзор научных работ, связанных с классификацией движений рук и ног, в результате которого определен наиболее эффективный тип классификатора на основе римановой геометрии. Приведено математическое описание метода классификации многоканальных сигналов ЭЭГ с использованием римановой геометрии. Проведены начальные эксперименты по применению ИМК такого типа для распознавания воображаемых команд на движения стоп ног. Достигнута точность распознавания движений ног в режиме реального времени около 65%. Предполагается развитие этих исследований с целью увеличения точности и скорости распознавания, что позволит использовать этот метод в системах нейрореабилитации и управления экзоскелетами нижних конечностей.
Ключевые слова, интерфейс «мозг-компьютер», электроэнцефалография, воображаемые движения ног, классификация, нейрореабилитация
Anzelika Zuravska1, Postgraduate;
Lev A. Stankevich 2,
Associate Professor, Candidate of Technical Sciences
APPLICATION OF A NON-INVASIVE INTERFACE «BRAIN-COMPUTER» FOR CLASSIFICATION OF IMAGINARY MOVEMENTS OF THE LOWER LIMBS
1 2
' Peter the Great St.Petersburg Polytechnic University, St. Petersburg, Russia,
i 2
[email protected], [email protected]
Abstract. This paper discusses the problem of classifying human lower-limb movements based on brain activity signals perceived and decoded using the brain-computer interface (BCI). The structure of a non-invasive BCI is presented, focused on the recognition of imaginary motor commands by electroencelographic (EEG) signals. An analytical review of scientific works related to the classification of arm and leg movements has been carried out, as a result of which the most effective type of classifier based on Riemannian geometry has been determined. A mathematical description of the method for classifying multichannel EEG signals using Riemannian geometry is given. Initial experiments have been carried out on the use of BCIs of this type for recognizing imaginary commands for movements of the feet. The accuracy of recognition of leg movements in real time is about 65%. It is proposed to develop these studies with the aim of increasing the accuracy and speed of recognition, which will make it possible to use this method in systems of neurorehabilitation and control of lower limb exoskeletons.
Keywords, brain-computer interface, electroencephalography, imaginary leg movements, classification, neurorehabilitation.
Введение
В последние годы повышается интерес к разработкам интерфейса «мозг-компьютер» (ИМК), который обеспечивает взаимодействие человека с окружающим миром, минуя нервно-мышечные пути [1]. В зарубежной литературе можно встретить синонимичное название мозго-машинные интерфейсы [2].
Развитие инвазивных и неинвазивных ИМК привело к созданию технологии, включающей множество разнообразных приборов, регистрирующих сигналы мозговой активности, а также программные средства для их обработки с конечной целью классификации состояний мозга или воображаемых команд, которые могут быть использованы для нейрореабилитации или нейроуправления. Системы нейрореабилитации на основе ИМК вселили надежду пациентам, страдающим двигательными нарушениями [3-5]. Несколько исследовательских групп разработали технологии нейроуправления на основе ИМК, например, для управления инвалидными колясками [6], роботизированными руками [2], экзоскеле-тами [3, 7, 8] и др.
В рамках нейроуправления существует множество подходов применения неинвазивных ИМК. Одним из часто используемых является моторное воображение (англ. motor imagery — MI) [9]. Воображение движений конечностей (например, движения правой/левой руки или стопы) создает в моторной коре характерные паттерны, которые можно обнаружить на многоканальной электроэнцефалограмме (ЭЭГ) после ее обработки. Еще один подход связан с потенциалами, вызванными событиями (англ. event-related potential — ERP). Наиболее известен ERP типа P300, т. е. положительный потенциал, вызванный визуальным стимулом через 300 мс после его появления. Однако чаще всего этот метод применяется при создании коммуникационных ИМК для набора текстов [10]. Но он может также применяться и для управления, если визуальными стимулами будут не буквы, а, например, стрелки, определяющие направление движений внешнего устройства.
При извлечении характерных признаков и классификации ЭЭГ-паттернов воображаемых движений используются методы машинного обучения. Приблизительно до 2007 года не было узкоспециализированных методов машинного обучения, которые учитывали бы особенности ИМК на основе ЭЭГ [11, 12]. В частности, основными проблемами, которые затрудняют классификацию воображаемых движений в ИМК, являются: низкое отношение сигнал/шум сигнала ЭЭГ и вариабельность ЭЭГ сигналов, как для одного пользователя, так и для группы пользователей. Даже для одного пользователя, сигналы ЭЭГ изменяются между или даже в пределах одной сессии. Кроме того, имеет место ограниченный объем обучающих данных, которые обычно доступны для калибровки классификаторов, и общая низкая надежность и производительность текущих ИМК [12].
Экспериментальные данные показывают, что методы классификации, основанные на римановой геометрии, могут повысить скорость и надежность классификации, поскольку манипулируют корреляционными матрицами, и только на их основе производят классификацию [12].
Цель статьи — исследовать возможность применения неинвазивно-го ИМК в системе нейрореабилитации, в частности, восстановления нарушенных движений ног. Текущие задачи — обзор работ по ИМК для воображаемых движений нижних конечностей человека, поиск эффективного классификатора ЭЭГ-паттернов воображаемых движений ног.
Далее в разделе 2 статьи освещается текущее состояние в области онлайн классификации моторных воображаемых движений ног, в разделе 3 рассматриваются классификаторы на основе Римановой геометрии, в разделе 4 описывается эксперимент по классификации моторных воображаемых движений ног.
1. Неинвазивные ИМК и воображаемые движения ног
Для целей реабилитации и управления чаще всего используются не-инвазивные ИМК, поскольку они не травмируют мозг и не требуют дорогого оборудования и много времени для освоения и начала работы с ними.
В общем случае система управления на основе ИМК включает следующие части (рис. 1):
- устройство для регистрации биоэлектрической активности мозга;
- блок предобработки данных, предназначенный для фильтрации сигнала от шумов и удаления разного рода артефактов (глазодвигательных, мышечных и др.);
- блок выделения характерных признаков сигналов ЭЭГ;
- классификатор, который по значению признаков определяет входящий сигнал в тот или иной класс;
- блок постобработки и генерации команд внешнему техническому устройству, на основании полученных от классификатора данных;
- обратная связь, например, визуализация исполнения устройством команды, тактильная стимуляция и пр.
В работе [3] использован двуклассовый ИМК для управления эк-зоскелетом, Моторное воображение движения правой ноги испытуемых использовалось для расшифровки их намерения походки и запуска движений экзоскелета. Среди здоровых испытуемых средняя точность классификации достигла 84,44 ± 14,56 %. В работе показано, что управление на основе ИМК экзоскелетом нижних конечностей возможен пациентами с хорошим прогнозом для реабилитации.
В работе [14] описан портативный ИМК на два класса: сгибание правой ноги, расслабление и протестировали свое устройство на трех здоровых испытуемых, с минимальным опытом в ИМК. Средняя точность классификации составила 97,5 %.
2. Предобработка данных (фильтрация, удаление артефактов)
3. Формирование характерных признаков (ХП) сигнала
4, Классификация
данных на основе их ХП
1. Регистрация и оцифровка сигнала ЭЭГ
5. Постобработка (генерация команд внешнему устройству)
Пользователь
6. Обратная связь (визуальная, звуковая, тактильная)
Исполнительное устройство
Рис. 1. Структура системы управления на основе ИМК
В работах [4] и [5] использован для классификации линейный байесовский классификатор (англ. linear BayesianCclassifier — LBC). С другой стороны, в работах [7] и [15] для классификации использовались машины опорных векторов (англ. Support Vector Machine — SVM).
В работе [7] представлен ИМК для управления экзоскелетом с использованием воображаемых команд «ходить» и «сидеть». Чтобы переключаться между режимами работы использовалось тройное моргание. Десять здоровых испытуемых продемонстрировали более 80 % точности классификации.
В работе [16] тестирован нелинейный классификатор на основе ансамблей решающих деревьев (англ. Random Forests — RF) на двух классах воображаемых движений правой руки и ноги. Авторы сравнили алгоритм RF с sLDA (shrinkage regularized LDA). Средняя пиковая точность для sLDA 82,7 % по сравнению с 85,2 % для RF. Средняя медиана точности составляет 73,2 % для sLDA по сравнению с 76,1 % для RF.
Для компенсации низкого соотношения сигнал/шум исследователями были изучены новые методы обработки и классификации сигналов, которые позволяют объединить извлечение и отбор признаков в один шаг. Это стало возможно благодаря матричным методам, основанным на ри-мановой геометрии) классификаторам [12]. Методы классификации, ос-
нованные на римановой геометрии, могут повысить скорость и надежность классификации, поскольку манипулируют корреляционными матрицами, и только на их основе производят классификацию, минуя типичный для большинства ИМК шаг № 2 (рис. 1), формируя вместо вектора признаков (шаг № 3) ковариационные матрицы, с помощью которых можно сразу производить классификацию. Поэтому для проведения дальнейших исследований по классификации воображаемых движений ног в данной работе был выбран именно этот метод.
Особо вдохновляющим выглядит пример из работы [17], с классификатором на основе Римановой геометрии автор занял первый места в соревнованиях по офлайн классификации ЭЭГ-данных для ИМК с 20142016 года, обойдя остальные методы по точности классификации. В [17] описывается методы применения Римановой геометрии для классификации MI, ERPs, SSEP (Steady-State Evoked Potentials).
Высокую точность классификации методами, основанными на Рима-новой геометрии можно увидеть и в работах [18, 19]. В [18] средняя точность классификации достигла 90,2 ± 6,6 %. В работе [19] продемонстрирована средняя точность классификации 83,95 %, а для моторного воображаемого движения языка у трех из девяти испытуемых точность была более 90 %.
Исходя из приведенного анализа литературы, можно сделать вывод о том, что для классификации воображаемых движений ног в режиме онлайн предпочтительно использование классификаторов на основе рима-новой геометрии. Поэтому далее рассмотрим более подробно математические основы, заложенные в классификаторах, основанных на римано-вой геометрии.
3. Классификаторы на основе Римановой геометрии
Задача распознавания мысленных команд пользователя по записи ЭЭГ сводится к установлению принадлежности многомерного временного ряда, в виде которого ЭЭГ сохраняется в компьютере, к одному из нескольких известных классов [20]. Используя подходы римановой геометрии, мы используем ковариационные матрицы, которые находятся в метрическом пространстве — римановом многообразии. Получить ковариационную матрицу из ЭЭГ сигнала можно на основании следующего выражения:
сг = • (X - E[ Хг ]) • (хг - E X ])T, (1)
где {Xj,X2,...,XN}набор из N проб ЭЭГ сигнала, для каждой из которых известен класс уг е{1, ..., K}; K — общее число классов (распознаваемых
команд пользователя). Каждая проба является матрицей амплитуд сигнала размера Е х т, где Е — количество используемых электродов, Т = Аг • — количество временных отсчетов при длине пробы Аг и частоте дискретизации .
Для определения близости проб вводится метрика расстояния между ковариационными матрицами этих проб, определяемых выражением (1):
SR (Q, C2) = log(C1-1C2)
F
N
I log2 Л
i=1
1/2
(2)
где Л, i = 1,2,..., N— собственные числа матрицы C11C2.
Выражение (2) является основой алгоритма минимальной римано-вой дистанции от среднего (англ. Minimum Riemannian Distance to Mean, MRDM) [21]. Этот алгоритм является обобщением метода ближайших соседей (англ. k-nearest neighbors algorithm), который является одним из базовых методов классификации. В его основе лежит предположение о том, что близкие объекты должны относиться к одному и тому же классу.
Алгоритм MRDM включает следующие шаги:
1. используя выражение (1), вычислить ковариационные матрицы проб из обучающей выборки;
2. для пробы, класс которой необходимо определить, вычислить ковариационную матрицу Ct.
3. вычислить геометрическое среднее ковариационных матриц проб C,C2,...,CkNk, соответствующих этому классу для всех классов
k = 1,2,...,:
N
Ck (CN, C2k,..., CkNk) = argcminI SR(C, CN). (3)
i=1
4. Вычислить расстояние от матрицы пробы, класс которой неизвестен, до средних матриц каждого из классов, и присвоить новой пробе класс, расстояние до матрицы которого оказалось наименьшим:
k = argkminSR (Ct, CN).
Многие известные методы машинного обучения, применяемые в ИМК (SVM, LDA, нейронные сети и их модификации) не могут быть использованы во введенном метрическом пространстве (римановом многообразии), но это не значит, что нельзя сочетать подходы римановой геометрии и линейные классификаторы. Ковариационные матрицы являются симметричными и положительно определенными, риманово про-
странство локально похоже, то есть может отображено на касательном евклидовом пространстве, что позволяет использовать линейные методы на касательном пространстве (англ. Tangent Space, TS) [22].
При построении касательного пространства в любой точке риманова многообразия векторы на гиперплоскости, соответствующие ковариационным матрицам, будут определяться следующим выражением:
Sl = LogC (Cl) = C1/2 log(C-y2ClC-1/2)C1/2, (4)
где C — точка (ковариационная матрица), в которой строится касательное пространство; log — матричный логарифм. На рисунке 2 можно увидеть схематичное представление построения касательного пространства на риманово многообразие.
Рис. 2. Схематичное представление построения касательного пространства
на римановом многообразии
Таким образом, алгоритм построения касательного пространства можно представить следующим образом:
1. Согласно выражению (1) вычислить ковариационные матрицы проб из обучающей выборки.
2. Используя выражение (3), вычислить риманово среднее ковариационных матриц всех проб.
3. С помощью выражения (4) спроецировать ковариационные матрицы всех проб на касательное пространство в точке риманова среднего.
4. Далее можно использовать MRDM и для полученных проекций применить линейные методы классификации, такие как LDA или SVM, поскольку эти проекции находятся в евклидовом пространстве.
Более подробно работа с ковариационными матрицами в римановом многообразии описана в работе [23].
Как показано в [24], классификаторы, основанные на римановой геометрии, в частности, алгоритм МКОМ, проще и включают в себя меньше этапов, чем более классические подходы (позволяют исключить шаги предобработки и построения вектор признаков). Кроме того, рима-новы классификаторы одинаково хорошо применимы к большинству парадигм ИМК, при этом отличается только способ отображения точек данных в многообразии ковариационных матриц [17]. В отличие от большинства методов классификации, подход МКОМ не содержит вектора характерных признаков (вместо него ковариационные матрицы), то есть не требует подбора признаков, например, путем перекрестной проверки. Следовательно, риманова геометрия предоставляет новые инструменты для построения простых, более надежных и точных моделей прогнозирования.
Далее рассмотрен эксперимент по применению МКОМ для классификации воображаемых движений ног в офлайн и онлайн режимах.
4. Эксперимент по классификации воображаемых движений ног
Для проведения эксперимента использовалосьт ЭЭГ-устройство '^тагШС" компании «Мицар». Запись производилась на 24 электродах, которые были расположены по системе международной 10-20. Сигналы ЭЭГ длительностью 1200 мс регистрировались в полосе частот 0,53 Гц — 30 Гц. Частота дискретизации составляла 250 Гц. Референт располагался на мочках обоих ушей, заземляющий электрод — в передне-центральном отведении на поверхности головы. Перед началом классификации записей были исключены глазодвигательные артефакты — такие как моргание, медленные и быстрые волны, фрагменты сигналов ЭЭГ с амплитудой более 100 мкВ. Следующие 18 электродов были отобраны для проведения ЭЭГ исследования Fp1, Fp2, F7, F3, Fz, F4, F8, Т3, С3, С4, Т4, Т5, Р3, Р^ Р4, Т6, 01 и 02.
В эксперименте по записи и распознаванию воображаемых движений ног приняли участие 3 здоровых участника возрастом от 25 до 27 лет, правши. Испытуемые принимали участие в исследовании добровольно, согласно правилам и этическим нормам проведения исследований с участием волонтеров (Хельсинкская декларация 1964 с последующими изменениями и дополнениями). Всего было проведено 5 сессий записи моторных воображаемых движений ног.
Перед началом записи ЭЭГ данных испытуемых просили несколько раз поочередно поднимать и опускать ступню, сосредоточившись на ки-нестических ощущениях. Также испытуемых просили сократить число морганий или не моргать во время записи моторных воображаемых движений.
При записи ЭЭГ данных использовались визуальные подсказки, каждый испытуемый расслабленно сидел на стуле перед экраном ноут-
бука, где во время сессии появлялись картинки правой или левой ноги, что служило сигналом к началу реальных или воображаемых движений. Начиналась запись реальных движений поднятия и опускания ступни под ритмичный звуковой сигнал. После того, как испытуемый делал реальные движения, он в этом же ритме делал такое же воображаемое движение. Циклы реальных и воображаемых движений чередовались. На каждое движение был выделен отрезок 100 мс, после записи у нас получалось 84 пробы ЭЭГ данных с реальными движениями для одной ноги и 114 с воображаемыми. Для анализа использовались только пробы с воображением. Одна сессия длилась 12 минут.
Результаты классификации можно увидеть в Таблице 1.
Таблица 1
Результаты офлайн классификации воображаемых движений ног
для трех ^ испытуемых в пяти испытаниях
Испытуемый Сессия 1 Сессия 2 Сессия 3 Сессия 4 Сессия 5 Среднее
№1 68% 70% 82% 73% 75% 74%
№2 65% 63% 65% 71% 72% 67%
№3 67% 72% 74% 69% 85% 73%
Дополнительно классификатор был настроен на режим работы онлайн. Для проверки точности его работы пригласили испытуемого № 3. В сценарии работы протокола не было внесено изменений, испытуемый работал по такой же парадигме, в конце сессии появлялась табличка сообщающая точность классификации. У испытуемого № 3 она составила 65 %, что превышает случайный порог в 50 %, но является недостаточным для использования для нейроуправления, например, экзоскелетом.
Анализ результатов эксперимента позволил выявить причины такого уровня классификации: (1) вовлеченность испытуемого; (2) большое количество артефактов; (3) большое количество каналов для записи ЭЭГ-данных; (4) плохая настройка классификатора.
При низкой вовлеченности результаты классификации могут быть ниже, большое количество глазодвигательных артефактов, которые находятся в пробе в моменте воображения влияют на итоговый результат. Большое количество каналов для записи ЭЭГ-данных приводит к увеличению ковариационной матрицы, точность становится хуже, скорость вычислений увеличивается. По мере роста размерности ковариационной матрицы требуется больше выборок для построения неособых/невырожденных ковариационных матриц. Когда создаются почти сингулярные/вырожденные ковариационные матрицы, они не могут быть эффективно обработаны с помощью римановой геометрии. В этом случае методы, основанные на евклидовой геометрии, превзойдут риманову геометрию.
В развитие этого эксперимента предполагается увеличить точность классификатора за счет более тщательной настройки его параметров. Ес-
ли результаты онлайн классификации останутся на уровне первого эксперимента, предлагается сократить количество электродов с 18 до 9, отобрав электроды, расположенные на сенсомоторной области коры головного мозга: F3, Fz, F4, С3, Cz, C4, P3, Pz, P4. Эти шаги должны помочь лучше настроить классификатор.
Заключение
В данной работе рассматриваются ИМК, в основе которых лежит моторное воображение. Акцент сделан на распознавание воображаемых движений нижних конечностей, поскольку в продолжение данного исследования планируется доработать текущий классификатор, для его возможного применения для управления экзоскелетами.
Для классификации был выбран алгоритм на основе римановой геометрии, который позволяет вычислять ковариационные матрицы для каждой ЭЭГ пробы и вычислять расстояние между ними в римановом пространстве. Поскольку ковариационные матрицы содержат пространственную информацию (24 канала ЭЭГ покрывают весь скальп головы испытуемого), этот подход позволяет объединить пространственную фильтрацию и классификацию в один уникальный шаг.
Офлайн тестирование классификатора на основе риманова расстояния дало среднюю точность 71 %, но ожидались значения в диапазоне 80-90 %. Онлайн тестирование показало точность в 65 %. Эти результаты показывают, что требуется доработка текущей версии классификатора и тестирование его на большем количестве испытуемых с использованием различного монтажа и настройки классификатора.
Благодарности
Работа выполнена в рамках Государственного задания на проведение прикладных научных исследований 075-01018-21-04.
Список литературы
1. Сонькин К.М., Станкевич Л.А., Хоменко Юлия Геннадьевна, Нагорнова Ж.В., Шемякина Н.В. Классификация электроэнцефалографических паттернов воображаемых и реальных движений пальцев одной руки методом опорных векторов // ТМЖ. - 2014. - №2 (56).
2. Athanasiou A. et al. Towards rehabilitation robotics: off-the-shelf BCI control of anthropomorphic robotic arms // BioMed research international. - 2017. - Т. 2017.
3. López-Larraz E. et al. del-Ama, Joan Aranda, Javier Minguez, Angel Gil-Agudo, and Luis Montesano. 2016."Control of an Ambulatory Exoskeleton with a Brain-Machine Interface for Spinal Cord Injury Gait Rehabilitation." // Frontiers in Neuroscience. -Vol. 10.
4. Do A. H. et al. Brain-computer interface controlled functional electrical stimulation device for foot drop due to stroke //2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. - IEEE, 2012. - C. 6414-6417.
5. King C. E. et al. Operation of a brain-computer interface walking simulator for individuals with spinal cord injury //Journal of neuroengineering and rehabilitation. - 2013. -Т. 10. - №. 1. - С. 1-14.
6. Lopes A.C., Pires G., Nunes U. Assisted navigation for a brain-actuated intelligent wheelchair //Robotics and Autonomous Systems. - 2013. - Т. 61. - №. 3. - С. 245-258.
7. Choi J. et al. Developing a motor imagery-based real-time asynchronous hybrid BCI controller for a lower-limb exoskeleton //Sensors. - 2020. - Т. 20. - №. 24. - С. 7309.
8. Lee K. et al. A brain-controlled exoskeleton with cascaded event-related desyn-chronization classifiers //Robotics and Autonomous Systems. - 2017. - Т. 90. - С. 15-23.
9. Echtioui A. et al. A Novel Ensemble Learning Approach for Classification of EEG Motor Imagery Signals //2021 International Wireless Communications and Mobile Computing (IWCMC). - IEEE, 2021. - С. 1648-1653.
10. Ганин И.П., Каплан А.Я. Интерфейс мозг-компьютер на основе волны P300: предъявление комплексных стимулов "подсветка+ движение" //Журнал высшей нервной деятельности им. ИП Павлова. - 2014. - Т. 64. - №. 1. - С. 32-32.
11.Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces //Journal of neural engineering. - 2007. - Т. 4. - №. 2. - С. R1.
12. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update //Journal of neural engineering. - 2018. - Т. 15. - №.
3. - P. 031005.
13. Faller J. et al. Autocalibration and recurrent adaptation: Towards a plug and play online ERD-BCI //IEEE Transactions on Neural Systems and Rehabilitation Engineering. -2012. - Т. 20. - №. 3. - С. 313-319.
14. McCrimmon C. M. et al. A small, portable, battery-powered brain-computer interface system for motor rehabilitation //2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). - IEEE, 2016. - С. 27762779.
15. Wang H. et al. The control of a virtual automatic car based on multiple patterns of motor imagery BCI //Medical & biological engineering & computing. - 2019. - Т. 57. -№. 1. - С. 299- 309.
16. Steyrl D. et al. Random forests in non-invasive sensorimotor rhythm brain-computer interfaces: a practical and convenient non-linear classifier //Biomedical Engineering/Biomedizinische Technik. - 2016. - Т. 61. - №. 1. - С. 77-86.
17. Congedo M., Barachant A., Bhatia R. Riemannian geometry for EEG-based brain-computer interfaces; a primer and a review //Brain-Computer Interfaces. - 2017. - Т.
4. - №. 3. - С. 155-174.
18. Капралов Н. В., Нагорнова Ж. В., Шемякина Н. В. Методы классификации ЭЭГ-паттернов воображаемых движений //Информатика и автоматизация. - 2021. -Т. 20. - №. 1. - С. 94-132.
19. Guan S., Zhao K., Yang S. Motor imagery EEG classification based on decision tree framework and Riemannian geometry //Computational intelligence and neuroscience. -2019. - Т. 2019.
20. Трофимов А.Г., Скругин В.И. Системы нейрокомпьютерного интерфейса. Обзор // Информационные технологии, № 2, 2011. С. 2-11
21. Barachant A., Bonnet S., Congedo M., Jutten C. Multiclass Brain-Computer Interface Classification by Riemannian Geometry. IEEE Trans. Biomed. Eng. 2012. -Vol. 59. no. 4. - Pp. 920-928.
22. Barachant A., Bonnet S., Congedo M., Jutten C. Classification of covariance matrices using a Riemannian-based kernel for BCI applications. Neurocomputing. 2013. -Vol. 112. - Pp. 172-178.
23. Congedo M., Barachant A. A special form of SPD covariance matrix for interpretation and visualization of data manipulated with Riemannian geometry. Proceedings of the Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2014. pp. 495-503.
24. Yger F., Berar M., Lotte F. Riemannian approaches in brain-computer interfaces: a review //IEEE Transactions on Neural Systems and Rehabilitation Engineering. - 2016. -Vol. 25. - №. 10. - Pp. 1753-1762.
УДК 62-529
doi:10.18720/SPBPU/2/id21 -365
Амосов Владимир Владимирович \
доцент, канд. техн. наук, доцент;
Петров Александр Владимирович1, старший преподаватель;
Тышкевич Антон Игоревич3,
доцент, канд. техн. наук, доцент
РЕШЕНИЕ ЗАДАЧИ ПРОГРАММНО-АППАРАТНОЙ РЕАЛИЗАЦИИ АЛГОРИТМОВ УПРАВЛЕНИЯ РОБОТОМ
12 3
' ' Россия, Санкт-Петербург, Санкт-Петербургский политехнический
университет Петра Великого, 1 [email protected]
Аннотация. В данной статье предлагается решение проблемы программной и аппаратной реализации алгоритмов управления роботом. В качестве примера рассматриваются различные методы аппаратной и программной реализации одних и тех же алгоритмов, алгоритмами которых являются контроллер лифта и сортировка пузырьков. Предложены языки их описания: программная реализация выполнена на языке высокого уровня SystemC и на сборке 32-разрядного цифрового процессора (DP32), аппаратная реализация выполнена на языках описания цифрового оборудования VHDL и Verilog HDL. Каждая реализация подразумевает написание тестового сценария (TestBench). Тестирование для SystemC, а также версий алгоритмов VHDL и Verilog HDL проводилось с использованием моделирования, в то время как для алгоритма в процессорной сборке DP32 использовалось совместное моделирование. В программной реализации алгоритмов тестирования использовалась среда Aldec Active CAD с VHDL-моделями процессора, памяти и генератора тактовых импульсов, а также среда Microsoft Visual Studio со средством просмотра временных диаграмм GTKWave. В аппаратной реализации для тестирования и оценки синтезируемости использовалась CAD-система Quartus II, а также переводчик "sc2v" с языка System C на язык Verilog HDL. Фрагменты результатов моделирования, совместного моделирования и тестирования на синтезируемость представлены в виде отчета о размещении алгоритма в
