CC BY
178Современные инновации, системы и технологии // Modern Innovations, Systems and Technologies
2022; 2(3) eISSN: 2782-2818 https://www.oajmist.com
УДК: 57.08:004.5 EDN: VVYXIA
DOI: https://doi.org/10.47813/2782-2818-2022-2-3-0117-0126
Нейроинтерфейсы: обзор технологий и современные
решения
Д. В. Лунев, С. К. Полетыкин, Д. О. Кудрявцев
Федеральное государственное бюджетное образовательное учреждение высшего образования «Сибирский государственный университет науки и технологий имени академикаМ.Ф. Решетнева», Красноярск, Россия
Аннотация. Цель данного исследования - дать обзор современного состояния технологий нейроинтерфейсов и сопоставить между собой различные современные их реализации, выделив их преимущества и особенности. В статье рассмотрена сущность понятия «нейроинтерфейс», его назначение, анализируются устройства для данной технологии и принципы, лежащие в основе их функционирования, а также классификация по различным признакам. Приведены примеры областей деятельности, в которых данная технология применяется в данный момент, либо потенциально может быть применена в будущем. Кроме того, представлены и проанализированы наиболее часто используемые современные решения с целью выявления наиболее перспективного с точки зрения функционала и удобства повседневного использования варианта. Установлено, что наиболее широким функционалом при комфортном повседневном ношении обладает Emotiv Epoc. Также был сделан вывод о том, что области применения, в которых решения на основе нейроинтерфейсов на данный момент показывают наилучшие результаты -это медицинская диагностика и дистанционное управление электронными устройствами, о чем свидетельствует большое количество проектов, задействующих нейроинтерфейсы в данной области и большое количество статей, им посвященных.
Ключевые слова: нейроинтерфейс, интерфейс мозг-компьютер, нейротехнологии, нейронауки.
Научный руководитель: Попов Анатолий Анатольевич, кандидат технических наук, доцент кафедры ИУС Сибирского государственного университета науки и технологий имени академика М.Ф. Решетнева.
Для цитирования: Лунев, Д. В., Полетыкин, С. К. & Кудрявцев, Д. О. (2022). Нейроинтерфейсы: обзор технологий и современные решения. Современные инновации, системы и технологии -Modern Innovations, Systems and Technologies, 2(3), 0117-0126. https://doi.org/10.47813/2782-2818-2022-2-3-0117-0126
© Д. В. Лунев, С. К. Полетыкин, Д. О. Кудрявцев, 2022
0117
Brain-computer interfaces: technology overview and modern
solutions
D.V. Lunev, S.K. Poletykin, D.O. Kudryavtsev
Federal State Budgetary Educational Institution of Higher Education "Siberian State University of Science and Technology named after Academician M.F. Reshetnev",
Krasnoyarsk, Russia
Abstract. The purpose of this study is to provide an overview of the current state of neural interface technology and to compare their various modern implementations with each other, highlighting their advantages and features. The article considers the essence of the concept of "neural interface", its purpose, disassembled the structure of this technology and the principles underlying it, as well as classification according to various criteria. Examples of areas of activity in which this technology is currently used or can potentially be applied in the future are given. In addition, the most commonly used modern solutions are collected and analyzed in order to identify the most promising option in terms of functionality and convenience of everyday use. It has been established that the Emotiv Epoc neural interface has the widest functionality with comfortable everyday wear. It was also concluded that the areas of application in which solutions based on neural interfaces currently show the best results are medical diagnostics and remote control of electronic devices, as evidenced by the large number of projects involving neural interfaces in this area and a large number of articles, dedicated to them.
Keywords: neurointerface, brain-computer interface, neurotechnologies, neuroscience.
Scientific supervisor: Anatoly A. Popov, Candidate of Technical Sciences, Associate Professor of the ICS Department of the Siberian State University of Science and Technology named after Academician M.F. Reshetnev.
For citation: Lunev, D.V., Poletykin, S.K. & Kudryavtsev, D.O. (2022). Brain-computer interfaces: technology overview and modern solutions. Modern Innovations, Systems and Technologies, 2(3), 0117-0126. https://doi.org/10.47813/2782-2818-2022-2-3-0117-0126
ВВЕДЕНИЕ
Нейроинтерфейс, также называемый «нейрокомпьютерным интерфейсом» (сокращенно НКИ) либо «интерфейсом 'мозг-компьютер'» представляет из себя технологию, обеспечивающую прямое взаимодействие между мозгом человека и электронным устройством, чаще ЭВМ либо роботом [1]. В основе данной технологии чаще лежит метод электроэнцефалографии, заключающийся в считывании биоэлектрической активности головного мозга с поверхности кожи головы при помощи электродов. Этот метод позволяет регистрировать малейшие изменения активности мозга с точностью, недоступной иным методам исследования, и потому активно применяется в медицине. Однако, помимо этого, данный метод также позволяет с
определенной точностью отслеживать мыслительную деятельность человека. Принцип действия состоит в считывании активности головного мозга, преобразование паттернов этой активности в соответствующие им команды, позволяющие управлять устройствами, к которым подключен нейроинтерфейс. Таким образом, к примеру, управляются нейропротезы - намерение согнуть руку, поступающее от мозга, улавливается нейроинтерфейсом, преобразуется в соответствующую команду, после чего передается в микроконтроллер протеза, который, преобразуя эту команду в последовательность конкретных действий, сгибает искусственную руку [2].
В данный момент нейроинтерфейсы широко используются в дистанционном управлении роботами и иной сложной техникой. Подробнее их использование в данной области раскрыто в работах [3, 4]. Помимо этого, существуют решения на их основе в области медицины [5-8], например, для лечения синдрома дефицита внимания с гиперактивностью (СДВГ) [9]. Кроме того, в последнее время расширяется сфера использования НКИ в индустрии развлечений, чаще - совместно с технологиями виртуальной реальности.
В разработке находятся методы обратной связи - технологии, позволяющие преобразовывать внешние команды в электрический сигнал, передающийся по нервной системе - так, уже представлен имплант, позволяющий передавать электрические сигналы к мышцам ног, позволяя людям с поврежденным спинным мозгом вновь ходить, управляя своими действиями с помощью планшета.
Вполне вероятно, что в дальнейшем, с развитием этих технологий, нейроинтерфейсы прочно войдут в нашу жизнь, возможно даже, заняв в нашей жизни ту нишу, которую сейчас занимают смартфоны [10].
Общая схема работы интерфейса такова - электроды считывают сигналы мозга, которые в дальнейшем обрабатываются микроконтроллером НКИ - производится очистка от шумов и артефактов, которые могут быть вызваны как внешними факторами, так и самим устройством, после чего производится обработка полученного сигнала в целях установления, какой команде он соответствует - для этой задачи зачастую используют искусственные нейронные сети, которые обладают хорошими способностями к обработке данных и адаптации.
Обработка обычно проводится уже на внешнем устройстве согласно заранее написанной программе, хотя некоторые - узкоспециализированные, берут эту функцию на себя. После чего выявленная команда подается на управляемое устройство, где и
обрабатывается в соответствии с его спецификой. Принципы работы НКИ описаны с опорой на работу [10].
Рисунок 1. Принцип работы НКИ. Figure 1. Principles of BCI working.
В связи с частым использованием в обработке сигнала нейросетей и иных обучаемых алгоритмов, а также с тем фактом, что у разных людей активность мозга в той или иной степени различается, использование подобных устройств зачастую требует длительных тренировок, продолжительность которых зависит от количества воспринимаемых НКИ команд. В процессе этих тренировок программа нейроинтерфейса учится наиболее правильно интерпретировать команды конкретного пользователя.
ХОД ИССЛЕДОВАНИЯ
Среди современных нейроинтерфейсов, несмотря на относительно недавнее начало активной работы в этой области, уже имеется немалый перечень технических решений, активно задействующих эту технологию.
Из наиболее многообещающих стоит выделить продукт компании Neuralink. НКИ инвазивного типа, находящийся на данный момент в стадии тестирования и недоступный широкой общественности. По заявлениям разработчиков, в первую очередь данный продукт будет использоваться в медицине, однако также позволит
усилием мысли управлять техническими устройствами, в первую очередь, смартфонами и компьютерами.
Одним из наиболее многообещающих и доступных на данный момент вариантов являются гарнитуры Emotiv, в частности, серия Epoc, среди основных достоинств которой - большое количество электродов, позволяющих регистрировать большее количество данных, открытый SDK, позволяющий создавать собственные приложения, и возможность беспроводного подключения через Bluetooth. Более подробно он представлен в работе [2].
Рисунок 2. Схема расположения электродов Emotiv Epoc. Figure 2. Electrodes location in Emotiv Epoc.
Рисунок 3. Устройство одной из плат OpenBCI для разработки НКИ.
Figure 3. The device of one of the OpenBCI boards for the development of BCI.
Также стоит выделить OpenBCI - фонд, занимающийся разработкой открытого программного и аппаратного обеспечения, относящегося к нейроинтерфейсам. Их продукция, скорее, детали для самостоятельной сборки и программирования НКИ, поэтому конкретные характеристики выделить трудно. Все зависит от разработчика, проектирующего конкретную гарнитуру.
Помимо представленных и подобных им решений существуют также более узкоспециализированные упрощенные продукты на основе НКИ, в основном - в индустрии развлечений. Хорошим примером может являться Mindball - настольная игра, в которой два участника при помощи нейроинтерфейса, управляющего магнитами под игровым столом пытаются загнать небольшой мяч в ворота противника.
Рисунок 4. Mindball. Figure 4. Mindball.
РЕЗУЛЬТАТЫ
В ходе проведенной исследовательской работы была проанализирована основная информация и характеристики наиболее универсальных НКИ, созданных за последнее
время. Выделены были такие параметры, как количество датчиков, наличие открытых инструментов разработчика и др. Данные представлены в таблице 1. Часть данных представлена также в работе [4].
Таблица 1. Сравнение нейроинтерфейсов. Table 1. Comparison of neural interfaces.
Произво- Цена Дат-
Название дитель (руб.) чики Отслеживание ПО Особенности Bluetooth
Два вида
Neural Impulse Actuator OCZ Technology 6000 3 мозговых волн (альфа и бета), сокращения лицевых мышц и движения глаз. Да Предназначен в первую очередь для компьютерных игр. Довольно дешев. Не производится в настоящее время. Компактный вариант, Нет
Emotiv Emotiv Пять видов удобное ПО для разработки
Insight Systems 18500 5 ЭЭГ волн. Да приложений. Компактный вариант, есть специальный Да
Emotiv Emotiv Пять видов ЭЭГ волн, 6 графический пакет для анализа и
EPOC Systems OpenBCI 55000 14 метрик. Различное количество ЭЭГ волн, также ЭКГ и Да обработки данных. Открытый исходный Да
OpenBCI Project 96500 8 ЭМГ8. Да код. Да
ВЫВОДЫ
В результате проведенной работы был сделан вывод, что технология нейрокомпьютерного интерфейса имеет значительный потенциал для дальнейшего
развития и применения во многих сферах жизни, а именно: в медицине, дистанционном управлении техникой и иных областях. В частности, в медицинской отрасли данная технология может использоваться для постоянного мониторинга мозговой активности в диагностических целях. Дистанционное же управление техникой при помощи НКИ поможет снизить риск травм при работе в опасных средах. Помимо этого, данная технология может упростить взаимодействие с электронными устройствами, так как при работе с помощью беспроводного НКИ отсутствует необходимость в физическом контакте с прибором. Наиболее перспективной реализацией на данный момент является Emotiv Epoc, обладающая большим количеством каналов, универсальностью и открытостью для разработчиков. Не исключено также, что в дальнейшем появятся не менее, а, возможно, и более функциональные решения.
В дальнейшем планируется сосредоточить усилия на изучении самого процесса обработки сигналов мозга. В частности, предполагается обратить внимание на применение для решения данной задачи искусственных нейронных сетей и иных алгоритмов машинного обучения.
СПИСОК ЛИТЕРАТУРЫ
[1] Речкунов С.Н., Принц А.В., Селезнев В.А., Голод С.В., Соотс Р.А., Иванов А.И., Ратушняк А.С., Принц В.Я. Нейроинтерфейсы: обзор, разработка, Вавиловский журнал генетики и селекции, 2014, 18(4/3), 1077-1089.
[2] Немчанинов А.В., Шеренков М.А., Алексеев Е.Д., Решетников А.Г. Разработка когнитивного нейроинтерфейса для управления роботизированной рукой - протезом, Системный анализ в науке и образовании, 2016, 4, 46-56.
[3] Лобода Ю.О., Функ А.В., Гасымов З.А., Рачкован О.А. Управление мехатронными системами нейроинтерфейсом, Электронные средства и системы управления. Материалы докладов международной научно-практической конференции, 2017, 1-2, 143-146.
[4] Лобода Ю.О., Функ А.В.,. Гасымов З.А. Использование нейроинтерфейса brainlink lite для создания системы управления мехатронными устройствами, Гуманитарная информатика, 2017, 12, 23-31.
[5] Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A. An EEG-based brain-computer interface for cursor control, Electroencephalography & Clinical Neurophysiology, 1991, 78(3), 252-259.
[6] Тычков А.Ю., Чураков П.П., Кривоногов Л.Ю. Автоматизированная система обработки и анализа электрокардиосигналов в условиях интенсивных помех различного вида, Известия высших учебных заведений. Поволжский регион. Технические науки, 2011, 1, 117-125.
[7] Митрохин А.С. Применение беспроводных сенсорных сетей в медицинских распределенных информационных системах, Труды международного симпозиума Надежность и качество, 2012, 2, 292-293.
[8] Тычков А.Ю., Горячев Н.В., Кочегаров И.И. Протоколы связи для беспроводного нейроинтерфейса, Труды международного симпозиума Надежность и качество, 2018, 2, 366-368.
[9] Резниченко Н.С., Шилов С.Н. Использование нейросетевой системы для диагностики синдрома дефицита внимания с гиперактивностью, Журнал медико-биологических исследований, 2014, 1, 48-54.
[10] Развин И.В., Шиленко А.С., Тимофеев А.В., Хенерина Е.О. Разработка нейроинтерфейса для повседневного использования, Молодежная научно-практическая конференция «Исследования молодых ученых - вклад в инновационное развитие России», Астрахань, 2015, 212-213.
REFERENCES
[1] Rechkunov S.N., Princ A.V., Seleznev V.A., Golod S.V., Soots R.A., Ivanov A.I., Ratushnyak A.S., Princ V.Ya. Nejrointerfejsy: obzor, razrabotka, Vavilovskij zhurnalgenetiki i selekcii, 2014, 18(4/3), 1077-1089.
[2] Nemchaninov A.V., Sherenkov M.A., Alekseev E.D., Reshetnikov A.G. Razrabotka kognitivnogo nejrointerfejsa dlya upravleniya robotizirovannoj rukoj - protezom, Sistemnyj analiz v nauke i obrazovanii, 2016, 4, 46-56.
[3] Loboda Yu.O., Funk A.V., Gasymov Z.A., Rachkovan O.A. Upravlenie mekhatronnymi sistemami nejrointerfejsom, Elektronnye sredstva i sistemy upravleniya. Materialy dokladov mezhdunarodnoj nauchno-prakticheskoj konferencii, 2017, 1-2, 143-146.
[4] Loboda Yu.O., Funk A.V.,. Gasymov Z.A. Ispol'zovanie nejrointerfejsa brainlink lite dlya sozdaniya sistemy upravleniya mekhatronnymi ustrojstvami, Gumanitarnaya informatika, 2017, 12, 23-31.
[5] Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A. An EEG-based brain-computer interface for cursor control, Electroencephalography & Clinical Neurophysiology, 1991, 78(3),
252-259.
[6] Tychkov A.Yu., CHurakov P.P., Krivonogov L.Yu. Avtomatizirovannaya sistema obrabotki i analiza elektrokardiosignalov v usloviyah intensivnyh pomekh razlichnogo vida, Izvestiya vysshih uchebnyh zavedenij. Povolzhskij region. Tekhnicheskie nauki, 2011, 1, 117125.
[7] Mitrohin A.S. Primenenie besprovodnyh sensornyh setej v medicinskih raspredelennyh informacionnyh sistemah, Trudy mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo, 2012, 2, 292-293.
[8] Tychkov A.YU., Goryachev N.V., Kochegarov I.I. Protokoly svyazi dlya besprovodnogo nejrointerfejsa, Trudy mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo, 2018, 2, 366368.
[9] Reznichenko N.S., Shilov S.N. Ispol'zovanie nejrosetevoj sistemy dlya diagnostiki sindroma deficita vnimaniya s giperaktivnost'yu, Zhurnal mediko-biologicheskih issledovanij, 2014, 1, 48-54.
[10] Razvin I.V., Shilenko A.S., Timofeev A.V., Henerina E.O. Razrabotka nejrointerfejsa dlya povsednevnogo ispol'zovaniya, Molodezhnaya nauchno-prakticheskaya konferenciya «Issledovaniya molodyh uchenyh - vklad v innovacionnoe razvitie Rossii», Astrahan', 2015, 212-213.
ИНФОРМАЦИЯ ОБ АВТОРАХ / INFORMATION ABOUT THE AUTHORS
Лунев Дмитрий Владимирович,
студент СибГУ им. М.Ф. Решетнева, Красноярск, Российская Федерация e-mail: [email protected]
Полетыкин Семен Константинович,
студент СибГУ им. М.Ф. Решетнева, Красноярск, Российская Федерация e-mail: [email protected]
Кудрявцев Давид Олегович,
студент СибГУ им. М.Ф. Решетнева, Красноярск, Российская Федерация e-mail: [email protected]
Dmitriy Vladimirovich Lunev,
Student, Reshetnev Siberian State University of Science and Technology, Krasnoyarsk, Russian Federation
Semyon Konstantinovich Poletykin,
Student, Reshetnev Siberian State University of Science and Technology, Krasnoyarsk, Russian Federation
David Olegovich Kudryavtsev,
Student, Reshetnev Siberian State University of Science and Technology, Krasnoyarsk, Russian Federation
Статья поступила в редакцию 24.06.2022; одобрена после рецензирования 12.07.2022; принята
к публикации 09.08.2022.
The article was submitted 24.06.2022; approved after reviewing 12.07.2022; accepted for publication
09.08.2022.
