CC BY
23
Чернышев Вадим Викторович - Федеральное государственное бюджетное образовательное учреждение высшего образования «Волгоградский государственный технический университет» (ФГБОУ ВО «ВолгГТУ»); e-mail: vad.chernyshev@mail.ru; 400005, г. Волгоград, пр-т им. Ленина, 28; тел.: +78442248099; д.т.н.; доцент; профессор.
Вершинина Ирина Петровна - e-mail: i_vershinina@vstu.ru; к.т.н.; доцент.
Арыканцев Владимир Владимирович - e-mail: arvstu@mail.ru; м.н.с.
Chernyshev Vadim Viktorovich - Volgograd State Technical University (VSTU); e-mail: vad.chernyshev@mail.ru; 28, Lenin avenue, Volgograd, 400005, Russia; phone: +78442248099; dr. of eng. sc.; associate professor; professor.
Vershinina Irina Petrovna - e-mail: i_vershinina@vstu.ru; cand. of eng. sc.; associate professor. Arykantsev Vladimir Vladimirovich - e-mail: arvstu@mail.ru; junior researcher.
УДК 004.021: 004.512.4 DOI 10.18522/2311-3103-2020-1-66-78
Я.А. Туровский, С.С. Харченко, Р.В. Мещеряков, А.Ю. Исхаков,
А.О. Исхакова
АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ИНТЕРФЕЙСА УПРАВЛЕНИЯ РОБОТ-ЧЕЛОВЕК ПРИ ВЫДЕЛЕНИИ ЗРИТЕЛЬНЫХ ВЫЗВАННЫХ ПОТЕНЦИАЛОВ НА ОСНОВЕ МНОГОМЕРНОГО ИНДЕКСА СИНХРОНИЗАЦИИ*
Целью исследования является построения систем человеко-машинного управления. Основные способы построения таких систем, способы выделения вызванных потенциалов в электроэнцефалограммах. В статье приведены исследования сигналов электроэнцефалограмм с устоявшимися зрительными вызванными потенциалами для разных частот фотостимуляции, на основе метода многомерного индекса синхронизации. Рассматривается влияние длины обрабатываемого окна на точность распознавания частоты исследуемого сигнала. Так же в ходе исследований авторы проверяют необходимость предобработки исходных сигналов посредством полосовой фильтрации сигнала. Кроме того, рассматривается возможность использования многомерного индекса синхронизации в многоканальном режиме. Результатом исследования авторов является рекомендации по используемым параметрам для выделения устоявшихся зр и-тельных вызванных потенциалах в методе многомерного индекса синхронизации. Показана возможность использования алгоритмов на основе многомерного индекса синхр о-низации в режиме реального времени. Полученные результаты имеют практическую значимость, так как могут применяться для построения нейрокомпьютерных интерфейсов на основе зрительных вызванных потенциалов и могут быть в дальнейшем использованы в формировании теории управления робототехнических систем различного назначения и в реализации решений по организации взаимодействия человека и машины в узких практических задачах.
Зрительные вызванные потенциалы; ЭЭГ; интерфейс мозг-компьютер; многомерный индекс синхронизации; человеко-машинное взаимодействие.
* Работа выполнена при поддержке РФФИ, проекты № 19-08-00331, № 19-29-01156. 66
Y.A. Turovskij, S.S. Kharchenko, R.V. Meshcheryakov, A.Y. Iskhakov,
A.O. Iskhakova
ALGORITHMIC SUPPORT OF THE INTERFACE OF MANAGEMENT
OF ROBOT-HUMAN WITH THE STEADY STATE VISUAL EVOKED POTENTIALS BASED ON THE MULTIVARIATE SYNCHRONIZATION
INDEX
The aim of the study is to build human-machine control systems. The main methods for constructing such systems, methods for isolating evoked potentials in electroencephalograms. The article presents studies of electroencephalogram signals with steady state visual evoked potentials for different frequencies ofphotostimulation, based on the method of multivariate synchronization index. The influence of the length of the processed window on the accuracy of recognition of the frequency of the studied signal is considered. In the course of research, the authors verify the need for pre-processing of the original signals by means of bandpass signal filtering. In addition, the possibility of using a multi-dimensional synchronization index in multi-channel mode is being considered. The result of the authors study is recommendations on the parameters used to highlight the established visual evoked potentials in the method of multivariate synchronization index. The possibility of using algorithms based on a multivariate synchronization index in real time is shown. The results obtained are of practical importance, since they can be used to build neurocomputer interfaces based on visual evoked potentials and can be further used in the formation of control theory of robotic systems for various purposes and in the implementation of solutions for the organization of human-machine interaction in narrow practical problems.
Visual evoked potentials; EEG; brain-computer interface; multidimensional synchronization index; human-machine interaction.
Введение. Начиная с 70-х годов ХХ века направление человеко-машинного взаимодействия стало активно развиваться после того, как в 1977 году Жак Видаль провел эксперимент, в рамках которого на основе зрительных вызванных потенциалах было осуществлено управление курсором на экране монитора [6]. Совместное использование нейропротезирования и интерфейса человек-компьютер уже сегодня помогают восполнять утрату зрения, слуха, нарушений опорно-двигательного аппарата. Интерфейс «мозг-компьютер» - это мостик, который способен соединять нейронные структуры моторной коры с роботизированными руками или экзоскелетами. Для управления роботизированными устройствами используются двунаправленные системы «мозг-компьютер» с биологической обратной связью [11, 14]. Использование электроэнцефалографии (ЭЭГ) получило широкое распространение за счет неинвазивности, однако до сих пор существует и ряд проблем, такие как низкое пространственное разрешение, отсутствие возможности использовать высокочастотные сигналы [8, 12]. Кроме того, в ЭЭГ кроме полезного сигнала присутствуют шумы - спонтанной активности мозга, которые затрудняют распознавание сигналов [9]. Одним из способов реализации таких систем на основе ЭЭГ является использование устоявшихся зрительных вызванных потенциалов (УЗВП) [5, 18-20]. Регистрация зрительных вызванных потенциалов мозга является объективным и неинвазивным методом тестирования функций ЦНС. Вызванные потенциалы - это электрические отклики мозга на зрительные, слуховые, сенсорные и другие стимулы. Важным является тот факт, что сигналы вызванных потенциалов на какой-либо раздражитель схожи с сигналами, генерируемыми в случае, когда человек представляет раздражитель.
С каждым годом количество публикаций по данной тематике и изделий, реализующих человеко-машинное взаимодействие, представляемых на выставках и научно-технических конференциях, неуклонно растет растет [7, 10, 15, 17]. Использование таких систем имеет самое широкое применение от развлекательных систем дополненной реальности до медицинских изделий, изделий военной промышленности, роботизированных устройств.
Классические способы обработки сигналов ЭЭГ. Существует различные способы для обработки сигналов ЭЭГ, наиболее популярные из них на сегодняшний день: частотный анализ на основе преобразования Фурье и вейвлетов, канонический корреляционный анализ, методы синхронного когерентного накопления и/или усреднения, индекс многомерной синхронности.
Методы когерентного накопления и усреднения направленны на увеличение соотношения сигнал/шум, однако при низком исходном соотношении сигнал/шум требуется огромное количество суммаций. Как правило методы когерентного накопления и усреднения реализованы на аппаратном уровне в устройствах съема ЭЭГ. Для определения состояний синхронизации и десинхронизации сенсомоторных ритмов ЭЭГ переходят от представления сигналов как функции времени, к представлению сигнала в частотной области. Переход к частотной области осуществляется путем разложения сигнала на гармонические составляющие при помощи дискретного преобразования Фурье либо вейвлет-преобразования [13], которое в отличие от дискретного преобразования Фурье, рассматривающего сигнал, как стационарный, позволяет отследить динамику изменения гармонических составляющих сигнала.
Канонический корреляционный анализ [16] представляет собой многопараметрический статистический метод для поиска линейных комбинаций, которые максимизируют корреляцию между двумя наборами данных (формула 1). В качестве первого набора данных используется сигнал ЭЭГ, в качестве второго набор сигналов, удовлетворяющих формуле 2.
WTxXYTW
max p( x, y) = . x y W-Wy XXTWxWyYYTWy
Y (t) =
sin(2^ ft) cos(2^ ft)
sin(2xNft) cos(2%Nft)
t=
1 2
K
(1)
(2)
F F F.
где N - порядковый номер гармоники, К - количество отсчетов, Е - частота дискретизации, У(Г) - опорный сигнал, Х(Г) - исходный сигнал ЭЭГ.
Многомерный индекс синхронизации для выделения устоявшихся зрительных вызванных потенциалов. В основе многомерного индекса синхронизации [1] используется принцип синхронизации многоканальной ЭЭГ и опорных сигналов, которые должны соответствовать частоте зрительного стимула (частоте фотостимуляции) и выбираются на основе формулы 2. Первоначально корреляционная матрица между двумя сигналами рассчитывается с использованием формул 3-8.
1 т
^ = М ххт. (3)
1
D22 = (—)YYT.
M
1
D21 = D12 = (—) XY M
(4)
(5)
Чтобы как можно сильнее снизить влияние автокорреляции на меру синхронизации, рассчитывается линейное преобразование (6):
Т =
1
Д„ 0
/д.
(6)
После этого строится корреляционная матрица, которая вычисляется в соответствии с (10):
5 =
1
Д-
1
Д
Д11 I,
(7)
Мера многомерного индекса синхронизации определяется в соответствии с формулой 11:
Я = 1 +
141о§(4)
(8)
1св(Р)
где 4 - нормированные собственные значения 5", Р = N + Ш и Ш обозначают
число строк в опорном сигнале В(0. Частота фотостимуляции, определяется как частота, соответствующая максимальному значению R.
Это метод позволяет выделять устоявшиеся зрительные вызванные потенциалы на основе нескольких каналов, что в теории должно способствовать точности распознавания и созданию более совершенных, систем «мозг-компьютер» для управления робототехническими устройствами (рис. 1).
Рис. 1. Схема использования многомерного индекса синхронизации для выделения устоявшихся зрительных вызванных потенциалов в человеко-машинном
взаимодействии
Одноканальный режим использования многомерного индекса синхронизации. На основе метода многомерного индекса синхронизации [1] был разработан алгоритм и реализован в пакете прикладных программ МАТЬАБ (рис. 2).
Рис. 2. Блок-схема алгоритма определения частоты УЗВП на основе многомерного индекса синхронизации
Программная реализация скрипта MATLAB для определения индекса многомерной синхронизации представлена ниже, здесь x - сигнал ЭЭГ, в общем случае матрица размером N на M, где N - число каналов, M - число отсчетов; y - матрица размером 4N на М, представляющая набор опорных сигналов, по 4 на каждый из каналов изначального сигнала. function S = MSI(x, y) [N, M]=size(x); [NH, ~] = size(y); P = N + NH; c12=(1/M)*x*y'; c21=c12'; c11=(1/M)*(x*x'); c22=(1/M)*(y*y'); C=[c11 c12;c21 c22]; C11=c11A-0.5; C22=c22A-0.5; [a, b]=size(C22); U=zeros(b+N,b+N); U(1:N,1:N)=C11; U(N+1:b+N,N+1:b+N)=C22; R=U*C*U'; e=eig(R); E=e/sum(e);
S=1+(sum(E.*log(E)))/log(P);
Программная реализация скрипта Matlab для генерации опорных сигналов представленная ниже. Входные данные: f - исходная частота, для которой необходимо сгенерировать опорные сигналы; sampling_freq - частота дискретизации, она должна соответствовать частоте дискретизации исходного сигнала ЭЭГ; signal size - количество отсчетов.
function tr = refer_signals(f, sampling_freq, signal_size)
ref=[];
fr = [];
y=[1 2 3 4]; Y=y*f; for value = Y fr = [fr value]; end
n=length(fr);
tr=zeros(2*n,signal_size); for i=1:n for t=1 :signal_size; ref( 1 ,t)=sin(2 *pi*fr(i) *t/sampling_freq); ref(2,t)=cos(2*pi*fr(i)*t/sampling_freq); end
for t=1 :signal_size; tr((2*i)-1 ,t)=ref( 1 ,t); tr(2*i,t)=ref(2,t); end end
Используя разработанное программного обеспечения были изучены 60 сигналов ЭЭГ с устоявшимися зрительными вызванными потенциалами 30 взрослых людей мужчин и женщин без противопоказаний к снятию ЭЭГ и фото стимуляции. Частота фотостимуляции составляла 8 и 14 Гц. Частота дискретизации снятия сигнала составляла 5 кГц. Каждый из сигналов разбивался на окна размером 500, 750 и 1000 отсчетов, что соответствует эпохе анализа в 100, 150 и 200 миллисекунд соответственно. Перед применением непосредственно поиска частоты УЗВП сигналы подвергались фильтрации с использованием полосового фильтра Баттерворта [2]. После этого определение частоты УЗВП происходило на том же наборе сигналов, но уже без использования предварительной фильтрации сигнала. Границы фильтра были установлены в 4 и 30 Гц. Точность распознавания определялась как количество эпох, в которых была распознана искомая частота при конкурирующих частотах 6-24 Гц с шагом в 2 герца. Результаты по каждому из набора сигналов с частотой фотостимуляции 14 Гц для всех описанных ситуаций представлены в табл. 1. Каждый набор сигналов соответствует отдельному человеку, данные о лице кому принадлежит исходная ЭЭГ были обезличены.
Таблица 1
Результаты исследования для набора сигналов частотой 14 Гц
14 Гц
Идентификатор Без фильтрации Полосовая фильтрация (4-30 Гц)
500 750 1000 500 750 1000
B Ery 0,73 0,97 0,95 0,00 0,93 0,95
B Bel 0,98 0,97 0,95 0,00 0,70 0,95
B Bun 0,53 0,83 0,95 0,00 0,73 0,95
B Vas 0,00 0,73 0,95 0,00 0,93 0,95
B Kra 0,98 0,97 0,95 0,00 0,93 0,95
B Ryb 0,98 0,97 0,95 0,00 0,93 0,95
B Sid 0,98 0,97 0,95 0,00 0,93 0,95
B Tag 0,98 0,97 0,95 0,00 0,93 0,95
B Ush 0,00 0,60 0,95 0,00 0,93 0,95
B Fis 0,98 0,97 0,95 0,00 0,90 0,95
B gaj 0,98 0,97 0,95 0,00 0,93 0,95
B gus 0,98 0,97 1,00 0,00 0,50 0,85
B dem 0,95 0,97 0,95 0,00 0,93 0,95
B der 0,72 0,90 0,95 0,00 0,93 0,95
B zap 0,95 0,97 1,00 0,00 0,60 0,90
B zue 0,98 0,97 1,00 0,00 0,47 0,85
B kar 0,97 0,97 1,00 0,00 0,50 0,85
B kolm 0,98 0,97 0,95 0,00 0,93 0,95
B kolo 0,77 0,93 0,95 0,00 0,93 0,95
B kry 0,98 0,97 0,95 0,00 0,93 0,95
B mak 0,95 0,90 0,93 0,05 0,90 0,86
B mel 0,53 0,93 0,95 0,00 0,90 0,95
B nik 0,95 0,97 1,00 0,00 0,53 0,85
B_pet 0,83 0,97 1,00 0,00 0,43 0,80
B_pol 0,98 0,97 1,00 0,00 0,50 0,85
B_pri 0,05 0,83 0,95 0,00 0,43 0,85
B smi 0,83 0,97 0,95 0,00 0,93 0,95
B tol 0,98 0,97 1,00 0,00 0,43 0,75
B sht 0,98 0,97 0,95 0,00 0,93 0,95
B_yas 0,98 0,97 0,95 0,00 0,93 0,95
Среднее значение 0,82 0,93 0,96 0,00 0,78 0,91
Как видно из таблицы с увеличением размера окна количество состояний распознанных верно увеличивается, кроме того, при использовании предварительной фильтрации на малых размерах окна (500 отсчетов) количество правильно распознанных состояний было равно 2, что составляет 0,05 для одного сигнала, а для всей выборки на уровне статистической погрешности. Для того чтобы установить направленность изменений доли, верно, распознанных состояний и их выраженность при использовании предварительной фильтрации сигнала был проведен расчет ^критерия Вилкоксона [3, 4]. Проверка гипотезы установила, что показатели использования многомерного индекса синхронизации без фильтрации превышают значения использования многомерного индекса синхронизации с предварительной фильтрацией исследуемого сигнала. Влияние размера окна и наличие предварительной фильтрации при анализе сигналов на данном наборе данных подтвердилось. Для второго набора сигналов, ЭЭГ снятых у той же группы людей, на
том же самом оборудовании, но с частотой фотостимуляции 8 Гц, на аналогичных размерах окон с фильтрацией и без наблюдается аналогичная ситуация, с увеличением размера окна доля правильно распознанных состояний увеличивается и при этом, для одних и тех же эпох анализа более высокие результаты показывает алгоритм без предварительной фильтрации сигналов. Дальнейшее увеличение эпохи анализа показывает что доля, верно, распознанных состояний увеличивается и при размере окна в 1500 отсчетов (300 мс) уже составляет 1, такие результаты сохраняются вплоть до размера окна 5000 отсчетов (1 секунда).
Все представленные выше результаты были получены в одноканальном режиме вычисления многомерного индекса синхронизации, когда опорный сигнал сравнивается с одним каналом ЭЭГ, разработанный алгоритм на основе многомерного индекса синхронизации позволяет сравнивать опорные сигналы сразу с несколькими каналами ЭЭГ. Поскольку исследования показали, что, применение полосовой фильтрации не дает положительных результатов, дальнейшие исследования по влиянию количества используемых каналов проводились без предварительной фильтрации сигналов. Для исследования многоканального режима использования для набора сигналов 14 Гц и 8 Гц, без предварительной фильтрации в двухканальном и четырехканальном режимах выявлялась доля, верно, распознанных состояний для окон размером 500, 750 и 1000 отсчетов без перекрытия. Результаты определения состояний для сигналов с частотой фотостимуляции 14 Гц представлены в табл. 2.
Таблица 2
Результаты исследования для набора сигналов частотой 14 Гц
в многоканальном режиме
14 Гц
Идентификатор Двухканальный режим Четырехканальный режим
500 750 1000 500 750 1000
B Ery 0,03 1,00 1,00 0,00 0,05 1,00
B Bel 0,73 1,00 1,00 0,00 0,00 1,00
B Bun 0,17 0,90 1,00 0,00 0,15 1,00
B Vas 0,00 0,65 1,00 0,03 0,75 1,00
B Kra 0,93 1,00 1,00 0,47 0,80 1,00
B Ryb 0,87 1,00 1,00 0,00 0,60 1,00
B Sid 0,77 1,00 1,00 0,13 0,60 1,00
B Tag 0,07 1,00 1,00 0,07 0,95 1,00
B Ush 0,00 0,60 1,00 0,00 0,95 1,00
B Fis 0,07 1,00 1,00 0,00 0,40 1,00
B gaj 1,00 1,00 1,00 0,00 0,00 1,00
B gus 0,23 1,00 1,00 0,00 0,95 1,00
B dem 0,00 0,80 1,00 0,00 0,95 1,00
B der 0,37 0,95 1,00 0,00 0,70 1,00
B zap 0,43 1,00 1,00 0,23 0,90 1,00
B zue 0,87 1,00 1,00 0,00 1,00 1,00
B kar 0,07 1,00 1,00 0,00 0,90 1,00
B kolm 0,00 0,95 1,00 0,00 0,50 1,00
B kolo 0,07 0,60 1,00 0,00 0,50 1,00
_B_kry 0,43 0,73 1,00 0,13 0,50 1,00
B mak 0,57 0,90 1,00 0,00 0,60 1,00
B mel 0,13 0,90 1,00 0,13 0,60 1,00
B nik 0,13 1,00 1,00 0,00 0,55 1,00
_B_pet 0,00 1,00 1,00 0,00 0,80 1,00
_B_pol 1,00 1,00 1,00 0,27 0,85 1,00
_B_pri 0,13 0,90 1,00 0,00 0,15 1,00
B smi 0,83 1,00 1,00 0,07 1,00 1,00
B tol 0,63 1,00 1,00 0,00 0,60 1,00
B sht 0,43 1,00 1,00 0,00 0,55 1,00
_B_yas 0,97 1,00 1,00 0,27 0,80 1,00
Среднее значение 0,40 0,93 1,00 0,06 0,62 1,00
Как видно из табл. 2 использование многоканального режима положительно влияет на качество выделения устоявшихся зрительных вызванных потенциалов. Однако при длине окна анализа 500 и 750 отсчетов, что равно 100 и 150 мс соответственно, в некоторых случаях доля, верно, распознанных образов меньше либо равна 0,5. С увеличением эпохи анализа до 1000 отсчетов (200 мс) для обоих наборов сигналов (8 Hz и 14 Hz) исходная частота была, верно, распознана алгоритмом. При дальнейшем увеличении окна анализа двухканальный и четырёхканальный режимы показывают одинаковые результаты.
Использования методов биологической обратной связи в интерфейсах робот-человек, невозможно если в их основе не лежат алгоритмы и программы позволяющие работать в режиме реального времени. Под режимом реального времени в данной работе подразумевается способность системы определять состояние за промежуток времени меньше либо равный длине исследуемого сигнала. Таким образом если разработанное программное обеспечение позволяет определять частоту сигналов ЭЭГ длиной T, за время t, такое что t <T, работа в режиме реального времени имеет место быть.
При исследовании сигналов в одноканальном и многоканальном режимах, кроме всего прочего каждый раз вычислялось время работы t, которое необходимо для определения частоты сигнала, в это время входят и затраты процессорного времени на генерацию опорных сигналов, результаты для одноканального режима представлены на рис. 3.
Среднее время работы скрипта для определения частоты сигнала в однока-нальном режиме для сигнала длиной 1 секунда составило 28,1 мсек, медиана 27,4 мсек, для сигнала длиной 200 мсек среднее время работы составило 9,27 мсек, медиана 8,3 мсек. Для многоканального режима время определения частоты сигнала длиной 1 секунда среднее 31,3, медиана 30,1. Для сигнала длиной 200 мсек среднее 7,66 медиана 6,5. Представленные результаты получены на персональном компьютере под управлением операционной системы Windows 10, с процессором
Intel Core i7-8565U, вычислительная мощность данного процессора, согласно официальной документации, составляет 150 ГФлопс. Полученные результаты говорят о том что использование алгоритма на основе многомерного индекса синхронизации в 4-х канальном режиме возможно в режиме реального времени.
Рис. 3. Скорость работы алгоритма на основе метода многомерного индекса синхронизации в одноканальном режиме.
Для многоканального режима (4 канала) результаты замера скорости работы представлены на рис. 4.
Рис. 4. Скорость работы алгоритма на основе метода многомерного индекса синхронизации в 4-х канальном режиме
Заключение. Было проведено исследование влияния длительности эпохи анализа и актуальности использования предварительной полосовой фильтрации сигнала при использовании многомерного индекса синхронизации для выделения устоявшихся зрительных потенциалов. Показано что в одноканальном режиме использование предварительной фильтрации сигнала уменьшает долю верно распознанных состояний, а увеличение окна анализа напротив повышает долю верно распознанных состояний. Также рассмотрено положительное влияние увеличения эпохи анализа в многоканальном режиме. Показана возможность использования алгоритмов на основе многомерного индекса синхронизации в 4-х канальном режиме в системах реального времени.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Zhang Y., Xu P., Cheng K. and Yao D. Multivariate synchronization index for frequency recognition of SSVEP-based brain-computer interface // Journal of Neuroscience Methods. - 2014. - Vol. 221. - P. 32-40.
2. Miroslav D. Lutovac. Filter Design for Signal Processing using MATLAB© and Mathematica©. - New Jersey, USA.: Prentice Hall, 2001. - ISBN 0-201-36130-2.
3. Wilcoxon F. Individual comparisons by ranking methods // Biometrics. - 1945. - No. 1.
- P. 80-83.
4. Гмурман В.Е. Теория вероятностей и математическая статистика: учеб. пособие для вузов. - 10-е изд. стереотипное. - М.: Высшая школа, 2004. - 479 с.
5. Гнездицкий В.В. Вызванные потенциалы в клинической практике. - Таганрог: М.: МЕД-пресс-информ, 2003. - 264 с.
6. Vidal J.J. Real-time detection of brain events in EEG // Proceedings of the IEEE. - 1977.
- Vol. 65 (5). - P. 633-641. - Doi:10.1109/proc. 1977.10542.
7. Pfurtscheller G., Neuper N., Guger C., Harkam W., Ramoser H., Schlogl A., Obermaier B. and Pregenzer M. Current trends in Graz Brain-Computer Interface (BCI) research // IEEE Trans Rehabil Eng. - 2000. - Vol. 8 (2). - P. 216-219.
8. Tyagi A., Semwal S. and Shah G. A Review of Eeg Sensors used for Data Acquisition // Journal of Computer Applications (IJCA). - 2012. - P. 13-17.
9. Ma W., Tran D., Le T., Lin H. and Zhou S. Using EEG artifacts for BCI applications // 2014 International Joint Conference on Neural Networks (IJCNN), Beijing, 2014. - P. 3628-3635.
10. Han J., Ji S., Shi C., Yu S. and Shin J. Recent progress of non-invasive optical modality to brain computer interface: A review study // The 3rd International Winter Conference on Brain-Computer Interface. - Sabuk, 2015. - P. 1-2.
11. Chueshev A., Melekhova O. and Meshcheryakov R. Cloud robotic platform on basis of fog computing approach // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2018. - Vol. 11097 LNAI.
- P. 34-43.
12. Wan X. et al. A Review on Electroencephalogram Based Brain Computer Interface for Elderly Disabled // IEEE Access. - 2019. - Vol. 7. - P. 36380-36387.
13. Turovsky Y.A., Kurgalin S.D., Vahtin A.A., Borzunov S. V. and Belobrodsky V.A. Event-related brain potential investigation using the adaptive wavelet recovery method // Biophysics (Russian Federation). - 1 May 2015. - Vol. 60, issue 3, article № A018. - P. 443-448.
14. Shepelenko M. and Meshcheryakov R. Algorithm for automated calculation of a segmented electromechatronic module of robotic system motion // MATEC Web of Conferences.
- 20 June 2017. - Vol. 113, article № 02005.
15. Friman O., Volosyak I. and Graser A. Multiple channel detection of steady-state visual evoked potentials for brain-computer interfaces // IEEE Trans Biomed Eng. - 2007. - Vol. 54 (7).
- P. 42-50.
16. Lin Z., Zhang C., Wu W. and Gao X. Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs // IEEE Trans Biomed Eng. - 2007. - Vol. 54, No. 6.
- P. 1172-1176.
17. Bartneck C., Belpaeme T., Eyssel F., Kanda T., Keijsers M., & Sabanovic S. Human-Robot Interaction - An Introduction. - Cambridge: Cambridge University Press, 2019.
18. Chuang C., Lee C., Yeng C. et al. Convolutional denoising autoencoder based SSVEP signal enhancement to SSVEP-based BCIs // Microsyst Technol. - 2019. - https://doi.org/ 10.1007/s00542-019-04654-2.
19. Liu P. et al. An SSVEP-BCI in Augmented Reality // 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Berlin, Germany, 2019. - P. 5548-5551.
20. Sankardoss V., Geethanjali P. Analysis of Multichannel SSVEP for Different Stimulus Frequencies. In: Das K., Bansal J., Deep K., Nagar A., Pathipooranam P., Naidu R. (eds) Soft Computing for Problem Solving // Advances in Intelligent Systems and Computing.
- Vol. 1057. - Springer, Singapore, 2020.
REFERENCES
1. Zhang Y., Xu P., Cheng K. and Yao D. Multivariate synchronization index for frequency recognition of SSVEP-based brain-computer interface, Journal of Neuroscience Methods, 2014, Vol. 221, pp. 32-40.
2. Miroslav D. Lutovac. Filter Design for Signal Processing using MATLAB© and Mathematica©. New Jersey, USA: Prentice Hall, 2001. ISBN 0-201-36130-2.
3. Wilcoxon F. Individual comparisons by ranking methods, Biometrics, 1945, No. 1, pp. 80-83.
4. Gmurman V.E. Teoriya veroyatnostey i matematicheskaya statistika: ucheb. posobie dlya vuzov [Probability Theory and Mathematical Statistics: Textbook for universities]. 10th ed., stereotyped. Moscow: Vysshaya shkola, 2004, 479 p.
5. Gnezditskiy V.V. Vyzvannye potentsialy v klinicheskoy praktike [Evoked potentials in clinical practice]. Taganrog: Moscow: MED-press-inform, 2003, 264 p.
6. Vidal J.J. Real-time detection of brain events in EEG, Proceedings of the IEEE, 1977, Vol. 65 (5), pp. 633-641. Doi:10.1109/proc.1977.10542.
7. Pfurtscheller G., Neuper N., Guger C., Harkam W., Ramoser H., Schlogl A., Obermaier B. and Pregenzer M. Current trends in Graz Brain-Computer Interface (BCI) research, IEEE Trans RehabilEng., 2000, Vol. 8 (2), pp. 216-219.
8. Tyagi A., Semwal S. and Shah G. A Review of Eeg Sensors used for Data Acquisition, Journal of Computer Applications (IJCA), 2012, pp. 13-17.
9. Ma W., Tran D., Le T., Lin H. and Zhou S. Using EEG artifacts for BCI applications, 2014 International Joint Conference on Neural Networks (IJCNN), Beijing, 2014, pp. 3628-3635.
10. Han J., Ji S., Shi C., Yu S. and Shin J. Recent progress of non-invasive optical modality to brain computer interface: A review study, The 3rd International Winter Conference on Brain-Computer Interface. Sabuk, 2015, pp. 1-2.
11. Chueshev A., Melekhova O. and Meshcheryakov R. Cloud robotic platform on basis of fog computing approach, Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2018, Vol. 11097 LNAI, pp. 34-43.
12. Wan X. et al. A Review on Electroencephalogram Based Brain Computer Interface for Elderly Disabled, IEEE Access, 2019, Vol. 7, pp. 36380-36387.
13. Turovsky Y.A., Kurgalin S.D., Vahtin A.A., Borzunov S.V. and Belobrodsky V.A. Event-related brain potential investigation using the adaptive wavelet recovery method, Biophysics (Russian Federation), 1 May 2015, Vol. 60, issue 3, article № A018, pp. 443-448.
14. Shepelenko M. and Meshcheryakov R. Algorithm for automated calculation of a segmented electromechatronic module of robotic system motion, MATEC Web of Conferences, 20 June 2017, Vol. 113, article № 02005.
15. Friman O., VolosyakI. and Graser A. Multiple channel detection of steady-state visual evoked potentials for brain-computer interfaces, IEEE Trans BiomedEng., 2007, Vol. 54 (7), pp. 42-50.
16. Lin Z., Zhang C., Wu W. and Gao X. Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs, IEEE Trans Biomed Eng., 2007, Vol. 54, No. 6, pp. 1172-1176.
17. Bartneck C., Belpaeme T., Eyssel F., Kanda T., Keijsers M., & Sabanovic S. Human-Robot Interaction - An Introduction. Cambridge: Cambridge University Press, 2019.
18. Chuang C., Lee C., Yeng C. et al. Convolutional denoising autoencoder based SSVEP signal enhancement to SSVEP-based BCIs, Microsyst Technol, 2019. Available at:https://doi.org/10.1007/s00542-019-04654-2.
19. Liu P. et al. An SSVEP-BCI in Augmented Reality, 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Berlin, Germany, 2019, pp. 5548-5551.
20. Sankardoss V., Geethanjali P. Analysis of Multichannel SSVEP for Different Stimulus Frequencies. In: Das K., Bansal J., Deep K., Nagar A., Pathipooranam P., Naidu R. (eds) Soft Computing for Problem Solving, Advances in Intelligent Systems and Computing, Vol. 1057. Springer, Singapore, 2020.
Статью рекомендовала к опубликованию д.т.н. доцент О.М. Гергет.
Туровский Ярослав Александрович - Федеральное государственное бюджетное образовательное учреждение высшего образования «Воронежский государственный университет»; e-mail: yaroslav_turovsk@mail.ru; 394051, г. Воронеж, ул. Янониса 9-22; к.т.н.; доцент.
Харченко Сергей Сергеевич - Федеральное государственное бюджетное образовательное учреждение высшего образования «Томский государственный университет систем управления и радиоэлектроники»; e-mail: ss.kharchenko@gmail.com; г. Томск, просп. Ленина, 40; тел.: 89832336644; к.т.н.; младший научный сотрудник ЛМБИ ТУСУР.
Мещеряков Роман Валерьевич - Федеральное государственное бюджетное учреждение науки Институт проблем управления им. В.А. Трапезникова Российской академии наук; email: mrv@ieee.org; 117997, Москва, ул. Профсоюзная, 65; д.т.н.; профессор РАН; г.н.с.
Исхакова Анастасия Олеговна - e-mail: iao@ipu.ru; к.т.н.; с.н.с. Исхаков Андрей Юнусович - e-mail: iay@ipu.ru; к.т.н.; с.н.с.
Turovsky Yaroslav Aleksandrovich - Federal State-Funded Institution of Higher Education "Voronezh State University"; e-mail: yaroslav_turovsk@mail.ru; 9-22, Janonis street, Voronezh, 394051, Russia; cand. of eng. sc.; associate professor.
Kharchenko Sergey Sergeevich - Federal State-Funded Institution of Higher Education "Tomsk State University of Control Systems and Radioelectronics"; e-mail: ss.kharchenko@gmail.com; 40, Lenin ave., Tomsk, Russia; phone: +79832336644; cand. of eng. sc.; junior researcher.
Meshcheryakov Roman Valerevich - V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences; e-mail: mrv@ieee.org; 65, Profsoyuznaya street, Moscow, 117997, Russia; dr. of eng. sc.; professor of RAS; chief researcher.
Iskhakova Anastasia Olegovna - e-mail: iao@ipu.ru; cand. of eng. sc.; senior researcher. Iskhakov Andrey Yunusovich - e-mail: iay@ipu.ru; cand. of eng. sc.; senior researcher.
