CC BY
1112. Abry P., Sellan F. The wavelet-based synthesis for fractional Brownian motion proposed by F. Sellan and Y. Meyer: Remarks and fast implementation // Appl. Comput. Harmon. Anal. 1996. - 3, No.4. - Pp. 377-383.
13. Jaffard S., Lashermes B., Abry P. Wavelet Leaders in Multifractal Analysis. In: Qian, T., Vai, M.I., Xu, Y. (eds) Wavelet Analysis and Applications. Applied and Numerical Harmonic Analysis. Birkhauser Basel, 2006.
14. Muzy J.-F., Bacry E., Arneodo A. Multifractal formalism for fractal signals: The structure-function approach versus the wavelet-transform modulus-maxima method. Physical Review E, American Physical Society (APS), 1993, 47 (2), pp.875-884.
15. Theiler J. Efficient algorithm for estimating the correlation dimension from a set of discrete points // Phys. Rev. A 36, 4456-1987.
УДК 004.4
doi:10.18720/SPBPU/2/id23 -82
Журавская Анжелика 1,
ст. преподаватель;
л
Станкевич Лев Александрович ,
доцент, канд. техн. наук, доцент
КЛАССИФИКАЦИЯ ВРЕМЕННЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ НА ОСНОВЕ РИМАНОВОЙ ГЕОМЕТРИИ
1 2
' Россия, Санкт-Петербург, Санкт-Петербургский политехнический
университет Петра Великого,
Россия, Санкт-Петербург, ЦНИИ РТК,
1 2
hella94@mail.ru, stankevich_lev@inbox.ru
Аннотация. Работа посвящена распознаванию многомерных временных последовательностей. Представлены результаты исследований по разработке и тестированию классификатора временных последовательностей, построенного на римановой геометрии. Разработанный классификатор протестирован на задаче распознавания воображаемых движений рук и ног в интерфейсах «мозг-компьютер». Показано, что классификаторы на основе римановой геометрии позволяют успешно распознавать многомерные паттерны электроэнцефалографических сигналов, соответствующие воображаемым командам поднятия правой и левой рук, сжатия их кистей, а также поднятия правой и левой ноги и нажатия их ступней. При соответствующей настройке такие классификаторы могут обеспечить более высокую точность в некоторых случаях, чем традиционные классификаторы на методе опорных векторов или нейронных сетях, особенно при вариабельных исходных данных. Приведены предварительные результаты, показывающие возможность бесконтактного управления роботом по этим сигналам. Средняя точность распознавания моторных воображаемых команд составила 71 %.
Ключевые слова, временные последовательности, классификация, риманова геометрия, интерфейс мозг-компьютер, распознавание воображаемых движений, бесконтактное управление роботом.
Anzelika Zuravska 1,
Senior Lecturer;
л
Lev A. Stankevich ,
Associate Professor, Candidate of Technical Sciences
CLASSIFICATION OF TIME SEQUENCES BASED ON RIEMANN
GEOMETRY
1 2
' Peter the Great St.Petersburg Polytechnic University, St. Petersburg, Russia,
л
Central Research and Development Institute of Robotics and Technical
Cybernetics, St. Petersburg, Russia,
1 2 hella94@mail.ru, stankevich_lev@inbox.ru
Abstract. The work is devoted to the recognition of multidimensional time sequences. The results of research are development and testing a classifier based on Riemannian geometry for time series. The developed classifier was tested on the task of recognizing imaginary movements of arms and legs in brain-computer interfaces. It is shown that classifiers based on Riemannian geometry can successfully recognize multidimensional patterns of electroencephalographic signals corresponding to imaginary commands of raising the right and left hands, squeezing their hands, as well as raising the right and left legs and pressing their feet. With appropriate tuning, such classifiers can provide higher accuracy, in some cases, than traditional support vector machine or neural network classifiers, especially with variable input data. Preliminary results are presented showing the possibility of non-contact control of the robot by these signals. The average accuracy of recognition of imaginary motor commands was 71 %.
Keywords: time sequences, classification, Riemannian geometry, brain-computer interface, recognition of imaginary movements, non-contact robot control.
Введение
В настоящее время повышенное внимание уделяется анализу многомерных временных последовательностей (рядов). Распространенным способом такого анализа является оценка набора параметров, описывающих статистическое поведение ряда, таких как его вектор средних, матрицы автоковариации или матрицы кросс-спектральной плотности [1]. Это предполагает, что временные ряды являются стационарными, и что их статистическое поведение может быть исчерпывающе описано моментами второго порядка, т. е. что они являются многомерными гауссовыми процессами.
Понимание внутренней геометрии набора признаков или точек дает возможность разрабатывать новые более эффективные алгоритмы. Примерами могут являться: новый подход к классификации текстов [2], применение методов римановой геометрии для анализа изображений [3] и пр. В контексте многомерных временных последовательностей приме-
нение методов, основанных на геометрии Римана, привело к значительным улучшениям в области интерфейсов «мозг-компьютер» (ИМК), работающих на основе электроэнцефалографических сигналов (ЭЭГ). Известно, что большинство алгоритмов классификации ЭЭГ-сигналов имеют довольно слабые свойства обобщения [4].
В методах римановой геометрии статистика сигналов ЭЭГ параметризуется с помощью их пространственных ковариационных матриц, которые представляют собой симметричные положительно определенные (СПО) матрицы. Такие матрицы определяются в римановом многообразии с хорошо известной внутренней геометрией [5] и могут использоваться для определения методов манипулирования многомерными временными рядами с помощью их статистических дескрипторов. Особенно интересной особенностью многообразия СПО является то, что мы можем определить геодезическое расстояние, которое инвариантно к аффинным преобразованиям. Следовательно, на расстояние между двумя многомерными временными рядами, параметризованными СПО-матрицами, не влияет действие примененного к ним линейного преобразования. Это очень привлекательное свойство, поскольку линейные преобразования можно использовать для моделирования различных практических ситуаций, таких как эффект незначительного смещения положения электродов на коже головы субъекта или эффекты, вызванные смешением различных источников активности в мозгу человека. Таким образом, использование римановой геометрии в области классификации ЭЭГ-сигналов привело к появлению новых алгоритмов, которые продемонстрировали отличные результаты на практике и стали одним из самых современных методов в исследовательском сообществе ИМК [6].
Цель статьи — разработка и исследование классификатора многомерных временных последовательностей на основе римановой геометрии и его применение в ИМК для бесконтактного управления роботом
Далее в разделе 2 статьи представлены основные формулы и алгоритм вычисления минимального риманова среднего, в разделе 3 описан эксперимент по управлению мобильным роботом и представлены его результаты.
2. Временной ряд, минимальное риманово расстояние до среднего
Многомерный временной ряд можно представить, как набор векторов:
Гх^)"
х(0 =
(1)
где ? изменяется с периодом дискретизации ЬI — ЬI_ ^=Т8. Каждое измерение в ряду х( Ь) представляет собой различную величину, зависящую от контекста, в котором определяется временной ряд. Например, в задаче прогнозирования фондового рынка каждое измерение описывает эволюцию определенной акции во времени [7]. В записях ЭЭГ-сигнала каждый временной ряд х( Ь) связан с нейронной активностью, зарегистрированной одним из ( электродов, помещенным на кожу головы субъекта (используется неинвазивный метод) [8]. Информация, полученная с отведения, фильтруется для выделения частотного интервала, содержащего наиболее важную информацию для проводимого анализа.
Стандартный подход к изучению многомерных временных рядов состоит в том, чтобы рассматривать каждую выборку ( ) как случайный вектор в пространстве , сгенерированный по некоторому статистическому закону, функция плотности вероятности которого равна 71х( г). По выборкам ЭЭГ-сигнала можно построить кросс-спектральные плотности, но данный вариант используется, как правило, крайне редко из-за нехватки данных, поскольку временные ряды слишком короткие 1-2 секунды. В этом случае количество отсчетов недостаточно для обеспечения хорошей спектральной оценки [9], поэтому в качестве признаков, описывающих ЭЭГ-сигнал, можно использовать ковариационные матрицы [10], которые можно построить следующим образом:
№ — Е[ХЬ])(Х1 — Е[ХЛ)Т> (1)
где {Х±,Х2,.. — набор из N проб ЭЭГ-сигнала. Каждая проба является матрицей амплитуд сигнала размера Е X Т, где Е — количество используемых для анализа электродов, — количество временных отсчетов при длине пробы и частоте дискретизации .
В задачах классификации для каждой матрицы известен класс у Е { 1 ,2 ,.. .,К], К — общее число классов или распознаваемых команд, которые мы хотим распознать. Можно использовать различные методы для того, чтобы отнести данные к той или иной категории. Если обратиться к природе ковариационных матриц, то можно заметить, что они являются симметричными и положительно определенными, располагаются в римановом пространстве, которое имеет сферическую форму. Зная эту особенность, мы можем использовать линейные методы классификации, но только в касательном пространстве к риманову многообразию, где будут проекции точек из риманова пространства.
Есть и другой путь, когда мы можем рассчитать метрику расстояния между ковариационными матрицами проб, выраженных формулой (1):
N -.1/2
(2)
Sr( с± ,с2) = \\\О g( СГ1 C2)\\f =
^ 1 од 2 Л i
i=i
в римановом многообразии. Здесь Xit i = 1 ,2 ,. . .,N — собственные числа матрицы С1, С2. Выражение (2) является основой алгоритма классификации на основе минимальной римановой дистанции до среднего (Minimum Riemannian Distance to Mean, MRDM) [6]. Этот алгоритм является обобщением метода ближайших соседей (k-nearest neighbors algorithm), который является одним из базовых методов классификации и используется в различных реализациях ИМК. В его основе лежит предположение о том, что близкие объекты должны относиться к одному и тому же классу.
В общем виде алгоритм MRDM включает в себя следующие шаги:
1. Используя выражение (1), чтобы вычислить ковариационные матрицы проб из обучающей выборки.
2. Для пробы, класс которой необходимо определить, вычислить ковариационную матрицу .
3. Вычислить геометрическое среднее ковариационных матриц проб С±к, С1.. соответствующих этому классу для всех классов к = 1 2 :
N
С к( С1, с£.....С%к) = агд ст in^Sj*( С, Сf). (3)
¿=i
4. Вычислить расстояние от матрицы пробы, класс которой неизвестен, до усредненных матриц каждого из классов, и присвоить новой пробе класс, расстояние до матрицы которого оказалось наименьшим:
к = агдfmin S R(С t, С f).
3. Эксперимент по управлению мобильным роботом
В текущем исследовании мы распознаем моторные воображаемые движения поднятия правой и левой рук, сжатия их кистей, а также поднятия правой и левой ноги и нажатия их ступней для управления мобильным роботом, созданным с симуляционной среде Gazebo. Полный перечень команд реализованных в ИМК можно увидеть в таблице 1.
В эксперименте приняло участие 3 здоровых участника, возрастом от 24 до 27 лет, правши. Для проведения эксперимента использовалось ЭЭГ-устройство "NeuroPlay-8Cap".
Запись производилась на 8 электродах, которые были расположены по международной системе 10-20. Перед началом классификации из записей были исключены глазодвигательные артефакты, такие
как моргание, медленные и быстрые волны, фрагменты сигналов ЭЭГ с амплитудой более 100 мкВ. Всего было проведено 5 сессий записи и анализа данных.
Таблица 1
Соответствие воображаемых движений и команд управления_
Номер команды Воображаемые движения Команды управления
1 Подъем правой руки Вправо
2 Подъем левой руки Влево
3 Сжатие кисти правой руки Стоп вправо
4 Сжатие кисти левой руки Стоп влево
5 Подъем правой ноги Стоп вперед
6 Подъем левой ноги Стоп назад
7 Нажатие ступней правой ноги Вперед
8 Нажатие ступней левой ноги Назад
Перед началом записи ЭЭГ-данных испытуемым объясняли задачу и просили попробовать проделать каждую команду до начала испытания и сосредоточиться на кинестетических ощущениях. Управление мобильным роботом требует предварительного обучения классификатора выбранным воображаемым движениям. В этой фазе реальные и воображаемые движения чередуются, а для удобства испытуемым предоставляются визуальные подсказки на экране компьютера. Когда испытуемый делает реальные движения, то их сопровождает звуковой сигнал, когда происходит переход к воображаемой части, то звук исчезает, но испытуемые проинформированы, что необходимо сохранять заданную ритмику и для воображаемой части. После обучения классификатора можно было приступать к управлению роботом-тележкой в среде симуляторе Gazebo.
Результаты онлайн экспериментов можно увидеть в таблице 2.
Задачей испытуемых было последовательное выполнение определенных команд управления роботом, воображая моторные движения.
Таблица 2
Результаты тестирования алгоритма классификации МDRM в управлении _мобильным роботом_
Испытуемый 1 сессия 2 сессия 3 сессия 4 сессия 5 сессия Среднее
№ 1 68 % 70 % 82 %+ 73 %- 75 %+ 74 %
№ 2 65 % 63 % 65 % 71 % 72 % 67 %
№ 3 67 % 72 % 74 % 69 % 85 % 73 %
Средняя точность управления по всем испытаниям составила порядка 71 %.
Заключение
В работе представлены результаты исследований по разработке и тестированию классификатора временных последовательностей, построенного на римановой геометрии, для управления мобильным роботом в симуляционной среде.
Показано, что классификаторы на основе римановой геометрии позволяют успешно распознавать многомерные паттерны электроэнцефалографических сигналов, соответствующие восьми воображаемым командам.
Приведены предварительные результаты, показывающие возможность бесконтактного управления роботом по этим сигналам со средней точностью 71 %.
В дальнейшем предполагается выбрать оптимальные параметры настройки риманова классификатора с целью повышения его точности и реализации более уверенного управления движением мобильного робота по трассе.
Список литературы
1. Priestley M.B. Spectral analysis and time series: Univariate series. - Academic press, 1981. - Vol. 1.
2. Lebanon G. Riemannian geometry and statistical machine learning. - Carnegie Mellon University, 2005.
3. Pennec X., Sommer S., Fletcher T. (eds.). Riemannian geometric statistics in medical image analysis. - Academic Press, 2019.
4. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces // Journal of neural engineering. - 2007. - Vol. 4. No. 2. -P. R1.
5. Bhatia R. Positive definite matrices // Positive Definite Matrices. - Princeton university press, 2009.
6. Barachant A. et al. Multiclass brain-computer interface classification by Riemannian geometry // IEEE Transactions on Biomedical Engineering. - 2011. -Vol. 59. No. 4. - Pp. 920-928.
7. Lutkepohl H. New introduction to multiple time se ries analysis. - Springer Science & Business Media, 2005.
8. Sanei S., Chambers J. A. EEG signal processing. - John Wiley & Sons, 2013.
9. Congedo M. EEG source analysis: PhD thesis. - Université de Grenoble, 2013.
10. Congedo M., Barachant A., Bhatia R. Riemannian geometry for EEG-based brain-computer interfaces; a primer and a review // Brain-Computer Interfaces. -2017. - Vol. 4. No. 3. - Pp. 155-174.
