CC BY
12
УДК 004.5: 004.89
DOI: 10.14529/mmph230104
АВТОКОДИРОВЩИК ЭЛЕКТРИЧЕСКОЙ АКТИВНОСТИ ГОЛОВНОГО МОЗГА ЧЕЛОВЕКА
Р.В. Мещеряков, Д.А. Вольф, Я.А. Туровский
Институт проблем управления им. В.А.Трапезникова РАН, г. Москва, Российская Федерация E-mail: [email protected], [email protected]
Аннотация. С помощью искусственной нейронной сети и глубокого машинного обучения производится поиск скрытых параметров функции, описывающей электрическую активность головного мозга человека, полученную по методу электроэнцефалографии. Осуществляется формулировка задачи сжатия прикладной информации, необходимой для понижения размерности пространства признаков прикладных данных с целью дальнейшего получения модели искусственной нейронной сети - автокодировщика. Приводится новизна общего решения, освещаются теоретические аспекты и проблематика существующих методов сжатия. Исследуется экспериментальное получение модели автокодировщика с помощью прикладных данных - последовательностей ЭЭГ, содержащих зрительные вызванные потенциалы. Решение задачи сжатия проводится путем понижения размерности многомерного вектора, ассоциируемого с исследуемым образцом. C помощью полученного автокодировщика осуществляется кодирование исходного многомерного вектора в вектор меньшей размерности. С применением глубокого машинного обучения находится такая функция кодирования, что может быть выполнено обратное декодирование в исходный вектор. В итоге эмпирического подбора размерности вектора выбрана наилучшая экспериментальная модель автокодировщика, сжимающая пространство признаков, размерностью, равной 1260 (в исходном смысле ЭЭГ-сигналы длительностью 0,2 с) до пространства размерности, равного 24, с последующей возможностью реконструкции исходного сигнала с потерями не более 10 %.
Ключевые слова: интерфейс «мозг-компьютер»; электроэнцефалограмма; управление; уменьшение размерности признаков; вызванные потенциалы; автокодировщик; кодирование.
Введение. Формулировка задачи
Развитие современных междисциплинарных подходов на стыке информационных технологий и физиологии привело к появлению большого числа устройств коммуникации между человеком и компьютером, таких как интерфейсы «мозг-компьютер», окулографических, миографических интерфейсов. Подобные перспективные направления рассмотрены в работах [1-4]. Разрабатываемые устройства коммуникации человека и машины планируется использовать для решения широкого спектра задач, связанных с реабилитацией пациентов неврологического и травматологического профилей, совершенствованием управления различными устройствами: от домашнего компьютера до авиационных систем [5, 6]. Наиболее распространённые задачи, решаемые в настоящее время - это улучшение их аппаратной части, разработка новых алгоритмов обработки полученных сигналов и дальнейшей трансформации их в команды на устройства-эффекторы, поиск новых физиологических феноменов, которые можно использовать как основу для команд, передаваемых по новым интерфейсам [7, 8].
Данная статья посвящена решению задачи сжатия электрической активности головного мозга человека, регистрируемой с помощью электроэнцефалографии (ЭЭГ) с целью получения модели искусственной нейронной сети, способной сжимать первичную информацию с минимальными потерями и воссоздавать исходное состояние с определенной степенью качества, что необходимо для задач машинного обучения и задач машинной классификации.
Цель исследования заключается в разработке метода сжатия ЭЭГ, содержащего полезный сигнал в виде вызванного потенциала (ВП), с последующим восстановлением и сохранением возможности выделения ВП с сохранением его свойств.
Мещеряков Р.В., Вольф Д.А., Автокодировщик электрической активности
Туровский Я.А. головного мозга человека
Пусть имеется единичный экземпляр данных электрической активности головного мозга человека, представляющий собой вектор х(хеЖт) . Требуется получить вектор z размерностью р: р(х е Шр,р <т) - такой, что можно было бы восстановить х. Более того, на основе z можно оценить (описать) x.
Несмотря на широкую распространённость, существующие алгоритмы обладают следующими недостатками:
1. С одной стороны, на первый взгляд может показаться, что задача достаточно простая и действительно существуют различные алгоритмы компрессии данных, которые бы с легкостью из x получили бы z . Однако, например, применяя ту же элементарную компрессию на базе XOR или используя более мощные алгоритмы типа PPM, LZSS и т. д., по результатам работы данных алгоритмов достаточно сложно будет сказать что-то про x .
2. С другой стороны, данную задачу можно решить с помощью алгоритмов, базирующихся на SVD, понизив размерность пространства Шт до размерности нового пространства Шр, в котором располагается вектор z. Тогда возникает резонный вопрос: насколько минимальным должно быть p, чтобы максимально подробно сказать что-то про x ?
Новизна данного исследования исходит из решения самой задачи сжатия: га-мерный вектор в виде некоторого признака (полученного на основе прикладных данных - электроэнцефалограммы - ЭЭГ), ассоциированного с образцом х (т. е. хеМт), с помощью искусственной нейронной сети кодируется в /»-мерный вектор z (т. е. z е I?''): применяя глубокое машинное обучение, находится функция кодирования z = (р(x), такая, что может быть выполнено декодирование x = z) .
1. Теоретические аспекты автокодирования данных искусственной нейронной сетью. Проблематика.
Автокодировщик (АК) - это разновидность искусственной нейронной сети, целью которой является восстановление входной информации (данных) на выходе. АК выполняет всего две задачи: 1) сжатие входных данных в представление скрытого пространства (или латентного вектора), также известное как информационно узкое место; 2) восстановление выходных данных на основе полученного представления. Сам по себе процесс автокодирования - это неконтролируемый алгоритм машинного обучения, так как алгоритм извлечения признаков определяется в результате глубокого машинного обучения.
Понятие информационно узкого места (англ. Information Bottleneck - IB) было введено Tishby и др. [9]. Данное понятие было представлено вместе с гипотезой о том, что IB может извлекать релевантную информацию, сжимая объем информации, которая проходит через всю нейронную сеть, используя предварительно изученное сжатие входных данных.
Традиционно АК использовались в задачах понижения размерности для изучения информативных признаков. И только относительно недавно АК-модели со скрытыми параметрами, которые используют концепцию априорного и апостериорного распределения, такие как вариационные АК, начали использоваться для построения генеративных моделей, которые могут генерировать новые данные. Это достигается за счет сжатия информации в информационно узком месте таким образом, что из всего набора данных извлекаются только важные признаки, и эти извлеченные признаки (представления) могут использоваться для создания новых данных.
С формальной точки зрения, математическая модель АК может быть выражена следующим образом:
<р: X ^ F
W-F^X (1)
<р,у/ = arg rmn^ \x~q>° ц/f, где p - функция кодера; X- исходные данные; F - скрытое пространство; у - функция декодера.
По сути, нейронная сеть разделяется на два сегмента: кодер и декодер.
Функция кодировщика, обозначенная p, отображает исходные данные X в скрытое пространство F, которое присутствует в IB. Функция декодера, обозначенная у, отображает скрытое
Вестник ЮУрГУ. Серия «Математика. Механика. Физика» 35
2023, том 15, № 1, С. 34-42
пространство F в IB на выходе. Выход в этом случае совпадает с входной функцией. Таким образом, воссоздается исходное изображение после некоторого обобщенного нелинейного сжатия.
Сеть кодирования может быть представлена стандартной функцией нейронной сети, пропущенной через функцию активации, где z - скрытая размерность:
z = o(Wx + b) . (2)
Аналогично сеть декодирования может быть представлена таким же образом, но с другим весом и смещением - b, и потенциально используемыми функциями активации:
X = a'(W'z + b') . (3)
Используя (2) и (3), функция потерь примет вид:
(x,X) = ||x-X||2 =||x-a'(w'(a(Wx + b)) + b')||2 . (4)
Функция потерь (4) используется для обучения нейронной сети с помощью стандартной процедуры обратного распространения ошибки.
Ввиду того, что вход и выход - это одни и те же данные и, как уже было обозначено выше, что алгоритм машинного обучения АК является неконтролируемым, процесс глубокого машинного обучения АК является самоконтролируемым обучением. Цель самоконтролируемого обучения АК состоит в подборе таких функций кодировщика и декодера, чтобы размерность IB была минимальной для кодирования входного сигнала, но достаточной для его восстановления на выходе.
При достаточно небольшом числе персептронов в слое IB способность воссоздавать входную информацию на выходе будет ограниченным и сильно отличаться от оригинала (высокие потери). Если используется слишком большое количество персептронов, то вообще нет смысла использовать сжатие, АК может начать выполнять задачу по реконструкции исходного сигнала (в проводимом исследовании это отрицательный эффект), не извлекая полезной информации о распределении данных, если:
- размерность скрытого представления совпадает с размерностью входа;
- размерность скрытого представления больше, чем размерность входа;
- для АК предоставляется слишком большой объем данных.
В этих случаях даже линейный кодер и линейный декодер просто копируют входные данные на выход, не изучая ничего полезного о распределении.
Обобщая изложенные выше теоретические аспекты, можно заключить, что в сети АК, функционально левая часть является кодирующей частью, а правая часть - декодирующей. В идеале можно организовать любую архитектуру АК, задавая размеры IB на основе сложности моделируемого распределения.
Поэтому целью глубокого машинного обучения АК является не копирование входных данных на выходе нейронной сети, а обучение АК восстановлению входных данные таким образом, чтобы информативно узкое место выделяло (как бы узнавало) только полезную информацию.
На сегодняшний день применение АК активно популяризируется в задачах реконструкции изображений и их базовой раскраски, сжатия данных, преобразования изображений в оттенках серого в цветные изображения, создания изображений с более высоким разрешением и т. д. Однако проблема заключается в том, что различные модели АК работают только с данными, которые аналогичны тем, на которых они были обучены, это прикладные данные.
2. Экспериментальное проектирование модели автокодировщика ЭЭГ сигналов
Учитывая приведенные выше теоретические аспекты, был разработан специальный АК для кодирования ЭЭГ-данных. Для получения модели АК использовались прикладные данные, которые представляют собой структурированные записи электрической активности головного мозга человека в результате проведенного эксперимента с устойчиво зрительно вызванным потенциалам (УЗВП, англ. Steady state visually evoked potentials - SSVEP - зрительные вызванные потенциалы устойчивого состояния) - это сигналы, которые головной мозг генерирует в ответ на визуальную стимуляцию с постоянным периодом воздействия.
Когда сетчатка глаза возбуждается вспышками частотой от 3,5 до 75 Гц, мозг генерирует электрическую активность с частотой мигания вспышки [10, 11]. Данный потенциал нашел ши-
рокое применение в задачах разработки и дальнейшей модификации интерфейса «мозг-компьютер» как один из хорошо выявляемых, воспроизводимых и не требующих в большинстве случаев специальной подготовки оператора, феноменов мозговой активности [12-14]. Первичной задачей эксперимента было формирование базы данных с ЭЭГ УЗВП от 30 испытуемых обоих полов в возрасте от 17 до 23 лет (12 девушек и 18 юношей), не имеющих неврологических и психиатрических патологий. Перед экспериментом участники не принимали психотропных препаратов и имели нормальное или скорректированное до нормального зрение. Данные электроэнцефалограммы фиксировались прибором «Нейрон-спектр-4ВП» (ООО «Нейрософт», Россия) на отведениях O1, O2, Oz, P3, P4 и Pz с частотой дискретизации 5 000 Гц, включенным режектор-ным фильтром и отключенным фильтром высоких и низких частот. Фотостимуляция осуществлялась c частотами 1, 8 и 14 Гц. Длительность каждого сеанса УЗВП составляла 15 с.
С целью создания обучающего массива данных для последующего получения модели АК, способного работать с ЭЭГ-информацией, предварительно была проведена работа по их обработке. В первую очередь произведена фильтрация электроэнцефалограмм полосным фильтром Бат-терворта 6-го порядка (order) с пропусканием 2 (lowcut) - 35 (highcut) Гц. Далее сигналы были сгруппированы по частотам фотостимуляции (1, 8 и 14 Гц) и группам отведений «O1», «O2», «Oz», «P3», «P4», «Pz» для каждого испытуемого. С учетом частоты дискретизации после группировки были получены три матрицы с данными:
N = 30*M = 75000* V = 6 элементов, где:
N - порядковый номер испытуемого;
M - количество семплов в сигнале;
V - количество сигналов в группе по каждому испытуемому (также пусть данная величина обозначает множество, состоящее из {«O1», «O2», «Oz», «P3», «P4», «Pz»}).
Несложно заметить, что имеются достаточно большие наборы по M для множества V. Для снижения размерности V произведено ресемплирование каждого сигнала в группах до M = 25 000 с сохранением структуры данных.
Аугментация данных осуществлена за счет «разбивки» признака M на окна по 1260 отсчетов с шагом 625 отсчетов. В сумме для каждого отведения получено по 1140 образцов для последующего глубокого машинного обучения АК.
Итоговая архитектура модели полученного АК - «кодер-декодер» - представляет собой симметричный многослойный мульти-адаптивный нейрон прямого распространения [15-17]. Кодировщик позволяет отобразить признаки размерностью 1260 элементов в признаки размерностью 24 элемента. Однако данная размерность была получена не сразу. Релевантность полученных признаков также оценивалась с помощью глубокой нейронной сети в части декодера, который позволяет реконструировать исходный сигнал (рис. 1).
Input Hidden 1 Hidden 2 Hidden 3 Hidden 4 Hidden 5 Hidden 6 Hidden 7 Output
Relufxl (Input))
Relu(x2(Layer3))
Input = Output
Relu(x6(LayerT))
3.1 t
3.2 ^
Jtehi(x3(Layer4)) 4Д L x4(La\'er5)J 6j
5,1
Relu(x5(Layei€))
, 4,2
6,2
8,1
8,3
2,4
2-b, 2£
, 3,3 К.Щ .ЛАЖ 5=e Ш. ..
Йш^ЩЯР6^
"A 4 J) r \ ^ 6,£>:
,3 ,CJ
code-
v -3)Ш RO 9,4 '
V 8 ,с 'Щ Щ 1........ Ш Ш\9,5)
':-•••: [/У Щ 8,6 Ж Ш .......;
•*'"•* Щу Щ9'а)
Л!М)
.4=1260 5=256
C=128
Output features for classification
„ ,, Information Bottleneck
D=64 Я=24
Relufyl (Layer?,))
decode-
Рис. 1. Граф симметричного многослойного мульти-адаптивного нейрона прямого распространения,
обеспечивающий функции кодера и декодера.
На рис. 1 показана итоговая сеть АК, состоящая из 9 слоев, из которых 7 слоев с персептро-нами скрытые (hiddenl - hidden7). Слои сокращаются к 4-му скрытому слою (5-й слой для всей сети) и также увеличиваются в направлении выходного слоя, образуя симметричную архитектуру нейронной сети. Кроме 5-го выходного слоя - IB, каждый выход внутренних слоев обеспечивается функцией активацией - Relu. Стоит отметить, что, если в каждом слое применить линейную функцию активации, тогда скрытые параметры, присутствующие в IB, напрямую соответствуют основным компонентам из PCA (метода главных компонент).
Обучение АК воспроизводилось до тех пор, пока АК не получался неполным. По результатам каждого цикла глубокого обучения оценивалось представление скрытого пространства изучением информативных признаков в сторону уменьшения размеров IB.
В результате каждого цикла глубокого обучения сети, производилась периодическая прогонка тестовых данных в объеме N= 582 х M = 1260 х V = 6. Далее результаты кодирования подвергались машинной классификации. Входная размерность данных машинной классификации представляла собой следующую структуру: N = 582хМ = pxV = 6, где p - эмпирически подбираемая искомая величина.
Оценка кодированных данных производилась методом «случайного леса» по уровню значимости полученных признаков (рис. 2). В результате отбирались два значимых признака, на основе которых с помощью метода ^-ближайших соседей строились границы решения и выбиралось наилучшее (рис. 3).
а) 6)
Признак. Признак
Рис. 2. Графики относительной важности признаков в наборе данных для отведений 02 - график (а) и Р4 - график (б)
На рис. 2 можно наблюдать границы и кластеры внутри них, которые соответствуют шести отведениям: 01, 02, 02, Р3, Р4 и Рг. Также можно заметить, что скрытое пространство содержит «пробелы» - это эквивалентно отсутствию данных в задаче обучения с учителем, поскольку АК не был обучен этим особенностям скрытого пространства. Другой проблемой является разделимость пробелов, некоторые отведения хорошо разделены на рис. 2, но есть также области, где имеются «вкрапления» одних признаков в другие (в данном случае отведения 02, Р3, Рг), что затрудняет разделение уникальных особенностей данных отведений. Еще одной проблемой здесь является невозможность изучения непрерывного скрытого пространства, например, из-за отсутствия статистической модели АК, которая была бы обучена для произвольного ввода (и отсутствовала бы, даже если бы были заполнены все пробелы в скрытом пространстве).
Обеспечивая начальное условие задачи сжатия р < т, АК доводился до неполного представления и, наоборот - до его переполнения. Так, например, задавая размеры 1В, равные размерам входных данных, АК просто копировал выходные данные на выходе, не извлекая полезные признаки. В случае, если размеры скрытого пространства выбирались большими или равными входным данным, то АК был переполнен. Таким образом, экспериментальные результаты поведения моделей АК не противоречили теоретическим аспектам. Ввиду того, что размерность кодированных данных коррелировали с качеством построенных границ решений, на основе их визуальных оценок подбиралась величинар и результаты границ решений представлены на рис. 3.
В итоге эмпирического подбора параметра р была выбрана наилучшая экспериментальная модель АК, способная сжимать пространство признаков т = 1260 (в исходном смысле ЭЭГ-сигналы длительностью 0,2 с) до пространства размерностью р = 24 с последующей возможностью реконструкции исходного сигнала с потерями не более 10 %.
Рис. 3. Границы решений по отведениям 01, 02, 02, Р3, Р4 и Рг, полученные в результате работы исследуемой модели автокодировщика.
На рис. 4 показаны результаты работы АК. Когда сеть еще не обучена, то на основном выходе наблюдается случайный шум (рис. 4, а и в). После глубокого машинного обучения сети выходной сигнал аппроксимирует входной (рис. 4, б и г).
Рис. 4. Результат работы симметричного многослойного мульти-адаптивного нейрона, обеспечивающего функции кодера и декодера - до (а, в) и после глубокого машинного обучения (б, г).
Заключение
Автоэнкодеры тесно связаны с анализом главных компонент (РСА). С соответствующими ограничениями размерности и разреженности АК могут изучать проекции данных, которые более интересны, чем РСА или другие базовые методы. Это означает, что легко натренировать части алгоритма, которые будут затем хорошо работать на конкретных прикладных данных и не будут требовать применения новых методов, а будут требоваться только соответствующие данные для обучения. По мере того, как АК обучается по заданному датасету, он достигает разумных резуль-
татов сжатия, аналогичных используемому для тренировок набору, но плохо работает как компрессор общего назначения. Однако полученная модель АК может быть использована в теоретических проверках различного рода гипотез, связанных с тематикой интерфейсов «мозг-компьютер».
Благодарность
Авторы благодарят д.т.н. профессора А.В. Богомолова за ценные замечания при обсуждении направлений и результатов исследования.
Литература
1. Новиков, Д.А. Кибернетика 2.0 / Д.А. Новиков // Проблемы управления. - 2016. - № 1. -
C. 73-81.
2. Implementation of Robot-Human Control Bio-Interface when Highlighting Visual-Evoked Potentials Based on Multivariate Synchronization Index / S. Kharchenko, R. Meshcheryakov, Y. Turovsky,
D. Volf // Smart Innovation, Systems and Technologies. - 2021. - Vol. 187. - С. 225-236.
3. Гридин, Л.А. Методологические основы исследования физической работоспособности человека / Л.А. Гридин, А.В. Богомолов, Ю.А. Кукушкин // Актуальные проблемы физической подготовки силовых структур. - 2011. - № 1. - С. 10-19.
4. The Brain Computer Interface Cycle / M.V. Gerven, J. Farquhar, R. Schaefer et al. // Journal of Neural Engineering. - 2009. - Vol. 6, no. 4. - P. 1-10.
5. Дворников, М.В. Технология синтеза законов управления человеко-машинными системами, эксплуатируемыми в условиях высокого риска гипоксических состояний человека / М.В. Дворников, Ю.А. Кукушкин, А.В. Богомолов, Т.В. Матюшев // Двойные технологии. - 2014.
- № 1 (66). - С. 8-11.
6. Исхакова, А.О. Неинвазивный нейрокомпьютерный интерфейс для управления роботом / А.О. Исхакова, Д.А. Вольф, А.Ю. Исхаков // Высокопроизводительные вычислительные системы и технологии. - 2021. - Т. 5, № 1. - С. 166-171.
7. Гузий, А.Г. Теоретические основы функционально-адаптивного управления системами «человек-машина» повышенной аварийности / А.Г. Гузий, А.В. Богомолов, Ю.А. Кукушкин // Мехатроника, автоматизация, управление. - 2005. - № 1. - С. 39-45.
8. Исхакова, А.О. Время-частотные преобразования в анализе паттернов нестационарных квазипериодических биомедицинских сигналов для задач идентификации акустических аномалий / А.О. Исхакова, М.Д. Алёхин, А.В. Богомолов // Информационно-управляющие системы. - 2020.
- № 1 (104). - C. 15-23.
9. Tishby, N. The information bottleneck method / N. Tishby, C.P. Fernando, B. William // ArXiv physics/0004057. - 2000.
10. Chirp-Modulated Visual Evoked Potential as a Generalization of Steady State Visual Evoked Potential / T. Tao, X. Yi, G. Xiaorong, G. Shangkai // Journal of neural engineering. - 2011. - Vol. 9, no. 1. - 016008.
11. Kwak, N.S. Toward Exoskeleton Control Based on Steady State Visual evoked potentials / N.S. Kwak, K.R. Müller, S.W. Lee // 2014 International Winter Workshop on Brain-Computer Interface, BCI 2014. - Gangwon, Korea, 2014.
12. Diagnostic Value of Conventional Visual Evoked Potentials Applied to Patients With Multiple Sclerosis / R. Balnyte, I. Uloziene, D. Rastenyte et al. // Medicina. - 2011. - Vol. 47, Iss. 5. - P. 263269.
13. Markand, O. Visual Evoked Potentials / O. Markand // Clinical Evoked Potentials. - Springer, Cham., 2020. - pp. 83-137.
14. Chaudhary, U. Brain-Machine Interface (BMI) in paralysis / U. Chaudhary, N. Birbaumer, M R. Curado // Annals of Physical and Rehabilitation Medicine. - 2015. - Vol. 58, Iss. 1. - P. 9-13.
15. Adversarial Neural Networks for Error Correcting Codes / H. Nguyen, S. Bottone, K. Kim et al. // 2021 IEEE Global Communications Conference (GLOBECOM), 7-11 December 2021, Madrid, Spain. - 2021.
16. Diagnosing Parkinson by Using Deep Autoencoder Neural Network / U. Kose, O. Deperlioglu, J. Alzubi, B. Patrut // Deep Learning for Medical Decision Support Systems. Studies in Computational Intelligence. - Springer, Singapore, 2020. - Vol. 909. - P. 73-93.
17. Semi-adversarial Networks: Convolutional Autoencoders for Imparting Privacy to Face Images / V. Mirjalili, S. Raschka, A. Namboodiri, A. Ross // 2018 International Conference on Biometrics (ICB). - IEEE, Gold Coast, QLD, Australia, 2018. - P. 82-89.
Поступила в редакцию 3 октября 2022 г.
Сведения об авторах
Мещеряков Роман Валерьевич - доктор технических наук, профессор РАН, Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, Российская Федерация, e-mail: [email protected]
Вольф Данияр Александрович - кандидат технических наук, старший научный сотрудник, Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, Российская Федерация.
Туровский Ярослав Александрович - старший научный сотрудник, Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, Российская Федерация.
Bulletin of the South Ural State University Series "Mathematics. Mechanics. Physics" _2023, vol. 15, no. 1, pp. 34-42
DOI: 10.14529/mmph230104
AN AUTOCODER OF THE ELECTRICAL ACTIVITY OF THE HUMAN BRAIN R.V. Meshcheryakov, D.A. Wolf, Y.A. Turovsky
V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow E-mail: [email protected], [email protected]
Abstract. The authors identify hidden parameters of the function describing the electrical activity of the human brain, obtained using electroencephalography (EEG), with the help of an artificial neural network and deep machine learning. The compression of applied information, necessary to reduce the dimensionality of the feature space of the data in order to obtain a model of an artificial neural network-an autoencoder is formulated. The novelty of the general solution and the theoretical aspects and problems of existing compression methods are described. An experimental study is carried out, which consists in obtaining an autoencoder model using applied data EEG sequences containing visual evoked potentials. The compression problem is solved by decreasing the dimensionality of the multidimensional vector associated with the sample. The autoencoder encodes the original multi-dimensional vector into a vector of smaller dimensionality. Using deep machine learning, a coding function is found such that reverse decoding into the original vector can be performed. As a result of the empirical selection of the vector dimensionality, the best experimental model of the autoencoder was chosen, which compresses the feature space of dimensionality equal to 1260 (in the initial sense EEG signals of duration 0,2 s) to a 24-dimensional space, with the possibility of the reconstruction of the initial signal with losses of not more than 10 %.
Keywords: brain-computer interface; BCI; electroencephalogram; EEG; control; feature dimensionality reduction; evoked potentials; autoencoder; encoding.
References
1. Novikov D.A. Cybernetics 2.0. Probl. Upr, 2016, no. 1, pp. 73-81. (in Russ.).
2. Kharchenko S., Meshcheryakov R., Turovsky Y., Volf D. Implementation of Robot-Human Control Bio-Interface when Highlighting Visual-Evoked Potentials Based on Multivariate Synchronization Index. Smart Innovation, Systems and Technologies, 2021, Vol. 187, pp. 225-236. DOI: 10.1007/978-981-15-5580-0_18
3. Gridin L.A., Bogomolov A.V., Kukushkin Y.A. Methodological bases of Physical Working Capacity Investigation. Aktual'nye problemy fizicheskoy podgotovki silovykh struktur, 2011, no. 1, pp. 1019. (in Russ.).
4. Gerven M.V., Farquhar J., Schaefer R., Vlek R., Geuze J., Nijholt A., Ramsey N., Haselager P., Vuurpijl L., Gielen S., Desain P. The Brain Computer Interface Cycle. Journal of Neural Engineering, 2009, Vol. 6, no. 4, pp. 1-10. DOI 10.1088/1741-2560/6/4/041001
5. Dvornikov M., Kukushkin Y., Bogomolov A., Matyushev T. Synthesis Technology Control Laws of Man-Machine Systems Operating in High-Risk Human Hypoxic Conditions. Dvoynye tekhnologii, 2014, no. 1 (66), pp. 8-11. (in Russ.).
6. Iskhakova A.O., Volf D.A., Iskhakov A.Y. Non-Invasive Neurocomputer Interface for Robot Control. Vysokoproizvoditel'nye vychislitel'nye sistemy i tekhnologii, 2021, Vol. 5. no. 1, pp. 166-171. (in Russ.).
7. Guziy A.G., Bogomolov A.V., Kukushkin Yu.A. Teoreticheskie osnovy funktsional'no-adaptivnogo upravleniya sistemami "chelovek-mashina" povyshennoy avariynosti (Theoretical foundations of functional and adaptive control of man-machine systems with increased accident rate). Mekhatronika, avtomatizatsiya, upravlenie, 2005, no. 1, pp. 39-45. (in Russ.).
8. Iskhakova A.O., Alekhin M.D., Bogomolov A.V. Time-Frequency Transforms in Analysis of Non-Stationary Quasi-Periodic Biomedical Signal Patterns for Acoustic Anomaly Detection. Information and Control Systems, 2020, no. 1 (104), pp. 15-23. DOI: 10.31799/1684-8853-2020-1-15-23
9. Tishby, N., Fernando C.P., William B. The information bottleneck method. ArXiv physics/0004057, 2000. (https://www.researchgate.net/publication/2844514_The_Information_Bottleneck_ Method)
10. Tao T., Yi X., Xiaorong G., Shangkai G. Chirp-Modulated Visual Evoked Potential as a Generalization of Steady State Visual Evoked Potential. Journal of neural engineering, 2011, Vol. 9, no. 1, 016008. DOI 10.1088/1741-2560/9/1/016008
11. Kwak N.S., Müller K.R., Lee S.W. Toward Exoskeleton Control Based on Steady State Visual evoked potentials. Proc. 2014 International Winter Workshop on Brain-Computer Interface, BCI 2014, Gangwon, Korea, 2014. DOI: 10.1109/iww-BCI.2014.6782571
12. Balnyte R., Uloziene I., Rastenyte D., Vaitkus A., Malciene L., Lauckaite K. Diagnostic Value of Conventional Visual Evoked Potentials Applied to Patients With Multiple Sclerosis. Medicina, 2011, Vol. 47, Iss. 5, pp. 263-269. DOI: 10.3390/medicina47050037
13. Markand, O.N. Visual Evoked Potentials. In: Clinical Evoked Potentials. Springer, Cham.,
2020, pp. 83-137. DOI: 10.1007/978-3-030-36955-2_3
14. Chaudhary U., Birbaumer N., Curado M.R. Brain-Machine Interface (BMI) in paralysis. Annals of Physical and Rehabilitation Medicine, 2015, Vol. 58, Iss. 1, pp. 9-13. DOI: 10.1016/j.rehab.2014.11.002
15. Nguyen H., Bottone S., Kim K., Chiang M., Poor H.V. Adversarial Neural Networks for Error Correcting Codes. 2021 IEEE Global Communications Conference (GLOBECOM), 7-11 December
2021, Madrid, Spain. 2021.
16. Kose U., Deperlioglu O., Alzubi J., Patrut B. Diagnosing Parkinson by Using Deep Autoencoder Neural Network. In: Deep Learning for Medical Decision Support Systems. Studies in Computational Intelligence, Vol. 909, Springer, Singapore, 2021, pp. 73-93. DOI: 10.1007/978-981-15-6325-6_5
17. Mirjalili V., Raschka S., Namboodiri A., Ross A. Semi-adversarial Networks: Convolutional Autoencoders for Imparting Privacy to Face Images. 2018 International Conference on Biometrics (ICB), IEEE, Gold Coast, QLD, Australia, 2018, pp. 82-89. DOI: 10.1109/ICB2018.2018.00023
Received October 3, 2022
Information about the authors
Meshcheryakov Roman Valer'evich is Dr. Sc. (Engineering), Professor of Russian Academy of Sciences, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russian Federation, e-mail: [email protected]
Vol'f Daniyar Aleksandrovich is Cand. Sc. (Engineering), Senior Staff Scientist, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russian Federation.
Turovskiy Yaroslav Aleksandrovich is Senior Staff Scientist, V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russian Federation.
