CC BY
36
УПРАВЛЕНИЕ В МЕДИЦИНЕ И БИОЛОГИИ /
УДК 616.8, 57.087, 51-7 йок10.15217/155п1684-8853.2018.1.106
МЕТОД ВЕЙВАЕТ-АНАДИЗА ПАТТЕРНОВ ДВИГАТЕЛЬНОЙ АКТИВНОСТИ НА ЭКСПЕРИМЕНТАЛЬНЫХДАННЫХ МНОГОКАНАЛЬНОЙ ЭЛЕКТРОЭНЦЕФАЛОГРАФИИ ЧЕЛОВЕКА ДЛЯ УПРАВЛЕНИЯ ВНЕШНИМИ УСТРОЙСТВАМИ
A. Е. Рунноваа, канд. физ.-мат. наук, доцент, [email protected]
B. А. Максименко3, канд. физ.-мат. наук, доцент, [email protected]
C. В. Пчелинцеваа, канд. техн. наук, доцент, [email protected] Р. А. Куланин3, научный сотрудник, [email protected]
А. Е. Храмова, доктор физ.-мат. наук, профессор, [email protected]
аСаратовский государственный техническийуниверситет им. Гагарина Ю. А., Политехническаяул., 77, Саратов, 410054, РФ
Постановка проблемы: большой интерес современной фундаментальной и технической науки к разработке нейро-интерфейсов связан с созданием устройств как для повышения качества жизни и преодоления ограничений возможно-стейлюдей, так и в рамках исследования функционирования различных отделов головного мозга и сознания человека. Среди основных проблем современных методов расшифровки паттернов регистрируемой активности головного мозга, лежащих в основе систем управления подобными устройствами (нейроинтерфейсами), выделим низкую эффективность методов распознавания паттернов и большие затраты времени тренировки операторов нейроинтерфейсов. Цель исследования: разработка методов для распознавания паттернов, ассоциированных с разнообразной двигательной активностью нетренированных операторов. Результаты: на основе вейвлетных технологий предложены новые способы изучения разновидных паттернов активности головного мозга, коррелируемых с различными типами двигательной активности: модифицирован в целях сокращения расчетного времени морле-базис, описаны подходы оценки энергетической мощности процессов на электроэнцефалограмме на основе расчета скелетонных характеристик. Приведены примеры обработки экспериментальных данных, зарегистрированных в группе добровольцев без тренировочного периода. Впервые выявлены характерные особенности паттернов различной двигательной активности (воображаемой и действительной, движений ног/рук). Показана универсальность обнаруженных паттернов на электроэнцефалографических данных для добровольцев, принявших участие в экспериментальных работах. Практическая значимость: выявленные особенности «двигательных» паттернов, а также методы обработки электроэнцефалографических сигналов могут быть использованы для построения устройств — нейроинтерфейсов, расшифровывающих электрическую активность головного мозга практически без тренировки оператора.
Ключевые слова — электроэнцефалография, паттерн, непрерывное вейвлетное преобразование, частотно-временная динамика.
Цитирование: Руннова А. Е., Максименко В. А., Пчелинцева С. В., Куланин Р. А., Храмов А. Е. Метод вейвлет-анализа паттернов двигательной активности на экспериментальных данных многоканальной электроэнцефалографии человека для управления внешними устройствами // Информационно-управляющие системы. 2018. № 1. С. 106-115. doi:10.15217/issn1684-8853.2018.1.106 Citation: Runnova А. Е., Maksimenko V. A., Pchelintseva S. V., Kulanin R. A., Hramov А. Е. Wavelet Method for Motor Activity Pattern Analysis on Experimental Data from Human Multichannel Electroencephalography for External Device Control. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 1, pp. 106-115 (In Russian). doi:10.15217/issn1684-8853.2018.1.106
Введение
Представленная научная работа лежит в области нейронаучных исследований. На сегодня нейронаука — это активно развивающееся междисциплинарное научное направление, сочетающее в себе физико-математические и технические подходы к обработке биологических и медицинских данных. Подобные комбинации методов и современных регистрирующих устройств как позволяют продвинуться в понимании принципов функционирования головного мозга и сознания человека, так и способствуют решению ряда прикладных задач, связанных с лечением и (или) улучшением качества жизни людей, в част-
ности разработке нейроинтерфейсных устройств. Особо важную роль нейроинтерфейсы играют в создании различных протезов и экзоскелетов, реализующих возможности восстановления двигательной активности человека при ее нарушениях и управляемых на основе расшифровки регистрируемых сигналов с головного мозга человека. Наиболее часто используются при создании подобных устройств электроэнцефалографические регистрации активности головного мозга, что связано с неинвазивностью, удобностью применения, безопасностью и мобильностью современных электроэнцефалографов [1-4]. Кроме того, современные регистрирующие приборы позволяют сочетать высокое качество сигналов электро-
энцефалограммы (ЭЭГ) с относительно низкой ценой их эксплуатации. В настоящее время обработка и расшифровка подобных регистрируемых сигналов привлекает к себе обширное внимание исследователей [5-7]. Однако существенным недостатком многочисленных подходов остается низкая эффективность, сильная индивидуализация каждого оператора и длительный срок обучения оператора для достижения стабильно высокого качества работы алгоритма. В данной статье предлагаются методы обработки коротких паттернов на ЭЭГ-данных на основе вейвлетно-го преобразования и приводятся результаты их применения на экспериментальных сигналах. Усилия по созданию подходов к диагностике особенностей ЭЭГ-паттернов направлены на распознавание сигналов, соответствующих различной двигательной активности человека, — движений как в реальности, так и только в воображении человека. Отметим, что именно опыт «воображаемой» двигательной активности является основным объектом работы при функционировании нейроинтерфейса, управляющего протезными конструкциями. Целью работы является создание объективного и, в идеале, универсального инструмента работы с ЭЭГ-данными, не требующего длительного обучения оператора нейроинтерфей-са для управления внешними устройствами.
Экспериментальные данные
Проведена серия экспериментальных работ в группе из 25 неоплачиваемых условно здоровых добровольцев (15 женщин, 10 мужчин, возраст варьировался от 20 до 34 лет, физическое состояние добровольцев соответствовало характеристикам нормального индекса массы тела и среднего уровня физической активности). Все добровольцы были проинструктированы о необходимости перед проведением исследований в течение трех дней соблюдать режим полноценного ночного отдыха. Исследования велись в утренний и дневной периоды (9-13 часов) через 2 часа после необильного приема пищи с ограничением потребления кофеина и (или) иных стимулирующих добавок к пище. В рамках проводимых исследований использовался монополярный способ регистрации и расширенная расстановка электродов ЭЭГ «1010», позволяющая оценить активность коры головного мозга по проекциям всех основных зон [1, 3]. На рис. 1 приведена схема расстановки 31 активного регистрирующего электрода с указанием их принятых обозначений. Дополнительно отмечены три электрода (А1, А2 и обеспечивающие необходимые, так называемые индифферентные, точки, в которых электрические процессы минимальны и относительно которых
Oz
'О02 О 01 о4
/Т6 Р4 Pz РЗ Т5\
Ю О О О OS
ТР8 Ср4 Cpz СрЗ ТР7
О О О О О
Т4 С4 Cz сз тз
О О О О О
FT8 FC4 Fez FC3 FT7
О О О О О
F8 F4 Fz F3 F7
О О О О О/
N
Fp2 Fpz Fp1
О Оу
■ Рис. 1. Схема расстановки скальповых электродов «10-10»
■ Fig. 1. The scheme of the scalp electrodes arrangement "10-10"
ведется регистрация ЭЭГ в активных каналах. Регистрация ЭЭГ-данных велась на электроэнцефалографическом оборудовании «Энцефалан-ЭЭГР-19/26» (ООО НПКФ «Медиком МТД», РФ). Частота дискретизации ЭЭГ составляла 250 Гц, частотный диапазон данных составлял от 0,016 до 70 Гц с применением режекторного фильтра на 50 Гц. Дизайн и оборудование экспериментальной работы одобрены комиссией по этике СГТУ им. Гагарина Ю. А.
После установки всех необходимых датчиков специалист-психолог проводил короткую личную беседу с добровольцем, подготавливая его к концентрации на своих двигательных ощущениях. Активная фаза эксперимента предполагала чередование периодов реальной и воображаемой двигательной активности. Испытуемый сидел в удобном положении, получая аудиальные команды, которые дублировались для его удобства в виде текста на экран перед ним. В эксперименте использовались реальные и воображаемые движения левой/ правой рукой (взмахи и сжатия в кулак), а также движения в бедренном суставе левой/правой ноги. После каждой команды в течение 2-2,5 мин следовали серии ее выполнения оператором. Между сериями двигательной активности для расслабления, отдыха, а также восстановления способности к концентрации испытуемого вводились паузы, во время которых проигрывалась легкая музыка. Для сравнения с состоянием пассивного бодрствования в конце и начале каждого эксперимента были дополнительно зарегистрированы короткие фрагменты фоновой активности (7-10 мин). Особо
выделим тот факт, что все добровольцы не имели возможности «тренировки» своих способностей к воображению или осознанию двигательной активности, и, таким образом, исследование велось на неподготовленных операторах.
Обработка данных
В основу создания методики обнаружения коротких паттернов на ЭЭГ положен анализ энергетических характеристик регистрируемых сигналов на базе непрерывного вейвлетного преобразования [8, 9]:
1 I ± — t I
w(в, | | —р.
(1)
где x(t) — временная реализация экспериментального сигнала; (£) — материнский вейв-лет; в — временной масштаб, определяющий ширину вейвлета, однозначно связанный с классическими частотами преобразования Фурье; символ «*» обозначает комплексное сопряжение. Вейвлетный анализ является на сегодня одним из наиболее мощных математических инструментов для обработки сложных нестационарных зашумленных данных, ограниченных короткими временными рядами [8, 10].
Важным фактором успешности применения вейвлетного преобразования к различным экспериментальным данным является выбор функции материнского вейвлета (вейвлет-базиса). В подобных задачах, связанных с анализом ЭЭГ-сигналов, обычно используется широко известный вейвлет Морле [8]
у(Г|) = (1/Уп)ехр(Ю0г|)ехр/ 21
(2)
с параметром О0 = 2л, что обеспечивает однозначную взаимосвязь между временным масштабом в вейвлетного преобразования и частотой f фурье-преобразования, а именно f=1/s. Вейвлет Морле имеет очевидные преимущества по сравнению с вещественными вейвлет-базисами: высокую частотно-временную локализацию, возможность проводить оценку мгновенной частоты и фазы ритмических процессов, наглядное представление результатов спектрального анализа в виде частотно-временных спектров, простоту интерпретации результатов расчетов из-за сходства усредненных энергетических спектров (скалограмм) с классическим спектром мощности, основанным на преобразовании Фурье. Материнский вейвлет Морле хорошо зарекомендовал себя при использовании в исследованиях динамики мозга на ЭЭГ-данных у людей и животных, в частности, при изучении эпилептических
явлений [10, 11], когнитивных процессов [12-14] и т. д. [7-9]. Однако поставленная задача, связанная с исследованием «двигательных паттернов» на ЭЭГ, требует анализа крайне коротких временных рядов. В связи с этим была проведена адаптация параметров классического вейвлета Мор-ле. Целью данной модификации являлось уменьшение длины участка ЭЭГ, необходимого для расчета вейвлетного спектра в низкочастотной области [15]. На начальном этапе проводилась оценка длины данного участка, необходимой для использования базиса Морле. В результате была построена зависимость длины временного интервала от частоты в диапазоне 1-30 Гц (рис. 2, а). Полученные результаты сопоставлены с временным интервалом, ассоциирующимся с изменениями частотно-временных свойств сигнала при выполнении или воображении движений. С учетом результатов сопоставления сформулированы требования к оптимальной ширине временного окна, необходимого для построения вейвлетного спектра в дельта-области (1-5 Гц). В результате в классический базис Морле (2) был введен множитель, обеспечивающий ускорение снижения амплитуды огибающей вейвлетной функции у:
Чт СП) = 7Г=
ехр(Ю0г|) ехр (3)
Оценка ширины временного окна, необходимого для выделения низкочастотных спектральных компонент на основе классического (2) и модифицированного (3) вейвлетов Морле, приведена на рис. 2, б, где {к1, ^ обозначают максимальные временные интервалы, необходимые для расчета энергии спектра на основе классической и модифицированной вейвлетной функции Морле соответственно. Таким образом, для вычисления энергии на частоте 1 Гц модифицированный вейвлет (3) использовал интервал времени 2 с, в то время как стандартный вейвлет Морле (2) — 8 с. Полученное преимущество позволило эффективно выявлять быстрые изменения частотно-временной структуры ЭЭГ, ассоциирующиеся с движениями.
Для обработки ЭЭГ-данных применялось вейвлетное преобразование (1) с базисом (3) в частотном диапазоне 1-40 Гц. Для каждого момента времени t0 был рассчитан моментальный спектральный срез Е( (в) сигнала Ж(в, {):
Е1п (5) = )Г
(4)
Соотношение (4) рассчитывается по всему диапазону масштабов в вейвлетного преобразования. Затем полученные вейвлетные спектры усреднялись на временных интервалах, соответству-
а) 8(f), c f
3 2,5 2
1,5 1
0,5
4 6 8 10 12 14 16 18 20 f, Гц
2 с
■ Рис. 2. Сравнение длительностей временных окон, необходимых для расчета классического и модифицированного вейвлетного преобразования: а — зависимость длины временного интервала, необходимого для вычисления энергии вейвлетного спектра на различных частотах при помощи вейвлетной функции Морле (81(f)) и модифицированного вейвлета (82(f)); б — пример использования вейвлетной функции Морле и модифицированного вейвлета для анализа отрезка ЭЭГ
■ Fig. 2. Comparison of the durations of the time windows necessary for the calculation of the classical and modified wavelet transforms: а — the dependence of the length of the time interval necessary to calculate the energy of the wavelet spectrum at various frequencies using the Morlet wavelet function (81(f)) and the modified wavelet (82(f)); б — an example of using the Morlet wavelet function and a modified wavelet for analyzing an EEG segment
0
ющих различным типам фоновой активности и периодам различных воображаемых и реальных движений. Длительность рассматриваемого временного интервала была выбрана 4 с. В результате для каждого типа событий для каждого испытуемого был получен набор N х М вейвлетных спектров (М — число разных событий, N = 31 — число каналов ЭЭГ). На основе полученных спектров были рассчитаны средние вейвлетные энергии. На рис. 3, а представлены рассчитанные распределения средней энергии ЭЭГ-сигналов по различным отведениям, усредненные по группе испытуемых для соответствующих сессий: реальное движение правой рукой (обозначено как КИК), воображаемое движение правой рукой (КН1) и фоновой активности (BCG). На рисунке также показан разброс значений в пределах группы испытуемых. На рис. 3, б показаны рассчитанные изменения энергии, соответствующие различным отведениям ЭЭГ, ассоциирующиеся с переходом от фоновой активности — к реальному движению (<ЕКНК — Евте>), от фоновой активности — к воображаемому движению (<ЕКН1 — Евте>), от воображаемого движения — к реальному (<ЕКНК — ЕКН1>). Рис. 3, в демонстрирует пространственные локализации наиболее существенных изменений распределения величин, характеризующих изменения энергии при переходе от одного типа активности к другому, по различным отведениям ЭЭГ на двумерной плоскости. На рис. 3 хорошо прослеживается от-
личие паттернов, соответствующих двигательной активности, от фонового пассивного участка ЭЭГ. Кроме того, необходимо отметить разную структуру и при сравнении энергетической характеристики фоновой ЭЭГ (BGG) с моментами реальной (КНК) и воображаемой (КН1) активности. Внизу рис. 3 приведена горизонтальная таблица обозначений всех активных каналов, наименования каналов являются международными и соотнесены со схемой на рис. 1
Таким образом, спектральная структура временных интервалов регистрации событий, связанных с реальной или воображаемой двигательной активностью, существенно различается по интенсивности колебательной активности на различных каналах регистрации. Обратимся теперь к более детальному с точки зрения спектральной структуры анализу конкретных особенностей, связанных с реальной или воображаемой двигательной активностью определенного типа. Для этих целей также исследованы интервалы времени, соответствующие отдельным событиям, но общий частотный диапазон был разделен на классически выделяемые в электрофизиологии спектральные интервалы, и затем каждый частотный интервал анализировался отдельно.
Подобная методика предоставила возможности и детального изучения свойств каждого паттерна, и описания обнаруженных особенностей в традиционных для нейронауки терминах. Нами были рассмотрены три классических частотных диа-
I
в о
"О >
С S
0
1 I
о
-к Z1
5
ш
5 Е
S m п S п ч
^ <£rhr>
80 60 40 20 0
б) ^RHR ~~ -EBCG>
30 20
в)
<ERm>
80 60 40 20 0
10 15 20 25 30 35
п
<ebcg>
80 60 40 20
10 15 20 25 30 35
п
10 О -10
-20
г!;-:;!
TTt^tff^ ni!|,|
О 5 10 15 20 25 30 35
п
^RHI -EBCG> 20
О
-20 -40
г| -¡т^г,-!.
О 5 10 15 20 25 30 35
п
^RHR — -^RHI>
30 20 10 О -10
w^Mt
и
и
^RHR -EBCG>
^RHI -EBCG>
О
-2 -4
<-erhi -^bcg >
10
5 0
0 5 10 15 20 n 25 30 35 0 5 10 15 n 20 25 30 35
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
Ol P3 CP3 C3 T5 TP7 T3 FC3 F3 Fpl FT7 F7 Oz Pz CPz Cz FCz Fz Fpz F8 FT 8 Fp2 F4 FC4 T4 TP8 T6 C4 CP4 P4 02
< □
ГО
>
m I
s m ro
m >
I m
m s о
■ Рис. 3. Энергетическая характеристика активности головного мозга на ЭЭГ: а — распределения средней энергии ЭЭГ-сигналов по различным отведениям п, усредненные по группе испытуемых для соответствующих сессий; б — изменения энергии, соответствующие различным отведениям ЭЭГ; в — распределения величин, характеризующих изменения энергии при переходе от одного типа активности к другому, по различным отведениям ЭЭГ на двумерной плоскости
■ Fig. 3. Energy characteristic of brain activity on the EEG: a — the average energy distributions of the EEG signals for different leads n, averaged over the group of subjects for the respective sessions; б — energy changes corresponding to different EEG leads; в — distributions of the quantities characterizing the changes in energy during the transition from one type of activity to another, along different EEG leads on a two-dimensional plane
NJ
о
пазона, выбранных согласно традиционным представлениям о структуре ЭЭГ-сигналов [1-5, 16]: дельта-диапазон (1-5 Гц), альфа-диапазон (8-12 Гц) и бета-диапазон (20-30 Гц), — каждый из которых рассматривался отдельно. Для каждого уникального события рассмотрен интервал времени длительностью 6 с, содержащий интервалы (по 3 с) до и после начала выполнения действия. Для каждого интервала получена частотно-временная зависимость спектральной энергии для каждого из N = 31 отведений ЭЭГ. В результате для каждого из испытуемых получен набор из N зависимостей. На рис. 4 данные зависимости, являющиеся результатом обработки данных отдельных «обычных» эпизодов двигательной активности одного из испытуемых, расположены на листе в соответствии с положением отведений ЭЭГ. Рис. 4, а соответствует выполнению реального движения, рис. 4, б — воображаемого движения. Штриховая линия обозначает момент времени, соответствующий началу выполнения действия, каждая схема содержит интервал времени (3 с), предшествующий выполнению движения, и интервал времени (3 с), соответствующий выполнению движения. Легенда в левом нижнем углу показывает границы рассматриваемого пространственно-временного окна.
Кроме того, для анализа общей картины изменения спектральных характеристик нами проведено усреднение полученных значений энергии по боль-
шому (~100) числу однотипных событий отдельно для каждого из испытуемых. Для вышеуказанных частотных диапазонов альфа, бета и гамма были рассчитаны значения вейвлетной энергии, усредненные по интервалу времени 4 с после подачи звукового сигнала (сигнала к началу осуществления или воображения движения), отдельно для каждого из 31 отведения ЭЭГ. Полученные значения энергии были затем усреднены по большому (~100) числу однотипных событий отдельно для каждого испытуемого. На рис. 5 представлены результаты на примере четырех различных типов событий (двух реальных — движение правой и левой рукой и двух воображаемых — воображение движения правой и левой рукой соответственно).
Для уточнения характера качественных отличий между частотной динамикой паттернов, соответствующих различным типам движений, проведена детализация анализа энергетических соотношений по всему частотному спектру. Для этих целей анализируемая спектральная область (1-40 Гц) была разбита на узкие (~2 Гц) интервалы частот, в которых проанализирована вейвлетная энергия при тех же типах движения. На рис. 6 демонстрируются результаты энергетического анализа с расширенной частотной детализацией в пространственных распределениях по скальповому расположению электродов. Плавающее значение длительности интервала
а)
F7
ТЗ
Fp1
—
F3
сз
Fpz
Fz
Cz
Fp2
F4
F8
C4
P4
02
T4
T6
I _ I
0
t,c
б)
I F7
T3
„ f
Fp1
F3
Wt
i
T5
C3
! Fz
Cz
30 25 20 f. ГЦ 15 10 5" ФОНОВАЯ _ ДРОБА__ ВООБРАЖЕНИЕ ДВИЖЕНИЯ
3 0 3 f,c
Fpz
PZ
Oz
Fp2
F4
C4
P4
02
T4
1 >1
T6
■ Рис. 4. Пространственно-временные зависимости, характеризующие эпизод реального (а) и воображаемого (б) движения правой рукой
■ Fig. 4. Spatio-temporal dependence for an episode of the real (a) and of an imaginary (б) movement with the right hand
ISJ
I
e о
"0 >
С
s
0
1 I
о
-к Z1
5
m
5
E s
m n S n 4
ISJ
о
«) 0,6 r<^8>
0,4 0,2
6)
e)
0,4 0,3 0,2 0,1
0 5 10 15 n 20 25 30 0 5 10 15 n 20 25 30 0 5 10 15 20 n 25 30
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
Ol P3 CP3 C3 T5 TP7 T3 FC3 F3 Fpl FT 7 F7 Oz Pz CPz Cz FCz Fz Fpz F8 FT 8 Fp2 F4 FC4 T4 TP8 T6 C4 CP4 P4 02
реальное движение левой рукой реальное движение правой рукой
воображаемое движение левой рукой воображаемое движение правой рукой
■ Рис. 5. Усредненные по частотным диапазонам дельта [1-5 Гц] (а), альфа [8-12 Гц] (б) и бета [20-30 Гц] (в) зависимости спектральной энергии сигналов ЭЭГ, соответствующие выполнению реальных и воображаемых движений
■ Fig. 5. The dependences of the spectral energy of the EEG signals, averaged over the frequency ranges of alpha delta [1-5 Hz] (a), alpha [8-12 Hz] (6) and beta [20-30 Hz] (e), corresponding real and imaginary movements
1-5 Гц
Ф ф
5-7 Гц
8-12 Гц
12-15 Гц
15-17 Гц
17-19 Гц
19-21 Гц
21-23 Гц
т #
wl в
О. в
£ Л I А
ш\ ш
¡Л
RH Re
#j #
i RH Im
i FON
■ Рис. 6. Значения спектральной энергии сигналов ЭЭГ, усредненной по набору частотных интервалов, для реальных (RH_Re), воображаемых (RH_Im) движений правой рукой и для фоновой активности (FON)
■ Fig. 6. The values of the spectral energy of EEG signals averaged over a set of frequency intervals for real (RH_Re), imaginary (RH_Im) motions with the right hand and for background activity (FON)
< □
ГО
>
m I
s m ro
m >
I m
m s о
s
рассматриваемых частот выбрано с позиции наибольшей наглядности. В рамках — наиболее отличающиеся по своим энергетическим характеристикам спектральные диапазоны.
Заключение
В результате расчета и анализа вейвлетных характеристик (1), (3), (4) были выявлены некоторые характерные особенности структуры сигналов ЭЭГ, ассоциирующихся с различными типами движений (воображаемыми и реальными). В первую очередь, анализ изменения энергии электрических колебаний, регистрируемых посредством ЭЭГ, показывает, что во время последовательного выполнения реальных движений наблюдается увеличение энергии сигналов ЭЭГ, снимаемых с лобной области. При этом наблюдается одновременное (менее значительное) уменьшение энергии в затылочной области. Наименьшие изменения рассматриваемой энергетической характеристики наблюдаются в теменной области. В отличие от реального движения, воображаемое движение характеризуется уменьшением энергии в лобных долях и увеличением энергии в затылочной и теменной областях (см. рис. 3).
В то же время проведенный анализ изменений энергетических характеристик во времени показывает, что при реальных и воображаемых движениях наблюдается противофазное изменение энергии ЭЭГ в лобной и теменной областях: в случае реального движения наблюдается локальное увеличение энергии в течение первой секунды после предъявления звукового стимула (сигнала к началу выполнения движения), а в случае воображаемого — локальное уменьшение. При этом средняя во времени энергия колебаний ЭЭГ в лобной области оказывается большей при реальном движении, а в теменной — при воображаемом (см. рис. 3).
Литература
1. Schomer D. H., Lopes da Silva F. H. Nidermeyer's.
Electroencephalography. — Philadelphia: Lippincott Williams & Wilkins, 2011. — 1296 p.
2. Гусельников В. И. Электрофизиология головного мозга. — М.: Высш. шк., 1976. — 423 с.
3. Жирмунская Е. А. Клиническая электроэнцефалография. — М.: МЭЙБИ, 1991. — 118 с.
4. Зенков Л. Р. Клиническая электроэнцефалография (с элементами эпилептологии). — М.: МЕДпресс-информ, 2004. — 368 с.
5. Freeman W. J., Quiroga R. Q. Imaging Brain Function with EEG: Advanced Temporal and Spatial Analysis of Electroencephalographic. — N. Y.: Springer Science+Business Media, 2013. — 245 p.
Анализ энергетических изменений в частотно-временных доменах показал, что в случае воображаемого движения большая часть энергии сосредоточена в диапазоне 8-12 Гц (альфа-ритм) в затылочной и теменной областях. При воображении движения происходит увеличение энергии в данной области спектра. В то же время в лобных долях увеличение энергии в диапазоне 8-12 Гц (мю-ритм) сопровождается более значительным уменьшением энергии в низкочастотной области (1-5 Гц). В случае реального движения наблюдается уменьшение энергии в области частот бета-диапазона (15-30 Гц) в затылочной части, уменьшение энергии в диапазоне 8-12 Гц — в затылочной и теменной областях и увеличение энергии на низких частотах — в лобных долях (см. рис. 4).
Отметим, что проведение статистического усреднения по набору событий демонстрирует сохранность выявленных особенностей в частотных диапазонах гамма, альфа и бета по «двигательным» паттернам на ЭЭГ (см. рис. 6). Кроме того, проведенная частотная детализация спектрального состава ЭЭГ-паттернов позволяет уточнить рамки наблюдающихся отличий между паттернами. Максимальные различия, способные достоверно определяться в численной обработке, лежат в диапазонах 5-7 и 15-19 Гц.
Таким образом, в результате проведенного вейвлетного анализа были установлены достоверные различия между случаями реального и воображаемого движения. Полученные результаты носят междисциплинарный характер и являются важными как для понимания физиологических механизмов электрической активности головного мозга, так и для проектирования нейро-интерфейсов «мозг — компьютер», управляемых воображением тех или иных движений.
Работа поддержана РФФИ (проект № 16-29-08221_офи_м).
6. Kropotov J. D. Quantitative EEG, Event-Related Potentials and Neurotherapy. — Elsevier Science Publishing, 2008. — 600 p.
7. Shanbao Tong, Nitish V. Quantitative EEG Analysis Methods and Clinical Applications. — Boston: Ar-tech House, 2009. — 421 p.
8. Hramov A. E., Koronovskii A. A., Makarov V. A., Pavlov A. N., Sitnikova E. Wavelets in Neuroscience. — Springer Heidelberg New York Dordrecht London, 2015. — 314 p. doi:10.1007/978-3-662-43850-3
9. Короновский А. А., Храмов А. Е. Непрерывный вейвлетный анализ и его приложения. — М.: Физ-матлит, 2003. — 176 c.
10. Sitnikova E. Yu., Hramov A. E., Grubov V. V., Koronovskii A. A. Rhythmic Activity in EEG and Sleep
in Rats with Absence Epilepsy // Brain Research Bulletin. 2016. Vol. 120. P. 106-116.
11. Hramov A. E., Koronovskii A. A., Midzyanovskaya I. S., Sitnikova E. Yu., van Rijn С. М. On-off Intermittency in Time Series of Spontaneous Paroxysmal Activity in Rats with Genetic Absence Epilepsy // Chaos. 2006. Vol. 16. N 4. P. 043111.
12. Runnova A. E., Zhuravlev M. O., Pisarchik A. N., Khramova M. V., Grubov V. V. The Study of Cognitive Processes in the Brain EEG during the Perception of Bistable Images using Wavelet Skeleton // Proc. SPIE. 2017. Vol. 10063. P. 1006319. doi:10.1117/ 12.2250403
13. Руннова А. Е., Журавлев М. О., Лопатин Д. В. Математическое моделирование некоторых аспектов когнитивного распознавания сложных объектов с пространственной перспективой // Вестник ТГУ. 2017. № 1(22). С. 33-38. doi:10.20310/1810-0198-2017-22-1-33-38
14. Runnova A. E., Zhuravlev M. O., Khramova A. E., Pisarchik A. N. The Study of Evolution and Depression of the Alpha-rhythm in the Human Brain EEG by Means of Wavelet-based Methods // Proc. SPIE. 2017. Vol. 10337. P. 1033713. doi:10.1117/12.2267699
15. van Luijtelaar G., Lüttjohann A., Makarov V. V., Maksimenko V. A., Koronovskii A. A., Hramov A. E. Methods of Automated Absence Seizure Detection, Interference by Stimulation, and Possibilities for Prediction in Genetic Absence Models // Journal of Neuroscience Methods. 2016. Vol. 260. P. 144-158.
16. Jensen O., Goel P., Kopell N., Pohja M., Hari R., Er-mentrout B. On the Human Sensorimotor-cortex Beta Rhythm: Sources and Modeling // Neuroimage. 2005. N 2(26). P. 347-355. doi:10.1016/j.neuroimage.2005. 02.008
UDC 616.8, 57.087, 51-7 doi:10.15217/issn1684-8853.2018.1.106
Wavelet Method for Motor Activity Pattern Analysis on Experimental Data from Human Multichannel Electroencephalography for External Device Control
Runnova A. E.a, PhD, Phys.-Math, Associate Professor, [email protected] Maksimenko V. A.a, PhD, Phys.-Math, Associate Professor, [email protected] Pchelintseva S. V.a, PhD, Tech., Associate Professor, [email protected] Kulanin R. A.a, Research Fellow, [email protected] Hramov A. E.a, Dr. Sc., Phys.-Math., Professor, [email protected]
aYuri Gagarin State Technical University of Saratov, 77, Politechnicheskaia St., 410054, Saratov, Russian Federation
Introduction: The modern fundamental and technical science has a great interest in neural interface development, as it aims at both improving life quality and studying the functioning of a human brain. Neural interface devices are based on recognizing the patterns of recorded brain activity, and their main problems are low efficiency of pattern recognition techniques and long time necessary to train the operators. Purpose: Developing methods for recognizing patterns associated with various motor activity of untrained operators. Results: Based on wavelet technologies, new methods are proposed for studying various patterns of brain activity which correlate with various types of motor activity. Morle basis is modified in order to speed up the calculation. Approaches to assessing energy capacity of various electroencephalography processes are discussed, based on the calculation of skeleton characteristics. We give examples of processing experimental data obtained from untrained volunteers. Characteristic features of patterns for various motor activity (imaginary or real, leg or hand movement) have been discovered. We demonstrate that the electroencephalography patterns are universal for everyone from the volunteering group. Practical relevance: The revealed features of "motor" patterns and the methods of electroencephalography processing can be used in constructing neural interfaces which decode brain electrical activity almost without operator's training.
Keywords — Electroencephalography, Pattern, Continuous Wavelet Transformation, Time-Frequency Dynamics.
Citation: Runnova A. E., Maksimenko V. A., Pchelintseva S. V., Kulanin R. A., Hramov A. E. Wavelet Method for Motor Activity Pattern Analysis on Experimental Data from Human Multichannel Electroencephalography for External Device Control. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 1, pp. 106-115 (In Russian). doi:10.15217/issn1684-8853.2018.1.106
References
1. Schomer D. H., Lopes da Silva F. H. Nidermeyer's. Electroencephalography. Philadelphia, Lippincott Williams & Wilkins, 2011. 1296 p.
2. Gusel'nikov V. I. Elektrofiziologiia golovnogo mozga [Brain Electrophysiology]. Moscow, Vysshaya shkola Publ., 1976. 423 p. (In Russian).
3. Zhirmunskaia E. A. Klinicheskaia elektroentsefalografiia [Clinical Electroencephalography]. Moscow, MEIBI Publ., 1991. 118 p. (In Russian).
4. Zenkov L. R. Klinicheskaia elektroentsefalografiia (s elementami epileptologii) [Clinical Electroencephalography (with Elements of Epileptology)]. Moscow, MEDpress-in-form Publ., 2004. 368 p. (In Russian).
5. Freeman W. J., Quiroga R. Q. Imaging Brain Function with EEG: Advanced Temporal and Spatial Analysis of Electro-encephalographic. Springer Science+Business Media New York, 2013. 245 p.
6. Kropotov J. D. Quantitative EEG, Event-Related Potentials and Neurotherapy. Elsevier Science Publishing, 2008. 600 p.
7. Shanbao Tong, Nitish V. Quantitative EEG Analysis Methods and Clinical Applications. Boston, Artech House, 2009. 421 p.
8. Hramov A. E., Koronovskii A. A., Makarov V. A., Pavlov A. N., Sitnikova E. Wavelets in Neuroscience. Springer Heidelberg New York Dordrecht London, 2015. 314 p. doi: 10.1007/ 9783-662-43850-3
9. Koronovskii A. A., Khramov A. E. Nepreryvnyi veivletnyi analiz i ego prilozheniia [Continuous Wavelet Analysis and Applications]. Moscow, Fizmatlit Publ., 2003. 176 p. (In Russian).
10. Sitnikova E. Yu., Hramov A. E., Grubov V. V., Koronovskii A. A. Rhythmic Activity in EEG and Sleep in Rats with Absence Epilepsy. Brain Research Bulletin, 2016, vol. 120, pp. 106-116.
11. Hramov A. E., Koronovskii A. A., Midzyanovskaya I. S., Sitnikova E. Yu., van Rijn C. M. On-off Intermittency in Time Series of Spontaneous Paroxysmal Activity in Rats with Genetic Absence Epilepsy. Chaos, 2006, vol. 16, no. 4, pp. 043111.
12. Runnova A. E., Zhuravlev M. O., Pisarchik A. N., Khramo-va M. V., Grubov V. V. The Study of Cognitive Processes in the Brain EEG during the Perception of Bistable Images using Wavelet Skeleton. Proc. SPIE, 2017, vol. 10063, pp. 1006319. doi:10.1117/12.2250403
13. Runnova A. E., Zhuravlev M. O., Lopatin D. V. The Mathematical Modeling of Some Aspects of Cognitive Recognition
of Complex Objects with the Spatial Perspective. Vestnik TGU, 2017, no. 1(22), pp. 33-38 (In Russian). doi:10.20310/ 1810-0198-2017-22-1-33-38
14. Runnova A. E., Zhuravlev M. O., Khramova A. E., Pisarchik A. N. The Study of Evolution and Depression of the Alpha-rhythm in the Human Brain EEG by Means of Wavelet-based Methods. Proc. SPIE, 2017, vol. 10337, pp. 1033713. doi:10.1117/12.2267699
15. van Luijtelaar G., Luttjohann A., Makarov V. V., Maksimen-ko V. A., Koronovskii A. A., Hramov A. E. Methods of Automated Absence Seizure Detection, Interference by Stimulation, and Possibilities for Prediction in Genetic Absence Models. Journal of Neuroscience Methods, 2016, vol. 260, pp. 144-158.
16. Jensen O., Goel P., Kopell N., Pohja M., Hari R., Ermen-trout B. On the Human Sensorimotor-Cortex Beta Rhythm: Sources and Modeling. Neuroimage, 2005, no. 2(26), pp. 347-355. doi:10.1016/j.neuroimage.2005.02.008
УДК 519.21: 537.86 ББК 22.17 Х46
Хименко В. И.
Случайные данные: структура и анализ / В. И. Хименко. — М.: Техносфера, 2017. — 424 с. (Серия «Мир фотоники»)
ISBN 978-5-94836-497-1
Книга посвящена одной из наиболее общих проблем физики и техники, биологии и естествознания — проблеме извлечения информации из случайных данных (наблюдений, измерений, экспериментальных исследований). Сам процесс извлечения информации включает в себя этапы сбора данных, построения моделей реальных процессов и систем, анализа и интерпретации полученных результатов.
Даны описание и детальный анализ структуры наиболее важных с точки зрения приложений моделей временных рядов, непрерывных случайных процессов, случайных потоков событий, случайных полей и изображений. Представлено большое количество новых результатов по вероятностному анализу неоднородных данных, отображениям случайных процессов на фазовой плоскости, характеристикам выбросов и характеристикам превышений заданных уровней. Показано широкое разнообразие практических задач, которые решаются (или могут решаться) на основе рассмотренных моделей случайных функций.
Книга ориентирована на широкий круг читателей — на тех специалистов, аспирантов и студентов, которые изучают, исследуют и применяют на практике модели и методы анализа различных по своей физической природе случайных данных.
