CC BY
43
УДК 51-76, 612.821.89
DOI: 10.20310/1810-0198-2016-21 -6-2370-2374
МАТЕМАТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ ПАТТЕРНОВ ДВИЖЕНИЯ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ МНОГОКАНАЛЬНОЙ ЭЛЕКТРОЭНЦЕФАЛОГРАФИИ ЧЕЛОВЕКА
© А.Е. Руннова1*, Д.В. Лопатин2), М.О. Журавлев1*
Саратовский государственный технический университет им. Гагарина Ю.А. 410054, Российская Федерация, г. Саратов, ул. Политехническая, 77 E-mail: anefila@gmail.com 2) Тамбовский государственный университет им. Г.Р. Державина 392000, Российская Федерация, г. Тамбов, ул. Интернациональная, 33 E-mail: 79107540080@ya.ru
Предложен подход к распознаванию паттернов и классификации состояний на данных электроэнцефалографии (ЭЭГ) в процессе движения человека по аудио-команде. На базе вейвлетной математики создан подход к анализу различных волновых паттернов, сосуществующих в различные моменты времени при регистрации когнитивных процессов. Разработанные подходы апробированы на данных, регистрируемых в описанных дизайнах психофизиологических экспериментов добровольцев с нормальной физической подготовкой. Ключевые слова: электроэнцефалография; вейвлетное преобразование; дешифровка сигналов; паттерны двигательной активности
В настоящее время электроэнцефалография как раздел электрофизиологии является одним из основных методов получения информации о работе головного мозга человека [1-5]. Сегодня этот метод активно используется в прикладной медицине и в научных исследованиях для анализа активности головного мозга и создания инженерно-технологических изделий в рамках интерфейсов «мозг-компьютер» [6-8].
Настоящая статья посвящена поиску и классификации паттернов электрической активности головного мозга человека, возникающих в процессе выполнения некоторых характерных движений, - движения рук, сжатие пальцев в кулак и движения ног. Для получения исходных данных ЭЭГ использовалось электроэнцефалографическое оборудование «Энцефалан-ЭЭГР-19/26» (ООО НПКФ «Медиком МТД», РФ). Частота дискретизации ЭЭГ составляла 250 Гц, частотный диапазон данных составлял от 0,016 до 70 Гц с аппаратным режекторным фильтром на 50 Гц. Для записей ЭЭГ был использован монополярный метод регистрации и стандартная международная система размещения электродов «10-20» со стандартными обозначениями электродов [6; 9].
Команды для выполнения движений подавались с помощью аудиальных записей и воспринимались лежащим добровольцем на слух. Каждая экспериментальная запись включала в себя по 10 мин. фоновых записей ЭЭГ добровольца до и после активной фазы выполнения же. В целом длительность записи каждого эксперимента достигала 35-45 мин. Промежуток между началом двух подаваемых команд составлял порядка 10-15 с.
Оценка динамики колебательных процессов и дальнейшая классификация различных паттернов осно-
вана на использовании непрерывного вейвлетного преобразования [10-11]:
+ W , S
W (s, t0) = J (1)
где х(Г) - временная реализация экспериментального сигнала; ^ж ( (¡) - материнский вейвлет; 5 - временной
масштаб, определяющий ширину вейвлета; символ * обозначает комплексное сопряжение. В качестве материнского вейвлета был использован комплексный вейвлет Морле [11]:
vCn) = (1/^л )exp(/Q0^)exp(-^2/2)
(2)
с параметром = 2п, что обеспечивает однозначную взаимосвязь между временным масштабом 5 вейвлетного преобразования и частотой / фурье-преобразования, а именно / = l/s [6]. Вейвлетный анализ является на сегодня одним из наиболее мощных математических инструментов для обработки сложных нестационарных зашумленных данных, ограниченных короткими временными рядами [6; 11]. Материнский вейвлет Морле хорошо зарекомендовал свое использование в нейрокогнитивных исследованиях полученными ранее хорошими результатами его применимости к ЭЭГ данным у людей и животных [12-17].
Тогда, выполнив процедуру (1) для каждого регистрируемого сигнала ЭЭГ, получаем результирующий сигнал Г). Рассчитаем для Г) скелетоны, харак-
2370
Рис. 1. Временная зависимость скелетонов / (в Гц) позатылочным отведениям ЭЭГ О1 (а) и О2 (б). Вертикальными черными линиями показаны моменты начала произнесения команд, серым фоном выделены периоды, в которые аудиокоманды произносились
Рис. 2. Временная зависимость скелетонов / (в Гц) по отведениям ЭЭГ С3, Ст, С4, Т5, Т6. Схема расположения электродов приведена. Вертикальными черными линиями показаны моменты начала произнесения команд, серым фоном выделены периоды, в которые аудиокоманды произносились
теризующие динамику локальных максимальных экстремумов я(Г) по каждой из поверхностей Щя, Г) [1819]. Для каждого момента времени Г0 введем в рассмотрение моментальный спектральный срез Е(л) сигна-
'0
ла Щ>, Г):
Е (л) = ^(л,га)|2
(3)
Соотношение (3) рассчитывается по всему диапазону масштабов я вейвлетного преобразования. Затем для каждого момента времени Г0 определим первые два экстремума, являющихся локальными максимумами зависимости Е (л). Временные масштабы як, '0
где к = 1, 2, на которых наблюдается экстремум в разные моменты времени Г0 для вейвлетного преобразова-
2371
ния Щ(я, Г), и образуют скелетон вейвлетного преобразования:
= 5, если Е (я) > Е (5Д) для всех 5Д е А^ . (4)
'0 '0
Область определения экстремума Дх для сигналов ЭЭГ была постоянной и составляла 1/4.
На рис. 1 показана временная динамика скелетонов як по затылочным отведениям 01 и 02 в одном и том же временном фрагменте. Вертикальными черными линиями показаны моменты начала произнесения команд, серым фоном выделены периоды, в которые ау-диокоманды произносились. Частотно-временная динамика демонстрирует смену двух традиционно выделяемых диапазонов колебательной активности ЭЭГ: дельта-активности (традиционно определяемой как преобладание частот в диапазоне 1-5 Гц) и альфа-волн (преобладание частотной динамики 8-12 Гц). Наблюдение временной динамики на рис. 1 показывает последовательную смену частотной активности электрической активности головного мозга в затылочных отведениях от дельта-активности в периоды восприятия звуковых команд к альфа-динамике в периоды выполнения движений. Возможно, низкочастотная дельта-активность связана с процессами концентрации внимания на аудиальном восприятии и одновременном понимании команды. Кроме того, видна разница в левом (О1) и правом (О2) симметричных отведениях.
На рис. 2 продемонстрирована временная динамика скелетонов як по отведениям ЭЭГ, регистрируемым по зоне основного восприятия звуковых команд и в моторной зоне вблизи передней центральной извилины вдоль центральной борозды. Расположение выбранных отведений на стандартной схеме 10-20 показано на рис. 2 справа сверху. Здесь аналогично с рис. 1 вертикальные черные линии показывают моменты начала произнесения команд, а серый фон выделяет периоды, в которые аудиокоманды произносились. Рис. 2 наглядно демонстрирует перемежающееся частотное поведение регистрируемых колебательных процессов в ЭЭГ - диапазоны выраженной бета-активности (14-30 Гц), сменяющиеся на диапазоны практически альфа-активности.
Таким образом, в представленной статье приведены результаты экспериментальной работы по измерению электроэнцефалограмм добровольцев при выполнении ими движений по простым звуковым командам. Созданный на базе непрерывного вейвлетного преобразования подход, основанный на расчете максимумов энергий спектра по различным каналам ЭЭГ, позволяет в многоканальном режиме выделить и исследовать различные режимы динамики активности головного мозга человека. Разработанный подход к анализу ЭЭГ на базе вейвлетного преобразования позволяет выявить сосуществование зон дельта- и бета-активности в процессе восприятия звуковых команд и планирования соответствующей двигательной активности в электрической активности головного мозга.
СПИСОК ЛИТЕРАТУРЫ
1. Williams J.M. G., Watts F.N., MacLeod C.M., Mathews A. Cognitive psychology and emotional disorders. Chichester: Wiley, 1997. 404 p.
2. Clark D.A., Beck A.T. Cognitive theory and therapy of anxiety and depression: convergence with neurobiological findings // Trends in Cognitive Science. 2010. V. 14. P. 418-424.
3. Robinson T.E., Berridge K.C. Addiction // Annu. Rev. Psychol. 2003. V. 54. P. 25-53.
4. McManus F., Glenn D.P., Chadwick P. Biases in the processing of different forms of threat in bulimic and comparison women // Journal of Nervous and Mental Disease. 1986. V. 184. P. 547-554.
5. Павлов А.Н., Храмов А.Е., Короновский А.А., Ситникова Е.Ю., Макаров В.А., Овчинников А.А. Вейвлет-анализ в нейродинамике // УФН. 2012. Т. 182. № 9. С. 905-939.
6. Hramov A.E., Koronovskii A.A., Makarov V.A., Pavlov A.N., Sitniko-va E.Yu. Wavelets in Neuroscience. Heidelberg: Springer, 2015. 318 p.
7. Грубов В.В., Короновский А.А., Ситникова Е.Ю., Иванов А.В., Храмов А.Е. Аппаратно-программные комплексы для анализа электрической активности головного мозга: мониторинг долговременных процессов в нейрофизиологии и экологии, клиническая практика, создание интерфейсов мозг-компьютер // Инновационная деятельность. 2013. Т. 2. С. 152-161.
8. Guger C., Ramoser H., Pfurtscheller G. Real-time EEG analysis for a brain-computer interface (BCI) with subject-specific spatial patterns // IEEE Trans. Rehab. 2000. V. 8. P. 562.
9. Campbell I.G. EEG Recording and Analysis for Sleep Research // Current Protocols in Neuroscience. 2009. V. 49. № 10. P. 1-19.
10. Короновский А.А., Храмов А.Е. Непрерывный вейвлетный анализ и его приложения. М.: Физматлит, 2003. 176 с.
11. Короновский А.А., Макаров В.А., Павлов А.Н., Ситникова Е.Ю., Храмов А.Е. Вейвлеты в нейродинамике и нейрофизиологии. М.: Физматлит, 2013. 272 с.
12. Sitnikova E.Yu., Hramov A.E., Grubov V.V., Koronovskii A.A. Rhythmic activity in EEG and sleep in rats with absence epilepsy // Brain research bulletin. 2016. V. 120. P. 106-116.
13. Grubov V.V., Sitnikova E.Yu., Pavlov A.N., Khramova M.V., Koronovskii A.A., Hramov A.E. Time-frequency analysis of epileptic EEG patterns by means of empirical modes and wavelets // Proc. SPIE. 2015. V. 9322. P. 932212.
14. Sitnikova E.Yu., Hramov A.E., Grubov V.V., Koronovskii A.A. Age-dependent increase of absence seizures and intrinsic frequency dynamics of sleep spindles in rats // Neuroscience Journal. 2014. V. 2014. P. 1-6.
15. van Luijtelaar G., Hramov A.E., Sitnikova E.Yu., Koronovskii A.A. Spike-wave discharges in WAG/Rij rats are preceded by delta and theta precursor activity in cortex and thalamus // Clinical Neurophysiology. 2011. V. 122. P. 687-695.
16. Durka P.J. From wavelets to adaptive approximations: time-frequency parametrization of EEG // BioMedical Engineering OnLine. 2003. V. 2. № 1. P. 1-30.
17. Sitnikova E.Yu., Hramov A.E., Koronovskii A.A., van Luijtelaar G. Sleep spindles and spike-wave discharges in EEG: Their generic features, similarities and distinctions disclosed with Fourier transform and continuous wavelet analysis // Journal of Neuroscience Methods. 2009. V. 180. P. 304-316.
18. Hramov A.E., Koronovskii A.A., Midzyanovskaya I.S., Sitnikova E.Yu., van Rijn С.М. On-off intermittency in time series of spontaneous paroxysmal activity in rats with genetic absence epilepsy // CHAOS. 2006. V. 16. P. 043111.
19. Назимов А.И., Павлов А.Н., Храмов А.Е., Грубов В.В., Ситникова Е.Ю., Храмова М.В. Распознавание осцилляторных паттернов на электроэнцефалограмме на основе адаптивного вейвлет-анализа // Вестник Тамбовского унивесритета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 14311434.
БЛАГОДАРНОСТИ: Работа выполнена при поддержке РФФИ (проект № 16-29-08221).
Поступила в редакцию 25 сентября 2016 г.
Руннова Анастасия Евгеньевна, Саратовский государственный технический университет им. Гагарина Ю.А. , г. Саратов, Российская Федерация, кандидат физико-математических наук, доцент кафедры автоматизации, управления и мехатроники, e-mail: anefila@gmail.com
2372
Лопатин Дмитрий Валерьевич, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, кандидат физико-математических наук, доцент, доцент кафедры математического моделирования и информационных технологий, е-шай: +79107540080@уа.га
Журавлев Максим Олегович, Саратовский государственный технический университет им. Гагарина Ю.А., г. Саратов, Российская Федерация, кандидат физико-математических наук, доцент кафедры электроники, колебаний и волн, е-шаД: zhuravlevmo@gmail.com
UDC 51-76, 612.821.89
DOI: 10.20310/1810-0198-2016-21 -6-2370-2374
NUMERICAL METHODS OF PATTERN RECOGNITION IN EXPERIMENTAL MULTICHANNEL OF HUMAN'S EEG
© A.E. Runnova1), D.V. Lopatin2), M.O. Zhuravlev1)
1)1 Yuri Gagarin State Technical University of Saratov 77 Politekhnicheskaya St., Saratov, Russian Federation, 410054 E-mail: anefila@gmail.com 2) Tambov State University named after G.R. Derzhavin 33 Internatsionalnaya St., Tambov, Russian Federation, 392000 E-mail: 79107540080@ya.ru
An approach to the recognition of patterns and classification of states on the EEG data during the movement of the person on the audio-demand is proposed. On the basis of wavelet mathematics an approach to the analysis of different wave patterns that coexist at different times during the registration of cognitive processes is created. The developed approaches have been tested on the data recorded in the described designs psychophysiological experiments the volunteers with normal physical training.
Key words: electroencephalography; wavelet transform; decoding signals; patterns of locomotor activity
REFERENCES
1. Williams J.M.G., Watts F.N., MacLeod C.M., Mathews A. Cognitive psychology and emotional disorders. Chichester, Wiley Publ., 1997. 404 p.
2. Clark D.A., Beck A.T. Cognitive theory and therapy of anxiety and depression: convergence with neurobiological findings. Trends in Cognitive Science, 2010, vol. 14, pp. 418-424.
3. Robinson T.E., Berridge K.C. Addiction. Annu. Rev. Psychol., 2003, vol. 54, pp. 25-53.
4. McManus F., Glenn D.P., Chadwick P. Biases in the processing of different forms of threat in bulimic and comparison women. Journal of Nervous and Mental Disease, 1986, vol. 184, pp. 547-554.
5. Pavlov A.N., Khramov A.E., Koronovskiy A.A., Sitnikova E.Yu., Makarov V.A., Ovchinnikov A.A. Veyvlet-analiz v neyrodinamike [Wavelet analysis in neurodynamics]. UFN— Physics-Uspekhi (Advances in Physical Sciences), 2012, vol. 182, no. 9, pp. 905-939. (In Russian).
6. Hramov A.E., Koronovskii A.A., Makarov V.A., Pavlov A.N., Sitnikova E.Yu. Wavelets in Neuroscience. Heidelberg: Springer, 2015. 318 p.
7. Grubov V.V., Koronovskiy A.A., Sitnikova E.Yu., Ivanov A.V., Khramov A.E. Apparatno-programmnye kompleksy dlya analiza elektricheskoy aktivnosti golovnogo mozga: monitoring dolgovremennykh protsessov v neyrofiziologii i ekologii, klinicheskaya praktika, sozdanie interfeysov mozg-komp'yuter [Hardware and software systems for the analysis of the brain electrical activity: long-term monitoring of processes in neuroscience and ecology, clinical practice, development of brain-computer interfaces]. Innovatsionnaya deyatel'nost' — Innovation Activity, 2013. vol. 2, pp. 152-161. (In Russian).
8. Guger C., Ramoser H., Pfurtscheller G. Real-time EEG analysis for a brain-computer interface (BCI) with subject-specific spatial patterns. IEEE Trans. Rehab., 2000, vol. 8, p. 562.
9. Campbell I.G. EEG Recording and Analysis for Sleep Research. Current Protocols in Neuroscience, 2009, vol. 49, no. 10, pp. 1-19.
10. Koronovskiy A.A., Khramov A.E. Nepreryvnyy veyvletnyy analiz i ego prilozheniya [Nervous wavelet analysis and its applications]. Moscow, Fizmatlit Publ., 2003. 176 p. (In Russian).
11. Koronovskiy A.A., Makarov V.A., Pavlov A.N., Sitnikova E.Yu., Khramov A.E. Veyvlety v neyrodinamike i neyrofiziologii [Wavelet in neurodynamics and neurophysiology]. Moscow, Fizmatlit Publ., 2013. 272 p. (In Russian).
12. Sitnikova E.Yu., Hramov A.E., Grubov V.V., Koronovskii A.A. Rhythmic activity in EEG and sleep in rats with absence epilepsy. Brain research bulletin, 2016, vol, 120, pp. 106-116.
13. Grubov V.V., Sitnikova E.Yu., Pavlov A.N., Khramova M.V., Koronovskii A.A., Hramov A.E. Time-frequency analysis of epileptic EEG patterns by means of empirical modes and wavelets. Proc. SPIE, 2015, vol. 9322, p. 932212.
14. Sitnikova E.Yu., Hramov A.E., Grubov V.V., Koronovskii A.A. Age-dependent increase of absence seizures and intrinsic frequency dynamics of sleep spindles in rats. Neuroscience Journal, 2014, vol. 2014, pp. 1-6.
15. van Luijtelaar G., Hramov A.E., Sitnikova E.Yu., Koronovskii A.A. Spike-wave discharges in WAG/Rij rats are preceded by delta and
2373
theta precursor activity in cortex and thalamus. Clinical Neurophysiology, 2011, vol. 122, pp. 687-695.
16. Durka P.J. From wavelets to adaptive approximations: time-frequency parametrization of EEG. BioMedical Engineering OnLine, 2003, vol. 2, no. 1, pp. 1-30.
17. Sitnikova E.Yu., Hramov A.E., Koronovskii A.A., van Luijtelaar G. Sleep spindles and spike-wave discharges in EEG: Their generic features, similarities and distinctions disclosed with Fourier transform and continuous wavelet analysis. Journal of Neuroscience Methods, 2009, vol. 180, pp. 304-316.
18. Hramov A.E., Koronovskii A.A., Midzyanovskaya I.S., Sitnikova E.Yu., van Rijn S.M. On-off intermittency in time series of spontaneous paroxysmal activity in rats with genetic absence epilepsy. CHAOS, 2006, vol. 16, p. 043111.
19. Nazimov A.I., Pavlov A.N., Khramov A.E., Grubov V.V., Sitnikova E.Yu., Khramova M.V. Raspoznavanie ostsillyatornykh patternov na elektroentsefalogramme na osnove adaptivnogo veyvlet-analiza [Recognition of oscillatory patterns on electroencephalogram based on adaptive wavelet-analysis]. Vestnik Tambovskogo universiteta. Seriya Estestvennye i tekhnicheskie nauki — Tambov University Reports. Series: Natural and Technical Sciences, 2013, vol. 18, no. 4, pp. 1431-1434. (In Russian).
GRATITUDE: The work is fulfilled under support of Russian Fund of Fundamental Research (project no. 16-29-08221). Received 25 September 2016
Runnova Anastasiya Evgenjevna, Yuri Gagarin State Technical University of Saratov, Saratov, Russian Federation, Candidate of Physics and Mathematics, Associate Professor of Automation, Control and Mechatronics Department, e-mail: anefila@gmail.com
Lopatin Dmitriy Valerevich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Candidate of Physics and Mathematics, Associate Professor, Associate Professor of Mathematical Modeling and Information Technology Department, e-mail: +79107540080@ya.ru
Zhuravlev Maksim Olegovich, Yuri Gagarin State Technical University of Saratov, Saratov, Russian Federation, Candidate of Physics and Mathematics, Associate Professor of Electronics, Vibrations and Waves Department, e-mail: zhuravlevmo @gmail .com
Информация для цитирования:
Руннова А.Е., Лопатин Д.В., Журавлев М.О. Математические методы распознавания паттернов движения экспериментальных данных многоканальной электроэнцефалографии человека // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2016. Т. 21. Вып. 6. С. 2370-2374. DOI: 10.20310/1810-0198-2016-21-6-2370-2374
Runnova A.E., Lopatin D.V., Zhuravlev M.O. Matematicheskie metody raspoznavaniya patternov dvizheniya eksperimental'nykh dannykh mnogokanal'noy elektroentsefalografii cheloveka [Numerical methods of pattern recognition in experimental multichannel of human's EEG]. Vestnik Tambovskogo universiteta. Seriya Estestvennye i tekhnicheskie nauki — Tambov University Review. Series: Natural and Technical Sciences, 2016, vol. 21, no. 6, pp. 2370-2374. DOI: 10.20310/1810-0198-2016-21-6-2370-2374 (In Russian).
2374
