CC BY
46
МОДЕЛИРОВАНИЕ СИСТЕМ И ПРОЦЕССОВ /
удк 612.822.3,57.087.1,51-76 Научные статьи
doi:10.31799/1684-8853-2018-6-58-65 Articles
Математическое моделирование процессов обработки визуальной сенсорной информации по многоканальным сигналам ЭЭГ
В. А. Максименко3, канд. физ.-мат. наук, доцент, orcid.org/0000-0002-4632-6896, [email protected] А. К. Куца, магистрант, orcid.org/0000-0001-6233-2594
А. Н. Писарчик6, канд. физ.-мат. наук, профессор, orcid.org/0000-0003-2471-2507 А. Е. Храмов3, доктор физ.-мат. наук, профессор, orcid.org/0000-0003-2787-2530 аСаратовский государственный технический университет им. Гагарина Ю. А., Политехническая ул., 77, Саратов, 410054, РФ
6Мадридский политехническийуниверситет, Рамироде Маестуул., 7, Мадрид, 28040, Испания
Введение: в настоящий момент возрастает интерес к анализу процессов, протекающих в коре головного мозга во время восприятия и обработки сенсорной информации, с использованием многоканальных сигналов его электрической активности. При этом особое внимание сфокусировано на выявлении характерных сценариев вовлечения различных отделов головного мозга в процесс сенсорного восприятия. Цель: исследование особенностей пространствен-но-временной и частотно-временной структуры сигналов электрической активности головного мозга во время обработки визуальной сенсорной информации. Результаты: на основе методов частотно-временного анализа исследованы процессы изменения энергии электрической нейронной активности в частотных областях 8-12 Гц (альфа-активность) и 15-30 Гц (бета-активность) в различных отделах головного мозга. Показано, что восприятие и обработка визуального стимула вызывают уменьшение энергии альфа-активности и увеличение энергии бета-активности. При этом данные процессы наблюдаются в различных отделах головного мозга. Также отмечено, что характерный паттерн возникает в затылочной и теменной долях и затем вовлекает нейроны центральной и лобной областей головного мозга. Практическая значимость: выявленный сценарий нейронной активности может быть использован при разработке пассивных интерфейсов мозг-компьютер, осуществляющих мониторинг и контроль состояния человека в процессе обработки больших объемов визуальной сенсорной информации.
Ключевые слова — многоканальные сигналы ЭЭГ, визуальное восприятие, частотно-временной анализ, обработка сенсорной информации.
Цитирование: Максименко В. А., Куц А. К., Писарчик А. Н., Храмов А. Е. Математическое моделирование процессов обработки визуальной сенсорной информации по многоканальным сигналам ЭЭГ. Информационно-управляющие системы, 2018, № 6, с. 58-65. doi:10.31799/1684-8853-2018-6-58-65
Citation: Maksimenko V. A., Kuc A. K., Pisarchik A. N., Hramov A. E. Mathematical modeling of visual sensory information processing using multi-channel EEG signals. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 6, pp. 58-65 (In Russian). doi:10.31799/1684-8853-2018-6-58-65
Введение
Анализ процессов, протекающих в коре головного мозга во время восприятия и обработки сенсорной информации, является актуальной задачей на стыке физико-математических наук и нейрофизиологии [1, 2]. Интерес к решению данной задачи связан с возможностью обнаружения сценариев нейронной активности, характерных для восприятия больших объемов сенсорной информации в условиях высокой когнитивной нагрузки [3, 4].
Известно, что нейронная сеть коры головного мозга представляет собой распределенную вычислительную систему, которая обладает свойством адаптивного перестроения своей конфигурации для эффективной обработки сенсорной информации и принятия решений. Согласно результатам нейрофизиологических исследований, при решении простых задач, которые не требуют обработки и анализа большого объема сенсорной информа-
ции, головной мозг активирует небольшие нейронные группы кортекса. В то же время, когда решение задачи требует больших усилий, мозг задействует большое число нейронных структур, расположенных в отдаленных областях, и активирует связи между ними [5, 6]. Данная теория известна в научной литературе как теория глобального рабочего пространства (Global workspace theory) [7].
В частности, известно, что восприятие визуальной информации связано с возбуждением первичного зрительного центра-анализатора, расположенного в затылочной коре головного мозга, и центра визуального внимания, расположенного в теменной области [8]. При этом, согласно результатам нейрофизиологических исследований, при увеличении времени выполнения визуальной задачи или при увеличении сложности предъявляемых визуальных стимулов наряду с теменно-за-тылочной областью наблюдается активация лобной области головного мозга [9].
Несмотря на большое число работ, посвященных анализу особенностей нейронной активности, ассоциирующихся с обработкой сенсорной информации, механизмы, отвечающие за формирование подобной пространственно-распределенной структуры в нейронной сети мозга, остаются неизвестными. Так, слабо изучены механизмы, позволяющие нейронам, расположенным в различных областях мозга, взаимодействовать друг с другом.
Одним из эффективных неинвазивных методов анализа динамики нейронной сети головного мозга является детектирование характерных частотно-временных и пространственно-временных особенностей электрической активности путем рассмотрения многоканальных электроэнцефалограмм (ЭЭГ). В данном контексте применение методов статистического и спектрального анализа для изучения свойств сигналов ЭЭГ позволяет моделировать различные сценарии активности нейронных ансамблей мозга на микроскопическом уровне [10-12].
С учетом вышесказанного в настоящей работе исследуются частотно-временная и пространственно-временная структуры многоканальных сигналов ЭЭГ в процессе восприятия визуальной информации. На основании полученных результатов описывается сценарий нейронной активности головного мозга, ассоциирующийся с восприятием и обработкой визуальной сенсорной информации.
Нейрофизиологический эксперимент
В экспериментах принимали участие восемь здоровых добровольцев в возрасте от 20 до 43 лет. Все добровольцы предоставили информированное письменное согласие на участие в эксперименте и были осведомлены об особенностях экспериментальной работы. Исследования проводились в соответствии с Хельсинкской декларацией Всемирной медицинской ассоциации. Дизайн и оборудование экспериментальной работы одобрены комиссией по этике СГТУ им. Гагарина Ю. А.
В качестве визуального стимула использовался куб Неккера, который часто применяется в нейрофизиологических и психологических экспериментах [6]. Куб Неккера является неоднозначным стимулом и допускает две возможные интерпретации. В результате процесс восприятия данного объекта включает как фазу первичного восприятия зрительной информации, так и более сложную когнитивную активность, связанную с обработкой визуальной информации и принятием решения относительно интерпретации графического изображения.
В ходе эксперимента испытуемому поочередно показывали кубы Неккера, характеризующиеся различными конфигурациями внутренних гра-
ней. Предъявляемые кубы отличались друг от друга, что позволяло минимизировать эффект привыкания испытуемого к предъявляемому объекту. Время предъявления каждого стимула варьировалось в диапазоне 1-1,5 с, а периодичность предъявления составляла 5-7 с. Весь эксперимент длился около 15 мин для каждого участника, включая короткие записи фоновой активности головного мозга до и после предъявления визуальных стимулов (по 2 мин). Чтобы сделать восприятие следующего куба Неккера независимым от предыдущего, между последующими демонстрациями куба на экране монитора показывался абстрактный рисунок.
Электрическая активность мозга регистрировалась с помощью электроэнцефалографического оборудования «Энцефалан-ЭЭГР-19/26» (ООО НПКФ «Медиком», РФ). При записи сигналов использовался метод монополярной регистрации и классическая расстановка электродов ЭЭГ «10-20» [13].
Обработка данных и обсуждение полученных результатов
Основные этапы алгоритма обработки экспериментальных данных показаны на рис. 1, а.
Сигналы ЭЭГ регистрировались при помощи набора электродов (01, 02 — затылочная часть; Р3, Р4, Pz — теменная часть; С3, С4, Cz — центральная часть; F3, F4, Fz, Fp1, Fp2 — лобные доли) (рис. 1, б). Для каждого канала ЭЭГ в диапазоне частот 1-30 Гц был рассчитан вейвлет-
ный энергетический спектр Еп (/, £) = .
В данном случае г) — комплексные коэф-
фициенты вейвлетного преобразования, которые вычисляются при помощи соотношения
¿+4/ /
) = 4? | хп (г(1)
¿-4/ f
где п = 1...Ы — номера каналов ЭЭГ (Ы =13 — общее количество каналов, используемых для анализа); символ «*» означает комплексное сопряжение. В качестве материнского вейвлета у(/, г) был выбран вейвлет Морле, который часто используется для анализа нейрофизиологических сигналов [14]:
^м^ )2/2, (2)
где ю о=2% — параметр, характеризующий вейв-летную функцию.
Анализ вейвлетного спектра проводился в двух частотных диапазонах: Д/а: 8-12 Гц (диа-
■ Рис. 1. Основные этапы проведения экспериментального исследования и обработки данных (а) и расположение регистрирующих электродов в соответствии с международной системой «10-20» (б)
■ Fig. 1. Schematic illustration of main stages of experimental procedure and data analysis (a) and position of recording electrodes according to 10-20 EEG electrode layout (б)
пазон альфа-активности) и Д/р: 15-30 Гц (диапазон бета-активности). Согласно последним работам, визуальное внимание связано с возникновением характерных паттернов нейронной активности в частотных диапазонах альфа- и бета-ритмов в затылочной и теменной областях [8]. Известно также, что изменения альфа-активности связаны с визуальным [15] или звуковым [16] вниманием, а изменения бета-активности — с обработкой сенсорной информации [17] и переключением режима активности нейронного ансамбля в состояние внимания [18, 19]. Роль нейронной активности в альфа- и бета-областях в процессе восприятия визуальной информации анализируется также в работе [20] в контексте передачи информации в зрительной коре.
Для указанных частотных диапазонов соответствующие значения вейвлет-энергии Еа(г) и Ер(г) рассчитывались путем усреднения спектральной энергии Еп(/, г) по соответствующим областям спектра:
<Р(') = ^ I ^(3)
Е* С)д/«,Р
где Е* ) — значение энергии Еп (/, t), усредненное по всему рассматриваемому спектру сигнала ЭЭГ:
30 Гц
К (*)= | Еп (/)<1/'. (4)
1Гц
Полученные коэффициенты Е™,р (1) были усреднены по К = 20 интервалам времени длительностью 1 с, соответствующим восприятию
и обработке 20 визуальных стимулов. На последнем этапе обработки полученные коэффициенты усреднялись по каналам ЭЭГ, расположенным в различных отделах мозга.
Известно, что восприятие визуального стимула связано с увеличением энергии электрической активности нейронов в затылочной доле [21, 22]. Этот эффект объясняется локализацией в данной области мозга зрительных областей [23].
Для анализа изменений энергии, вызванных восприятием и обработкой визуальной информации, полученные коэффициенты (3) были обработаны высокочастотным фильтром. Все спектральные компоненты, лежащие выше 10 Гц, были удалены. Полученные в результате фильтрации сигналы показаны на рис. 2. Представленные кривые характеризуют изменение во времени энергии альфа-активности (рис. 2, а) и бета-активности (рис. 2, б) в различных участках головного мозга.
Сразу после предъявления визуального стимула (момент времени ¿0) наблюдается выраженное уменьшение энергии альфа-активности Е® ) в затылочной области (см. рис. 2, а). Согласно полученным ранее результатам [23], это связано с возбуждением первичного зрительного центра. В момент времени наблюдается выраженное уменьшение энергии альфа-активности Е^ ) в теменной области, что связано с активацией центра визуального внимания. Стоит отметить, что затылочная и теменная области активируются практически одновременно, что подтверждает их ведущую роль в процессе первичной обработки визуальных стимулов. Схожая тенденция, заключающаяся в уменьшении энергии альфа-активности, наблюдается также и в других областях мозга. В частности, из рис. 2, а можно ви-
МОДЕЛИРОВАНИЕ СИСТЕМ И ПРОЦЕССОВ
а) E 1,4
1,2
1
0,8
0,6
б)
E
E
E
б) E 1,1
1
0,9 0,8
0,7
-0,2 0 0,2 0,4 0,6 0,8 1,0
t, c
Лобная доля
Увеличение энергии
Затылочная доля
Уменьшение энергии
-0,2 0 0,2 0,4 0,6 0,8 1,0
t, c
Лобная доля
FO О
Затылочная доля
■ Рис. 2. Зависимость от времени энергии ЭЭГ сигналов в области альфа-активности (8-12 Гц) (а) и бета-активности (15-30 Гц) (б) в процессе восприятия визуального стимула. Кривые получены в результате усреднения энергии по каналам ЭЭГ, расположенным в различных областях коры мозга; области мозга, характеризующиеся уменьшением энергии альфа-активности (б) и увеличением энергии бета-активности (г) в характерные моменты време-
ни t0-t4
■ Fig. 2. Temporal evolution of EEG spectral energy in alpha-band (8-12 Hz) (a) and beta-band (15-30 Hz) (6). Different curves obtained by averaging energy values over corresponding EEG channels; brain regions characterizing by a decrease in alpha-band energy (e) and an increase in beta-band energy at time moments t0-t4
t
0
деть, что энергия альфа-ритма Е^ (£) начинает уменьшаться в центральной области и в лобных ) областях ^з 4). При этом в данных областях эффект проявляется значительно позже: в центральной части — через 0,2 с, а в лобных областях — через 0,4 с после предъявления визуального стимула.
Восприятие визуального стимула сопровождается увеличением энергии бета-активности (см. рис. 2, б). Учитывая, что бета-активность ассоциируется с обработкой сенсорной информации [17] и переключением режима активности нейронного ансамбля в состояние внимания [19], можно предположить, что увеличение области генерации бета-активности свидетельствует о вовлечении большего числа нейронов в обработку визуального стимула.
Процесс увеличения области коры мозга, вовлеченной в обработку визуального стимула (рис. 2, в, г), основан на изменении энергии элек-
трической активности головного мозга в альфа-и бета-частотных диапазонах. Видно, что в рассмотренные моменты времени ^ < ^ < ^ < ^ < ^ область коры мозга, демонстрирующая уменьшение энергии альфа-активности и увеличение энергии бета-активности, связанные с обработкой визуального стимула, увеличивается. В то же самое время анализ рис. 2, а, б позволяет выявить различия в динамике энергии рассмотренных ритмов. Данные различия определяются сопоставлением моментов времени, соответствующих вовлечению различных областей мозга в обработку визуальной информации. Схематически данные моменты времени обозначены на рис. 3. Различный тип символа соответствует моментам времени, определенным на основе альфа-активности и бета-активности.
Видно, что в момент времени соответствующий предъявлению визуального стимула, наблюдается активация затылочной области. Об этом
■ Рис. 3. Моменты времени, соответствующие вовлечению различных отделов мозга в восприятие визуальной информации, установленные в соответствии с характеристиками альфа-активности и бета-активности
■ Fig. 3. Time moments corresponding to the involvement of different brain parts in perception of visual information, estimated via characteristics of alpha-activity and beta-activity
свидетельствует одновременное уменьшение Е® и увеличение Е^ . Затем, с точки зрения поведения бета-активности, через 0,3 с после предъявления стимула наблюдается одновременное вовлечение затылочной, центральной и лобных областей мозга в обработку информации (момент времени £*). Это свидетельствует о формировании распределенной лобно-теменной нейронной активности, реализующей обработку визуального изображения и принятие решения.
Анализ поведения альфа-активности показывает, что вовлечение лобной области происходит постепенно. Видно, что теменная область вовлекается практически одновременно с затылочной. Центральная область вовлекается через 0,2 с после предъявления стимула (момент времени £**). Лобные области вовлекаются практически одновременно через 0,4 с после предъявления стимула (момент времени £***).
1. Milton A., Pleydell-Pearce C. W. The phase of pre-stimulus alpha oscillations influences the visual perception of stimulus timing. Neuroimage, 2016, vol. 133, pp. 53-61. doi:10.1016/j.neuroimage.2016. 02.065
2. Shourie N. Cepstral analysis of EEG during visual perception and mental imagery reveals the influence of artistic expertise. Journal of Medical Signals and Sensors, 2016, vol. 6(4), p. 203.
3. Mizuno K., Tanaka M., Yamaguti K., Kajimoto O., Kuratsune H., Watanabe Y. Mental fatigue caused by
Заключение
По итогам экспериментов можно выделить следующие особенности сценария нейронной активности во время восприятия и обработки визуальной информации:
— Непосредственно в момент предъявления визуального стимула происходит возбуждение зрительного центра в затылочной области. В этот момент электрическая активность в данной области характеризуется уменьшением альфа-активности и увеличением бета-активности.
— Через 0,3 с после предъявления стимула происходит его обработка с помощью активации распределенной лобно-теменной нейронной сети. В этот момент электрическая активность в данной области характеризуется увеличением бета-активности.
— В течение 0,3 с после предъявления стимула активация нейронов в альфа-диапазоне происходит постепенно. Последовательно вовлекаются нейроны теменной области, а затем центральной.
Полученные результаты представляют интерес для фундаментальной нейронауки и имеют потенциал дальнейшего практического использования. В контексте фундаментальных исследований заслуживает внимания продемонстрированная роль альфа-активности в установлении связи между нейронными ансамблями, расположенными в затылочно-теменной и лобной областях мозга. Потенциал практического применения обусловлен возможностью использовать результаты для мониторинга когнитивной активности человека в процессе обработки сенсорной информации при разработке пассивных интерфейсов мозг-компьютер [24, 25], осуществляющих мониторинг и контроль нейронной активности во время деятельности человека, связанной с высокой когнитивной нагрузкой.
Работа выполнена при поддержке Российского фонда фундаментальных исследований (проект № 18-32-20129) и Совета по грантам Президента РФ (проекты НШ-2737.2018.2 и МК-992.2018.2).
prolonged cognitive load associated with sympathetic hyperactivity. Behavioral and Brain Functions, 2011, vol. 7(1), p. 17. doi:10.1186/1744-9081-7-17
4. Tanaka M., Shigihara Y., Ishii A., Funakura M., Ka-nai E., Watanabe Y. Effect of mental fatigue on the central nervous system: an electroencephalography study. Behavioral and Brain Functions, 2012, vol. 8(1), p. 48. doi:10.1186/1744-9081-8-48
5. Dehaene S., Kerszberg M., Changeux J. P. A neuronal model of a global workspace in effortful cognitive tasks. Proceedings of the National Academy of Sciences, 1998, vol. 95(24), pp. 14529-14534. doi:10.1073/pnas.95.24.14529
6. Finc K., Bonna K., Lewandowska M., et al. Transition of the functional brain network related to increasing cognitive demands. Human Brain Mapping, 2017, vol. 38(7), pp. 3659-3674. doi:10.1002/hbm. 23621
7. Baars B. J. In the theatre of consciousness. Global workspace theory, a rigorous scientific theory of consciousness. Journal of Consciousness Studies, 1997, vol. 4(4), pp. 292-309. doi:10.1093/acprof:oso/ 9780195102659.001.1
8. Maksimenko V. A., Runnova A. E., Frolov N. S., Makarov V. V., Nedaivozov V., Koronovskii A. A., Pisarchik A., Hramov A. E. Multiscale neural connectivity during human sensory processing in the brain. Physical Review E, 2018, vol. 97(5), p. 052405. doi:10.1103/PhysRevE.97.052405
9. Guo D., Guo F., Zhang Y., Li F., Xia Y., Xu P., Yao D. Periodic visual stimulation induces resting-state brain network reconfiguration. Frontiers in Computational Neuroscience, 2018, vol. 12, p. 21. doi:10. 3389/fncom.2018.00021
10. Горшков А. А., Осадчий А. Е., Фрадков А. Л. Регуляризация обратной задачи ЭЭГ/МЭГ локальным кортикальным волновым паттерном. Информационно-управляющие системы, 2017, № 5, с. 12-20. doi:10.15217/issn1684-8853.2017.5.12
11. Руннова А. Е. Математическая модель выделения паттернов сложных многоканальных сигналов в применении к обработке электроэнцефалографических данных. Информационно-управляющие системы, 2018, № 4, с. 39-44. doi:10.31799/1684-8853-2018-4-39-44
12. Максименко В. А., Харченко А. А., Люттьёханн А. Автоматизированная система для предсказания эпилептических приступов по многоканальным записям электрической активности мозга. Информационно-управляющие системы, 2018, № 4, с. 115122. doi:10.31799/1684-8853-2018-4-115-122
13. Niedermeyer E., Lopes da Silva F.H. (eds.). Electro-encephalography. Basic principles, clinical applications, and related fields. 5th ed. Lippincott, Williams & Wilkins, 2005. doi:10.1212/01.wnl.0000243257. 85592.9a
14. Hramov A. E., Koronovskii A. A., Makarov V. A., Pavlov A. N., Sitnikova E. Wavelets in Neuroscience. Springer Heidelberg New York Dordrecht London, 2015. 314 p. doi:10.1007/ 978- 3-662-43850-3
15. Sauseng P., Klimesch W., Stadler W., Schabus M., Doppelmayr S., Hanslmayr W. R., Gruber N., Bir-baumer A. A shift of visual spatial attention is selectively associated with human EEG alpha activity. European Journal of Neuroscience, 2005, vol. 22(11), pp. 2917-2926. doi:10.1111/j.1460-9568.2005.04482.x
16. Foxe J. J., Snyder A. C. The role of alpha-band brain oscillations as a sensory suppression mechanism during selective attention. Frontiers in Psychology, 2011, vol. 2, p. 154. doi:10.3389/fpsyg.2011.00154
17. Sehatpour P., Molholm S., Schwartz T. H., Mahoney J. R., Mehta A. D., Javitt D. C., Stanton P. K., and Foxe J. J. A human intracranial study of long-range oscillatory coherence across a frontal-occipital-hippocampal brain network during visual object processing. Proceedings of the National Academy of Sciences, 2008, vol. 105(11), pp. 4399-4404. doi:10. 1073/pnas. 0708418105
18. Wrobel A. Beta activity: a carrier for visual attention. Acta Neurobiologiae Experimentalis, 2000, vol. 60(2), pp. 247-260.
19. Gola M., Magnuski M., Szumska I., Wrobel A. EEG beta band activity is related to attention and atten-tional deficits in the visual performance of elderly subjects. International Journal of Psychophysiology, 2013, vol. 89(3), pp. 334-341. doi:10.1016/j.ijpsy-cho.2013.05.007
20. Michalareas G., Vezoli J., van Pelt S., Schoffelen J. M., Kennedy H., Fries P. Alpha-beta and gamma rhythms subserve feedback and feedforward influences among human visual cortical areas. Neuron, 2016, vol. 89(2), pp. 384-397. doi:10.1016/j.neuron.2015.12.018
21. Gleiss S., Kayser C. Acoustic noise improves visual perception and modulates occipital oscillatory states. Journal of Cognitive Neuroscience, 2014, vol. 26(4), pp. 699-711. doi:10.1162/jocn_a_00524
22. Mulckhuyse M., Kelley T. A., Theeuwes J., Walsh V., Lavie N. Enhanced visual perception with occipital transcranial magnetic stimulation. European Journal of Neuroscience, 2011, vol. 34(8), pp. 1320-1325. doi:10.1111/j.1460-9568.2011.07814.x
23. Laufs H., Holt J. L., Elfont R., Krams M., Paul J. S., Krakow K., Kleinschmidt A. Where the BOLD signal goes when alpha EEG leaves. Neuroimage, 2006, vol. 31(4), pp. 1408-1418. doi:10.1016/j.neuroim-age.2006. 02.002
24. Zander T. O., Kothe C. Towards passive brain-computer interfaces: applying brain-computer interface technology to human-machine systems in general. Journal of Neural Engineering, 2011, vol. 8(2), pp. 025005. doi:10.1088/1741-2560/8/2/025005
25. Максименко В. А., Руннова А. Е., Куланин Р. А., Протасов П. А., Журавлев М. О., Чолак П., Писар-чик А. Н., Храмов А. Е. Алгоритм для автоматического детектирования особенностей активности мозга во время выполнения когнитивных задач. Информационно-управляющие системы, 2018, № 5, с. 104-111. doi:10.31799/1684-8853-2018-5-104-111
UDC 612.822.3, 57.087.1, 51-76 doi:10.31799/1684-8853-2018-6-58-65
Mathematical modeling of visual sensory information processing using multi-channel EEG signals
V. A. Maksimenkoa, PhD, Phys.-Math., Associate Professor, orcid.org/0000-0002-4632-6896, [email protected]
A. K. Kuca, Master Student, orcid.org/0000-0001-6233-2594
A. N. Pisarchikb, PhD, Phys.-Math., Professor, orcid.org/0000-0003-2471-2507
A. E. Hramova, Dr. Sc., Phys.-Math., Professor, orcid.org/0000-0003-2787-2530
aYuri Gagarin State Technical University, 77, Politechnicheskaia St., 410054, Saratov, Russian Federation bUniversidad Politécnica de Madrid, Calle Ramiro de Maeztú, 7, 28040 Madrid, Spain
Introduction: Processes in the brain cortex during the perception and processing of sensory information can now be analyzed using multichannel signals of electrical activity. A special attention is paid to the detection of common scenarios of involving various brain areas in the sensory perception process. Purpose: Studying the spatio-temporal and time-frequency structure of brain electrical activity signals during visual sensory information processing. Results: Based on time-frequency analysis, we studied the dynamics of electrical neural activity energy in the frequency ranges 8-12 Hz (alpha-activity) and 15-30 Hz (beta-activity) in various brain areas. It was shown that the perception and processing of visual stimulus lead to a lower alpha-activity energy and higher beta-activity energy. These processes are observed in several brain zones. It was revealed that a characteristic pattern emerges in the occipital and parietal lobes, and then involves the neurons of the central and frontal lobes. Practical relevance: The revealed neural activity scenario can be used in the development of passive brain-computer interfaces which monitor and control neural activity during the processing of big amounts of sensory information.
Keywords — multichannel EEG signals, visual perception, time-frequency analysis, sensory information processing.
Citation: Maksimenko V. A., Kuc A. K., Pisarchik A. N., Hramov A. E. Mathematical modeling of visual sensory information processing using multi-channel EEG signals. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 6, pp. 58-65 (In Russian). doi:10.31799/1684-8853-2018-6-58-65
References
1. Milton A., Pleydell-Pearce C. W. The phase of pre-stimulus alpha oscillations influences the visual perception of stimulus timing. Neuroimage, 2016, vol. 133, pp. 53-61. doi:10.1016/j.neuroimage.2016.02.065
2. Shourie N. Cepstral analysis of EEG during visual perception and mental imagery reveals the influence of artistic expertise. Journal of Medical Signals and Sensors, 2016, vol. 6(4), p. 203.
3. Mizuno K., Tanaka M., Yamaguti K., Kajimoto O., Kurat-sune H., Watanabe Y. Mental fatigue caused by prolonged cognitive load associated with sympathetic hyperactivity. Behavioral and Brain Functions, 2011, vol. 7(1), p. 17. doi:10.1186/1744-9081-7-17
4. Tanaka M., Shigihara Y., Ishii A., Funakura M., Kanai E., Watanabe Y. Effect of mental fatigue on the central nervous system: an electroencephalography study. Behavioral and Brain Functions, 2012, vol. 8(1), p. 48. doi:10.1186/1744-9081-8-48
5. Dehaene S., Kerszberg M., Changeux J. P. A neuronal model of a global workspace in effortful cognitive tasks. Proceedings of the National Academy of Sciences, 1998, vol. 95(24), pp. 14529-14534. doi:10.1073/pnas.95.24.14529
6. Finc K., Bonna K., Lewandowska M., et al. Transition of the functional brain network related to increasing cognitive demands. Human Brain Mapping, 2017, vol. 38(7), pp. 36593674. doi:10.1002/hbm. 23621
7. Baars B. J. In the theatre of consciousness. Global workspace theory, a rigorous scientific theory of consciousness. Journal of Consciousness Studies, 1997, vol. 4(4), pp. 292309. doi:10.1093/acprof:oso/9780195102659.001.1
8. Maksimenko V. A., Runnova A. E., Frolov N. S., Makarov V. V., Nedaivozov V., Koronovskii A. A., Pisarchik A., Hramov A. E. Multiscale neural connectivity during human sensory processing in the brain. Physical Review E, 2018, vol. 97(5), p. 052405. doi:10.1103/PhysRevE.97.052405
9. Guo D., Guo F., Zhang Y., Li F., Xia Y., Xu P., Yao D. Periodic visual stimulation induces resting-state brain network reconfiguration. Frontiers in Computational Neuroscience, 2018, vol. 12, p. 21. doi:10.3389/fncom.2018.00021
10. Gorshkov A. A., Ossadtchi A. E., Fradkov A. L. Regulariza-tion of EEG/MEG inverse problem with a local cortical wave pattern. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2017, no. 5, pp. 12-20 (In Russian). doi:10.15217/issn1684-8853.2017.5.12
11. Runnova A. E. Mathematical model of pattern selection for complex multichannel data in EEG processing. Informat-sionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 4, pp. 39-44 (In Russian). doi:10. 31799/1684-8853-2018-4-39-44
12. Maksimenko V. A., Harchenko A. A., Lüttjohann A. Automated system for epileptic seizures prediction based on multi-channel recordings of electrical brain activity. Infor-matsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 4, pp. 115-122 (In Russian). doi:10.31799/1684-8853-2018-4-115-122
13. Niedermeyer E., Lopes da Silva F.H. (eds.). Electroencephalography. Basic principles, clinical applications, and related fields. 5th ed. Lippincott, Williams & Wilkins, 2005. doi:10.1212/01.wnl.0000243257.85592.9a
14. Hramov A. E., Koronovskii A. A., Makarov V. A., Pavlov A. N., Sitnikova E. Wavelets in Neuroscience. Springer Heidelberg New York Dordrecht London, 2015. 314 p. doi:10.1007/ 9783-662-43850-3
15. Sauseng P., Klimesch W., Stadler W., Schabus M., Doppel-mayr S., Hanslmayr W. R., Gruber N., Birbaumer A. A shift of visual spatial attention is selectively associated with human EEG alpha activity. European Journal of Neuroscience, 2005, vol. 22(11), pp. 2917-2926. doi:10.1111/j.1460-9568. 2005.04482.x
16. Foxe J. J., Snyder A. C. The role of alpha-band brain oscillations as a sensory suppression mechanism during selective attention. Frontiers in Psychology, 2011, vol. 2, p. 154. doi:10.3389/fpsyg.2011.00154
17. Sehatpour P., Molholm S., Schwartz T. H., Mahoney J. R., Mehta A. D., Javitt D. C., Stanton P. K., and Foxe J. J. A human intracranial study of long-range oscillatory coherence across a frontal-occipital-hippocampal brain network during visual object processing. Proceedings of the National Academy of Sciences, 2008, vol. 105(11), pp. 4399-4404. doi:10.1073/pnas.0708418105
18. Wrobel A. Beta activity: a carrier for visual attention. Acta Neurobiologiae Experimentalis, 2000, vol. 60(2), pp. 247260.
19. Gola M., Magnuski M., Szumska I., Wrobel A. EEG beta band activity is related to attention and attentional deficits in the visual performance of elderly subjects. International Journal of Psychophysiology, 2013, vol. 89(3), pp. 334-341. doi:10.1016/j.ijpsycho.2013.05.007
20. Michalareas G., Vezoli J., van Pelt S., Schoffelen J. M., Kennedy H., Fries P. Alpha-beta and gamma rhythms subserve feedback and feedforward influences among human visual cortical areas. Neuron, 2016, vol. 89(2), pp. 384-397. doi:10.1016/j.neuron.2015.12.018
21. Gleiss S., Kayser C. Acoustic noise improves visual perception and modulates occipital oscillatory states. Journal of Cognitive Neuroscience, 2014, vol. 26(4), pp. 699-711. doi:10.1162/jocn_a_00524
22. Mulckhuyse M., Kelley T. A., Theeuwes J., Walsh V., Lavie N. Enhanced visual perception with occipital transcranial magnetic stimulation. European Journal of Neuroscience, 2011, vol. 34(8), pp. 1320-1325. doi:10.1111/j.1460-9568.2011.07814.x
23. Laufs H., Holt J. L., Elfont R., Krams M., Paul J. S., Krakow K., Kleinschmidt A. Where the BOLD signal goes when alpha
EEG leaves. Neuroimage, 2006, vol. 31(4), pp. 1408-1418. doi:10.1016/j.neuroimage.2006.02.002
24. Zander T. O., Kothe C. Towards passive brain-computer interfaces: applying brain-computer interface technology to human-machine systems in general. Journal of Neural Engineering, 2011, vol. 8(2), pp. 025005. doi:10.1088/1741-2560/8/2/025005
25. Maksimenko V. A., Runnova A. E., Kulanin R. A., Prota-sov P. A., Zhuravlev M. O., Chholak P., Pisarchik A., Hra-mov A. E. Algorithm for automatic estimation of human brain activity features during mental task evaluation. In-formatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 5, pp. 104-111 (In Russian). doi:10. 31799/1684-8853-2018-5-104-111
Научный журнал «ИНФОРМАЦИОННО-УПРАВЛЯЮЩИЕ СИСТЕМЫ» выходит каждые два месяца.
Стоимость годовой подписки (6 номеров) для подписчиков России — 6000 рублей,
для подписчиков стран СНГ — 6600 рублей, включая НДС 18%, таможенные и почтовые расходы.
Подписку на печатную версию журнала можно оформить в любом отделении связи по каталогу:
«Роспечать»: № 15385 — полугодовой индекс,
а также через посредство подписных агентств:
«Северо-Западное агентство „Прессинформ"»
Санкт-Петербург, тел.: (812) 335-97-51, 337-23-05,
эл. почта: [email protected], [email protected],
сайт: http://www.pinform.spb.ru
«МК-Периодика» (РФ + 90 стран)
Москва, тел.: (495) 681-91-37, 681-87-47,
эл. почта: [email protected], сайт: http://www.periodicals.ru «Деловая пресса»
Москва, тел.: (495) 962-11-11, эл. почта: [email protected], сайт: http://delpress.ru/contacts.html «Коммерсант-Курьер»
Казань, тел.: (843) 291-09-99, 291-09-47, эл. почта: [email protected],
сайт: http://www.komcur.ru/contacts/kazan/
«Урал-Пресс» (филиалы в 40 городах РФ)
Сайт: http://www.ural-press.ru
«Идея» (Украина)
Сайт: http://idea.com.ua
«ВТЪ» (Узбекистан)
Сайт: http://btl.sk.uz/ru/cat17.html и др.
На электронную версию нашего журнала (все выпуски, годовая подписка, один выпуск, одна статья) вы можете подписаться на сайтах НЭБ: http://elibrary.ru; РУКОНТ: http://www.rucont.ru; ИВИС: http://www.ivis.ru; Некс-Медиа: http://biblioclub.ru/index.php?page=news&id=11l96
Полнотекстовые версии журнала за 2002-2017 гг. в свободном доступе на сайте журнала (http://www.i-us.ru), НЭБ (http://www.elibrary.ru)
и Киберленинки (http://cyberleninka.ru/journal/n/informatsionno-upravlyayuschiesistemy).
