CC BY
25
Ч УПРАВЛЕНИЕ В МЕДИЦИНЕ И БИОЛОГИИ
УДК 612.822.3, 57.087.1
doi:10.31799/1684-8853-2020-1-73-80 Articles
Исследование процесса обработки зрительной информации в зависимости от ориентации стимулов по многоканальным записям ЭЭГ
A. К. Куца, аспирант, orcid.org/0000-0001-6233-2594
B. А. Максименкоа, канд. физ.-мат. наук, старший научный сотрудник, orcid.org/0000-0002-4632-6896, maximekovl@gmail.com
М. В. Храмова6, канд. пед. наук, доцент, orcid.org/0000-0002-6392-4580
А. Е. Храмова, доктор физ.-мат. наук, профессор, orcid.org/0000-0003-2787-2530
аУниверситет Иннополис, Университетская ул., 1, Иннополис, 420500, Республика Татарстан, РФ
бСаратовский национальный исследовательский государственный университет
им. Н. Г. Чернышевского, Астраханская ул., 83, Саратов, 410012, РФ
Введение: анализ электрической активности нейронной сети коры головного мозга, связанной с обработкой визуальной информации, является одним из наиболее интересных и актуальных вопросов в современной нейронауке. Особое внимание исследователей в данной области привлекает изучение нейронной активности во время обработки сложных визуальных стимулов. Цель: исследование процесса обработки сенсорной информации в коре головного мозга на основании регистрируемых сигналов электрической активности (электроэнцефалограмм). Результаты: проведен анализ нейронной активности, связанной с обработкой зрительной информации, путем рассмотрения изменения спектральной энергии электроэнцефалограмм в диапазоне 15+30 Гц. Исследовано влияние сложности визуальных стимулов на особенности пространственно-временной динамики нейронной активности. Обнаружено, что при низкой сложности спектральная амплитуда электроэнцефалограмм в диапазоне 15+30 Гц увеличивается главным образом в теменной зоне. При увеличении сложности спектральная амплитуда электроэнцефалограмм увеличивается одновременно в различных участках коры, преимущественно в лобной области. Практическая значимость: выявленные особенности нейронной динамики могут быть полезны при разработке пассивных интерфейсов мозг-компьютер, осуществляющих мониторинг когнитивного состояния человека и оценку его когнитивной нагрузки в режиме реального времени.
Ключевые слова — обработка зрительной информации, неоднозначность зрительной информации, бета-частотный диапазон, электроэнцефалограмма.
Для цитирования: Куц А. К., Максименко В. А., Храмова М. В., Храмов А. Е. Исследование процесса обработки зрительной информации в зависимости от ориентации стимулов по многоканальным записям ЭЭГ. Информационно-управляющие системы, 2020, № 1, с. 73-80. doi:10.31799/1684-8853-2020-1-73-80
For citation: Kuc A. K., Maksimenko V. A., Khramova М. V., Hramov A. E. Study of sensory information processing depending on visual stimulus complexity based on multichannel EEG signals. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 1, pp. 73-80 (In Russian). doi:10.31799/1684-8853-2020-1-73-80
Введение
Нейронная активность коры головного мозга связана с такими функциями организма, как память [1] и внимание [2], а также обеспечивает реализацию когнитивных функций (обработку сенсорной информации и принятие решений [3, 4]), необходимых для взаимодействия человека с окружающей средой [5-7].
Согласно результатам нейрофизиологических исследований, сенсорная обработка и принятие решения реализуется в головном мозге посредством различных типов нейронной активности [8]. Как было показано в работе [9], сенсорная обработка происходит в течение первых 130-320 мс после предъявления стимула и ассоциируется с нейронной активностью в затылочной коре, тогда как нейронная активность, связанная с принятием ре-
шений, наблюдается позже и наиболее выражена в теменной и лобной областях [10].
Наряду с активностью отдельных областей мозга в работе [11] подчеркивается важная роль коллективной динамики нейронных ансамблей, расположенных в различных областях коры, во время обработки зрительной информации и принятия решений. В то же время, согласно недавнему обзору [12], большинство исследований в данной области основано на анализе нейронной активности отдельных областей, откуда можно заключить, что глубокого понимания механизмов, координирующих нейронные взаимодействия при сенсорной обработке и принятии решений, на данный момент не существует.
В настоящей работе анализируется пространственно-временная эволюция электрической активности головного мозга в процессе обработки
зрительной информации путем рассмотрения спектральной энергии сигналов электроэнцефалограммы (ЭЭГ) в бета-диапазоне (15-30 Гц). Согласно ранее опубликованным работам, особенность нейронной активности в данном частотном диапазоне, с одной стороны, связана с обработкой визуальной информации [13], а с другой стороны, играет важную роль в процессе принятия решений [14, 15].
В качестве экспериментальной парадигмы используется когнитивная задача, подразумевающая восприятие бистабильных визуальных стимулов и их бинарную классификацию в зависимости от интерпретации [16]. Известно, что увеличение неоднозначности визуального стимула влияет на сложность и на время принятия решения. Однако до сих пор неясно, как изменение неоднозначности влияет на динамику нейронной активности головного мозга на этапе сенсорной обработки.
Дизайн нейрофизиологического эксперимента
В экспериментах приняли участие десять здоровых испытуемых (5 мужчин и 5 женщин) в возрасте от 26 до 35 лет с нормальным или скорректированным до нормального зрением. Все они дали информированное письменное согласие перед участием в эксперименте. Испытуемые были ознакомлены с экспериментальным заданием, но не участвовали в экспериментах по крайней мере в последние 6 месяцев до данного эксперимента. Все испытуемые проходили эксперимент в первой половине дня. Ни у одного из испытуемых не наблюдалось недосыпания в предыдущие дни. Каждый участник соблюдал нормальный цикл работы и отдыха с достаточным количеством сна (приблизительно 8 часов сна каждую ночь) в течение недели перед экспериментом. Кроме того, участники не принимали алкоголь или напитки с кофеином и не принимали участие в физических упражнениях за день до эксперимента. Экспериментальные исследования были проведены в соответствии с Хельсинкской декларацией и одобрены местной этической комиссией Университета Иннополис.
В качестве визуальных стимулов использовался куб Неккера [17, 18] — с прозрачными гранями и видимыми ребрами. Испытуемый воспринимает куб Неккера как 3Б-объект из-за особого положения ребер (рис. 1). Бистабильность в восприятии такого изображения заключается в интерпретации этого 3Б-объекта как ориентированного либо влево, либо вправо в зависимости от контраста различных внутренних ребер куба. Использование такого неоднозначного изображения популярно во
000
0,15 0,25 0,4 0,45 0,55 0,6 0,75 0,85 Уровень неоднозначности a
■ Рис. 1. Набор визуальных стимулов (кубы Неккера) с разной степенью неоднозначности a
■ Fig. 1. The set of visual stimuli (Necker cubes) with the different degree of ambiguity a
многих психологических экспериментах [19, 20] и теоретических моделях [21, 22]. В качестве управляющего параметра а используется контраст трех средних линий, расположенных в левом среднем углу. Значения а = 1 и а = 0 соответствуют яркости пикселей средних линий: 0 (черный) и 255 (белый). Поэтому контраст определяется как а = у/255, где у — уровень яркости средних линий согласно 8-битной палитры серого цвета. В настоящей работе использовались восемь различных изображений куба Неккера (см. рис. 1). Половина из них, а = {0,15; 0,25; 0,4; 0,45} — лево-ориентированные, в то время как остальные, а = {0,55; 0,6; 0,75; 0,85} — право-ориентированные. Для а = 0 и а = 1 ориентация куба Неккера может быть легко интерпретирована как левая или правая соответственно, а для а и 0,5 идентификация фактической ориентации становится более сложной, поскольку мы имеем дело с сильно неоднозначным изображением.
Во время эксперимента куб Неккера располагался в центре экрана монитора на белом фоне. Красная точка в центре куба использовалась для привлечения внимания испытуемого и предотвращения возможных изменений восприятия из-за движений глаз. Стимулы были продемонстрированы на ЖК-мониторе 24" с пространственным разрешением 1920 х 1080 пикселей и частотой обновления 60 Гц. Яркость монитора составляла 185 кд/м2 (для белого) и 0,2 кд/м2 (для черного), статическая контрастность составляла 919:1. Участники эксперимента располагались на расстоянии 70-80 см от монитора, угол обзора составлял примерно 0,25 рад. Размер куба Неккера на мониторе составлял 14,2 см, угловой размер стимула составлял примерно 0,1 рад.
Весь эксперимент длился около 40 мин для каждого участника, включая короткие записи ЭЭГ в состоянии покоя (и4 мин) до и после основной части эксперимента. Во время экспериментальных сеансов кубы с заранее заданными значениями а (из множества, проиллюстрированного на рис. 1) были случайным образом представлены 400 раз (каждый куб с определенной неоднозначностью был представлен около 50 раз).
Участникам было предложено нажать либо левую клавишу левой рукой, либо правую клавишу
правой рукой, чтобы указать первое впечатление об ориентации каждого куба. Так как при последовательном представлении изображений ранее продемонстрированные кубы могут влиять на восприятие последующих, продолжительность демонстрации стимула варьировалась в диапазоне 1-1,5 с. Кроме того, случайное изменение параметра a также препятствовало стабилизации восприятия. Наконец, чтобы отвлечь внимание наблюдателя и сделать восприятие следующего куба Неккера независимым от предыдущего, между последующими демонстрациями изображений куба были показаны абстрактные изображения в течение 3-5 с.
Известно, что на восприятие и обработку визуальной информации влияют такие факторы, как исходное психофизиологическое состояние и психоэмоциональный фон испытуемых, динамика пространственных, временных и энергетических характеристик зрения испытуемых, а также характеристики стимульной системы (яркость экрана, контраст изображения, угловые размеры стимулов). Тогда как характеристики стимульной среды могут быть зафиксированы для всех испытуемых в группе, индивидуальные различия характеристик восприятия должны быть учтены при планировании экспериментального исследования. В данном контексте для минимизации эффектов, вызванных индивидуальными особенностями, анализ влияния неоднозначности стимула был осуществлен на основе сравнения зависимых выборок. В этом случае восприятие стимулов с высокой и низкой неоднозначностью рассматривалось в рамках каждого субъекта, а затем полученная разница сопоставлялась с разбросом внутри группы, вызванным индивидуальными особенностями испытуемых. Следует также отметить, что состояние испытуемых может изменяться в процессе прохождения эксперимента. В частности, на восприятие будет влиять когнитивное утомление (mental fatigue) [23], а также эффект тренировки [24], вызванный продолжительным выполнением схожих задач. В целях минимизации этих воздействий визуальные стимулы для двух рассматриваемых наборов были выбраны в случайном порядке и моменты их предъявлений были равномерно распределены в течение всего эксперимента.
Регистрация и предварительная обработка электроэнцефалограммы
Сигналы ЭЭГ были получены с использованием метода монополярной регистрации и классической расширенной системы расстановки электродов 10-10. Электрическая активность регистрировалась с помощью 31 электрода, и два электрода
были референтными и располагались на мочках ушей. Заземляющий электрод был расположен чуть выше лба. В эксперименте использовались чашечковые адгезивные электроды Ag/AgCl, помещенные на пасту Tien-20 (Weaver and Company, Колорадо, США). Непосредственно перед началом эксперимента были проведены все необходимые процедуры для повышения проводимости кожи с помощью абразивного геля NuPrep (Weaver and Company, Колорадо, США). Для усиления и аналого-цифрового преобразования сигналов ЭЭГ использовался электроэнцефалограф «Энцефалан-ЭЭГ-19/26» (ООО НПКФ «Медиком», РФ). ЭЭГ-сигналы фильтровались полосовым фильтром с точками отсечения 1 и 100 Гц и режекторным фильтром (50 Гц) с помощью встроенного аппаратно-программного обеспечения.
Записанные сигналы ЭЭГ были сегментированы на наборы из двух отрезков (0,5 с до и 0,5 с после демонстрации каждого куба). Для уменьшения мышечных артефактов участникам предлагалось принять позу, исключающую чрезмерное напряжение мышц шеи. Артефакты, вызванные движением глаз, мышечной активностью и сердечным ритмом, были скорректированы методом разложения сигнала на эмпирические моды [25].
Анализ экспериментальных данных
Для построения модели, описывающей пространственно-временную динамику электрической активности коры головного мозга, была проанализирована спектральная мощность сигналов ЭЭГ в бета-диапазоне частот (15-30 Гц) при помощи непрерывного вейвлет-преобразования. На первом этапе для каждого канала ЭЭГ Xn(t) [Гц] был рассчитан вейвлетный энергетический спектр в диапазоне частот 1+30 Гц при помощи соотношения En(f, t) = (Wn(f, t))2. Здесь Wn(f, t) — комплексно-значный коэффициент вейвлет-преобразования, вычисляемый как
t+4/ f
Wn (f, t) = Jf j Xn (t)y*(f, t)dt, (1)
t-4/ f
где n = 1, ..., N — номер канала ЭЭГ (N = 31 — общее количество каналов, используемых для анализа); символ «*» означает комплексное сопряжение. В качестве материнской вейвлет-функ-ции y(f, t) был выбран вейвлет Морле [26], который определяется как
V(f, t) = fl4eia°f(t-t°)ef(t-to)2/2, (2)
где ю0 = 2% — параметр, характеризующий вейв-лет-функцию.
я I
о
«
я =
я H ч
0,7
0,65
0,6
0,55
0,5
0,45
M
m
0,4
Демонстрация визуального стимула
-0,5
-0,25
0
Время t, с
0,25
0,5
■ Рис. 2. Интервалы времени, используемые для анализа сигнала ЭЭГ, связанного с восприятием визуального стимула
■ Fig. 2. Time intervals taken to analyze the EEG signal associated with visual stimulus perception
Затем для бета-диапазона частот значение амплитуды вейвлет-спектра Ер рассчитывалось как
En (t) = f i E" (f'» t)df
(3)
где Д/р = 15-30 Гц. Полученные значения ЕрП ^) были нормированы на значения Е"(/, ¿), проинтегрированные в диапазоне 1-30 Гц, для того чтобы исключить влияние флуктуаций амплитуды ЭЭГ. Временные ряды (3) были рассчитаны для всего эксперимента и затем разбивались на отрезки т1рге = 0,5 с и т1р031 = 0,5 с до и после представления ¿-го визуального стимула соответственно:
() , = i E" (t')dt'.
^pre» post i i
^ prepost
(4)
Для каждого визуального стимула с определенным значением параметра а разница между |' EП j i и ^EП j i для re-го канала ЭЭГ анализи-
^ pre ^ post
ровалась статистически на основе 20 предъявлений с помощью i-критерия для зависимых выборок. Уровень значимости был скорректирован с учетом множественных сравнений методом перестановок.
Зависимость амплитуды вейвлет-спектра (3), полученной для канала P3, на интервале, соответствующем обработке зрительного стимула, показана на рис. 2. Видно, что для данного канала наблюдается увеличение амплитуды во время обработки стимула Tip0st по сравнению с прести-
мульным периодом xipre.
Полученные результаты
Для исследования влияния сложности визуального стимула все кубы Неккера были разделены на две группы: 1) группа ЬЛ, включающая кубы с низкой степенью неоднозначности визуальных стимулов, для которых а = {0,15; 0,25; 0,75; 0,85}; 2) группа НА, включающая кубы с высокой степенью неоднозначности визуальных стимулов, для которых а = {0,4; 0,45; 0,55; 0,6}.
При анализе активности головного мозга, связанной с восприятием и обработкой визуального стимула, важным вопросом является корректное определение момента начала ответной реакции на предъявляемый стимул. Для этого используется анализ вызванных потенциалов Р300 и N200
[27]. Решение данной задачи наиболее актуально в случае, когда необходимо сопоставить реакцию испытуемого на целевые и нецелевые стимулы
[28]. В рамках данной задачи все рассматриваемые стимулы считались целевыми, и было сделано предположение, что изменение характеристик внимания испытуемого равновероятно влияет на восприятие стимулов из двух рассматриваемых наборов. Это предположение основано на том, что стимулы для двух наборов были выбраны случайным образом и равномерно распределены в течение экспериментальной сессии.
Каждая группа включала 80 стимулов (по 20 на каждое значение параметра а). Особенности ЭЭГ были проанализированы и сравнены для стимулов ЬЛ и НА в течение двух интервалов времени т1 и т2, относящихся к стадии сенсорной обработки (рис. 3). На основе описанного выше метода были выявлены каналы ЭЭГ, демонстрирующие значительное увеличение спектральной амплитуды в бета-диапазоне частот. На рис. 3 показана разница Б между числом каналов ЭЭГ, где Ер увеличивается, и числом каналов, где Ер уменьшается для стимулов ЬЛ и НА и двух интервалов времени — т1 и т2. Диаграммы отражают распределения этих значений в группе участников (медиана, 25-й и 75-й перцентили) (рис. 3, а).
Видно, что для т1 медиана Б близка к нулю, что соответствует приблизительно равному числу каналов, характеризующихся увеличением и уменьшением энергии в бета-диапазоне. В этом случае 5/10 испытуемых демонстрируют Б > 0 для стимулов ЬЛ и НА, в то время как 5/10 демонстрируют Б < 0. Для т2 6/10 испытуемых демонстрируют преобладание каналов ЭЭГ с уменьшающейся энергией (Б < 0) для стимулов ЬЛ, и 7/10 испытуемых демонстрируют преобладание каналов ЭЭГ с увеличивающейся амплитудой (Б > 0) для стимулов НЛ.
Дисперсионный анализ с коррекцией Гринхауса — Гейсера показывает, что Б незначимо изменяется как при изменении сложности
2
a)
а й И и
H
I
«
Он
ß -диапазон
t
LA
HA
----------HA-------la--
LA
X1 х2 Момент времени
N(AEp > 0) 5 4 3 2 1 0
N(AEp > 0)
HA
■ Рис. 3. Разница D между числом каналов, где амплитуда ЭЭГ в бета-диапазоне Ep увеличивается, и числом каналов, где Ep уменьшается в зависимости от неоднозначности стимулов LA, HA и анализируемого интервала времени т1, т2 (а); распределение каналов ЭЭГ, для которых наблюдается увеличение Ep для всех испытуемых в случае восприятия однозначных (б) и неоднозначных (в) стимулов
■ Fig. 3. Difference D between the number of EEG channels where beta-activity amplitude Ep increases and those where Ep decreases depending on the ambiguity of the stimuli lA, HA and the time interval т^, т2 (а); the distribution of EEG channels, reflecting Ep increase for all subjects for LA (b) and HA (c) stimuli
стимула (НА и ЬА) (^19 = 1,189, p = 0,304), так и между рассматриваемыми интервалами времени (F1 9 = 1,723, p = 0,222). В то же время наблюдается статистически значимый эффект взаимодействия между сложностью стимула и временным интервалом ^ 9 = 10,211, p = 0,01). Это означает, что разница в значениях D для ЬА- и НА-стимулов различна для рассматриваемых интервалов.
Чтобы оценить изменение D для ЬА- и НА-стимулов, каждый интервал времени был рассмотрен отдельно с использованием статистического анализа на основе непараметрического критерия Уилкоксона для связанных выборок. В результате было показано, что D незначительно различается между ЬА- и НА-стимулами в случае т1 (^ = 0,919), но значимо различается для т2 (^ = 0,032). Анализируя каждого испытуемого отдельно, авторы установили, что у 8/10 участников эксперимента наблюдается обнаруженная закономерность.
Полученные результаты свидетельствуют, что динамика амплитуды электрической активности в бета-диапазоне различна при разной сложности визуальных стимулов. Для более сложных стиму-
лов (HA) количество каналов, демонстрирующих увеличение энергии в бета-диапазоне частот, превышает соответствующее количество каналов для более легких (LA) стимулов. Вместе с тем локализация каналов ЭЭГ, для которых обнаружено увеличение амплитуды бета-активности, на поверхности коры также различна для LA- и HA-стимулов. Для однозначных стимулов (LA) (рис. 3, б) спектральная амплитуда ЭЭГ в бета-диапазоне увеличивается главным образом в теменной зоне. В этом случае 8/10 испытуемых демонстрируют увеличение амплитуды бета-активности для каналов P3, Pz, P4. Для сложных стимулов (HA) (рис. 3, в) энергия в бета-диапазоне увеличивается одновременно в различных участках коры, преимущественно в лобной области. В этом случае у 7/10 испытуемых этот эффект наблюдается во фронтальной области, у 5/10 — в соматосенсорной области, у 5/10 — в те-менно-затылочной области.
Результаты, полученные в рамках данной работы, связаны с нисходящими (top-down) процессами, которые формируются в коре головного мозга и оказывают влияние на процессы восприятия и обработки зрительной информации в более глубинных структурах. Наряду с нисходящими [29], обработка зрительной информации также ассоциируется с восходящими (bottom-up) процессами [30]. Известно, что bottom-up процессы связаны с непроизвольным вниманием, которое активируется самим по себе фактом появления визуального стимула [31]. Top-down процессы, в свою очередь, связаны с осознанной обработкой стимула. В частности, одним из таких процессов является выборочное внимание (selective attention), которое характеризует способность испытуемого выделять отличительные особенности сенсорной информации, необходимые для принятия решения [32, 33].
Заключение
Результаты проведенных исследований процесса обработки зрительной информации в зависимости от ориентации стимулов (кубов Неккера) по многоканальным записям ЭЭГ выявили следующие закономерности.
1. Для случаев, когда в качестве визуальных стимулов использовались кубы Неккера с низкой степенью неоднозначности, значимое увеличение амплитуды вейвлет-спектра сигналов ЭЭГ в бета-диапазоне наблюдалось в отведениях теменной зоны.
2. Для кубов Неккера с высокой степенью неоднозначности амплитуда вейвлет-спектра сигналов ЭЭГ в бета-диапазоне одновременно увеличивалась в различных областях коры, включая лобную и теменно-затылочную области.
*
4
0
Полученные результаты представляют интерес для фундаментальной нейронауки и имеют потенциал практического использования в контексте реализации пассивных интерфейсов мозг-компьютер, осуществляющих мониторинг когнитивного состояния человека в процессе решения задач, подразумевающих восприятие и обработку зрительной информации.
1. Onton J., Delorme A., Makeig S. Frontal midline EEG dynamics during working memory. Neuroimage, 2005, vol. 27(2), pp. 341-356 doi:10.1016/j.neuroim-age.2005.04.014
2. Liu N. H., Chiang C. Y., Chu H. C. Recognizing the degree of human attention using EEG signals from mobile sensors. Sensors, 2013, vol. 13(8), pp. 1027310286. doi:10.3390/s130810273
3. Balconi M., Lucchiari C. Consciousness and arousal effects on emotional face processing as revealed by brain oscillations. A gamma band analysis. International Journal of Psychophysiology, 2008, vol. 67(1), pp. 41-46. doi:10.1016/j.ijpsycho.2007.10.002
4. Sauseng P., Klimesch W., Schabus M., Doppelmayr M. Fronto-parietal EEG coherence in theta and upper alpha reflect central executive functions of working memory. International Journal of Psychophysiology, 2005, vol. 57(2), pp. 97-103. doi:10.1016/j.ijpsy-cho.2005.03.018
5. Helfrich R. F., Huang M., Wilson G., Knight R. T. Pre-frontal cortex modulates posterior alpha oscillations during top-down guided visual perception. Proceedings of the National Academy of Sciences, 2017, vol. 114(35), pp. 9457-9462. doi:10.1073/pnas.1705965114
6. Wamain Y., Sahai A., Decroix J., Coello Y., Kalenine S. Conflict between gesture representations extinguishes ^ rhythm desynchronization during manipulable object perception: An EEG study. Biological Psychology, 2018, vol. 132, pp. 202-211. doi:10.1016/j.biopsy-cho.2017.12.004
7. Kumar G. V., Halder T., Jaiswal A. K., Mukherjee A., Roy D., Banerjee A. Large scale functional brain networks underlying temporal integration of audio-visual speech perception: An EEG study. Frontiers in Psychology, 2016, vol. 7, p. 1558. doi:10.3389/ fpsyg.2016.01558
8. Heekeren H. R., Marrett S., Ungerleider L. G. The neural systems that mediate human perceptual decision making. Nature Reviews Neuroscience, 2008, vol. 9(6), p. 467. doi:10.1038/nrn2374
9. Mostert P., Kok P., De Lange F. P. Dissociating sensory from decision processes in human perceptual decision making. Scientific Reports, 2015, vol. 5, p. 18253. doi:10.1038/srep18253
10. Maksimenko V. A., Frolov N. S., Hramov A. E., Runnova A. E., Grubov V. V., Kurths J., Pisarchik A. N.
Финансовая поддержка
Работа выполнена при поддержке Российского фонда фундаментальных исследований (грант № 18-32-20129), АК персонально поддержан Фондом содействия инновациям (проект № 14346ГУ/ 2019) в части разработки методов анализа ЭЭГ.
Neural interactions in a spatially-distributed cortical network during perceptual decision-making. Frontiers in Behavioral Neuroscience, 2019, vol. 13, p. 220. doi:10.3389/fnbeh.2019.00220
11. Siegel M., Engel A. K., Donner T. H. Cortical network dynamics of perceptual decision-making in the human brain. Frontiers in Human Neuroscience, 2011, vol. 5. p. 21. doi:10.3389/fnhum.2011.00021
12. Hanks T. D., Summerfield C. Perceptual decision making in rodents, monkeys, and humans. Neuron, 2017, vol. 93(1), pp. 15-31. doi:10.1016/j.neu-ron.2016.12.003
13. Sehatpour P., Molholm S., Schwartz T. H., Maho-ney J. R., Mehta A. D., Javitt D. C., Stanton P. K., and Foxe J. J. A human intracranial study of long-range oscillatory coherence across a frontal-occipital-hip-pocampal brain network during visual object processing. Proceedings of the National Academy of Sciences, 2008, vol. 105(11), pp. 4399-4404. doi:10. 1073/pnas.0708418105
14. Chand G. B., Dhamala M. The salience network dynamics in perceptual decision-making. Neuroimage, 2016, vol. 134, pp. 85-93. doi:10.1016/j.neuroim-age.2016.04.018
15. Chand G. B., Dhamala M. Interactions between the anterior cingulate-insula network and the fronto-pa-rietal network during perceptual decision-making. Neuroimage, 2017, vol. 152, pp. 381-389. doi:10.1016/ j.neuroimage.2017.03.014
16. Maksimenko V. A., Runnova A. E., Zhuravlev M. O., Makarov V. V., Nedayvozov V., Grubov V. V., Pche-lintceva S. V., Hramov A. E., Pisarchik A. N. Visual perception affected by motivation and alertness controlled by a noninvasive brain-computer interface. PloS One, 2017, vol. 12(12), p. e0188700. https://doi. org/10.1371/journal.pone.0188700
17. Kornmeier J., Friedel E., Wittmann M., & Atmans-pacher H. EEG correlates of cognitive time scales in the Necker — Zeno model for bistable perception. Consciousness and Cognition, 2017, vol. 53, pp. 136150. doi:10.1016/j.concog.2017.04.011
18. Hramov A. E., Maksimenko V. A., Pchelintseva S. V., Runnova A. E., Grubov V. V., Musatov V. Y., Zhurav-lev M. O., Koronovskii A. A., Pisarchik A. N. Classifying the perceptual interpretations of a bistable image using EEG and artificial neural networks. Frontiers in Neuroscience, 2017, vol. 11, p. 674. doi:10.3389/ fnins.2017.00674
19. Kornmeier J., Pfaffle M., Bach M. Necker cube: stimulus-related (low-level) and percept-related (high-level) EEG signatures early in occipital cortex. Journal of Vision, 2011, vol. 11(9), p. 12. doi:10.1167/11.9.12
20. Pisarchik A. N., Jaimes-Reategui R., Magallon-Garcia C. A., Castillo-Morales C. O. Critical slowing down and noise-induced intermittency in bistable perception: bifurcation analysis. Biological Cybernetics, 2014, vol. 108(4), pp. 397-404. doi:10.1007/ s00422-014-0607-5
21. Pisarchik A. N., Bashkirtseva I. A., Ryashko L. B. Controlling bistability in a stochastic perception model. The European Physical Journal Special Topics, 2015, vol. 224(8), pp. 1477-1484. doi:10.1140/ep-jst/e2015-02473-0
22. Pisarchik A. N., Bashkirtseva I., Ryashko L. Stochastic sensitivity of a bistable energy model for visual perception. Indian Journal of Physics, 2017, vol. 91(1), pp. 57-62. doi:10.1007/s12648-016-0881-2
23. Langner R., Steinborn M. B., Chatterjee A., Sturm W., Willmes K. Mental fatigue and temporal preparation in simple reaction-time performance. Acta Psycholog-ica, 2010, vol. 133(1), pp. 64-72. doi:10.1016/j.actp-sy.2009.10.001
24. Yang F., Wu Q., Li S. Learning-induced uncertainty reduction in perceptual decisions is task-dependent. Frontiers in Human Neuroscience, 2014, vol. 8, p. 282. doi:10.3389/fnhum.2014.00282
25. Грубов В. В., Руннова А. Е., Храмов А. Е. Адаптивная фильтрация физиологических артефактов на сигналах электроэнцефалограмм человека с использованием разложения по эмпирическим модам. Журнал технической физики, 2018, т. 88, № 5,
с. 782-790. doi:10.21883/JTF.2018.05.45908.2304
_/
UDC 612.822.3, 57.087.1 doi:10.31799/1684-8853-2020-1-73-80 Study of sensory information processing depending on visual stimulus complexity based on multichannel EEG signals
A. K. Kuca, Post-Graduate Student, orcid.org/0000-0001-6233-2594
V. A. Maksimenkoa, PhD, Phys.-Math., Senior Researcher, orcid.org/0000-0002-4632-6896, maximekovl@gmail.com
M. V. Khramovab, PhD, Ped., Associate Professor, orcid.org/0000-0002-6392-4580
A. E. Hramova, Dr. Sc., Phys.-Math., Professor, orcid.org/0000-0003-2787-2530
aInnopolis University, 1, Universitetskaya St., 420500, Innopolis, Russian Federation
bSaratov State University named after N. G. Chernyshevsky, 83, Astrakhanskaya St., 410012, Saratov,
Russian Federation
Introduction: Analysis of electrical activity in the cortical neural network during the processing of visual information is one of the most interesting issues in modern neuroscience. The particular attention of the researchers is attracted by the study of neural activity during complex visual stimuli processing. Purpose: Studying the process of sensory information processing in the cortical neural network based on recorded electrical activity signals (EEG). Results: We have studied neural activity during visual information processing based on the stimulus-related change in the spectral EEG energy in the 15-30 Hz frequency band. Using the developed approach, we analyzed the influence of the visual stimulus complexity on the features of spatio-temporal neural activity. It has been found that at low complexity the spectral amplitude of the EEG in the range of 15-30 Hz increases mainly in the parietal zone. With increasing complexity, the spectral amplitude of the EEG increases simultaneously in different parts of the cortex, mainly in the frontal region. Practical relevance: The identified features of neural dynamics can be used in the development of passive brain-computer interfaces to monitor a person's cognitive state and evaluate the cognitive load in real time.
Keywords — visual information processing, ambiguity of visual information, beta-frequency range, electroencephalogram (EEG).
26. Hramov A. E., Koronovskii A. A., Makarov V. A., Pavlov A. N., Sitnikova E. Wavelets in Neuroscience. Springer Heidelberg New York Dordrecht London, 2015. 314 p. doi:10.1007/ 978- 3-662-43850-3
27. Джос Ю. С., Калинина Л. П. Когнитивные вызванные потенциалы в нейрофизиологических исследованиях (обзор). Журнал медико-биологических исследований, 2018, т. 6(3), с. 223-235. doi:10.17238/ issn2542-1298.2018.6.3.223
28. Басюл И. А., Каплан А. Я. Изменения N200 и P300 компонентов потенциалов, связанных с событиями, при варьировании условий внимания в системе BCI. Журнал высшей нервной деятельности им. И. П. Павлова, 2014, т. 64(2), c. 159. doi:10.7868/ S004446771402004X
29. Rock I., Hall S., Davis J. Why do ambiguous figures reverse? Acta Psychologica, 1994, vol. 87(1), pp. 3359. doi:10.1016/0001-6918(94)90065-5
30. Toppino T. C., Long G. M. Selective adaptation with reversible figures: don't change that channel. Perception & Psychophysics, 1987, vol. 42(1), pp. 37-48. doi:10.3758/BF03211512
31. Buschman T. J., Miller E. K. Top-down versus bottom-up control of attention in the prefrontal and posterior parietal cortices. Science, 2007, vol. 315(5820), pp. 1860-1862. doi:10.1126/science.1138071
32. Gazzaley A., Nobre A. C. Top-down modulation: bridging selective attention and working memory. Trends in Cognitive Sciences, 2012, vol. 16(2), pp. 129-135. doi:10.1016/j.tics.2011.11.014
33. Schafer R. J., Moore T. Selective attention from voluntary control of neurons in prefrontal cortex. Science, 2011, vol. 332(6037), pp. 1568-1571. doi:10.1126/ science.1199892
For citation: Kuc A. K., Maksimenko V. A., Khramova M. V., Hramov A. E. Study of sensory information processing depending on visual stimulus complexity based on multichannel EEG signals. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 1, pp. 73-80 (In Russian). doi:10.31799/1684-8853-2020-1-73-80
References
1. Onton J., Delorme A., Makeig S. Frontal midline EEG dynamics during working memory. Neuroimage, 2005, vol. 27(2), pp. 341-356. doi:10.1016/j.neuroimage.2005.04.014
2. Liu N. H., Chiang C. Y., Chu H. C. Recognizing the degree of human attention using EEG signals from mobile sensors. Sensors, 2013, vol. 13(8), pp. 10273-10286. doi:10.3390/ s130810273
3. Balconi M., Lucchiari C. Consciousness and arousal effects on emotional face processing as revealed by brain oscillations. A gamma band analysis. International Journal of Psychophysiology, 2008, vol. 67(1), pp. 41-46. doi:10.1016/j. ijpsycho.2007.10.002
4. Sauseng P., Klimesch W., Schabus M., Doppelmayr M. Fronto-parietal EEG coherence in theta and upper alpha reflect central executive functions of working memory. International Journal of Psychophysiology, 2005, vol. 57(2), pp. 97-103. doi:10.1016/j.ijpsycho. 2005.03.018
5. Helfrich R. F., Huang M., Wilson G., Knight R. T. Prefron-tal cortex modulates posterior alpha oscillations during top-down guided visual perception. Proceedings of the National Academy of Sciences, 2017, vol. 114(35), pp. 94579462. doi:10.1073/pnas.1705965114
6. Wamain Y., Sahai A., Decroix J., Coello Y., Kalenine S. Conflict between gesture representations extinguishes p rhythm desynchronization during manipulable object perception: An EEG study. Biological Psychology, 2018, vol. 132, pp. 202211. doi:10.1016/j.biopsycho.2017.12.004
7. Kumar G. V., Halder T., Jaiswal A. K., Mukherjee A., Roy D., Banerjee A. Large scale functional brain networks underlying temporal integration of audio-visual speech perception: An EEG study. Frontiers in Psychology, 2016, vol. 7, p. 1558. doi:10.3389/fpsyg.2016.01558
8. Heekeren H. R., Marrett S., Ungerleider L. G. The neural systems that mediate human perceptual decision making. Nature Reviews Neuroscience, 2008, vol. 9(6), p. 467. doi:10. 1038/nrn2374
9. Mostert P., Kok P., De Lange F. P. Dissociating sensory from decision processes in human perceptual decision making. Scientific Reports, 2015, vol. 5, p. 18253. doi:10.1038/ srep18253
10. Maksimenko V. A., Frolov N. S., Hramov A. E., Runnova A. E., Grubov V. V., Kurths J., Pisarchik A. N. Neural interactions in a spatially-distributed cortical network during perceptual decision-making. Frontiers in Behavioral Neuroscience, 2019, vol. 13, p. 220. doi:10.3389/fnbeh.2019.00220
11. Siegel M., Engel A. K., Donner T. H. Cortical network dynamics of perceptual decision-making in the human brain. Frontiers in Human Neuroscience, 2011, vol. 5. p. 21. doi:10. 3389/fnhum.2011.00021
12. Hanks T. D., Summerfield C. Perceptual decision making in rodents, monkeys, and humans. Neuron, 2017, vol. 93(1), pp. 15-31. doi:10.1016/j.neuron.2016.12.003
13. Sehatpour P., Molholm S., Schwartz T. H., Mahoney J. R., Mehta A. D., Javitt D. C., Stanton P. K., and Foxe J. J. A human intracranial study of long-range oscillatory coherence across a frontal-occipital-hippocampal brain network during visual object processing. Proceedings of the National Academy of Sciences, 2008, vol. 105(11), pp. 4399-4404. doi:10. 1073/pnas.0708418105
14. Chand G. B., Dhamala M. The salience network dynamics in perceptual decision-making. Neuroimage, 2016, vol. 134, pp. 85-93. doi:10.1016/j.neuroimage.2016.04.018
15. Chand G. B., Dhamala M. Interactions between the anterior cingulate-insula network and the fronto-parietal network during perceptual decision-making. Neuroimage, 2017, vol. 152, pp. 381-389. doi:10.1016/j.neuroimage.2017.03.014
16. Maksimenko V. A., Runnova A. E., Zhuravlev M. O., Makarov V. V., Nedayvozov V., Grubov V. V., Pchelintceva S. V., Hramov A. E., Pisarchik A. N. Visual perception affected by motivation and alertness controlled by a noninvasive brain-computer interface. PloS One, 2017, vol. 12(12), p. e0188700. https://doi.org/10.1371/journal.pone.0188700
17. Kornmeier J., Friedel E., Wittmann M., & Atmanspacher H. EEG correlates of cognitive time scales in the Necker — Zeno model for bistable perception. Consciousness and Cognition, 2017, vol. 53, pp. 136-150. doi:10.1016/j.concog. 2017.04.011
18. Hramov A. E., Maksimenko V. A., Pchelintseva S. V., Runnova A. E., Grubov V. V., Musatov V. Y., Zhuravlev M. O., Koronovskii A. A., Pisarchik A. N. Classifying the perceptual interpretations of a bistable image using EEG and artificial neural networks. Frontiers in Neuroscience, 2017, vol. 11, p. 674. doi:10.3389/fnins.2017.00674
19. Kornmeier J., Pfäffle M., Bach M. Necker cube: stimulus-related (low-level) and percept-related (high-level) EEG signatures early in occipital cortex. Journal of Vision, 2011, vol. 11(9), p. 12. doi:10.1167/11.9.12
20. Pisarchik A. N., Jaimes-Reategui R., Magallön-Garcla C. A., Castillo-Morales C. O. Critical slowing down and noise-induced intermittency in bistable perception: bifurcation analysis. Biological Cybernetics, 2014, vol. 108(4), pp. 397404. doi:10.1007/s00422-014-0607-5
21. Pisarchik A. N., Bashkirtseva I. A., Ryashko L. B. Controlling bistability in a stochastic perception model. The European Physical Journal Special Topics, 2015, vol. 224(8), pp. 1477-1484. doi:10.1140/epjst/e2015-02473-0
22. Pisarchik A. N., Bashkirtseva I., Ryashko L. Stochastic sensitivity of a bistable energy model for visual perception. Indian Journal of Physics, 2017, vol. 91(1), pp. 57-62. doi:10.1007/s12648-016-0881-2
23. Langner R., Steinborn M. B., Chatterjee A., Sturm W., Willmes K. Mental fatigue and temporal preparation in simple reaction-time performance. Acta Psychologica, 2010, vol. 133(1), pp. 64-72. doi:10.1016/j.actpsy.2009.10.001
24. Yang F., Wu Q., Li S. Learning-induced uncertainty reduction in perceptual decisions is task-dependent. Frontiers in Human Neuroscience, 2014, vol. 8, p. 282. doi:10.3389/fn-hum.2014.00282
25. Grubov V. V., Runnova A. E., Hramov A. E. Adaptive filtration of physiological artifacts in EEG signals in humans using empirical mode decomposition. Technical Physics, 2018, vol. 63(5), pp. 759-767. https://doi.org/10.1134/ S1063784218050110
26. Hramov A. E., Koronovskii A. A., Makarov V. A., Pavlov A. N., Sitnikova E. Wavelets in Neuroscience. Springer Heidelberg New York Dordrecht London, 2015. 314 p. doi:10.1007/ 9783-662-43850-3
27. Dzhos Yu. S., Kalinina L. P. Cognitive event-related potentials in neurophysiology research (Review). Journal of Medical and Biological Research, 2018, vol. 6(3), pp. 223-235. doi:10.17238/issn2542-1298.2018.6.3.223
28. Basyul I. A., Kaplan A. Y. Changes in N200 and P300 components of event-related potentials under varying attention conditions in the BCI system. I. P. Pavlov Journal of Higher Nervous Activity, 2014, vol. 64(2), p. 159. doi:10.7868/ S004446771402004X
29. Rock I., Hall S., Davis J. Why do ambiguous figures reverse? Acta Psychologica, 1994, vol. 87(1), pp. 33-59. doi:10. 1016/0001-6918(94)90065-5
30. Toppino T. C., Long G. M. Selective adaptation with reversible figures: don't change that channel. Perception & Psycho-physics, 1987, vol. 42(1), pp. 37-48. doi:10.3758/BF03211512
31. Buschman T. J., Miller E. K. Top-down versus bottom-up control of attention in the prefrontal and posterior parietal cortices. Science, 2007, vol. 315(5820), pp. 1860-1862. doi:10.1126/science.1138071
32. Gazzaley A., Nobre A. C. Top-down modulation: bridging selective attention and working memory. Trends in Cognitive Sciences, 2012, vol. 16(2), pp. 129-135. doi:10.1016/j. tics.2011.11.014
33. Schafer R. J., Moore T. Selective attention from voluntary control of neurons in prefrontal cortex. Science, 2011, vol. 332(6037), pp. 1568-1571. doi:10.1126/science.1199892
