CC BY
75
Нелинейная
^^^^^^^^ динамика и нейронаука
Известия высших учебных заведений. Прикладная нелинейная динамика. 2021. Т. 29, № 4 Izvestiya Vysshikh Uchebnykh Zavedeniy. Applied Nonlinear Dynamics. 2021;29(4)
Обзорная статья УДК 57.024; 53.047
DOI: 10.18500/0869-6632-2021-29-4-603-634
Мониторинг состояния головного мозга человека в задачах принятия решений
при восприятии стимулов
А.Е. Храмов1'2'3'4, В. А. Максименко1'2'4, Н. С. Фролов1'2, С. А. Куркин1'2, В. В. Грубое1'2'4, А. А. Бадарин1'2, А. В. Андреев1'2, В. Б. Казанцев1'2'3'5, С. Ю. Гордлеева1'2'3, Е. Н. Пицик1'2, А. Н. Писарчик1'6
1Университет Иннополис, Казань, Россия 2 Балтийский федеральный университет имени Иммануила Канта, Калининград, Россия 3 Нижегородский государственный университет имени Н. И. Лобачевского, Россия 4Саратовский государственный медицинский университет имени В. И. Разумовского, Россия 5Самарский государственный медицинский университет, Россия 6Политехнический университет Мадрида, Испания E-mail: Elhramovae@gmail.com, maximenkovl@gmail.com, phrolovns@gmail.com, kurkinsa@gmail.com, v.grubov@innopolis.ru, a.badarin@innopolis.ru, andreevandrei1993@gmail.com, kazantsev@neuro.nnov.ru, gordleeva@neuro.nnov.ru, pitsikelena@gmail.com, alexander.pisarchik@ctb.upm.es Поступила в редакцию 23.03.2021, принята к публикации 15.04.2021, опубликована 30.07.2021
Аннотация. Цель настоящего обзора - рассмотрение современного состояния исследования сенотмоторной интеграции в мозге человека при визуальном восприятии и последующем принятии решений в условиях недостаточной информации. Методы. В данном обзоре рассматриваются подходы частотно-временного вейвлет-анализа для выявления особенностей активности мозга при выполнении перцептивных задач, а также возможности использования подобных методов в задачах построения интерфейсов мозг-компьютер. Результаты. Выявлены электроэнцефалографические маркеры повышенной концентрации внимания при восприятии визуальных стимулов. На их основе созданы интерфейсы мозг-компьютер, которые могут контролировать внимание и управлять им с помощью биологической обратной связи. Заключение. Показано, что скорость и правильность наших решений зависят от качества сенсорных доказательств. Неоднозначная сенсорная информация требует большего времени для обработки, большего внимания и увеличивает вероятность ошибки. С использованием такого нейроинтерфейса показано, что ресурс мозга ограничен, и он не способен поддерживать внимание на постоянном уровне - интервалы повышенного внимания чередуются с периодами восстановления.
Ключевые слова: нейронные сети головного мозга, вейвлет-анализ, нелинейная динамика, визуальный стимул, мульти-стабильность, головной мозг.
Благодарности. Работа выполнена при поддержке Президентской программы поддержки научных школ РФ, грант НШ-2594.2020.2.
Для цитирования: Храмов А. Е., Максименко В. А., Фролов Н.С., Куркин С. А., Грубов В. В., Бадарин А. А., Андреев А. В., Казанцев В. Б., Гордлеева C. Ю., Пицик Е. Н., Писарчик А. Н. Мониторинг состояния головного мозга человека в задачах принятия решений при восприятии стимулов//Известия вузов. ПНД. 2021. T. 29, № 4. С. 603-634. DOI: 10.18500/0869-6632-2021-29-4-603-634
Статья опубликована на условиях Creative Commons Attribution License (CC-BY 4.0).
Review
DOI: 10.18500/0869-6632-2021-29-4-603-634
Human brain state monitoring in perceptual decision-making tasks
A.E. Hramov1'2'3'4^, V.A. Maksimenko1'2'4, N.S. Frolov1'2, S.A. Kurkin1'2, V. V. Grubov1'2'4, A. A. Badarin1'2, A. V. Andreev1'2, V.B. Kazantsev1'2'3'5, S. Y Gordleeva1'2'3, E. N. Pitsik1'2, A. N. Pisarchik1'6
1Innopolis University, Kazan, Russia 2Immanuel Kant Baltic Federal University, Kaliningrad, Russia 3Lobachevsky University of Nizhny Novgorod, Russia
4 Saratov State Medical University, Russia
5 Samara State Medical University, Russia 6Universidad Politecnica de Madrid, Spain
E-mail: Elhramovae@gmail.com, maximenkovl@gmail.com, phrolovns@gmail.com, kurkinsa@gmail.com, v.grubov@innopolis.ru, a.badarin@innopolis.ru, andreevandrei1993@gmail.com, kazantsev@neuro.nnov.ru, gordleeva@neuro.nnov.ru, pitsikelena@gmail.com, alexander.pisarchik@ctb.upm.es Received 23.03.2021, accepted 15.04.2021, published 30.07.2021
Abstract. The purpose of this review is to observe the current state of research on sensorimotor integration in the human brain during visual perception and subsequent decision-making under conditions of ambiguous information. Methods. This review examines the approaches of time-frequency wavelet analysis for brain activity when performing perceptual tasks, as well as the possibility of using such methods in the tasks of constructing brain-computer interfaces. Results. Electroencephalographic markers of increased attention during the perception of visual stimuli have been identified. Based on their we created brain - computer interfaces, which can monitor and control attention using biological feedback. Conclusion. We shown that the speed and correctness of our decisions depends on the quality of sensory evidence. Ambiguous sensory information requires more time to process, more attention and increases the probability of error. The use of neurointerfaces has shown that the brain's resource is limited, and it is not maintained at a constant level - the time intervals of heightened attention alternate with the recovery period.
Keywords: partical directed coherence, coupling, nonlinearity, nonlinear systems, nonlinear coupling, high-dimensional system.
Acknowledgements. The work was carried out with the support of the Presidential Program for the Scientific Schools support of the Russian Federation, grant NSH-2594.2020.2.
For citation: Hramov AE, Maksimenko VA, Frolov NS, Kurkin SA, Grubov VV, Badarin AA, Andreev AV, Kazantsev VB, Gordleeva SY, Pitsik EN, Pisarchik AN. Human brain state monitoring in perceptual decision-making tasks. Izvestiya VUZ. Applied Nonlinear Dynamics. 2021;29(4):603-634. DOI: 10.18500/0869-6632-2021-29-4-603-634
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Так и жили - наскоро, И дружили наскоро, Не жалея тратили, Не скупясь дарили. Жизнь прошла - как не было. Не поговорили.
Григорий Гладков
Этот небольшой обзор исследований, проводимых в лаборатории нейронауки и когнитивных технологий, пишется специально в выпуск журнала, посвященный памяти Дмитрия Ивановича Трубецкова. Для нас всех - авторов этой статьи - Дмитрий Иванович навсегда останется в памяти именно как учитель. И думается, что и он сам бы хотел, чтобы его помнили в первую очередь как Учителя, а уже потом как блестящего ученого и талантливого организатора науки и образования. Дмитрий Иванович всегда с большим пиететом, теплотой и огромным уважением вспоминал своих учителей, перебрасывая мостик поколений от времен становления радиофизики и электроники в Саратове к нам, его ученикам, которые в итоге разбрелись по разным географическим местам
и научным полям, но так и остались в орбите его притяжения и обаяния. Когда для многих из авторов этой статьи, которые учились на кафедре электроники физфака или уже позже на уникальном факультете нелинейных процессов, а потом работали вместе с Дмитрием Ивановичем, естественно сказать, что мы из школы Трубецкова, и это сразу как знак качества, отлитый из того незримого вещества, которое называется научной репутацией. И, конечно, для всех соавторов Дмитрий Иванович был и есть тот столп российской и мировой радиофизики и нелинейной динамики, который вместе с плеядой ярких ученых того времени - своих соратников из Нижнего Новгорода, Москвы, других городов, создал ту уникальную школу радиофизики СССР и России, которая до сих пор не превзойдена никем в мире. Это была эпоха чести и славы российской науки, сформировавшая у современных ученых, его учеников, новое научное мировоззрение - взгляд на мир через призму динамики нелинейных процессов не только в задачах физики, но и в других науках, включая социальные и гуманитарные области. В современной науке, акцентированной на сложные системы, включая мозг и интеллект, это позволяет нам успешно решать новые задачи из новых для нелинейной динамики областей. И пусть уже нет любимейшего детища Дмитрия Ивановича - факультета нелинейных процессов, для всех нас он останется деканом (в том старом классическом понимании, когда университетами управляли традиции) незримого колледжа его друзей, единомышленников и учеников. Периодически сталкиваясь с научными или этическими проблемами нам, его ученикам, безумно не хватает возможности рассказать ему о сложностях, чтобы принять правильное решение, а иногда просто поговорить по науке, обсудить какую-то последнюю статью или научный результат. Все наши исследования в прошлом, настоящем и будущем посвящены памяти Дмитрия Ивановича Трубецкова.
Дмитрий Иванович всегда любил смелые эксперименты с новыми научными задачами и всегда благословлял, пусть и не без некоторой иронии, своих учеников на буйные опыты с идеями и направлениями. Обладая огромным опытом и энциклопедическими знаниями, он понимал, что из этих экспериментов, скорее всего, ничего не выйдет, но всегда поддерживал и с огромным интересом потом слушал наши рассказы о «вылазках в неизведанные научные поля». И вот эта статья примерно об этом - это доклад о ряде наших исследований, проводимых последние несколько лет и посвященных вопросам изучения актов сенсоромоторной интеграции в мозге человека при визуальном восприятии и последующем принятии решений в условиях недостаточной информации. Эти задачи очень интересны в контексте фундаментальных исследований в нейронауке: «как мозг принимает решение при неоднозначности предъявляемой ему информации?», «что происходит при слишком большой когнитивной нагрузке или в условиях ментальной усталости?», но также имеют и важное прикладное значение, перебрасывая мостик к нейротехнологиям. Например, вопросы усталости и ошибок, допускаемых при рутинной деятельности, связанной с обработкой больших объемов сенсорной информации и принятия решений на ее основе, становятся критичными при работе авиадиспетчеров, пилотов, авиатехников, операторов сложных установок, астронавтов [1-3] и т. д. Поэтому важны методы мониторинга таких состояний для отведения ошибок, а также, возможно, в перспективе для создания систем с биологическими обратными связями для корректировки состояний человека, так называемых пассивных интерфейсов мозг - компьютер [4]. Некоторые наши исследования в этом направлении будут рассмотрены в этом обзоре. Они базируются на модельных экспериментах с неоднозначными изображениями (оптическими иллюзиями), позволяют вычленить некоторые основные аспекты сложных процессов сенсоромоторной интеграции в головном мозге человека. Такой подход, как представляется нам, был бы одобрен Дмитрием Ивановичем, который любил простые модели и не стеснялся упрощать даже казалось бы уже очень простое, называя такие модели «карикатурами» на реальную жизнь, которые тем не менее позволяли подсветить интересующие нас свойства реальных объектов.
1. Принятие решений при восприятии информации и особенности активности мозга
Восприятие и обработка сенсорной информации - важнейшие функции мозга, обеспечивающие наше взаимодействие с окружающей средой (рис. 1, а) [5]. Люди и животные получают информацию с сенсорных входов различной модальности (тактильные, визуальные, слуховые и т. д.), обрабатывают их и используют в процессе принятия решений, известном как перцептивное принятие решений, которое может быть оценено целым рядом характеристик, например, скоростью ответа или временем реакции, правильностью решения и т.д. [5]. При выполнении задач по принятию решений, связанных с восприятием, мозг динамически регулирует свою функциональную сетевую структуру для поддержания оптимальных поведенческих характеристик в условиях изменяющихся когнитивных требований [6-8]. Современные нейрофизиологические исследования подчеркивают ведущую роль функциональных связей в человеческом познании и поведенческой деятельности [9]. Сетевая активность всего мозга формируется посредством взаимодействия нескольких функциональных подсетей либо во время состояния покоя, либо во время выполнения задачи [10]. Эти функциональные подсети включают дорсальную сеть внимания, лобно-теменную сеть, сеть исполнительного управления, сеть режима по умолчанию и т. д. [11]. Хотя функциональные сети имеют разное анатомическое расположение, они взаимодействуют друг с другом и перекрываются во время выполнения задач [12].
Производительность и нейронная активность во время обработки сенсорных данных зависят от внутреннего состояния человека, его внимания и усталости. В частности, функциональная связность состояния покоя может предсказать способность субъекта поддерживать устойчивое внимание во время сложных задач [13]. Усталость вызывает изменение структуры сети, делая области мозга более изолированными, а их взаимодействие менее эффективным [14]. Повышенные когнитивные требования приводят к снижению модулярности функциональной сети; сеть режима по умолчанию увеличивает возможность соединения с другими сетями, в то время как возможность соединения внутри самой сети уменьшается [15].
Эти процессы также вызывают изменения частотно-временных характеристик ЭЭГ/МЭГ сигналов. Традиционно выделяют несколько ритмов нервной активности: 8-диапазон (1-5 Гц),
Рис. 1. a - Принятие перцептивного решения - это процесс выбора образа действий живым организмом на основе доступной сенсорной информации из окружающей среды. b - Принятие перцептивного решения зависит от внешних и внутренних факторов
Fig. 1. a - Perceptual decision-making is the process of choosing a course of action by a living organism based on available sensory information from the environment. b - Making a perceptual decision depends on external and internal factors
6-диапазон (5-8 Гц), а-диапазон (8-12 Гц), ^-диапазон (15-30 Гц) и у-диапазон (> 30 Гц). Согласно нейрофизиологическим исследованиям, эти ритмы способствуют координации нейрональной активности в удаленных областях мозга [16,17]. Низкочастотный 9-ритм модулирует высокочастотную электрическую активность мозга в у-диапазоне ЭКоГ [18]. Помимо 6-диапазона, согласно [16], низкочастотные а- и |3-ритмы в зрительной коре контролируют нейронную активность в у-диапазоне. Функциональная связь между нейронными ансамблями вызывает корреляцию или синхронизацию между записанными сигналами ЭЭГ в разных частотных диапазонах [16,17]. Как указано в [19], популяции нейронов в отдаленных областях мозга по-разному взаимодействуют в разных частотных диапазонах.
Во время восприятия визуальных стимулов нейронные популяции в зрительной коре взаимодействуют на частотах в объединенных а/|3 (8-30 Гц) и у (50-70 Гц) диапазонах [20,21]. Более того, анализ функциональной связи между областями теменно-затылочной коры, выполненный на сенсорном уровне ЭЭГ, показывает различную структуру связи в разделенных а- и |3-частотных диапазонах [22-24]. Напротив, на функциональную связность в ^-диапазоне влияет сложность визуальной информации [25]. Наряду с нейронной связью в зрительной коре, интерпретация визуального стимула также требует связи между удаленными корковыми областями [26]. Так, во время обработки зрительной информации 8-активность в лобной области и а-активность в теменно-затылочной области функционально связаны и совместно направляют зрительное восприятие для интеграции сенсорных данных с текущими требованиями задачи [27]. Во время задачи устойчивого внимания функциональная связь на большом расстоянии между различными частями лобно-теменной сети характеризуется колебаниями в 9-диапазоне, а связь внутри этих областей обеспечивается ВЧ у-активностью [28]. Связанная с вниманием функциональная связность также присутствует в лобно-теменной коре в разных частотных диапазонах [29,30].
Таким образом, перцептивная задача принятия решений требует координации нейронной активности во многих областях мозга. Координация нейрональной активности в определенных регионах обеспечивается высокочастотными ритмами, в то время как координация нейронной активности между удаленными областями зависит от низкочастотных колебаний. Функциональные взаимодействия динамически изменяют структуру нейронной сети, чтобы поддерживать постоянное внимание и избегать усталости и отвлечения внимания во время выполнения задачи.
2. Экспериментальная методология
В данном обзоре основное внимание уделяется недавним нашим результатам частотно-временного анализа ЭЭГ в процессе принятия перцептивного решения, которое требует постоянного внимания. Под устойчивым вниманием понимается сосредоточение внимания на соответствующих стимулах с повторным предъявлением в течение длительных периодов времени. Следуя [31], задачи на устойчивое внимание часто включают длинные серии демонстрации целевых и нецелевых стимулов на экранах компьютеров, когда участники должны реагировать на цели и воздерживаться от реакции на нецелевые стимулы. В нашей экспериментальной парадигме мы рассмотрели перцептивную задачу принятия решений, подразумевающую бинарную классификацию большого количества последовательно представленных неоднозначных визуальных стимулов (кубов Неккера) с разной степенью неоднозначности [32-34], как показано на рис. 2. Мы предполагаем, что обработка каждого стимула зависит от внимания испытуемого в момент его предъявления [35]. Если стимулы предъявляются повторно с коротким интервалом, субъект должен постоянно поддерживать высокий уровень внимания, чтобы реагировать и правильно интерпретировать стимулы. Обычно перцептивное принятие решений не рассматривается как
Left-oriented low ambiguity stimuli LA
1 Г
High ambiguity stimuli
HA
/ / / / / / / /
/ / / / / /
a = 0.15
0.25
0.4
0.45
0.55
0.6
1 Г
Right-oriented low ambiguity stimuli LA
0.75
0.85
Рис. 2. Набор зрительных стимулов, кубики Неккера, с разной степенью неоднозначности а: а = 1 и а = 0 соответствуют яркости 0 (черный) и 255 (белый) пикселей согласно 8-битной палитре серого. Управляющий параметр неоднозначности определен как а = д/255, где д - яркость внутренних линий
Fig. 2. A set of visual stimuli, Necker cubes, with varying degrees of ambiguity a: a = 1 и a = 0 correspond to the brightness of 0 (black) and 255 (white) pixels according to the 8-bit gray palette. The ambiguity control parameter is defined as a = g/255, where g is the brightness of the internal lines
классическая когнитивная область, такая как внимание или память. В то же время, это в основном верно для стимулов, близких к пороговым, или однозначных стимулов, когда испытуемому приходится выбирать между двумя разными стимулами [36]. В свою очередь, неоднозначные стимулы вызывают неопределенность в принятии решений, когда неоднозначность высока, а их интерпретация оказывается процессом когнитивного принятия решений [34]. Следует отметить отличие рассматриваемой парадигмы от более традиционной, когда испытуемого просят интерпретировать куб Неккера с различной степенью неоднозначности по своему первому впечатлению [37,38], так что субъект имеет возможность интерпретировать ярко выраженный «левоориентированный» куб как «правоориентированный» и наоборот. Такая концепция эксперимента позволяет, например, оценить уровень шума мозга [37,39], перемежающееся поведение при восприятии [40,41], построить модели бистабильного визуального восприятия [37,42], построить классификатор перцептивного восприятия [43] и т. д.
Интерес к выбору именно такого объекта исследования как неоднозначное изображение с различной степенью сложности задачи (степени неоднозначности) определяется уникальной возможностью анализа в рамках одной парадигмы восходящих (bottom-up) и нисходящих (top-down) процессов обработки визуальной информации в головном мозге. Такие неоднозначные стимулы могут расщеплять внешние и внутренние факторы, влияющие на их обработку и восприятие (см. рис. 1, b). Восходящие потоки ответственны за обработку визуальных сенсорных данных, которые могут быть интерпретированы однозначно, в то время как нисходящие потоки информации возникают в случае необходимости привлечения к интерпретации изображения нашего опыта, памяти и т. д., то есть эндогенных факторов.
Вернемся к исследуемому визуальному стимулу. Рис. 2 свидетельствует о том, что близкие к однозначным кубы (LA = low ambiguity), ориентированные влево и вправо, имеют разную структуру ребер. В стимулах, ориентированных влево, наблюдатель видит три средних края, центрированных в правом верхнем углу, а в стимулах, ориентированных вправо, видит в основном те, которые сосредоточены в левом нижнем углу. Напротив, в кубах с высокой степенью неоднозначности (HA = high ambiguity), ориентированных влево и вправо, все внутренние края имеют одинаковый контраст, и наблюдатель видит их все одновременно. Мы можем высказать гипотезу, что восприятие LA стимулов в основном опирается на восходящие, а восприятие НА -на нисходящие механизмы в мозге.
Экспериментальная парадигма показана на рис. 3. Ее подробное описание можно найти, например, в [44,45]. Размещение стимула на экране показано на рис. 3, a, положение испытуемого при регистрации электрической активности мозга и регистрации направления взгляда испытуемого в течение эксперимента иллюстрирует рис. 3, Ь. Рис. 3, c демонстрирует расписание эксперимента: 400 изображений куба Неккера появлялись в случайном порядке, каждый стимул с определенной неоднозначностью а предъявлялся 50 раз. г-й стимул предъявлялся в течение промежутка времени т^. Продолжительность демонстрации стимулов варьировалась в пределах 1-1.5 с. Чтобы отвлечь внимание наблюдателя и сделать восприятие следующего стимула независимым от предыдущего, между последующими демонстрациями изображений куба Неккера показывались различные абстрактные картинки в течение промежутка времени у^ = 3 — 5 с. Время отклика (КГ) - временной интервал между появлением стимула и нажатием клавиши -определяет скорость обработки и служит поведенческой реакцией. Кроме того, точность ответа отражает соответствие фактической ориентации стимула и реакции испытуемого.
Известно, что а- и ^-активность мозга описывает как сенсорную обработку, так и следующее за ней принятие решения [20,46]. На первом этапе а- и ^-активность участвует в нисходящей обработке стимулов и поддерживает нейронное взаимодействие в зрительной коре [20]. |3-ритм
Рис. 3. Схема экспериментального исследования: a - типичный вид визуального бистабильного стимула, предъявляемого на экране монитора; b - положение испытуемого во время эксперимента; c - расписание предъявления визуальных стимулов во время экспериментальной сессии
Fig. 3. Scheme of experimental study: a - typical view of visual bistable stimulus presented on the monitor screen; b - position of the subject during experiment; c - schedule of presentation of visual stimuli during the experimental session
координирует нейронную активность в затылочной и префронтальной областях во время обработки зрительных стимулов [46]. На втором этапе ^-активность координирует нейронные взаимодействия внутри лобно-теменной сети [47,48]. Точность решения также коррелирует с мощностью лобно-теменной активности ^-диапазона, зарегистрированной на этапе принятия решения [49], Активность в а- и ^-диапазонах также имеет отношение к вниманию в целом, не ограничиваясь обработкой зрительных стимулов [50-52]). Низкая мощность а- и высокая мощность |3-активности в период перед предъявлением стимула увеличивает точность сенсорного восприятия [52, 53]. Согласно [54], не только мощность, но и предварительная фазовая связь колебаний в а- и ^-диапазонах также влияет на качество визуального восприятия.
3. Влияние внешнего фактора (неоднозначности стимула) на поведение испытуемого
Поведенческие реакции группы из 20 испытуемых на предъявляемые стимулы показаны на рис. 4. Исследуемые реагировали на LA-стимулы быстрее, чем на HA-стимулы (рис. 4, a). Стимулы предъявлялись случайным образом, а среднее время предъявления кубов Неккера HA и LA не изменялось (рис. 4, b). Тест ANOVA с повторными измерениями, использованный для сравнения RT для аналогичной и противоположной ориентации предыдущего стимула, не выявил значимых эффектов предыдущей ориентации стимула (^1,19 = 1.86, р = 0,188) и взаимодействия неоднозначность х ориентация (^1,19 = 0.434, р = 0.518). Результаты подтвердили, что время предъявления стимула и предыдущий стимул (неоднозначность и ориентация) рандомизированы между условиями и, следовательно, не влияют на смещение RT между стимулами LA и HA.
Наконец, не было никакой корреляции между возрастом и временем реакции в случае стимулов HA: г(20) = -0.24, р = 0.3 и LA: г(20) = -0.31, р = 0.17. RT был одинаковым для мужчин и женщин для обоих стимулов HA: ¿(18) = 0.79, р = 0.436 и стимулов LA: i(18) = 0.96, р = 0.348. ER был выше для стимулов HA (M = 8.95%, SD = 11.5), чем для стимулов LA
4)
a
1. 1.6 1.41.21.0
4)
M Й
I 0.8Н
0.6
~~1
HA LA stimulus ambiguity
с
4)
С
О
с
4>
s
4> (■ч
Рч
b
1700 1600 1500 1400 1300 1200
HA LA stimulus ambiguity
4030
53 2010 0
(X щ
св S-
(-4
О
а и
c
HA LA stimulus ambiguity
Рис. 4. a - Время отклика (RT) на стимулы LA и HA (***р < 0.001, i-тест). b - Среднее время предъявления стимулов LA и HA. c - Частота ошибок (ER) обработки стимулов LA и HA (***р < 0.001, критерий Вилкоксона). Основано на данных из работы [45]
Fig. 4. a - Response time (RT) to stimuli LA and HA (***p < 0.001, i-test). b - The average time of presentation of stimuli LA and HA. c - The error rate (ER) of processing stimuli LA and HA (***p < 0.001, Wilcoxon criterion). Based on data from the work [45]
(M = 1.65%, SD = 2.6): Z = 3.5, p < 0.001 по тесту Вилкоксона (рис. 4, с). Это подтверждает, что характеристики испытуемых не влияли на их реакцию на стимулы. В то же время для небольшой группы испытуемых существует риск того, что индивидуальные характеристики людей (такие как пол, возраст, психологические особенности) будут влиять на восприятие неоднозначных стимулов и принятие решений [55]. Таким образом, можно ожидать, что другая группа испытуемых (например, более молодые или более пожилые) может демонстрировать отличающиеся поведенческие характеристики или уровень активности мозга. Черты личности субъектов также могут влиять на процессы в мозге и поведенческие характеристики во время когнитивных задач. В частности, уровень тревожности важен для восприятия неоднозначных ситуаций. Предыдущие исследования показали, что люди с тревогой склонны отрицательно интерпретировать неоднозначные стимулы [56]). Вероятно, обработка эмоционально нейтрального куба Неккера может быть менее подвержена тревожности. Более того, предъявленные стимулы не являются полностью двусмысленными; следовательно, их интерпретация опиралась не полностью на эндогенные факторы, а также на обработку морфологии стимула. Наличие в сенсорной информации объективно релевантных для решения функций также снижает эндогенные компоненты, такие как состояние наблюдателя.
4. Вейвлет-анализ активности мозга при предъявлении последовательности визуальных неоднозначных стимулов
Локальная активность нейронных ансамблей мозга оценивалась с помощью вейвлет-анализа ЭЭГ [57]. Пик на вейвлет-спектре конкретного ЭЭГ канала отражает факт того, что ближайший к сенсору нейронный ансамбль вовлечен в обработку информации. Согласно недавним исследованиям, нейроны эффективно передают информацию благодаря фазовой синхронизации их спайковой активности. Таким образом, если их активность становится синхронизированной по фазе, мощность вейвлета суммарного электрического сигнала увеличивается. Назовем это явление локальной синхронизацией нейронов [19].
Чтобы провести вейвлет-анализ активности мозга при обработке куба Неккера, мы разделили записи ЭЭГ на 400 отрезков, каждый из которых соответствовал одному показу куба Неккера, включая интервал 1.5 секунды до презентации и 0.5 секунды после нажатия кнопки. Мощность вейвлета для каждого показа куба рассчитывалась в диапазоне частот 4-40 Гц с использованием вейвлета Морле. Мощность вейвлет-спектров оценивалась в трех представляющих интерес временных интервалах (TOI = time of interest), включая (1) интервал времени до предъявления стимула TOIi (от -1.0 до -0.5 с), (2) интервал времени непосредственно после предъявления стимула TOI2 (от 0 до 0.5 с) и (3) связанная со стимулом активность TOI3 (RT от -0.3 с до RT, предшествующего нажатию на кнопку). Для временных интервалов TOI мы рассчитали вызванные спектральные возмущения (ERSP = event related spectral perturbation) с использованием процедуры коррекции мощности по участкам ЭЭГ, предшествующим предъявлению стимула [44].
Рассмотрим эволюцию вейвлет-спектра во время обработки визуального стимула. Объединим в одну группу отрезки ЭЭГ, соответствующие как LA, так и HA стимулам. Интервал обработки стимула (TOI2) был разделен на интервалы 0.05 мкс и применен F-тест зависимых выборок для сравнения ERSP на этих интервалах. В результате наблюдались два значимых кластера в полосах частот 4-14 Гц и 15.5-21.25 Гц. Основываясь на этих результатах, мы определили полосы частот со значимыми отличиями в диапазонах 4-8 Гц (0-диапазон), 8-14 Гц (а) и 15.5-21.25 Гц (в). Для 0-диапазона наблюдаемый кластер включал сенсоры ЭЭГ в затылочной, теменной, двусторонней височной, теменно-центральной, центральной, лобно-центральной и лобной областях (рис. 5, a). Для а-диапазона кластер включал в себя затылочный, теменный, височный, теменно-
0.5 s post stimulus onset
F-value
0.1 0.2 0.3 0.4 0.5 time [s]
4 0.5
0.3 s before response
F-value
I45
35 25 15
a: 9.2-12.5 Hz
button
-0.3
-0.2 -0.1 time [s]
b
a
c
Рис. 5. Топограммы показывают значения F и кластеры каналов, отражающие значительное изменение ERSP в 9 (a) и a (b) диапазонах в течение 0.5 с после начала стимула и a-диапазоне (с) в течение 0.3 с перед принятием решения (нажатия на кнопку). Жирные линии показывают ERSP (средние по группе и 95% доверительный интервал), усредненные по частотным диапазонам, тонкие линии - индивидуальные ERSP для каждого испытуемого. Основано на данных из работы [44]
Fig. 5. Topograms show F values and channel clusters reflecting a significant change in ERSP in the 9 (a) and a (b) ranges for 0.5 s after the start of the stimulus and a-range (с) for 0.3 s before making a decision (click on the button). Bold lines show ERSP (the average for the group and the 95% confidence interval) averaged over the frequency ranges, thin lines show the individual ERSP for each subject. Based on data from the work [44]
центральный, центральный, правый лобно-центральный и левый фронтальный сенсоры (рис. 5, Ь). Анализ вейвлет-мощности в этих кластерах показал, что мощность колебаний в 0-диапазона увеличилась, достигая максимума через 0.35 с после появления стимула (рис. 5, a). Мощность в а-диапазоне постепенно уменьшалась в течение рассматриваемого интервала времени (рис. 5, Ь). Аналогичная картина наблюдается и в р-диапазоне [44].
Активность 0-диапазона характеризует способность мозга передавать информацию и координировать ее обработку в удаленных областях мозга [58] на длительных интервалах времени [59]. Таким образом, высокая мощность 0-колебаний подтверждает критическую роль крупномасштабных функциональных сетей в обработке изображений, подтверждая тот факт, что восприятие зависит не только от внешнего стимула. Вместо этого мозг объединяет сенсорные данные с эндогенными факторами, включая ожидания, недавние воспоминания и т.д. [60]. Связанная со стимулом мощность а-колебаний снижалась в затылочной (зрительной) и теменной (внимание) областях (см. рис. 5, Ь), что может отражать первичную визуальную обработку, а также когнитивную обработку и визуальное внимание [61]. Наиболее существенное изменение мощности а-диапазона в моторной области свидетельствует о процессе подготовки нажатия на кнопку пальцем. Мощность р-колебаний снижается через 0.25 с после появления стимула в лобно-теменной и сенсомоторной областях. Высокая мощность в р-диапазоне отражает сильный эндогенный нисходящий компонент [62]. В частности, мощность теменного р-диапазона растет во время обработки
неоднозначных стимулов, когда восприятие опирается исключительно на эндогенные факторы, а не на характеристики стимула [63]. Активность ß-колебаний в лобно-теменной области во время обработки стимула является маркером нисходящих механизмов внимания, которые контролируют накопление сенсорной информации, относящейся к принятию решения [64]. Эти нисходящие механизмы, вероятно, направляют внимание субъекта на детали куба Неккера (например, контраст внутренних краев), поддерживая правильное решение о его ориентации.
В интервале TOI3, предшествующем поведенческой реакции, было выявлено два значимых кластера в полосах частот 9, а. Кластер 9-диапазона включал части затылочной и теменной областей, кластер а-диапазона наблюдался в обоих полушариях в сенсомоторной области (рис. 5, c). Мощность ERSP в этих кластерах монотонно уменьшалась в течение рассматриваемого интервала времени. Активность 9-диапазона снижалась в правосторонней теменной и затылочной областях, пока субъект не нажал кнопку. Это означает, что затылочно-теменные области оставались активными в течение всего периода обработки, в отличие от лобных участков, активность которых достигла пика во время более ранней стадии обработки и быстро уменьшалась. Активность в а-диапазоне, видимо, поддерживала подготовку к моторному акту (нажатию на кнопку).
5. Влияние внешнего фактора (неоднозначности стимула) на активность мозга: групповой анализ
Предыдущий анализ не позволяет сделать вывод о влиянии степени неоднозначности стимула на обработку стимула. Для ответа на этот вопрос было рассмотрено два условия: LA-стимулы с а G {0.15, 0.25, 0.75, 0.85} и HA-стимулы с a G {0.4, 0.45, 0.55, 0.6} (см. рис. 2). Каждое условие включало 100 стимулов: 25 - на тип неоднозначности, 50 - на каждую (левая-правая) ориентацию. ERSP каждого испытуемого были усреднены и сопоставлены между неоднозначными HA и однозначными LA-стимулами в трех TOI. Разницы между условиями были проверены на статистическую значимость с использованием теста с перестановками в сочетании с кластерной коррекцией для множественных сравнений [65].
На интервале TOI1 мы не наблюдали разницы в вейвлет-спектрах между LA и HA стимулами. На интервале TOI2 наблюдалось три значимых положительных кластера (рис. 6). Первый кластер, топографическое положение которого на голове показано на рис. 6, a, начинался от начала предъявления стимула до 0.15 с в верхней полосе 9-диапазона 7.25-8.5 Гц. Второй кластер формировался во времени от 0.02 с до 0.2 с в полосе ß1 23-23.8 Гц, как показано на рис. 6, b. Третий кластер характеризовался интервалом времени 0.35-0.42 с в диапазоне ß2 31-31.8 Гц (рис. 6, c).
Таким образом, возрастающая неоднозначность стимула индуцировала более высокую мощность 9-активности в лобных отведениях в течение 0.15 с после начала действия стимула. Предыдущие исследования показали, что 9-активность в лобной доле может контролировать и влиять на затылочные участки мозга, включая первичную зрительную кору, в задачах, требующих нисходящего контроля [66-69]. Поэтому можно предположить, что на начальных стадиях обработка неоднозначного стимула проводится, в основном, на нисходящих процессах в мозге в отличие от однозначного стимула. Эти нисходящие процессы могут быть явно связаны с ожиданиями, памятью и разрешением перцептивных конфликтов.
Неоднозначность стимула также индуцировала более высокую мощность ß-активности. Мощность ß-диапазона увеличивалась в начале предъявления стимула в правой затылочно-теменной области (см. рис. 6, b). Предыдущее исследование неоднозначного восприятия куба Неккера [70] показало, что ß-активность в правой затылочной области увеличивалась после появления полностью неоднозначного стимула только тогда, когда его восприятие отличалось
0.3
0.2
N
1
Vi
od
0.1
ft-''
2 0
Щ
-0.1
stimulus
onset
— HA
— LA
m (N
I
m rsl
oT
сл
pi Щ
0.16 0.32 0.48 time [s]
0.15 0.1 0.05 0
-0.05 -0.1 -0.15 -0.2
stimulus onset
0.2
-0.2
0.16 0.32 time [s]
0.48
stimulus onset
0.16 0.32 time [s]
0.48
7.2-8.5 Hz 0.0-0.15 s
31-31.8 Hz 0.35-0.42 s
b
Рис. 6. ERSP во фронтальном 0-кластере (a), затылочно-теменном Р^кластере (b), лобно-теменном р2-кластере (с) во время обработки стимулов HA и LA. Серым показаны интервалы времени со значимыми отличиями. Топограм-мы отражают значение t и кластеры каналов в результате сравнения ERSP между стимулами HA и LA в течение 0.5 с после начала стимула. Основано на данных из работы [44]
Fig. 6. ERSP in the frontal 0-cluster (a), occipital-parietal p1-cluster (b), frontal-parietal p2-cluster (c) during the processing of the HA and LA stimuli. Time intervals with significant differences are shown in gray. Topograms show the value of t and the clusters of channels as a result of comparing the ERSP between the stimuli HA and LA for 0.5 s after the stimulus start. Based on data from the work [44]
a
c
от восприятия предыдущего однозначного стимула. Эти результаты позволяют связать ^-активность в визуальной коре правого полушария с эндогенным переключением между конкурирующими восприятиями, отражая взаимодействие между зрительной корой и другими затылочными и теменными кортикальными областями, необходимыми для устранения неоднозначности стимула, которое завершается в течение 0.25 с после начала действия стимула.
Обработка НА-стимулов также приводит к росту мощности ^-активности в теменной и лобных областях на интервале 0.35-0.42 с после начала стимула (рис. 6, с). Мы предположили, что высокая мощность -активности в лобно-теменных отведениях отражает процесс принятия решений. Традиционно считается, что активность в ^-диапазоне при принятии решений отражает только двигательную подготовку, основанную на сенсорной информации. Однако ряд исследований указывает на более прямую связь ^-активности с формированием решений, независимо от конкретной двигательной активности. Отметим также, что при принятии решений активность в |3-диапазоне наблюдается за пределами сенсомоторных областей, включая лобно-теменные контуры (см. обзор литературы в [71]). В недавней работе [48] анализ нейронного взаимодействия между нейронной сетью передней поясной извилины и лобно-теменной сетью во время принятия решений показал, что лобно-теменная сеть достигла контроля над сетью поясной извилины в |3-диапазоне в течение периода времени 0.22-0.42 с в задачах, требующих принятия поведенческих решений.
6. Влияние внешнего фактора (неоднозначности стимула) на активность мозга: анализ отдельных предъявлений стимулов
Обнаруженные в предыдущих разделах результаты позволяют понять общие закономерности динамики активности мозга при обработке визуальной информации в условиях недостаточности данных. Вместе с тем, анализ был проведен на группе испытуемых и не позволяет использовать эти данные для мониторинга состояния отдельного человека, что может быть важно в задачах созданиях нейроинтерфейсов. Поэтому необходимо сделать следующий шаг и спуститься на уровень анализа отдельных испытуемых и даже анализа отдельных предъявлений стимулов у каждого испытуемого.
Основываясь на предыдущем анализе, мы сосредоточились на анализе ЭЭГ в а- и |3-диапа-зонах (20-30 Гц) до и во время предъявления каждого стимула. Целью исследования стало выявление различных сценариев визуального восприятия и связи их с внешними и внутренними факторами (см. рис. 1, Ь), а также нахождение критериев для классификации каждого восприятия по тому или иному сценарию. Если бы восприятие отдельных стимулов можно было эффективно классифицировать по различным сценариям в соответствии с вниманием, можно было бы определить соотношение между возникновением того или иного сценария в реальном времени на основе спектральных свойств многоканальных ЭЭГ. Связь между различными сценариями позволит оценить степень внимания испытуемого при визуальном восприятии и проанализировать далее влияние внутреннего фактора (мотивации) и внешнего фактора (сложности задачи).
Общая парадигма эксперимента, которая включала в себя также дальнейший анализ влияния внутренних факторов испытуемого на классификацию стимулов, показана на рис. 7, а. Мы рассматривали три группы испытуемых. «Нулевая» группа, состоящая из 10 человек, была использована для выявления сценариев восприятия. Первая группа была финансово мотивирована выполнять поставленную задачу классификации лево- и правоориентированных стимулов как можно более тщательно, наконец, вторая группа была никак не мотивирована и служила контрольной группой.
Рассмотрим исследование с нулевой группой, состоящей из 10 человек [72]. Мы рассматривали только отведения ЭЭГ из затылочной области (каналы О1, О2, Рз, Р4, Р.г). По экспериментальным данным оценивалось значение частоты /тах(£), соответствующее максимальной энергии в вейвлет-спектре для каждого момента время. Вся серия экспериментов была разбита на 3-секундных отрезков, связанных с восприятием каждого стимула. Каждая презентация стимула состояла из трех последовательных сегментов: (I) до презентации изображения, (II) во время презентации и (III) после презентации. Каждый временной интервал был разбит на = 15 временных интервалов 8^ = 0.2 с, а его спектр мощности был разбит на = 15 полос шириной 8/ = 0.2 Гц. Для рассматриваемой частотно-временной области (£ е [0, 3] с, / € [1, 30] Гц) распределение частоты /тах, соответствующей максимальной энергии спектра, рассчитывалось следующим образом:
д/.«=ееег. г={/тах^8/ Л ,е 8 (1)
тг ^
Чтобы количественно охарактеризовать распределение Ь(/. ¿) для каждого испытуемого, соотношения Да/Да и Др/Др^ рассчитывались как
Ь^ =/ / Ь(/'.* ')# '< (2)
где Д/а,в - это частотные а/|3-диапазоны, а Д£/,// - длительность сегментов I и II.
Experimental paradigm
a
e
GROUP0
10 subjects
no additional motivation
^ Tl /Г11 7-1 / t-II
GROUP1
10 subjects financial motivation
GROUP2
10 subjects
no additional motivation
4 5 6 7 8 9 subject from GROUP 0
scenario 1
scenario 2
Uffy
«scenario 1» - events, % 70
50 30
high ambiguity
low ambiguity
100
Number of events
200
Рис. 7. a - Парадигма организации эксперимента. b - Значения L^/L^1 (треугольники) и L^/L^1 (кружки), иллюстрирующие соотношение мощности альфа- и бета-волн, полученные статистическим анализом 40-минутных экспериментальных сессий каждого из испытуемых «нулевой» группы. Горизонтальные пунктирные линии указывают пороговые значения уменьшения а (линия 1) и увеличения p-активности (линия 2), используемые для определения различных сценариев восприятия. Закрашенными символами выделены испытуемые (2, 3, 9), демонстрирующие первый сценарий восприятия. Остальные испытуемые демонстрируют второй сценарий. c и d - Распределение статистической меры L(f,t) (1), которое указывает положение максимальной спектральной составляющей в течение 40-минутного эксперимента для двух субъектов, демонстрирующих соответственно первый и второй сценарии восприятия. e - Процент обработки стимулов по первому сценарию от числа показа стимулов для стимулов с высокой и низкой степенью неоднозначности. Основано на данных из работы [72]
Fig. 7. a - Paradigm of the experiment organization. b - Values LTa/L^ (triangles) and Lp/L^1 (circles), illustrating the power ratio of alpha and beta waves, obtained by statistical analysis of 40-minute experimental sessions of each of the subjects of "zero" group. Horizontal dotted lines indicate the threshold values of decrease in а (line 1) and increase in p-activity (line 2), used to determine different perception scenarios. Subjects (2, 3, 9) are highlighted with colored symbols, demonstrating the first perception scenario. Remaining subjects demonstrate the second scenario. c and d - Distribution of the statistical measure L(f,t) (1), which indicates the position of the maximum spectral component during a 40-minute experiment for two subjects demonstrating the first and second perception scenarios, respectively. e - percentage of processing stimuli in the first scenario from the number of stimuli shown for stimuli with a high and low degree of ambiguity. Based on data from the work [72]
b
c
На рис. 7, Ь для 10 испытуемых показаны величины Ь1а/Ь1а1 и Д/Ьр^ треугольниками и кружками, соответственно. Видно, что испытуемых можно разделить на две группы по двум различным сценариям процесса восприятия. Каждый субъект был отнесен к той или иной группе на основе набора пороговых значений (пунктирные линии на рис. 7, Ь), определяемых снижением а-активности более чем на 40% (линия 1) и более чем на 20% увеличение ^-активности (линия 2). Для субъектов 2, 3 и 9 Ь1а/Ь1а^ и Ьр/Ьр^ удовлетворяют пороговым значениям. Эти испытуемые были связаны с первым сценарием, тогда как другие испытуемые относились ко второму сценарию.
На рис. 7, с и 7, й показаны типичные распределения Ь(/. ¿) для первого (испытуемый 9) и второго (испытуемый 7 ) сценариев восприятия, соответственно. Первый сценарий (см. рис. 7, с) характеризуется существенно низкой мощностью колебаний 8-12 Гц (а-диапазон) во время наблюдения стимула (сегмент II) и относительно высокой мощностью колебаний 20-30 Гц (в-диапазон). Второй сценарий (см. рис. 7, й) подразумевает сильный вклад а-ритма и гораздо менее выраженную генерацию в-ритма во всех сегментах, в то время как низкочастотный 8-ритм (1-4 Гц) имеет низкую активность в сегменте II во время предъявления куба.
Мы предполагаем, что первый сценарий, связанный с уменьшением мощности а-активности и увеличением в-активности в затылочной и теменной области, примыкающей к затылочной коре, характеризует высокую степень внимания испытуемого. Это иллюстрирует рис. 7, е, на котором показан процент событий, протекающих по закономерностям первого сценария, для стимулов с высокой и низкой степенью неоднозначности. Мы предполагали, что высокая неоднозначность повысит внимание испытуемого, чтобы он мог принимать решение более тщательно. Экспериментальные данные хорошо подтверждают эту гипотезу. Так, из представленной зависимости следует, что после некоторых переходных процессов эти зависимости приближаются к 30% и 50% для низкой и высокой степени неоднозначности, соответственно.
7. Влияние внутреннего фактора (мотивация испытуемого) на классификацию изображений
В этом разделе мы рассмотрим влияние мотивации и внимания во время принятия решения об ориентации куба Неккера [72]. Как мы выяснили в предыдущем разделе, мозг может обрабатывать зрительные стимулы по-разному в зависимости от внимания, которое, в свою очередь, может зависеть от сложности задания, а также человеческих факторов, таких как мотивация, внимание, ответственность, состояние здоровья и т.д. [73,74]. Для анализа влияния человеческого фактора на сценарии 1-го и 2-го типа были введены две дополнительные группы (см. рис. 7, а) испытуемых с разной степенью их мотивации. Члены первой группы были финансово мотивированы и проинструктированы с требованием сосредоточить свое внимание на каждом кубе, насколько это возможно, до завершения эксперимента. Для участников этой группы эксперименты были организованы в наиболее удобное для каждого испытуемого время. Напротив, члены второй группы были добровольцами, не получающими вознаграждение, они подвергались экспериментальным сессиям в произвольное время. Предполагалось, что из-за большой продолжительности сеанса и большого сходства кубиков немотивированные испытуемые будут утрачивать внимание, поскольку это не было специальным требованием.
Количество первого и второго типов были рассчитаны в соответствии со спектральными свойствами, описанными выше. Результаты представлены на рис. 8, а, где оттенками серого показаны области, содержащие зависимости количества происходящих событий по сценарию типа 1 от количества презентаций куба для субъектов, принадлежащих группе мотивированных испытуемых (верхняя область) и контрольной группе (нижняя область). Первые 500 презентаций
100
100
40
40
0 100 200 300 400 500 600 700 800 number of trials
I II
GROUP
a
b
Рис. 8. a - Цветные области показывают процент событий по сценарию 1 в зависимости от количества презентаций кубиков для участников из группы 1 (мотивированные испытуемые) и контрольной группы 2 (добровольцы, не получающие зарплату). b - Процент событий по сценарию 1, усредненный по всем стимулам. Основано на данных из работы [72]
Fig. 8. a - Colored areas show the percentage of events in scenario 1, depending on the number of cube presentations for participants from group 1 (motivated subjects) and control group 2 (non-paid volunteers). b - Percentage of events in the scenario is 1, averaged over all stimuli. Based on data from the work [72]
можно рассматривать как переходные процессы, характеризующиеся значительными колебаниями. После завершения переходного процесса процент событий в каждой группе остается постоянным. Гистограмма на рис. 8, b показывает средние проценты событий сценария 1 для каждой из групп. Видно, что процент варьировался от 73% до 87% в первой группе и от 47% до 77% в контрольной группе 2, а усредненные проценты составляли 81% и 62%, соответственно. Эти результаты продемонстрировали экспериментальное доказательство того, что первая группа, находящаяся под влиянием финансовой мотивации и возможности выбрать наиболее удобное время для эксперимента, обрабатывала визуальный объект гораздо тщательнее, чем контрольная группа 2.
Обобщая результаты описанных выше экспериментов, делаем вывод, что внимание человека при восприятии бистабильных образов может варьироваться в зависимости от уровня мотивации и сложности задачи. Результаты также предполагают, что уровень внимания можно оценить по соотношению между количеством восприятий визуальных стимулов, происходящих по сценариям типа 1 и 2, в соответствии со спектральными свойствами ЭЭГ. Таким образом, разделение восприятия на один из двух сценариев позволяет оценить, как внимание изменяется во времени. Данный принцип может быть использован для создания интерфейса мозг - компьютер (ИМК) для мониторинга внимания человека.
Основная цель такого ИМК - восстановить или улучшить производительность человека при решении различных задач, включая принятие перцептивных решений на основе получаемой визуальной информации. Данная задача требует обмена информацией между мозгом и компьютером. Так, информация, поступающая от мозга к компьютеру, позволяет непрерывно отслеживать состояние мозга и генерировать управляющие команды. Информация, возвращаемая оператору, используется либо операторами для самоконтроля мозговой активности, либо компьютером для непосредственного воздействия на мозг. Такой обмен информацией между мозгом и компьютером известен как биологическая обратная связь. Биологическая обратная связь является ключевым компонентом различных ИМК. Например, в нейропротезировании сенсорная обратная связь позво-
8. Управление вниманием с использованием нейроинтерфейса
ляет пользователю «ощущать» жесткость и эластичность объекта и эффективно регулировать силу захвата протеза. Помимо моторной активности мозга, обратная связь позволяет контролировать психофизиологические состояния, особенно связанные с высшими психическими функциями.
В этом разделе мы рассмотрим, как обратная связь влияет на зрительное внимание человека при восприятии неоднозначных стимулов. Мы будем следовать экспериментальной парадигме, описанной в [75], где было предположено, что во время длительного эксперимента внимание испытуемого ослабевает, а звуковой сигнал может дать ему понять, что внимание уменьшилось, в силу чего он будет стараться сконцентрироваться. Можно было ожидать, что такая обратная связь повысит средний уровень внимания во время экспериментальной сессии. Однако результат оказался довольно неожиданным. Обратная связь привела к увеличению временных интервалов с относительно высоким уровнем внимания; однако уровень внимания на этих интервалах снизился.
Для количественной оценки зрительного внимания в реальном времени мы оценивали спектральные характеристики ЭЭГ и сравнивали их в 1-секундных интервалах до и после предъявления стимула. Для этого мы вычислили значения А1'2, Л1'2 при предъявлении г-го стимула, которые статистически описывают расположение максимальных спектральных компонент с использованием данных ЭЭГ, взятых из всех затылочных и теменных каналов до и после начала представления изображения [75]:
N
л1'2 = £
_л.1 гем 1
п=1
К
1_к=1
Г® =
1 /к, 0,
1! 1!
/П е А/« ¡к е А/а
(3)
N
^ = £ п=1 '
пемц
К
и=1
Г(*) =
1/к, 0,
1! 1!
/П е А/в
гп !к
е а/р.
(4)
Здесь N = 5 - количество каналов ЭЭГ, /¡П - расположение к-й максимальной спектральной компоненты, принадлежащей п-му каналу, К = 5 - количество анализируемых спектральных компонент, а А^ 2 указывают интервалы времени длительностью 1 с до и после представления г-го изображения.
Как было описано выше, зрительное внимание связано с активацией «центра внимания» в теменной коре, который характеризуется активностью на частотах 15-30 Гц, то есть повышенное зрительное внимание активирует ^-активности в теменной коре. Кроме того, обработка зрительных стимулов усиливает связь между затылочной и теменной областями в а и в частотных диапазонах, вызывая рост в-активности в затылочной коре. Наконец, зрительное внимание вызывает связанное с восприятием увеличение в-активности с сопутствующим уменьшением а-активности. Таким образом, внимание во время обработки визуального стимула можно количественно оценить как
I(*0= (4 - Л2 + В2 - /2
(5)
где А1'2 и В]'2 определяют значения А1'2 и В1'2, усредненные по шести предыдущим событиям (г — 6,..., г). Такое усреднение выполняется, поскольку субъект часто демонстрирует низкое внимание I во время одного события, даже демонстрируя в целом высокое внимание в течение всего эксперимента. Видно, что I(¿,) достигает максимального положительного значения, если
значения в скобках в (5) высокие и положительные. Это соответствует состоянию повышенного
—1 —2 —2 —1
внимания, когда А, > А, и В, > В,, то есть а-активность уменьшается, а в-активность
—1 —2
увеличивается. Напротив, I(г) достигает минимального отрицательного значения, когда А, < А,
и В2 < Б1.
Значение внимания I (5) вычислялось после обработки испытуемым каждого зрительного стимула и сравнивалось с пороговым значением Дь, который подбирался эмпирически, и обратная
связь была организована как короткий звуковой сигнал после обработки стимула, каждый раз, когда I ^ Дь. Субъект был ранее проинструктирован, чтобы связать это звуковое сообщение с состоянием низкого уровня внимания.
Чтобы проверить эффект биологической обратной связи и работоспособность ИМК, испытуемые были разделены на две группы: контрольную и экспериментальную. Для каждого испытуемого экспериментальная процедура состояла из двух сеансов. Испытуемые из контрольной группы принимали участие в первом и втором сеансах без контроля обратной связи, тогда как испытуемые из экспериментальной группы участвовали в первом сеансе без контроля обратной связи, а во втором сеансе с контролем обратной связи. На рис. 9, а показано изменение значения внимания I для одного испытуемого из контрольной группы во время первой (красная линия) и второй (синяя линия) экспериментальных сессий.
Исследования с использованием критерия ранжирования Вилкоксона показали, что средняя разница между // и 1ц в контрольной и экспериментальной группах статистически не различима (рис. 10, а), то есть изменения среднего уровня зрительного внимания между первой и второй сессиями в обеих группах незначительны. Этот результат оказался неожиданным для экспериментальной группы. Причину такой динамики можно понять, если предположить, что когнитивный ресурс для поддержания устойчивого внимания в течение длительного времени ограничен, поэтому субъекту необходимо отдыхать, чтобы восстановить свой ресурс.
Рис. 9, Ь показывает типичное поведение зависимости в условиях, когда I > 0. Видно, что внимание I колеблется со средним периодом Т ~ 150 с. За этот промежуток времени испытуемый обрабатывает около 20 визуальных стимулов. Для каждого такого интервала мы вычисляли его длину 8 и среднее значение I как у(8) = 6 /(¿')(Й'. Статистический анализ с использованием критерия ранжирования Вилкоксона максимальных изменений значений 8тах и утах(8), рассчитанных для первого и второго сеансов в обеих группах, представлен на рис. 10, Ь, с. Видно, что соотношение 8тах/8тах для испытуемых из экспериментальной группы выше, чем для испытуемых из контрольной группы (рис. 10, Ь). Это свидетельствует о том, что контроль с биологической обратной связью увеличивал максимальную продолжительность состояния повышенного внимания у испытуемых экспериментальной группы. Одновременно, при увеличении максимальной длительности временного интервала, на котором > 0 при наличии обратной связи,
Рис. 9. a - Типичное время эволюции степени зрительного внимания во время первой (красный) и второй (синий) экспериментальных сессий для одного испытуемого из контрольной группы. b - Определение коэффициентов S - длина временного интервала, на котором I > 0, и y(S) - среднее значение I на этом интервале. Основано на данных из работы [75]
Fig. 9. a - Typical time of the evolution of the degree of visual attention during the first (red) and second (blue) experimental sessions for one subject from the control group. b - Definition of the coefficients S - is the length of the time interval on which I > 0, and y(S) - is the average value of I on this interval. Based on data from the work [75]
AI 30 20 10 0 -10 -20 -30 -40
Smax
p>0.05
<N
CL
£
О
p>0.05
CL
£
О
2.2 2 1.8 1.6 1.4 1.2 1 0.8 0.6
2.2 2 1.8 1.6 1.4 1.2 1
0.8 0.6
ymax
<N
O.
£
О
CL
£
О
Рис. 10. a - Изменение среднего значения внимания I во время первой и второй сессий для испытуемых экспериментальной (черный) и контрольной (белый) групп. Соотношение между значениями Smax и Smax (b) и yfax и Ymfax (c), полученные во время первой и второй сессий для испытуемых экспериментальной (черный) и контрольной (белый) групп (* р < 0.05, критерий Вилкоксона). Основано на данных из работы [75]
Fig. 10. a - Change in the average value of attention during the first and second sessions in the experimental (black) and control (white) groups of subjects. The relationship between the values Sjlax and Sjjax (b) and у™ах and Ymfax (c), obtained during the first and second sessions for the subjects of the experimental(black) and counter (white) groups (* p < 0.05, Wilcoxon's criterion). Based on data from the work [75]
b
a
c
максимальное среднее значение , которое было достигнуто на этом интервале, статистически значимо уменьшилось для экспериментальной группы. Это снижение внимания демонстрируется соотношением ут?х/утах на рис. 10, с.
Отметим также, что подобную систему можно расширить на случай взаимодействия между операторами ИМК и создать интерфейс мозг-мозг, который будет распределять когнитивную нагрузку между двумя операторами, чтобы максимизировать их внимание во время эксперимента [76].
Заключение
Каждый день мы принимаем решения на основе доступных сенсорных данных в ходе процесса, называемого перцептивным принятием решений. Наше экспериментальное исследование модельного объекта - оптической иллюзии (куба Неккера) с различной степенью неоднозначности для восприятия - показало, что скорость и правильность наших решений зависят от качества сенсорных доказательств. В частности, неоднозначная сенсорная информация требует большего времени для обработки, большего внимания и увеличивает вероятность ошибки. Мы выявили электроэнцефалографические маркеры повышенной концентрации внимания при восприятии визуальных стимулов. На их основе был создан интерфейс мозг-компьютер, который может контролировать внимание и управлять им с помощью обратной связи. С использованием такого нейроинтерфейса показано, что ресурс мозга ограничен и он не способен поддерживать внимание на постоянном уровне - интервалы повышенного внимания чередуются с периодами восстановления. Основанный на этом эффекте интерфейс мозг-мозг может распределять когнитивную нагрузку между двумя операторами, чтобы максимизировать их внимание во время расширенного сеанса.
Список литературы
1. American Association for the Advancement of Science. Human performance in space: Advancing astronautics research in China// Science. 2014. Vol. 345, no. 6203. P. 1522.
DOI: 10.1126/science.345.6203.1522-d.
2. Borghini G., Aricoo P., Di Flumeri G., Cartocci G., Colosimo A., Bonelli S., Golfetti A., Imbert J.P., Granger G., Benhacene R., Pozzi S., Babiloni F. EEG-based cognitive control behaviour assessment: An ecological study with professional air traffic controllers // Scientific Reports. 2017. Vol. 7, no. 1. P. 547. DOI: 10.1038/s41598-017-00633-7.
3. Di Flumeri G., De Crescenzio F., Berberian B., Ohneiser O., Kramer J., Arico P., Borghini G., Babiloni F., Bagassi S., Piastra S. Brain-computer interface-based adaptive automation to prevent out-of-the-loop phenomenon in air traffic controllers dealing with highly automated systems // Frontiers in Human Neuroscience. 2019. Vol. 13. P. 296. DOI: 10.3389/fnhum.2019.00296.
4. Hramov A. E., Maksimenko V. A., Pisarchik A. N. Physical principles of brain-computer interfaces and their applications for rehabilitation, robotics and control of human brain states // Physics Reports (accepted). 2021. DOI: 10.1016/j.physrep.2021.03.002.
5. Heekeren H. R., Marrett S., Bandettini P. A., Ungerleider L. G. A general mechanism for perceptual decision-making in the human brain // Nature. 2004. Vol. 431, no. 7010. P. 859-862.
DOI: 10.1038/nature02966.
6. Davison E. N., Schlesinger K. J., Bassett D. S., Lynall M.-E., Miller M. B., Grafton S. T., Carlson J. M. Brain network adaptability across task states // PLOS Computational Biology. 2015. Vol. 11, no. 1. P. e1004029. DOI: 10.1371/journal.pcbi.1004029.
7. Parks E. L., Madden D. J.Brain connectivity and visual attention // Brain Connectivity. 2013. Vol. 3, no. 4. P. 317-338. DOI: 10.1089/brain.2012.0139.
8. Shine J. M., Poldrack R. A. Principles of dynamic network reconfiguration across diverse brain states//NeuroImage. 2018. Vol. 180. P. 396-405. DOI: 10.1016/j.neuroimage.2017.08.010.
9. Smith S. Linking cognition to brain connectivity // Nature Neuroscience. 2016. Vol. 19, no. 1. P. 7-9. DOI: 10.1038/nn.4206.
10. Храмов А. Е., Фролов Н. С., Максименко В. А., Куркин С. А., Казанцев В. Б., Писарчик А. Н. Функциональные сети головного мозга: от восстановления связей до динамической интеграции//УФН (принята к публикации). 2021. DOI: 10.3367/UFNr.2020.06.038807.
11. van den Heuvel M. P., Pol H. E. H.Exploring the brain network: A review on resting-state fMRI functional connectivity // European Neuropsychopharmacology. 2010. Vol. 20, no. 8. P. 519-534. DOI: 10.1016/j.euroneuro.2010.03.008.
12. Xu J., Potenza M. N., Calhoun V. D. Spatial ICA reveals functional activity hidden from traditional fMRI GLM-based analyses // Frontiers in Neuroscience. 2013. Vol. 7. P. 154.
DOI: 10.3389/fnins.2013.00154.
13. RosenbergM. D., FinnE. S., ScheinostD., PapademetrisX., ShenX., ConstableR. T., ChunM. M. A neuromarker of sustained attention from whole-brain functional connectivity // Nature Neuroscience. 2016. Vol. 19, no. 1. P. 165-171. DOI: 10.1038/nn.4179.
14. Li J., Lim J., Chen Y., Wong K., Thakor N., Bezerianos A., Sun Y. Mid-task break improves global integration of functional connectivity in lower alpha band // Frontiers in Human Neuroscience.
2016. Vol. 10. P. 304. DOI: 10.3389/fnhum.2016.00304.
15. Finc K., Bonna K., Lewandowska M., Wolak T., Nikadon J., Dreszer J., Duch W., Kiihn S. Transition of the functional brain network related to increasing cognitive demands // Human Brain Mapping.
2017. Vol. 38, no. 7. P. 3659-3674. DOI: 10.1002/hbm.23621.
16. Fries P. Rhythms for cognition: Communication through coherence // Neuron. 2015. Vol. 88, no. 1. P. 220-235. DOI: 10.1016/j.neuron.2015.09.034.
17. Lisman J.E., Jensen O. The theta-gamma neural code // Neuron. 2013. Vol. 77, no. 6. P. 1002-1016. DOI: 10.1016/j.neuron.2013.03.007.
18. Canolty R. T., Edwards E., Dalal S. S., Soltani M., Nagarajan S. S., Kirsch H. E., Berger M. S., Barbaro N. M., Knight R. T. High gamma power is phase-locked to theta oscillations in human neocortex// Science. 2006. Vol. 313, no. 5793. P. 1626-1628. DOI: 10.1126/science.1128115.
19. Maksimenko V. A., Lüttjohann A., Makarov V. V., Goremyko M. V., Koronovskii A. A., Nedaivozov V., Runnova A. E., van Lüijtelaar G., Hramov A. E., Boccaletti S. Macroscopic and microscopic spectral properties of brain networks during local and global synchronization // Phys. Rev. E. 2017. Vol. 96, no. 1. P. 012316. DOI: 10.1103/PhysRevE.96.012316.
20. Michalareas G., Vezoli J., van Pelt S., Schoffelen J.-M., Kennedy H., Fries P. Alpha-beta and gamma rhythms subserve feedback and feedforward influences among human visual cortical areas//Neuron. 2016. Vol. 89, no. 2. P. 384-397. DOI: 10.1016/j.neuron.2015.12.018.
21. Buffalo E. A., Fries P., Landman R., Buschman T. J., Desimone R. Laminar differences in gamma and alpha coherence in the ventral stream // Proceedings of the National Academy of Sciences of the United States of America. 2011. Vol. 108, no. 27. P. 11262-11267. DOI: 10.1073/pnas.1011284108.
22. Frolov N., Maksimenko V., Hramov A. Revealing a multiplex brain network through the analysis of recurrences // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2020. Vol. 30, no. 12. P. 121108. DOI: 10.1063/5.0028053.
23. Pisarchik A. N., Maksimenko V. A., Andreev A. V., Frolov N. S., Makarov V. V., Zhuravlev M. O., Runnova A. E., Hramov A. E. Coherent resonance in the distributed cortical network during sensory information processing // Scientific Reports. 2019. Vol. 9, no. 1. P. 18325.
DOI: 10.1038/s41598-019-54577-1.
24. Frolov N. S., Maksimenko V. A., Khramova M. V., Pisarchik A. N., Hramov A. E. Dynamics of functional connectivity in multilayer cortical brain network during sensory information processing // The European Physical Journal Special Topics. 2019. Vol. 228, no. 11. P. 2381-2389.
DOI: 10.1140/epjst/e2019-900077-7.
25. Maksimenko V. A., Runnova A. E., Frolov N. S., Makarov V. V., Nedaivozov V., Koronovskii A. A., Pisarchik A., Hramov A. E. Multiscale neural connectivity during human sensory processing in the brain//Phys. Rev. E. 2018. Vol. 97, no. 5. P. 052405. DOI: 10.1103/PhysRevE.97.052405.
26. Maksimenko V. A., Frolov N. S., Hramov A. E., Runnova A. E., Grubov V. V., Kurths J., Pisarchik A. N. Neural interactions in a spatially-distributed cortical network during perceptual decision-making//Frontiers in Behavioral Neuroscience. 2019. Vol. 13. P. 220.
DOI: 10.3389/fnbeh.2019.00220.
27. Helfrich R. F., Huang M., Wilson G., Knight R. T. Prefrontal cortex modulates posterior alpha oscillations during top-down guided visual perception // Proceedings of the National Academy of Sciences of the United States of America. 2017. Vol. 114, no. 35. P. 9457-9462.
DOI: 10.1073/pnas.1705965114.
28. Sellers K. K., Yu C., Zhou Z. C., Stitt I., Li Y, Radtke-Schuller S., Alagapan S., Fröhlich F. Oscillatory dynamics in the frontoparietal attention network during sustained attention in the ferret// Cell Reports. 2016. Vol. 16, no. 11. P. 2864-2874. DOI: 10.1016/j.celrep.2016.08.055.
29. Scolari M., Seidl-Rathkopf K. N., Kastner S. Functions of the human frontoparietal attention network: Evidence from neuroimaging // Current Opinion in Behavioral Sciences. 2015. Vol. 1. P. 32-39. DOI: 10.1016/j.cobeha.2014.08.003.
30. Clayton M. S., Yeung N., Kadosh R. C. The roles of cortical oscillations in sustained attention // Trends in Cognitive Sciences. 2015. Vol. 19, no. 4. P. 188-195. DOI: 10.1016/j.tics.2015.02.004.
31. Miodrag N., Hodapp R. M. Chronic stress and its implications on health among families of children
with intellectual and developmental disabilities (I/DD) // International Review of Research in Developmental Disabilities. Vol.41. Elsevier, 2011. P. 127-161. DOI: 10.1016/B978-0-12-386495-6.00004-7.
32. Kornmeier J., Pfaffle M., Bach M. Necker cube: Stimulus-related (low-level) and percept-related (high-level) EEG signatures early in occipital cortex // Journal of Vision. 2011. Vol. 11, no. 9. P. 12. DOI: 10.1167/11.9.12.
33. Maksimenko V. A., Runnova A. E., Zhuravlev M. O., Makarov V. V., Nedayvozov V., Grubov V. V., Pchelintceva S. V., Hramov A. E., Pisarchik A. N. Visual perception affected by motivation and alertness controlled by a noninvasive brain-computer interface // PLOS One. 2017. Vol. 12, no. 12. P. e0188700. DOI: 10.1371/journal.pone.0188700.
34. Hramov A. E., Frolov N. S., Maksimenko V. A., Makarov V. V., Koronovskii A. A., Garcia-Prieto J., Anton-Toro L. F., MaestU F., Pisarchik A. N. Artificial neural network detects human uncertainty // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2018. Vol. 28, no. 3. P. 033607. DOI: 10.1063/1.5002892.
35. Denison R. N., Adler W. T., Carrasco M., Ma W. J. Humans incorporate attention-dependent uncertainty into perceptual decisions and confidence // Proceedings of the National Academy of Sciences of the United States of America. 2018. Vol. 115, no. 43. P. 11090-11095. DOI: 10.1073/pnas.1717720115.
36. Weisz N., WuhleA., Monittola G., Demarchi G., FreyJ., Popov T., Braun C. Prestimulus oscillatory power and connectivity patterns predispose conscious somatosensory perception // Proceedings of the National Academy of Sciences of the United States of America. 2014. Vol. 111, no. 4. P. E417-E425. DOI: 10.1073/pnas.1317267111.
37. Runnova A. E., Hramov A. E., Grubov V. V., Koronovskii A. A., Kurovskaya M. K., Pisarchik A. N. Theoretical background and experimental measurements of human brain noise intensity in perception of ambiguous images // Chaos, Solitons & Fractals. 2016. Vol. 93. P. 201-206. DOI: 10.1016/j.chaos.2016.11.001.
38. Hramov A. E., Maksimenko V. A., Pchelintseva S. V., Runnova A. E., Grubov V. V., Musatov V. Y., Zhuravlev M. O., Koronovskii A. A., Pisarchik A. N. Classifying the perceptual interpretations of a bistable image using EEG and artificial neural networks // Frontiers in Neuroscience. 2017. Vol. 11. P. 674. DOI: 10.3389/fnins.2017.00674.
39. Chholak P., Kurkin S. A., Hramov A. E., Pisarchik A. N. Event-related coherence in visual cortex and brain noise: An MEG study // Applied Sciences. 2021. Vol. 11, no. 1. P. 375.
DOI: 10.3390/app11010375.
40. Hramov A. E., Kurovskaya M. K., Runnova A. E., Zhuravlev M. O., Grubov V. V., Koronovskii A. A., Pavlov A. N., Pisarchik A. N. Intermittent behavior in the brain neuronal network in the perception of ambiguous images // Proc. SPIE. Dynamics and Fluctuations in Biomedical Photonics XIV. Vol. 10063. SPIEBiOS, 2017. P. 1006314. DOI: 10.1117/12.2249888.
41. Chholak P., Maksimenko V. A., Hramov A. E., Pisarchik A. N. Voluntary and involuntary attention in bistable visual perception: A MEG study // Frontiers in Human Neuroscience. 2020. Vol. 14. P. 597895. DOI: 10.3389/fnhum.2020.597895.
42. Chholak P., Hramov A. E., Pisarchik A. N. An advanced perception model combining brain noise and adaptation//Nonlinear Dynamics. 2020. Vol. 100, no. 4. P. 3695-3709.
DOI: 10.1007/s11071-020-05741-0.
43. Hramov A. E., Maksimenko V., Koronovskii A., Runnova A. E., Zhuravlev M., Pisarchik A. N., Kurths J. Percept-related EEG classification using machine learning approach and features of functional brain connectivity // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2019. Vol. 29, no. 9. P. 093110. DOI: 10.1063/1.5113844.
44. Maksimenko V. A., Kuc A., Frolov N. S., Khramova M. V., Pisarchik A. N., Hramov A. E.
Dissociating cognitive processes during ambiguous information processing in perceptual decisionmaking // Frontiers in Behavioral Neuroscience. 2020. Vol. 14. P. 95. DOI: 10.3389/fnbeh.2020.00095.
45. Maksimenko V., Kuc A., Frolov N., Kurkin S., Hramov A. Effect of repetition on the behavioral and neuronal responses to ambiguous Necker cube images // Scientific Reports. 2021. Vol. 11, no. 1. P. 3454. DOI: 10.1038/s41598-021-82688-1.
46. Sehatpour P., Molholm S., Schwartz T. H., Mahoney J. R., Mehta A. D., Javitt D. C., Stanton P. K., Foxe J. J. A human intracranial study of long-range oscillatory coherence across a frontal-occipital-hippocampal brain network during visual object processing // Proceedings of the National Academy of Sciences of the United States of America. 2008. Vol. 105, no. 11. P. 4399-4404.
DOI: 10.1073/pnas.0708418105.
47. Chand G. B., Dhamala M.The salience network dynamics in perceptual decision-making // Neurolmage. 2016. Vol. 134. P. 85-93. DOI: 10.1016/j.neuroimage.2016.04.018.
48. Chand G. B., Dhamala M. Interactions between the anterior cingulate-insula network and the frontoparietal network during perceptual decision-making // NeuroImage. 2017. Vol. 152. P. 381-389. DOI: 10.1016/j.neuroimage.2017.03.014.
49. Siegel M., Engel A. K., Donner T. H. Cortical network dynamics of perceptual decision-making in the human brain // Frontiers in Human Neuroscience. 2011. Vol. 5. P. 21.
DOI: 10.3389/fnhum.2011.00021.
50. Anderson K. L., Ding M. Attentional modulation of the somatosensory mu rhythm // Neuroscience.
2011. Vol. 180. P. 165-180. DOI: 10.1016/j.neuroscience.2011.02.004.
51. Bauer M., Kennett S., Driver J.Attentional selection of location and modality in vision and touch modulates low-frequency activity in associated sensory cortices // Journal of Neurophysiology.
2012. Vol. 107, no. 9. P. 2342-2351. DOI: 10.1152/jn.00973.2011.
52. Gola M., Magnuski M., Szumska I., Wrobel A. EEG beta band activity is related to attention and attentional deficits in the visual performance of elderly subjects // International Journal of Psychophysiology. 2013. Vol. 89, no. 3. P. 334-341. DOI: 10.1016/j.ijpsycho.2013.05.007.
53. van Dijk H., Schoffelen J.-M., Oostenveld R., Jensen O. Prestimulus oscillatory activity in the alpha band predicts visual discrimination ability // Journal of Neuroscience. 2008. Vol. 28, no. 8. P. 1816-1823. DOI: 10.1523/JNEUROSCI.1853-07.2008.
54. Hanslmayr S., Aslan A., Staudigl T., Klimesch W., Herrmann C. S., Bäuml K.-H. Prestimulus oscillations predict visual perception performance between and within subjects // NeuroImage. 2007. Vol. 37, no. 4. P. 1465-1473. DOI: 10.1016/j.neuroimage.2007.07.011.
55. Scocchia L., Valsecchi M., Triesch J. Top-down influences on ambiguous perception: the role of stable and transient states of the observer // Frontiers in Human Neuroscience. 2014. Vol. 8. P. 979. DOI: 10.3389/fnhum.2014.00979.
56. Park G., Vasey M. W., Kim G., Hu D. D., Thayer J. F. Trait anxiety is associated with negative interpretations when resolving valence ambiguity of surprised faces // Frontiers in Psychology. 2016. Vol. 7. P. 1164. DOI: 10.3389/fpsyg.2016.01164.
57. Hramov A. E., Koronovskii A. A., Makarov V. A., Pavlov A. N., Sitnikova E. Wavelets in Neuroscience. Springer Series in Synergetics. Springer-Verlag Berlin Heidelberg, 2015. P. 318. DOI: 10.1007/978-3-662-43850-3.
58. Lopes da Silva F. EEG and MEG: Relevance to neuroscience // Neuron. 2013. Vol. 80, no. 5. P. 1112-1128. DOI: 10.1016/j.neuron.2013.10.017.
59. Kayser C., Ince R. A. A., Panzeri S. Analysis of slow (theta) oscillations as a potential temporal reference frame for information coding in sensory cortices // PLOS Computational Biology. 2012. Vol. 8, no. 10. P. e1002717. DOI: 10.1371/journal.pcbi.1002717.
60. von Stein A., Sarnthein J. Different frequencies for different scales of cortical integration: from
local gamma to long range alpha/theta synchronization // International Journal of Psychophysiology. 2000. Vol. 38, no. 3. P. 301-313. DOI: 10.1016/S0167-8760(00)00172-0.
61. Pfurtscheller G., Neuper C., Mohl W. Event-related desynchronization (ERD) during visual processing//International Journal of Psychophysiology. 1994. Vol. 16, no. 2-3. P. 147-153. DOI: 10.1016/0167-8760(89)90041-X.
62. Engel A. K., Fries P. Beta-band oscillations - signalling the status quo? // Current Opinion in Neurobiology. 2010. Vol. 20, no. 2. P. 156-165. DOI: 10.1016/j.conb.2010.02.015.
63. Okazaki M., Kaneko Y., Yumoto M., Arima K. Perceptual change in response to a bistable picture increases neuromagnetic beta-band activities // Neuroscience Research. 2008. Vol. 61, no. 3. P. 319-328. DOI: 10.1016/j.neures.2008.03.010.
64. Buschman T. J., Miller E. K. Top-down versus bottom-up control of attention in the prefrontal and posterior parietal cortices // Science. 2007. Vol. 315, no. 5820. P. 1860-1862.
DOI: 10.1126/science.1138071.
65. Maris E., Oostenveld R. Nonparametric statistical testing of EEG- and MEG-data // Journal of Neuroscience Methods. 2007. Vol. 164, no. 1. P. 177-190. DOI: 10.1016/j.jneumeth.2007.03.024.
66. Lee T. G., D'Esposito M. The dynamic nature of top-down signals originating from prefrontal cortex: A combined fMRI-TMS study // Journal of Neuroscience. 2012. Vol. 32, no. 44. P. 15458-15466. DOI: 10.1523/JNEUROSCI.0627-12.2012.
67. Cohen M. X., van Gaal S. Dynamic interactions between large-scale brain networks predict behavioral adaptation after perceptual errors // Cerebral Cortex. 2013. Vol. 23, no. 5. P. 1061-1072. DOI: 10.1093/cercor/bhs069.
68. de Borst A. W., Sack A. T., Jansma B. M., Esposito F., de Martino F., Valente G., Roebroeck A., di Salle F., Goebel R., Formisano E. Integration of "what" and "where" in frontal cortex during visual imagery of scenes // NeuroImage. 2012. Vol. 60, no. 1. P. 47-58. DOI: 10.1016/j.neuroimage.2011.12.005.
69. Mathes B., Khalaidovski K., Schmiedt-Fehr C., Basar-Eroglu C. Frontal theta activity is pronounced during illusory perception // International Journal of Psychophysiology. 2014. Vol. 94, no. 3. P. 445-454. DOI: 10.1016/j.ijpsycho.2014.08.585.
70. Yokota Y, Minami T., Naruse Y, Nakauchi S. Neural processes in pseudo perceptual rivalry: An ERP and time-frequency approach//Neuroscience. 2014. Vol. 271. P. 35-44.
DOI: 10.1016/j.neuroscience.2014.04.015.
71. Spitzer B., Haegens S. Beyond the status quo: A role for beta oscillations in endogenous content (re)activation // eNeuro. 2017. Vol. 4, no. 4. P. ENEURO.0170-17.2017.
DOI: 10.1523/ENEURO.0170-17.2017.
72. Maksimenko V. A., Runnova A. E., Zhuravlev M. O., Makarov V. V., Nedayvozov V., Grubov V. V., Pchelintceva S. V., Hramov A. E., Pisarchik A. N. Visual perception affected by motivation and alertness controlled by a noninvasive brain-computer interface // PLOS One. 2017. Vol. 12, no. 12. P. e0188700. DOI: 10.1371/journal.pone.0188700.
73. Beer A. L., Roder B. Attending to visual or auditory motion affects perception within and across modalities: an event-related potential study // European Journal of Neuroscience. 2005. Vol. 21, no. 4. P. 1116-1130. DOI: 10.1111/j.1460-9568.2005.03927.x.
74. Maksimenko V. A., Runnova A. E., Zhuravlev M. O., Protasov P., Kulanin R., Khramova M. V., Pisarchik A. N., Hramov A. E. Human personality reflects spatio-temporal and time-frequency EEG structure//PLOS One. 2018. Vol. 13, no. 9. P. e0197642. DOI: 10.1371/journal.pone.0197642.
75. Maksimenko V. A., Pavlov A., Runnova A. E., Nedaivozov V., Grubov V., Koronovskii A., Pchelintseva S. V., PitsikE., Pisarchik A. N., Hramov A. E. Nonlinear analysis of brain activity, associated with motor action and motor imaginary in untrained subjects // Nonlinear Dynamics. 2018. Vol. 91, no. 4. P. 2803-2817. DOI: 10.1007/s11071-018-4047-y.
76. Maksimenko V. A., Hramov A. E., Frolov N. S., Liittjohann A., Nedaivozov V. O., Grubov V. V., Runnova A. E., Makarov V. V., Kurths J., PisarchikA. N.Increasing human performance by sharing cognitive load using brain-to-brain interface // Frontiers in Neuroscience. 2018. Vol. 12. P. 949. DOI: 10.3389/fnins.2018.00949.
References
1. American Association for the Advancement of Science. Human performance in space: Advancing astronautics research in China. Science. 2014;345(6203):1522.
DOI: 10.1126/science.345.6203.1522-d.
2. Borghini G, Arico P, Di Flumeri G, Cartocci G, Colosimo A, Bonelli S, Golfetti A, Imbert J, Granger G, Benhacene R, Pozzi S, Babiloni F. EEG-based cognitive control behaviour assessment: an ecological study with professional air traffic controllers. Scientific Reports. 2017;7(1):547. DOI: 10.1038/s41598-017-00633-7.
3. Di Flumeri G, De Crescenzio F, Berberian B, Ohneiser O, Kramer J, Arico P, Borghini G, Babiloni F, Bagassi S, Piastra S. Brain-computer interface-based adaptive automation to prevent out-of-the-loop phenomenon in air traffic controllers dealing with highly automated systems. Frontiers in Human Neuroscience. 2019;13:296. DOI: 10.3389/fnhum.2019.00296.
4. Hramov A, Maksimenko V, Pisarchik A. Physical principles of brain-computer interfaces and their applications for rehabilitation, robotics and control of human brain states. Physics Reports (accepted). 2021. DOI: 10.1016/j.physrep.2021.03.002.
5. Heekeren H, Marrett S, Bandettini P, Ungerleider L. A general mechanism for perceptual decisionmaking in the human brain. Nature. 2004;431(7010):859-862. DOI: 10.1038/nature02966.
6. Davison E, Schlesinger K, Bassett D, Lynall M, Miller M, Grafton S, Carlson J. Brain network adaptability across task states. PLOS Computational Biology. 2015;11(1):e1004029. DOI: 10.1371/journal.pcbi.1004029.
7. Parks E, Madden D. Brain connectivity and visual attention. Brain Connectivity. 2013;3(4):317-338. DOI: 10.1089/brain.2012.0139.
8. Shine J, Poldrack R. Principles of dynamic network reconfiguration across diverse brain states. NeuroImage. 2018;180:396-405. DOI: 10.1016/j.neuroimage.2017.08.010.
9. Smith S. Linking cognition to brain connectivity. Nature Neuroscience. 2016;19(1):7-9. DOI: 10.1038/nn.4206.
10. Hramov A, Frolov N, Maksimenko V, Kurkin S, Kazantsev V, Pisarchik A. Functional networks of the brain: from connectivity restoration to dynamic integration. Physics-Uspekhi (accepted). 2021. DOI: 10.3367/UFNr.2020.06.038807.
11. van den Heuvel MP, Pol HEH. Exploring the brain network: A review on resting-state fMRI functional connectivity. European Neuropsychopharmacology. 2010;20(8):519-534. DOI: 10.1016/j.euroneuro.2010.03.008.
12. Xu J, Potenza M, Calhoun V. Spatial ICA reveals functional activity hidden from traditional fMRI GLM-based analyses. Frontiers in Neuroscience. 2013;7:154. DOI: 10.3389/fnins.2013.00154.
13. Rosenberg M, Finn E, Scheinost D, Papademetris X, Shen X, Constable R, Chun M. A neuromarker of sustained attention from whole-brain functional connectivity. Nature Neuroscience. 2016;19(1):165-171. DOI: 10.1038/nn.4179.
14. Li J, Lim J, Chen Y, Wong K, Thakor N, Bezerianos A, Sun Y. Mid-task break improves global integration of functional connectivity in lower alpha band. Frontiers in Human Neuroscience. 2016;10:304. DOI: 10.3389/fnhum.2016.00304.
15. Finc K, Bonna K, Lewandowska M, Wolak T, Nikadon J, Dreszer J, Duch W, Kiihn S. Transition
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
62 i
of the functional brain network related to increasing cognitive demands. Human Brain Mapping. 2017;38(7):3659-3674. DOI: 10.1002/hbm.23621.
Fries P. Rhythms for cognition: Communication through coherence. Neuron. 2015;88(1):220-235. DOI: 10.1016/j.neuron.2015.09.034.
Lisman J, Jensen O. The theta-gamma neural code. Neuron. 2013;77(6):1002-1016. DOI: 10.1016/j.neuron.2013.03.007.
Canolty R, Edwards E, Dalal S, Soltani M, Nagarajan S, Kirsch H, Berger M, Barbaro N, Knight R. High gamma power is phase-locked to theta oscillations in human neocortex. Science. 2006;313(5793):1626-1628. DOI: 10.1126/science.1128115.
Maksimenko V, Luttjohann A, Makarov V, Goremyko M, Koronovskii A, Nedaivozov V, Runnova A, van Luijtelaar G, Hramov A, Boccaletti S. Macroscopic and microscopic spectral properties of brain networks during local and global synchronization. Phys. Rev. E. 2017;96(1):012316. DOI: 10.1103/PhysRevE.96.012316.
Michalareas G, Vezoli J, van Pelt S, Schoffelen J, Kennedy H, Fries P. Alpha-beta and gamma rhythms subserve feedback and feedforward influences among human visual cortical areas. Neuron. 2016;89(2):384-397. DOI: 10.1016/j.neuron.2015.12.018.
Buffalo E, Fries P, Landman R, Buschman T, Desimone R. Laminar differences in gamma and alpha coherence in the ventral stream. Proceedings of the National Academy of Sciences of the United States of America. 2011;108(27):11262-11267. DOI: 10.1073/pnas.1011284108. Frolov N, Maksimenko V, Hramov A. Revealing a multiplex brain network through the analysis of recurrences. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2020;30(12):121108. DOI: 10.1063/5.0028053.
Pisarchik A, Maksimenko V, Andreev A, Frolov N, Makarov V, Zhuravlev M, Runnova A, Hramov A. Coherent resonance in the distributed cortical network during sensory information processing. Scientific Reports. 2019;9(1):18325. DOI: 10.1038/s41598-019-54577-1.
Frolov N, Maksimenko V, Khramova M, Pisarchik A, Hramov A. Dynamics of functional connectivity in multilayer cortical brain network during sensory information processing. The European Physical Journal Special Topics. 2019;228(11):2381-2389. DOI: 10.1140/epjst/e2019-900077-7.
Maksimenko V, Runnova A, Frolov N, Makarov V, Nedaivozov V, Koronovskii A, Pisarchik A, Hramov A. Multiscale neural connectivity during human sensory processing in the brain. Phys. Rev. E. 2018;97(5):052405. DOI: 10.1103/PhysRevE.97.052405.
Maksimenko V, Frolov N, Hramov A, Runnova A, Grubov V, Kurths J, Pisarchik A. Neural interactions in a spatially-distributed cortical network during perceptual decision-making. Frontiers in Behavioral Neuroscience. 2019;13:220. DOI: 10.3389/fnbeh.2019.00220. Helfrich R, Huang M, Wilson G, Knight R. Prefrontal cortex modulates posterior alpha oscillations during top-down guided visual perception. Proceedings of the National Academy of Sciences of the United States of America. 2017;114(35):9457-9462. DOI: 10.1073/pnas.1705965114. Sellers K, Yu C, Zhou Z, Stitt I, Li Y, Radtke-Schuller S, Alagapan S, Frohlich F. Oscillatory dynamics in the frontoparietal attention network during sustained attention in the ferret. Cell Reports. 2016;16(11):2864-2874. DOI: 10.1016/j.celrep.2016.08.055.
Scolari M, Seidl-Rathkopf K, Kastner S. Functions of the human frontoparietal attention network: Evidence from neuroimaging. Current Opinion in Behavioral Sciences. 2015;1:32-39. DOI: 10.1016/j.cobeha.2014.08.003.
Clayton M, Yeung N, Kadosh R. The roles of cortical oscillations in sustained attention. Trends in Cognitive Sciences. 2015;19(4):188-195. DOI: 10.1016/j.tics.2015.02.004.
31. Miodrag N, Hodapp R. Chronic stress and its implications on health among families of children with intellectual and developmental disabilities (I/DD). In: International Review of Research in Developmental Disabilities. vol. 41. Elsevier; 2011. p. 127-161.
DOI: 10.1016/B978-0-12-386495-6.00004-7.
32. Kornmeier J, Pfaffle M, Bach M. Necker cube: Stimulus-related (low-level) and percept-related (high-level) EEG signatures early in occipital cortex. Journal of Vision. 2011;11(9):12. DOI: 10.1167/11.9.12.
33. Maksimenko V, Runnova A, Zhuravlev M, Makarov V, Nedayvozov V, Grubov V, Pchelintceva S, Hramov A, Pisarchik A. Visual perception affected by motivation and alertness controlled by a noninvasive brain-computer interface. PLOS One. 2017;12(12):e0188700.
DOI: 10.1371/journal.pone.0188700.
34. Hramov A, Frolov N, Maksimenko V, Makarov V, Koronovskii A, Garcia-Prieto J, Anton-Toro L, Maestu F, Pisarchik A. Artificial neural network detects human uncertainty. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2018;28(3):033607. DOI: 10.1063/1.5002892.
35. Denison R, Adler W, Carrasco M, Ma W. Humans incorporate attention-dependent uncertainty into perceptual decisions and confidence. Proceedings of the National Academy of Sciences of the United States of America. 2018;115(43):11090-11095. DOI: 10.1073/pnas.1717720115.
36. Weisz N, Wühle A, Monittola G, Demarchi G, Frey J, Popov T, Braun C. Prestimulus oscillatory power and connectivity patterns predispose conscious somatosensory perception. Proceedings of the National Academy of Sciences of the United States of America. 2014;111(4):E417-E425. DOI: 10.1073/pnas.1317267111.
37. Runnova A, Hramov A, Grubov V, Koronovskii A, Kurovskaya M, Pisarchik A. Theoretical background and experimental measurements of human brain noise intensity in perception of ambiguous images. Chaos, Solitons & Fractals. 2016;93:201-206.
DOI: 10.1016/j.chaos.2016.11.001.
38. Hramov A, Maksimenko V, Pchelintseva S, Runnova A, Grubov V, Musatov V, Zhuravlev M, Koronovskii A, Pisarchik A. Classifying the perceptual interpretations of a bistable image using EEG and artificial neural networks. Frontiers in Neuroscience. 2017;11:674.
DOI: 10.3389/fnins.2017.00674.
39. Chholak P, Kurkin S, Hramov A, Pisarchik A. Event-related coherence in visual cortex and brain noise: An MEG study. Applied Sciences. 2021;11(1):375. DOI: 10.3390/app11010375.
40. Hramov A, Kurovskaya M, Runnova A, Zhuravlev M, Grubov V, Koronovskii A, Pavlov A, Pisarchik A. Intermittent behavior in the brain neuronal network in the perception of ambiguous images. In: Proc. SPIE. Dynamics and Fluctuations in Biomedical Photonics XIV. vol. 10063. SPIEBiOS; 2017. p. 1006314. DOI: 10.1117/12.2249888.
41. Chholak P, Maksimenko V, Hramov A, Pisarchik A. Voluntary and involuntary attention in bistable visual perception: A MEG study. Frontiers in Human Neuroscience. 2020;14:597895. DOI: 10.3389/fnhum.2020.597895.
42. Chholak P, Hramov A, Pisarchik A. An advanced perception model combining brain noise and adaptation. Nonlinear Dynamics. 2020;100(4):3695-3709. DOI: 10.1007/s11071-020-05741-0.
43. Hramov A, Maksimenko V, Koronovskii A, Runnova A, Zhuravlev M, Pisarchik A, Kurths J. Percept-related EEG classification using machine learning approach and features of functional brain connectivity. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2019;29(9):093110. DOI: 10.1063/1.5113844.
44. Maksimenko V, Kuc A, Frolov N, Khramova M, Pisarchik A, Hramov A. Dissociating cognitive processes during ambiguous information processing in perceptual decision-making. Frontiers in Behavioral Neuroscience. 2020;14:95. DOI: 10.3389/fnbeh.2020.00095.
45. Maksimenko V, Kuc A, Frolov N, Kurkin S, Hramov A. Effect of repetition on the behavioral
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
63(
and neuronal responses to ambiguous Necker cube images. Scientific Reports. 2021;11(1):3454. DOI: 10.1038/s41598-021-82688-1.
Sehatpour P, Molholm S, Schwartz T, Mahoney J, Mehta A, Javitt D, Stanton P, Foxe J. A human intracranial study of long-range oscillatory coherence across a frontal-occipital-hippocampal brain network during visual object processing. Proceedings of the National Academy of Sciences of the United States of America. 2008;105(11):4399-4404. DOI: 10.1073/pnas.0708418105. Chand G, Dhamala M. The salience network dynamics in perceptual decision-making. NeuroImage. 2016;134:85-93. DOI: 10.1016/j.neuroimage.2016.04.018.
Chand G, Dhamala M. Interactions between the anterior cingulate-insula network and the fronto-parietal network during perceptual decision-making. NeuroImage. 2017;152:381-389. DOI: 10.1016/j.neuroimage.2017.03.014.
Siegel M, Engel A, Donner T. Cortical network dynamics of perceptual decision-making in the human brain. Frontiers in Human Neuroscience. 2011;5:21. DOI: 10.3389/fnhum.2011.00021. Anderson K, Ding M. Attentional modulation of the somatosensory mu rhythm. Neuroscience. 2011;180:165-180. DOI: 10.1016/j.neuroscience.2011.02.004.
Bauer M, Kennett S, Driver J. Attentional selection of location and modality in vision and touch modulates low-frequency activity in associated sensory cortices. Journal of Neurophysiology. 2012;107(9):2342-2351. DOI: 10.1152/jn.00973.2011.
Gola M, Magnuski M, Szumska I, Wrobel A. EEG beta band activity is related to attention and attentional deficits in the visual performance of elderly subjects. International Journal of Psychophysiology. 2013;89(3):334-341. DOI: 10.1016/j.ijpsycho.2013.05.007. van Dijk H, Schoffelen J, Oostenveld R, Jensen O. Prestimulus oscillatory activity in the alpha band predicts visual discrimination ability. Journal of Neuroscience. 2008;28(8):1816-1823. DOI: 10.1523/JNEUROSCI.1853-07.2008.
Hanslmayr S, Aslan A, Staudigl T, Klimesch W, Herrmann C, Bauml K. Prestimulus oscillations predict visual perception performance between and within subjects. NeuroImage. 2007;37(4):1465-1473. DOI: 10.1016/j.neuroimage.2007.07.011.
Scocchia L, Valsecchi M, Triesch J. Top-down influences on ambiguous perception: the role of stable and transient states of the observer. Frontiers in Human Neuroscience. 2014;8:979. DOI: 10.3389/fnhum.2014.00979.
Park G, Vasey M, Kim G, Hu D, Thayer J. Trait anxiety is associated with negative interpretations when resolving valence ambiguity of surprised faces. Frontiers in Psychology. 2016;7:1164. DOI: 10.3389/fpsyg.2016.01164.
Hramov A, Koronovskii A, Makarov V, Pavlov A, Sitnikova E. Wavelets in Neuroscience. Springer Series in Synergetics. Springer-Verlag Berlin Heidelberg; 2015. P. 318. DOI: 10.1007/978-3-662-43850-3.
Lopes da Silva F. EEG and MEG: Relevance to neuroscience. Neuron. 2013;80(5):1112-1128. DOI: 10.1016/j.neuron.2013.10.017.
Kayser C, Ince R, Panzeri S. Analysis of slow (theta) oscillations as a potential temporal reference frame for information coding in sensory cortices. PLOS Computational Biology. 2012;8(10):e1002717. DOI: 10.1371/journal.pcbi.1002717.
von Stein A, Sarnthein J. Different frequencies for different scales of cortical integration: from local gamma to long range alpha/theta synchronization. International Journal of Psychophysiology. 2000;38(3):301-313. DOI: 10.1016/S0167-8760(00)00172-0.
Pfurtscheller G, Neuper C, Mohl W. Event-related desynchronization (ERD) during visual processing. International Journal of Psychophysiology. 1994;16(2-3):147-153. DOI: 10.1016/0167-8760(89)90041-X.
62. Engel A, Fries P. Beta-band oscillations - signalling the status quo? Current Opinion in Neurobiology. 2010;20(2):156-165. DOI: 10.1016/j.conb.2010.02.015.
63. Okazaki M, Kaneko Y, Yumoto M, Arima K. Perceptual change in response to a bistable picture increases neuromagnetic beta-band activities. Neuroscience Research. 2008;61(3):319-328. DOI: 10.1016/j.neures.2008.03.010.
64. Buschman T, Miller E. Top-down versus bottom-up control of attention in the prefrontal and posterior parietal cortices. Science. 2007;315(5820):1860-1862. DOI: 10.1126/science.1138071.
65. Maris E, Oostenveld R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 2007;164(1):177-190. DOI: 10.1016/j.jneumeth.2007.03.024.
66. Lee T, D'Esposito M. The dynamic nature of top-down signals originating from prefrontal cortex: A combined fMRI-TMS study. Journal of Neuroscience. 2012;32(44):15458-15466. DOI: 10.1523/JNEUROSCI.0627-12.2012.
67. Cohen M, van Gaal S. Dynamic interactions between large-scale brain networks predict behavioral adaptation after perceptual errors. Cerebral Cortex. 2013;23(5):1061-1072. DOI: 10.1093/cercor/bhs069.
68. de Borst A, Sack A, Jansma B, Esposito F, de Martino F, Valente G, Roebroeck A, di Salle F, Goebel R, Formisano E. Integration of "what" and "where" in frontal cortex during visual imagery of scenes. NeuroImage. 2012;60(1):47-58. DOI: 10.1016/j.neuroimage.2011.12.005.
69. Mathes B, Khalaidovski K, Schmiedt-Fehr C, Basar-Eroglu C. Frontal theta activity is pronounced during illusory perception. International Journal of Psychophysiology. 2014;94(3):445-454. DOI: 10.1016/j.ijpsycho.2014.08.585.
70. Yokota Y, Minami T, Naruse Y, Nakauchi S. Neural processes in pseudo perceptual rivalry: An ERP and time-frequency approach. Neuroscience. 2014;271:35-44.
DOI: 10.1016/j.neuroscience.2014.04.015.
71. Spitzer B, Haegens S. Beyond the status quo: A role for beta oscillations in endogenous content (re)activation. eNeuro. 2017;4(4):ENEURO.0170-17.2017. DOI: 10.1523/ENEURO.0170-17.2017.
72. Maksimenko V, Runnova A, Zhuravlev M, Makarov V, Nedayvozov V, Grubov V, Pchelintceva S, Hramov A, Pisarchik A. Visual perception affected by motivation and alertness controlled by a noninvasive brain-computer interface. PLOS One. 2017;12(12):e0188700.
DOI: 10.1371/journal.pone.0188700.
73. Beer A, Roder B. Attending to visual or auditory motion affects perception within and across modalities: an event-related potential study. European Journal of Neuroscience. 2005;21(4):1116-1130. DOI: 10.1111/j.1460-9568.2005.03927.x.
74. Maksimenko V, Runnova A, Zhuravlev M, Protasov P, Kulanin R, Khramova M, Pisarchik A, Hramov A. Human personality reflects spatio-temporal and time-frequency EEG structure. PLOS One. 2018;13(9):e0197642. DOI: 10.1371/journal.pone.0197642.
75. Maksimenko V, Pavlov A, Runnova A, Nedaivozov V, Grubov V, Koronovskii A, Pchelintseva S, Pitsik E, Pisarchik A, Hramov A. Nonlinear analysis of brain activity, associated with motor action and motor imaginary in untrained subjects. Nonlinear Dynamics. 2018;91(4):2803-2817. DOI: 10.1007/s11071-018-4047-y.
76. Maksimenko V, Hramov A, Frolov N, Lüttjohann A, Nedaivozov V, Grubov V, Runnova A, Makarov V, Kurths J, Pisarchik A. Increasing human performance by sharing cognitive load using brain-to-brain interface. Frontiers in Neuroscience. 2018;12:949. DOI: 10.3389/fnins.2018.00949.
Храмов Александр Евгеньевич - окончил физический факультет Саратовского государственного университета (кафедра электронных и волновых процессов, 1996). Кандидат физико-математических наук (1999), доктор физико-математических наук (2005), профессор. С 2012 года главный научный сотрудник и научный руководитель Научно-образовательного центра «Системы искусственного интеллекта и нейротехнологии» (до 2018 года - «Нелинейная динамика сложных систем») Саратовского технического университета, с 2015 года заведующий кафедрой «Автоматизация, управление, мехатроника». В настоящее время руководитель лаборатории нейронауки и когнитивных технологий Университета Иннополис. Научные интересы - нейронаука, теория сложных сетей, математическое моделирование нейронных сетей, искусственный интеллект, нелинейная динамика. Главный редактор журнала «Инфокоммуникационные и радиоэлектронные технологии» (с 2016), член редакционной коллегии журнала «Chaos, Solitons and Fractals». Автор и соавтор более 200 научных публикаций, в том числе монографий, учебников, патентов.
Россия, 420500 Иннополис, ул. Университетская, 1
Лаборатория нейронауки и когнитивных технологий, Университет Иннополис
Россия, 236016 Калининград, ул. А. Невского, 14
Балтийский федеральный университет им. Иммануила Канта
Россия, 603950 Нижний Новгород, пр. Гагарина, 23
Нижегородский государственный университет им. Н. И. Лобачевского
Россия, 410012 Саратов, ул. Большая Казачья, 112
Саратовский государственный медицинский университет им. В. И. Разумовского E-mail: hramovae@gmail.com ORCID: 0000-0003-2787-2530
Максименко Владимир Александрович - родился в городе Аткарске Саратовской области (1989), окончил Саратовский государственный университет (2012). Защитил диссертации на соискание ученой степени кандидата физико-математических наук (СГУ, 2015) и доктора физико-математических наук (СГТУ, 2020). Старший научный сотрудник лаборатории нейронауки и когнитивных технологий Университета Иннополис, профессор (с 2021 года). Лауреат Премии Президента Российской Федерации в области науки и инноваций для молодых учёных (2020). Научные интересы: выявление новых фундаментальных механизмов динамики нейронной сети головного мозга основываясь на результатах анализа нейрофизиологических сигналов и результатах математического моделирования процессов нейронного взаимодействия с использованием сетей искусственных нейроноподобных элементов; разработка эффективных методик детектирования характерных форм нейронной активности на основе анализа сигналов электрической активности с целью разработки интерфейсов «мозг - компьютер» для реабилитации, робототехники и контроля состояния человека.
Россия, 420500 Иннополис, ул. Университетская, 1
Лаборатория нейронауки и когнитивных технологий, Университет Иннополис Россия, 236016 Калининград, ул. А. Невского, 14 Балтийский федеральный университет им. Иммануила Канта Россия, 410012 Саратов, ул. Большая Казачья, 112
Саратовский государственный медицинский университет им. В. И. Разумовского E-mail: maximenkovl@gmail.com ORCID: 0000-0002-4632-6896
Фролов Никита Сергеевич - родился в 1992 году в Энгельсе. Окончил Саратовский государственный университет им. Н. Г. Чернышевского (2012). Защитил диссертацию на соискание ученой степени кандидата физико-математических наук в области радиофизики (2015). В настоящее время старший научный сотрудник лаборатории нейробиологии и когнитивных технологий Университета Иннополис. Сфера научных интересов: структура и динамика сложных сетей в контексте исследования нейродинамики головного мозга, а также влияние процессов здорового старения на когнитивные и моторные функции человека.
Россия, 420500 Иннополис, ул. Университетская, 1
Лаборатория нейронауки и когнитивных технологий, Университет Иннополис Россия, 236016 Калининград, ул. А. Невского, 14 Балтийский федеральный университет им. Иммануила Канта E-mail: phrolovns@gmail.com ORCID: 0000-0002-2788-1907
Куркин Семён Андреевич - родился в Саратове (1986). Окончил с отличием факультет нелинейных процессов Саратовского государственного университета им. Н.Г. Чернышевского по специальности «радиофизика и электроника» (2008). Доктор физико-математических наук (2017), доцент. Работает в должности профессора в Центре технологий компонентов робототехники и мехатроники Университета Иннополиса. Автор ряда статей в центральных реферируемых журналах, участник всероссийских и международных конференций. Область научных интересов - исследование электронно-волновых систем с интенсивными пучками заряженных частиц; нейронаука.
Россия, 420500 Иннополис, ул. Университетская, 1
Лаборатория нейронауки и когнитивных технологий, Университет Иннополис Россия, 236016 Калининград, ул. А. Невского, 14 Балтийский федеральный университет им. Иммануила Канта E-mail: kurkinsa@gmail.com ORCID: 0000-0002-3438-5717
Грубое Вадим Валерьевич - родился в пос. Емильчино Житомирской области (Украина). Окончил факультет нелинейных процессов Саратовского государственного университета им. Н.Г. Чернышевского (2012). Старший научный сотрудник лаборатории нейронауки и когнитивных технологий университета Иннополис. В 2015 защитил диссертацию на соискание ученой степени кандидата физико-математических наук на тему «Частотно-временной анализ сигналов электрической активности нейронного ансамбля головного мозга при абсанс-эпилепсии». Область научных интересов - нейронаука, анализ и обработка комплексных сигналов, вейвлетный анализ и его приложения в нелинейной динамике и нейронауке.
Россия, 420500 Иннополис, Университетская, 1
Центр технологий компонентов робототехники и мехатроники, Университет Иннополис Россия, 236016 Калининград, ул. А. Невского, 14 Балтийский федеральный университет им. Иммануила Канта Россия, 410012 Саратов, ул. Большая Казачья, 112
Саратовский государственный медицинский университет им. В. И. Разумовского E-mail: v.grubov@innopolis.ru ORCID: 0000-0001-6613-8940
Бадарин Артем Александрович - младший научный сотрудник лаборатории нейронауки и когнитивных технологий университета Иннополис. Защитил диссертацию на соискание учёной степени кандидата физико-математических наук на тему «Колебательные явления в релятивистских электронных потоках с виртуальным катодом в полях резонансных систем и фотонных кристаллов» по специальностям «Физическая электроника» и «Радиофизика» (2020, СГУ). Область научных интересов - применение методов численного моделирования и анализа для исследования процессов, происходящих в интенсивных электронных потоках.
Россия, 420500 Иннополис, Университетская, 1
Центр технологий компонентов робототехники и мехатроники, Университет Иннополис
Россия, 236016 Калининград, ул. А. Невского, 14
Балтийский федеральный университет им. Иммануила Канта
E-mail: a.badarin@innopolis.ru
ORCID: 0000-0002-3212-5890
Андреев Андрей Викторович - окончил с отличием магистратуру факультета нелинейных процессов СГУ (2017). Защитил кандидатскую диссертацию по специальности «радиофизика». Область научных интересов - нейронаука, математическое моделирование, нейронные сети, нелинейная динамика, сложные сети, хаос. Автор более 30 научных публикаций в центральных реферируемых отечественных и зарубежных научных журналах, индексируемых в Scopus/Web of Science (в том числе npj Quantum Information, Scientific Reports, Chaos, Solitons & Fractals, Physical Review E и др.), ряда свидетельств о регистрации программ для ЭВМ.
Россия, 420500 Иннополис, Университетская, 1
Центр технологий компонентов робототехники и мехатроники, Университет Иннополис
Россия, 236016 Калининград, ул. А. Невского, 14
Балтийский федеральный университет им. Иммануила Канта
E-mail: andreevandrei1993@gmail.com
ORCID: 0000-0001-6642-4517
Казанцев Виктор Борисович - родился в 1973 году. Выпускник кафедры теории колебаний и автоматического регулирования радиофизического факультета ННГУ, основанной академиком А. А. Андроновым. Кандидат физико-математических наук (1999), доктор физико-математических наук (2005). С 2005 - заведующий кафедрой нейротехнологий биологического факультета ННГУ, c 2020 - профессор университета Иннополис (Казань), а также возглавляет лабораторию нейромоделирования НИИ нейронаук СамГМУ (Самара). Область научных интересов: нейронаука, математические модели нейронов и нейронных сетей, нейрогибридные и нейроморфные системы, нейроинтерфейсы, нейрон-глиальные взаимодействия, колебания и волны в нейродинамике. Имеет более 150 научных публикаций в российских и зарубежных реферируемых изданиях, автор нескольких глав в книгах и монографиях, множества патентов и учебно-методических разработок. Руководитель ведущей научной школы «Нелинейная динамика сетевых нейросистем: фундаментальные аспекты и приложения» в рамках гранта Президента РФ 2020-2021. Под руководством В. Б. Казанцева защитилось 6 кандидатов наук.
Россия, 603950, Нижний Новгород, пр. Гагарина, 23 Нижегородский государственный университет им. Н.И. Лобачевского Россия, 420500 Иннополис, Университетская, 1
Центр технологий компонентов робототехники и мехатроники, Университет Иннополис Россия, 443079 Самара, ул. Гагарина, 18 Самарский государственный медицинский университет E-mail: kazantsev@neuro.nnov.ru
Гордлеева Сусанна Юрьевна - кандидат физико-математических наук, доцент кафедры нейротехнологий ННГУ им Н. И. Лобачевского. Родилась в 1987 году. Выпускница кафедры общей физики радиофизического факультета ННГУ. В 2015 году защитила кандидатскую диссертацию по теме «Эффекты мультистабильной динамики в системах взаимодействующих биологических осцилляторов». Область научных интересов: нейронаука, биофизика, нелинейная динамика, математические модели нейронов и нейрон-астроцитарных сетей, анализ ЭЭГ, нейроинтерфейсы.
Россия, 603950, Нижний Новгород, пр. Гагарина, 23 Нижегородский государственный университет им. Н. И. Лобачевского Россия, 420500 Иннополис, Университетская, 1
Центр технологий компонентов робототехники и мехатроники, Университет Иннополис E-mail: gordleeva@neuro.nnov.ru ORCID: 0000-0002-7687-3065
Пицик Елена Николаевна - родилась в Саратове (1994), окончила факультет КНиИТ Саратовского университета по направлению «Программная инженерия» (2015, бакалавриат) и по направлению «Информатика в образовании» (2017, магистратура). После окончания СГУ работала в НОЦ «Системы искусственного интеллекта и нейротехнологии» на базе Саратовского технического университета. С 2019 года работает в лаборатории нейробиологии и когнитивных технологий Университета Иннополис в качестве младшего научного сотрудника. Область научных интересов: анализ временных рядов, нейробиология, количественный анализ рецидивов, двигательная активность мозга. Опубликовала более 20 научных статей по указанным направлениям.
Россия, 420500 Иннополис, Университетская, 1
Лаборатория нейробиологии и когнитивных технологий, Университет Иннополис E-mail: pitsikelena@gmail.com ORCID: 0000-0003-1850-2394
Писарчик Александр Николаевич - кандидат физико-математических наук, профессор. Ведущий научный сотрудник Центра биомедицинских технологий Политехнического университета Мадрида. Научные интересы - теория хаоса, синхронизация, мультистабильность, стохастические процессы и прерывистость, с приложениями к электронным, оптическим и биомедицинским системам.
Политехнический университет Мадрида
Россия, 420500 Иннополис, ул. Университетская, 1
Университет Иннополис
E-mail: alexander.pisarchik@ctb.upm.es
ORCID: 0000-0003-2471-2507
