CC BY
26
1ЕСК0Г0 КАРТИРОВАНИЯ МОЗГА 1Н0Г0МЕРН0Й ИНДЕКСАЦИИ ►УССКОГО ТЕКСТА: АцИИ И РАЗвИТИЯ
Б.M. Величковский, д.пс.н., профессор, член-корреспондент РАН, член Европейской Академии (MAE), главный научный сотрудник1, 2; старший профессор3;
B.И. Заботкина, д.филол.н., профессор, проректор2; З.А. Носовец, аспирант1;
А.А. Котов, к.филол.н., ведущий научный сотрудник1; Л.Я. Зайдельман, исследователь1;
C.И. Карташев, старший инженер1;
A.Н. Коростелева, исследователь1; Д.Г. Малахов, исследователь1;
B.А. Орлов, исследователь1;
A.А. Зинина, к.пс.н., научный сотрудник1; Э. Гольдберг, PhD, профессор4;
B.Л. Ушаков, к.б.н., ведущий научный сотрудник1; доцент5
Национальный исследовательский центр «Курчатовский институт», пл. Академика Курчатова, 1, Москва, 123182;
Российский государственный гуманитарный университет, Миусская площадь, 6, Москва, 125993; 3Technische Universität Dresden, Zellescher Weg 17, Room A221, Dresden, 01069, Germany; 4New York University School of Medicine, 550 1st Avenue, New York, NY 10016, USA; Национальный исследовательский ядерный университет «МИФИ», Каширское шоссе, 31, Москва, 115409
В данном исследовании мы объединили лингвистическое аннотирование устных текстов на русском языке с регистрацией сигнала BOLD (blood-oxygen-level-dependent) в экспериментах с применением функциональной МРТ, чтобы определить, как и где семантические категории репрезентированы в мозге человека. С тем же самым материалом изучены различия активации коры головного мозга при заслушивании текстов, относящихся к трем тематическим областям: описание принципов функционирования технических устройств, описание природы и более личностно-ориентированные тексты, затрагивающие вопросы социокультурной идентичности человека в конфликтных ситуациях. Обсуждаются методологические проблемы, связанные с каждым из этих подходов при изучении активности мозга в естественных условиях, т.е. при восприятии непрерывного потока осмысленной речи.
В рамках изучения разных по тематике текстов обнаружены лишь минимально значимые различия активности мозга. Этот результат позволяет сделать вывод, что макроструктурный подход, основанный на контрастировании тематически различных групп текстов, как вариант традиционной методологии когнитивного вычитания недостаточен для изучения механизмов понимания текстов и должен быть дополнен моделированием многомерных репрезентаций семантики слов в динамике вызванной ими активации мозговых структур. В рамках такого — микроструктурного — подхода мы описываем нейролингвистические процессы понимания текста как активацию 15 кластеров, ответственных за глобальные семантические категории (например, «Конфликт», «Ментальное», «Социальное»). Полученные данные говорят о том, что репрезентации этих категорий распределены в пространстве мозга. В отличие от предыдущих работ, подчеркивавших роль неокортекса, мы обнаружили, что субкортикальные структуры также вовлечены в репрезентацию семантической информации. Наблюдавшаяся латерализация компонентов семантических кластеров подчеркивает вовлеченность правого полушария в обработку значения. Показана возможность дальнейшего уточнения этого подхода.
Для контактов: Величковский Борис Митрофанович, e-mail: boris.velichkovsky@tu-dresden.de
Ключевые слова: экологическая валидность; сигнал BOLD; моделирование в семантике; метод главных компонент; когнитивное вычитание; функция гемодинамического ответа; субкортикальные структуры; межполушарная латерализация.
Как цитировать: Velichkovsky B.M., Zabotkina V.I., Nosovets Z.A., Kotov A.A., Zaidelman L.Ya., Kartashov S.I., Korosteleva A.N., Malakhov D.G., Orlov V.A., Zinina A.A., Goldberg E., Ushakov V.L. Towards semantic brain mapping methodology based on a multidimensional markup of continuous russian-language texts: an attempt at validation and development. Sovremennye tehnologii v medicine 2020; 12(2): 14-26, https://doi.org/10.17691/stm2020.12.2.02
English
Towards Semantic Brain Mapping Methodology Based
on a Multidimensional Markup of Continuous Russian-Language Texts:
an Attempt at Validation and Development
B.M. Velichkovsky, DSc, Professor, Corresponding Member of the Russian Academy of Sciences,
Member of Academia Europaea (MAE), Chief Researcher1, 2; Senior Professor3;
V.I. Zabotkina, DSc, Professor, Vice-rector2;
Z.A. Nosovets, PhD Student1;
A.A. Kotov, PhD, Leading Researcher1;
L.Ya. Zaidelman, Researcher1;
S.I. Kartashov, Senior Engineer1;
A.N. Korosteleva, Researcher1;
D.G. Malakhov, Researcher1;
V.A. Orlov, Researcher1;
A.A. Zinina, PhD, Researcher1;
E. Goldberg, PhD, Professor4;
V.L. Ushakov, PhD, Leading Researcher1; Associate Professor5
1National Research Center "Kurchatov Institute", 1 Akademika Kurchatova Square, Moscow, 123182, Russia;
2Russian State University for the Humanities, 6 Miusskaya Square, Moscow, 125993, Russia;
3Technische Universität Dresden, Zellescher Weg 17, Room A221, Dresden, 01069, Germany;
4New York University School of Medicine, 550 1st Avenue, New York, NY 10016, USA;
5National Research Nuclear University MEPhI, 31 Kashirskoe Shosse, Moscow, 115409, Russia
In the present study, we combine linguistic annotation of oral texts in Russian with the registration of BOLD signal in functional MRI experiments to determine how and where semantic categories are represented in the human brain. Using the same stimuli material, we also analyze the differences in cortical activation in three thematic domains: description of nature, description of working principles of technical devices and more self-referential texts, addressing the question of human identity in conflict situations. We discuss methodological problems within the two approaches (microanalysis and macroanalysis) to study brain activation in natural conditions, i.e. under a continuous speech flow. Within the thematic domain studies, only minimally significant differences in brain activation were registered during the listening to texts from the three thematic groups. This outcome leads to the conclusion that the approach of thematic group contrasts (cognitive subtraction methodology) is not sufficient to study the mechanisms of text comprehension, and should be replaced by the modeling of multidimensional representations of semantic categories in time. Within the semantic category approach, we describe the neurolinguistic process of text understanding as the activation of 15 clusters responsible for semantic categories (e.g. "Conflict', "Mental", "Social"). Our data demonstrate that the clusters are widely distributed across the human brain. In contrast to the previous studies, we suggest that deep subcortical structures are involved in the processing of certain categories as well. The observed lateralization of category processing underlines the involvement of the right hemisphere in the processing of meaning.
Key words: ecological validity; BOLD signal; modeling in semantics; principal components analysis; cognitive subtraction; haemodynamic response function; subcortical structures; hemispheric lateralization.
Не спрашивай, что внутри твоей головы, а спрашивай, внутри чего твоя голова.
Джеймс Дж. Гибсон
Неинвазивные методы мозгового картирования, в частности функциональная МРТ (фМРТ), позволили установить впечатляющие связи между психологиче-
скими исследованиями когнитивных функций и нейро-наукой. Однако экологическая валидность подобных конвергентных работ обычно довольно низка. Это может стать критическим недостатком когнитивной нейронауки, поскольку оценки когнитивных достижений способны меняться драматическим образом, когда исследования проводятся в обстоятельствах и на
материале, соответствующих привычным условиям жизнедеятельности. Примером может служить изменение представлений о возможностях памяти человека, когда предъявление буквенно-цифровых последовательностей было заменено показом сложных естественных изображений [1-3].
Аналогично этому основной массив результатов психолингвистических и нейролингвистических экспериментов может иметь артефактный характер, так как эти эксперименты проводились с использованием в качестве стимульного материала изолированных слов или, в лучшем случае, предложений. Хотя семантическая селективность отдельных областей мозга была известна из клинических наблюдений в течение десятилетий [4], вопрос об общих принципах и механизмах репрезентации семантики речи в головном мозге человека был впервые поставлен и изучен экспериментально лишь в фундаментальной работе А^. НиШ и соавт. [5]. Эти авторы систематически изучали семантическую селективность репрезентаций понятий английского языка, используя повоксельное моделирование фМРТ ответов мозга 7 носителей этого языка в ответ на продолжительное акустическое предъявление осмысленного нарратива. Вследствие уникальных особенностей этой работы, прежде всего сложных многомерных вычислений, включавших несколько достаточно произвольно выбранных операций уменьшения неопределенности данных, многие вопросы о методологии таких исследований остались без ответа. До сих пор отсутствуют повторения экспериментов А^. НиШ и его коллег другими исследовательскими группами и/или для других языков.
Мы в работе [6] инициировали похожую линию ней-ролингвистических экспериментов с непрерывными фрагментами русскоязычной устной речи в качестве стимулов и использованием более традиционной методологии когнитивного вычитания. Несмотря на значительный объем полученных данных, нам пока так и не удалось продемонстрировать стабильные различия в интуитивно явно различающихся по семантике текстах. Возможно, это объясняется как концептуальными, так и техническими особенностями наших экспериментов. Во-первых, причиной неудачи может служить общая неприспособленность когнитивного вычитания для картирования высших психологических функций [7, 8]. Во-вторых, причиной может являться использовавшийся стимульный материал, который, в отличие от нарративных текстов А^. НиШ и соавт. [5], не провоцировал со стороны испытуемых сколько-нибудь личностного отношения к описываемым событиям. Наконец, мы использовали в этих экспериментах стандартный протокол фМРТ-сканирования с относительно продолжительным временем повторения равным 2000 мс; столь низкая временная разрешающая способность метода могла быть недостаточной для измерения потока устной речи.
В настоящей работе мы постарались насколько возможно исправить эти недостатки. Так, использо-
вание нового протокола сверхбыстрого многополосного сканирования значительно улучшило временную разрешающую способность метода фМРТ. Сделана также попытка повторить и расширить исследование A.G. Huth и соавт [5]. Были использованы два подхода к обработке данных. Первый подход (макроанализ) состоял в контрастировании активации мозга при предъявлении трех радикально различных групп текстов, одна из которых содержала описания (из перспективы первого лица) эпизодов жизни с элементами угроз и их разрешением, тогда как две другие состояли из литературных описаний природы и описаний принципов функционирования технических устройств. Второй подход (микроанализ) в основных чертах воспроизводил методологию A.G. Huth и его коллег. В рамках этого подхода мы в качестве основы для количественного описания семантических характеристик учли типичные контексты совместной встречаемости слов в текстах на русском языке.
Материалы и методы
Текстовый материал и его лингвистическая индексация. В качестве стимульного материала мы выбрали и частично создали вновь 15 коротких, до 150 слов, русскоязычных текстов, разделенных на три тематические группы. Первой темой была красота природы: пять текстов представляли собой фрагменты из произведений известных русских писателей (К. Паустовского, И. Тургенева и др.) с описаниями пейзажей, растений и птиц, причем без упоминания каких-либо событий или действий. Вторая тематическая группа состояла из пяти текстов, описывающих простым языком и без чрезмерных терминологических деталей принципы функционирования технических устройств, таких как паровой котел и цилиндрический дверной замок. Последняя группа текстов описывала из перспективы первого лица отчасти драматические обстоятельства современной жизни: пять историй представляли эпизоды жизни одного из авторов данного исследования. Все тексты были начитаны профессиональным диктором (мужчиной) и зафиксированы в аудиозаписи. Тексты были снабжены лингвистической индексацией, которая осуществлялась в следующем порядке: 1 — индексация времени, 2 — лемматизация, 3 — векторизация, 4 — индексация слов-признаков. Ниже кратко описаны все шаги этого процесса.
1. Индексацию времени проводили с помощью программы ELAN (Голландия): для каждого из 2241 слова определяли временные границы в аудиозаписи независимо вручную двумя экспертами и дополнительно перепроверяли в случае расхождения индексов.
2. Слова затем заменяли их лексемами (сказал — сказать, вещи — вещь), чтобы уменьшить вариативность форм, создаваемую богатой морфологией русского языка. Операцию выполняли посредством программы pymorphy2 [9]. Следует отметить, что эта
программа не учитывает контекста слов и поэтому не гарантирует правильного выбора лексем в случае омонимов, предлагая лишь список возможных вариантов в порядке убывания вероятности. Контроль правильности автоматического выбора лексемы (лем-матизации) осуществлялся профессиональным лингвистом, который исправлял возможные ошибки.
3. Далее для индексации использовали программную систему word2vec [10, 11]. С ее помощью каждому слову был автоматически приписан 300-мерный семантический вектор. Система word2vec использует данные совместной встречаемости слов в Национальном корпусе русского языка и русскоязычной части Википедии, причем, как обычно, семантиче-
Рис. 1. Пример функции сходства между словами стимульного текста и словом-признаком мир (мир_ NOUN)
Сходство системы word2vec достигает 1 в точке, где слово мир встречается в тексте
ская близость любых двух слов определяется величиной косинуса угла между двумя векторами: поскольку семантически близкие слова должны иметь похожий контекст, параметры их векторов также должны быть похожими (рис. 1, табл. 1).
4. На последнем шаге лингвистической подготовки осуществляли переход от 300-мерного векторного представления слов к 997-мерному представлению в пространстве слов-признаков. Необходимость этой операции объясняется невозможностью содержательной интерпретации отдельных измерений пространства системой word2vec, так как в данной системе это абстрактные математические величины. В качестве слов-признаков были выбраны 498 наиболее часто
Таблица 1
Пример стимульной матрицы для группы текстов на тему красоты природы
О О 0 raflJNOUN человек NOUN время NOUN дело NOUN
фрагмент 00:00.7 00:01.2 0.1328190325780939 0.11861247487522375 0.19820582332505354 -0.005950817967533606
номер 00:01.2 00:01.5 0.20096777926788945 0.1098714356539846 0.1625228053384632 0.14986479297567268
погода 00:03.3 00:03.7 0.10855503527139632 0.1756754253004562 0.2354419469616913 0.13155267699851247
прекрасный 00:03.7 00:04.5 0.1181102934703333 0.18693504656779736 0.19092035271832086 0.18550002163989554
кротко 00:04.8 00:05.1 0.08547306201009564 0.23637058401137523 0.13855906921187044 0.23094816766937054
синеть 00:05.1 00:05.5 0.06550760254245436 0.12605742279988286 0.20414586000302626 0.17294080806225187
майский 00:05.5 00:06.0 0.1866071701558042 0.1321050267349999 0.13487410762369878 0.09455410487650595
небо 00:06.0 00:06.5 0.1331551314405427 0.171750708886239 0.20698841068805285 0.13987553879275083
гладкий 00:07.0 00:07.3 0.0667621308256342 0.14617505963931876 0.17527466033743988 0.13102371193783324
молодой 00:07.3 00:07.7 0.18418924040744622 0.27442796326297647 0.1818189877825005 0.18680062641221995
лист 00:07.7 00:08.0 0.12557060322306124 0.18779267023834567 0.15755408719163222 0.18701390470205315
ракита 00:08.0 00:08.3 0.05574846372403708 0.19466976119073354 0.1256331034429421 0.09493372199985683
блестеть 00:08.3 00:08.7 0.07084179921122535 0.15655404041179888 0.16804858159695157 0.19249045789358232
словно 00:08.7 00:09.1 0.10020265118045335 0.249745808986634 0.2580370715046957 0.15806505957008254
вымыть 00:09.1 00:09.7 0.0815241510217537 0.1263775686837575 0.15492160307081937 0.19508176524147502
широкий 00:10.2 00:10.9 0.10594916942367805 0.1647916042932266 0.16168563359950794 0.14226334380690453
ровный 00:10.9 00:11.3 0.06370461145739958 0.18019710669925748 0.16052564764078503 0.0824265335978116
дорога 00:11.3 00:11.8 0.1723350719087533 0.1891235575333431 0.20619689618486192 0.21206327719861784
весь 00:11.8 00:11.9 0.21871635557442393 0.3731199177299982 0.24923202609127804 0.19078694950456665
покрыть 00:11.9 00:12.3 0.09496991547271749 0.16545026063787427 0.20967727663911617 0.1335365078566172
мелкий 00:12.5 00:12.9 0.0893103058755439 0.19950106144050417 0.14477340509622483 0.20068427248019705
трава 00:12.9 00:13.2 0.11609895995336628 0.14081091753789865 0.16129889207645776 0.20799573436402585
красноватый 00:13.3 00:13.8 0.09567010898411621 0.12653559279953142 0.18299517039386115 0.10372799988421944
стебелек 00:13.8 00:14.5 0.055361991552227874 0.1722707234799712 0.13959579904104202 0.16968889318893443
встречающихся существительных и 499 — глаголов русского языка [12]1.
Соответствие семантики каждого из 2241 слова сти-мульных текстов каждому из 997 слов-признаков устанавливали с помощью оценки совместной встречаемости в word2vec. В результате формировался набор векторов индексации. Каждый такой вектор представлял собой множество из 997 чисел, которые являлись величиной косинуса угла векторных представлений стимульных слов и слов-признаков. Эти векторные представления объединялись в виде многомерной матрицы с данными о времени появления отдельных слов в аудиозаписи текстов, что и служило исходным материалом для осуществления семантического картирования активности мозга.
Испытуемые. В экспериментах приняли участие 25 человек в возрасте 21-28 лет (среди них 17 женщин). Все они были носителями русского языка, являлись студентами и аспирантами филологического факультета Российского государственного гуманитарного университета, правшами, без известной истории неврологических заболеваний. Каждый из испытуемых дал добровольное информированное согласие на участие в экспериментах. Разрешение на проведение исследования было дано Этическим комитетом Национального исследовательского центра «Курчатовский институт».
Испытуемых просили оставаться в бодрствующем состоянии во время эксперимента и внимательно слушать тексты, чтобы ответить на возможные вопросы об их содержании. Для целей эксперимента было важно убедиться, что испытуемые действительно слушали тексты. Это контролировалось анализом соответствующей активности в слуховых отделах коры. Для дополнительного контроля были подготовлены по одному вопросу к содержанию каждого тематического блока текстов. После предъявления пяти текстов экспериментатор задавал соответствующий вопрос, на который испытуемый давал вслух ответ. После окончания эксперимента испытуемые заполняли анкету, где, в частности, повторялись все заданные вопросы. Испытуемый должен был написать ответы и оценить степень своей уверенности в их правильности. По результатам такого контроля данные четырех испытуемых, давших ошибочные ответы на все вопросы, были исключены из дальнейшего анализа.
План эксперимента. Использовали сбалансированный план, в котором порядок предъявления каждой из групп текстов систематически менялся по схеме латинского квадрата. Внутри блоков порядок отдельных текстов менялся псевдослучайным образом. Перед началом эксперимента проводились измерения индивидуальных анатомических особенностей мозга
1Первоначально было выбрано по 500 существительных и глаголов, но затем их количество было уменьшено за счет исключения очевидных синонимов.
испытуемых и фМРТ в состоянии покоя. После эксперимента испытуемый отвечал на вопросы специальной анкеты.
Параметры сканирования и предобработка сигнала BOLD. Испытуемого помещали в сканер магнитно-резонансного томографа MAGNETOM Verio 3T (Siemens, Германия) с головной катушкой, имеющей 32 канала, и широким зевом сканера (диаметр — 75 см). При функциональной регистрации нами использовался ультрабыстрый многополосный протокол Multi-band Accelerated EPI Pulse Sequence2.
Сканирование осуществляли со следующими параметрами: время повторения TR=1010 мс, время эха TE=33 мс, 56 срезов, толщина среза — 2 мм, пространственное разрешение в каждом срезе — 2*2 мм. Регистрацию функциональных данных проводили, как отмечалось, в условиях покоя (первые 8 мин) и при прослушивании стимульных текстов (примерно 20 мин).
Данные BOLD-ответов испытуемых обрабатывали индивидуально с использованием программного обеспечения SPM8 (Wellcome Trust Centre for Neuroimaging, Великобритания) в MATLAB R2018a (Mathworks, США). Предобработка фМРТ-данных состояла в коррекции вызванных движениями испытуемого искажений, совмещении этих функциональных данных с индивидуальным анатомическим объемом мозга, конвертировании образов в координаты пространства Монреальского неврологического института (MNI) и пространственном сглаживании с гауссовым ядром 8 мм (полная ширина на половине максимума).
Различия сигналов BOLD, обусловленные предъявлением трех тематически отличных групп текстов, изучали путем моделирования ассоциированных с ними гемодинамических ответов. Для каждого испытуемого модели гемодинамических реакций определяли со времени предъявления конкретного слова и типичной задержки функции гемодинамического ответа (HRF, haemodynamic response function), типичный вариант которой показан на рис. 2. Оценку моделей выполняли с помощью программы Restricted Maximum Likelihood Estimation из SPM8 с параметрами амплитуды HRF, ее производных и дисперсии [12, 13]. В случае макроанализа структур мозга, вовлеченных в семантическую обработку тематически отличных текстов, в качестве контроля использовали данные по активности мозга в состоянии покоя. Микроанализ механизмов семантической обработки потока осмысленной речи потребовал осуществления ряда дополнительных операций, которые будут описаны далее.
Предобработка репрезентаций слов. В результате лингвистической индексации слова из стимульных текстов представлялись как векторы 997-мерного
2Протокол измерений Multi-band Accelerated EPI Pulse Sequence был предоставлен в наше распоряжение Центром магнитно-резонансных исследований университета Миннесота (версия 016a от 19.12.2017).
о -1 о го тз cd
СдЗ го
I тз
ш Ф
о ^ го
Q M а\ Q
СГ
cd
СТ)
о 3
я
тз cd ы
ZJ сг
я ><
3 -о
° Я
0 ГО £ ^ Ja аз
1 * ф 8
о ^
Н ^ Го ю G £ J= Й 00 g I
® О (D Р
03
10 ф
^ £
03 н
X S го
03 ф ^
О О Ф
g го z
х _ S
ф
о о
о» 9
СГ ф
Sí
8| w сг Ja Ю 03 го
сг cd
ro
03 03
T3 ^
ф Tí
5 Q
СО го cd ф
"P =1
G\ ГО
i * ■2
fij £
н 2
0 н
50 §
3 И
1 3
-c s
5 s
o ^
4 0"
03 i -ф _
03 л I
0 q3
s я
1 £
ro "5
o |
г- 03
O
ro s O 1
4 ф ro Ü ф s
73
ф
03
o ф T3
■s g § ¡
a? s
"O s n 03 я
o\ ^
Я Я з
s S s
en
IT i 3
5 2
T3
s
p
s
сл
ro -&
я S
"O
ro
G тз
O 8 ^
o
Q
o
T3 СГ ф
o o
я
ro
CP
я
ф
s-g
я 8
"с £
ф 3 «
Tí
о
ro о
ro ^
ТЗ •<
® £
г cd
03
-C . 03 t3
Q s
я p
cd w X °
03 л s< 03
tí q ro H
s Я
я 3
03 s<
a 9
OI O
о ф
"O -c
03 cd
si
Í ТЭ 5= 03
o w
o
^ 73
S 21
o -
ro —^
03
■n o
Z-метрика значения слова-признака
00 ■о
о г о
О г
13 г
£ »
11 á
< о
£ 1
о g
о S
-1 -га -т
о
0 п ы
1
(V)
"2 £ «г
й I
о с
"5 О —
О С ■" Z
(|> н о
о
о л о
-С
ta
£
о
2 о
О О
ю "сл
-a ti
s -п
■п Ю
^ о ^
в OI-D
Í 1 -1
-С о 1
о д о
Е ° ш
m =" I
03 ф О
=3 О го
О Л 03
N ф I
О Ч S
СЛ 03 ю
го ■о
о
ы X о о ■о
S
а о
о п ы
Í 8 ф 5 S X
го
ф
-i 3 I -о о S
го го
о
-Q- О "П ГО
Ч ф
я
^ Ja
N S
д< £m
03
О О о j= 03 О ф тз
03 3
э °
^ ф
Ф о
Ф о
го
СГ
.Со Z
Q
03
ф
о ^
СГ
и>
о О
Го 3 03 "о
о
ф
03 о -С Ф
£ 3
i-I
s о
Tí
о 03 ^ X
о
го 1
го
о
03
о
ГО £ I
т, ® i
ТЗ I I
Ш s т
о ф о ^
о ■ ТЗ Ja
Н ф 03
СГ Ja тз
ф
о о
го
тз ф
сз\ о
Ф Е
- X
03 о
рЪ
* I I °
О ф
S ^
w 03
5 О
ф —
о
m "
rogo
Оно
S ф ТЗ -с CD s зь
о Ja о л
N о
^ ф
-&1
о Tí ТЗ 03
ja а- ^
i ?
10 о
Tí Z2 CP
о
^ н
3 ° z ?Г S ti
i s
о _
^ -8 _ ф
я ^
£ i Т X
о с
н о о
03 н н
о тз тз
^ ф ф
ф
¡I р
ф I
3*
"О п CD "О
I g
^ О"
I §
9 <?
го о п
тз ^ -о
о О
го Ja cd 03 и' — ' ' а
го ^
ф
03 тз
0 о сг q
1 m
Я о о
г: о
го
ф m
о о з: ^
03 о
го
О s
н н я
ТЗ 03
ф о о
« ^ ^
о ■ °
Я -i. ГО
го____■ ■
СлЭ
| 03
ю О го
i I
Ф 03
-R1"!
^ W 03 « g СО
03
ф
о о
ГО Го 5
"о тз го
® ® ф
CD ф О -
СГ СГ Я
Ф X I
Н ГО
-р Tí 03
i=i Ü "о о
о
J= ф
о о о 3
го
о
Tí
о 8
Я о
го
^ о S тз
СГ
тз S ф
OI О
о ^ го о>
03 TÍ
^ о о -о о z!
гг S
Tí
03 ^
СГ
Tí _ 03 ф Tí ja
5
ю Я Е
03
3 я
тз
S «
W 03
1 ja
03 03
X 74 03
ф
0 ф
1
с ф
о
с §
о го
Si
СГ i СГ
>5
тз ф
Ja
о
03
ф
£ 3 5 Ю н ^
и го
го
ф
Го i 0J
О о Si
|— о о
ОЕ §
"О S
о
го ©
<
о и
3
л о
4
ta
"i 7¡
$ У
о в
к <
О X
.«Я 7i
а (/) ta
3
тз
2 О
<а Е
ta
тз
■о" о
Q.
ы' о
(Q
z'o- o o KJ o o o -t» en 00
to 1 lili
OI " ( -
_ \ 4 -
-0,5 -
o
y
o "ai -
- " / -
ai ( _ \ -
ю 1 lili
о
Hd
в
в
в
>
и
(т4
в
tr4
Рн
и
в
о
о ^
и to
о £
в в so
Щ
__
Рис. 6. Маска атласа мозга, использовавшаяся в этом исследовании
повоксельнои активации мозга испытуемых с максимальной корреляцией с реальными данными. Чтобы найти эти воксели, мы применили специально подготовленную маску атласа мозга для всех вокселей нашего набора данных (рис. 6). В маске представлены воксели серого вещества неокортекса обоих полушарий, а также субкортикальных структур, например миндалин. После наложения маски у нас осталось 100 000 вокселей (из первоначального числа 900 000). Временные ряды активации для этих вокселей были линеаризованы и подвергнуты г-трансформации, как это было сделано ранее для стимульных данных.
Опишем теперь процедуру регуляризованной линейной регрессии, которая применялась нами для оценки влияния каждого из признаков на каждый во-ксель. Пусть R¡t — это временной ряд активации у-го вокселя, — временной ряд /-го семантического признака, а ру/ — коэффициент регрессии /-го семантического признака на у-й воксель, ^ — временной отрезок, тогда Rуí=Z/■руVS/■í. Чтобы найти р, необходимо минимизировать сумму квадратов ошибок:
£ДР) = ^(Я^ -Я^)2 = ^(Я^ -
Рис. 7. График эффективности для значений a от 1 до 1000
Эта задача не может быть решена непосредственно, поскольку число признаков (3988) больше числа временных отрезков (490). Она решается с помощью процедуры регуляризации, цель которой состоит в нахождении минимума следующего выражения:
£Др) = ^iRjt - ^ вjiSit)2 + в t i i
или в матричной записи той же формулы:
£=||7-*+a||P||2,
где Y — это матрица сигнала BOLD (txm); X — сти-мульная матрица (txp); P — матрица весовых коэффициентов; a — коэффициент регуляризации; t — номер временного отрезка; m — номер вокселя; р — номер признака.
Для нахождения коэффициента a мы использовали метод кросс-валидизации. С этой целью весь массив данных был разделен на две части: в первой части веса оценивались для разных значений a, во второй — результаты тестировались. По результатам этого процесса выбиралось значение a, обеспечивавшее наилучшее предсказание. 490 временных отрезков были разделены следующим образом: первые 350 использовались для создания матрицы весов, а последние 140 — для ее верификации путем нахождения корреляции между временными рядами сигнала BOLD и их предсказанными значениями, полученными в результате перемножения стимульной и весовой матриц. В свою очередь первые 300 из 350 отрезков использовались для нахождения весов для каждого значения a в каждом вокселе, а последние 50 — для нахождения наилучшего значения a для данного вок-селя. Эта процедура выполнялась для 500 вокселей и двух наборов значений a (от 1 до 10 и от 10 до 1000). Корреляции для всех вокселей и каждого значения a усреднялись. На рис. 7 показан график эффективности для значений a от 1 до 1000.
В качестве наилучшего коэффициента регуляризации мы выбрали a=12,7427, поскольку он обеспечивал максимальную корреляцию. Был проведен также сравнительный анализ использования одного a для всех вокселей путем усреднения корреляций для всех вокселей и использования наилучших значений a для каждого вокселя. Соответствующие гистограммы (рис. 8) свидетельствуют, что использование одного a для всех вокселей сдвигает распределение вправо относительно нуля и, следовательно, приводит к лучшим результатам. Поэтому весовые коэффициенты вычислялись при помощи одного значения a (a=12,7427) для всех вокселей.
Следующим шагом стала визуализация реальных временных рядов, предсказанных с помощью вычисленных весовых коэффициентов (рис. 9). Как
90 -80 70 60 50 -40 30 20 10 0
можно видеть, предсказание изменений сигнала BOLD для коэффициента корреляции 0,3916 оказывается достаточно аккуратным для рассмотренных при тестировании моделей 500 вокселей.
Проекция моделей в подпространство меньшей размерности. Чтобы найти воксели, наилучшим образом репрезентирующие семантические признаки слов наших стимульных текстов, мы выбрали 10 000 вокселей с максимальной корреляцией. Метод главных компонент (PCA, principal component analysis) применялся к весовым матрицам [Воксели х Признаки]. Перед этим значения признаков на разных фазах гемодинамического ответа усреднялись, т.е. от 3988 признаков мы вновь вернулись к 997. Для выбранных во-кселей в пространстве главных компонент были построены матрицы оценок и весов, причем в качестве измерений этого пространства взяты четыре первых фактора PCA. Затем эти данные были кластеризованы с помощью метода k-средних. Для определения оптимального числа кластеров проведена предварительная кластеризация семантических векторов слов-стимулов. Число 15 оказалось оптимальным для решения задачи относительно экономной репрезентации максимального количества семантических областей, представленных в наших стимульных текстах, при одновременной пригодности для комбинации с данными активации сигнала BOLD.
Вслед за этой оценкой мы кластеризовали данные PCA для слов-признаков с помощью метода k-сред-них, выделив 15 кластеров. Эти кластеры затем были спроецированы на воксели мозга в координатах MNI. Для этой цели использовали весовые матрицы, которые содержат информацию об отношениях признаков и вокселей. При анализе результатов учитывали только те воксели, которые имели максимальные весовые коэффициенты.
Можно ли применить такой подход на индивидуальном уровне, для выявления, например, специфики репрезентации понятия «угроза»? Чтобы ответить на этот вопрос, выбранные точки в четырехмерном пространстве были кластеризованы методом ближайшего соседа на 12 кластеров. Для кластеризации элементов этого пространства выбраны точки, наиболее удаленные от центра множества и имеющие максимальную нагрузку на компоненты, в связи с чем было использовано многократное нахождение выпуклой
индивидуальные a для каждого вокселя один a для всех вокселей
0,2 0,3 0,4 Коэффициент корреляции
Рис. 8. Гистограммы корреляций для различных способов выбора a
— предсказанный
BOLD I — реальный BOLD"
100 120 140 Временные отрезки
Рис. 9. Предсказанные и реальные временные ряды сигнала BOLD для коэффициента корреляции 0,3916
оболочки случайной 80% выборки точек. Изменение метода кластеризации и уменьшение числа кластеров обусловлено тем обстоятельством, что в данном случае мы работали лишь с текстами из третьей, нарративной тематической группы, которые содержали значительно меньшее число слов, чем стимульный материал в целом.
Чтобы определить кластеры с семантикой угрозы, мы с помощью модели word2vec сформировали набор слов русского языка, наиболее близких к слову угроза, в этот набор вошли: опасность, опасение, противодействие, предупреждение, оскорбление, озабоченность, упрек, посягательство, риск, насилие. С помощью этой же модели была найдена близость между словами из кластеров и словами-угрозами. Близость каждого кластера со словами-угрозами вычислялась как медианное значение показателей близости каждого из слов этого кластера к каждому слову-угрозе. Эти данные были затем подвергнуты экспертной оценке. В качестве эксперта выступил профессиональный лингвист.
Результаты
Чтобы проконтролировать следование инструкции, мы определяли в эксперименте активность слуховой коры испытуемых. Полученные при этом данные показали удовлетворительный уровень вовлеченности слуховой коры в восприятие у всех испытуемых. Помимо нейрофизиологического контроля мы оценивали также правильность ответов испытуемых на контрольные вопросы по содержанию каждой из трех тематических групп текстов. Наиболее точно испытуемые отвечали на вопросы о содержании нарративных текстов. Как отмечалось ранее, данные четырех испытуемых, которые не смогли ответить правильно ни на один из вопросов, были исключены из анализа.
Вследствие довольно высокой интериндивидуальной вариабельности данных результаты макроанализа не выявили систематических групповых различий активации мозга при предъявлении трех тематически различных групп текстов ни при их прямом сравнении, ни при их сопоставлении с индивидуальными данными фМРТ покоя (t-test для парных выборок, SPM). Единственным значимым контрастом была более высокая активация обеих миндалин в случае использования текстов с описанием принципов работы технических устройств (р<0,005, некоррелированный).
Более стабильная картина наблюдается при микроанализе данных этого эксперимента, что относится прежде всего к результатам кластеризации данных РСА слов-признаков на 15 кластеров, как описано выше. Выделенные кластеры приведены в табл. 2 вместе с примерами типичных ключевых слов для каждого из кластеров.
Последующая повоксельная локализация этих 15 семантических категорий также оказалась достаточно стабильной. Выборка групповых данных такого анализа показана на рис. 10-13. Речь идет о распределении локусов мозговой активности в ответ на слова, относящиеся к категориям «Конфликт», «Ментальное», «Мера» и «Конструкция» соответственно.
У каждого испытуемого наблюдается индивидуальная структура множества признаков, а значит, и семантическая репрезентация слов в форме активности отдельных вокселей головного мозга. Это видно в специфике репрезентации понятия «угроза». Покажем эти различия на примере данных двух испытуемых. У испытуемого 1 в кластер, наиболее близкий к словам-угрозам, входят, в частности, следующие слова из исходного стимульного материала: обвинение, доверие, уважение, усилие, победа, освободить, обязанность. Экспертная оценка данного кластера показала, что содержащиеся в нем слова имеют семантику не столько самой угрозы, сколько успешного ее преодоления. Следует отметить также, что у данного испытуемого в анализ не попали такие слова, как угроза, угрожать, война, присутствовавшие в сти-мульных текстах. Это может говорить о том, что для испытуемого данные слова не вызвали достаточно интенсивного отклика в зарегистрированной мозговой активности. В то же время у испытуемого 2 наиболее близким к словам-угрозам стал кластер, содержащий следующие слова: агрессивный, доминирование, конфронтация, нашествие, противник, уверенность, угрожать. Экспертная оценка данного кластера подтверждает наличие в нем семантики угрозы. Различия в характере восприятия подтверждаются и данными
Таблица 2
Кластеры векторов 997 слов-признаков в пространстве 4 главных факторов PCA
Условное название категории Примеры ключевых слов-признаков
Мера (число) Масса, мера, процент, размер, тысяча, миллион, оценка
Конструкция (в пространстве) Дорога, здание, окно, путь, стена, пол, пространство, дом
Социальное (исследование) Правительство, анализ, внимание, данные, закон, исследование, метод, ученый, ошибка
Конфликт (военное) Война, служба, солдат, год, период, место, территория, бой, генерал
Государство (финансы) Власть, регион, федерация, правительство, государство, доход, население, рубль, республика
Процессы (время и процедуры) Развитие, решение, участие, метод, минута, компания, банк, использование, срок
Ментальное (абстрактное) Знание, наука, опыт, теория, сознание, душа, идея
Корпоративное Документ, начальник, подчиненный, директор, процесс, работа, телефон, кабинет
Мужское (медицина, духовное) Бог, боль, доктор, здоровье, старик, болезнь, доверие, дядя, мальчик, отец, ребенок, родитель, церковь
Женское (семья) Сестра, мать, дочь, бабушка, девочка, детство, жена, семья
История (судьба) Кровь, доля, судьба, история, мир, право, революция, страна, ценность
Литература Стихи, читатель, причина, художник, студент, капитан
Части тела Волосы, грудь, нога, плечо, кожа, палец, ухо, губы, зуб, сердце, язык
Промышленность (производство) Машина, модель, техника, завод, производство, тип, бизнес, порядок, рабочий, товар
Место (дом, город) Кухня, комната, магазин, рынок, театр, дверь, зал, коридор, круг, класс, стадион, рамка
Лк 1
ш§з
1 ч ' 1
Рис. 10. Локализация кластера «Конфликт»
Рис. 11. Локализация кластера «Ментальное»
Рис. 12. Локализация кластера «Мера»
Рис. 13. Локализация кластера «Конструкция»
Рис. 14. Картина мозговой активности в ответ на слова, ассоциативно связанные со словом угроза у испытуемого 1
нейросемантического анализа. В обоих случаях отмечается активация префронтальных областей мозга. Однако, если у испытуемого 1 наблюдается билатеральная активация фронтополярных зон коры головного мозга (рис. 14), то у испытуемого 2 эта активация локализована в правой орбитофронтальной области (рис. 15), которая, скорее всего, связана с чисто эмоциональной оценкой [14].
Обсуждение
Как и в более ранних наших исследованиях [6], полученные результаты глобального сравнения активности мозга испытуемых в ответ на предъявление непрерывных сегментов осмысленного текста оказались скорее разочаровавшими. Улучшение регистрации за счет применения сверхбыстрого протокола фМРТ, точно так же, как использование драматического содержания при композиции текстов (т.е. текстов третьей группы с элементами самосознания и преодолением возможной угрозы), не позволили выявить каких-либо систематических различий при макроанализе семати-ческих репрезентаций. Единственным значимым контрастом была активность миндалин, что может быть объяснено ролью этой двойной структуры как части эмоциональной нейросети головного мозга [15] и, возможно, повышенным уровнем тревоги студентов социальных дисциплин при конфронтации с описаниями технических устройств.
В чем же причина повторной неудачи методологии когнитивного вычитания? Критика этой методологии так же стара, как первые хронометрические эксперименты Франца Дондерса. Методология когнитивного вычитания базируется на допущении чистого вхождения, или гипотезе отсутствия взаимодействия между когнитивными компонентами задачи. В когнитивной нейронауке это допущение могло бы работать только в случае строго модульных архитектур. Но даже внутри подобных, довольно редких архитектур недавнее открытие, согласно которому ответ BOLD имеет характер движущейся волны, делает это допущение малополезным [16-18].
Ввиду ограничений методологии когнитивного вы-
читания вторая линия нашего исследования, которую мы назвали «микроанализом», представляет особый интерес. Она соответствует новейшей тенденции объединять мозговое картирование с исследованиями онтологии [19, 20]. Реконструкция базовых кластеров семантики устного русского языка представляет собой хороший пример, значение которого выходит за рамки конкретной работы. Действительно, из 15 ядерных категорий нашего анализа 6 представляются специфичными для русского языка в смысле отсутствия очевидных аналогов среди 12 кластеров, найденных в английском языке А^. НиШ и соавт. [5]. Поскольку эти кластеры были идентифицированы в активности мозга, можно спекулятивно предположить, что наши испытуемые были особенно чувствительны ко всему, что касается государственного устройства и правительства, истории, судьбы и национальных ценностей, к литературе, а также к различиям между мужчинами и женщинами, причем мужской компонент этого последнего кластера имел сложную структуру, которая включала также медицинскую помощь и духовность. Когда некоторые кластеры обоих языков были похожими, они различались в нюансах. Например, «Конфликт» в нашей онтологии был связан с полномасштабной военной конфронтацией; в случае классификации А^. НиШ и коллег его ассоциированным значением было скорее «Уличное насилие».
Разумеется, следует с осторожностью относиться к подобным спекуляциям, поскольку наши данные отражают реакцию ограниченного числа слушателей на определенный набор текстов. Насколько нам известно, наши результаты по семантическому картированию являются первыми для языка, иного, чем английский. Понятно, что многие из этих результатов требуют перепроверки. Вместе с тем очевидно разительное сходство семантических мозговых репрезентаций в обоих языках. Во-первых, эти репрезентации широко распределены. Это может быть не так заметно в картировании английского языка, где результаты спроецированы на условную поверхность коры [5], но в ряде наших кластеров явно видна вовлеченность глубоких субкортикальных структур, что очевидно в случае таких категорий, как «Конфликт», «Ментальное» и «Социальное».
Первые две из приведенных семантических категорий обнаруживают тенденцию к правосторонней латерали-зации. В этом заключается еще одно сходство с данными англоязычного картирования.
Можно отметить несколько недостатков сегодняшних подходов к микроанализу мозгового картирования семантических репрезентаций. Первым из них является сам контекстный подход к семантике в вычислительной лингвистике, который в конечном счете игнорирует именно контекст Новые походы в моделировании языка постепенно преодолевают это ограничение [21]. Следующая проблема заключается в произвольности некоторых шагов уменьшения неопределенности семантического картирования. Как альтернативную возможность мы рассматриваем в данной работе замену процедуры вычисления к-средних иерархической агломеративной кластеризацией или, специально, методом ближайшего соседа. Наконец, многомерные подходы к семантическому картированию нередко критикуются за логическую циркулярность: сначала регулярность языка де-факто встраивается в конструкцию языковых признаков-векторов, а затем обнаруживается в речевых репрезентациях, вычисленных при помощи векторов, которые построены с помощью тех же признаков. Подобно нашим североамериканским коллегам [22], мы полагаем, что эта кажущаяся циркулярность неизбежна в экологически валидных исследованиях, поскольку регулярность языка (и мира, который она отражает) формирует процессы и корреляции мозговой обработки.
Результаты проведенного нами исследования демонстрируют обоснованность разработанного микроструктурного метода нейросемантического картирования. Новый метод позволяет успешно локализовать мозговые механизмы семантической обработки и описать индивидуальные различия в восприятии информации об угрозах, содержащейся в относительно небольших по объему текстах. В частности, значительный интерес представляют данные повоксельного анализа мозговой локализации процессов восприятия угроз разного рода, которые впервые можно сравнить с потоком естественного стимульного нарратива. Следует, наконец, отметить, что обнаруженная широкая репрезентация семантических категорий в структурах мозга ранее отмечалась в экспериментальных работах [23] и предсказывалась теоретически [24].
Заключение
Это первое сообщение об использовании модели семантики, основанной на встречаемости слов в тексте, в ходе нейросемантического исследования на русском языке. В сравнении с более традиционным когнитивным вычитанием разработанный подход позволяет получить более стабильные данные, особенно в отношении распределения семантических категорий в мозге. Можно увидеть некоторые различия и сходство этого распределения в русском и английском
языках [5]. Прежде всего, оно охватывает не только кортикальные, но и субкортикальные структуры. Далее, некоторые из категорий у значительной части испытуемых демонстрируют правостороннюю латера-лизацию. Этот результат имеет большое значение: он еще раз не подтвердил монополию левого полушария в обработке речи.
Несмотря на возможные недостатки исследования, главный вывод нашей работы заключается в том, что методология нейролингвистики и новой науки о научных основах интерсубъективности быстро развивается [20, 25]. На столь раннем этапе исследований было бы неверно полностью отказываться даже от старомодного когнитивного вычитания. Возможно, в будущих исследованиях микроанализ и макроанализ могут быть объединены в своего рода мезоуровневый подход. Релевантным примером этого является развитие нарратива, имеющего выраженный личностный смысл, когда вначале угрожающая ситуация после разрешения нормализуется. В таких сложных текстах контраст семантических репрезентаций до, во время и после разрешения конфликта имел бы значительный научный интерес.
Благодарности. Авторы выражают свою благодарность А. Хуту и Д. Галланту за обсуждение проблемы латерализации в нейролингвистических работах и сотрудникам суперкомпьютерного отделения Национального исследовательского центра «Курчатовский институт» за помощь на разных этапах данного исследования.
Финансовая поддержка. Эта работа частично поддержана Российским научным фондом, грант RScF 17-78-30029.
Конфликт интересов. Авторы подтверждают отсутствие конфликтов интересов в данном исследовании.
Литература/References
1. Standing L. Learning 10000 pictures. Q J Exp Psychol 1973; 25(2): 207-222, https://doi.org/10.1080/ 14640747308400340.
2. Velichkovsky B.M. Visual cognition and its spatiotemporal context. In: Klix F., Hoffmann J., van der Meer E. (editors). Cognitive research in psychology. North Holland, Amsterdam; 1982; p. 63-79.
3. Brady T.F., Konkle T., Alvarez G.A., Oliva A. Visual long-term memory has a massive storage capacity for object details. Proc Natl Acad Sci U S A 2008; 105(38): 14325-14329, https:// doi.org/10.1073/pnas.0803390105.
4. Warrington E.K. The selective impairment of semantic memory. Q J Exp Psychol 1975; 27(4): 635-657, https://doi. org/10.1080/14640747508400525.
5. Huth A.G., de Heer W.A., Griffiths T.L., Theunissen F.E., Gallant J.L. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature 2016; 532(7600): 453-458, https://doi.org/10.1038/nature17637.
6. Ushakov V.L., Orlov V.A., Kartashov S.I., Malakhov D.G., Korosteleva A.N., Skiteva L.I., Zaidelman L.Ya., Zinina A.A., Zabotkina V.I., Velichkovsky B.M., Kotov A.A.
Contrasting human brain responses to literature descriptions of nature and to technical instructions. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (editors). Advances in neural computation, machine learning, and cognitive research II. Neuroinformatics 2018. Studies in Computational Intelligence. Vol. 799. Springer, Cham; 2018; p. 284-290, https://doi.org/10.1007/978-3-030-01328-8_34.
7. Friston K.J. Imaging neuroscience: principles or maps? Proc Natl Acad Sci US A 1998; 95(3): 796-802, https://doi. org/10.1073/pnas.95.3.796.
8. Friston K.J., Price C.J., Fletcher P., Moore C., Frackowiak R.S., Dolan R.J. The trouble with cognitive subtraction. Neuroimage 1996; 4(2): 97-104, https://doi. org/10.1006/nimg.1996.0033.
9. Korobov M. Morphological analyzer and generator for Russian and Ukrainian languages. In: Khachay M., Konstantinova N., Panchenko A., Ignatov D., Labunets V. (editors). Analysis of images, social networks and texts. AIST 2015. Communications in computer and information science. Vol. 542. Springer, Cham; 2015; p. 320-332, https://doi. org/10.1007/978-3-319-26123-2_31.
10. Mikolov T., Chen K., Corrado G., Dean J. Efficient estimation of word representations in vector space. In: Proceedings of the 1st International Conference on Learning Representations (ICLR 2013). USA; 2013; p. 1-12.
11. Kutuzov A., Kuzmenko E. WebVectors: a toolkit for building web interfaces for semantic vector models. In: Analysis of images, social networks and texts. AIST 2016. Communications in computer and information science. Vol. 661. Springer, Cham; 2017; p. 155-161, https://doi. org/10.1007/978-3-319-52920-2_15.
12. Ляшевская О.Н., Шаров С.А. современного русского языка (на нального корпуса русского языка). M: Азбуковник; 2009.
Lyashevskaya O.N., Sharov S.A. Chastotnyy slovar' sovremennogo russkogo yazyka (na materialakh Natsional'nogo korpusa russkogo yazyka) [A frequency dictionary of contemporary Russian (based on the materials of the Russian National Corpus)]. Moscow: Azbukovnik; 2009.
13. Marsman J.B., Renken R., Velichkovsky B.M., Hooymans J.M.M., Cornelissen F.W. Fixation based event-related (FIBER) analysis: using eye fixations as events in functional magnetic resonance imaging (fMRI) to reveal cortical
cessing during the free exploration of visual images. Hum 2012; 33(2): 307-318, https://doi.org/10.1002/
.M., Korosteleva A.N., Pannasch S., Sharaev M.G., Velichkovsky B.B., stems and their eye movements: experiment with ultrafast Sovremennye tehnologii
Частотный словарь материалах Нацио-
v medicine 2019; 11(4): 7-18, https://doi.org/10.17691/ stm2019.11.4.01.
15. Kerestes R., Chase H.W., Phillips M.L., Ladouceur C.D., Eickhoff S.B. Multimodal evaluation of the amygdala's functional connectivity. Neuroimage 2017; 148: 219-229, https://doi.org/10.1016/j.neuroimage.2016.12.023.
16. Aquino K.M., Schira M.M., Robinson P.A., Drysdale P.M., Breakspear M. Hemodynamic traveling waves in human visual cortex. PLoS Comput Biol 2012; 8(3): e1002435, https://doi.org/10.1371/journal.pcbi.1002435.
17. Alexander D.M., Trengove C., van Leeuwen C. Donders is dead: cortical traveling waves and the limits of mental chronometry in cognitive neuroscience. Cogn Process 2015; 16(4): 365-375, https://doi.org/10.1007/s10339-015-0662-4.
18. Verkhlyutov V.M., Balaev V.V., Ushakov V.L., Velichkovsky B.M. A novel methodology for simulation of EEG traveling waves on the folding surface of the human cerebral cortex. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (editors). Advances in neural computation, machine learning, and cognitive research II. Neuroinformatics 2018. Studies in computational intelligence. Vol. 799. Springer, Cham; 2019; p. 51-63, https://doi.org/10.1007/978-3-030-01328-8_4.
19. Poldrack R.A., Yarkoni T. From brain maps to cognitive ontologies: informatics and the search for mental structure. Annu Rev Psychol 2016; 67: 587-612, https://doi.org/10.1146/ annurev-psych-122414-033729.
20. Nastase S.A., Gazzola V., Hasson U., Keysers C. Measuring shared responses across subjects using intersubject correlation. Soc Cogn Affect Neurosci 2019; 14(6): 667-685, https://doi.org/10.1093/scan/nsz037.
21. Shailee J., Huth A.G. Incorporating context into language encoding models for fMRI. In: Proceeding of the 32nd Conference on Neural Information Processing Systems (NeurIPS). Canada; 2018; p. 6629-6638, https://doi. org/10.1101/327601.
22. Hamilton L.S., Huth A.G. The revolution will not be controlled: natural stimuli in speech neuroscience. Lang Cogn Neurosci 2018; 1-10, https://doi.org/10.1080/23273798.2018. 1499946.
23. Ojemann G.A. Models of the brain organization for higher integrative functions derived with electrical stimulation techniques. Hum Neurobiol 1982; 1(4): 243-249.
24. Fodor J.A. Modularity of mind. Cambridge, MA: MIT Press; 1985.
25. Величковский Б.М. Нейросемантика — новое направление междисциплинарных когнитивных исследований. Вопросы психологии 2019; 64(6): 3-18.
Velichkovsky B.M. Neurosemanics — new direction of interdisciplinary cognitive research. Voprosy Psychologii 2019; 64(6): 3-18.
