Научная статья на тему 'Экспериментальные методы изучения билингвизма глухих и слышащих'

Экспериментальные методы изучения билингвизма глухих и слышащих Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
230
48
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МОНОМОДАЛЬНЫЙ БИЛИНГВИЗМ / БИМОДАЛЬНЫЙ БИЛИНГВИЗМ / БИЛИНГВИЗМ ГЛУХИХ / БИЛИНГВИЗМ СЛЫШАЩИХ / ПОВЕДЕНЧЕСКИЙ ТЕСТ / МЕТОД ФМРТ / ПЛАСТИЧНОСТЬ ГОЛОВНОГО МОЗГА / MONOMODAL BILINGUALISM / BIMODAL BILINGUALISM / BILINGUALISM IN DEAF PEOPLE / BILINGUALISM IN HEARING PEOPLE / BEHAVIORAL TESTING / FMRI / NEURAL PLASTICITY OF THE HUMAN BRAIN

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Кремнева Е. И., Ирисханова К. М., Гусева А. П., Змейкина Э. А.

Статья освещает комплексный многоступенчатый эксперимент, направленный на изучение двух видов билингвизма (мономодального и бимодального) глухих и слышащих в аспекте изучения нейропластических процессов головного мозга. Данный эксперимент представляет собой предварительное исследование и оценку когнитивных функций испытуемых посредством поведенческих тестов и метода функциональной магнитно-резонансной томографии с целью последующего анализа влияния изучения звуковых и жестовых языков на пластические процессы в головном мозге.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

THE EXPERIMENTAL METHODS OF STUDYING BILINGUALISM IN DEAF AND HEARING PEOPLE

The paper sets out to describe a complex elaborate experiment aimed at studying the two types of bilingualism monomodal and bimodal in deaf and hearing people within the framework of neurostudies, namely neural plasticity of the human brain. The present experiment is a preliminary examination and evaluation of the participants’ cognitive functions measured by means of behavioral testing and the method of functional magnetic resonance imaging in order to analyse the effects of studying spoken and signed languages on the human brain.

Текст научной работы на тему «Экспериментальные методы изучения билингвизма глухих и слышащих»

УДК 612.843.7;811

Е. И. Кремнева, К. М. Ирисханова, А. П. Гусева, Э. А. Змейкина

Кремнева Е. И., кандидат медицинских наук, научный сотрудник отделения лучевой диагностики ФГБНУ НЦН; e-mail: neuro.smu@gmail.com

Ирисханова К. М., кандидат филологических наук, заведующий Лабораторией исследований жестовых языков МГЛУ; e-mail: kirairis@icloud.com

Гусева А. П., младший научный сотрудник Лаборатории исследований жестовых языков МГЛУ; e-mail: guseva.ap@gmail.com Змейкина Э. А., инженер-исследователь отделения нейрореабилитации и физиотерапии ФГБНУ НЦН; e-mail: elina.zmeykina@gmail.com

ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ ИЗУЧЕНИЯ БИЛИНГВИЗМА ГЛУХИХ И СЛЫШАЩИХ1

Статья освещает комплексный многоступенчатый эксперимент, направленный на изучение двух видов билингвизма (мономодального и бимодального) глухих и слышащих в аспекте изучения нейропластических процессов головного мозга. Данный эксперимент представляет собой предварительное исследование и оценку когнитивных функций испытуемых посредством поведенческих тестов и метода функциональной магнитно-резонансной томографии с целью последующего анализа влияния изучения звуковых и жестовых языков на пластические процессы в головном мозге.

Ключевые слова: мономодальный билингвизм; бимодальный билингвизм; билингвизм глухих; билингвизм слышащих; поведенческий тест; метод ФМРТ; пластичность головного мозга.

Kremneva E. I., Iriskhanova K. M., Guseva A. P., Zmeykina E. A.

Kremneva E. I., Ph. D., Research Associate, Department of Radiology, Neurology Science Centre; e-mail: neuro.smu@gmail.com

Iriskhanova K. M., Ph. D. (Philology), Professor, Head of the Laboratory for Sign Language Studies, MSLU; e-mail: kirairis@icloud.com

Guseva A. P., Junior Research Associate, Laboratory for Sign Language Studies, MSLU; e-mail: guseva.ap@gmail.com

Zmeykina E. A., Research Engineer, Department of Neurorehabilitation and Physiotherapy, Neurology Science Centre; e-mail: elina.zmeykina@gmail.com

1 Исследование выполнено в рамках гранта РНФ (проект № 16-18-00070.

THE EXPERIMENTAL METHODS OF STUDYING BILINGUALISM IN DEAF AND HEARING PEOPLE

The paper sets out to describe a complex elaborate experiment aimed at studying the two types of bilingualism - monomodal and bimodal - in deaf and hearing people within the framework of neurostudies, namely neural plasticity of the human brain. The present experiment is a preliminary examination and evaluation of the participants' cognitive functions measured by means of behavioral testing and the method of functional magnetic resonance imaging in order to analyse the effects of studying spoken and signed languages on the human brain.

Key words: monomodal bilingualism; bimodal bilingualism; bilingualism in deaf people; bilingualism in hearing people; behavioral testing; FMRI; neural plasticity of the human brain.

Благодаря интенсивному развитию нейротехнологий за рубежом и неуклонно растущему количеству научных работ в этой области в США и Европе, ученые получают всё больше информации о функционировании головного мозга человека. Одним из вопросов, который интересует исследователей, работающих на стыке таких наук, как нейрофизиология, психология и лингвистика, является феномен пластичности мозга [1-9]. Под пластичностью понимается способность человеческого мозга изменяться под воздействием опыта, а также восстанавливать утраченные связи между нейронами после повреждения или в качестве ответа на внешнее воздействие. Нейропластичность играет значительную роль в развитии памяти, обучении, восстановлении поврежденного мозга и др.

Согласно уже существующим исследованиям [6; 9], билингвизм способствует пластичности головного мозга, оказывая положительное влияние на улучшение его исполнительных функций и замедляя развитие деменции. Эти преимущества билингвизма соотносятся с улучшением навыков использования исполнительной функции мозга в силу потребности подавить один язык в процессе использования другого. Слышащие бимодальные билингвы (владеющие жестовым и вербальным языками) имеют доступ к своим языкам посредством двух модальностей: аудиовизуальной для вербального языка и визуальной для жестового. В отличие от слышащих, билингвы, глухие от рождения, могут воспринимать оба языка посредством только визуальной модальности.

Обращение к жестовым языкам глухих позволит установить, являются ли результаты, полученные при аналогичном исследовании

вербальных (звуковых) языков, универсальными или они применимы только к вербальным языкам. Исследования бимодального билингвизма слышащих выявили как различия, так и сходства в процессе обработки мозгом звучащей речи и жестов. Тем не менее остается неясным, является ли активация тех или иных участков головного мозга следствием естественного бимодального билингвизма и сколько времени может потребоваться на формирование схем активации в случае искусственного билингвизма, т. е. двуязычия, приобретенного во взрослом возрасте. Кроме того, недостаточно изучены пластические процессы, протекающие в мозге бимодальных билингвов в период между началом обучения и достижением более высокого уровня владения языком, а также различия между изучением второго языка той же модальности и языка иной модальности. Носители вербальных (звуковых) языков на начальной стадии изучения жестового языка могут пытаться обрабатывать его лексические единицы как обычные элементы жестикуляции, однако со временем достигают уровня лексико-семантической обработки. Такие учащиеся часто испытывают затруднения при овладении визуально-мануальной составляющей изучаемого жестового языка, что проявляется на поведенческом уровне. Учащиеся допускают ошибки при исполнении иконичных лексических единиц жестового языка под влиянием ранее сложившихся представлений об иконичности того или иного жеста.

Поведенческий тест является первой частью комплексного многоступенчатого эксперимента, направленного на изучение двух видов билингвизма (мономодального и бимодального) глухих и слышащих в аспекте изучения нейропластических процессов головного мозга. В настоящее время наблюдается огромный интерес к проблеме билингвизма и его положительное влияние на функционирование мозга в аспекте его пластичности. В ходе описываемого эксперимента одна группа глухих и две группы слышащих испытуемых изучают естественные жестовые и вербальные языки и одна контрольная группа -искусственный язык программирования. Изучение языков занимает 12 недель (общая трудоемкость - 48 часов) и осуществляется по сопоставимым по наполнению программам. Испытуемые, входящие в первую экспериментальную группу, речь о которой будет идти в этой статье, - глухие носители русского жестового языка. Группа состоит из 20 человек (девяти мужчин и одиннадцати женщин): трое испытуемых воспитывались слышащими родителями, остальные

одиннадцать выросли в семьях глухих. Пять человек родились и закончили специальные школы для глухих и / или слабослышащих в регионах. За исключением одного, все испытуемые продолжили образование в Москве и проживают в Москве в течение продолжительного времени. Все участники получили среднее образование в спецшколах, десять человек имеют высшее образование, четверо - степень бакалавра, трое - диплом колледжа / техникума и трое - полное среднее образование. Средний возраст участников - 35 лет, младшему -19, старшему - 52. Практически у всех испытуемых был опыт международного общения, двое свободно владеют испанским жестовым языком, один - итальянским жестовым языком. Все участники первой экспериментальной группы прошли предварительное поведенческое тестирование. Поведенческий тест, описываемый в данной статье, направлен на измерение исполнительных функций мозга. Под исполнительными функциями понимается набор высокоуровневых процессов, позволяющих планировать текущие действия в соответствии с общей целью, изменять реакцию в зависимости от контекста, избирательно уделять внимание нужным стимулам. Предполагается наличие так называемой исполнительной системы, эффективность которой в значительной мере зависит от нормальной работы префронтальных областей коры головного мозга. Помимо прочего, исполнительная функция активизируется при появлении новых, ранее не встречавшихся стимулов, обеспечивая когнитивную гибкость. Описываемая поведенческая диагностика включает в себя 5 разных тестов: «Color Trails»; «Wechsler Adult Scale of Intelligence»; «Corsi Block», «Arrow Flankers», «Simon Interference».

Тест «Color Trails» представлен на бумажном носителе и был разработан для оценки устойчивости произвольного внимания у взрослых. Преимуществом теста является то, что на его выполнение не влияют ни язык, ни культура испытуемого. Результаты теста дают информацию о длительности и качестве выполнения предложенных заданий испытуемым. Тест представляет собой две страницы (Ч. 1 и Ч. 2) с хаотично пронумерованными ярко-желтыми и ярко-розовыми кругами. Выбор цветов обусловлен их доступностью для восприятия лицами, страдающими дальтонизмом. В первой части (см. рис. 1) респондент использует карандаш, чтобы как можно быстрее соединить пронумерованные круги от 1 до 25 в правильной последовательности. Во второй части (см. рис. 2) испытуемый также должен как можно быстрее

соединить пронумерованные круги в заданной последовательности, но при этом чередуя розовый и желтый цвета. Наблюдатель регистрирует продолжительность выполнения каждого теста и качество его выполнения. Критериями оценки качества выполнения задания являются число частично неверных действий, число подсказок со стороны наблюдателя, число ошибок в последовательности цветов и число ошибок в последовательности чисел. Ошибки такого характера выявляют нарушения мозговой деятельности.

Существенными преимуществами данного теста является возможность как устного, так и визуального инструктажа респондентов, а также высокий уровень достоверности и надежности, подтвержденный многочисленными клиническими исследованиями.

Рис. 1. Тест «Color Trails» (Часть 1)

Рис. 1. Тест «Color Trails» (Часть 2)

В западных странах тест «Wechsler Adult Scale of Intelligence» является одним из самых популярных тестов, направленных на исследование интеллекта. Этот комплексный тест на бумажном носителе включает в себя более десяти вербальных и невербальных субтестов. Для нашего исследования мы используем субтест «Matrix Reasoning», в который входит серия визуально-пространственных заданий, позволяющих определить развитие визуально-пространственного типа

интеллекта. Каждое задание представлено рядом геометрических фигур или их комбинаций (см. рис. 3, 4), расположенных в определенной логической последовательности. Испытуемый должен подобрать к уже представленному ряду фигур еще одну, которая будет соответствовать предложенной логике их расположения.

Рис. 3, 4. Примеры заданий для субтеста «Matrix Reasoning»

Тест «Corsi Block Test» используется для определения пространственных способностей. Он предназначен для измерения объема рабочей пространственной памяти и широко используется на протяжении долгого времени во всем мире при проведении когнитивных и клинических психологических исследований. Данный тест реализуется на платформе PEBL1 и представляет собой серию расположенных на экране синих блоков, которые зажигаются желтым цветом в хаотичном порядке (см. рис. 5). Испытуемый должен запомнить последовательность зажигания блоков и повторить ее самостоятельно. В ходе выполнения теста число зажигающихся блоков увеличивается, а порядок их предъявления усложняется. В ходе предыдущих исследований посредством метода функциональной магнитно-резонансной томографии разными группами ученых было выявлено, что, в то время как число зажигающихся в определенном порядке блоков увеличивается, общая активность мозга остается неизменной. За способность выполнить данное задание отвечает вентролатеральная префрон-тальная кора головного мозга. Предъявление зажигающихся блоков в стандартной и естественной последовательности вовлекает использование визуально-пространственной матрицы, отвечающей за переработку информации, а не фонологической (артикуляторной) петли.

1 URL: http://pebl.sourceforge.net/

Когда последовательность предъявляемых блоков становится длиннее 3-4 элементов, используются основные исполнительные ресурсы мозга1.

Рис. 5

Тест «Arrow Flankers» также реализуется на платформе PEBL и направлен на проверку внимания в условиях наличия отвлекающих раздражителей. На экран одновременно выводится массив из пяти символов (Рис. 6, 7, 8), центральным символом всегда является стрелка, направленная вправо или влево. Если стрелка указывает влево, испытуемый должен нажать левую клавишу «Shift» на клавиатуре, если вправо - то правую. Задачей испытуемого является как можно быстрее выполнить задание, стараясь не допускать ошибок, т. е. нажимать соответствующую клавишу «Shift», игнорируя отвлекающие внимание боковые символы.

□□^□D ^^^ ^^^

Рис. 6, 7, 8

Тест «Simon Interference», наряду с другими тестами, представлен на платформе PEBL. Целью данного тестирования является измерение скорости реакции. Испытуемый располагается перед экраном, на котором поочередно появляются красный и синий круги (см. рис. 9). Перед участником эксперимента ставится задача нажать правую клавишу «Shift» тогда, когда на мониторе появляется синий круг, и левую клавишу «Shift» при появлении красного. Испытуемый не должен

1 См. модель рабочей памяти А. Бэддели и Г. Хитча.

обращать внимание на место расположения круга на экране (он может появиться как справа, так и слева) и фокусироваться только на цвете фигуры. Таким образом местоположение фигуры на мониторе является отвлекающим фактором, который участник должен игнорировать, концентрируясь исключительно на цвете появляющегося круга, и как можно быстрее нажимать соответствующую кнопку на клавиатуре.

[16] of [140]

left shift right shift

RED BLUE

Рис. 9

Тестирование методом функциональной магнитно-резонансной томографии (фМРТ) является второй частью эксперимента. В течение одной сессии сканирования каждому испытуемому предлагалось выполнить два повтора (2 сессии) видеопарадигмы (задания). Для ее реализации была использована система зеркал, закрепленная на головной катушке, в которой отражалось изображение, выводимое на МР-совместимый экран в сканирующей зале (NordicNeuroLab). Парадигма была синхронизирована с работой томографа и имела дискретную (event-related) структуру, состоящую из различных видеофрагментов, каждый представляющий показ одного слова на британском или шведском жестовом языке (81 слово, в хаотичном порядке повторяющиеся по 2 раза, т. е. всего 162 видеофрагмента общей продолжительностью 13:08 минут, чередующиеся с изображением белого креста на черном фоне (период покоя). Продолжительность компонентов парадигмы в хаотичном порядке также варьировалась от 2 до 4 секунд. В руках у испытуемых находились специальные пульты, на которых располагалось по кнопке, означающие «да» или «нет», т. е. при предъявлении каждого видеофрагмента испытуемый должен был нажать соответствующую (правую или левую) кнопки, означающие, что он догадывается либо не догадывается о значении жеста.

МРТ-данные были получены на МР-томографе с напряженностью магнитного поля 3 Т Magnetom Verio фирмы «Siemens» (г. Эрланген, Германия). Исследование начиналось со стандартного режима Т2 турбо-спин эхо в аксиальной проекции для исключения патологических изменений вещества головного мозга. Для получения анатомических данных выполнялось исследование в режиме 3D-T1 градиентное эхо (MPRAGE) с получением набора из 160 сагиттальных срезов, покрывающих весь объем вещества мозга (время повторения (TR) - 2 300 мс, время эхо (TE) - 2,98 мс, угол наклона - 9°, размер воксела - 1х1х1 мм, общее время 9:14 мин.). Затем последовательно были получены 2 набора функциональных данных (для каждой из парадигм) в режиме Т2*-градиентное эхо в аксиальной проекции (время повторения (TR) - 3 000 мс, время эхо (TE) - 30 мс, угол наклона -90°, размер воксела - 3х3х2 мм, 42 среза в слабе, 260 измерений всего объема вещества мозга, общее время 13:08 мин.). Также был получен набор функциональных данных в режиме фМРТ-покоя, т. е. испытуемому предлагалось закрыть глаза и лежать спокойно, стараясь ни о чем не думать и не сосредотачиваться (режим Т2*-градиентное эхо в аксиальной проекции (время повторения (TR) - 2 400 мс, время эхо (TE) - 30 мс, угол наклона - 90°, размер воксела - 3х3х3 мм, 36 срезов в слабе, 190 измерений всего объема вещества мозга, общее время 7:42 мин.).

Оценка полученных фМРТ данных проводилась при помощи пакета для статистической обработки SPM8 (лаборатория Welcome Trust Centre of Neuroimaging, London, UK) отдельно для каждой парадигмы на этапе препроцессинга. Все объемы функциональных данных были выровнены относительно первого для коррекции движения испытуемого, после чего средний функциональный файл линейно ко-регистрировался с соответствующим анатомическим файлом с последующей пространственной нормализацией первого (3х3х3 мм) и второго (1х1х1 мм) относительно стандартного пространства координат Монреальского Неврологического Института / Montreal Neurological Institute (MNI). Непосредственно перед статистическим анализом преобразованные функциональные данные размывались при помощи гауссовой функции с размером кернеля 10х10х10 мм для увеличения соотношения сигнал - шум (за счет ослабления высокочастотного шума) и компенсации вариабельности строения извилин между субъектами. Статистические параметрические карты генерировались на

основании повоксельного сравнения при помощи общей линейной модели (general linear model). Для снижения артефактов от движения обследуемого параметры ригидной трансформации при выравнивании вводились в качестве регрессоров при статистической обработке первого уровня (для каждого испытуемого). Для данных фМРТ покоя выделение компонента с последующим определением сетей покоя интереса проводилось при помощи пакета для статистической обработки GIFT.

BRITISH SIGN LANGUAGE BRITISH SIGN LANGUAGE

(participants will learn there) (participants will learn these I

Health (1J Patient (1) Health (2) Patient (2)

SWEDISH SIGN LANGUAGE

(participants will never learn these) Health 111 Patient |1)

SWEDISH SIGN LANGUAGE

(participants will never learn these) Health |2| Patient |2|

Уш

^аДАЛу

&D&G&

• Л/'л-уМ' viiVtih'

V ч } ч "

fiii Y ■

vAA'AjU

UUXM

Сложность предлагаемого эксперимента обусловлена необходимостью комплексного подхода к изучению влияния билингвизма на пластические процессы в головном мозге глухих и слышащих. В ходе

двух этапов исследования была проведена оценка когнитивных функций испытуемых посредством поведенческих тестов и метода функциональной магнитно-резонансной томографии с целью последующего анализа влияния мономодального и бимодального билингвизма на нейропластичность головного мозга. Полученные результаты будут использованы при выполнении сравнительного анализа в ходе дальнейшего эксперимента и для оценки динамики нейропластических процессов в головном мозге, вызванных изучением языков, принадлежащих к разной модальности.

СПИСОК ЛИТЕРАТУРЫ

1. Atkinson J., Denmark T., Marshall J., Mummery C., Woll B. Detecting Cognitive Impairment and Dementia in Deaf People: The British Sign Language Cognitive Screening Test / Archives of Clinical Neuropsychology. -Oxford : OUP, 2015. - Р. 694-711.

2. ConradR. Short term memory in the deaf: A test for speech coding // British Journal of Psychology, 1972. - No. 67. - Р. 173-180.

3. Corina D. P. Studies of neural processing in deaf signers: toward a neurocognitive model of language processing in the deaf // Journal of Deaf Studies and Deaf Education, 1998. - No. 3. - P. 35-48. - URL: http://jdsde. oxfordjournals.org/content/3/1/35.full.pdf

4. Costa A., Caramazza A. and Sebastian-Galles N. The cognate facilitation effect: Implications for models oflexical access // Journal ofExperimental Psychology: Learning, Memory, and Cognition, 2000. - No. 26. - P. 1283-96.

5. Emmorey K., Mehta S., and Grabowski T. The neural correlates of sign versus word production // Neurolmage, 2007. - No. 36. - P. 202-208.

6. Emmorey K., McCullough S. The bimodal bilingual brain: Effects of sign language experience // Brain and Language, 2009. - Vol. 109 (2-3). -P. 124-132.

7. Hall M. L., andBavelier D. Short-term memory stages in sign versus speech: The source of the serial span discrepancy // Cognition, 2011. - Vol. 120. -P. 54-66.

8. Lillo-Martin D. Modality effects and modularity in language acquisition: The acquisition of American Sign Language // T. Bhatia and W. Ritchie (eds.) Handbook of Language Acquisition. - San Diego: Academic Press, 1999. -P. 531-567.

9. Rudner M., Orfanidou E., Cardin V. et al. Preexisting semantic representation improves working memory performance in the visuospatial domain // Memory & Cognition, May 2016. - Vol. 44. - Issue 4. - P. 608-620.

i Надоели баннеры? Вы всегда можете отключить рекламу.