CC BY
20
Оригинальное исследование
УДК 373.5
DOI: 10.18413/2313-8971-2023-9-3-0-7
Козлова Е.Д.
Нейролингвистическое обоснование и апробация методики развития рецептивных навыков с помощью аудиокниги
Национальный исследовательский технологический университет «МИСиС» Ленинский пр-кт, д. 4, стр. 1, 119049, Москва, Россия elizaveta-talikina@mail.ru
Статья поступила 12 апреля 2023; принята 15 сентября 2023; опубликована 30 сентября 2023
Аннотация. Введение. Использование полимодального текста в обучении иностранным языкам является предметом дискуссий. Выводы исследований, объектом которых является полимодальный текст, неоднозначны. С точки зрения нейролингвистики, использование аудиовизуальной информации представляется важным в обучении. Цель работы - определение влияния полимодального текста на рецептивные навыки учащихся средней школы с помощью педагогического эксперимента. Материалы и методы. В качестве полимодального средства была выбрана аудиокнига в комплекте с текстом. Уровень сформированно-сти рецептивных навыков измерялся с помощью диагностического онлайн-теста по английскому языку еSELT 2. Помимо общенаучных методов, были использованы такие эмпирические методы, как наблюдение, педагогическое тестирование и педагогический эксперимент. Выборка. В эксперименте участвовали ученики 6-х классов «Академической гимназии» №56 (12 девочек и 8 мальчиков) в возрасте 11 -12 лет. Процедура. В ходе эксперимента учащиеся экспериментальной группы проходили пробное обучение, в котором они одновременно читали и слушали книги. Были проведены три замера уровня сформированности навыков аудирования и чтения учащихся для определения эффективности применения аудиокниг. Результаты исследования и их обсуждение. Результаты педагогического эксперимента показывают, что книги с аудиосопровождением эффективны в развитии навыков аудирования, однако не оказывают существенного влияния на развитие навыков чтения. Статистическая значимость разницы результатов в контрольной и экспериментальной группах подтверждается с помощью метода ^критерия Стьюдента. Заключение. Таким образом, учет нейрофизиологических данных, а также результаты эксперимента позволяют сделать вывод об эффективности применения аудиокниг в комплекте с текстом для развития аудитивных навыков учащихся средней школы.
Ключевые слова: полимодальность; полимодальное средство; аудиокнига; рецептивные навыки; аудирование; чтение; педагогический эксперимент
Информация для цитирования: Козлова Е.Д. Нейролингвистическое обоснование и апробация методики развития рецептивных навыков с помощью аудиок-ниги // Научный результат. Педагогика и психология образования. 2023. Т.9. №3. С. 82-91. DOI: 10.18413/2313-8971-2023-9-3-0-7.
E.D. Kozlova
Neurolinguistic justification and validation of the methodology of receptive skills development with the help of an audiobook
National University of Science and Technology (MISIS), bld. 1, 4 Leninsky Ave., Moscow, 119049, Russia elizaveta-talikina@mail.ru
Received on April 12, 2023; accepted on September 15, 2023; published on September 30, 2023
Abstract. Introduction. The usage of multimodal text in teaching foreign languages is a matter of debate. The research findings that study multimodal text are ambiguous. From the neurolinguistic point of view, the usage of audio-visual information is important. The aim of the research is to determine the influence of multimodal text on secondary school students' receptive skills with the help of a teaching experiment. Materials and methods. An audiobook complete with text was chosen as the polymodal medium. The level of receptive skills was measured using the online eSELT 2 diagnostic English language test. In addition to general scientific methods, empirical methods such as observation, testing and a teaching experiment were used. Sample. The participants of the experiment were 11-12-year-old students of the 6-th grade (12 girls and 8 boys) of the Academic gymnasium 56. Procedure. The experiment involved simultaneous reading and listening (or listening-while-reading) books. There were three tests to assess students' levels of reading and listening skills. Results and discussion. The results of the pedagogical experiment show that books with audio accompaniment are effective in the development of listening skills, but have no significant effect on the development of reading skills. The statistical significance of difference in performance in control and experimental groups is proved by the Student's t-test. Conclusion. Thus, the account of neurophysiological data as well as the results of the experiment allow us to conclude that audiobooks complete with text are effective in developing the listening skills of secondary school students.
Keywords: multimodality; multimodal means; audiobook; receptive skills; listening, reading; teaching experiment
Information for citation: Kozlova, E.D. (2023), "Neurolinguistic justification and validation of the methodology of receptive skills development with the help of an audiobook", Research Result. Pedagogy and Psychology of Education, 9 (3), 82-91, DOI: 10.18413/2313-8971 -2023 -9-3 -0-7.
Введение (Introduction). Аудиокнига обладает значительным лингводидактиче-ским потенциалом, в комплекте с текстом представляя полимодальный текст, который
активизирует аудиальный и визуальный каналы восприятия учащихся. Наличие нескольких способов передачи информации, модусов или модальностей непосредственно
связано с термином «мультимодальность» или «полимодальность» (multimodality), который был введен в начале столетия. Полимодальный текст определяется как «совокупность текстовых и внетекстовых источников информации, способных воздействовать на различные модальности восприятия» (Родина, 2014: 203). Применительно к педагогике полимодальное обучение рассматривается как совокупность методик, опирающихся на знания и умелое использование особенностей восприятия и обработки информации разными сенсорными каналами и разными полушариями мозга (Пичугина, Кайбалиев, 2019: 22). Однако в настоящее время публикуются противоречивые результаты об использовании полимодального текста в обучении иностранным языкам (Kartal, Simsek, 2017; Nakashima et al., 2018; Tragant Mestres et al., 2019; Tusmagambet, 2020).
Важность полимодального восприятия в обучении подтверждается рядом исследований, посвященных его нейронным механизмам. В настоящее время существуют открытые базы данных для их изучения (Shoffelen et al., 2019; Berezutskaya et al., 2022).
Эксперименты показывают, что существует иерархия функциональных уровней восприятия, выстроенных от периферии к центру. Модально-специфичные признаки (визуальные, слуховые и тактильные) организуются в ассоциативной коре головного мозга и далее комбинируются на более общем полимодальном уровне. Так, например, при слуховом восприятии слова «дерево» появляется активность в другой части мозга, отвечающей за визуальное восприятие (Schnelle, 2010).
Интеграция визуальной и аудиальной информации происходит в верхней височной борозде (далее СТС (STS - superior temporal sulcus)). Пространственная организация СТС соответствует потокам обработки, которые предположительно синтезируют представление речи от сенсорных сигналов, доставляющих информацию из визуальной и аудиаль-ной модальностей. Так, СТС располагается
между зрительной ассоциативной корой в задней латеральной височной части и слуховой ассоциативной корой в верхней височной извилине (Venezia et al., 2017).
Кроме того, недавние исследования доказали, что интеграция аудиовизуальной информации является ключевой частью нейронной схемы чтения. Во время обучения чтению задние части слуховой ассоциативной коры (височная плоскость и верхняя височная кора) адаптируются к автоматической обработке недавно изученных ассоциаций между буквами и звуками речи. Это объясняет вывод, к которому пришли И.И. Кари-пидис и др., - наличие дислексии связано с нарушением аудиовизуальной интеграции букв и звуков (Karipidis et al., 2018).
Необходимо учитывать, что интеграция аудиовизуальных стимулов возможна, если они предъявляются в узком временном окне, известным как окно временной привязки (TBW - Temporal Binding Window). Способность объединять аудиовизуальную информацию во времени, например, помогает младенцам соотносить звуки и объекты и таким образом устанавливать кроссмодаль-ные ассоциации, распознавать изменения ритма, различать просодические характеристики и эмоции, а также усваивать язык. При этом, по мнению Хань-Ю Жу и др., расширенное окно временной привязки свидетельствует о нарушениях развития нервной системы (Zhou et al., 2020).
Однако выводы об использовании полимодального текста при обучении иностранному (английскому) языку в педагогических экспериментах неоднозначны.
Например, Э. Трагант Местрес и др. пришли к заключению, что уровень понимания в чтении и аудировании детей, обучение которых строилось на полимодальном тексте, сходен с уровнем детей в контрольной группе (КГ), которые обучались традиционно. Однако экспериментальные группы показали более высокое знание лексики, а также предпочли аудиокниги традиционным печатным изданиям (Tragant Mestres et al., 2019).
В другом эксперименте К. Накашима и др. сравнивали группы студентов, которые читали и слушали тексты, с группами, в которых или слушали, или читали. В итоге, студенты, которые работали с полимодальным текстом, показали более высокий уровень понимания, однако это разница была статистически незначительной по сравнению с результатами группы, в которой только читали (Nakashima et al., 2018).
Согласно другим исследованиям, результаты которых представлены ниже, активизация двух сенсорных каналов в зависимости от фокуса эксперимента положительно влияет на разные показатели, такие как скорость чтения, уровень понимания при чтении или аудировании, мотивация.
Б. Тусмагамбет утверждает, что одновременное прослушивание и чтение значительно повысило скорость чтения в экспериментальной группе (ЭГ), при этом их уровень понимания в чтении и мотивация увеличились, как и в КГ (Tusmagambet, 2020). Г. Картал и Х. Симсек также используя полимодальный текст в пробном обучении, акцентировали внимание на изменении уровня навыков аудирования. Они выявили повышение уровня сформированности аудитивных навыков в ЭГ с помощью количественного анализа, а также повышения уровня мотивации студентов с помощью опроса. Кроме того, студенты отметили улучшение произношения и понимания благодаря одновременному прослушиванию и чтению (Kartal and Simsek, 2017).
В последние несколько лет проводятся исследования восприятия полимодального текста с помощью технологии регистрации движений глаз.
Так, К. Конклин и др. сравнивали восприятие носителей английского языка и изучающих английский язык текста с аудиосо-провождением и без него. Анализ движения глаз показал, что чтение на родном языке быстрее без аудиосопровождения, в то время как чтение на иностранном языке быстрее при одновременном прослушивании текста. Также авторы отметили, что соответствие
фиксаций (в тексте) и аудиотекста более характерно для чтецов с небольшим словарным запасом. Это может быть объяснено тем, что аудио помогает разделить, различить или установить связь между словом и значением (Conklin et al., 2020).
А. Пеллисер-Санчез и др. изучали зависимость уровня понимания от времени просмотра текста или изображений с аудиосо-провождением и без него. Результаты исследования показали, что наличие звука позволило учащимся дольше просматривать изображения. Помимо этого, длительное восприятие текста связано с более низким уровнем понимания, в то время как длительное восприятие изображений коррелирует с более высоким уровнем понимания (Pellicer-Sánchez et al., 2020). Следовательно, интеграция вербальной информации с изображениями более благоприятна в полимодальной среде. К аналогичным выводам пришли Р. Серрано и А. Пеллисер-Санчез в другом исследовании со сходными характеристиками, но в режиме онлайн обучения (Serrano and Pellicer-Sánchez, 2019).
Противоречивые выводы изложенных выше трудов, заключающиеся, с одной стороны, в положительном влиянии и, с другой, в отсутствии влияния полимодального текста на уровень понимания, послужили основанием для проведения педагогического эксперимента.
Цель исследования - определение влияния полимодального текста на рецептивные навыки учащихся средней школы с помощью педагогического эксперимента. В исследовании выдвигается гипотеза о том, что использование полимодального текста в качестве средства обучения иностранному языку положительно влияет на развитие рецептивных навыков учащихся.
Методология и методы исследования. Теоретическую базу работы составляют исследования полимодальности зарубежных авторов, таких как Дж. Беземер и К. Джуитт (Bezemer, Jewitt, 2018), Г. Кресс (Kress, 2010), Т. ван Леувен (Van Leeuwen, 2015), Е. Адами (Adami, 2016) а также отечественных авторов, таких как Е.Д. Некрасова
(Некрасова, 2014), Т.Н. Бандурка (Бандурка, 2013), Г.А. Пичугина и А.Г. Кайбалиев (Пи-чугина, Кайбалиев, 2019). Также были изучены работы по использованию аудиокниг при обучении иностранному языку следующих авторов - А.Ч.Ш. Чанг (Chang, 2011), Х.-А. Кордон-Гарсиа (Cordón-García, 2018), Б. Вудалл (Woodall, 2010).
Описание выборки. Участники эксперимента - 20 учеников (12 девочек и 8 мальчиков) 6-х классов в возрасте 11-12 лет «Академической гимназии №56» г. Санкт-Петербург. Все участники являются носителями русского языка.
Материалы и методы (Methodology and methods). В качестве материалов была использована коллекция Graded readers серий Dominoes и Oxford Bookworms от издательства Oxford University Press. Коллекция включает 25 произведений художественной и научно-популярной литературы уровня A2-B1. Доступ к книгам активировался с помощью кода на платформе Oxford Learner's Bookshelf. Учащиеся контрольной группы использовали учебное пособие «Сборник текстов для домашнего чтения» (Зимина, Криволесова и др., 2021). Данный сборник содержит адаптированные лингвострановед-ческие тексты. Каждый текст сопровождается словарем и упражнениями, направленными как на развитие языковых, так и речевых навыков и умений. Измерения уровня сформированности рецептивных навыков были осуществлены с помощью диагностического онлайн-теста по английскому языку еSELT 2 (Standardized English Language Tests). Он предназначен для учащихся уровня (A1+) в возрасте 11-12 лет. Тест включает три раздела - аудирование, чтение, лексика и грамматика и предназначен для учащихся уровня (A1+).
Для решения поставленных задач использовались общенаучные методы, такие как анализ, синтез, систематизация и классификация полученных данных. Кроме того, проведено сравнение отечественной и зарубежной научной литературы в областях лингводидактики. Были использованы эмпи-
рические методы: наблюдение, педагогическое тестирование и педагогический эксперимент, необходимые для диагностики, подтверждения проблемы и проверки метода ее решения.
Этапы исследования. На начальном этапе участники эксперимента были разделены на экспериментальную и контрольную группы (по 10 человек в каждой). Далее было проведено входное тестирование в обеих группах для определения сформированности навыков аудирования и чтения. Основной этап включал использование аудиокниги в комплекте с электронным вариантом текста произведения в качестве полимодального текста в экспериментальной группе и только традиционного учебного пособия в контрольной группе в рамках курса «Домашнее чтение». Пробное обучение длилось в течение 12 недель (одной четверти) и включало один урок «Домашнего чтения» в неделю. В этот период не входят входное и итоговое тестирование. Через шесть недель после начала пробного обучения было проведено промежуточное тестирование. В завершение курса учащиеся создали проект по прочитанной книге. Последним этапом стало итоговое тестирование аудирования и чтения в обеих группах для определения эффективности разработанной методики.
Процедура исследования. В первой половине пробного обучения учащиеся ЭГ одновременно читали и слушали аудиокниги во внеаудиторное время в дополнение к традиционному учебному пособию. Доступ к аудиокнигам был предоставлен в приложении на телефоне, планшете или сайте на компьютере. Ученики выбирали одну книгу из предложенных самостоятельно, основываясь на своих предпочтениях. Учащиеся КГ использовали только традиционное учебное пособие. Текущий контроль чтения и аудирования ЭГ осуществлялся с помощью выполнения заданий, представленных после каждой главы произведения, а также дополнительных заданий в аудиторное время. В конце первой половины обучения учащиеся представили презентацию прочитанной книги. Презентация включала информацию о
названии, авторе и жанре книги; основной проблеме произведения и ее актуальности; героях произведения и их характеристиках; главных преимуществах и недостатках книги; впечатлениях и рекомендациях другим читателям. Во второй половине эксперимента участники ЭГ читали и слушали одну совместно выбранную аудиокнигу на занятиях, выполняя задания на понимание, а также творческие задания в аудиторное время.
Научные результаты и дискуссия (Research Results and Discussion). Далее представлены результаты педагогического эксперимента, направленного на определение влия-
ния аудиокниги в комплекте с текстом на рецептивные навыки школьников. В табл. 1 представлены результаты входного и итогового тестирований контрольной и экспериментальной групп по аудированию. Стоит отметить, что на начальном этапе уровень сформи-рованности аудитивных навыков в ЭГ ниже, чем в КГ. Медиана отличается на 7,5%, истинное среднее на 4,5%. Тем не менее, пробное полимодальное обучение в ЭГ заметно повлияло на их навыки аудирования, так как значение медианы по сравнению со входным увеличилось на 30%, истинного среднего - на 21,5%. В то же время в КГ значение медианы увеличилось на 7,5%, истинного среднего - на 12%.
Таблица 1
Входное и итоговое тестирование. Аудирование
Table 1
Entrance and final testing. Listening comprehension
Группа Тестирование Медиана Размах Среднее квадратичное отклонение Истинное среднее
КГ входное 60,0 45,0 15,3 58,5
итоговое 67,5 50,0 15,9 70,5
ЭГ входное 52,5 60,0 17,0 54,0
итоговое 82,5 45,0 15,5 75,5
В следующей таблице представлены результаты входного и итогового тестирований обеих групп по чтению (табл. 2). Что касается уровня сформированности навыков чтения, на начальном этапе он выше в ЭГ: медиана выше, чем в КГ на 12,5%, истинное среднее выше на 8,3%. В итоговом тестировании в ЭГ медиана
увеличилась на 16,8%, истинное среднее на 17,6%, в то время как в КГ медиана выросла на 16,3%, истинное среднее на 13,3%. Эти данные говорят о том, что применение полимодального текста незначительно повлияло на уровень понимания учащихся в чтении.
Входное и итоговое тестирование. Чтение Entrance and final testing. Reading
Таблица 2 Table 2
Группа Тестирование Медиана Размах Среднее квадратичное отклонение Истинное среднее
КГ входное 41,7 50,0 15,4 44,2
итоговое 58,0 41,7 12,1 57,5
ЭГ входное 54,2 33,3 10,6 52,5
итоговое 71,0 50,0 13,0 70,1
Статистическая значимость разницы результатов в каждой группе подтверждается с помощью метода t-критерия Стью-дента. Критическое значение t-критерия Сть-юдента с уровнем значимости а=0,05 для группы из 10 человек равно 2,2.
Полученные величины t-критерия Сть-юдента для КГ равны 1,7 в тестировании по аудированию и 2,2 - по чтению. Следовательно, разницу в результатах аудирования нельзя считать статистически значимой. Величины t-критерия Стьюдента для ЭГ равны 2,9 и 3,3 в тестировании аудирования и чтения, соответственно. Обе величины выше критической отметки, что подтверждает повышение уровня сформированности рецептивных навыков для этой группы.
Итоговое тестирование показало общее повышение уровня сформированности рецептивных навыков в обеих группах. Анализ результатов позволяет сделать вывод о том, что применение аудиокниг в учебном процессе значительно повлияло на развитие навыков аудирования. Это может быть объяснено тем, что учащиеся ЭГ воспринимали устную речь в больших объемах и с большим интересом, благодаря звуковым эффектам и выразительному чтению актеров. Кроме того, учащиеся ЭГ могли быть более мотивированными в работе с аудиокнигами из-за использования приложения на телефоне, планшете или сайта на компьютере. Эти выводы согласуются с результатами исследований Г. Картала и Х. Симсека (Kartal, Simsek, 2017) и М.М.К. Мохамеда (Mohamed, 2018). В КГ рост аудитивных гораздо ниже по сравнению с результатами ЭГ.
Однако применение полимодального текста несущественно отразилось на навыках чтения в ЭГ, так как уровень их сформиро-ванности сравним с уровнем КГ. Вероятно, задействование аудиального канала незначительно влияет на процесс понимания при дальнейшем чтении про себя.
Важным вкладом эксперимента является изучение влияния полимодального текста на оба вида рецептивных навыков у русскоязычных обучающихся. Практическое значение работы отражается в обосновании
применения аудиовизуальной информации в учебном процессе с позиции нейрофизиологии, а также в подтверждении положительного влияния аудиокниги на аудитивные навыки.
Заключение (Conclusions). Таким образом, аудиокнига в качестве полимодального текста позволяет задействовать несколько сенсорных каналов. Согласно нейрофизиологическим данным, интеграция аудиальной и визуальной информации необходима для успешного обучения чтению. Модально-специфичная информация интегрируется в полимодальную в определенном отеле мозга.
Исследования с применением полимодального текста представляют различные, иногда противоречивые выводы. Так, среди положительных результатов отмечают способствование усвоению лексики, повышение уровня понимания и скорости чтения, развитие аудитивных навыков и возможность просмотра иллюстраций, что коррелирует с более высоким уровнем понимания. Тем не менее, некоторые авторы отмечают, что использование полимодального текста незначительно влияет на уровень понимания учащихся, а также замедляет чтение на родном языке.
Эти данные стали основанием для проведения педагогического эксперимента. Цель эксперимента заключалась в определении влияния аудиокниги в комплекте с текстом на навыки чтения и аудирования учащихся среднего звена. В ходе пробного обучения учащиеся экспериментальной группы читали и слушали книгу с аудисопровожде-нием, выполняя задания на проверку понимания фрагмента произведения. Проведенные тестирования показали повышение уровня сформированности рецептивных навыков в обеих группах. Уровень навыков чтения изменился сравнительно одинаково (на 17,6% в ЭГ и 13,3% в КГ). Однако рост аудитивных навыков в экспериментальной группе оказался значительно выше (на 21,5% в ЭГ и 12% в КГ). Статистическая значимость разницы результатов в каждой группе
подтверждается с помощью метода t-крите-рия Стьюдента. Следовательно, использование аудиокниги в комплекте с текстом особенно эффективно для развития аудитивных навыков учащихся средней школы.
Список литературы
Бандурка Т.Н. Осознание собственного полимодального восприятия у студента как путь развития его субъектности и понимания им своих духовно-нравственных истоков // Экспериментальная психология. 2013. Т.6. №4. С. 59-66.
Некрасова Е.Д. К вопросу о восприятии полимодальных текстов // Вестник Томского государственного университета. 2014. № 378. С. 45-48.
Пичугина Г.А., Кайбалиев А. Г. Полимодальное обучение как средство повышения эффективности учебного процесса // Научен вектор на Балканите. 2019. Т. 3. № 2(4). C. 22-24.
Родина М.Ю. К вопросу о создании комплекса упражнений для обучения иностранных студентов чтению и пониманию художественных текстов // Карповские научные чтения: сб. науч. ст. 2014. №8: Часть 1. С. 203-207.
Сборник текстов для домашнего чтения: учебное пособие / Зимина З.В., Криволесова М.В., Хорева М.М., Куликова И.М, Кутепова Н.З., Лаевская Е.Д., Малиновская А.В., Маталина Н.С., Таликина Е.Д., Назарова И.Г., Рыкова О.М., Райтер Е.А., Сулимова А.В. Санкт-Петербург: ГБОУ «Академическая гимназия №56», 2021. 38 с.
A 204-subject multimodal neuroimaging dataset to study language processing / Shoffelen J.M., Oostenveld R., Lam N.H., Uddén J., Hultén A., Ha-goort P. // Scientific data. 2019. Vol. 6 (1). P. 1-13. doi.org/10.1038/s41597-019-0020-y.
Adami E. Introducing Multimodality // The Oxford handbook of language and society. 2016. P. 451-473.
Auditory, visual and audiovisual speech processing streams in superior temporal sulcus / Vene-zia J.H., Vaden Jr. K.I., Rong F., Maddox D., Saberi K., Hickok G. // Frontiers in Human Neuroscience. 2017. Vol. 11 (174). P. 1-17.
doi.org/10.3389/fnhum.2017.00174.
Bezemer J., Jewitt C. Multimodality: A guide for linguists // Research methods in linguistics. 2018. Vol. 28. P. 1-3. doi.org/10.5040/9781350043466.ch-012.
Chang A C S. The Effect of Reading While Listening to Audiobooks: Listening Fluency and Vocabulary // Asian Journal of English Language Teaching. 2011. Vol. 21. P. 43-64.
Cordón-García J-A. Leer escuchando: reflexiones en torno a los audiolibros como sector emergente // Anuario ThinkEPI. 2018. Vol.12. P. 170-182. doi.org/10.3145/thinkepi.2018.23.
Kartal G., Simsek H. The effects of audio-books on EFL students' listening comprehension // The Reading Matrix: An International Online Journal. 2017. Vol. 17 (1). P. 112-123.
Kress G.R. Multimodality: A social semiotic approach to contemporary communication. London: Routledge, 2010. 212 p.
Mohamed M.M.K. Using audiobooks for developing listening comprehension among Saudi EFL preparatory year students // Journal of Language Teaching and Research. 2018. Vol. 9 (1). P. 64-73. doi.org/10.17507/jltr.0901.08.
Nakashima K., Stephens M., Kamata S. The interplay of silent reading, reading-while-listening and listening-only // The Reading Matrix: An International Online Journal. 2018. Vol. 18 (1). P. 104-123.
Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film / Berezutskaya J., Vansteensel M.J., Aarnoutse E.J., Freudenburg Z.V., Piantoni G., Branco M.P., Ramsey N.F. // Scientific Data. 2022. Vol. 9 (1). P. 1-13. doi.org/10.1038/s41597-022-01173-0.
Schnelle H. Language in the Brain. Cambridge University Press, 2010. 248 p. doi.org/10.1017/CBO9781139193450.
Serrano R., Pellicer-Sánchez A. Young L2 learners' online processing of information in a graded reader during reading-only and reading-while-listening conditions: A study of eye-movements // Applied Linguistics Review. 2019. Vol. 13 (1). P. 49-70. doi.org/10.1515/applirev-2018-0102.
Simulating reading acquisition: The link between reading outcome and multimodal brain signatures of letter-speech sound learning in prereaders / Karipidis I.I., Pleisch G., Brandeis D., Roth A., Rothlisberger M., Schneebeli M., Walitza S., Brem S. // Scientific reports. 2018. Vol. 8 (1). P. 1-13. doi.org/10.1038/s41598-018-24909-8.
Tragant Mestres E., Llanes Baró A., Pinyana Garriga A. Linguistic and non-linguistic outcomes of a reading-while-listening program for young learners of English // Reading and writing. 2019. Vol. 32. P. 819-838. doi.org/10.1007/s11145-018-9886-x.
Tusmagambet B. Effects of Audiobooks on EFL Learners' Reading Development: Focus on Fluency and Motivation // English Teaching. 2020. Vol. 75(2). P. 41-67. doi.org/10.15858/eng-tea.75.2.202006.41.
Van Leeuwen T. Multimodality // The handbook of discourse analysis. 2015. P. 447-465. doi.org/10.4324/9780203835654.ch47.
What eye-tracking tells us about reading-only and reading-while-listening in a first and second language / Conklin K., Alotaibi S., Pellicer-Sanchez A., Vilkaite-Lozdiene L. // Second Language Research. 2020. Vol. 36 (3). P. 257-276.
doi.org/10.1177/0267658320921496.
Woodall B. Simultaneous listening and reading in ESL: Helping second language learners read (and enjoy reading) more efficiently // TESOL journal. 2010. Vol.1 (2). P.186-205. doi.org/10.5054/tj.2010.220151.
Young learners' processing of multimodal input and its impact on reading comprehension: an eye-tracking study / Pellicer-Sanchez A., Tragant E., Conklin K., Rodgers M., Llanes A., Serrano R. // Studies in Second Language Acquisition. 2020. Vol. 42 (3). P. 577-598.
doi.org/10.1017/S0272263120000091.
Zhou H.Y., Cheung E.F., Chan R.C. Audiovisual temporal integration: Cognitive processing, neural mechanisms, developmental trajectory and potential interventions // Neuropsychologia. 2020. Vol. 140. (107396). P. 1-19. doi.org/10.1016/j.neu-ropsychologia.2020.107396.
References
Bandurka, T.N. (2013), "Awareness of the student's own polymodal perception as a way of developing their subjectivity and understanding their spiritual and moral origins", Eksperimentalnaya psikhologiya, 6 (4), 59-66. (In Russian).
Nekrasova, E.D. (2014), "To the question of the perception of multimodal texts", Vestnik Tomskogo gosudarstvennogo universiteta, (378), 4548. (In Russian).
Pichugina, G.A., Kajbaliev, A. G. (2019), "Multimodal training as a means of increasing the effectiveness of the educational process", Nauchen vektor na Balkanite, 3 (2(4)), 2-24. (In Russian).
Rodina, M.Yu. (2014), "To the question of design of exercises for teaching foreign students and understanding literary texts", Karpovskie nauchnye chteniya: sb. nauch. st., 1 (8), 203-207. (In Russian).
Zimina, Z.V., Krivolesova, M.V., Horeva, M.M., Kulikova, I.M, Kutepova, N.Z., Laevskaya,
E.D., Malinovskaya, A.V., Matalina, N.S., Talikina, E.D., Nazarova, I.G., Rykova, O.M., Rajter, E.A. and Sulimova, A.V. (2021), Sbornik tekstov dlya do-mashnego chteniya: uchebnoe posobie [A collection of texts for home reading: a textbook], GBOU "Akademicheskaya gimnaziya №56", Saint Petersburg, Russia.
Adami, E. (2016), "Introducing Multimodal-ity", The Oxford handbook of language and society, 451-473. (UK).
Berezutskaya, J., Vansteensel, M.J., Aarnoutse, E.J., Freudenburg, Z.V., Piantoni, G., Branco, M P., Ramsey, N.F. (2022), "Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film", Scientific Data, 9 (1), 1-13. doi.org/10.1038/s41597-022-01173-0 (UK).
Bezemer, J., Jewitt, C. (2018), "Multimodality: A guide for linguists", Research methods in linguistics, 281-304. doi.org/10.5040/9781350043466.ch-012 (UK).
Chang, A C S. (2011), "The Effect of Reading While Listening to Audiobooks: Listening Fluency and Vocabulary", Asian Journal of English Language Teaching, 21, 43-64. (In Philippines).
Conklin, K., Alotaibi, S., Pellicer-Sánchez, A., Vilkaité-Lozdiené, L. (2020), "What eye-tracking tells us about reading-only and reading-while-listening in a first and second language", Second Language Research, 36 (3), 257-276. doi.org/10.1177/0267658320921496. (In USA).
Cordón-García, J-A. (2018), "Leer escuchando: reflexiones en torno a los audiolibros como sector emergente", Anuario ThinkEPI, 12, 170-182. doi.org/10.3145/thinkepi.2018.23 (In Spain).
Karipidis, I.I., Pleisch, G., Brandeis, D., Roth, A., Rothlisberger, M., Schneebeli, M., Walitza, S., Brem, S. (2018), "Simulating reading acquisition: The link between reading outcome and multimodal brain signatures of letter-speech sound learning in prereaders", Scientific reports, 8, (1), 1-13. doi.org/10.1038/s41598-018-24909-8 (UK).
Kartal, G., Simsek, H. (2017), "The effects of audiobooks on EFL students' listening comprehension", The Reading Matrix: An International Online Journal, 17 (1), 112-123. (In USA).
Kress, G.R. (2010), Multimodality: A social semiotic approach to contemporary communication, Routledge, London, UK.
Mohamed, M.M.K. (2018), "Using audio-books for developing listening comprehension
among Saudi EFL preparatory year students", Journal of Language Teaching and Research, 9 (1), 6473. doi.org/10.17507/jltr.0901.08. (In UK).
Nakashima, K., Stephens, M., Kamata, S. (2018), "The interplay of silent reading, reading-while-listening and listening-only", The Reading Matrix: An International Online Journal, 18 (1), 104-123. (In USA).
Pellicer-Sanchez, A., Tragant, E., Conklin, K., Rodgers, M., Llanes, A., Serrano, R. (2020), "Young learners' processing of multimodal input and its impact on reading comprehension: an eye-tracking study", Studies in Second Language Acquisition, 42 (3), 577-598. doi.org/10.1017/S0272263120000091 (UK).
Schnelle, H. (2010), Language in the Brain, Cambridge University Press, UK. doi.org/10.1017/CBO9781139193450
Serrano, R., Pellicer-Sanchez, A. (2019), "Young L2 learners' online processing of information in a graded reader during reading-only and reading-while-listening conditions: A study of eye-movements", Applied Linguistics Review, 13 (1), 4970. doi.org/10.1515/applirev-2018-0102. (In Poland).
Shoffelen, J.M., Oostenveld, R., Lam, N.H., Udden, J., Hulten, A., Hagoort, P. A. (2019), "204-subject multimodal neuroimaging dataset to study language processing", Scientific data, 6 (1), 1-13. doi.org/10.1038/s41597-019-0020-y. (UK).
Tragant Mestres, E., Llanes Baro, A., Pinyana Garriga, A. (2019), "Linguistic and non-linguistic outcomes of a reading-while-listening program for young learners of English", Reading and writing, 32, 819-838. doi.org/10.1007/s11145-018-9886-x. (In Germany).
Tusmagambet, B. (2020), "Effects of Audio-books on EFL Learners' Reading Development:
Focus on Fluency and Motivation", English Teaching, 75 (2), 41-67. doi.org/10.15858/eng-tea.75.2.202006.41. (In South Korea).
Van Leeuwen, T. (2015), Multimodality, The Routledge Handbook of Applied Linguistics, 447465. doi.org/10.4324/9780203835654.ch47. (UK).
Venezia, J.H., Vaden, Jr. K.I., Rong, F., Mad-dox, D., Saberi, K., Hickok, G. (2017), "Auditory, visual and audiovisual speech processing streams in superior temporal sulcus", Frontiers in Human Neuroscience, 11 (174), 1-17. doi.org/10.3389/fnhum.2017.00174. (In Switzerland).
Woodall, B. (2010), "Simultaneous listening and reading in ESL: Helping second language learners read (and enjoy reading) more efficiently", TESOL journal, 1 (2), 186-205. doi.org/10.5054/tj.2010.220151. (In USA).
Zhou, H.Y., Cheung, E.F., Chan, R.C. (2020), "Audiovisual temporal integration: Cognitive processing, neural mechanisms, developmental trajectory and potential interventions", Neuropsychologia, 140 (107396), 1-19. doi.org/10.1016/j .neuropsycho-logia.2020.107396. (UK).
Информация о конфликте интересов: автор не имеет конфликта интересов для декларации. Conflicts of Interest: the author has no conflict of interests to declare.
Данные автора:
Елизавета Дмитриевна Козлова, ассистент кафедры иностранных языков и коммуникативных технологий, Национальный исследовательский технологический университет («МИСиС»). About the author:
Elizaveta D. Kozlova, Assistance Lecturer of the Department of Modern Languages and Communication, National University of Science and Technology (MISIS).
