CC BY
10
Мир науки. Педагогика и психология / World of Science. Pedagogy and psychology https ://mir-nauki.com 2023, Том 11, № 2 / 2023, Vol. 11, Iss. 2 https://mir-nauki.com/issue-2-2023.html URL статьи: https://mir-nauki.com/PDF/33PSMN223.pdf Ссылка для цитирования этой статьи:
Ефимова, В. Л. Айтрекинг-исследование: составление устного рассказа по серии картинок младшими школьниками с трудностями в обучении / В. Л. Ефимова, Л. Г. Буйнов, А. В. Новожилов, А. Л. Хаснутдинова // Мир науки. Педагогика и психология. — 2023. — Т. 11. — № 2. — URL: https://mir-nauki.com/PDF/33PSMN223.pdf
For citation:
Efimova V.L., Buynov L.G., Novozhilov A.V., Khasnutdinova A.L. Eye-tracking study: oral storytelling from a series of pictures by younger students with learning difficulties. World of Science. Pedagogy and psychology. 2023; 11(2): 33PSMN223. Available at: https://mir-nauki.com/PDF/33PSMN223.pdf. (In Russ., abstract in Eng.)
Ефимова Виктория Леонидовна
ФГБОУ ВО «Российский государственный педагогический университет имени А.И. Герцена», Санкт-Петербург, Россия
Преподаватель кафедры «Возрастной психологии и педагогики семьи»
Доктор психологических наук, доцент E-mail: prefish@ya.ru ORCID: https://orcid.org/0000-0001-7029-9317
Буйнов Леонид Геннадьевич
ФГБОУ ВО «Российский государственный педагогический университет имени А.И. Герцена», Санкт-Петербург, Россия Заведующий кафедрой «Медико-валеологических дисциплин» факультета «Безопасности жизнедеятельности»
Доктор медицинских наук, профессор E-mail: buynoff@yandex.ru ORCID: https://orcid.org/0000-0002-6203-4324
Новожилов Артемий Викторович
Детская неврологическая клиника «Прогноз», Санкт-Петербург, Россия
Врач-диагност Кандидат биологических наук E-mail: artnov20091@mail.ru ORCID: https://orcid.org/0000-0003-3862-898X
Хаснутдинова Антонина Леонидовна
ФГБОУ ВО «Российский государственный педагогический университет имени А.И. Герцена», Санкт-Петербург, Россия
Аспирант кафедры «Возрастной психологии и педагогики семьи»
E-mail: ant.khasnutdinova@yandex.ru ORCID: https://orcid.org/0009-0000-5628-3482
Айтрекинг-исследование: составление устного рассказа по серии картинок младшими школьниками с трудностями в обучении
Аннотация. В статье представлены результаты экспериментального исследования с использованием айтрекинга. Актуальность определяется возрастающим количеством школьников с трудностями в обучении и нарушениями речи. В ходе исследования младшим школьникам с трудностями в обучении предлагалось придумать рассказ, опираясь на последовательность из трех сюжетных картинок — визуальный нарратив. Дети рассматривали картинки на экране монитора и одновременно рассказывали. Рассказа записывался на диктофон, а движения глаз регистрировались айтрекером. После анализа результатов испытуемые были разделены на две группы. Более половины детей 7-10 лет не смогли
придумать связный рассказ. У этих детей выявлены особенности фиксаций взгляда и саккад. Нет значимой связи между возрастом испытуемых и качеством рассказа. Выявлено, что дети из успешной группы чаще перемещали взгляд между картинками, возвращаясь взглядом к первой картинке. Это было частью эффективной стратегии интерпретации изображений. Трудности при составлении рассказа детей второй группы могут быть как результатом когнитивных особенностей испытуемых, так и результатом того, что многие современные дети имеют ограниченный опыт рассматривания картинок и рассказывания.
Ключевые слова: младшие школьники; айтрекинг; серия картинок; развитие речи; дети; глазодвигательная активность; трудности в обучении; визуальный нарратив
Рисунки, представляющие собой логические последовательности (визуальные нарративы), известны с древнейших времен. Они встречаются среди наскальных изображений, на древней керамике, являясь иллюстрацией интеллектуальных возможностей человека и промежуточным звеном к созданию письменной коммуникации между людьми. Но такие изображения продолжают использовать и современные люди: достаточно вспомнить комиксы или инструкции к бытовой технике. Визуальные нарративы широко используются и в психологических исследованиях, хотя изучение когнитивных процессов, лежащих в основе их анализа и интерпретации, началось относительно недавно [1; 2].
В нашей стране составление рассказа по серии сюжетных картинок традиционно используется логопедами, психологами и педагогами дошкольных учреждений, а также учителями начальных классов как один из видов работы по развитию связной речи. Неспособность ребенка проанализировать картинки, выявить логические закономерности событий, изображенных на них, составить связный рассказ может отражать как уровень его интеллектуального развития, так и уровень языкового развития [3-5].
На качество составления рассказа по серии картинок вероятно влияет и то, насколько часто ребенок сталкивался в своей жизни с подобными заданиями, а также насколько часто он вообще имел дело со статичной зрительной информацией «на бумажном носителе». Для современных детей, развитие которых происходит в цифровую эпоху, подобные задания могут оказаться сложными. Многие дети привыкли к видео и не имеют достаточного опыта рассматривания статичных картинок и тем более составления рассказов по ним. Однако, обучение в школе по-прежнему предполагает использование учебников, освоение чтения, то есть зрительное восприятие и интерпретацию статичных изображений, а также определенный уровень развития связной речи.
Актуальность исследования определяется возрастающим количеством детей с недостаточностью развития связной речи и трудностями в обучении письменной речи. Умение рассматривать и анализировать статичную картинку, по-видимому, является подготовительной стадией для полноценного овладения чтением.
Это определило цель данного исследования: используя айтрекинг оценить особенности глазодвигательной активности младших школьников во время составления рассказа по серии картинок.
В исследовании приняли участие 25 младших школьников, возраст 7-11 лет (средний возраст 10 лет). Исследование проводилось на базе детской неврологической клиники «Прогноз» (Санкт-Петербург).
Методика
Все дети, принимавшие участие в исследовании, учатся в общеобразовательной школе и считаются здоровыми, но испытывают трудности в обучении, связанные с гиперактивностью, нарушениями внимания, нарушениями освоения чтения. По результатам теста Равена уровень невербального интеллекта у всех испытуемых выше среднего.
Процедура проведения исследования. Во время исследования ребенок сидел на стуле перед монитором (цветной 17-дюймовый ЖК-монитор с разрешением 1280*1024 пикселей, размер пикселя — 0,264 мм) так, чтобы расстояние между глазами и монитором составляло 65-70 см.
После калибровки айтрекера ребенка предупреждали о том, что на экране монитора появятся три картинки, по которым нужно составить рассказ. На мониторе одновременно предъявлялись три картинки Н. Радлова «Как утки зайца катали», как на рисунке 1. Название серии картинок детям не сообщали.
Рисунок 1. Стимульный материал для проведения айтрекинг-исследования: серия картинок Н. Радлова «Как утки зайца катали» (автор: Николай Эрнестович Радилов, источник «Рассказы в картинках»)
Далее предлагалось рассмотреть картинки и рассказать историю. Рассказ записывался на диктофон. Запись рассказа и запись глазодвигательной активности осуществлялась, начиная с момента появления на экране картинок. Использовался айтрекер Eyegaze Analysis System, разработанном LC Technologies, Inc. (США) с программным обеспечением NYAN 2.0XT компании Interactive Minds (Германия). Запись проводилась с помощью инфракрасной камеры в монокулярном режиме (правый глаз) с частотой дискретизации Fd = 60 Гц.
Далее был проведен качественный и количественный анализ полученных данных. Оценивали, насколько точно ребенок понял и передал смысл истории; оценивали длину рассказа (продолжительность аудио записи, количество слов); среднюю длину высказывания. По данным айтрекинга оценивали: траекторию перемещения взора от одной картинки к другой; количество фиксаций взгляда на ключевых элементах изображений, длительность и размах фиксаций.
Результаты
По результатам анализа полученных данных испытуемые были разделены на две группы. Группа 1 (Г1) — 12 человек. В эту группу попали дети, которые точно передали в своем
рассказе смысл истории. Группа 2 (Г2) — 13 детей, которые не поняли смысла истории или не смогли его передать в рассказе.
Дети Г1 тратили на рассказ в среднем 30 с, а дети Г2 значительно меньше — от 2-х до 18 с. В таблице 1 показано среднее время, которое затрачивалось на рассматривание каждой из трех картинок детьми из Г1 и Г2 во время рассказывания. (в процентах от общего времени, затраченного на рассказ).
Таблица 1
Время (%), которое затрачивали испытуемые на рассматривание каждой картинки
Порядковый номер картинки в серии
Группа 1 Группа 2 1 2 3
25 % 26 % 49 %
24 % 30 % 45 %
Составлено автором
Из таблицы 1 видно, что время рассматривания каждой картинки в группах 1 и 2 распределено примерно одинаково между тремя картинками.
При анализе данных айтрекинга обычно оценивается количество и длительность фиксаций взгляда, во время которых и происходит обработка мозгом зрительной информации. Общее время фиксаций было выше в Г1, что связано с большей продолжительностью рассказа у детей этой группы. Но процентное распределение фиксаций между группами оказалось одинаковым, как показано в таблице 2.
Таблица 2
Число фиксаций взора на каждой картинке во время рассказывания (в %)
Число фиксаций взора
1 2 3
Группа 1 23 % 24 % 53 %
Группа 2 23 % 27 % 50 %
Составлено автором
Наиболее информативным оказался показатель «размах фиксаций» — разница между группами в фиксациях по каждой картинке отдельно и всем картинкам. В Г1 длительность фиксаций по всем рисунками в среднем составила 317 мс, в Г2 — 308 мс. Дети в Г1 использовали в среднем одинаковые по длительности фиксации на каждой картинке, однако размах фиксаций по длительности был более явный в Г1. Как показано в таблице 3, максимальная разница в размахе фиксаций выявлена при рассматривании картинки 3, которая является наиболее значимой для понимания сюжета.
Таблица 3
Медиана и разброс фиксаций при рассматривании каждой картинки и всех картинок
Медиана и разброс фиксаций
1 картинка размах 2 картинка размах 3 картинка размах все картинки размах
Группа 1 317 277 312 217 308 200 317 206
Группа 2 300 225 325 179 267 150 308 183
Составлено автором
Для детей Г2 была характерна ситуация, когда они смотрят на значимые для рассказа элементы картинок, но не называют их, или называют не точно — название меняется в процессе рассказывания. Например, утки превращаются в лебедят или гусят, а заяц (кролик) к концу рассказа становится кошкой. То есть, наличие фиксаций на важных элементах изображения не всегда помогает рассказыванию.
Различия между группами обнаружены не только в количестве фиксаций, но и в количестве и направлениях перемещений взгляда — саккад. Во время рассказывания дети обеих групп многократно перемещали взгляд между картинками. Часто то, о чем рассказывал ребенок, не соответствовало той картинке, на которую он смотрит в этот момент. И это было частью эффективной стратегии интерпретации изображений. Например, дети, составившие логичный рассказ, во время описания событий на третьей картинке постоянно возвращались взглядом то на первую, то на вторую картинку, как бы уточняя правильность своего повествования. То есть, дети не ограничивались линейным перемещением взгляда от картинки к картинке.
Среднее число саккад в Г1 — 15, в Г2 меньше — 13. Важно, что дети из Г2 уделяли меньше внимания связи между 1 и 3 картинками, которая и является смыслообразующей для составления рассказа. Возможно, эта разница является критической для осознания логики сюжета. Разница между группами в процентах перемещений взгляда и направленности саккад представлена в таблице 4.
Таблица 4
Число перемещений взгляда от картинки к картинке во время рассказывания (%) и направления перемещений
Перемещения взгляда от картинки к картинке
от 1 ко 2 от 2 к 3 от 1 к 3
Группа 1 31 % 36 % 33 %
Группа 2 36 % 42 % 22 %
Составлено автором
Анализ аудиозаписи рассказов детей показал следующее. В Г1 значимо больше средняя длина высказывания, меньше ошибок и аграмматизмов, чем в Г2. У 40 % детей обеих групп есть нарушения звукопроизношения, характерные для дошкольного возраста. Не выявлена связь между возрастом детей и качеством рассказа по серии картинок: некоторые дети 7 лет составили более полный и развернутый рассказа, чем дети 11 лет.
Обсуждение
Сюжетные картинки и серии сюжетных картинок часто используются для изучения когнитивных способностей детей и взрослых [6; 7].
В последние годы появляются подобные исследования с использованием айтрекинга. Однако количество работ, в которых оценивается глазодвигательная активность в процессе составления ребенком устного рассказа по картинкам невелико.
В исследовании А.Н. Корнева и соавторов участвовали 18 детей 5-6 лет. Дети сначала знакомились с серией картинок (фаза 1), затем им предлагалось создать визуальный нарратив (фаза 2), затем рассказать нарратив (фаза 3). Выявлены статистически значимые связи между количеством фиксаций взгляда во время фазы 2 и речевым развитием детей (средняя длина высказываний, число аграмматизмов). Показано, что во время рассказывания по картинкам дети продолжают сканировать каждую картинку, но количество фиксаций взгляда во время фазы 3 значимо уменьшается [8].
Наше исследование также показало, что дети продолжают рассматривать картинки во время рассказывания. Причем возвратные саккады, когда ребенок возвращается взглядом к уже описанным картинкам 1 и 2, по-видимому, играют важную роль в процессе создания семантической и грамматической структуры рассказа.
В англоязычных исследованиях визуального нарратива с использованием айтрекинга обсуждались две теории обработки информации, параллельная и последовательная. Исследования проводились со взрослыми испытуемыми.
В одной из экспериментальных работ со взрослыми испытуемыми из последовательности убирали вторую картинку, которая была важна для понимания смысла истории и генерации выводов. В этом случае увеличилось количество и продолжительность фиксаций взгляда на третьей картинке. Это наблюдение подтверждает гипотезу о параллельной обработке зрительной и лингвистической информации. Даже в том случае, когда испытуемым предлагалось придумывать рассказ молча (подавление артикуляции), ситуация с фиксациями взгляда не менялась [9].
Одна из гипотез предсказывала, что при формировании выводов участники фиксируют взгляд на областях изображения, важных для формирования вывода. Отдельная группа участников оценила релевантность этих областей на картинках и результаты показали, что эти релевантные регионы предсказывали различия в движениях глаз других зрителей [10].
Соотнесение аудиозаписи с записью движений глаз в нашем исследовании показывает, что наличие фиксаций на значимых элементах изображения не является гарантией того, что ребенок включит в свой рассказ необходимые детали. С другой стороны, в нашей предыдущей работе было показано, что ситуация, когда фиксации на значимых элементах картинок отсутствуют, приводит к тому, что ребенок не понимает логику истории [11].
Такие примеры мы можем наблюдать и в настоящем исследовании. Например, ситуация, когда ребенок не заметил на картинке лягушек (отсутствие фиксаций на лягушках) приводит к выводу от том, что «заяц упал и распугал всех животных». Трое детей смотрели во время рассказывания только на одну утку (есть фиксации взгляда), в их рассказах фигурирует «утка», а не «утки».
Безусловно, особенности рассказов детей свидетельствуют и о различиях в когнитивных способностях. В рассказах детей Г2 есть неточности, которые связаны не с особенностями глазодвигательной активности, а со сложностями в интерпретации событий на картинках. Например: «гусей напугали лягушки»; «заяцругается».
Максим Щ. (9 лет). «Ну... было три утки. Пришел заяц и поплыл на этих утках куда-то».
Даша Т. (8 лет). «Гуси были на травке. Прискакал к ним зайчик. Гуси испугались и прыгнули в воду. А заяц на них. Гуси уплыли, а зайчик упал».
Возможно, некоторым детям была непонятна концепция последовательности.
Борис Т. (8 лет) «Ну типа заяц подружился с утками... И лягухами... Или заяц хотел поплавать? А! Зайчик хотел попрыгать с пирса. И он попросил уточек, чтобы он... их отвезли подальше. И когда зайчик прыгал, они типа думали, что он попадет по ним и все расплылись».
В опубликованных результатах исследований с использованием айтрекинга показано, что картинки по-прежнему являются незаменимым инструментом развития речи ребенка и подготовки ребенка к освоению чтения и письма. В рамках исследования с участием 41 ребенка (средний возраст 5,5 лет) дети слушали краткие истории в четырех условиях, а затем пересказывали их. Во всех вариантах на экране присутствовал печатный текст, но в сочетании
с другими источниками информации: (а) только устное повествование, (б) устное повествование и картинка, которая соответствовала повествованию, (в) устное повествование и случайная картинка, и (г) только картинка без устного повествования. Движения глаз детей при взгляде на экран регистрировались с помощью айтрекинга. Показано, что подходящая картинка внесла существенный вклад в пересказ историй детьми. Данные айтрекинга демонстрируют, что дети изучали картинки таким образом, чтобы максимально интегрировать повествование и картинку [12].
Также показано, что побуждение детей рассматривать картинки и текст в книге во время совместного чтения способствует развитию речи и освоению грамоты. Это справедливо, как для типично развивающихся детей, так и для детей с расстройством аутистического спектра. Хотя для второй группы детей требуются дополнительные стратегии со стороны взрослых [13].
Во время нашего исследования 80 % детей сказали, что они впервые в жизни придумывают историю по серии картинок. Возможно, подобные виды деятельности не предлагались ни в детском саду, ни в школе, ни дома. Безусловно, особенности зрительного внимания ребенка зависят в том числе от его жизненного опыта.
Показано, что у детей из разных культур выявляются особенности зрительного внимания. Сравнение особенностей зрительного внимания 114 пятилетних детей из трех культур (городская Германия, сельский Камерун, городская Япония) показало, что культура оказывает глубокое влияние на раннее когнитивное развитие, уже в дошкольном возрасте [14].
Наше исследование показало, что составление рассказа по серии картинок оказалось непосильным заданием для многих детей с уровнем интеллекта выше среднего. Это ставит под сомнение убежденность многих специалистов в том, что такие задание являются слишком легкими для младших школьников.
Предположение о «легкости» подобных заданий часто есть и специалистов, которые работают с такими расстройствами, как нарушения языкового развития, расстройство аутистического спектра и афазия. Ожидание, что в этих группах, испытывающих проблемы с речью, нет нарушений в обработке мозгом визуальных последовательностей не подтверждается эмпирическими исследованиями [15].
Более половины младших школьников из исследованной нами выборки не смогли составить связный рассказ по серии картинок. Путем регистрации глазодвигательной активности у этих детей выявлены определенные особенности глазодвигательной активности, которые могут быть как результатом когнитивных особенностей, так и результатом отсутствия опыта выполнения подобных заданий. Несмотря на то, что современному ребенку доступны видео материалы, картинки по-прежнему являются полезным инструментом развития речи и подготовки к освоению чтения. Составление рассказов по серии сюжетных картинок — полезный вид деятельности, который актуален для старших дошкольников и младших школьников, что подтверждается научными исследованиями. Понимание визуального нарратива и превращение его в устный нарратив задействует мозговые механизмы визуального восприятия, внимания, памяти, лингвистические механизмы и требует определенного опыта. Необходимо более тщательное изучение когнитивных процессов, участвующих в обработке визуальных нарративов.
Заключение
ЛИТЕРАТУРА
1. Cohn N., Magliano J.P. Editors' Introduction and Review: Visual Narrative Research: An Emerging Field in Cognitive Science. Top Cogn Sci. 2020 Jan; 12(1): 197-223. doi: 10.1111/tops.12473. Epub 2019 Dec 22. PMID: 31865641; PMCID: PMC9328199.
2. Cohn N. Your Brain on Comics: A Cognitive Model of Visual Narrative Comprehension. Top Cogn Sci. 2020 Jan; 12(1): 352-386. doi: 10.1111/tops.12421. Epub 2019 Apr 8. PMID: 30963724; PMCID: PMC9328425.
3. Рукавишникова, Н.Н. Обучение рассказу по серии сюжетных картинок дошкольников с общим недоразвитием речи средствами информационно-коммуникационных технологий / Н.Н. Рукавишникова, Е.В. Хмелькова // Вестник Шадринского государственного педагогического университета. — 2020. — № 2(46). — С. 177-181. — EDN ZBNOTK.
4. Кронштатова, Е.А. Особенности составления рассказа по серии сюжетных картинок детьми с общим недоразвитием речи / Е.А. Кронштатова // — 2017. — № 10. — С. 47-58. — EDN YNZTJH.
5. Товсултанова, З.К. Серии сюжетных картинок как средство развития монологической речи детей дошкольного возраста / З.К. Товсултанова, А.И. Скоробогатова // Актуальные проблемы современной когнитивной науки: сборник статей Международной научно-практической конференции, Саратов, 10 февраля 2018 года. Том Часть 1. — Саратов: Общество с ограниченной ответственностью "Аэтерна", 2018. — С. 230-232. — EDN YQJYPQ.
6. Зубова, Е.А. Особенности составления рассказа по серии картинок у первоклассников с разным уровнем развития функций III блока мозга / Е.А. Зубова, А.А. Корнеев, Т.В. Ахутина // Седьмая международная конференция по когнитивной науке: Тезисы докладов, Светлогорск, 20-24 июня 2016 года / Ответственные редакторы: Ю.И. Александров, К.В. Анохин. — Светлогорск: Институт психологии РАН, 2016. — С. 289-290. — EDN WGYUEX.
7. Дунайкин, М.Л. Интерпретация сюжетной картинки детьми 6-10 лет с последствиями перинатального поражения мозга / М.Л. Дунайкин, И.Л. Брин, С.Д. Вознякевич // Вопросы современной педиатрии. — 2006. — Т. 5, № 1. — С. 190. — EDN KXAYRF.
8. Механизмы порождения устного и визуального нарратива: айтрекинг-исследование детей 5-6 лет / А.Н. Корнев, И. Балчюниене, Ю.Л. Николаева, С.Р. Оганов // Журнал эволюционной биохимии и физиологии. — 2020. — Т. 56, № 7. — С. 614. — DOI 10.31857/S0044452920070657. — EDN VELNJS.
9. Magliano J.P., Larson A.M., Higgs K., Loschky L.C. The relative roles of visuospatial and linguistic working memory systems in generating inferences during visual narrative comprehension. Mem Cognit, 2016 — 44(2) — 207-219; doi: 10.3758/s13421-015-0558-7.
10. Hutson J.P., Magliano J.P., Loschky L.C. Understanding Moment-to-Moment Processing of Visual Narratives. / Cognitivt Science — 2018 — 42(8) — P. 2999-3033. doi: 10.1111/cogs.12699.
11. Ефимова, В.Л. Анализ возможных причин нарушений в развитии связной речи у первоклассников с помощью айтрекинга / В.Л. Ефимова, Е.И. Николаева, Е.А. Огородникова // Психология образования в поликультурном пространстве. — 2018. — № 2(42). — С. 18-23. — DOI 10.24888/2073-8439-2018-42-2-18-23. — EDN XRBDRJ.
12. Caldani S., Acquaviva E., Moscoso A., Peyre H., Delorme R., Bucci M.P. Reading performance in children with ADHD: an eye-tracking study. Ann Dyslexia. 2022 — 72(3) — P. 552-565. Doi: 10.1007/s11881-022-00269-x.
13. Wicks R., Westerveld M., Stainer M., Paynter J. Prompting visual attention to print versus pictures during shared book reading with digital storybooks for preschoolers with ASD compared to TD peers. Autism Res. 2022 — 15(2) — P. 254-269. Doi: 10.1002/aur.2623.
14. Köster M., Itakura S., Yovsi R., Kärtner J. Visual attention in 5-year-olds from three different cultures. PloS One. 2018 — 13(7) — e0200239. Doi: 10.1371/journal.pone.0200239. PMID: 30011296; PMCID: PMC6047771.
15. Coderre E.L. Dismantling the "Visual Ease Assumption:" A Review of Visual Narrative Processing in Clinical Populations. Top Cognitivt Science. 2020 — 12(1) — P. 224255. doi: 10.1111/tops.12446.
Efimova Victoria Leonidovna
Russian State Pedagogical University A.I. Herzen, Saint Petersburg, Russia
E-mail: prefish@ya.ru ORCID: https://orcid.org/0000-0001-7029-9317
Buynov Leonid Gennad'evich
Russian State Pedagogical University A.I. Herzen, Saint Petersburg, Russia
E-mail: buynoff@yandex.ru ORCID: https://orcid.org/0000-0002-6203-4324
Novozhilov Artemy Viktorovich
Children's neurological clinic «Prognoz», Saint Petersburg, Russia
E-mail: artnov20091@mail.ru ORCID: https://orcid.org/0000-0003-3862-898X
Khasnutdinova Antonina Leonidovna
Russian State Pedagogical University A.I. Herzen, Saint Petersburg, Russia
E-mail: ant.khasnutdinova@yandex.ru ORCID: https://orcid.org/0009-0000-5628-3482
Eye-tracking study: oral storytelling from a series of pictures by younger students with learning difficulties
Abstract. The article presents the results of an experimental eyetracking study. The relevance is determined by the increasing number of schoolchildren with learning difficulties and speech disorders. In the course of the study, younger schoolchildren with learning difficulties were asked to come up with a story based on a sequence of three pictures — visual narrative. The children looked at the pictures on the monitor screen and talked at the same time. The story was recorded on a voice recorder, and eye movements were recorded by an eyetracker. After analyzing the results, the subjects were divided into two groups. More than half of the children aged 7-10 could not come up with a coherent story. In these children, the features of gaze fixations and saccades were revealed. There is no significant relationship between the age of the subjects and the quality of the story. It was revealed that children from the successful group more often moved their gaze between the pictures, returning their gaze to the first picture. This was part of an effective image interpretation strategy. Difficulties in composing the story of children of the second group may be both a result of the cognitive characteristics of the subjects, and the result of the fact that many modern children have limited experience of looking at pictures and telling stories.
Keywords: junior schoolchildren; eyetracking; series of pictures; speech development; children; oculomotor activity learning difficulties; visual narrative
