CC BY
21
DOI: https://doi.org/10.15688/jvolsu2.2022.3.13
UDC 81' 1:340.6 LBC 81.1
Submitted: 07.08.2021 Accepted: 21.02.2022
ON ATTENTION OF FORENSIC EXPERTS AND NON-EXPERTS IN THE PERCEPTION AND COMPREHENSION OF MULTIMODAL TEXT1
Aleksandra V. Gorbacheva
Pushkin State Russian Language Institute, Moscow, Russia
Alexand^ A. Berlin Khenis
Sirius University of Science and Technology, Sochi, Russia; Pushkin State Russian Language Institute, Moscow, Russia
Mikhail A. Osadchiy
Russian Society for Teaching Russian Language and Literature, Saint Petersburg, Russia
Abstract. The article presents the results of experimental research into psychophysiological and psycholinguistic features of perception and understanding of multimodal texts with extremist content. The hypothesis verification was implemented by means of the analysis of the respondents' eye movement data, involving forensic linguists, practicing in anti-extremism cases, well-informed and not well-informed non-experts. Research methods were eye-tracking, quantitative data processing, structural-semantic analysis. The following statistically reliable data were obtained: experts and poorly informed respondents spent more time on the task and had some similarities in the parameters of oculomotor activity, in contrast to well-informed respondents, who quickly completed the task, avoiding detailed analysis of the stimulus; the respondents who answered "not sure", spent more time on the task, their viewing strategy was characterized by long frequent fixations in comparison to other groups; respondents who gave benchmark answers recognized the elements of the image with longer sparse fixations, within the least amount of time. The longest time of viewing, number and duration of fixations were revealed for the signs that have the largest number of connections with the surrounding components; one of the highest values of viewing time is recorded for incomprehensible signs. The results of the study demonstrate the psycholinguistic and psychophysiological features of perception and understanding multimodal texts in forensic linguists compared to professionals in other fields. Being applicable to fundamental research into information perception <n and processing, the results can also contribute to working out the methods of multimodal text forensic linguistic analysis. o Key words: multimodal text, creolized text, eye-tracking, semantic information processing, studies of experts, " cognitive competence, forensic linguists expertise, extremism.
S Citation. Gorbacheva A.V., Berlin Khenis A.A., Osadchiy M.A. On Attention of Forensic Experts and Non-'s Experts in the Perception and Comprehension of Multimodal Text. Vestnik Volgogradskogo gosudarstvennogo
g universiteta. Seriya 2. Yazykoznanie [Science Journal of Volgograd State University. Linguistics], 2022, vol. 21, g no. 3, pp. 158-175. (in Russian). DOI: https://doi.org/10.15688/jvolsu2.2022.3.13
< УДК 81'1:340.6
< ББК 81.1
Дата поступления статьи: 07.08.2021 Дата принятия статьи: 21.02.2022
03
<
ЗРИТЕЛЬНОЕ ВНИМАНИЕ У СУДЕБНЫХ ЭКСПЕРТОВ И НЕЭКСПЕРТОВ ПРИ ВОСПРИЯТИИ И ПОНИМАНИИ ПОЛИКОДОВЫХ ТЕКСТОВ1
Александра Вячеславовна Горбачева
Государственный институт русского языка им. А.С. Пушкина, г. Москва, Россия
©
Александра Алехандровна Берлин Хенис
Научно-технологический университет «Сириус», г. Сочи, Россия; Государственный институт русского языка им. А.С. Пушкина, г. Москва, Россия
Михаил Андреевич Осадчий
Российское общество преподавателей русского языка и литературы, г. Санкт-Петербург, Россия
Аннотация. В статье представлены результаты экспериментального исследования восприятия и понимания поликодовых текстов экстремистской направленности. Проверка выдвинутых гипотез осуществлялась посредством анализа данных о движениях глаз респондентов: судебных экспертов-лингвистов, имеющих опыт работы с делами о противодействии экстремизму, и неэкспертов, хорошо информированных и мало информированных о фактах экстремистского дискурса. А.А. Берлин Хенис и А.В. Горбачевой с применением методов айтрекинга, количественной обработки данных, структурно-семантического анализа показано, что эксперты и мало информированные респонденты затрачивают больше времени на выполнение заданий и имеют некоторые сходства по параметрам глазодвигательной активности, в отличие от хорошо информированных респондентов, которые быстро выполняют задание, избегая детального анализа стимула. А.А. Берлин Хенис установлено, что респонденты, не уверенные в ответах, затрачивают больше времени на выполнение задания, их стратегия рассматривания характеризуется длительными частыми фиксациями; респонденты, давшие эталонную оценку стимулам, распознавали элементы изображения более длительными редкими фиксациями, затрачивая наименьшее количество времени. А.В. Горбачевой и М.А. Осадчим выявлено, что наибольшие время рассматривания, количество фиксаций и их длительности обнаружены при восприятии знаков, имеющих максимальное количество связей с окружающими компонентами; одно из наибольших значений времени рассматривания фиксируется при восприятии непонятных знаков. Результаты исследования демонстрируют психолингвистические и психофизиологические особенности восприятия и понимания поликодовых текстов у судебных экспертов-лингвистов по сравнению с респондентами других групп. Они могут быть использованы в фундаментальных исследованиях процессов восприятия и обработки информации и при разработке методик судебно-лингвистического анализа поликодовых текстов.
Ключевые слова: поликодовый текст, креолизованный текст, айтрекинг, семантическая обработка информации, исследование экспертов, когнитивная компетентность, судебная лингвистическая экспертиза, экстремизм.
Цитирование. Горбачева А. В., Берлин Хенис А. А., Осадчий М. А. Зрительное внимание у судебных экспертов и неэкспертов при восприятии и понимании поликодовых текстов // Вестник Волгоградского государственного университета. Серия 2, Языкознание. - 2022. - Т. 21, N° 3. - С. 158-175. - DOI: https://doi.org/ 10.15688/jvolsu2.2022.3.13
Введение
Центральной проблемной областью исследований восприятия и понимания поликодовых текстов были и остаются принципы и процессы интерсемиозиса. Изучение отношений между гетерогенными частями текстов (см.: [Горбачева и др., 2021]) сменилось социосемиотичес-ким (см., например: [Kress et al., 1996; 2001; van Leeuwen, 2005]), психолингвистическим (см., например: [Сонин, 2006; Злоказов и др., 2018; Соловьева и др., 2021]) и междисциплинарным инструментальным изучением специфики когнитивных процессов во время чтения поликодовых сообщений (см., например: [Kalyuga, 2007; Richter et al., 2017; Petrova et al., 2020]).
Для полноценного изучения чтения поликодовых текстов в равной степени важно фиксировать результаты семантической обработки извлекаемой информации и характеристики восприятия во время ее получения, декодирования, интерпретации и оценки, посколь-
ку, как показано исследователями, движения глаз являются коррелятами зрительного внимания [Duc, Bays, Husain, 2008] - одного из когнитивных процессов, определяющих саму возможность получать и обрабатывать какую-либо информацию.
В настоящей работе мы продолжаем представление итогов проведенного нами экспериментального исследования, посвященного анализу психолингвистических и психофизиологических особенностей восприятия, декодирования и интерпретации поликодовых сообщений экстремистской направленности группами респондентов, различно информированных о фактах экстремистского дискурса, -судебными экспертами-лингвистами с опытом проведения исследований по материалам дел о противодействии экстремизму и неэкспертами, хорошо и мало информированными о фактах экстремистского дискурса. Ранее мы описывали полученные данные и излагали сделанные на основе их анализа выводы о
принципах [Горбачева, Нестерова, Осадчий, 2020]. В частности, мы установили, что «(1) понимаемый смысл поликодового текста - это значение, которое конструируется в результате установления значений отдельных компонентов текста (независимо от формы их выражения) и обнаружения смысловых взаимосвязей между ними; (2) такие взаимосвязи образуются при помощи повторения общих сем и являются реализацией грамматического и / или семантического согласования»; (3) на возможность корректно интерпретировать поликодовый текст в рамках определенного дискурса влияет наличие / отсутствие дискурсивных знаний; на возможность дать специальную оценку этому тексту влияет одновременное наличие / отсутствие дискурсивных и специальных знаний» [Горбачева, Нестерова, Осадчий, 2020]. Далее мы ознакомим читателя с той частью исследования, которая посвящена зрительному восприятию поликодовых текстов различными группами респондентов: представим общие данные о характеристиках глазодвигательной деятельности участников в процессе рассматривания стимулов для решения нескольких задач и частные данные о характеристиках их внимания в связи с процессами семантической обработки извлекаемой из текста информации.
Методика Разработка гипотез
Согласно системно-функциональному подходу, поликодовый текст представляет собой событие, результатом которого является отдельное специфическое значение, порождаемое во взаимодействии конкретных семиотических средств (semiotic resources) (см., например: [Baldry, Thibault, 2006; O'Halloran, 2008; O'Halloran et al., 2016]). Это значение появляется в результате образования микропропозиций на уровне отдельных компонентов, связанных смысловыми отношениями, и макропропозиции, состоящей из микропрозиций [Verhoeven, Perfetti, 2008]. Мы понимаем этот термин с опорой на концепцию парных отношений В. Кинча, который трактует пропозицию как сложное семантическое единство, воспринимаемое целостно вне зависимости от
количества аргументов, но тем не менее разложимое на составляющие признаки в случае необходимости, например, когда требуется выполнить задание [Kintsch, 1974].
Т. Хиппала предположил, что семиозис поликодового текста и характеристики его зрительного восприятия могут быть связаны [Hippala, 2012]. Много раньше А.Л. Ярбус показал, что направление взгляда и параметры движения глаз зависят от задачи, выполняемой испытуемым [Yarbus, 1967]. В совокупности результаты этих двух исследований позволяют предполагать, что движения глаз могут соответствовать некоторым операциям семантической обработки (декодирования, интерпретации, оценки) информации из текста. Основываясь на указанных работах, мы выдвинули частную гипотезу о том, что наибольшее внимание респондентов, коррелирующее с движениями глаз, будет направлено на область компонента, важного для понимания сообщения (с максимальным количеством смысловых связей с окружением).
Опираясь на предыдущие работы, в которых мы показали механизм некорректной интерпретации и его причину - отсутствие знаний о содержании знака [Горбачева, Нестерова, Осадчий, 2020], а также на данные, полученные Кендеу и Ван ден Броеком [Kendeou, van den Broek, 2005], дополненное сведениями об удлинении времени рассматривания стимула при когнитивном диссонансе, мы сформулировали еще одно предположение: удлинение времени рассматривания будет происходить в области непонятного знака. Таким образом, нами проверялись две частные гипотезы: семантическая обработка информации, извлекаемой из знаков, влияет на параметры зрительного внимания; внимание привлекают те знаки, которые более значимы для понимания сообщения или не понятны.
Существующий общественный запрос на объективность экспертизы материалов уголовных дел определил наш интерес к профессиональной группе судебных экспертов-лингвистов, специализирующихся на экспертизе материалов по делам о противодействии экстремизму. Поскольку, согласно ранее проведенным исследованиям, одним из факторов, влияющих на распределение зрительного вни-
мания, являются уже имеющиеся знания и опыт [Van Gog et al., 2005], для нашего эксперимента были образованы группы, в которые вошли люди без специальных профессиональных знаний: а) хорошо информированные респонденты, обладающие достаточными дискурсивными знаниями в силу того, что регулярно или часто встречаются в повседневной жизни с такой информацией, б) мало информированные респонденты, не сталкивающиеся в повседневной жизни с таким контентом.
В настоящее время накоплен большой объем информации о различиях в когнитивных стратегиях у экспертов и неэкспертов при решении задач из разных профессиональных областей. Считается, что это связано не только с решением мыслительных задач, но и с процессами обработки информации, которые в последние годы активно исследуются с помощью технологий регистрации окуломотор-ной активности, в частности айтрекера - технологии, позволяющей отслеживать движения глаз. Они состоят из двух основных компонентов: фиксаций и саккад. Фиксации - это относительно неподвижное состояние глаза, именно во время фиксаций воспринимаемая информация считывается и перерабатывается. Сак-кады - это быстрые перемещения глаз, обеспечивающие следующую фиксацию в другом месте исследуемого пространства [Барабанщиков, Жегалло, 2013]. Технология айтрекин-га позволила получить представление о зрительных стратегиях обработки информации экспертов из разных областей. Различия в характеристиках движения глаз у экспертов и неэкспертов в таких областях, как спорт, изобразительное, искусство, музыка, математика, отмечают многие авторы, исследующие зрительное восприятие, что может указывать на зависимость когнитивных стратегий обработки информации от области экспертизы и выполняемых задач (см., например: [The Cambridge Handbook..., 2018; Gegenfurtner, Lehtinen, Saljo, 2011]). Однако исследования последних лет демонстрируют противоречивые результаты о различиях глазодвигательных характеристик у экспертов в сравнении с неэкспертами из разных областей. Например, в исследованиях с экспертами-шахматистами и радиологами было показано, что эксперты тратят меньше времени на решение задач,
чем неэксперты [Visual Span..., 2001; Kundel et al., 2007]. В исследованиях с участием экспертов и новичков в области оценки безопасности строительных объектов было установлено, что эксперты пользовались зрительной стратегией с меньшим количеством фиксаций в сравнении с новичками, а в исследованиях с архитекторами было обнаружено не только меньшее количество фиксаций, но и меньшая их продолжительность у профессионалов [Cola?o, Acarturk, 2019; Dzeng et al., 2016]. В то же время в исследованиях с участием программистов, профессиональных пилотов и водителей было установлено, что эксперты пользуются стратегиями с большим количеством фиксаций, а в исследованиях с участием профессиональных спортсменов-дзюдоистов у них была отмечена большая продолжительность фиксаций в сравнении с новичками, что противоречит данным о зрительной стратегии экспертов в других областях, представленным выше [Chourasia, Sharma, 2017; Franks, 2018; Jessup et al., 2021; Konstantopoulos, 2009].
Основываясь на данных об экспертах из различных областей, предварительных результатах на малой выборке [Берлин Хенис, Пучкова, 2020] и на положении о влиянии опыта и знаний на результаты рассматривания, мы выдвинули общую гипотезу: параметры движения глаз будут отличаться у респондентов всех экспериментальных групп, при этом эксперты будут демонстрировать короткое, но внимательное рассматривание стимулов, хорошо информированные респонденты - короткое и невнимательное рассматривание стимулов, а мало информированные респонденты - длительное и внимательное рассматривание.
Респонденты и процедура эксперимента
Для проверки гипотез мы проанализировали данные, собранные ранее в ходе лабораторного айтрекингового исследования восприятия и понимания поликодовых текстов экстремистского и неэкстремистского содержания. В эксперименте принимали участие респонденты (n = 86) с различной степенью информированности о фактах экстремистского дискурса: 31 лингвист-эксперт, 20 хорошо информированных и 35 мало ин-
формированных респондентов без экспертных компетенций. До начала эксперимента все участники были письменно предупреждены о целях проведения научного исследования и характере стимульного материала. В качестве последнего использовались отобранные из реальной экспертной практики поликодовые тексты формата «статическое изображение + письменное высказывание», которые содержали или не содержали экстремистское сообщение (всего 42 стимула, из которых 21 - экстремистского содержания). Стимульный материал до эксперимента был верифицирован опытными экспертами-лингвистами при помощи метода сходимости оценок.
Эксперимент состоял из двух частей. В первой части респонденты просматривали в случайном порядке демонстрируемые стимулы, после чего посредством нажатия на клавиатуре компьютера клавиш со значением «да», «нет» или «затрудняюсь» оценивали, содержит ли стимул экстремистское сообщение, и устно поясняли, что именно они видят и каково смысловое содержание просматриваемого стимула. Продолжительность рассматривания не ограничивалась; желательная длина комментария не должна была превышать пяти развернутых высказываний, однако это ограничение не являлось строгим. Во время выполнения задания движения глаз респондентов регистрировались при помощи айтрекера EyeLink 1000+. Моменты начала и окончания просмотра стимула, а также принятия решения об оценке его содержания автоматизиро-ванно фиксировались. Первичная обработка и чистка данных записей движения глаз осуществлялась с помощью программного обеспечения Data Viewer (SR research). Анализ данных осуществлялся в программе Statistica 10. Применялся дисперсионный анализ (ANOVA). Для исследования глазодвигательной активности использовались следующие параметры: длительность фиксаций (fixation duration), количество фиксаций (fixation count), амплитуда саккад (next saccade amplitude), время рассматривания всего стимула (trial dwell time). В качестве факторов, влияющих на характеристики движений глаз, выбраны принадлежность реципиента к одной из групп (эксперты, мало информированные участники, хорошо информированные участники) и
эталонность ответов относительно произведенной верификации материала (эталонно, неэталонно, затрудняюсь ответить).
Перед обработкой данных была произведена дополнительная разметка стимула. Сначала для всех стимулов были выделены зоны текста и изображения. Далее для выбранных стимульных материалов были выделены дополнительные зоны интереса, позволившие провести качественный разбор конкретного стимула. Зоны интереса создавались в программе Data Viewer путем ручного обведения интересующих областей стимулов специальным инструментом. Выбор зон интереса обусловлен знаковой структурой сообщений: знаки, релевантные для понимания сообщения, выделялись в отдельные зоны интереса.
Во второй части эксперимента респонденты повторно исследовали уже просмотренные стимулы на наличие смысловых взаимосвязей между изображением и письменным высказыванием; взаимосвязи предлагалось обозначить посредством маркера и устно объяснить. Если респонденты не обнаруживали очевидных для них взаимосвязей, они имели право отказаться от нанесения разметки и комментирования. В ходе эксперимента комментарии респондентов фиксировались при помощи аудиозаписывающего устройства и в дальнейшем расшифровывались. Впоследствии их содержание сопоставлялось и анализировалось с опорой на разметку взаимосвязей в стимулах методом компонентного анализа лексических единиц, содержащихся в комментариях.
Результаты и обсуждение Общая гипотеза
Получены данные о достоверных различиях во времени рассматривания стимулов. Эксперты и мало информированные респонденты рассматривали стимулы дольше в сравнении с хорошо информированными респондентами. Разница между показателями у экспертов и мало информированных респондентов не значима (F(2,16399) = 187,25, p < 0,0001; эксперты 14 096,19 ± 165,34 мс; хорошо информированные 9 694,64 ± 102,7 мс;
мало информированные 14 487,47 ± 223,27 мс). Полученные данные не согласуются с данными аналогичных экспериментов в других областях, демонстрирующими, что эксперты быстрее справляются с задачей в отличие от неэкспертов. В нашем эксперименте респонденты, обладающие специальными знаниями и опытом, справлялись с задачей так же, как и не знакомые с темой дискурса. Можно предположить, что участники без профессионального опыта и знаний, внимательно вглядываясь в детали, пытались понять содержание стимула и найти ответ, в то время как эксперты проводили дополнительную проверку или пользовались методикой, по которой осуществляли разбор аналогичных материалов в своей профессиональной деятельности. Неэксперты, обладающие дискурсивными знаниями, справлялись с заданием быстрее, чем эксперты. Возможно, владение дискурсивными значениями и ощущение уверенности в верном представлении о теме способствовали более быстрому принятию решения, хотя далеко не всегда успешному (об этом см.: [Горбачева, Нестерова, Осадчий, 2020]).
Параметр длительности фиксаций имеет значимые различия по выделенным группам. Наибольшую длительность фиксаций показали участники-эксперты. Мало информированные респонденты делали более длительные фиксации в сравнении с хорошо информированными (^(2,109104) = 85,7,р < 0,0001; эксперты 260,49 ± 0,48 мс; мало информированные 252,86 ± 0,57 мс; хорошо информированные 247,67 ± 0,66 мс). Данный результат представляется существенным для исследования экспертной деятельности, поскольку показывает, что эксперты делали самые продолжительные фиксации, что противоречит привычному представлению о них, поскольку, по наблюдениям исследователей, продолжительные фиксации обычно свидетельствуют о возможных затруднениях, связанных с обработкой информации [Holmqvist et а1., 2011]. Одно из возможных объяснений удлинения фиксаций, продемонстрированного экспертами, -применение не только знаний о материале, но и специальной методики анализа материалов на наличие признаков экстремизма, что делает такое задание сложнее для экспертов в сравнении с другими респондентами, которые
пытаются понять смысл стимула, опираясь на фоновые знания. На возможность такого объяснения косвенно указывает отличие групп хорошо и мало информированных респондентов: респонденты с хорошим уровнем знакомства с темой явно затрачивают меньше усилий на рассматривание стимулов.
Были обнаружены значимые различия по параметру «амплитуда саккад». Самые длинные саккады зафиксированы у хорошо информированных респондентов. У мало информированных саккады были длиннее, чем у экспертов (F(2,108391) = 178,6,p < 0,0001; хорошо информированные - 2,9 ± 0,01; мало информированные - 2,75 ± 0,01; эксперты -2,59 ± 0,009). Кроме того, эксперты и мало информированные респонденты делали больше фиксаций, чем хорошо информированные участники, при этом статистических отличий между группами обнаружено не было (F(2,16399) = 194,0, p < 0,0001; эксперты -53,7 ± 0,57; мало информированные -54,91 ± 0,72; хорошо информированные -38,47 ± 0,41). Данные, характеризирующие экспертов по этому параметру, могут свидетельствовать о стратегии подробного рассматривания стимула. Это может подтверждать предположение о более глубоком анализе, проводимом экспертами при обработке информации, и частично соотносится с данными, полученными в ходе других экспериментов, в которых участвовали эксперты (см., например: [Блинникова, Ишмуратова, 2019]). У мало информированных участников стратегия подробного рассматривания стимула может быть обусловлена поиском ответов при условии отсутствия полного понимания его смысла. Стратегия группы хорошо информированных участников может быть охарактеризована как более обобщенный анализ стимула, который приводит к эффекту, наблюдаемому у экспертов в других исследованиях, где опыт эксперта в решении задач приводил к использованию схожей стратегии [Rayner, 2009; Visual Span..., 2001].
Фактор эталонности ответа оказывал значимое влияние на все параметры, анализируемые в данном исследовании. Респонденты, затруднившиеся с оценкой стимула на наличие признаков экстремизма, рассматривали стимулы дольше в сравнении с респонден-
тами, оценившими стимулы эталонно и неэталонно. Респонденты, давшие неэталонные оценки, рассматривали стимулы дольше в сравнении с респондентами, которые оценили стимулы эталонно (^(2,16399) = 385,97, р < 0,0001; затрудняюсь 17560,73 ± 266,22 мс, неэталонно 15329,18 ± 274,21 мс, эталонно 10685,65 ± 111,57 мс). Длинный просмотр неуверенными участниками может объясняться затруднениями в обработке информации, связанными как с недостатком знаний о смысле сообщения, так и с недостатком опыта в вынесении конечного суждения по категоризации стимула. Респонденты, эталонно оценившие содержание стимулов, по-видимому, меньше других сомневались и не испытывали необходимости подробно изучать стимулы.
Были обнаружены значимые различия в ряде глазодвигательных параметров. Респонденты, ответившие «затрудняюсь», делали наиболее длительные фиксации в сравнении с респондентами, оценившими стимулы эталонно и неэталонно. Респонденты с эталонными оценками делали более длительные фиксации, чем респонденты с неэталонными оценками (Д2,109104) = 52,5, р < 0,0001; затрудняюсь 261,8 ± 0,65 мс; эталонно 253,41 ± 0,44 мс; неэталонно 251,02 ± 0,67 мс). При этом респонденты, ответившие «затрудняюсь», сделали наибольшее количество фиксаций, в то время как давшие неэталонную оценку делали в среднем больше фиксаций, чем оценившие стимулы эталонно (^(2,16393) = 93,593, р < 0,0001; затрудняюсь 65,99 ± 0,93; неэталонно 58,47 ± 0,83; эталонно 41,5 ± 0,4). Респонденты, отвечавшие «затрудняюсь», делали самые короткие саккады в сравнении с респондентами, давшими другие ответы, при этом оценившие эталонно делали более длинные саккады, чем оценившие неэталонно (Д2,108391) = 12,0, р < 0,0001; эталонно 2,75 ± 0,008; неэталонно 2,73 ± 0,01; затрудняюсь 2,72 ± 0,01). С опорой на данные, изложенные выше, стратегию рассматривания, использованную респондентами, ответившими «затрудняюсь», охарактеризуем как плотно-сканирующую. Продолжительные частые фиксации могут указывать на затруднения при восприятии изображения, которые могли быть вызваны как недостаточными знаниями, так
и малым опытом решения таких задач. Большое количество фиксаций может указывать на пересмотр зон изображения с целью извлечь дополнительную информацию, опираясь на которую можно выполнить задание. Респонденты, эталонно оценившие стимулы, делали наименьшее количество фиксаций и справлялись с заданием за наименьшее время; это соотносится с предположением о том, что субъективные знания и опыт помогали принимать верное решение быстрее. Однако большая продолжительность фиксаций и более длительные саккады, в сравнении с респондентами, давшими неэталонную оценку, может указывать на стратегию, в которой участники тратили больше времени на распознавание конкретных элементов изображения и переходили на следующие зоны для продолжения извлечения информации. Респонденты, давшие неэталонную оценку, путем большего количества коротких фиксаций пытались извлечь информацию из зон изображения. Применение такой стратегии может объясняться недостатком знаний об анализируемом объекте и попыткой извлечь дополнительную информацию посредством более внимательного рассматривания элементов стимульного материала и их пересмотра.
Частная гипотеза
Для проверки гипотезы мы сопоставили данные о глазодвигательной активности респондентов с содержанием комментариев в обеих частях эксперимента. Для этого среди ответов каждой группы респондентов мы отобрали содержащие эталонную и неэталонную, а также неопределенную («затрудняюсь») оценку по 9 стимулам (^^^т^З^^ uniz_sy_01, prop_ic_01; contr_sy_01_01, contr_sy_01 (prop), contr_sy_05_01; contr_sy_01_01, oprv_in_01, prpr_ic_01) и дополнительно ответы экспертов по 3 стимулам (contr_sy_01_01, proi_sy_06_01, proi_ic_01). Минимальное количество респондентов в выборке - 10 человек, максимальное - 77 человек.
Соотнесение данных о глазодвигательной активности респондентов с содержанием комментариев в обеих частях эксперимента показывает, что максимальному относительному времени просмотра определенных зон
интереса соответствуют следующие ситуации: во-первых, респонденты затрачивают наибольшее время на рассматривание тех компонентов, которые образуют больше смысловых взаимосвязей с другими компонентами стимула (зафиксировано в ответах по 9 стимулам из представленной выборки, независимо от характера оценки: contr_in_03_01, uniz_sy_01, prop_ic_01; contr_sy_01 (prop), contr_sy_05_01; proi_sy_06_01, oprv_in_01 prpr_ic_01; proi_ic_01); во-вторых, респонденты максимально долго рассматривают знаки, вызывающие затруднения при декодировании и последующем объединении извлекаемых смыслов в систему (зафиксировано в ответах по 3 стимулам - contr_sy_01_01, oprv_in_01, prpr_ic_01). Ниже мы приводим анализ примеров таких случаев.
Случаи, когда время рассматривания коррелирует с количеством сопоставляемых смыслов. В приведенных ниже ответах не было обнаружено статистически значимых межгрупповых различий: во всех группах у респондентов были приблизительно одинаковые относительное время рассматривания одних и тех же зон интереса, количество фиксаций в них и относительное время рассматривания одного процента зоны. При этом обнаружены статистически значимые различия для зон интереса, выделяемых в соответствии с расположением знаков, что позволяет говорить о не зависящей от факторов специальных и дискурсивных знаний разнице в обработке информации, поступающей из различ-
ных зон интереса, и дает основание исследовать ее причины при помощи методов лингвистического анализа.
Результаты анализа стимула Contr_in_03_01 «Бабочка»:
1. Наибольшее относительное время рассматривания зафиксировано в зоне затемненного образа иглы от шприца, прокалывающей бабочку (зона picture в таблице 1), за это время происходило максимальное количество фиксаций, которые также были наиболее длительными по сравнению с фиксациями в других зонах интереса; эти данные свидетельствуют о многократном длительном рассматривании образа.
2. На втором месте по времени рассматривания - зона слова убивают (зона text_middle в таблице 1), выделенная относительно других слов черным цветом: здесь совершалось меньше фиксаций, чем в зоне шприца, но больше, чем в остальных зонах надписи, и эти фиксации являются наиболее длительными среди фиксаций на вербальных знаках, что означает не только многократное, но и наиболее внимательное перечитывание этого слова в сравнении с остальными словами в стимуле.
Лексико-семантический анализ комментариев респондентов показывает, что они интерпретируют содержание сообщения как социальную рекламу о вреде наркотиков, указывая при описании компонентов стимула на то, что игла визуализирует, с одной стороны, наркотики, а с другой - процесс убийства:
Таблица 1. Contr_in_03_01 «Бабочка» (n = 77) Table 1. Contr_in_03_01 "Butterfly" (n = 77)
| Стимул Параметр Значение для зоны интереса
Наркотики Относительное время рассматривания зоны интереса, % F(3, 270) = 61,736, p < 0,0001 text_middle 23 ± 1 picture 39 ± 1 text_down 16 ± 1 text_up 15 ± 1
Количество фиксаций (F(3, 270) = 10,8770,p < 0,0001), picture 6,64 ± 0,7 text_middle 4,5 ± 0,6 text_down 3,08 ± 0,3 text_up 2,8 ± 0,3
Contr in 03 01 Butterfly Длительность фиксаций, мс (F(3, 1218) = 16,064, p < 0,0001) picture 291,74 ± 5,3 text_middle 272,12 ± 5,8 text_down 240,72 ± 6,8 text_bottom 242,52 ± 7,1
(1) Здесь изображена бабочка, в теле которой находится шприц наркоманский, который ее убивает;
(2) «Наркотики убивают жизнь», а-а... то есть а-а наркотики... убивают жизнь, как вот шприц убил бабочку, так же и этим шприцом наркоман убивает себя.
При определении смысловых взаимосвязей 96,1 % респондентов выделяют образ иглы как носитель семантики наркотика (метонимически по средству введения) и убийства острым предметом:
(3) Наркотики - это в виде шприца, и в то же время как раз убийство... действие - именно что игла эта вколота в жизнь. Она пригвождена именно к стене;
(4) А... глагол «убивают» с иглой и с мертвой бабочкой, ну у меня взни... а, и «убивать» как смерть с потрескавшейся поверхностью... не знаю, ассоциируются, да, «наркотики» с иглой, жизнь с бабочкой, да, и с тем, что, ну, вот «наркотики» - символ - игла, убивают жизнь, вот эта игла - она убивает бабочку, убивает жизнь и др.).
В 64,94 % комментариев смысловых связей слова убивают больше одной: помимо иглы, респонденты связывают этот знак действия, причиняющего смерть, с образами мертвой бабочки и иссохшей (= безжизненной) почвы, например:
(5) Так, наркотики - игла, так, убивают - это все вместе действие, когда вты... бабочка, в которую втыкается игла, - убийство, а и жизнь... А, убивают жизнь - это все с... все вместе это вот, сухая потрескавшаяся земля, в которой ничего не растет;
(6) Здесь наркотики как игла - ассоциация, жизнь - это бабочка погибшая, и «убивают» - это, во-первых, само действие, которое иглой прокалывается бабочка, потом, наверное, засохшие ее крылышки, и также «убивают» - это, наверное, фон, на котором изображена сухая земля, безжизненная.
Оставшиеся знаки - крылья бабочки и слова наркотики и жизнь - образуют смысловую взаимосвязь преимущественно с одним компонентом стимула (бабочка - со словом жизнь в 87,01 % комментариев, наркотики -с иглой шприца в 98,7 % комментариев):
(7) Здесь наркотики как игла ассоциация, жизнь - это бабочка погибшая;
(8) Наркотики соотносятся со шприцом от как раз-таки как себе вводят чаще всего через шприц наркотики... Ну и «жизнь» это тоже вот к бабочке относится;
(9) Так, ну слово «наркотики» у нас явно связано с иглой от шприца, «жизнь», я думаю, тут символизируется именно вот этой вот бабочкой, которую прикололи к поверхности.
Результаты анализа стимула Prop_ic_01 «Дагестанец»:
1. Максимальное относительное время рассматривания зафиксировано в зоне образа ребенка справа («дагестанца»), см. таблицу 2; за это время происходило максимальное количество фиксаций; эти фиксации уступают по длительности фиксациям на другой зоне интереса - зоне образа ребенка слева («русского»); данные свидетельствуют о многократном внимательном рассматривании этого образа.
2. Зона образа ребенка слева занимает второе место по времени рассматривания; здесь совершалось меньше фиксаций, чем в зоне ребенка справа, но они были несколько длиннее; данные свидетельствуют о более внимательном рассматривании образа ребенка слева, но взгляд в эту зону возвращался реже.
3. Зафиксированы значимые различия в относительном времени рассматривания 1 % стимула (dwell time, % / ia_area, %) в зонах отдельных слов при наличии слабо выраженных различий в относительном времени рассматривания и отсутствии значимых различий в количестве фиксаций в этих зонах: максимальное значение параметра относится к зоне слова обиззяны, на втором и третьем месте -слова узколобые и родятся, на четвертом -не спи. Параметр позволяет оценить, уделял ли внимание (пристально рассматривая) респондент мелким зонам интереса.
Лексико-семантический анализ комментариев демонстрирует, что респонденты интерпретировали содержание сообщения как адресованный русским женщинам призыв (предостережение) воздерживаться от отношений с кавказцами. Описывая компоненты стимула, респонденты сообщали, что ребенок справа противопоставлен ребенку слева, представлен как неполноценный, уподоблен животному из-за принадлежности к кавказ-
Таблица 2. Prop_ic_01 «Дагестанец» (n = 76) Table 2. Prop_ic_01 "The Dagestani" (n = 76)
Стимул
Параметр
Значение для зоны интереса
Относительное время рассматривания зоны интереса, %
F(11,808) = 157,949, p < 0,0001
text 45 ± 1 obizzani 11 ± 0,8 uzkolobie 7 ± 0,5 rodatsa 5 ± 0,4 ne_spi 8 ± 0,5 churkami 8 ± 0,5 russkaya 6 ± 0,5
right_boy 36 ± 1
left_boy 19 ± 1_
Prop_ic_01 «Дагестанец» Prop_ic_01 "The Dagestani"
Относительное время рассматривания 1 % стимула, %
F(3,270) = 65,9595,p < 0,0001
obizzani 0,066 ± 0,005 uzkolobie 0,044 ± 0,003 rodatsa 0,04 ± 0,004 ne_spi 0,033 ± 0,002 churkami 0,024 ± 0,001 russkaya 0,02 ± 0,001
right_boy 0,0108 ± 0,0003 left_boy 0,006 ± 0,0004_
Количество фиксаций
F(11,808) = 31,7671, p < 0,0001
text 15,79 ± 1,33 churkami 3 ± 0,4 obizzani 2,93 ± 0,3 uzkolobie 2,54 ± 0,2 rodatsa 1,77 ± 0,1 ne_spi 2,95 ± 0,3 russkaya 2,29 ± 0,2
right_boy 12,34 ± 1,15 left_boy 7,78 ± 1,09_
Длительность фиксаций, мс
F(2,2637) = 35,27,p < 0,0001 text 225,37 ± 2,62
right_boy 255,88 ± 3,8 left_boy 266,06 ± 5,15_
цам, к которым автор стимула относится презрительно:
(10) ...но и сравнение опять же детей от людей других национальностей с животными, с неполноценными. Дагестанец - непосредственно сравнили его с обезьянкой, да еще там «узколобый» - намек на то, что не очень умный ребеночек родится. И образ такой собирательный русского дитя противопоставляется кавказскому или ребенку от смешанного брака;
(11) Картинка... коллаж с фотографиями двумя детей: один, слева, мальчик очень русский, максимально русский, белобрысый, с голубыми глазами а-а в русской рубахе, а справа маленький толстый маль-
чик с скошенными глазами, с черными волосами, с черными глазами, с маленьким ртом. И-и над ним есть надпись «Осторожно дагестанец». Вот. И вообще эта вся картинка призывает к тому, чтобы русские девушки не вязались... как это вязались... (смех) не вязались с нерусскими, потому что от них рождаются некрасивые дети, которые похожи на обезьян.
Образ ребенка справа респонденты связывали по семантическому компоненту 'потомство' со словом родятся, по компоненту внешний вид - со словами дагестанец, чурки и словосочетанием узколобые обиззяны, а также с образом ребенка слева. Сравнение количества смысловых связей для образов
детей показывает: 61,84 % респондентов указали для образа ребенка слева одну связь -со словом русская:
(12) Так, ну здесь «русская» это вот отсылка к этому ребенку, то что он представитель славянской внешности; «Русская» сразу с этим ребенком связанная;
(13) И второе... здесь есть русский мальчик, мы видим это по его одежде.
Максимальное количество связей, обнаруженных респондентами для этого образа, -три (6,58 % ответов), например:
(14) ...ну, как бы ребенок, который рождается от союза ну с таким... в таком браке между русской женщиной и выходцем из Кавказа. И в качестве такого антипримера красивое фото русского ребенка. Конечно, напрямую с русской женщиной он не изображается, но имеется в виду, что это русский ребенок, каким он должен быть у русской женщины. Вот, ну и, не знаю, как бы «родятся» вот или такие дети, или такие дети. Можно так соотнести.
В то же время для образа ребенка справа больше одной связи обнаружили 90,79 % участников, доля ответов с указанием трех и более связей - 72,37 %. Приведем примеры комментариев, подтверждающих наличие более одной связи:
(15) правый.. здесь указано даже, что это дагестанец. Он, судя по всему, сопоставляется вот с этой номинацией, со словом «чурка»... «Дагестанец» - это ребенок, да, со словом... да-да-да. Ну и «узколобые обиззяны», возможно, то, что этот ребенок, ну, как, ну, такой пухлый, поэтому у него как... лоб не ярко выражен, возможно, поэтому узколобые;
(16) Значит, изображение светлого мальчика соотнес со словом «русская», в то же время в правой части ребенок - соотнес со словом «родятся», «чурки», «обезьяны», так как он с темными волосами и, кроме того, над головой... Я соотнес слово «чурки» с «осторожно дагестанец» и как бы естественно, я как бы эту фразу соотнесу еще и с самим ребенком;
(17) «Узколобые обезьяны» - это, соответственно, относится к маленькому мальчику. «осторожно дагестанец» это тоже, да, относится к нему. При этом вот этот вот знак «осторожно»... вот этот вот призыв, просто говоря как бы, да, вне уголовного контекста, «не спи», он сочетается с этой надписью «осторожно», то есть вот эта вот «не», знак
отрицания, да, «осторожно» тоже такой знак, близкий к запрету, к обращению внимания какому-то стопу. Ну, и «родятся», собственно, тоже сочетается с детьми, в принципе как два разных результата того, что может родится у русских женщин.
Необходимо отметить, что респонденты регулярно указывали слова обиззяны, узколобые, родятся и не спи как компоненты смысловых связей, что коррелирует с большими временными затратами на просмотр 1 % стимула в этих зонах интереса, а в данном примере значит, более длительными фиксациями. Это позволяет обоснованно предполагать, что чтение и перечитывание этих слов в процессе просмотра стимула было сопряжено с обработкой большего объема информации, чем в зонах других слов.
В данной выборке было четыре стимула, где высказывания длиной от трех слов были размечены пословно (contr_in_03_01, contr_sy_01 (prop), prop_ic_01, proi_sy_06_01), и при проверке в ответах по каждому из них обнаруживалось, во-первых, максимальное относительное время рассматривания отдельного компонента изображения, обычно с большим количеством коротких фиксаций; во-вторых, максимальные значения относительного времени рассматривания 1 % стимула в нескольких зонах слов без различий в количестве фиксаций по всем словесным зонам; в-третьих, выделение респондентами в комментариях изобразительно-вербальных пар как взаимосвязанных по смыслу.
Основываясь на приведенных данных, с осторожностью предполагаем, что описанные результаты могут быть интерпретированы как процесс объединения смыслов гетерогенных знаков поликодовых текстов в систему: в центре пропозиций находится компонент, с которым вступают в отношения окружающие знаки, вместе образующие самую информационно нагруженную часть понимаемого смысла сообщения. Это предположение подлежит проверке на расширенной контролируемой выборке.
Случаи, когда удлинение времени рассматривания коррелирует с непонятностью знака. Удлинение рассматривания знака происходило и тогда, когда респонденты не владели его значением. Ранее мы уже сообщали о том, что в отдельных случаях, несмотря на
отсутствие точных знаний о знаке, участники эксперимента предпринимали попытки интерпретировать его смысл, опираясь на грамматические и семантические компоненты значений окружающих знаков [Горбачева, Нестерова, Осадчий, 2020]. В указанной выборке респонденты также строили предположительные интерпретации, и в двух из трех стимулов знаки (как изобразительный, так и вербальный) оказывались главными компонентами во взаимосвязях по смыслу с окружающими знаками (сопй^у_01_01, оргу_т_01). Тем не менее наличие контрастного случая (ргрг_ю_01), где знак оказался маркирован по длительности рассматривания, но при этом не выделялся респондентами как смысловой центр, дает основания полагать: корреляция непонятности знака и большой продолжительности его рассматривания самостоятельна, что подтверждается другими данными, приводимыми ниже.
Рассмотрим на примере ответов с эталонными (п = 10) и неэталонными оценками (п = 10) по стимулу сопй^у_01_01, содержащему призыв соблюдать нормы правописания от имени движения граммар-наци, как соотносятся параметры зрительного внимания на этапе до принятия решения (распознавание -анализ - оценка) с проявлениями непонимания знака на этапах комментариев в первой и второй частях эксперимента.
Для проверки гипотезы мы решили сопоставить параметры движения глаз и способы называния и толкования респондентами
символа граммар-наци в зависимости от того, владели они его точным значением или нет. В своем предположении мы опирались на то, что называние объектов при помощи терминов и классовых имен как способ обобщения их признаков противопоставлен описательным конструкциям, в которых предъявляется состав значимых признаков называемого / определяемого понятия, репрезентирующий его в системе знаний говорящего, а это в свою очередь должно влиять на то, насколько точно он способен соотносить знания об этом понятии с другими знаниями о мире.
Распределение значений параметров рассматривания зон интереса в зависимости от оценки стимула представлено в таблице 3.
В группе респондентов, давших неэталонную оценку стимулу, не оказалось людей, осведомленных о движении граммар-наци, что следовало как из прямых утверждений (В общем, я тут вижу пропаганду нацизма, хотя я не понимаю этот символ; Знак не знаю, могу ошибиться; ...я просто не знаю, что за символ. Мне надо посмотреть, какое отношение он имеет и др.), так и из употребления указательных и неопределенных местоимений, показателей неуверенности при определяемом слове (этот символ, этот значок, какая-то фашистская символика, какая-то фашистская организация; скорее всего, свастика и др.).
Респонденты толковали символ граммар-наци как неверно изображенную свастику, опи-
Таблица 3. Contr_sy_01_01 «Граммар-наци»
Table 3. Contr_sy_01_01 "Grammar Nazi"
Стимул Оценка стимула Относительное время рассматривания зоны интереса, % Количество фиксаций Длительность фиксаций, мс
Эталонно p < 0,1 P < 0,5 p < 0,1
Неэталонно F(3,34) = 6,4846, p < 0,001 P < 0,3 F(3,248) = 6,217, p < 0,0004
ПИШИ ВЕРНО Ш тЛ sign 39 ± 5 text 23 ± 2 body 22 ± 4 head 16 ± 3 sign 299,826 ± 9,73 head 269,83 ± 12,91 text 245,45 ± 11,77 body 236,17 ± 15,78
Contr sy 01 01 «Граммар-наци» Contr sy 01 01 "Grammar Nazi "
раясь на извлекаемые из надписи и образа нацистского офицера смыслы, и в целом интерпретировали содержащееся в стимуле сообщение как пропаганду идеологии нацизма, например:
(18) Здесь есть пропаганда идеологии фашизма. Ну, пиши верно, видимо, это касается самого символа Третьего рейха. Ну, а тут форма со всякими разными атрибутами фашистскими, она тоже тут однозначно указывает, что верно и что надо писать верно. / Вот эта картинка более очевидна. Очевидно, что здесь нужно писать правильно, скорее всего, свастику изображать, вот здесь, то есть здесь бы я, наверное, вот это слово соотнес с тем, к чему оно ближе всего находится.
В подавляющем большинстве случаев высказывания респондентов о непонятном символе были организованы, по Арутюновой, как развернутые конструкции логико-синтаксических типов идентификации и характери-зации [Арутюнова, 1976]. Характер оформления пропозиционального содержания таких высказываний дробный, значимые признаки выделены в предикативные и полупредикативные единицы, например:
(19) Есть знак, как-то связанный с этим, сказано, что это хорошо, демонстрация, пропаганда, видимо, идеологии. Знак не знаю, могу ошибиться; Он не попадался, но здесь могу сказать, что степень до смешения схожа именно с националистическим: красный фон, белый круг, и в нем этот черный ромбик;
(20) На картинке изображен мужчина в форме, схожей с формой фашистской Германии, военнослужащего офицера. Соответственно, буква <Ю» является символикой фашизма и отнесена к фашистской символике, либо с ней схожа;
(21) ...единственное, могу предположить, что это своего рода обыгрывается какая-то фашистская символика. Судя по цветам, по другим изображениям, которые есть.
В группе респондентов, давших эталонную оценку стимулу, абсолютное большинство людей были осведомлены о движении грам-мар-наци и взглядах его участников. Респонденты толковали содержание стимула как призыв соблюдать нормы правописания от имени граммар-наци - движения охранителей грамотности, например:
(22) Это известный опять граммар-наци. / «Пиши верно», иначе будет «ая-яй». Если мы будем вот из этого исходить, что взгляд тут слегка туда направлен. Что «пиши верно», я за тобой смотрю. Как граммар-наци наблюдает за нами, как мы пишем.
Респонденты соотносили символ грам-мар-наци и окружающие его знаки как признаки одного явления, например:
(23) Вместе с тем слева я наблюдаю знак «Ю» и под ней подпись «пиши верно», я полагаю, что указание на то, что надо писать правильно, а это, наверное, символ группировки, не группировки, а движения граммар-наци.
Описывая объектное содержание и интерпретируя сообщение, респонденты использовали преимущественно компактные конструкции идентификации в сочетании с термином «граммар-наци», не раскрывая его значения в комментариях первой части:
(24) Речь о движении граммар-наци, но на грани фола;
(25) Это опять же граммар-наци, мы о ней уже говорили;
(26) Граммар-наци: «Пиши верно!». Суть -пиши верно;
(27) Это известный опять граммар-наци.
Минимальная пропозициональная структура таких высказываний свидетельствует о сформированности у респондентов знания о признаках понятия «граммар-наци», маркированных в памяти как целостный набор при помощи отдельной лексической единицы.
У респондентов, давших неэталонную оценку стимулу, статистически значимые различия наблюдались в параметрах относительного времени рассматривания зон и длительностях фиксаций в зонах: наибольшее относительное время рассматривания знака и наибольшая их длительность наблюдались в зоне символа граммар-наци, вызвавшего затруднения при толковании. У респондентов, эталонно оценивших стимул, не было обнаружено значимых различий ни в количестве фиксаций, ни в их длительности, ни - как следствие - во времени рассматривания зон интереса. Эти данные позволяют считать, что в данном стимуле, где каждый из компонентов отсылает к целостному понятию, респонденты, владеющие
значениями всех знаков, рассматривают их с одинаковым вниманием и ни один из них не наделяют решающей для интерпретации значимостью, в противоположность тем, кто, не владея значением символа граммар-наци, концентрирует свое внимание на данном знаке в попытке контекстуально его семантизировать.
Основываясь на данных о движениях глаз и о структуре и содержании комментариев респондентов в отношении стимулов с непонятными знаками, можно утверждать, что удлинение времени рассматривания зоны отдельных знаков также коррелирует с затруднениями, которые при декодировании испытывали респонденты, не владеющие значениями этих знаков.
Выводы
Результаты представленного экспериментального исследования уточняют сведения о распределении внимания у судебных экспертов-лингвистов и респондентов без экспертных компетенций. Существующее на данный момент представление о превосходстве экспертов связано с более быстрым выполнением ими заданий при меньшей когнитивной нагрузке, которая выражена в глазодвигательных параметрах. Однако наше исследование показало, что опыт и профессиональные знания экспертов не всегда способствуют увеличению скорости выполнения заданий. Более того, у экспертов, участвовавших в данном исследовании, при выполнении заданий наблюдались некоторые когнитивные затруднения, выразившиеся в специфическом паттерне рассматривания изображений. Мы получили ценные сведения о паттерне рассматривания мало информированных респондентов, который по многим параметрам соотносился с паттерном экспертов, что может отражать сходный уровень сложности и количество затраченных усилий, хотя природа таких различий не едина. Кроме того, нами получены представляющие научный интерес данные о глазодвигательных характеристиках хорошо информированных людей, которые мы описали как обобщенный анализ стимула. Наличие знаний о фактах экстремистского дискурса помогало респондентам быстрее принимать решения, а отсутствие знаний о методике ана-
лиза таких материалов позволяло избежать подробного и вдумчивого анализа. Все эти экспериментальные данные вносят вклад в понимание процессов распознавания визуальной информации и могут стать основой для дальнейшего изучения механизмов восприятия и обработки поликодовых текстов не только в области изучения деятельности экспертов.
Заслуживают исследовательского внимания данные, полученные при анализе влияния фактора эталонности оценки на глазодвигательные параметры. Стратегия рассматривания, примененная респондентами, ответившими «затрудняюсь», явно указывает на затруднения, выраженные в продолжительности выполнения задания и длинных частых фиксациях, во время которых респонденты, вероятно, пытались извлечь дополнительную информацию из элементов изображения. Такое объяснение применимо и для респондентов, давших неэталонную оценку стимулам, поскольку они делали большее количество непродолжительных фиксаций, чем те, кто давал эталонные оценки. Респонденты, эталонно оценившие стимулы, пользовались иной стратегией, в которой распознавание компонентов стимула делалось за счет продолжительных редких фиксаций. Такое различие может указывать не только на то, что обладание специальными знаниями и опытом помогало успешно справиться с задачей, но и на точное понимание того, какие из компонентов стимула должны быть рассмотрены для целостной интерпретации сообщения, заключенного в стимуле. Результаты, полученные при анализе данных, характеризующих этот фактор, свидетельствуют об ограничениях, которые выражены в возможном субъективном понимании задания. Эти результаты могут стать основой для дальнейшего изучения стратегий понимания визуальной информации.
Результаты, полученные на малой выборке, предварительно подтверждают гипотезу о том, что знаки, которые обладают наибольшей информационной значимостью и / или не понятны, независимо от наличия у воспринимающего специальных или дискурсивных знаний, в большей степени привлекают его внимание. По результатам этой серии анализа данных наибольшее относительное время рассматривания понятного знака наблюдалось
при наибольшем количестве смысловых взаимосвязей знака с другими компонентами стимула. Кроме того, при просмотре непонятных знаков, независимо от количества семантических связей с окружающими знаками, также происходило удлинение времени рассматривания. Эти сведения подлежат проверке на расширенной контролируемой выборке. Полученные предварительные результаты могут быть использованы при разработке гипотез о формировании базовой репрезентации поликодовых текстов, а также при создании методических продуктов для целей судебно-лингви-стической экспертизы поликодовых текстов.
ПРИМЕЧАНИЕ
1 Работа выполнена при финансовой поддержке РФФИ, проект № 17-29-09170 «Исследование психофизиологических и психолингвистических особенностей восприятия и декодирования поликодовых текстов экстремистской направленности».
The reported study was funded by RFBR, Project no. 17-29-09170 "Psychophysical and Psycholinguistic Assessment of Perception and Decoding of Multimodal Texts of Extremist Nature".
СПИСОК ЛИТЕРА ТУРЫ
Арутюнова Н. Д., 1976. Предложение и его смысл : Логико-семантические проблемы. М. : Наука. 383 с.
Барабанщиков В. А., Жегалло А. В., 2013. Регистрация и анализ направленности взора человека. М. : Ин-т психологии РАН. 323 с. Берлин Хенис А. А., Пучкова А. Н., 2020. Оценка восприятия поликодовых текстов экстремистской направленности с применением метода айтрекинга // Международный аспирантский вестник. Русский язык за рубежом. № 1. С. 76-79.
Блинникова И. В., Ишмуратова Ю. А., 2019. Анализ когнитивной компетентности специалистов химической отрасли на основе сравнения движений глаз у начинающих и опытных профессионалов // Организационная психология. Т. 9, № 1. С. 13-38. Горбачева А. В., Берлин Хенис А. А., Пучкова А. Н., Осадчий М. А., 2021. Современное состояние разработок в области методики судебно-лин-гвистического анализа поликодовых текстов: «Друзья, меняйте методичку» // Семиотико-семасиологическое измерение политическо-
го дискурса : коллектив. моногр. М. : Гос. ин-т рус. яз. им. А.С. Пушкина. С. 274-292. Горбачева А. В., Нестерова Т. В., Осадчий М. А., 2020. Об экспертной и неэкспертной интерпретации поликодовых текстов // Вестник Волгоградского государственного университета. Серия 2, Языкознание. Т. 19, № 1. С. 102-114. DOI: https://doi.org/10.15688/jvolsu2.2020.L9 Злоказов К. В., Липницкий А. В., 2018. Насилие в креолизованном тексте: исследование закономерностей понимания // Политическая лингвистика. № 5 (71). С. 143-151. DOI: 10.26170/ pl18-05-20
Соловьева В. А., Вениг С. Б., Белых Т. В., 2021. Анализ окуломоторной активности, наблюдаемой при изучении образовательного материала с экрана // Интеграция образования. Т. 25, № 1. С. 91-109. DOI: 10.15507/1991- 9468.102.025.202101.091-109 Сонин А. Г., 2006. Моделирование механизмов понимания поликодовых текстов : дис. ... д-ра филол. наук. М. 323 с. Baldry A., Thibault P. J., 2006. Multimodal Transcription and Text Analysis: A Multimedia Toolkit and Associated On-Line Coursebook. L. ; Oakville : Equinox. 270 p. Chourasia R., Sharma M. D., 2017. Comparison ofEye Scan Patterns in Expert and Novice Pilots During Runway Approach and Landing // Indian Journal of Aerospace Medicine. Vol. 61, № 2. P. 24-32.
Colago C. A., Acarturk C., 2019. Visual Behaviour During Perception of Architectural Drawings: Differences Between Architects and Non-architects // Design Computing and Cognition '18. Cham : Springer. DOI: 10.1007/ 978-3-030-05363-5_21 Duc A. H., Bays P., Husain M., 2008. Eye Movements as a Probe of Attention // Progress in Brain Research. Vol. 171. P. 403-411. DOI: 10.1016/ S0079-6123(08)00659-6 Dzeng E., Colaianni A., Roland M., Levine D., Kelly M. P., Barclay S., Smith T. J., 2016. Moral Distress Amongst American Physician Trainees Regarding Futile Treatments at the End of Life: A Qualitative Study // Journal of General Internal Medicine. Vol. 31, № 1. P. 93-99. Franks B., 2018. Turning Up the Variable Noise: The Quiet Eye, Functional Variability and Advancements in Perceptual Cognitive Expertise : PhD diss. Oxford : Oxford Brookes Departments. 77 p. Gegenfurtner A., Lehtinen E., Saljo R., 2011. Expertise Differences in the Comprehension of Visualizations: A Meta-Analysis of Eye-Tracking Research in Professional Domains // Educational Psychology Review. Vol. 23, № 4. P. 523-552.
Hiippala T., 2012. Reading Paths and Visual Perception in Multimodal Research, Psychology and Brain Sciences // Journal of Pragmatics. Vol. 44. P. 315— 327. DOI: 10.1016/j.pragma.2011.12.008
Holmqvist K., Nystrom M., Andersson R., Dewhurst R., Jarodzka H., Van de Weijer J., 2011. Eye Tracking: A Comprehensive Guide to Methods and Measures. Oxford : OUP Oxford. 560 p.
Jessup S., Willis S. M., Alarcon G., Lee M., 2021. Using Eye-Tracking Data to Compare Differences in Code Comprehension and Code Perceptions Between Expert and Novice Programmers // Proceedings of the 54th Hawaii International Conference on System Sciences. P. 114.
Kalyuga S., 2007. Enhancing Instructional Efficiency of Interactive E-learning Environments: A Cognitive Load Perspective // Educ Psychol Rev. 19. P. 387-399. DOI:10.1007/s10648-007-9051-6
Kendeou P., van den Broek P., 2005. The Effects of Readers' Misconceptions on Comprehension of Scientific Text // Journal of Educational Psychology. Vol. 97, № 2. P. 235-245. DOI: 10.1037/0022-0663.97.2.235
Kintsch W., 1974. The Representation of Meaning in Memory. Hillsdale, N. J. : Lawrence Erlbaum Associates. 279 p.
Konstantopoulos P., 2009. Investigating Drivers' Visual Search Strategies: Towards an Efficient Training Intervention : PhD diss. Nottingham : University of Nottingham. 224 p.
Kress G., Leeuwen T. van, 1996. Reading Images: The Grammar ofVisual Design. N. Y : Routledge. 312 p.
Kress G., Leeuwen T. van, 2001. Multimodal Discourse: The Modes and Media of Contemporary Communication. L. : Edward Arnold. 152 p.
Kundel H. L., Nodine C. F., Conant E. F., Weinstein S. P., 2007. Holistic Component of Image Perception in Mammogram Interpretation: Gaze-Tracking Study // Radiology. Vol. 242, № 2. P. 396-402.
Leeuwen T. van, 2005. Introducing Social Semiotics. N. Y. : Psychology Press. 320 p.
O'Halloran K., 2008. Systemic Functional-Multimodal Discourse Analysis (SF-MDA): Constructing Ideational Meaning Using Language and Visual Imagery // Visual Communication. Vol. 4. P. 443-475. DOI: 10.1177/1470357208096210
O'Halloran K. L., Tan S., Wignell P., Bateman J. A., Pham D.-S., Grossman M., Moere A. V., 2016. Interpreting Text and Image Relations in Violent Extremist Discourse: A Mixed Methods Approach for Big Data Analytics // Terrorism and Political Violence. P. 1-21. DOI: 10.1080/09546553.2016.1233871
Petrova T. E., Riekhakaynen E. I., Bratash V. S., 2020. An Eye-Tracking Study of Sketch Processing: Evidence from Russian // Frontiers in Psychology. 11. P. 297.
Rayner K., 2009. Eye Movements and Attention in Reading, Scene Perception, and Visual Search // The Quarterly Journal of Experimental Psychology. Vol. 62, №№ 8. P. 1457-1506.
Richter T., Maier J., 2017. Comprehension of Multiple Documents With Conflicting Information: ATwo-Step Model of Validation. Educational Psychologist. 52. P. 148-166.
The Cambridge Handbook of Expertise and Expert Performance, 2018 / ed. by K. A. Ericsson [et al.]. 2nd ed. N. Y. : CUP. 918 p.
Verhoeven L., Perfetti Ch., 2008. Advances in Text Comprehension: Model, Process and Development // Applied Cognitive Psychology. Vol. 22, №> 3. P. 293-301. D0I:10.1002/acp.1417
Visual Span in Expert Chess Players: Evidence from Eye Movements, 2001 / E. M. Reingold [et al.] // Psychological Science. Vol. 12, №> 1. P. 48-55.
Yarbus A. L., 1967. Eye Movements and Vision. N. Y. : Plenum Press. 121 p.
REFERENCES
Arutyunova N.D., 1976. Predlozhenie i ego smysl: logiko-semanticheskie problemy [The Sentence and Its Meaning: Logic and Syntactic Issues]. Moscow, Nauka Publ. 383 p.
Barabanshchikov V.A., Zhegallo A.V., 2013. Registratsiya i analiz napravlennosti vzora cheloveka [Registration and Analysis of Human Gaze Direction]. Moscow, Institut psihologii RAN. 323 p.
Berlin Henis A.A., Puchkova A.N., 2020. Otsenka vospriyatiya polikodovykh tekstov ekstremistskoy napravlennosti s primeneniem metoda aytrekinga [An Eye Tracking Study of Extremist Multimodal Texts Perception]. Mezhdunarodnyy aspirantskiy vestnik. Russkiy yazyk za rubezhom [International Postgraduate Bulletin. Russian Language Abroad], no. 1, pp. 76-79.
Blinnikova I.V., Ishmuratova Yu.A., 2019. Analiz kognitivnoy kompetentnosti spetsialistov khimicheskoy otrasli na osnove sravneniya dvizheniy glaz u nachinayushchikh i opytnykh professionalov [Analysis of Cognitive Competence of Chemists: Comparison Between Novices and Professionals Using Eye Tracker]. Organizacionnaya psihologiya [Organizational Psychology], vol. 9, no. 1, pp. 13-38.
Gorbacheva A.V, Berlin Henis A.A., Puchkova A.N., Osadchiy M.A., 2021. Sovremennoe sostoyanie
razrabotok v oblasti metodiki sudebno-lingvisticheskogo analiza polikodovykh tekstov: «Druzya, menyayte metodichku» [Current State of Methodical Materials on Forensic Linguistic Analysis of Multimodal Texts: "Change the Manual, Friends"]. Semiotiko-semasiologicheskoe izmerenie politicheskogo diskursa: kollektiv. monogr. [Semiotic-Semasiological Dimension of Political Discourse. Collective Monograph]. Moscow, Gos. in-t rus. yaz. im. A.S. Pushkina, pp. 274-292.
Gorbacheva A.V, Nesterova T. V, Osadchiy M. A., 2020. Ob ekspertnoy i neekspertnoy interpretatsii polikodovykh tekstov [On Forensic Linguists and Non-Experts Interpretation of Multimodal Texts]. Vestnik Volgogradskogo gosudarstvennogo universiteta. Seriya 2. Yazykoznanie [Science Journal of Volgograd State University. Linguistics], vol. 19, no. 1, pp. 102-114. DOI: https://doi.org/10.15688/jvolsu2.2020.1.9 Zlokazov K.V., Lipnickij A.V., 2018. Nasilie v kreolizovannom tekste: issledovanie zakonomernostej ponimaniya [Violence in Creolized Text: Analysis of Comprehension Patterns]. Politicheskaya lingvistika [Political Linguistics], no. 5 (71), pp. 143-151. DOI: 10.26170/pl18-05-20 Solovieva V.A., Venig S.B., Belykh T.V, 2021. Analiz okulomotornoy aktivnosti, nablyudaemoy pri izuchenii obrazovatelnogo materiala s ekrana [Analysis of Students' Oculomotor Activity Observed When Reading from the PC Screen]. Integraciya obrazovaniya [Education Integration], vol. 25, no. 1, pp. 91-109. DOI: 10.15507/1991- 9468.102.025.202101.091-109 Sonin A.G., 2006. Modelirovanie mekhanizmov ponimaniya polikodovykh tekstov: dis. ... d-ra filol. nauk [Modeling of Mechanisms for Understanding Multimodal Texts. Dr. philol. sci. diss.]. Moscow. 323 p. Baldry A., Thibault P.J., 2006. Multimodal Transcription and Text Analysis: A Multimedia Toolkit and Associated On-Line Coursebook. London, Oakville, Equinox. 270 p. Chourasia R., Sharma M.D., 2017. Comparison ofEye Scan Patterns in Expert and Novice Pilots During Runway Approach and Landing. Indian Journal of Aerospace Medicine, vol. 61, no. 2, pp. 24-32. Colaço C.A., Acarturk C., 2019. Visual Behaviour During Perception of Architectural Drawings: Differences Between Architects and Non-Architects. Design Computing and Cognition '18. Cham, Springer. DOI: 10.1007/ 978-3-030-05363-5_21 Duc A.H., Bays P., Husain M., 2008. Eye Movements as a Probe of Attention. Progress in Brain
Research, vol. 171, pp. 403-411. DOI: 10.1016/ S0079-6123(08)00659-6
Dzeng E., Colaianni A., Roland M., Levine D., Kelly M. P., Barclay S., Smith T.J., 2016. Moral Distress Amongst American Physician Trainees Regarding Futile Treatments at the End of Life: A Qualitative Study. Journal of General Internal Medicine, vol. 31, no. 1, pp. 93-99.
Franks B., 2018. Turning Up the Variable Noise: The Quiet Eye, Functional Variability and Advancements in Perceptual Cognitive Expertise. PhD Diss. Oxford, Oxford Brookes Departments. 77 p.
Gegenfurtner A., Lehtinen E., Sâljô R., 2011. Expertise Differences in the Comprehension of Visualizations: A Meta-Analysis of Eye-Tracking Research in Professional Domains. Educational Psychology Review, vol. 23, no. 4, pp. 523-552.
Hiippala T., 2012. Reading Paths and Visual Perception in Multimodal Research, Psychology and Brain Sciences. Journal of Pragmatics, vol. 44, pp. 31327. DOI: 10.1016/j.pragma.2011.12.008
Holmqvist K., Nystrôm M., Andersson R., Dewhurst R., Jarodzka H., Van de Weijer J., 2011. Eye Tracking: A Comprehensive Guide to Methods and Measures. Oxford, OUP Oxford. 560 p.
Jessup S., Willis S.M., Alarcon G., Lee M., 2021. Using Eye-Tracking Data to Compare Differences in Code Comprehension and Code Perceptions Between Expert and Novice Programmers. Proceedings of the 54th Hawaii International Conference on System Sciences, p. 114.
Kalyuga S., 2007. Enhancing Instructional Efficiency of Interactive E-learning Environments: A Cognitive Load Perspective. Educ Psychol Rev. 19, pp. 387-399. DOI:10.1007/s10648-007-9051-6
Kendeou P., van den Broek P., 2005. The Effects of Readers' Misconceptions on Comprehension of Scientific Text. Journal of Educational Psychology, vol. 97, no. 2, pp. 235-245. DOI: 10.1037/0022-0663.97.2.235
Kintsch W., 1974. The Representation of Meaning in Memory. Hillsdale, N.J., Lawrence Erlbaum Associates. 279 p.
Konstantopoulos P., 2009. Investigating Drivers' Visual Search Strategies: Towards an Efficient Training Intervention. PhD Diss. Nottingham, University of Nottingham. 224 p.
Kress G., Leeuwen T. van, 1996. Reading Images: The Grammar of Visual Design. New York, Routledge. 312 p.
Kress G., van Leeuwen T., 2001. Multimodal Discourse: The Modes and Media of Contemporary Communication. London, Edward Arnold. 152 p.
Kundel H.L., Nodine C.F., Conant E.F., Weinstein S.P., 2007. Holistic Component of Image Perception in Mammogram Interpretation: Gaze-Tracking Study. Radiology, vol. 242, no. 2, pp. 396-402. Leeuwen T. van, 2005. Introducing Social Semiotics.
New York, Psychology Press. 320 p. O'Halloran K., 2008. Systemic Functional-Multimodal Discourse Analysis (SF-MDA): Constructing Ideational Meaning Using Language and Visual Imagery. Visual Communication, vol. 4, pp. 443475. DOI: 10.1177/1470357208096210 O'Halloran K.L., Tan S., Wignell P., Bateman J.A., PhamD.-S., Grossman M., Moere A.V., 2016. Interpreting Text and Image Relations in Violent Extremist Discourse: A Mixed Methods Approach for Big Data Analytics. Terrorism and Political Violence, pp. 1-21. DOI: 10.1080/ 09546553.2016.1233871 Petrova T.E., Riekhakaynen E.I., Bratash VS., 2020. An Eye-Tracking Study of Sketch Processing: Evidence from Russian. Frontiers in Psychology, 11, p. 297.
Rayner K., 2009. Eye Movements and Attention in Reading, Scene Perception, and Visual Search. The Quarterly Journal of Experimental Psychology, vol. 62, no. 8, pp. 1457-1506.
Richter, T., Maier, J., 2017. Comprehension of Multiple Documents with Conflicting Information: ATwo-Step Model of Validation. Educational Psychologist, 52, pp. 148-166.
Ericsson K.A., Hoffman R.R., Kozbelt A., Williams A.M., eds., 2018. The Cambridge Handbook of Expertise and Expert Performance. New York, CUP. 918 p.
Verhoeven L., Perfetti Ch., 2008. Advances in Text Comprehension: Model, Process and Development. Applied Cognitive Psychology, vol. 22, no. 3, pp. 293-301. DOI: 10.1002/acp.1417
Reingold E.M., Charness N., Pomplun M., Stampe D.M., 2001. Visual Span in Expert Chess Players: Evidence from Eye Movements. Psychological Science, vol. 12, no. 1, pp. 48-55.
Yarbus A.L., 1967. Eye Movements and Vision. New York, Plenum Press. 121 p.
Information About the Authors
Aleksandra V. Gorbacheva, Researcher, Laboratory of Language and Cognition, Pushkin State Russian Language Institute, Akademika Volgina St, 6, 117485 Moscow, Russia, [email protected], https://orcid.org/0000-0002-8906-3870
Alexandra A. Berlin Khenis, Junior Researcher, Center of Cognitive Science, Sirius University of Science and Technology, Prosp. Olympiysky, 1, 354340 Sochi, Russia; Specialist, Laboratory of Language and Cognition, Pushkin State Russian Language Institute, Akademika Volgina St, 6, 117485 Moscow, Russia, alexa.munxen@gmail, https://orcid.org/0000-0003-2034-1526
Mikhail A. Osadchiy, Doctor of Sciences (Philology), Vice-President, Russian Society for Teaching Russian Language and Literature, PO Box 16 Saint Petersburg, Russia, [email protected], https://orcid.org/0000-0001-7964-9029
Информация об авторах
Александра Вячеславовна Горбачева, научный сотрудник лаборатории когнитивных и лингвистических исследований, Государственный институт русского языка им. А.С. Пушкина, ул. Академика Волгина, 6, 117485 г. Москва, Россия, [email protected], https://orcid.org/0000-0002-8906-3870
Александра Алехандровна Берлин Хенис, младший научный сотрудник Центра когнитивных исследований, Научно-технологический университет «Сириус», просп. Олимпийский, 1, 354340 г. Сочи, Россия; специалист лаборатории когнитивных и лингвистических исследований, Государственный институт русского языка им. А.С. Пушкина, ул. Академика Волгина, 6, 117485 г. Москва, Россия, [email protected], https://orcid.org/0000-0003-2034-1526
Михаил Андреевич Осадчий, доктор филологических наук, вице-президент, Российское общество преподавателей русского языка и литературы, а/я 16 г. Санкт-Петербург, Россия, [email protected], https://orcid.org/0000-0001-7964-9029
