CC BY
22ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
DOI: 10.17725/rensit2020.12.263
Окуломоторные реакции в фиксациях и саккадах при визуальном восприятии информации
1Беляев Р.В., 1Грачев В.И., 1Колесов В.В., 2Меньшикова Г.Я., 3Попов А.М., 3Рябенков В.И.
1Институт радиотехники и электроники им. В.А. Котельникова РАН, http://www.cplire.ru/ Москва 125009, Российская Федерация
2Московский государственный университет им. М.В. Ломоносова, http://www.psy.msu.ru/ Москва 125009, Российская Федерация
3МИРЭА-Российский технологический университет, http://www.mirea.ru/ Москва 119454, Российская Федерация
E-mail: belyaeiJ@tplire.ru,grachev@cplire.m, kvv@plire.ru, menshikova@psi.msu.ru,popov@mirea.ru, ryabenkov@mirea.ru Поступила 9.07.2020, рецензирована 13.07.2020, принята 20.07.2020
Аннотация. Работа посвящена особенностям движения взгляда в фиксациях и саккадах при чтении текста и восприятии нейтральных изображений. Обнаружено существование в фиксациях кратных (почти однонаправленных) смещений, вероятность реализации которых существенно превосходит аналогичную вероятность в смоделированных случайных фиксациях. Исследовалась зависимость корреляции времени, проведенного в фиксациях, от степени искажения текстов при их чтении. Выявлена статистика распределения направлений смещений взгляда в фиксациях и саккадах. Показано, что при чтении направление смещений в саккадах заранее детерминировано. В случае фиксаций в распределении выделяются вертикальные и горизонтальные направления, причем это характерно не только при чтении текста, но и при восприятии различных изображений, в том числе и повернутых на различные углы. Обнаружены индивидуальные особенности зрительной системы, связанные с несинхронным движением взглядов левого и правого глаза у некоторых испытуемых. Определена шумовая погрешность регистрирующей системы айтрекинга при регистрации смещений взгляда. Показано, что вплоть до смещений взгляда порядка 1 мм, превалируют шумы регистрирующей системы измерения, которые по длине имеют нормальное распределение, а по углу распределены равномерно
Ключевые слова: глазодвигательные реакции (окуломоторика), технология айтрекинга, фиксации, саккады, чтение текста, кратные смещения УДК 004.932.2; 159.931
Благодарности: Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ.
Для цитирования: Беляев Р.В., Грачев В.И., Колесов В.В., Меньшикова Г.Я., Попов А.М., Рябенков В.И. Окуломоторные реакции в фиксациях и саккадах при визуальном восприятии информации. РЭНСИТ, 2020, 12(2):263-274. DOI: 10.17725/rensit.2020.12.263._
Oculomotor reactions in fixations and saccades with visual
perception of information
Rostislav V. Belyaev, Vladimir I. Grachev, Vladimir V. Kolesov
Kotelnikov Institute of Radioengineering and Electronics of RAS, http://www.cplire.ru/
Moscow 125009, Russian Federation
E-mail: belyaev@cplire.ru, grachev@cplire.ru, kvv@cplire.ru
Galina Ya. Menshikova
Lomonosov Moscow State University, http://www.psy.msu.ru/ Moscow 125009, Russian Federation
264
м^н?ье1ш1р;вовграаг,яевпвс;п'о;олм;^орявв^^ков в.и. ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
E-mail: menshikova@psi.msu.ru
Alexander M. Popov, Viktor I. Ryabenkov
MIREA-Russian Technological University, http://www.mirea.ru/
Moscow 119454, Russian Federation
E-mail:popov@mirea.ru, ryabenkov@mirea.ru
Received July 9, 2020, peer reviewed July 13, 2020, accepted July 20, 2020
Abstract. The work is devoted to the peculiarities of gaze movement in fixations and saccades when reading text and perceiving neutral images. The existence of multiple (almost unidirectional) displacements in fixations was discovered, the probability of which significantly exceeds the similar probability in simulated random fixations. The dependence of the correlation of time spent in fixations on the degree of distortion of texts when reading them was investigated. An interesting aspect of research is the statistics of the distribution of the direction of gaze shifts in fixations and saccades. It is shown that during reading the direction of displacements in saccades is predetermined. In the case of fixations in the distribution, vertical and horizontal directions are distinguished, and this is typical not only when reading a text, but also when perceiving various images, including those rotated at different angles. The individual characteristics of the visual system associated with the non-synchronous movement of the gaze of the left and right eyes in some subjects were found. It was determined the noise error of the eye-tracking recording system when registering the gaze displacements. It is shown that down to gaze displacements of the order of 1 mm, the noises of the registering measurement system prevails, which have a normal distribution along the length, and are uniformly distributed over the angle.
Keywords: oculomotor reactions (oculomotorics), technology of eye tracking, fixations, saccades, reading text, multiple shifts UDC 004.932.2; 159.931
Acknowledgments: This work was carried out with the financial support of the Ministry of Science and Higher Education of the Russian Federation.
For citation: Rostislav V. Belyaev, Vladimir I. Grachev, Vladimir V. Kolesov, Galina Ya. Menshikova, Alexander M. Popov, Viktor I. Ryabenkov. Oculomotor reactions in fixations and saccades with visual
perception of information. RENSIT, 2020, 12(2):263-274. DOI: 10.17725/rensit.2020.12.263._
"Vultus est index animi" ("Глаза - это зеркало души") Марк Тулий Цицерон
Содержание интенсивно ведутся для решения целого ряда
1. Введение (264) физиологических и психологических задач.
2. Аппаратура и методы исследования (265) У каждого человека структура линий, точек и
3. Анализ траектории движения взгляда в цветов в радужной оболочке глаза сочетается области фиксаций (267) в неповторимых и уникальных комбинациях.
4. Анализ движения глаз при чтении текстов Некоторые люди могут иметь похожий цвет
(268)
глаз, но сами линии и точки на радужке так же
5. углоВые рАСпрЕдЕЛЕния СмЕщЕний В уникальны, как и отпечатки пальцев. Известно, фиксациях и саккадах (269)
6. Анализ Влияния шумов регистрирующей аппаратуры (271)
7. заключение (273) Литература (274)
что по глазам человека можно определить почти все: его настроение, черты характера, правдивость слов и множество других аспектов его внутреннего мира. Анализ непроизвольной реакции глаз на предъявляемую информацию может многое сказать 1. ВВЕДЕНИЕ не только об индивидуальных физиологических
Исследования движения глаз при визуальном особенностях работы зрительного аппарата восприятии различной информации достаточно человека, но и о когнитивных и психологических
murhodmai imhuuklctcyunnnrmm окуломоторные реакции в фиксациях и саккадах 265 информациинные техьюшти при визуальном восприятии информации
особенностях индивидуума, его предпочтениях, положительных и отрицательных эмоциях, вызываемых предъявленной информацией, а также о скрываемых и подавляемых чувствах и эмоциях.
В последнее время появился еще один важный аспект исследований в этой области — влияние глазодвигательных реакций на остроту зрения [1]. Высокая острота зрения чрезвычайно важна в различных жизненных ситуациях и для многих профессиональных задач, от уверенного распознавания объектов до вождения автомобилей и самолетов. Хорошо известно, что оптические и анатомические характеристики глаза способствуют хорошему зрению и пространственному разрешению, однако влияние рефлекторных движений глаз на улучшение остроты зрения практически не исследовано. Таким образом исследование глазодвигательной активности при восприятии информации является достаточно актуальной задачей.
2. АППАРАТУРА И МЕТОДЫ ИССЛЕДОВАНИЯ
Траектория движения глаз (eye tracking—айтрекинг) при визуальном восприятии информации состоит, в основном, из локальных фиксаций, когда взгляд фиксируется в области отдельных элементов изображения, и саккад (франц. saccade — рывок), когда взгляд переносится от одного элемента к другому. Если движение глаз в саккадах более менее очевидно и понятно, то в фиксациях ситуация гораздо сложнее, как с точки зрения времени, проводимого взглядом в них, так и с точки зрения траектории взгляда [2]. При визуальном восприятии информации порядка 90% времени взгляд проводит в фиксациях и, по-видимому, в это время происходит формирование и когнитивное осознание зрительного паттерна человеческим мозгом.
Интенсивность этой деятельности далеко не всегда одинакова и сильно зависит от характера предъявляемых изображений. Например, при чтении знакомые знаки (буквы, цифры и прочие знаки) воспринимаются почти автоматически (на рефлекторном уровне), при этом не требуется долгого рассматривания, а остается только осознать текст и следить за содержанием прочитанного. При общем восприятии
графической информации (картины, рисунки) с нейтральным содержанием, при отсутствии в них мелких деталей либо замаскированного изображения, паттерн движения глаз сильно отличается от паттерна при чтении и состоит практически из одних саккад.
В настоящей работе движение глаза регистрировалось с использованием
компьютерной установки с технологией айтрекинга iView XTM High Speed 1250 германской фирмы SMI GmbH (разрешение < 0.01°, частота дискретизации 1250 Гц). В эксперименте голова наблюдателя располагается на определенном расстоянии от экрана монитора (80 см), на котором предъявляется нужное изображение, и для избегания непроизвольных движений и поворотов фиксируется в специальном устройстве. Установка работает в режиме "темного зрачка". При этом глаз подсвечивается точечным источником инфракрасного излучения, а инфракрасная видеокамера производит скоростную съемку глаза. На изображении программно определяется положение зрачка (в ИК лучах он представляет собой темный овал) и его размеры, а также позиция роговичного блика, представляющего собой отражение на роговице источника инфракрасного света. Направление взгляда рассчитывается на основе вектора, соединяющего положения роговичного блика и центра зрачка. Уровень мощности ИК источника достаточен для проведения экспериментов, но не превышает опасной для глаза величины. Параметры ИК-изображения глаза после обработки в специальной программе на компьютере сохраняются в файле данных [3].
Перед началом измерений в процессе калибровки производится определение отклонения зрачка наблюдателя от его центрального положения по системе специальных опорных точек на экране монитора. По разработанному алгоритму определяется взаимосвязь между положением зрачка и положением на экране монитора взгляда наблюдателя на изображение. Использования такого алгоритма позволяет следить на экране монитора за движением взгляда по изображению, а не о движении глаза.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Из нескольких возможных типов движения глаз, отличающихся по временным и пространственным характеристикам, на установке при наблюдении изображения регистрировались три основные характеристики движения глаз: саккады, фиксации и патерн движений глаз, сформированный последовательными выборками из фиксаций п саккад. Траектории отображения движения взгляда строились путем соединения точек с последовательными по времени координатами, определяемые частотой дискретизации цифровой измерительной системы.
Для исследования непроизвольных движений глаз, не связанных с когнитивными процессами в мозгу, представляют интерес два вида смещений взгляда: мпкросаккады (фиксации) — короткие смещения с резким изменением направления, связанные с процессом аккомодации зрительного аппарата, и относительно более длинные саккады, связанные с переносом взгляда в другое место п имеющие в среднем приблизительно одно направление [4, 5].
Паттерн изображения движения глаз в области фиксаций представляет собой множество близко и беспорядочно лежащих точек, которые последовательно проходятся взглядом. При этом проводится сравнительный статистический анализ распределения точек в области фиксации. Сравнительной моделью для паттерна изображения движения глаз в области фиксаций может служить случайное распределение с заданными параметрами (размер области фиксации, дисперсия и приблизительно одинаковая плотность точек на всей площади фиксации, среднее смещение). Таким образом, если с помощью генератора случайных чисел создать искусственную "случайную" фиксацию (СФ) с нужными параметрами, то ее статистические характеристики и некоторые параметры могут служить как бы эталонными при сравнении с аналогичными характеристиками реальных фиксаций (РФ). Явные отличия в указанных характеристиках, которые обнаружатся, скорее всего будут обусловлены когнитивными процессами в мозгу.
Движение взгляда по области фиксации характеризуется также временным
распределением точек в ней. Если РФ разбить на отдельные фрагменты и для каждого фрагмента
Рис. 1. Последовательные фрагменты фиксации (показаны цветом) протяженностью 50 точек. Центры тяжести фрагментов дрейфуют вдоль толстой сплошной линии.
определить положение центра тяжести, соединив их затем сплошной линией, то окажется, что центры тяжести фрагментов как бы дрейфуют по всей фиксации, еще более усложняя создание модели СФ (Рис. 1).
Из общих соображений движение взгляда в фиксациях должно обеспечивать решение двух задач: удержание изображения некоторого рассматриваемого в данный момент элемента картины в области фовеа (центральная зона сетчатки — область наибольшей плотности колбочек) п обеспечение отсутствия эффекта насыщения рецепторов [7].
В экспериментах участвовало несколько пспытуемыхв возрасте от20 до 65 лет. Обозначим их условно буквами Е, О, V, М, Z, Р4, Р5 и Р7. Первым пяти предлагалось в течение 10 секунд рассматривать, без конкретного задания, три нейтральных изображения Рис. 1 а,Ь,с (условно обозначим их Б, Т и XV), которые при каждом последующем наблюдении поворачивались на 45° относительно предыдущего положения, причем у испытуемых Мп2 регистрировались координаты п левого и правого взгляда, но с частотой/ = 500 Гц.
Рис.
п,
а Ь с
\а,Ь,с. Изображения различной структуры, в эксперименте: а — «фрактал» (Р); Ь — «дерево» (Т) и с — «волна» (IV).
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ОКУЛОМОТОРНЫЕ РЕАКЦ1ПIВ Ф1ПССАЦ1 ИХ 11 САККАДАХ 267 ПР11 В1ВУААЬНОМ ВОСПР11ЯТ1II111НФОРМАЦ1III
Испытуемым Р4, Р5 и Р7 предлагалось прочитать 11 коротких текстов (3-4 строки), при этом первый вариант каждого текста полностью соответствовал правописанию, чтение же последующих пяти вариантов того же текста сознательно усложнялось искажениями: исключались промежутки между словами и знаки препинания, вставлялись лишние пробелы, менялись местами буквы в словах и при этом переставлялись либо разрывались слова.
3. АНАЛИЗ ТРАЕКТОРИИ ДВИЖЕНИЯ ВЗГЛЯДА В ОБЛАСТИ ФИКСАЦИЙ
Для модели случайных фиксаций (СФ) вероятность осуществления нескольких приблизительно однонаправленных,
последовательных смещений (в дальнейшем будем называть их кратными смещениями, причем под кратностью смещения к будем понимать количество последовательных, однонаправленных смещений) должна резко уменьшаться с ростом кратности к. Экспериментальные данные показывают, что число таких кратных смещений в реальных фиксациях (РФ) всегда превышает аналогичное число для СФ при одинаковой статистике (полное число смещений в фиксации). Процедура обнаружения кратных смещений в РФ состоит в следующем: при длине РФ, равной IV, вычислялись суммы длин к последовательных смещений (таких сумм набиралось, очевидно, (N-^+1)), затем из каждой таким образом полученной суммы вычиталась длина перемещения из начала первого
Рис. За. Зависимость доли кратных смещений от кратности к (красная кривая для СФ. ост ситные для РФ)
смещения в конец /ё-го. Если полученная разность оказывалась меньше десятой части средней длины смещения в РФ, то считалось, что данные к смещений имеют приблизительно одинаковое направление, в противном случае эти к смещений однонаправленными не считались.
Описанная процедура для кратности к = 4 иллюстрируется на Рис. 2. Фактически сравнивается результирующее смещение по к отрезкам ломаной линии с суммой длин тех же отрезков, вытянутых вдоль прямой (в одном направлении). Заметим, что одна десятая от средней длины смещения составляет величину порядка 0.04-0.2 мм и является довольно жестким критерием отбора. Всего было обработано более 103 фиксаций самой разной продолжительности. Результаты обработки представлены на графиках (Рис. За
Рис. 2. Фрагмент реального трекинга, на котором жирной линией выделены 4 последовательных смещения, совершенных приблизительно в одном направлении и пунктирная прямая, демонстрирующая перемещение между начальной и конечной точками трека.
Рис. ЗЬ. Зависимость доли кратных смещений от кратности к (красная кривая для СФ, остсьтные для РФ).
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
и 3Ь), показывающих отношения числа кратных смещений к общему количеству смещений в зависимости от кратности k. В тех же осях строилось аналогичное отношение для искусственной случайной фиксации СФ, которая генерировалась так, чтобы средняя длина смещения в ней была бы такой же, как в РФ, и количество точек в точности совпадало.
Внешний вид графиков СФ и РФ абсолютно одинаков, число кратных смещений в СФ при любой кратности всегда меньше, чем в реальных, а при кратности k > 4 они вообще отсутствуют (фиксация при этом содержит порядка 50000 точек), в то время как в реальных фиксациях существуют смещения, кратность которых достигает 7 даже при меньшей длительности.
При этом обращает на себя внимание очень малый разброс по значениям (графики практически сливаются) указанных зависимостей для реальных фиксаций, независимо от испытуемого и рассматриваемого объекта. По-видимому, это указывает на то, что механизм (алгоритм) движения глаза в фиксациях идентичен у всех испытуемых. С учетом временных характеристик движения можно предположить наличие специфического видеопроцессора (видимо расположенного в мозгу), который должен как можно ближе находиться к мышцам, осуществляющим эти движения [7]. На основе экспериментальных данных был проведен поиск возможных преимущественных направлений с кратными смещениями в области фиксации. Так как нам известны начальные и конечные точки перемещений, то в зависимости от того, какая из них ближе к центру фиксации, можно было бы судить о некоем преимущественном направлении кратных смещений и делать выводы об их предназначении. Однако, анализ треков показал, что такого преимущественного направления не существует вплоть до кратности k = 4. При больших кратностях некоторое отличие появляется, но оно не обеспечено статистически, угловые распределения кратных смещений не обнаруживают каких-либо особенностей.
4. АНАЛИЗ ДВИЖЕНИЯ ГЛАЗ ПРИ ЧТЕНИИ ТЕКСТОВ
Очевидно, что при чтении текстов движение взгляда строго детерминировано. Этот факт легко подтверждается многочисленными трекингами взгляда, на которых без труда узнается движение по строкам, с определенным числом остановок в фиксациях, саккадное перемещение между словами и обратные саккады, возвращающие взгляд в начало следующей строки [5,6]. При этом, те же 90% времени взгляд проводит в фиксациях и, по-видимому, в это время и происходит собственно чтение и предварительное осмысление прочитанного. Идея описываемого ниже эксперимента заключалась в том, чтобы заставить взгляд больше времени проводить в фиксациях, искусственно усложнив процесс чтения и восприятия текста, определенным образом исказив его. Как это делается, можно проиллюстрировать на примере одного из 11 текстов. Вначале приведем исходный текст и 5 искаженных его вариантов:
1) любая точка, которая оценивается как расположенная на том же расстоянии от глаз, что и точка фиксации, образует две проекции корреспондирующих точек сетчаток,
2)любаяточкакотораяоцениваетсякакрасположен наянатомжерасстоянииотглазчтоиточкафик сацииобразуетдвепроекциикорреспондирующи хточексетчаток,
3) л ю б а я т о ч к а к о т о р а я о ц е н и в а е т с я к а к р а с п о л о ж е н н а я н а т о м ж е р а с с т о я н и и о т г л а з ч т о и т о ч к а ф и к с а ц и и о б р а з у е т д в е п р о е к ц и и к о р р е с п о н д и р у ю щ и х т о ч е к с е т ч а т о к,
4) любаят очкак отораяо цениваетсяк акр асположеннаян ат омж ерасстояниио тг лазч то ит очкаф иксациио бразуетд веп роекциик орреспондирующихт очекас етчаток,
5) лаюбя тчкоа коротая оцативеенся как раножелонспаяна том же раонстсяии от галзчто и токча фисцакии обзурает две пркцоиеи коеондскщрируюрих токче сеатчток,
6) люб а ят оч как от ора яоц ен ива етс яка кра спо лож ен на яна то м жер асс тоя ни ио тгл азч тои то чкаф икса циио бра зуе тдве п рое к ци ико ррес по нд ир ую щи хто чек се тч ато к.
На первый взгляд приведенные примеры показывают, что восприятие искаженных текстов
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ОКУЛОМОТОРНЫЕ РЕАКЦ1ПIВ Ф1ПССАЦ11ЯХ11САККАДАХ 269 ПР11 BIВУААЬНОМ ВОСПР11ЯТ1II111НФОРМАЦ1III
(испытуемый №4) (испытуемый №5) с)р (испытуемый №7)
Рис. 4. Таблицы отношения времени Рк(ц), проведенного в фиксациях, к полному времени, затраченному на чтение текста.
существенно затрудняется, по сравнению с неискаженным, и соответственно, время, проводимое в фиксациях должно возрасти, т.к. саккады подобного увеличения времени вроде бы не требуют. Обозначим отношение времени, проведенного в фиксациях, к полному времени, затраченному на чтение текста, через Р (¿¿), где к. — индекс, принадлежащий определенному испытуемому, / — номер текста (1-11),у — вариант его искажения (1-6). Результаты вычислений приводятся на Рис. 4а,Ь,с, в виде соответствующих матриц размером (11x6), где каждый элемент матрицы представляет собой отношение времени Твыраженное в процентах.
К сожалению, сделать какое-то однозначное заключение из данных рис. 4 достаточно сложно. Лишь испытуемый при чтении всех одиннадцати вариантов неискаженного текста затратил наименьшее время. У испытуемых и этот вывод не подтвердился.
5. УГЛОВЫЕ РАСПРЕДЕЛЕНИЯ СМЕЩЕНИЙ В ФИКСАЦИЯХ И САККАДАХ
Наряду с исследованием приблизительно однонаправленных, последовательных смещений движения взгляда в фиксациях и саккадах актуально также исследование углов, под которыми совершаются отдельные смещения за времена I — 0.8 мс или ( = 2.0 мс, в зависимости от частоты, с которой осуществлялась регистрация положения взгляда. Для каждого смещения вычислялся угол, под которым оно совершалось, причем угол
отсчптывался от горизонтальной осп против часовой стрелки. Углы вычислялись отдельно для смещений, принадлежащих фиксациям, саккадам или всего трекинга. При этом принадлежность каждой точки к фиксации или саккаде определялась стандартным образом программно п выдавалась в виде соответствующего признака в файле данных. В конечном итоге строились распределения смещений по углам в полярных либо декартовых координатах.
Типичные распределения в декартовых координатах показаны на Рис. 5. Следует отметить, что размер области фиксаций как правило небольшой, его площадь составляет величину порядка 1—100 мм2 и, как правило, вся фиксация полностью проецируется на область фовеа сетчатки. В данном случае под площадью фиксации понимается площадь прямоугольника, расположенного в плоскости монитора и имеющего угловой размер порядка одного
Рис. 5. Интегральные (суммарные) уыовые распределения для фиксаций и саккад (испытуемый Е, 8 положений изображения Т). Исследовано порядка 200 фиксаций и саккад.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
градуса и длины сторон которого определяются экстремальными координатами точек фиксации по соответствующим осям.
Определенный разброс точек,
принадлежащих фиксации, может определяться шумами регистрирующей системы. Но если бы шумы системы играли подавляющую роль, то угловое распределение смещений в полярных координатах представляло бы собой почти строгую окружность, что довольно легко проверяется с помощью генератора случайных чисел в соответствующей модели СФ. Однако все угловые распределения для смещений в реальных фиксациях и саккадах демонстрируют явные отклонения от окружности, причем это утверждение справедливо для фиксаций и саккад любой длительности. Характерные признаки асимметрии проявляются в распределениях фактически для каждой фиксации. В меньшей степени приведенное утверждение относится к саккадам из-за существенно меньшей статистики.
Аналогичные распределения имеют место для всех испытуемых, во всех угловых распределениях явно присутствует асимметрия, выраженная в большей или меньшей степени.
Исследовалось также восприятие повернутых изображений, наблюдаемых испытуемыми М п Z, при этом регистрировались координаты взгляда для левого и правого глаза одновременно. Соответствующие угловые распределения представлены на Рис. 6, из которого очевидно, что у испытуемого Z распределения практически совпадают, а у М они несколько различаются, причем различие проявляется при любой ориентации изображения, что видимо обусловлено какими-то индивидуальными особенностями зрительного аппарата.
Обращает на себя внимание тот факт, что асимметрия углового распределения направления смещений при наблюдении нейтральных изображений для саккад практически такая же, как для фиксаций. Совершенно другая ситуация наблюдается в том случае, когда движение глаз заранее жестко детерминировано (например, чтение). На Рис. 7 демонстрируется угловое распределение смещений во всех саккадах, которые возникают при чтении испытуемым Р шести вариантов второго текста. Асимметрия явно изменилась вполне предсказуемым образом, угловое распределение в фиксациях практически осталось прежним.
Исследовалось также изменение направления движения взгляда при реализации двух последовательных смещений. Очевидно, это изменение определяется разностью углов направлений двух указанных смещений. Если углы для смещений изменяются от 1° до 360°, то разность этих углов будет принимать значения от-359° до +359°.
Аля сравнения рассмотрим модель искусственной случайной фиксации (СФ), для которой угловое распределение направления смещений взгляда будет равномерным, а в полярных координатах будет представлять собой окружность. Аля такой модельной фиксации углы поворота смещений определяются как разность при вычитании предыдущего угла из последующего. Угловое распределение таких углов поворота (или отклонения) представлено на Рис. 8. Там же
Рис. 6. Угловые распределения для М — слева, z — (
Рис. 7. Угловые распределения для всех саккад, которые (испытуемый возникают при чтении испытуемым Р шести вариантов
второго текста (всего 7598 точек).
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ОКУЛОМОТОРНЫЕ РЕАКЦ1ПIВ Ф1ПССАЦ11ЯХ11СЛККАДАХ 271 ПР11 В1ВУАЛЬНОМ ВОСПР11ЯТ1II111НФОРМАЦ1III
•IIД1
350 300 150 200 150
N3
Рпс1 I*?.......
Апд ¡^Ч*.
-зоо ;[ а] -юо □ III 1 II зоо
Рис. 8. Угловые распределения для углов отклонения "идеальной" фиксации (Влс1), для всех фиксаций испытуемого Е с учетом всех ориентации изображения Т (Ло]1Пе/Т)
дается такое же распределение для реальных фиксаций (РФ) испытуемого Е с учетом всех ориеитаций изображения Т (^Л^ХЩеГГ). Число точек в СФ и РФ берется таким, чтобы статистика была одинакова (88615 точек). Принципиальное отличие одного распределения от другого очевидно.
Более того, распределение для "идеальной" фиксации (СФ) остается неизменным, если под углом поворота понимать угол между любой парой смещений. Для реальных фиксаций (РФ) это утверждение неверно, что демонстрируется на Рис. 9, где представлены распределения для углов поворота смещений, порядковые номера которых отличаются на 1 (^\Ше1Т) п на 2 С увеличением различия в
порядковых номерах, распределение стремится к 11пс1 на Рис. 8 для СФ. По-видимому, такое отличие в распределении реальных фиксаций от "чисто случайных" говорит о некоей корреляции ближайших двух-четырех смещений взгляда, которая полностью отсутствует в случайном процессе.
Угловое распределение для смещений в
.1Г1Г1
350 300 250 200
N3 АдУУ е!Т
Ад\Л/2е 1Т ■
; Апд
Рис. 9.
порядковые
для углов поворота смещений, которых отличаются на 1 (Л«\¥'1е1Т) и на 2 (Ао]Г2е1Г).
10. Скорректированное угловое распределение ЛорКТ-132.
фиксациях, представленное на Рис. 5, включает в себя чисто шумовые смещения, распределение для которых представляет собой почти строгую окружность. Если принять радиус такой окружности равным минимальному значению в полном распределении (в указанном случае это значение равно 132) и исключить его из полного распределения, то можно получить угловое распределение реальных смещений взгляда, которое представлено на Рис. 10.
6. АНАЛИЗ ВЛИЯНИЯ ШУМОВ РЕГИСТРИРУЮЩЕЙ АППАРАТУРЫ
На распределении (Рис. 10) явно видно преобладание вертикального и горизонтального направлений в угловых распределениях смещений в фиксациях и саккадах, что, по-видимому, связано с системой глазодвигательных мышц. Глазодвигательные мышцы помогают выполнять согласованное передвижение глазных яблок, а также параллельно они обеспечивают качественное восприятие визуальной информации. Двигательную функцию глаза обеспечивают шесть мышц — четыре из них прямые, а две косые. Их названия связаны с особенностями хода в глазной полости, где они располагаются, а также с местом прикрепления к стенке глазного яблока. Благодаря данным мышцам глаза могут выполнять многочисленные передвижения, как однонаправленные, так и разнонаправленные. К однонаправленным относятся повороты вверх, вниз, влево и другие,
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
а к разнонаправленным — сведение взгляда в одну точку.
При измерении траектории движения глаз всегда присутствуют шумы, которые по величине п направлению имеют случайных характер и накладываются на реальные смещения взгляда. Для используемой регистрирующей аппаратуры разрешающая способность равна 0.01°, а рабочая точность — 0.25°-0.5° [10], что в плоскости изображения на мониторе составляет величины соответственно 0.14, 3.5 и 7.0 мм (расстояние до изображения равным 800 мм).
Для исследования углового распределения смещений взгляда в фиксациях и саккадах использовалось изображение ландшафта с явно выраженной линией горизонта и с набором вертикальных элементов. Для снижения влияния доминантных направлений (вертикального и горизонтального) изображение было повернуто на 315 градусов (Рис. 11).
Разделение траектории движения глаз на фиксированные состояния и саккады проводилось по известным методикам [4].
Для исследования статистических характеристик необходимо предварительно выполнить следующую операцию: найти координаты "центра тяжести" (средние значения) для каждой выборки (или просто центра фиксации) и из каждой ее координаты вычесть соответствующие средние значения. Выполнив такую операцию переноса для каждой фиксации и построив совокупную систему трекпнгов, можно получить полное представление о движении взгляда во всех фиксациях при рассматривании данного изображения. Обработав общую совокупность
Рис. И.
трекпнгов, получим статистические
характеристики, распределение точек в фиксациях, например, вдоль осей X и Y, соответствующие дисперсии распределений и т.д. Достоинство такого подхода состоит в том, что можно сравнивать фиксации, полученные при рассмотрении различных паттернов одним испытуемым, а объединяя их, можно легко набрать необходимую статистику.
На Рис. 12л показана экспериментальная совокупность множества точек для всех фиксаций на одном изображении, построенных относительно единого центра тяжести. Регистрируемые измерительной системой трекинги в фиксированных состояниях (фиксациях), соответствующие перемещениям взгляда в этих областях, по крайней мере визуально, выглядят очень похожими на случайный процесс. С целью сопоставления результатов на рис. 12Ь представлены выборки для истинного нормального процесса, сформированные генератором случайных чисел с дисперсиями по X и Y такими же, как для экспериментально зарегистрированного процесса.
При наблюдении трекпнгов движения глаза, построенных для совокупности фиксаций, видно, что взгляд перемещается внутри ограниченной области хаотическим образом (рис. 12а). Из рисунка видно, что отдельные точки выпадают из указанной области, но, из-за
изображения для ' смещений взгляда в ,
■ углового
Рис. 12. а - совокупность множества точек во всех фиксациях изображения, полученная в эксперименте, Ь - моделирование фиксации выборками генератора случайных чисел.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ОКУЛОМОТОРНЫЕ РЕАКЦ1ПIВ Ф1ПССАЦ11ЯХ11САККАДАХ 273 ПР11 В1ВУААЬНОМ ВОСПР11ЯТ1II111НФОРМАЦ1III
Рис. 13. Угловое распределение смещений во всех фиксациях
для изображения на р ис. 11. большой статистики, это практически не влияет на конечный результат.
Типичный пример такого углового распределения для изображения на рис. 11 показан на Рис. 13. Видно, что угловое распределение демонстрирует явную асимметрию для всех смещений Ыэ (зеленая линия), а также для меньших (красная линия) и больших (черная линия) значений.
Анализируя угловое распределение для разных значений смещений взгляда, можно определить пороговое значение смещения, когда распределение становится асимметричным. Необходимо отметить, что при этом необходимо еще исключить "переходные" смещения от фиксаций к саккадам и наоборот, хотя на суммарные угловые распределения они вряд ли окажут какое-либо влияние, в силу малого своего количества и отсутствия какого-либо выделенного направления в фиксации. Полученные распределения представлены на Рис. 14 при разных значениях смещения взгляда (1Л7). Статистика распределения включает 267290 смещений.
Рис. 14 наглядно демонстрирует, что с ростом уровня отсечки (в рассмотрение берутся смещения, длина которых меньше порога 1Л7) асимметрия в угловом распределении растет, все больше начинает преобладать горизонтальное п вертикальное направления смещения взгляда п в конечном итоге угловое распределение стремится к форме креста (Рис. 13).
Таким образом, вплоть до смещений взгляда ЪУ = 1 мм, мы имеем дело с шумами
Рис. 14. Распределения смещений по длине (слева), величина порога (0.5, 1.0 и 2.0 мм, вертикальная линия на графиках слева), меньше которого отбираются смещения и для них
регистрирующей системы измерения, максимум которых приходится приблизительно на 0.8 мм, которые по длине имеют нормальное распределение, а по углу распределены равномерно, что и наблюдается на рис. 14. С ростом смещений шумы в угловой статистике играют все меньшую роль, а роль реальных смешений взгляда все возрастает, на что указывает угловое распределение изменением своей формы, все более отклоняясь от правильной окружности.
7. ЗАКЛЮЧЕНИЕ
В работе исследованы некоторые особенности движения взгляда в фиксациях и саккадах при визуальном восприятии изображений и чтении текстов. Показано, что в области фиксаций имеют место так называемые кратные смещения, частота которых в два и более раз превышает аналогичную для модельных искусственных случайных фиксаций.
Показано, что трекпнгп левого и правого глаза могут отличаться. Это наблюдается как на самих трекингах, так и на угловых распределениях смещений.
Показано, что угловые распределения смещений взгляда не являются равномерными. На них явно выделяются вертикальное п горизонтальное направления, причем это характерно не только для строго детерминированных процессов (чтение), но
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
остается справедливым и при рассматривании нейтральных изображений, в том числе повернутых на различные углы.
Определена шумовая погрешность регистрирующей системы айтрекинга при регистрации смещений взгляда. Показано, что вплоть до смещений взгляда порядка 1 мм, превалируют шумы регистрирующей системы измерения, которые по длине имеют нормальное распределение, а по углу распределены равномерно.
ЛИТЕРАТУРА
1. Janis Intoy, Michele Rucci, Finely tuned eye movements enhance visual acuity. Nature Communications, 2020, 11:795, doi: 10.1038/ s41467-020-14616-2, www.nature.com/ naturecommunications.
2. Menshikova GYa, Belyaev RV, Kolesov VV, Ryabenkov VI. The evaluation of individual differences using fractal analysis of scanpaths. Abstract Book of 18-th Europien Conference on Eye Movements (ECEM), 16-21 Aug. 2015, Vienna, Austria; http://www.jemr.org/online/8/4/1.
3. Guestrin ED, Eizenman M., General Theory of Remote Gase Estimation Using the Pupil Center and Corneal Reflections. IEEE Transitions on biomedical engineering., 2006, 53(6):1124-33.
4. Salvucci D, Goldberg J. Identifying fixations and saccades in eye-tracking protocols. Proceedings of the Eye Tracking Research andApplications Symposium, New York, ACM Press, 2000.
5. Беляев РВ, Колесов ВВ, Меньшикова ГЯ, Попов АМ, Рябенков ВИ. Исследование особенностей восприятия видеоинформации при помощи фрактального анализа траектории движения глаз. Радиоэлектроника. Наносистемы. Информационные технологии (РЭНСИТ), 2011, 3(1):56-68.
6. Кирпичников АП. Видеопроцессор глаза: Микродвижения как фактор аккомодации и видеообработки. 12 международная конференция "Цифровая обработка сигнала и ее применение, DSPA-2010, Обработка и передача изображений', Москва-2010, c.170-172.
7. Rostislav V. Belyaev, Vladimir V. Kolesov, Galina Ya. Menshikova, Alexander M. Popov, Viktor I. Ryabenkov. Dynamics of reverse saccades of reading texts and its connection
with the peculiarities of eye movement. RENSIT, 2018,10(1):117-127, DOI: 10.17725/ rensit.2018.10.117.
8. Rostislav V. Belyaev, Vladimir V. Kolesov, Galina Ya. Men'shikova, Alexander M. Popov, Viktor I. Ryabenkov. Quantitative criterion of individual differences of the eyes movement trajectories. RENSIT, 2015, 7(1):25-33.
9. Tom Foulsham, Alan Kingstone. Asymmetries in the direction of saccades during perception of scenes and fractals: Effects of image type and image features. Vision Research, 2010, 50:779—795.
10. Barabanschikov VA, Zhegallo AV. Eye-Tracking Methods: Theory and Practice. Psychological Science and Education, 2010, 2(5). (psyedu.ru, ISSN: 25876139).
Беляев Ростислав Владимирович
к.ф.-м.н., с.н.с., член-корр. РАЕН
ИРЭ им. В.А. Котельникова РАН
Москва 125009, Россия
belyaev@cplire.ru
Грачев Владимир Иванович
член-корреспондент РАЕН
ИРЭ им. В.А. Котельникова РАН
Москва 125009, Россия
grachev@cplire.ru
Колесов Владимир Владимирович
к.ф.-м.н., с.н.с., действ. член РАЕН
ИРЭ им. В.А. Котельникова РАН
Москва 125009, Россия
kvv@cplire.ru
Меньшикова Галина Яковлевна
д.псих.н.
МГУ им. М.В. Ломоносова Москва 125009, Россия menshikova@psy.msu.ru Попов Александр Михайлович
доцент
МИРЭА-Российский технический университет
Москва 119454, Россия
popov@mirea.ru
Рябенков Виктор Иванович
кт.н, доцент
МИРЭА-Российский технический университет Москва 119454, Россия ryabenkov@mirea.ru.
