CC BY-NC
43Программные системы и вычислительные методы
Правильная ссылка на статью:
Янчус В.Э., Боревич Е.В., Авдеева А.А. — Применение технологии ай-трекинга в вопросах исследования восприятия графической информации // Программные системы и вычислительные методы. - 2021. - № 1. DOI: 10.7256/2454-0714.2021.1.33378 URL: https//nbpublish.com/Hbrary_read_article.php?id=33378
Применение технологии ай-трекинга в вопросах исследования восприятия графической информации
Янчус Виктор Эдмундасович
кандидат технических наук
доцент, кафедра Высшая школа креативной индустрии и дизайна, Санкт-Петербургский
политехнический университет Петра Великого
195256, Россия, г. Санкт-Петербург, пр. Науки, 14, к.1, оф 49
И victorimop@mail.ru
Боревич Екатерина Владиславовна
ассистент, кафедра Высшая школа креативной индустрии и дизайна, Санкт-Петербургский
политехнический университет Петра Великого
195251, Россия, г. Санкт-Петербург, ул. Политехничсекая, 29 ЕЗ plasma5210@mail.ru
Авдеева Анастасия Артемовна
магистр, кафедра Высшая икола креативной индустрии и дизайна, Санкт-Петербургский
политехничсекий университет Петра Великого
195251, Россия, г. Санкт-Петербург, уп. Политехничсекая, 29
И ifinwork@maii.ru
Статья из рубрики "Компьютерная графика, обработка изображений и распознавание образов"
DOI:
10.7256/2454-0714.2021.1.33378
Дата направления статьи в редакцию:
06-07-2020
Аннотация: В настоящее время получают развитие научные исследования связанные с использованием ай-трекинговых технологий. Большая область научных знаний, в которой целесообразно использовать ай-трекинговые технологии, связана с исследованием восприятия зрительной информации. Одним из направлений таких исследований является изучение влияния композиционного построения визуального образа на восприятие его зрителем. Объект исследования - элементы графической композиции (стилевое и цветовое решение). Предмет исследования - методы и
алгоритмы цифровой обработки графического материала. Методы исследования -вычислительные методы цветокоррекции, технология ай-трекинга, методы экспертных оценок, методы статистической обработки полученных экспериментальных данных. Научная новизна представленной работы заключается в разработке методики подготовки и проведения вычислительных экспериментов по исследованию влияния стилевого решения графической композиции на восприятие ее зрителем. Разработанная авторами методика хорошо зарекомендовала при проведении экспериментов по изучению влияния цветового решения кадра на восприятие его зрителем. Проведенное в рамках настоящей работы экспериментальное исследование выявило статистическую значимость влияния стилевого решения графической композиции на восприятие ее зрителем. Была статистически подтверждена гипотеза о том, что абстрактные графические композиции сложны для восприятия зрителем. Полученные результаты могут быть использованы при проектировании сложных графических изображений, при рассматривании которых пользователем основной задачей является скорость восприятия информации.
Ключевые слова: Абстрактная композиция, Зрительное восприятие, Стимульный материал, Ай-трекер, Статистический анализ данных, Эксперимент, Стилевое решение, Визуальная привлекательность, Цифровая постобработка, Статистическая значимость
Введение
В настоящее время получают развитие научные исследования с использованием ай-трекинговых технологий. Это связано с тем, что системы ай-трекинга, появившиеся в 50-
х гг. ХХ века Ш, прошли большой путь технического развития и на сегодняшний момент представляют высокотехнологичные программно-аппаратные комплексы, которые используются в широком спектре исследований. Технологии ай-трекинга существенно упростили работу ученых и повысили ее эффективность.
Окулография — это технология, которая позволяет фиксировать и передавать информацию о движении взгляда человека в реальном времени. Движение взгляда происходит скачками и состоит из фиксаций (коротких остановок глаза на объекте) и саккад (быстрых перемещений глаза). Это основные типы движения глаз. Результаты исследований можно разделить на две группы: визуальные и статистические данные. Визуальные данные преимущественно используются для наглядной демонстрации найденных проблем и особенностей поведения человека. Статистические методы позволяют анализировать множество метрик: количество фиксаций, длительность каждой фиксации, время первой фиксации, общее число фиксаций, сколько было фиксаций до
посещения зоны интереса, средняя длительность саккад и т.д.-2!.
Следует отметить, что ай-трекинговые исследования не распространены в мировом масштабе, в связи с отсутствием разработанных методик проведения экспериментов.
Россия не является исключением-^.
Ай-трегинговые исследования подразумевают разработку методик проведения экспериментов с применением методов математической статистики.
Системы ай-трекинга позволяют проводить новые виды экспериментальных исследований-^:
- когнитивные исследования
- исследования графических пользовательских интерфейсов;
- исследования в области человеко-компьютерного взаимодействия;
- психология программирования.
Большая область научных знаний, в которой целесообразно использовать ай-трекинговые технологии, связана с исследованием восприятия зрительной информации. Одним из направлений таких исследований является изучение влияния композиционного построения визуального образа на восприятие его зрителем -[5].
Теоретическое обоснование
Визуальная привлекательность кинокадра - это свойство кинокадра, направленное на привлечение и удержание внимания зрителя, в результате совокупного воздействия элементов кадра (Рис. 1).
визуальная л ри влекательность
«информативность" *_^ композиционное
(режиссер) Щ ^ ' построение
/14
композиция динамика цветовое
{оператор) у ^ {режиссер) решение
(колорист)
Рис. 1. Схема элементов, определяющих визуальную привлекательность кинокадра
Кинокадр, являясь структурной единицей фильма, кроме смысловой нагрузки несет в себе и визуальную составляющую кинопроизведения. Поэтому можно определить понятие визуальной привлекательности кинокадра, которое характеризует степень заинтересованности зрителя увиденным на экране и определенным эстетическим воздействием на зрителя. Разработанная схема определяет набор параметров, которые в комплексе влияют на степень интереса зрителя к кадру.
Была проведена серия экспериментов по изучению влияния цветового решения
кинокадра на восприятие его зрителем Для проведения экспериментов была разработана схема визуальной привлекательности кинокадра.
Исследования влияния композиционного построения кинокадра на его визуальную привлекательность подразумевает разработку определенной методики проведения
эксперимента -5,6].
Исследование предпочтения или игнорирования геометрических фигур (форм) в
процессе их зрительного восприятия, можно учитывать в области рекламы и маркетинга для поиска эффективных форм представления рекламной продукции с целью
привлечения внимания Данный эксперимент можно рассматривать как определенный этаписследований влияния композиционного решения на восприятие графической композиции.
С другой стороны, стилевое решение созданной графической композиции можно рассматривать как элемент композиционного построения [7,8].
В настоящей работе авторами проведено экспериментальное исследование влияния стилистики графической композиции на восприятие ее зрителем. При разработке методики проведения экспериментального исследования в качестве стилевого решенияграфической композиции выбраны фотореализм, кубизм и абстракционизм.
Постановка эксперимента
В качестве инструмента экспериментального исследования используется стационарное ай-трекинговое оборудование SMIRED-250. Для проведения эксперимента был подготовлен стимульный материал и разработана методика проведения эксперимента, включающую в себя разработку соответствующего стимульного материала, постановку задачи для испытуемых в ходе эксперимента и алгоритм статистической обработки
полученных в ходе эксперимента данных Подготовка стимульного материала
Для стимульных изображений были взяты художественные произведения с геометрической композицией. Желательно было исключить фактор прямой ассоциации с конкретным предметом. При разработке стимульного материалабыли использованы изображения в стиле кубизма и абстракционизма. Композиции в основном состоят из абстрактных пятен и простейших геометрических форм: точка, линия, плоскость.
При разработке контрольной группыстимулов был выбран графический материал в жанре реалистической фотографии с композицией геометрических форм.
Подготовка стимульного материала играет важную роль в методике проведения эксперимента, поскольку именно стимульный материал задает основные условия планируемого исследования. Все композиции, кроме фотографий, являются беспредметными, однако, они имеют смысловую нагрузку. В качестве исходных объектов были выбраны 6 графических композиций и 2 контрольных изображения в чёрно-белой гамме. Для преобразования в чёрно-белую гамму были взяты оригинальные изображения в стилистике кубизм и абстракционизм. Дополнительно было взято ещё 20 работ — дистракторов.
Все изображения были вписаны в квадрат, размером 1080*1080 пикселей, а фон свободного пространства перекрашен в нейтрально-серый (рис.2).
ахроматическая отраженное
схема изображение
Рис.2. Подготовленный стимульный материал Методика проведения эксперимента
Перед началом эксперимента с испытуемым проводилась беседа, в ходе которой ему подробно объяснялись его действия в ходе эксперимента. Задачей для испытуемого стояло запоминание и распознавание изображений. Также создавалась обстановка спокойная и комфортная для испытуемого. Компьютерное кресло регулировалось индивидуально для каждого испытуемого. В помещении, в котором проводился эксперимент, было минимизировано количество отвлекающих факторов: никаких посторонних звуков, нейтральное световое оформление лаборатории.
Эксперимент состоял из двух этапов. На первом этапе эксперимента респонденту на мониторе демонстрировались 8 изображений: по 2 в стилистике кубизма, абстракционизма, реализма и чёрно-белое контрольное изображение. Испытуемому поставлена задача: запомнить увиденные изображения. Время для запоминания не было ограничено.Респондент рассматривал изображения, выводимые программой в случайном порядке, самостоятельно переходя на следующий стимул по мере выполнения задания.
По окончанию первого этапа эксперимента для каждого респондента устанавливался временной интервал в 30 минут перед тем, как преступить ко второй части.
На втором этапе в стимульный материал было добавлено еще 16 стимулов, по четыре стимула в каждой стилистике, соответственно кубизма, абстракционизма, реализма и чёрно-белое контрольное изображение.. Стимульный материал воспроизводился на экран в случайном порядке. Респондент должен был ответить «да» или «нет», т.е. решить задачу: видел или не видел он этот стимул на первом этапе эксперимента. Продолжительность рассматривания стимула испытуемым на этапе распознавания также не ограничивалась, т.е. испытуемый сам определял необходимое ему для решения задачи время, после чего самостоятельно переходил к следующему стимулу.
Полученные результаты
Результаты эксперимента
В эксперименте участвовало 25 человек: студенты бакалавры и магистры очной формы обучения, возрастом от 19 до 27 лет. Было собрано 4326 фиксаций.
На первом этапе была выполнена проверка корректности выполнения задания испытуемыми и, соответственно, проверка корректности полученных в ходе эксперимента параметрических данных
Для статистической обработки данных использовался язык программирования —
специализированный программный комплекс для статистического анализа и визуализации результатов ПШ.
Все выборки были проверены на нормальность распределения данных. Операция выполнялась с помощью теста Шапиро-Уилка, встроенной в <^» стандартной процедурой. В результате выполнения этой операции было установлено, что все выборки имеют нормальное распределение параметрических данных.
Статистическая обработка экспериментальных данных выполнялась при помощи дисперсионного анализа ANOVA.
Анализировались следующие параметры шаблона рассматривания:
- средняя длительность фиксации (FixAver);
- среднее время рассматривания стимула (EndTime);
- среднее количество фиксаций при рассматривании одного стимула (Ко^х);
-среднее время фиксаций при рассматривании одного стимула (SumFix).
Средние значения параметров шаблона рассматривания представлены в таблице 1. А -абстракционизм, С - кубизм, Р - фотореализм.
Таблица 1 . Средние значения параметров шаблона рассматривания
Тип стимула Kol Fix EndTime,MC FixAver, мс SumFix, мс
A - абстракционизм 9,40 2460 190 1790
C - кубизм 7,47 2030 195 1500
P- фотореализм 6,51 1740 189 1260
В процессе обработки данных исследовалось влияние двух факторов на параметры шаблона рассматривания стимульного материала:
- type - фактор стилевого решения графического изображения: фотореализм, кубизм, абстракционизм;
- demo - фактор демонстрации: видел или не видел испытуемый стимул на первом этапе эксперимента.
Результат статистической обработки экспериментальных параметрических данных посредством дисперсионного анализа представлен в таблице 2.
Таблица 2 . Результат выполнения статистического теста ANOVA
Effect Функция Фишера p-value
demo 2,224 0,136472
type 12,876 0,000003
Для принятие или отклонения гипотезы о статистической значимости влияния стилевого решения на восприятия графической композиции анализируются два параметра: фукнция Фишера и критерий р^а1ие (таб.2). Значение критерия р = 0,000003 указывает на наличие статистической значимости среднего времени рассматривания стимула от его стилевого решения.
График плотности распределения среднего времени рассматривания стимула испытуемыми в зависимости от стилевого решения представлен на рисунке 3.
Рис.3. График плотности распределения среднего времени рассматривания стимула испытуемыми в зависимости от стилевого решения
Анализ экспериментальных данных
Предварительный анализ данных в таблице 1 указывает на то, что среднее время фиксации не имеет статистической зависимости от фактора стилевого решения. В отношении остальных приведенных в таблице 1параметров, на основании предварительного анализа, можно вынести предположение о наличии статистической зависимости от фактора стилевого решения.
В результате статистической обработки параметров шаблона рассматривания посредством дисперсионного анализа ANOVA было установлено наличие их зависимости от фактора стилевого решения. Ни один из параметров не имеет статистической зависимости от фактора демонстрации (табл.2). Следует отметить, что параметры шаблона рассматривания: среднее время рассматривания стимула (EndTime), среднее время фиксаций при рассматривании одного стимула (SumFix) и среднее количество
фиксаций при рассматривании одного стимула (Ко^х) имеют корреляцию В этой связи, для статистического анализа можно использовать один из этих параметров.
Статистический анализ указывает на то, что для распознавания графической композиции в стиле абстракционизма испытуемому требуется больше времени, чем на распознавание стимула в стиле кубизма и в стиле реализма.
Выводы
Проведенное в рамках настоящей работы экспериментальное исследование выявило статистическую значимость влияния стилевого решения графической композиции на восприятие ее зрителем. Если предложение упростить, то абстрактная графическая композиция сложна для распознавания зрителю.
Методика проведения ай-трекингового исследования, зарекомендовавшая себя в экспериментах по изучению влияния цветового решения кинокадра на восприятие его зрителем, показала свою состоятельность и при изучении восприятия графических изображений.
Полученные результаты могут быть использованы при проектировании сложных графических изображений, при рассматривании которых пользователем основной задачей является скорость восприятия информации. Для анализа художественной составляющей графических изображений, очевидно, следует доработать представленную методику в двух направлениях
- создание соответствующего стимульного материала;
- постановка задачи испытуемым, которую они решают в ходе эксперимента. Библиография
1. Ярбус Л. Роль движений глаз в процессе зрения. М.: Наука, 1965. 166 с.
2. Орлов П.А., Лаптев В.В., Иванов В.М. К вопросу о применении систем ай трекинга // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. СПб.: Изд-во СПбГПУ, 2014, № 5 (205). С. 82 92
3. Елшанский С.П. Предпочтение и игнорирование простых геометрических фигур в процессе их зрительного восприятия(ай-трекинговоеисследование).[Электронный ресурс]: http://web.snauka.ru/issues/2014/04/32283(дата обращения: 05.03.2019).
4. Солсо Р. Когнитивная психология. 6-е изд. СПб.: Питер, 2006. 589 с.
5. Mescheryakov S.V., Yanchus V.E., Borevich E.V. Experimental Research of Digital Color Correction Models and Their Impact on Visual Fixation of Video Frames. Humanities and Science University Journal, 2017, Vol. 27, pp. 15-24.
6. Боревич Е.В., Мещеряков С. В., Янчус В. Э./ Эффективные методы и модели цифровой обработки киноматериала // Графикон-2017: тр. 27-й междунар. конф. по компьютерной графике и машинному зрению. - Пермь: Пермский государственный научно-исследовательский университет, 2017. - С. 51-54.Cubism and abstract art. -The Museum of Modern Art, New York, 2017. 259 с.
7. Кудин П.А., Ломов Б.Ф., Митькин А.А. Психология восприятия и искусство плаката. М.: «Плакат», 1987. 208 с.
8. Боревич Е.В., Мещеряков С.В., Щемелинин Д.А., Янчус В.Э. Методы и алгоритмы экспериментального исследования графических моделей цветовых решений // Программные системы и вычислительные методы. 2018. № 4.С. 144-153.
9. Кабаков, Роберт И. R в действии. Анализ и визуализация данных в программе R / Роберт И. Кабаков // пер. с англ. Полины А. Волковой. - М.: ДМК Пресс, 2014. 588 с.
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не
раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
В статье анализируется восприятие художественных произведений (в стиле кубизма, абстракционизма, фотореализма) с помощью технологии ай-трекинга. Авторы отмечают востребованность технологии для тестирования программного обеспечения и возможность использования для оценки реакции пользователя на художественные произведения, отмечая малую изученность вопроса в части реакции на объекты из простых геометрических форм. Подробно изложен ход эксперимента, что является несомненным достоинством работы. Использование технологии ай-трекинга позволяет ввести дополнительные количественные оценки и автоматизировать сбор данных. Замечания. Во введении необходимо привести обзор конкретных исследований с использованием ай-трекера. Авторы упоминают нераспространенность ай-трекера и отсутствие методик, однако существует большое количество работ, связанных с тестированием программного обеспечения, сайтов, мобильных приложений, оценкой реакции пользователя, в т.ч. в отечественных индексируемых изданиях. Отсутствует формулировка цели исследования и решаемых задач. Нет четкой формулировки актуальности исследования. Теоретическое обоснование содержит отдельные тезисы о свойствах кинокадра, однако не содержит конкретных положений или решений. Если схема рис. 1 была разработана в других работах (ссылка по тексту), то необходимо в подрисуночной надписи сослаться на публикацию. Авторы упоминают влияние цветовой схемы, однако не приводят результаты, ставшие основой для их исследования - какие именно цвета и как влияют на восприятие пользователем. Упоминается использование геометрических форм, однако не ясно какие базовые положения легли в основу исследования Авторов. Раздел постановка эксперимента предельно сжат (1 абзац). Необходимо привести базовые характеристики используемой системы, сведения об условиях выполнения эксперимента. В разделе подготовка стимульного материала авторы используют монохромные изображения, однако в теоретических положениях акцентируют внимание на цветовом решении. Изображения рис. 2 визуально интерпретируются как прямоугольные за счет фона, однако Авторы отмечают что работают с квадратными изображениями. Необходимо отразить как влияет подобное восприятие на результат исследования. В разделе Результаты эксперимента приводится ссылка на источник 10, однако в библиографии 9 позиций. Необходимо проверить все ссылки по тексту. Авторы отмечают что выполнена оценка закона распределения данных, однако не приводят количественные результаты. Выполнен расчет параметров выполнения задания, однако приведенные в табл. 1 результаты не содержат доверительных интервалов. Также не вполне ясно какое количество (среднее количество, диапазон) фиксаций использовалось для отдельного изображения/респондента/типа изображений. Использование критерия Фишера не сопровождается расчетными зависимостями, не приводятся пороговые значения для критериев оценки. Необходимо также обосновать выбор критериев оценки. Результат на рис. 3 нельзя назвать плотностью распределения, рекомендуется изменить формулировку. Необходимо учесть, что в описании эксперимента Авторы упоминают произвольность отображения стимулов, поэтому перестановка видов изображений (стилевого решения) будет соответствовать другому закону распределению. Обоснование корреляции в разделе Анализ экспериментальных данных содержит ссылку 6, что затрудняет разделение вклада авторов в поиск зависимостей и результатов предыдущих исследований. Необходимо добавить в обоснование выводов количественные критерии. В выводах статьи предпочтительно акцентировать внимание на художественной составляющей стимулов. Стиль изложения материала. Статья
насыщена короткими и часто общими фразами, практически не используется профессиональная терминология, встречаются смысловые повторы. В тексте встречаются ошибки (отсутствие пробелов между словами). Необходимо повысить научную составляющую в изложении материала. Библиография включает 9 ссылок, однако, только 3 в рецензируемых изданиях. Необходимо расширить библиографию до 15-17 позиций за счет индексируемых публикаций. Статья интересна широкому кругу читателей, как в области обработки и анализа изображений, так и в области анализа художественных произведений. Рекомендуется к публикации после доработки, готовность 70%.
