Программные системы и вычислительные методы
Правильная ссылка на статью:
Хейфиц А.Е., Янчус В.Э., Боревич Е.В. — Методика проведения экспериментального исследования восприятия графического интерфейса с применением технологии ай-трекинга // Программные системы и вычислительные методы. - 2022. - № 2. DOI: 10.7256/2454-0714.2022.2.37972 EDN: XRZXKT URL: https;//nbpublish.com'Hbrary_read_article.php?id=37972
Методика проведения экспериментального исследования восприятия графического интерфейса с применением технологии ай-трекинга
Хейфиц Антонина Евгеньевна
ассистент, Высшая школа дизайна и архитектуры, Санкт-Петербургский политехнический университет
Петра Великого
195251, Россия, Ленинградская область, г. Санкт-Петербург, ул. Политехническая, 29
И antoni.t-h@mail.ru
Янчус Виктор Эдмундасович
кандидат технических наук
доцент, Высшая школа дизайна и архитектуры, Санкт-Петербургский политехнический университет
Петра Великого
195251, Россия, Ленинградская область, г. Санкт-Петербург, ул. Политехническая, 29
И victorimop@mail.ru
Боревич Екатерина Владиславовна
ассистент, Высшая школа дизайна и архитектуры, Санкт-Петербургский политехнический университет
Петра Великого
195251, Россия, Ленинградская область, г. Санкт-Петербург, ул. Политехническая, 29
И plasma5210@mail.ru
Статья из рубрики "Компьютерная графика, обработка изображений и распознавание образов"
DOI:
10.7256/2454-0714.2022.2.37972
EDN:
XRZXKT
Дата направления статьи в редакцию:
30-04-2022
Аннотация: В настоящей статье описана разработанная авторами методика проведения экспериментального исследования восприятия графического интерфейса систем
удаленного управления динамическими объектами с применением технологии ай-трекинга. Разработанная методика является составляющей частью исследований по изучению восприятия визуальной информации. Объектом исследования является графический иетерфейс систем управления динамическим объектом. Предметом исследования являются дашборды в стимульном слайде, их внутреннее наполнение (тип, размер, количество). Методика включает разработку набора дашбордов с различными значениями отображаемого параметра, выполненных в трех видах диаграмм (линейной, столбиковой, фигурной количественной) и в трех размерах. Стимульный материал эксперимента был разработан с использованием специального программного модуля. Данный модуль выполнял задачу заполнения стимула дашбордами случайным образом. При проведении эксперимента производилась подготовка испытуемых в ходе специального инструктажа. Для проведения эксперимента применялся программно-аппаратный комплекс ай-трекинга, который фиксирует объективные параметры шаблона рассматривания и позволяет снимать массивы экспериментальных данных. Для обработки результатов эксперимента используются стандартные методы математической статистики, такие как дисперссионный анализ. Разработанная методика была апробирована на ограниченной группе. Научная новизна данной работы заключается в разработке методики проведения экспериментального исследования на предмет влияния фактора количества, типа и размера диаграмм в графической композиции, eе восприятие зрителем.
Ключевые слова: Интеллектуальный интерфейс, Человеко-компьютерное
взаимодействие, Стимульный материал, Инфографика, Ай-трекер, Статистическая обработка, Программный модуль, Зрительная система, Дисперсионный анализ, Вычислительный эксперимент
Введение
В последнее десятилетие наблюдается возрастающий интерес к проектированию сложных технических и биомеханических систем, в которых человек-оператор взаимодействует с компьютерными системами. Одним из основных элементов таких систем является пользовательский интерфейс, посредством которого осуществляется связь человека с компьютером. Огромное внимание уделяется эргономическому проектированию новых форм интерфейсов, обеспечивающих эффективную адаптацию операторов к естественным и искусственным обучающим средам Обеспечение эффективного взаимодействия операторов с компьютерной системой является актуальной проблемой, несмотря на внедрение тренажеров и технологий компьютерного
обучения
Для анализа эффективности, продуктивности, и эстетической привлекательности разрабатываемых пользовательских интерфейсов широко используется метод окулографии, который на практике реализуется с помощью программно-аппаратных комплексов ай-трекинга
Исходя из вышеизложенного, можно говорить об актуальности задачи исследования условий восприятия оператором графической информации при функционировании системы человеко-компьютерного взаимодействия с применением технологий ай-трекинга .
При решении задач инженерного проектирования пользовательских интерфейсов,
качество любого интерфейса в конечном итоге определяется эффективностью
взаимодействия между одним человеком и одной системой Одним из ярких примеров человеко-компьютерного взаимодействия, является использования интерфейса при управлении самолётом в системе лётчик - самолёт. В трудах ученых обоснована концепция «умножения возможностей» и симбиотический подход к интеграции летчика и самолета, в соответствии с которыми, интеграция летчика с самолетом носит симбиотический характер. В результате возникает новое технобиотическое самоорганизующееся единство, ведущее себя как боевая единица, ориентированная на достижение решающего превосходства над противником Вопрос проектирования интеллектуального интерфейса, помогающего человеку адаптироваться к системе управления удаленными объектами, является актуальным в разрезе решения задач
эффективного управления [6,7]. Прототипом данного эксперимента является ситуация, в которой решается задача предоставления актуальной информации.
Условий иммерсивности интерфейса
Инфографика I Композиция I Символика
Рис. 1. Условия иммерсивности интерфейса
Цель работы заключается в разработке методики проведения экспериментальных исследований восприятия графического интерфейса в зависимости от условий иммерсивности (рис. 1). В работе рассматривается одно из условий иммерсивности -инфографика.
Цель работы предполагает решение следующих задач:
- разработка дашбордов (графический элемент, содержащий диаграмму), отображающих текущее значение параметра и ряд предыдущих его значений;
- разработка стимульного материала с рандомным расположением дашбордов;
- создание проекта эксперимента в специализированном программно-аппаратном комплексе ай-трекинга;
- апробация методики и статистическая обработка полученных экспериментальных данных.
Теоретическая модель
Информационные панели являются неотъемлемыми элементами графического интерфейса, поскольку они являются визуальной частью информационных систем управления и отображают количественную и качественную информацию о состоянии наблюдаемого объекта. Расширение границ работы между оператором и техникой является эволюцией интеллектуальных технических систем
В лаборатории человеко-компьютерного взаимодействия Политехнического университета Петра Великого была проведена серия экспериментов с использованием технологии ай-трекинга.
Проведён эксперимент, где технология ай-трекинга применялась для анализа
восприятия испытуемыми сложных графических изображений без четкой смысловой нагрузки и показала свою эффективность
В другом эксперименте проводилось исследование влияния стилизации графических изображений на восприятие графической информации с применением технологий ай-трекинга. Была выявлена зависимость времени анализа графического изображения
испытуемым от стилизации изображения стимульного материала I10!.
Также проведено экспериментальное исследование влияния типов и количества линейных графиков, которые могут отображаться на одном экране одновременно, на восприятие информации пользователем. Задача экспериментов состояла в том, чтобы выяснить, как меняется восприятие и что необходимо включить в разработку для эффективного обучения в работе. Испытуемым демонстрировались линейные графики на панелях монитора с увеличением числа графиков, изменением размеров и увеличением общей площади, занимаемой графиками на экране. Исследование показало, что отсутствует корреляция между динамической тенденцией графиков и восприятием к изображению у испытуемых
В статье t12 указывается на то, что инфографика является оптимальным инструментом для отображения текущего значения параметра наблюдаемого объекта.
Инфографика, как самый минималистичный и продуманный кластер дизайна, не обращает на себя много внимания, позволяя работать с информацией [13,14]. В условиях, где человек решает интерактивную задачу, фактор лаконичности играет главную роль.
Методика проведения эксперимента
Разработанная методика проведения экспериментального исследования восприятия графического интерфейса систем удаленного управления динамическими объектами состоит из нескольких этапов:
- разработка базы данных дашбордов, отражающих текущее значение параметра и ряд предыдущих;
- разработка стимулов с рандомным расположением дашбордов;
- проектирование эксперимента в специализированной программе experiment center программно-аппаратного комплекса ай-трекинга SMIRED 250;
- подготовка испытуемых (инструктаж) и проведение эксперимента на программно-аппаратном комплексе ай-трекинга;
- статистическая обработка полученных экспериментальных данных и интерпретация результатов.
Для проведения факторного анализа восприятия графической информации были выделены три фактора, влияние которых исследовалось в настоящей работе:
- фактор типа диаграммы;
- фактор размера дашборда (графический элемент, содержащий диаграмму);
- фактор количества дашбордов на экране.
Для разработки стимульного материала были использованы три вида диаграмм:
линейные, столбиковые, фигурные количественные.
Дашборды имели три размера: 4*2см, 3*2.25см и 2*1,5 см. Было разработано 720 дашбордов в трех размерах и с тремя видами диаграмм.
Количество разработанных стимулов - 54 шт. Это количество стимулов определяется тремя исследуемыми факторами, которые принимают три значения. Было принято решение сделать по два стимула с одинаковыми значениями исследуемых факторов, но с различным заполнением дашбордами.
Распределение дашбордов в стимуле производилось в сетке с пятью столбцами и пятью строками, которая распределяла монитор на 25 зон. Размер экрана монитора составлял 54*29 см. Положение головы испытуемого фиксировалось в определенном положении при помощи специальной конструкции на расстоянии 74,4 см (рис. 2).
Рис. 2. Схема расположения экрана установки и положение испытуемого в эксперименте
Для создания стимулов с рандомным расположением дашбордов был разработан программный модуль. Блок-схема алгоритма программного модуля представлена на (рис. 3). Для программной реализации был использован открытый язык программирования processing. На входе программного модуля была разработанная в рамках настоящей работы база из 720 дашбордов. На выходе мы имели 54 стимула для проведения эксперимента (рис. 4-6).
Рис. 3. Блок-схема программного алгоритма подготовки стимульного материала. Пример
для одного типа диаграмм.
Рис. 4. Пример стимульного материала с тремя дашбордами (размер - s, тип - р)
Рис. 5. Пример стимульного материала с семью дашбордами (размер - I, тип - s)
Рис. 6. Пример стимульного материала с пятью дашбордами(размер - т, тип - I)
Испытуемым в эксперименте ставилась задача, найти график с максимальным увеличением значения параметра и отметить соответствующий дашборд наведением курсора мыши и нажатием кнопки. После нажатия левой кнопки мыши происходил автоматический переход к следующему стимулу. Все испытуемые были проинструктированы о поставленной задаче перед прохождением эксперимента. Время для решения поставленной задачи было неограниченно.
Статистическая обработка результатов выполнялась посредством дисперсионного анализа ANOVA
В качестве экспериментальной установки использовался программно-аппаратный комплекс SMIRED 250 (рис. 7) [16].
Рис. 7. Программно-аппаратный комплекс SMIRED 250. Установка и экранный интерфейс Для апробации разработанной методики были приглашены 12 испытуемых из студентов и
молодых преподавателей Санкт-Петербургского политехнического университета Петра Великого.
Анализ результатов
При статистической обработке результатов выявлялась статистическая значимость параметров шаблона рассматривания стимульного материала в зависимости от факторов:
- size, размер дашборда (фактор принимает значения в соответствии с масштабом демонстрируемых дашбордов: l - размер дашборда 4x2см, m - 3x2.25см, s - 2x1.5 см);
- type, тип дашборда (значение фактора в соответствии с типами диаграмм: l - линейная, p - столбиковая и s - фигурная количественная);
- inf, количество дашбордов в стимуле (фактор принимает значения 3, 5 и 7, в соответствии с количеством дашбордов в стимуле).
В эксперименте было задействовано 12 испытуемых, которые являлись студентами политехнического университета в возрасте от 20 до 28 лет.
В результате статистической обработки результатов эксперимента была выявлена статистическая значимость времени рассматривания стимулов испытуемым в зависимости от фактора inf (рис.8). Влияние других факторов на параметры шаблона рассматривания стимульного материала, по данным статистической обработки, не выявлено. Однако, количество участвовавших в эксперименте испытуемых недостаточно для принятия гипотезы об отсутствии влияния этих факторов.
1J0Û0
12000
10000
w 8000
6000
«0ПО
2000
\ t 1
il Г ' И j
Î п р
11 Г 1
__: [ .
ÏJ là J
И ff
Jfrï; 3 5 7
Ш1
Jrrf: 3 5 7 Size: m
Inf: 3 5 7 Size: s
Type I
Type P
Type S
Рис. 8. Плотность распределения времени рассматривания стимула в зависимости от факторов inf и type для различных значений фактора size
Во время проведения эксперимента было замечено, что испытуемые испытывают сложности при решении задачи:
- более 75% испытуемых затрачивали на прохождение эксперимента более 10 минут;
- при решении задачи испытуемые совершали много ошибок (в некоторых стимулах около 40%) (рис. 9).
Рис. 9. Тепловая карта распределения взгляда испытуемых на стимуле с семью дашбордами (ромбом отмечена точка выбора правильного, по его мнению испытуемого,
отв е та ).
Выводы
В результате работы разработана методика проведения экспериментальных исследований восприятия графического интерфейса с применением технологии ай-трекинга. Разработанная методика была протестирована на 12 испытуемых.
В результате проведенного эксперимента по апробации разработанной методики выявлено следующее:
1 . Фактор количества дашбордов в стимуле имеет статистически значимое влияние на параметры шаблона рассматривания стимульного материала испытуемыми.
2 . Начальный инструктаж о предлагаемой задаче во время эксперимента является недостаточным для испытуемых. Испытуемые не имеют опыта работы с инфографикой, что вызывает у них трудности в решении задачи. Были выявлены затруднения двух типов:
a. некорректное решение задачи;
b. утомляемость испытуемых во время эксперимента.
Некорректное решение испытуемыми задачи эксперимента не позволило выявить влияние факторов размера и типа дашбордов на параметры шаблона рассматривания. Для получения достоверных данных необходимо сократить количество ошибок испытуемых при прохождении эксперимента. Для решения этого вопроса необходимо разработать методику подготовки испытуемых к прохождению данного эксперимента.
Материалы для подготовки испытуемых должны разрабатываться, соблюдая условия комфортного восприятия информации, её закрепления и сохранения. Предполагается, что после прохождения подготовки испытуемые будут быстрее и качественнее анализировать инфографическую информацию, и, соответственно, решать предложенную в эксперименте задачу корректно.
Библиография
1. Сергеев С. Ф.: Виртуальные тренажеры: проблемы теории и методологии
проектирования // Биотехносфера. 2010. № 2 (8). С. 15-20.
2. Сергеев С. Ф.: Человеческий фактор в отечественной робототехнике: основные проблемы и перспективы развития // Робототехника и техническая кибернетика. 2016. № 3 (12). С.10-13.
3. Лызь А. Е., Компаниец В. С.: Ай-трекинг как метод оценки пользовательских интерфейсов// В сборнике: Новые задачи технических наук и пути их решения// Сборник статей по итогам Международной научно-практической конференции. 2017. С. 31-33.
4. Раскин Д.: Интерфейс: новые направления в проектировании компьютерных систем. СПб.: Символ-Плюс, 2005, С. 69.
5. Сергеев С. Ф.: Человеческий фактор в самолетах 6-го поколения: проблемы техносимбиоза// Мехатроника, автоматизация, управление. 2018. Т. 19. № 12. С. 806-811.
6. Chiquet S., Martarelli C. S., Mast F.W.: Eye movements to absent objects during mental imagery and visual memory in immersive virtual reality. Virtual Reality. - 2020, URL.https ://doi.org/10.1007/s10055-020-00478-y
7. Pastel S., Chen CH., Martin L.: et al. Comparison of gaze accuracy and precision in real-world and virtual reality. Virtual Reality 25. - 2021. - pp. 175-189. URL. https://doi.org/10.1007/s10055-020-00449-3
8. Сергеев С. Ф.: Санкт-Петербургское отделение Научного совета по методологии искусственного интеллекта и когнитивных исследований РАН в 2020 году. Философские науки. 2021;64(1):149-154. https://doi.org/10.30727/0235-1188-2021-64-1-149-154]
9. Орлов П. А., Лаптев В. В., Иванов В. М.: К вопросу о применении систем ай-трекинга// Информатика, телекоммуникации и управление.URL:
https ://cyberleninka.ru/article/n/k-voprosu-o-primenenii-sistem-ay-trekinga
10. Borevich E., Mescheryakov S., Yanchus V.: Computer Eye-Tracking Model to Investigate Influence of the Viewer's Perception of the Graphic Information. pp. 720-728. 10.20948/graphicon-2021-3027-720-728.
11. Orlov P., Ermolova T., Laptev V., Mitrofanov A., Ivanov V.: The Eye-tracking Study of the Line Charts in Dashboards Design. In Proceedings of the 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications-IVAPP, (VISIGRAPP 2016) ISBN 978-989-758-175-5; ISSN 2184-4321, 203-211 s. DOI: 10.5220/0005692102030211
12. Bruce N., Tsotsos J. Weiss Y., Scholkopf B., Platt J.: (2006). Saliency based on information maximization. Advances in neural information processing systems 18 pp. 155-162. Cambridge, MA: MIT Press.
13. Bundesen C.: A theory of visual attention. Psychological Review, 1990. pp. 523-547.
14. Carmi R., Itti L.: (2006). The role of memory in guiding attention during natural vision. Journal of Vision, pp. 898-914, http://journalofvisionorg/6/9/4/, doi:101167/694
15. Гланц С.: Медико-биологическая статистика / Стентон Гланц; Пер. с англ. д.ф.-м.н. Ю.А. Данилова под ред. Н.Е. Бузикашвили и Д.В. Самойлова. - М.: Практика, 1999. - 459 с.
16. Новый стиль. Система удаленного трекинга глаз RED 250 / RED 500 [Электронный ресурс] URL:https://newstyle-y.ru/high-school/group_2164/group_2166/item_11065/? (дата обращения 28.03.2022)
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
Предметом исследования в рецензируемой статье выступает методика проведения экспериментальных исследований восприятия графического интерфейса в зависимости от условий иммерсивности.
Методология исследования базируется на обобщении литературных и интернет-источников по теме работы, проведении экспериментов по изучению влияния количества дашбордов на комфортность восприятия информации, её закрепления и сохранения. Актуальность исследования авторы справедливо связывают с возрастающим интересом к проектированию сложных технических и биомеханических систем, в которых человек-оператор взаимодействует с компьютерными системами и совершенствованию подходов к разработке эргономически эффективных пользовательских интерфейсов, посредством которых осуществляется связь человека с компьютером.
Научная новизна представленного исследования заключается в разработке авторской методики проведения экспериментальных исследований восприятия графического интерфейса с применением технологии ай-трекинга, ее тестировании и апробации. При изложении материала выдержан научный стиль речи, широко используются наглядные средства представления информации - статья иллюстрирована 9 качественно выполненными рисунками. Структурно в рукописи выделены следующие разделы: Введение, Теоретическая модель, Методика проведения эксперимента, Анализ результатов, Выводы, Библиография. Во введении отражены актуальность, цель и задачи исследования. В следующем разделе сделан обзор проведенных ранее другими авторами экспериментальных исследований влияния различных факторов на восприятие информации пользователем.
При изложении методики проведения эксперимента показаны ее этапы, исследуемые факторы; виды диаграмм, использованные для разработки стимульного материала, их размеры и общее количество разработанных стимулов. В статье отражено, что в эксперименте было задействовано 12 испытуемых, которые являлись студентами политехнического университета в возрасте от 20 до 28 лет. В статье приведены блок-схема программного алгоритма подготовки стимульного материала, примеры стимульного материала с разным количеством дашбордов; плотность распределения времени рассматривания стимула в зависимости от факторов; тепловая карта распределения взгляда испытуемых в ходе экспериментов. В результате статистической обработки результатов эксперимента авторами выявлена статистическая значимость времени рассматривания стимулов испытуемым в зависимости от количества дашбордов в интерфейсе. В выводах нашли отражение результаты проведенного эксперимента по апробации разработанной методики.
Библиографический список включает 16 наименований источников, на которые в тексте приведены адресные ссылки, свидетельствующие о наличии в публикации апелляции к оппонентам.
В качестве пожелания хочется высказать пожелание авторам высказать свое мнение о сходствах и различиях понятий «инфографика», «дашборд», «визуализация», используемых в статье.
Тема статьи актуальна, содержание рукописи отражает реально проведенное авторское исследование с четко определенной целью и решаемыми задачам, материал соответствует тематике журнала «Программные системы и вычислительные методы» и рекомендуется к опубликованию.