CC BY-NC
8Программные системы и вычислительные методы
Правильная ссылка на статью:
Боревич Е.В. — Ай-трекинговое исследование влияния композиции на восприятие кинокадра // Программные системы и вычислительные методы. - 2023. - № 1. DOI: 10.7256/2454-0714.2023.1.39634 EDN: IWYBNX URL: https;//nbpublish.com'library_read_article.php?id=39634
Ай-трекинговое исследование влияния композиции на восприятие кинокадра
Боревич Екатерина Владиславовна
ORCID: 0000-0001-6263-3901
ассистент высшей школы дизайна и архитектуры, Санкт-Петербургский политехнический университет
Петра Великого
195251, Россия, Санкт-Петербург область, г. Санкт-Петербург, ул. Политехническая, 29
И plasma5210@mail.ru
Статья из рубрики "Компьютерная графика, обработка изображений и распознавание образов"
DOI:
10.7256/2454-0714.2023.1.39634
EDN:
IWYBNX
Дата направления статьи в редакцию:
18-01-2023
Аннотация: Представленные исследования направлены на изучение элементов, влияющих на визуальное восприятие кинокадра с целью выработки методических рекомендаций для гармонизации кадра в процессе кинопроизводства. Объект исследования - кинокадр. Предмет исследования - технологии обработки кинокадра. Цель данной работы - получить экспериментальные данные шаблона рассматривания кинокадра и выявить статистические закономерности для подтверждения или опровержения сформулированной гипотезы. Задача - провести экспериментальное исследование влияния композиции на параметры шаблона рассматривания кинокадра. Исследуется влияние фактор взаимного отношения площадей центров интереса к фону на параметры шаблона рассматривания стимульного материала. В результате проделанной работы разработана методика проведения экспериментальных исследований восприятия визуальной информации человеком с применением программно-аппаратного комплекса ай-трекинга. Полученные результаты показывают, что при условии, когда объекты занимают незначительную площадь кадра, наблюдателю требуется больше времени, чтобы рассмотреть этот кадр. Также как и в случае, когда объекты занимают большую часть кадра (более 40%). В первом случае, ввиду небольших размеров объектов, наблюдателю становится труднее отыскать объекты в
пространстве кадра. Во втором случае, требуется время, для идентификации объектов, так как они, в виду больших размеров, тяготеют к тому, чтобы быть восприняты как фон.
Ключевые слова:
Композиция, Визуальная привлекательность, Эксперимент, Статистический анализ данных ч е ло в е ка , Кине ма то г ра ф
Введение
Кинематограф, как явление культуры с достаточно специфическими особенностями, сформировался, пройдя много этапов своего развития. Прогресс кино шел не только в техническом плане, который состоял в развитии и совершенствовании средств съемки и монтажа фильма, но и в художественном. Элемент творчества не сразу вошел в режиссуру фильма, для этого потребовалось продолжительное время становления кинематографа как предмета искусства. В настоящее время, можно говорить о наличии в кинематографе своего, уникального художественного языка повествования, который имеет свой синтаксис -Ш.
Восприятие художественного произведения, и кинокадра в том числе, тесно связано с физиологией восприятия визуальной информации человеком. Законы построения кадра в кинематографе, аналогичны произведениям живописи и стремятся к такому отражению действительности, которое способствовало бы более глубокому погружению зрителя в происходящее действие на экране. Важную роль в процессе погружения зрителя в атмосферу фильма играет правильно и качественно спроектированный кинокадр, являющийся минимальной структурной единицей кинофильма.
Существует несколько альтернативных подходов к шаблону восприятия информации. Один из них рассматривает этот процесс как интеграцию путем пространственного сопоставления информации путём суммирования информации от последовательных
фиксаций Альтернативный подход предполагает, что информация из
последовательных фиксаций агрегируется не путем объединения «снимков» фиксаций, а путем интеграции более сложных визуальных атрибутов на средних и высоких уровнях
анализа
Представленные исследования направлены на изучение элементов, влияющих на визуальное восприятие кинокадра с целью выработки методических рекомендаций для гармонизации кадра в процессе кинопроизводства.
Объект исследования - кинокадр. Предмет исследования - технологии обработки кинокадра.
1. Теоретическая модель
В настоящее время не существует общепринятой единицы измерения визуальной привлекательности кинокадра, что не позволяет сравнивать кадры между собой сравнением их параметров. Для оценки качества выполненной работы используется достаточно субъективный экспертный анализ.
Под Визуальной привлекательностью кинокадра, понимаем свойство кинокадра,
Кинокадр, Ай-трекер, Цветовое решение, , Гештальтпсихология, Зрительная система
направленное на привлечение и удержание внимания зрителя, в результате совокупного воздействия его элементов (рис.1). Композиционное построение кадра состоит из трех основных элементов. Первый - это композиция. Второй элемент кинокадра - это наличие движения. И третий - это цветовое решение J41.
На визуальную привлекательность кинокадра влияет «информативность» и композиционное построение. В свою очередь «информативность» кадра определяется замыслом режиссера, а реализация замысла происходит с помощью композиционного построения, состоящего из трех составляющих - композиции, динамики и цветового решения (рис.1). В результате экспериментального исследования было выявлено, что
«информативность» кадра влияет на шаблон рассматривания кинокадра J51. Под шаблоном рассматривания понимается набор количественных параметров глазодвигательной активности, получаемый с помощью программно-аппаратного
комплекса eye-tracker при рассматривании испытуемым стимульного материала J61. Композиционное построение кадра, как его неотъемлемая составляющая, тоже влияет на шаблон рассматривания. Анализируя параметры шаблона рассматривания методами математической статистики, можно сравнивать визуальную привлекательность кадров, используемых в качестве стимульного материала в проводимом эксперименте.
Рис. 1. Схема проектирования кадра. Элементы кадра, влияющие на визуальную
прив ле ка те льно с ть
В рамках настоящего исследования был проведен ряд экспериментов, целью которых
было исследование значимости влияния цветового решения -7,8], «информативности» и
стилизации ^ кинокадра на восприятие его зрителем. Работа зрительной системы по распознаванию образа происходит в три этапа (рис.2). Первый этап - это механическое сканирование изображения глазом. Он происходит бессознательно и заключается в беглом «ощупывании» изображения глазом. Второй этап - это распознавание увиденного образа - подключается работа головного мозга. Третий этап - это эмоциональный отклик зрителя. Человек составляет собственное впечатление от увиденного. В результате экспериментального исследования было установлено, что требуемое для сканирования изображения время - величина постоянная, а время распознавания стимула зависит от содержания.
Рис.2. Схема работы зрительной системы человека по распознаванию образа
Цель данной работы - получить экспериментальные данные шаблона рассматривания кинокадра и выявить статистические закономерности для подтверждения или опровержения сформулированной гипотезы.
Постановка задачи исследования . Провести экспериментальное исследование влияния композиции на параметры шаблона рассматривания кинокадра.
2. Стимульный материал
Для составления визуального ряда, стимульного материала, выбраны кадры из фильмов. Содержимое кадров отвечало ряду требований, таких как: эмоциональная нейтральность и наличие минимальной смысловой нагрузки, однако предметность должна сохраняться. Кроме того, кадры были выбраны таким образом, чтобы изображение имело два центра интереса, имеющих разные взаимные отношения площадей. В итоге была создана база из 120 соответствующих поставленным условиям кадров (рис.3).
Рис. 3. Пример стимульного материала
Целью настоящего эксперимента являлось исследование влияния фактора композиции на восприятие кинокадра. В описываемом эксперименте было уделено внимание композиционному построению кадра - взаимному соотношению площадей центров интереса к фону. Стимульный материал эксперимента подобран так, чтобы взаимное отношение площадей центров интереса к фону можно было разделить на три группы. В результате были получены изображения, которые однозначно можно разделить на три группы (рис.4): объекты занимают менее 25% площади кадра, от 25 до 40% и группа, в которой объекты занимают более 40% площади кадра. Вычислялось процентное соотношение суммы площадей объектов (центров интереса) к фону.
!
в
Рис.4. Стимульный материал с процентным соотношением площади, занимаемой центрами интереса, к фону А) Менее 25%; б) от 25 до 40%; в) более 40%
Следующий фактор — это расстояние между объектами (центрами интереса). Стимулы разделены на две группы: в первой группе объекты располагаются в кадре так близко, что тяготеют быть воспринятыми как один гештальт (рис.5а). Во второй группе стимулов объекты расположены на расстоянии большем, чем сам объект, что позволяет их воспринимать как отдельные сущности(рис.5б). Поле зрения определяется как
«количество градусов угла зрения при стабильной фиксации глаза [10]. При увеличении расстояния между объектами увеличивается задействованная область поля зрения у испытуемого, что требует от него осуществлять более значительные перемещения взгляда по пространству кадра для идентификации объектов.
Рис. 5. Стимульный материал с расстоянием между объектами (центрами интереса): А) меньшем, б) большем; чем большее из двух измерений объекта
3. Постановка эксперимента
В настоящее время активно развиваются исследования, использующие технологию
фиксирующую глазодвигательную активность -Ш^. Исследователи представляют новейшие технологии отслеживания взгляда и оценки взгляда. Вслед за недавними технологическими достижениями и появлением доступных ай-трекеров растет интерес к широко распространенным технологиям, ориентированным на внимание системы и интерфейсы, которые могут произвести революцию в общепринятом человеческо-технологическом взаимодействии U^i.
Для проведения текущего эксперимента использовался аппаратный комплекс, фиксирующий глазодвигательную активность - программно-аппаратный комплекс ай-трекинга SMI RED 250 (рис. 6). Для каждого испытуемого настраивалось кресло и подставка для фиксации головы. Также производилась калибровка ай-трекера индивидуально с помощью встроенной в комплекс функции.
Рис. 6. Экспериментальная установка с ай-трекером: компьютерный монитор, ай-трекер и
подголовник
В настоящем эксперименте испытуемым было предложено решить задачу по идентификации демонстрировавшихся им на первом этапе стимулов, среди множества других. В эксперименте фиксировалось изменение шаблона рассматривания кадра в зависимости от двух факторов: площадь главных объектов в кадре и расстояние между объектами.Результаты эксперимента по влиянию цветового решения описаны в статье-^41.
Эксперимент состоял из двух этапов. На первом этапе испытуемому предъявлялись 10 стимулов. Необходимо было запомнить изображения. Время для запоминания не ограничивалось. Через временной промежуток времени (30 мин.) испытуемому предъявлялись 50 стимулов, которые включали все кадры из первой части эксперимента и случайно выбранные из базы 40 стимулов. На втором этапе испытуемому предлагалось решает задачу по распознавания стимула. Каждому участнику эксперимента предлагается выбрать из 50 кадров те стимулы, которые он уже видел ранее. Порядок демонстрации материала на обоих этапах последовательный и случайный. Продолжительность рассматривания стимула испытуемым на этапе распознавания испытуемый также устанавливал самостоятельно.
4. Результаты
В эксперименте участвовало 44 человека от 18 до 25 лет из студентов Санкт-Петербургского политехнического университета Петра Великого. Статистическая обработка результатов эксперимента производилась посредством дисперсионного
анализа ANOVA-^131. Анализировались следующие параметры шаблона рассматривания: время наблюдения стимула, средняя длительность фиксаций при наблюдении одного стимула, среднее количество фиксаций при наблюдении одного стимула, среднее время саккад и среднее количество саккад при наблюдении одного стимула. Задачей анализа было выявить влияние факторов размера объектов и их удаленности друг от друга. Значение критерия значимости p-value для принятия гипотезы было выбрано 0,05. Значения p-value, полученные в результате выполнения вычислительной процедуры представлены, в таблице 1: фактор Square - процентное отношение суммы площадей объектов к фону; фактор dist - расстояние между объектами.
Таблица 1. Значения критерия значимости p-value для исследуемых факторов II . II
фактор p-value
square 0.042829
dist 0.040432
График плотности распределения времени рассматривания стимула в зависимости от фактора размера представлен на рисунке 7.
2000 г-
1900 1800 ■ 1700 ■
I
О1 1600 ■ i
1600 ■ 1Л00 1300
1200 L
меньшэ 25% 25-40% более 40%
square
Рис. 7. График плотности распределения времени рассматривания стимула в зависимости
от фактора размера объектов
По оси ординат расположены значения параметра длительности рассматривания стимула в миллисекундах. Представлены значения для стимулов, разделённых на три группы по фактору взаимного отношения площадей: менее 25% - размеры объектов незначительные по сравнению с площадью кадра, такие объекты сложнее разглядеть, потому что они теряются на большом пространстве фона; 25-40% - для рассматривания этой группы стимулов испытуемым потребовалось наименьшее количество времени, из чего можно сделать вывод, что эта группа стимулов оказалась наиболее удобной для рассматривания; более 40% - размеры объектов настолько значительны, что тяготеют быть воспринятыми как фон, поэтому для их идентификации требуется больше времени.
Экспериментальные данные показали, что фактор удалённости объектов друг от друга влияет на восприятие кинокадра (рис. 8).
1800
1750
1TÍ0
1GS0
„ 1600 I
— 1550 Е
1500 1450 1Л00 1350 1300
1 2
tfel
Рис.8. График плотности распределения времени рассматривания стимула в зависимости от фактора расстояния между объектами: 1 - расстояние между объектами меньше; 2 -расстояние между объектами больше, чем объект
По оси ординат расположены значения параметра длительности рассматривания стимула в миллисекундах. Представлены значения для стимулов, разделённых на две группы по фактору расстояния между объектами: 1 - расстояние между объектами меньше, чем объект; 2 - расстояние между объектами больше, чем объект, поэтому испытуемым требовалось больше времени для рассматривания большей площади кадра.
По результатам статистического анализа можно утверждать, что параметры шаблона рассматривания имеют статистически значимую зависимость от факторов размера и удаленности объектов друг от друга в кадре.
5. Выводы
При анализе данных о влиянии фактора размера объектов, полученные результаты показывают, что при условии, когда объекты занимают незначительную площадь кадра, наблюдателю требуется больше времени, чтобы рассмотреть этот кадр. Также как и в случае, когда объекты занимают большую часть кадра (более 40%). Можно предположить, что, в первом случае, ввиду небольших размеров объектов, наблюдателю становится труднее отыскать объекты в пространстве кадра, а во втором случае, требуется время, для идентификации объектов, так как они, в виду больших размеров, тяготеют к тому, чтобы быть восприняты как фон.
Если рассматривать фактор удалённости объектов друг от друга, то стоит отметить, что при большем расстоянии между объектами испытуемому приходится переводить взгляд по площади кадра, что заставляет его дольше рассматривать кадр.
Композиция влияет на шаблон рассматривания кадра человеком. Когда два объекта расположены на большем расстоянии друг от друга в кадре, то зритель рассматривает дольше такой кадр.
В результате проделанной работы разработана методика проведения экспериментальных исследований восприятия визуальной информации человеком с применением программно-аппаратного комплекса ай-трекинга.
Разработанная методика была апробирована на 44 испытуемых из числа студентов Санкт-Петербургского политехнического университета Петра Великого и показала свою состоятельность.
Кинокадр - это условный интерфейс передачи визуальной информации t14!. Разработанная методика может быть использована при проведении исследований по восприятию визуальной информации в графических интерфейсах систем удаленного управления динамическими объектами.
Библиография
1. Лотман Ю.М. Семиотика кино и проблемы киноэстетики // Лотман Ю.М. Об искусстве (СПб., 1998)
2. Jonides J., Irwin D.E., Yantis S. Integrating visual information from successive fixations // Science. 1982. V.215.P. 192-194.
3. Burr D., Morrone M.C. Eye movements: building a stable world from glance to glance //Curr Biol. 2005. V.15. №20.P. 839-840.
4. Mescheryakov S.V., Yanchus V.E., Borevich E.V. Experimental Research of Digital Color Correction Models and Their Impact on Visual Fixation of Video Frames // Humanities and Science University Journal. 2017. V. 27. P. 15-24.
5. Borevich E.V., Yanchus V.E., Mescheryakov S.V. Computer Eye-Tracking Model to Investigate Influence of the Viewer's Perception of the Graphic Information // GraphiCon 2021: труды 31-й Междунар. конф. по компьютерной графике и машинному зрению. P. 720-728
6. Орлов П.А., Лаптев В.В., Иванов В.М. К вопросу об использовании ай-трекинг систем // Научно-технические ведомости СПбГПУ. 2014. Т. 5 (205). С. 84-94.
7. Янчус В.Э., Боревич Е.В. Исследование значения цветового решения в процессе гармонизации кинокадра // Научно-технический вестник СПбГПУ. 2016. Т. 4. С. 5368.
8. Borevich E.V., Mescheryakov S.V., Yanchus V.E. Statistical Model of Computing Experiment on Digital Color Correction //DCCN.2019.P.140-150.
9. Янчус В.Э., Боревич Е.В., Авдеева А.А. — Применение технологии ай-трекинга в вопросах исследования восприятия графической информации // Программные системы и вычислительные методы. - 2021. - № 1. DOI: 10.7256/24540714.2021.1.33378
10. Страсбургер, Ганс; Пёппель, Эрнст (2002). Поле зрения. В G. Adelman & BH Smith (Eds): Encyclopedia of Neuroscience; 3-е издание на компакт-диске. Elsevier Science BV, Амстердам, Нью-Йорк.
11. Norman D.A., Draper S.W. User Centered System Design. Erlbaum: London, 1986. 526 p.
12. Majaranta P., Bulling A. Eye Tracking and Eye-Based Human-Computer Interaction // Advances in Physiological ComputingHuman-Computer Interaction Series, 2014. P. 3959.
13. Гланц, С. Медико-биологическая статистика / Стентон Гланц; Пер. с англ. д.ф.-м.н. Ю.А. Данилова под ред. Н.Е. Бузикашвили и Д.В. Самойлова. - М.: Практика, 1999. - 459 с.
14. Железняков В. Н. Цвет и контраст. Технология и творческий выбор: Учебное пособие. — М.: ВГИК, 2001. — 286 с.
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
Рецензируемая статья посвящена актуальной задаче анализа визуального восприятия сцен в зависимости от структуры кинокадра. Авторы обосновывают практическую значимость данного исследования, выбор метода исследования, анализируют элементы кадра, определяющие его визуальную привлекательность. Авторы провели исследование с участием 44 добровольцев, приводят иллюстрации эксперимента, подробно описывают стимульный материал что является важным критерием в экспериментах с ай-трекером, выполнили статистический анализ полученных данных. Авторы делят все стимулы на 2 группы, четко обосновывая критерий разделения. Планирование экспериментальной части выполнено корректно, качество изображений достаточное, оцениваемые объекты имеют различную форму.
Недостатком статьи является достаточное краткое упоминание аналогичных
экспериментов других авторов, минимальное количество численных оценок. Собственное исследование Авторами выполнено корректно, приводится обоснование выбора аппарата, планирование эксперимента, имеются иллюстрации использования аппаратного комплекса с соблюдением конфиденциальности данных, выполнен анализ зависимости времени рассматривания стимула от размера и расстояния между объектами.
Стиль изложения соответствует научной статье, корректно используется профессиональная терминология, стилистические не выявлены. Имеются иллюстрации с подрисуночными подписями, данные представлены в высоком качестве. Структура статьи отвечает требованиям к научной публикации.
Библиография содержит 14 источников, в отечественных и зарубежных рецензируемых изданиях, из них 3 за последние 5 лет. Ссылки по тексту имеются. Оформлена в соответствии с требованиями Журнала, однако в некоторых позициях встречаются опечатки. Замечания.
Статья содержит единичные орфографические ошибки.
Рис. 2 содержит пояснительный текст в теле изображения, однако выбор шрифта с учетом алгоритмов сжатия не позволяет ожидать высокого качества при публикации в Журнале. Необходимо использовать больший кегль.
Желательно в разделе Стимульный материал пояснить, почему при разделении кадров на 3 группы были выбраны пороги 25% и 40%.
В описании эксперимента желательно отметить характеристики комплекса, отвечающие за пространственное разрешение или иные технические характеристики оборудования (например, чувствительность). Отсутствуют данные о размерах изображений (в пикселях), формате данных (что позволит косвенно оценить глубину цветопередачи). Желательно отметить, что измеряемой величиной было время, необходимое для визуального восприятия и идентификации зрительного стимула.
Графические зависимости времени рассматривания объекта от его размера и расстояния имеют минимальное количество точек. Вероятно результаты расчетов для расстояния лучше представить в табличной форме или дополнить. Большим количество градаций (по оси Х).
Необходимо в тексте более конкретно сформулировать результаты обработки экспериментальных данных, представленных на рис. 7-8.
Необходимо внести некоторые технические правки в выходные данные использованных источников (см. требования Журнала и ГОСТ).
Статья рекомендуется к публикации с небольшими техническими правками, в повторном рецензировании не нуждается.
