CC BY-NC-ND
82
Психофизиологические подходы к проектированию образовательного контента в иммерсивной среде
Ю.А. Еременко, О. А. Залата
Еременко Юлия Александровна
кандидат экономических наук, доцент кафедры маркетинга, торгового и таможенного дела Крымского федерального университета им. В. И. Вернадского.
Адрес: 295015, Симферополь, ул. Севастопольская, 21/4. E-mail: [email protected] Залата Ольга Александровна
кандидат медицинских наук, доцент кафедры нормальной физиологии Крымского федерального университета им. В. И. Вернадского. Адрес: 295015, Симферополь, бул. Ленина, 5/7.
E-mail: [email protected]
Аннотация. В рамках выполнения федерального проекта «Цифровая образовательная среда» в Российской Федерации при реализации основных образовательных программ планируется использовать современные технологии, в том числе технологии виртуальной и дополнительной реальности. Внедрение иммерсивных технологий в образовательную систему должно быть основано на результатах исследований влияния виртуальной среды на эффективность обучения. Специфика исследуемой технологии состоит в наличии эффекта присутствия, возможности интерактивного и социального взаимодействия, а также мультисенсорности, которые в совокупности оказывают
достаточно противоречивое влияние на опыт и результаты обучения. Ввиду ограниченности имеющихся данных решения относительно проектирования учебного контента часто принимаются на основе практических или экономических соображений.
Таким образом, назрела острая необходимость в объективных методах оценки образовательного контента для понимания его влияния на когнитивные процессы и эмоциональное состояние обучающегося. В процессе разработки и внедрения виртуального образовательного контента предлагается его оценка по следующим параметрам: уровень «присутствия» и когнитивной нагрузки, эмоциональное восприятие контента, социальное взаимодействие и оценка возможности появления симптомов киберболезни.
Проведенный анализ литературы, а также структуризация методологического инструментария позволит сориентировать дальнейшие научные работы в использовании психофизиологических методов исследования в проектировании эффективного образовательного контента в средах виртуальной реальности. Ключевые слова: иммерсивная среда, обучение, образовательный контент, психофизиологические методы исследования.
ЭО!: 10.17323/1814-9545-2020-4-207-231
Статья поступила в редакцию в июне 2020 г.
Иммерсивные технологии, погружающие человека в виртуальную реальность, дающие ему возможность взаимодействия с пространством, информацией и контентом, все шире применяются в разных сферах жизни социума.
Виртуальная реальность (virtual reality, VR) — это генерируемая с помощью компьютера трехмерная среда, с которой человек может взаимодействовать, полностью или частично в нее погружаясь [Селиванов, Селиванова, 2014]. VR находит применение в разных направлениях обучения: программирование, туризм, маркетинг, медицина, лингвистика. VR позволяет повысить эффективность подачи материала, так как дает возможность погрузить субъекта обучения в ситуации, которые очень трудно смоделировать в реальности (пожар на опасном предприятии и действия спасателей), а также отработать новые навыки, приобретение которых сопряжено с риском для здоровья другого человека (обучение сложным манипуляциям у микрохирургов).
С повышением доступности технологий виртуальной реальности, обусловленным удешевлением аппаратных средств, а также появлением разнообразного и открытого контента, возросло и количество теоретических исследований в данной области. Ряд работ посвящен изучению возможностей VR в освоении абстрактных конструкций, например геометрических концепций или пространственных понятий в векторной алгебре [Hwang, Hu, 2013; Roussou, Oliver, Slater, 2006; Roussou, 2009; Kaufmann, Schmalstieg, Wagner, 2009]. Анализируются особенности применения иммерсивной среды в освоении практических навыков [Ala-raj et al., 2011], в эндоскопической хирургии [van Dongen et al., 2011], в инженерном обучении [Ewert et al., 2014; Alhalabi, 2016], в обучении будущих нейрохирургов применяется VR с тактильным интерфейсом [Müns, Meixensberger, Lindner, 2014]. Множество работ посвящено использованию VR в гуманитарных науках, например в изучении языков [Wang, Newton, Lowe, 2005; Lin, Lan, 2015] и истории [Blanco-Fernández et al., 2014]1.
VR обладает свойствами, которые делают ее эффективным инструментом обучения: во-первых, она помогает преобразовать абстрактное в осязаемое, что чрезвычайно полезно при изучении абстрактных понятий, в частности в математике; во-вторых, предоставляет обучающемуся возможность учиться на практике, а не просто наблюдать; в-третьих, позволяет получить учебный опыт в местах, которые физически невозможно или трудно посетить [Slater, Sanchez-Vives, 2016].
1 Takahashi D. (2019) Holocaust Memorial Museum Uses Augmented Reality to Make History Visceral|VentureBeat. https://venturebeat.com/2018/08/31/ holocaust-memorial-museum-uses-augmented- reality-to-make-histo-ry-visceral/
Рис. 1. Структура иммерсивной образовательной среды
Иммерсивная образовательная среда
I
г
Аппаратное обеспечение
Техника
взаимодействия
Обучающий контент
I
I
I
г
Сценарии Дизайн среды Модуль Модуль Модуль
(цвет, звук, интерактив- инструктора/ поддержки
запах и т. д.) ности аватара
Успех применения любой инновационной технологии в образовании зависит, с одной стороны, от правильного ее использования в соответствии с целями и задачами обучения, а с другой — от грамотного проектирования образовательной среды в целом и обучающего контента в частности (рис. 1).
VR представляет собой созданный при помощи технических средств мир, передаваемый человеку через его органы чувств. Технической задачей VR является замена реальных ощущений восприятиями, сгенерированными компьютером. Если эта задача решена успешно, создается эффект погружения, т.е. иллюзия пребывания в виртуальном мире. В образовании «погружение» позволяет ученикам получить учебный опыт. Погружение достигается техническими возможностями системы, а его субъективным коррелятом является присутствие [Ibid],
На успешность достижения иммерсивности (погружения, присутствия) оказывает влияние ряд факторов, в частности адекватность сенсорного замещения (широкое поле зрения, стереозвук, дисплей с широким разрешением и т.д.), уровень интерактивности, мультисенсорность, наличие эмоциональных реакций и социального взаимодействия. Эти факторы могут быть спроектированы для моделирования необходимых когнитивных и аффективных процессов в обучении.
Результаты проведенных исследований свидетельствуют о том, что влияние возможностей иммерсивной среды в обеспечении уровня интерактивности, мультисенсорности, моделирования социального взаимодействия или эмоциональных состояний на когнитивные и аффективные процессы и, следовательно, на результаты обучения не является однозначным.
В частности, противоречивые результаты получены в исследованиях влияния эффекта присутствия на эффективность обучения. В ряде работ [Bayraktar, 2002; Bonde et al., 2014; Clark, Tanner-Smith, Killingsworth, 2016; Merchant et al., 2014; Rutten, van Joolingen, van der Veen, 2012] установлено, что моделирование обучающего контента с низким погружением приводит к лучшим когнитивным результатам. Возможное объяснение состоит в том, что высокий уровень погружения повышает когнитивную нагрузку и, следовательно, снижает результаты обучения [Makransky, Terkildsen, Mayer, 2017]. Однако в других исследованиях [Salzman et al., 1999; Lee, Wong, Fung, 2010] показано, что иммерсивная среда, которая создает более сильное чувство присутствия, приводит к более высокой вовлеченности и мотивации и более глубокой когнитивной обработке учебного материала.
В табл. 1 резюмированы результаты ряда исследований влияния свойств иммерсивной среды на обучение.
Безусловно, иммерсивные технологии могут оказать значительное влияние на результаты обучения благодаря широким возможностям моделирования различных эмоциональных состояний, привлечению внимания и интереса к учебному материалу, а также возможности «прожить» учебный опыт. Будут эти результаты положительными или отрицательными, зависит от фундаментальных принципов, заложенных в проектирование учебного контента.
Из табл. 1 видно, что наиболее спорным вопросом в проектировании образовательного контента является оценка уровня когнитивной нагрузки, на которую значительное влияние оказывают степень мультисенсорности и интерактивности. Основоположник теории когнитивной нагрузки Д. Свеллер утверждал, что оптимальная когнитивная нагрузка зависит от объема информации, которую рабочая память может хранить в каждый момент времени [Sweller, 1998]. Поскольку рабочая память имеет ограниченные возможности, учебные методы не должны перегружать ее дополнительными действиями, которые непосредственно не способствуют обучению. Таким образом, невозможно однозначно определить характер влияния современных мультимедийных средств на результаты обучения, поскольку они ставят обучающегося перед необходимостью дополнительной обработки различных видов сенсорной информации.
Теория когнитивной нагрузки с использованием мультимедиа [Mayer, 2009] предполагает три типа обработки информации: посторонняя обработка — не направлена на учебную цель, вызвана плохим дизайном контента или различными отвлекающими факторами; основная обработка — нацелена на освоение обучающего материала; генеративная обработка — направлена на осмысление материала, побуждается мотивацией учащего-
Таблица 1. Влияние возможностей иммерсивной среды на когнитивные и эмоциональные процессы в обучении
Эффект и возможности иммерсии Автор Влияние на когнитивные и эмоциональные процессы в обучении Результаты статистического анализа
Уровень интерактивности УЯ [Zhang, Bowman, Jones, 2019] 1. Посттесты не показали значимых различий в результатах обучения с использованием разных уровней интерактивности 2. Эффективность опыта обучения в УЯ. Апостериорный тест показал, что средний уровень интерактивности воспринимался как значительно более эффективный, чем низкий уровень интерактивности 1. Анализ результатов обучения в трех условиях 2. х2 (2) = 6,107; р = 0,047 Ц = -12,445; р = 0,05)
[Zhang et al., 2006] 1. Результаты обучения в группе с использованием интерактивного видео выше, чем в других группах (без интерактивности) 2. Повышение уровня удовлетворенности учащихся в зависимости от интерактивности образовательного контента 1. Г (3, 134) = 9,916; р = 0,00 2. Г (3, 134) = 23,696; р = 0,00
Моделирование эмоциональных состояний [Allcoat, von Muhlenen, 2018] 1. Положительные эмоции значительно возросли при взаимодействии с образовательным контентом в среде УЯ 2. Положительные эмоции значительно ослабли в условиях восприятия образовательного видео и учебника 1. t(30) = 4,73; р < 0,001 2. t(33) = 4,92; р < 0,001
Социальное взаимодействие в УЯ [Ravaja et al., 2006] 1. Игра против друга или незнакомца вызвала более сильное чувство ожидаемой угрозы, чем игра против компьютера 2. Переживание пространственного присутствия сильнее в игре с другом или с незнакомцем, чем в игре с компьютером 3. Игра с аватаром-человеком вызвала более сильную вовлеченность, чем игра с компьютером 4. Игра против аватара-человека вызвала более сильный положительный эмоциональный отклик, чем игра с компьютером 1. Г (1, 32) = 7,55; р = 0,010; х2 = 0,19 2. Г (1, 32) = 5,22; р = 0,029; х2 =0,14 3. Г (1, 32) = 17,83; р = 0,001; х2 =0,36 4. Г (1, 32) = 24,19; р = 0,001; х2 = 0,43
Мультимедийность/ мультисенсорность [Moreno, Mayer, 2000] Наличие посторонней музыки снижает запоминаемость вербальной информации у студентов (М = 7,65, вй = 3,73) и (М = 11,37, вй = 3,29); Г (1, 71) = 21,99; МвЕ = 11,61; р < 0,0001
[Kartiko, Kavakli, Cheng, 2009] Использование анимированных виртуальных персонажей (повышение визуальной сложности) не повлияло на результаты обучения х2 (2, N = 200) = 0,12; р = 0,94
ся прилагать усилия к обучению. Поскольку возможности когнитивной обработки информации ограничены, избыток сенсорных стимулов или отвлекающих факторов может отрицательно повлиять на результаты обучения. Следовательно, иммерсивная среда с высоким уровнем погружения может значительно увеличить постороннюю когнитивную нагрузку.
Существенное влияние на когнитивные процессы оказывают эмоциональные состояния, определяя избирательность внимания, а также мотивируя субъекта к тем или иным действиям [Tyng et al., 2017; Immordino-Yang, 2015]. Положительные эмоции облегчают работу над задачами, которые требуют от учащихся творчества и фантазии [Isen, Daubman, Nowicki, 1987; Fredrick-son, 2001; Greene, Noice, 1988]. Отрицательные эмоции отвлекают внимание обучающегося от учебной задачи на себя самого, поскольку он старается найти способ избавиться от плохого самочувствия, и тем самым негативно влияют на результаты обучения [Hascher, 2010]. Эмпирически установлена корреляция удовольствия от обучения с саморегуляцией и гибким творческим решением проблем (0,43, р < 0,001) [Goetz et al., 2006].
Поскольку VR-технологии могут создавать очень сильные эмоции2, они обладают весомым потенциалом в моделировании эмоциональных состояний, необходимых для эффективного обучения. Появление сильных эмоций в иммерсивной среде связывают с эффектом присутствия: с одной стороны, переживание присутствия сильнее при восприятии эмоционально насыщенного содержания, с другой — на эмоциональное состояние влияет степень переживания присутствия [Riva et al., 2007].
Таким образом, ключом к эффективному использованию им-мерсивной среды в обучении является разработка фундаментальных принципов проектирования учебного контента, основанных на использовании психофизиологических методов его оценки, которые дают наиболее объективные количественные данные о протекании когнитивных процессов и эмоциональных состояний. Данные методы основаны на измерении неосознанных физиологических реакций человека на внешние стимулы, они дают возможность сбора данных в режиме реального времени.
Наиболее важными параметрами в оценке образовательного контента в VR-среде являются эффект присутствия, уровень когнитивной нагрузки, эмоциональное восприятие, социальное взаимодействие, а также показатель VR-стресса, вызванного восприятием некачественного контента и способного привести к появлению головокружения, тошноты, повышенного давления и т. д.
2 Milk C. (2015) How Virtual Reality Can Create the Ultimate Empathy Machine. https://www.ted.com/talks/chris_milk_how_virtual_reality_can_create_the_ ultimate_empathy_machine
Таблица 2. Психофизиологические методы и параметры оценки состояния субъектов, получающих знания в среде виртуальной реальности
Эффект присутствия Уровень когнитивной нагрузки Оценка эмоций Социальное взаимодействие УЯ-стресс (киберболезнь)
Айтрекер, ЭКГ*, Айтрекер, ЭЭГ***, Айтрекер, Айтрекер, ЭКГ,
ЭМГ** вызванные ЭКГ, ЭКГ, ЭДА,
и связанные ЭМГ, ЭМГ, частота дыхания,
с событием ЭЭГ, ЭЭГ, частота
потенциалы ЭДА****, ЭДА, сердечных
фМРТ*****, лицевое кодирование, сокращений
лицевое кодирование, частота дыхания,
частота дыхания, частота сердечных
частота сердечных сокращений
сокращений
Примечание: * ЭКГ — электрокардиография; ** ЭМГ — электромиография; *** ЭЭГ — электроэнцефалография; **** ЭДА — электродермальная активность; ***** фМРТ — функциональная магнитно-резонансная томография.
В табл. 2 представлены психофизиологические методы и показатели состояния организма субъектов, получающих знания в VR-среде.
Эффект присутствия, который позволяет «прожить» учебный Оценка эффекта опыт, называют также иллюзией «быть там» или «иллюзией ме- присутствия ста». Она возникает, когда человек находится в статичном виртуальном мире. Если виртуальная среда начинает взаимодействовать с человеком, например реагировать на его действия или отвечать ему, человек испытывает иллюзию правдоподобия, которую создает переживание реальности происходящего. В виртуальном образовательном контенте эффект присутствия способствует привлечению внимания, появлению интереса и высокого уровня мотивации обучающихся к освоению учебного материала.
Большинство методик оценки переживания присутствия в иммерсивной среде основаны на использовании психологических подходов. Например, с помощью анкеты оценивают параметры переживания присутствия: любопытство, концентрацию, вызов, контроль, понимание и сочувствие ^т, Pei-Luen, Salvendy, 2007]. Полное погружение в VR описывается восемью ключевыми компонентами: четкие цели, высокая степень концентрации внимания, потеря чувства самосознания, искаженное чувство времени, прямая и немедленная обратная связь, баланс между уровнем способностей и вызовом, чувство личного контроля, полезный опыт [Csikszentmihalyi, 1990].
Среди психофизиологических методов для оценки эффекта погружения используют фиксацию движений глаз. В частности, установлено, что усиление погружения вызывает значительный рост медианы амплитуды движения глазных яблок [Parsons et al., 2009]. Авторы утверждают, что сценарии «высокого погружения» вызывают более сильную физиологическую реакцию, чем сценарии «низкого погружения». Для обучающихся в иммерсивной среде характерно сокращение числа фиксаций взгляда в секунду, поскольку их внимание становится более сфокусированным [Jennett et al., 2008].
Оценка уровня Иммерсивная среда с ее возможностями мультисенсорного когнитивной и интерактивного воздействия на человека может создавать из-нагрузки быточную когнитивную нагрузку. Высокий уровень когнитивной нагрузки, вызванный посторонней обработкой, может ухудшить результаты обучения. ЭЭГ, в том числе с регистрацией вызванных и связанных с событием потенциалов, является наиболее объективным методом оценки когнитивной нагрузки [Sterman, Mann, 1995; Gerjets et al., 2014; Mühl, Jeunet, Lotte, 2014; Kumar, Kumar, 2016].
Установлено, что при повышении уровня функциональной активности мозга (напряженное внимание, интенсивная психическая работа) амплитуда а-ритма на ЭЭГ уменьшается и сменяется нерегулярной и низкоамплитудной активностью. Эта реакция физиологически интерпретируется как феномен десин-хронизации активности нейронов и имеет несколько названий: «реакция активации», «реакция десинхронизации», в зависимости от ситуации, в которой регистрируется. Реакция активации возникает как следствие появления нового фактора в окружающей среде, который требует иного уровня ориентации [Данилова, 2001; Зенков, 2001]. В ряде исследований при использовании цифрового фильтрования и компьютерного анализа ЭЭГ было показано, что в диапазоне ß2 (35-45 Гц) регистрируется особая активность, связываемая с познавательными процессами, в частности с произвольным вниманием, сенсомоторной интеграцией [Данилова, 2001]. Таким образом, характерные изменения в паттерне ЭЭГ, которые будут динамично отражать изменение активности коры головного мозга, могут быть рекомендованы в качестве индикаторов психических процессов, обеспечивающих процесс восприятия новой информации, в том числе в иммерсивной среде.
Исследования когнитивной нагрузки методом айтрекинга [Goldberg, Kotval, 1999] позволили выявить ряд закономерностей: во-первых, с повышением когнитивной нагрузки уменьшается количество фиксаций глазных яблок (когда мозг занят выполнением когнитивной задачи, он не может параллельно
осуществлять поиск цели); во-вторых, более длительные фиксации означают более высокую когнитивную нагрузку (пользователь тратит много времени на «обработку»); в-третьих, чем выше отношение длительности фиксаций к длительности сак-кад, тем выше когнитивная нагрузка в VR-среде (фиксации характеризуют время, затрачиваемое на обработку информации, саккады — время, затрачиваемое на поиск элементов).
Таким образом, при оценке визуального дизайна образовательного контента использование айтрекера позволяет изучать и управлять механизмами внимания субъектов обучения. С его помощью можно устранить отвлекающие объекты дизайна, а также оценить уровень внимания и интереса к необходимым элементам контента для повышения эффективности обучения.
Эмоции оказывают существенное влияние на восприятие, принятие решений, внимание, память и другие важные в процессе обучения когнитивные процессы. Автоматическое количественное определение и распознавание эмоций называется аффективными вычислениями, в этой методологии объединились знания в области психофизиологии, информатики, биомедицинской инженерии и искусственного интеллекта. В психологии сложились два подхода к моделированию эмоций: дискретные и размерные модели. Первый подход основан на категоризации эмоций, обычно в соответствии с используемыми в повседневной жизни понятиями, например счастье, гнев, раздражение и т. д. Размерные модели предполагают многомерное пространство, в котором каждое измерение представляет фундаментальное свойство, общее для всех эмоций. Эмоции характеризуются валентностью, т. е. могут быть приятными или неприятными, и степенью возбуждения, т. е. интенсивностью эмоции — от низкого до высокого уровня.
Последние два десятилетия нейро- и психофизиология предлагают новые методы изучения эмоциональных процессов и их нервных коррелятов. К наиболее известным нейрофизиологическим методам анализа ответов центральной нервной системы на предъявление эмоциональных стимулов относится ЭЭГ, позволяющая оценить их валентность и интенсивность. Более широкий класс аффективных вычислений основан на получении ответов от автономной нервной системы человека. К данной группе методов можно отнести вариационную пульсо-метрию (ВСР-анализ), а также ЭКГ, ЭМГ, ЭДА, айтрекинг, кодирование лицевых движений.
Комбинация нескольких методов позволяет получить более надежные и объективные данные. Например, разработана методология автоматической оценки эмоциональных реакций на основе использования ЭКГ, ЭДА и регистрации частоты дыхатель-
Оценка эмоционального восприятия образовательного контента
Таблица 3. Пример представления результата работы алгоритма по распознаванию эмоций (Microsoft Azure)
Числовые значения Интерпретация числовых данных
Результат 1: 0,001000087; 0,050074505; 0; 0; 0,001000474; True Результат 2: 0; 0; 0; 0; 0,8; True Результат 3: 0; 0; 0; 0; 0; False Гнев Презрение Отвращение Страх Счастье True — данные успешно записаны False — данные не записаны
* Идентификация соответствующей эмоции на фотографии соответствует значению от 0 до 1.
ных движений. Результаты показывают, что при использовании нелинейно извлеченных функций процент успешного распознавания эмоций резко возрастает [Valenza, Lanata, Scilingo, 2012]. Другая система распознавания эмоций на основе физиологических сигналов использует регистрацию ЭКГ и частоты дыхания [He, Yao, Ye, 2017]. В этом исследовании с применением метода опорных векторов (SVM) была достигнута точность распознавания радости, грусти, гнева и удовольствия 81,82; 63,64; 54,55 и 30,00% соответственно. Точность модели распознавания аффективных состояний в VR на основе использования ЭЭГ и ЭКГ составила 75,00% по измерению возбуждения и 71,21% по измерению валентности [Marín-Morales et al., 2018].
Оценивание эмоциональных состояний с использованием айтрекера в большинстве научных работ основано на измерении диаметра зрачка (пупиллометрия) [Granholm, Steinhauer, 2004; Steinhauer et al., 1983]. Расширение зрачка, как правило, связывают с просмотром приятных изображений [Bradley et al., 2008]. Однако увеличение диаметра зрачка может быть обусловлено не только наличием эмоций или повышением тонуса симпатической нервной системы, отвечающей за стрессовую реакцию организма, но также высокой когнитивной нагрузкой, усиленным вниманием или загрузкой рабочей памяти.
Метод лицевого кодирования основан на применении специальных алгоритмов распознавания и идентификации эмоций. Как правило, технология лицевого кодирования предусматривает трехступенчатый алгоритм: на первом этапе происходит автоматическое распознавание лица на основе каскадного классификатора Виолы — Джонса; на втором этапе осуществляется определение характерных черт в пределах обнаруженного лица по ориентирам: глаз, угол глаза и брови, уголки рта, кончик носа, форма рта; на третьем этапе проводится идентификация характерных черт или перевод характеристик лица в метрики [Ярош
и др., 2020]. Примером данной технологии может быть продукт Microsoft Azure (табл. 3) предлагающий в свободном доступе алгоритмы для обнаружения, распознавания и анализа человеческих лиц на изображениях [Еременко, Улановская, 2020].
Распознавание эмоций на основе лицевого кодирования дает достаточно высокие результаты. Так, при проверке программного обеспечения, созданного для автоматизированного кодирования лица — Face Reader3, индекс соответствия системы составил 89% [Lewinski, Uyl, Butler, 2004].
Взаимодействие «глаза в глаза» — очень важная составляющая обучения, дающая возможность выразить одобрение, поддержу или придать убедительности словесному обращению.
Социальное взаимодействие в процессе обучения в VR-среде практически не исследовано. Большинство работ посвящено изучению социального взаимодействия в сетевой игре или в «общении» с компьютерными аватарами, а также особенностям восприятия аватара. Исследуется, например, влияние характера противника (компьютер, друг или незнакомец) на пространственное присутствие, эмоциональные реакции и оценки угроз и вызовов в видеоигре [Ravaja et al., 2006]. Анализ нейрофизиологических метрик ЭДА и лицевой электромиографии, а также самоотчетов показал, что игра с другом вызывает больше возбуждения и более сильную положительную валентность, чем игра с незнакомцем. Присутствие партнера усиливает интерес и восприимчивость к игре, побуждает выбирать более сложные задания.
Психофизиологические методы применяются в исследовании взаимодействия человека в виртуальном пространстве с трехмерными экранными персонажами — человекоподобными аватарами или компьютерными «агентами». Установлено, в частности, что для допуска чужого аватара в личное пространство своего аватара определенное значение имеют пол испытуемого и воспринимаемый пол чужого аватара, а также направление взглядов обоих аватаров [Bailenson, Blascovich, Beall, 2003]. Авторы ввели понятие «эффект цифрового хамелеона»: испытуемые чаще соглашались допустить в личное пространство и выше оценивали тот аватар, чье невербальное поведение соответствовало их поведению. Испытуемые предпочитают антропоморфных (в отличие от не имеющих сходства с людьми) аватаров, пол и раса которых совпадают с их собственными [Nowak, Rauh, 2005].
Оценка социального взаимодействия в иммерсивной среде
3 https://www.noldus.com/facereader
Оценка уровня Некачественный образовательный контент затрудняет восприя-VR-стресса тие учебного материала. В предельных случаях он вызывает VR-стресс (киберболезнь), который может сопровождаться головокружением, тошнотой, повышением давления и частоты сердечных сокращений. Для оценки симптомов киберболез-ни предложена анкета из 16 вопросов о симптомах, разделенных на три основные категории: 1) тошнота (общий дискомфорт, повышенное слюноотделение, потливость, тошнота, трудности с концентрацией внимания); 2) глазодвигательные симптомы (общий дискомфорт, усталость, головная боль, напряжение глаз, трудности с концентрацией внимания и помутнение зрения); 3) дезориентация (трудности с фокусировкой, тошнота, затуманенное зрение, головокружение с открытыми/закрытыми глазами) [Kennedy et al., 1993].
Применение посттестов позволяет оценить общую реакцию организма на просмотренный обучающий контент, при этом психофизиологические методы дают возможность понять, на каком этапе и какой элемент сцены привел к дискомфорту и вызвал симптомы киберболезни. С этой целью применяются регистрация кожногальванической реакции человека, показателей гемодинамики (изменение уровня артериального давления и частоты сердечных сокращений), а также измерение частоты и ритма дыхания. Симптомы киберболезни и изменения региональной активности головного мозга оценивались с использованием локализации источника на основе ЭЭГ до и после опыта VR с использованием дисплея, прикрепленного на голову и поддерживаемого программным обеспечением смартфона [Kim et al., 2019].
Гемодинамика является надежным индикатором стрессовых состояний. Например, проведенный авторами данной статьи анализ показателей систолического и диастолического артериального давления, а также частоты сердечных сокращений до и после восприятия образовательного контента в среде VR и гипермедиа позволил установить, что при взаимодействии с образовательным контентом в среде VR у испытуемых повышается давление, что может свидетельствовать об активации симпатического тонуса автономной системы, обеспечивающей стресс-реакцию, в нашем случае на новый формат обучения. В то же время обучение в гипермедиа, более привычной для студентов среде, привело к снижению уровня артериального давления, что может указывать на уменьшение напряжения симпатического отдела нервной системы [Астафуров и др., 2020].
Нейрофизиологические методы с успехом применяются в проектировании образовательного контента. Оценка разработанного контента может осуществляться во время взаимодействия с ним, а также до и после, что, безусловно, является преимуществом рассмотренных методов.
Таблица 4. Методы и метрики оценки образовательного контента в среде УЯ
Когнитивные и аффективные процессы
Нейрофизиологические методы исследования
Метрики
Интерпретация показателей
Применение
Внимание и интерес
Окулография
ЭЭГ (электроэнцефалограмма)
Метрики окуломоторной активности
Тепловые карты
Время до первой фиксации (Г^)
Соотношение продолжительности первой фиксации и Г^
Саккады
Фиксации
Мигания
Изменение спектральной мощности основных ритмических диапазонов ЭЭГ
На основе контрастности цвета показывают области визуального внимания и интереса
Показывает, как осуществляется поиск зоны интереса, т. е. какие части визуального стимула приоритетны для наблюдателя
Короткое время Г^ и большая продолжительность первой фиксации указывают на высокую привлекательность визуального объекта
При восприятии неинтересного материала увеличивается число саккад [0гоЬе1пу et а1., 2006]
Повторные фиксации показывают, сколько раз испытуемый возвращался в зону интереса
Низкая частота миганий свидетельствует о высоком уровне концентрации внимания [Ярош и др., 2020]
Об интересе, который вызвал предъявляемый материал, свидетельствует увеличение спектральной мощности 9-ритма
Управление произвольным вниманием и интересом обучающихся в процессе восприятия образовательного контента. Критерием оптимального реагирования считаются соответствующие эффективному обучению паттерны визуального внимания, а также сохранение интереса
Эмоции
Автоматическое лицевое кодиро-
Метрики автоматического распознавания эмоций на основе анализа характерных черт
Идентификация эмоций: радость, страх, гнев, удивление, презрение
Моделирование необходимых эмоциональных состояний в процессе обучения
Когнитивная нагрузка
ЭЭГ (электроэнцефалограмма)
Изменение спектральной мощности основных ритмических диапазонов ЭЭГ
Показатели когнитивной деятельности: реакция десинхро-низации; усиление спектральной мощности высокочастотных диапазонов ЭЭГ (Р-1, р-2 ритмов);
Достижение оптимального уровня когнитивной нагрузки в процессе восприятия образовательного контента. Критерием оптимально-
вание
Когнитивные и аффективные процессы
Нейрофизиологические методы исследования
Метрики
Интерпретация показателей
Применение
го реагирования ЭЭГ-паттерна субъектов, пребывающих в иммер-сивной среде, считается появление реакции де-синхронизации
Окулография
Метрики окуломоторной активности
Фиксации
Изменение размера зрачка
Сложность обрабатываемого изображения влияет на продолжительность фиксаций [Renshaw et al., 2004]. В условиях высокой когнитивной нагрузки число фиксаций возрастает [Grobelny et al., 2006]
Расширение зрачка связывают с увеличением когнитивной нагрузки [Poole, Ball, Phillips, 2006]
VR-стресс
Тонометрия с регистрацией пульса (частоты сердечных сокращений)
Показатели гемодинамики (систолическое, диасто-лическое артериальное давление, частота сердечных сокращений)
Оценка уровня эмоционального стресса по динамике уровня артериального давления и частоты сердечных сокращений (увеличение давления и ускорение частоты сердечных сокращений)
На основании мониторинга данных регистрации артериального давления и измерения пульса — обнаружение и недопущение симптомов УЯ-стресса в им-мерсивной среде обучения.
Критериями оптимального реагирования показателей гемодинамики считается прирост пульса и уровня артериального давления не более чем на 10%
В табл. 4 представлены наиболее доступные аппаратные средства нейрофизиологических исследований — метрики и их интерпретация.
Таким образом, объективные психофизиологические методы исследования могут служить достижению стратегических и тактических целей при проектировании образовательного контента в виртуальной среде. На стратегическом уровне они помогают оценить целесообразность внедрения инновационных технологий в обучение и понять, где инновация — это дань моде, а где
эффективный инструмент обучения. На тактическом уровне применение психофизиологических методов может быть полезно при формировании основ и принципов проектирования эффективного образовательного контента в VR; при оценке уровня физической и психологической комфортности пребывания в им-мерсивных средах с использованием различных устройств; для выявления индивидуальных особенностей обучающихся при взаимодействии с VR в обучении.
Выполненный обзор исследований влияния виртуальной среды Заключение на эффективность обучения позволяет заключить, что изучение свойств VR — эффекта присутствия, возможностей интерактивного и социального взаимодействия, мультисенсорности—должно быть направлено на оценку качества знаний, получаемых с использованием VR, а также степени риска развития кибер-стресса.
Объективность в оценках влияния иммерсивной среды на качество получаемых знаний может быть обеспечена широким спектром психофизиологических аппаратных методов (айтрекинг, электроэнцефалография, электрокардиография, электромиография, функциональная магнитно-резонансная томография и др.), регистрацией физиологических параметров у участников натурных экспериментов. Для оптимизации психофизиологических наблюдений за субъектами обучения можно рекомендовать регистрацию не менее трех показателей, которые будут характеризовать уровень произвольного внимания, степень когнитивной нагрузки и риск развития VR-стресса.
Оценка образовательного контента в виртуальной среде на этапе его проектирования и разработки, проведенная с помощью объективных психофизиологических методов, позволит внедрить современные передовые технологии в онлайн-обуче-ние повысить эффективность восприятия и усвоения материала обучающимися.
1. Астафуров Д. Д., Вербенко П. С., Дорожкин Р. К., Жукова А. В., Измаи- Литература лов Э. Ф., Кравченко А. Н., Прасолов Н. С., Середа Е. В. (2020) Характеристика физиологических и психологических реакций у студентов
при предъявлении информационного контента в среде виртуальной реальности: сб. материалов 92-й Международной научно-практической конференции студентов и молодых ученых «Теоретические и практические аспекты современной медицины» (Симферополь, 16 апреля 2020 г.). Симферополь: ФГАОУ ВО «КФУ имени В. И. Вернадского»; Медицинская академия имени С. И. Георгиевского. С. 349-351.
2. Данилова Н. Н. (2001) Психофизиология. М.: Аспект.
3. Еременко Ю. А., Улановская О. Н. (2020) Современные методы и технологии прикладного нейромаркетинга // Маркетинг в России и за рубежом. № 2. С. 37-45.
4. Зенков Л. Р. (2001) Клиническая электроэнцефалография (с элементами эпилептологии). М.: МЕДпресс-информ.
5. Селиванов В. В., Селиванова Л. Н. (2014) Виртуальная реальность как метод и средство обучения // Образовательные технологии и общество. Т. 17. № 3. С. 378-391.
6. Ярош О. Б., Калькова Н. Н., Вельгош Н. З., Еременко Ю. А., Митина Э. А. (2020) Визуальный нейромаркетинг: фундаментальные и прикладные исследования. Симферополь: ИТ «Ариал».
7. Alaraj A., Lemole M. G., Finkle J. H., Yudkowsky R., Wallace A., Luciano C., et al. (2011) Virtual Reality Training in Neurosurgery: Review of Current Status and Future Applications // Surgical Neurology International. Vol. 2. Art. No 52. DOI:10.4103/2152-7806.80117.
8. Alhalabi W. S. (2016) Virtual Reality Systems Enhance Students' Achievements in Engineering Education // Behaviour & Information Technology. Vol. 35. No 11. P. 919-925. http://doi.org/10.1080/0144929X.2016.1212931
9. Allcoat D., von Muhlenen A. (2018) Learning in Virtual Reality: Effects on Performance, Emotion and Engagement // Research in Learning Technology. Vol. 26. Art. No 2140. November. DOI:10.25304/rlt.v26.2140.
10. Bailenson J., Blascovich J., Beall A. (2003) Interpersonal Distance in Immersive Virtual Environments // Personality & Social Psychology Bulletin. Vol. 29. July. P. 819-833. DOI:10.1177/0146167203029007002.
11. Bayraktar S. (2002) A Meta-Analysis of the Effectiveness of Computer-Assisted Instruction in Science Education // Journal of Research on Technology in Education. Vol. 34. No 2. P. 173-188. https://doi.org/10.1080/153 91523.2001.10782344
12. Blanco-Fernández Y., López-Nores M., Pazos-Arias J. J., Gil-Solla A., Ra-mos-Cabrer M., García-Duque J. (2014) REENACT: A Step Forward in Immersive Learning about Human History by Augmented Reality, Role Playing and Social Networking // Expert Systems with Applications. Vol. 41. No 10. P. 4811-4828.
13. Bonde M., Makransky G., Wandall J., Larsen M., Morsing M., Jarmer H., Sommer M. (2014) Improving Biotech Education through gGamified Laboratory Simulations // Nature Biotechnology. Vol. 32. No 7. P. 694-697. DOI:10.1038/nbt.2955.
14. Bradley M. M., Miccoli L., Escrig M. A., Lang P. J. (2008) The Pupil as a Measure of Emotional Arousal and Autonomic Activation // Psychophysio-logy. Vol. 45. No 4. P. 602-607.
15. Calvo R. A., D'Mello S. (2010) Affect Detection: An Interdisciplinary Review of Models, Methods, and their Applications // IEEE Transactions on Affective Computing. Vol. 1. No 1. P. 18-37. DOI:10.1109/T-AFFC.2010.1.
16. Clark B. D., Tanner-Smith E.E., Killingsworth S. S. (2016) Digital Games, Design, and Learning: A Systematic Review and Meta-Analysis // Review of Educational Research. Vol. 86. No 1. P. 79-122. https://doi. org/10.3102/0034654315582065
17. Csikszentmihalyi M. (1990) Flow: The Psychology of Optimal Experience. New York: Basic Books.
18. Dongen van K.W., Ahlberg G., Bonavina L. et al. (2011) European Consensus on a Competency-Based Virtual Reality Training Program for Basic Endoscopic Surgical Psychomotor Skills // Surgical Endoscopy. Vol. 25. No 1. P. 166-171. DOI :10.1007/s00464-010-1151-6.
19. Ewert D., Schuster K., Johansson D., Schilberg D., Jeschke S. (2014) Intensifying Learner's Experience by Incorporating the Virtual Theatre into Engineering Education // S. Jeschke, I. Isenhardt, F. Hees, K. Henning (eds) Automation, Communication and Cybernetics in Science and En-
gineering 2013/2014. Heidelberg, New York, Dordrecht, London: Springer. P. 255-267.
20. Fredrickson B. L. (2001) The Role of Positive Emotions in Positive Psychology // American Psychologist. Vol. 56. No 3. P. 218-226. http://dx.doi. org/10.1037/0003-066X.56.3.218
21. Friedman D., Steed A., Slater M. (2007) Spatial Social Behavior in Second Life // C. Pelachaud, J. C. Martin, E. André, G. Chollet, K. Karpouzis, D. Pelé (eds) Intelligent Virtual Agents. IVA 2007. Lecture Notes in Computer Science. Vol. 4722. Berlin; Heidelberg: Springer. P. 252-363. https:// doi.org/10.1007/978-3-540-74997-4_23
22. Gerjets P., Walter W., Rosenstiel W., Bogdan M., Zander T. O. (2014) Cognitive State Monitoring and the Design of Adaptive Instruction in Digital Environments: Lessons Learned from Cognitive Workload Assessment Using a Passive Brain-Computer Interface Approach // Frontiers in Neuroscience. Vol. 8. Art. No 386. DOI:10.3389/fnins.2014.00385.
23. Goetz T., Hall N. C., Frenzel A. C., Pekrun R. (2006) A Hierarchical Conceptualization of Enjoyment in Students // Learning and Instruction. Vol. 16. No 4. P. 323-338. DOI:10.1016/j.learninstruc.2006.07.004.
24. Goldberg J. H., Kotval X. P. (1999) Computer Interface Evaluation Using Eye Movements: Methods and Constructs // International Journal of Industrial Ergonomics. Vol. 24. No 6. P. 631-645.
25. Granholm E., Steinhauer S. R. (2004) Pupillometric Measures of Cognitive and Emotional Processes // International Journal of Psychophysiolo-gy. Vol. 52. No 1. P. 1-6.
26. Greene T., Noice H. (1988) Influence of Positive Affect upon Creative Thinking and Problem Solving in Children // Psychological Reports. Vol. 63. No 3. P. 895-898.
27. Grobelny J., Jach K., Kulinski M., Michalski R. (2006) Sledzenie wzroku w badaniach jakosci uzytkowej oprogramowania. Historia i mierniki [Tracking of Eye Movements in Studies of Software Quality. History and Measurement Methods]. Paper presented at Interfejs uzytkownika — Kansei w praktyce Conference (Warszawa 2006). (Unpublished).
28. Hascher T. (2010) Learning and Emotion: Perspectives for Theory and Research // European Educational Research Journal. Vol. 9. No 1. P. 13-28.
29. He C., Yao Y., Ye X. (2017) An Emotion Recognition System Based on Physiological Signals Obtained by Wearable Sensors // C. Yang, G. Virk, H. Yang (eds) Wearable Sensors and Robots. Lecture Notes in Electrical Engineering. Vol. 399. Singapore: Springer. P. 15-25.
30. Hwang W.-Y., Hu S.-S. (2013) Analysis of Peer Learning Behaviors Using Multiple Representations in Virtual Reality and their Impacts on Geometry Problem Solving // Computers & Education. Vol. 62. March. P. 308-319. DOI:10.1016/j.compedu.2012.10.005.
31. Immordino-Yang M.H. (2015) Emotions, Learning and the Brain: Exploring the Educational Implications of Affective Neuroscience. New York: W. W. Norton & Co.
32. Isen A. M., Daubman K., Nowicki G. (1987) Positive Affect Facilitates Creative Problem Solving // Journal of Personality and Social Psychology. Vol. 52. No 6. P. 1122-1131. http://dx.doi.org/10.1037/0022-3514.52.6.1122
33. Jennett Ch., Cox A. L., Cairns P., Dhoparee S., Epps A., Tijs T., Walton A. (2008) Measuring and Defining the Experience of Immersion in Games // International Journal of Human-Computer Studies. Vol. 66. No 9. P. 641661. DOI:10.1016/j.ijhcs.2008.04.004.
34. Kartiko I., Kavakli M., Cheng K. (2010) Learning Science in a Virtual Reality Application: The Impacts of Animated-Virtual Actors' Visual Complexity // Computers & Education. Vol. 55. No 2. P. 881-891.
35. Kaufmann H., Schmalstieg D., Wagner M. (2009) Construct 3D: A Virtual Reality Application for Mathematics and Geometry Education // Education and Information Technologies. Vol. 5. Iss. 4. P. 263-276.
36. Kennedy R. S., Lane N. E., Berbaum K. S., Lilienthal M. G. (1993) Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness // The International Journal of Aviation Psychology. Vol. 3. No 3. P. 203-220. DOI:10.1207/s15327108ijap0303_3.
37. Kim J.-Y., Son J.-B., Lee H.-S., Lee S.-H. (2019) Psychophysiological Alteration after Virtual Reality Experiences Using Smartphone-Assisted Head Mount Displays: An EEG-Based Source Localization Study // Applied Sciences. Vol. 9. No 12. Art. No 2501. DOI:10.3390/app9122501.
38. Kumar N., Kumar J. (2016) Measurement of Cognitive Load in HCI Systems Using EEG Power Spectrum: An Experimental Study // Procedia — Computer Science.Vol. 84. December. P. 70-78.
39. Lee E. A.-L., Wong K. W., Fung C. C. (2010) How Does Desktop Virtual Reality Enhance Learning Outcomes? A Structural Equation Modeling Approach // Computers & Education. Vol. 55. No 4. P. 1424-1442. http://doi. org/10.1016/j.compedu.2010.06.00
40. Lewinski P., Uyl T., Butler C. (2014) Automated Facial Coding: Validation of Basic Emotions and FACS AUs in FaceReader // Journal of Neuroscience, Psychology, and Economics. Vol. 7. No 4. P. 227-236.
41. Lin T.-J., Lan K. (2015) Language Learning in Virtual Reality Environments: Past, Present, and Future // Educational Technology & Society. Vol. 18. No 4. P. 486-497.
42. Makransky G., Terkildsen Th.S., Mayer R. E. (2017) Adding Immersive Virtual Reality to a Science Lab Simulation Causes More Presence but Less Learning // Learning and Instruction. Vol. 60. April. P. 225-236.
43. Marin-Morales J., Higuera-Trujillo J.L., Greco A., Guixeres J. (2018) Affective Computing in Virtual Reality: Emotion Recognition from Brain and Heartbeat Dynamics Using Wearable Sensors // Scientific Reports. Vol. 8. No 1. Art. No 3657. DOI:10.1038/s41598-018-32063-4.
44. Mayer R. E. (2014) Cognitive Theory of Multimedia Learning // R. E. Mayer (ed.) The Cambridge Handbook of Multimedia Learning. New York: Cambridge University. P. 43-71.
45. Merchant Z., Goetz E., Cifuentes L., Keeney-Kennicutt W., Davis T. (2014) Effectiveness of Virtual Reality-Based Instruction on Students' Learning Outcomes in K-12 and Higher Education: A Meta-Analysis // Computers & Education. Vol. 70. No 1. P. 29-40. DOI:10.1016/j.compedu.2013.07.033.
46. Moreno R., Mayer R. E. (2000) A Coherence Effect in Multimedia Learning: The Case for Minimizing Irrelevant Sounds in the Design of Multimedia Messages // Journal of Educational Psychology. Vol. 92. No 1. P. 117-125.
47. Mühl Ch., Jeunet C., Lotte F. (2014) EEG-Based Workload Estimation across Affective Contexts // Frontiers in Neuroscience. Vol. 8. Art. No 114.
48. Müns A., Meixensberger J., Lindner D. (2014) Evaluation of a Novel Phantom-Based Neurosurgical Training System // Surgical Neurology International. Vol. 5. Art. No 173. DOI:10.4103/2152-7806.146346.
49. Nowak K., Rauh Ch. (2005) The Influence of the Avatar on Online Perceptions of Anthropomorphism, Androgyny, Credibility, Homophily, and Attraction // Journal of Computer-Mediated Communication. Vol. 11. No 1. P. 153-178. DOI:10.1111/j.1083-6101.2006.tb00308.x.
50. Parsons Th.D., Iyer A., Cosand L., Courtney Ch., Rizzo A. A. (2009) Neu-rocognitive and Psychophysiological Analysis of Human Performance within Virtual Reality Environments. Paper presented at the 17th Annual Medicine Meets Virtual Reality (MMVR17) (Long Beach, CA, January 19-22, 2009). DOI :10.3233/978-1-58603-964-6-247.
51. Pausch R., Proffitt D., Williams G. (1997) Quantifying Immersion in Virtual Reality // SIGGRAPH '97: Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques (Los Angeles, August 0308, 1997). New York, NY: ACM Press/Addison-Wesley. P. 13-18.
52. Picard RW. (1997) Affective Computing. Cambridge: MIT.
53. Poole A., Ball L. J., Phillips P. (2004) In Search of Salience: A Response-Time and Eye-Movement Analysis of Bookmark Recognition // S. Fincher, P. Markopolous, D. Moore, R. Ruddle (eds) People and Computers XVIII — Design for Life: Proceedings of HCI 2004. London: Springer-Verlag Ltd. P. 363-378.
54. Qin H., Pei-Luen P.R., Salvendy G. (2007) Player Immersion in the Computer Game Narrative // Proceedings of the 6th International Conference «Entertainment Computing — ICEC2007» (Shanghai, China, September 1517, 2007). P. 458-461.
55. Ravaja N., Saari T., Turpeinen M., Laarni J., Salminen M., Kivikangas M. (2006) Spatial Presence and Emotions during Video Game Playing: Does It Matter with Whom You Play? // Presence: Teleoperators & Virtual Environments. Vol. 15. No 4. P. 381-392.
56. Renshaw J. A., Finlay J. E., Tyfa D., Ward R. D. (2004) Understanding Visual Influence in Graph Design through Temporal and Spatial Eye Movement Characteristics // Interacting with Computers. Vol. 16. Iss. 3. P. 557-558.
57. Riva G., Mantovani F., Capideville C.S., Preziosa A., Morganti F., Villani D., Gaggioli A., Botella C., Alcaniz M. (2007) Affective Interactions Using Virtual Reality: The Link between Presence and Emotions // CyberPsycholo-gy & Behavior. Vol. 1. No 1. P. 45-56. http://doi.org/10.1089/cpb.2006.9993
58. Roussou M. (2009) A VR Playground for Learning Abstract Mathematics Concepts // IEEE Computer Graphics and Applications. Vol. 29. No 1. P. 82-85. D0I:10.1109/MCG.2009.1.
59. Roussou M., Oliver M., Slater M. (2006) The Virtual Playground: An Educational Virtual Reality Environment for Evaluating Interactivity and Conceptual Learning // Virtual Reality. Vol. 10. No 3. P. 227-240. D0I:10.1007/ s10055-006-0035-5.
60. Rutten N. P.G., van Joolingen W., van der Veen J. T. (2012) The Learning Effects of Computer Simulations in Science Education // Computers & Education. Vol. 58. No 1. P. 136-153. https://doi.org/10.1016/j.com-pedu.2011.07.017
61. Salzman M. C., Dede C., Loftin R. B., Chen J. (1999) A Model for Understanding How Virtual Reality Aids Complex Conceptual Learning // Presence: Teleoperators and Virtual Environments. Vol. 8. No 3. P. 293-316. http://doi.org/10.1162/105474699566242
62. Slater M., Sanchez-Vives M.V. (2016) Enhancing our Lives with Immersive Virtual Reality // Frontiers in Robotics and AI. Vol. 3. December. Art. No 74.
63. Steinhauer S. R., Boller F., Zubin J., Pearlman S. (1983) Pupillary Dilation to Emotional Visual Stimuli Revisited // Psychophysiology. Vol. 20. P. 472.
64. Sterman M. B., Mann C. A. (1995) Concepts and Applications of EEG Analysis in Aviation Performance Evaluation // Biological Psychology. Vol. 40. No 1-2. P. 115-130.
65. Sweller J. (1998) Cognitive Load during Problem Solving: Effects on Learning // Cognitive Science. Vol. 12. Iss. 2. P. 257-285. https://doi. org/10.1207/s15516709cog1202_4
66. Tyng C. M., Amin H. U., Saad M. N. M. , Malik A. S. (2017) The Influences of Emotion on Learning and Memory // Frontiers in Psychology. Vol. 8. Art. No 1454.
67. Valenza G., Lanata A., Scilingo E. P. (2012) The Role of Nonlinear Dynamics in Affective Valence and Arousal Recognition // IEEE Transactions on Affective Computing. Vol. 3. No 2. P. 237-249. D0I:10.1109/T-AFFC.2011.30.
68. Wang R., Newton S., Lowe R. (2015) Experiential Learning Styles in the Age of a Virtual Surrogate // Archnet-IJAR: International Journal of Architectural Research. Vol. 9. Iss. 3. P. 93-110. https://doi.org/10. 26687/arch-net-ijar.v9i3.715
69. Zhang D., Bowman A., Jones C. N. (2019) Exploring Effects of Interactivity on Learning with Interactive Storytelling in Immersive Virtual Reality // 11th International Conference on Virtual Worlds and Games for Serious Applications (VS-Games) (Vienna, Austria, September 04-06, 2019). P. 1-8. D0I:10.1109/VS-Games.2019.8864531.
70. Zhang D., Zhou L., Briggs R., Nunamaker J. F. (2006) Instructional Video in e-Learning: Assessing the Impact of Interactive Video on Learning Effectiveness // Information and Management. Vol. 43. No 1. P. 15-27.
Psyhophysiological Approaches to Instructional Design for Immersive Environments
Yulia Eremenko Authors
Candidate of Sciences in Economics, Associate Professor, Department of Marketing, Trade and Customs Affairs, V. I. Vernadsky Crimean Federal University. Address: 21/4 Sevastopolskaya Str., 295015 Simferopol. E-mail: [email protected]
Olga Zalata
Candidate of Sciences in Medicine, Associate Professor, Department of Normal Physiology, V. I. Vernadsky Crimean Federal University. Address: 5/7 Lenina Blvd, 295015 Simferopol. E-mail: [email protected]
As part of the Digital Learning Environment federal project, school education Abstract programs in Russia are expected to implement modern technology, including virtual and augmented reality. The integration of immersive technology in education should be based on research findings about the influence of virtual environments on learning effectiveness. Specific aspects of immersive technology include the sense of presence, interactivity and social interaction opportunities, and multisensory stimulation, which cumulatively exert quite a controversial influence on learning experience and outcomes. Since little data is available, decision making in the design of effective learning content is often based on practical or economic considerations. Therefore, it is vitally important to come up with objective methods of evaluating the learning content in order to understand its effects on learners' cognitive processes and emotions immediately involved in the perception and digestion of learning material. Evaluation of virtual learning content in the process of its design and integration is suggested to be based on the level of presence and cognitive load, emotional perception of content, social interaction, and the likelihood of cyber sickness. Analysis of literature and the resulting structured set of methodological tools will aid further studies in the field based on physiological research methods to design effective learning content in virtual environments.
immersive virtual environment, learning, learning content, neurophysiological Keyword methods of research.
Alaraj A., Lemole M. G., Finkle J. H. et al. (2011) Virtual Reality Training in Neuro- References surgery: Review of Current Status and Future Applications. Surgical Neurology International, vol. 2, art. no 52. DOI:10.4103/2152-7806.80117. Alhalabi W. S. (2016) Virtual Reality Systems Enhance Students' Achievements in Engineering Education. Behaviour & Information Technology, vol. 35, no 11, pp. 919-925. http://doi.org/10.1080/0144929X.2016.1212931 Allcoat D., von Muhlenen A. (2018) Learning in Virtual Reality: Effects on Performance, Emotion and Engagement. Research in Learning Technology, vol. 26, November. Art. no 2140. DOI :10.25304/rlt.v26.2140. Astafurov D., Verbenko P., Dorozhkin R., Zhukova A., Izmailov E., Kravchenko A., Prasolov N., Sereda E. (2020) Kharakteristika fiziologicheskikh i psikholo-gicheskikh reaktsiy u studentov pri predyavlenii informatsionnogo kontenta v srede virtualnoy realnosti [Characteristics of Physiological and Psychological Reactions of Undergraduates Presented with Information Content in a Virtual Reality]. Proceedings of Theoretical and Applied Aspects of Modern Medicine, the 92nd International Academic Conference for Students and Young
Scientists (Simferopol, April 16, 2020), Simferopol: Medical Academy named after S. I. Georgievsky, V. I. Vernadsky Crimean Federal University, pp. 349-351.
Bailenson J., Blascovich J., Beall A. (2003) Interpersonal Distance in Immersive Virtual Environments. Personality & Social Psychology Bulletin, vol. 29, July, pp. 819-833. DOI:10.1177/0146167203029007002.
Bayraktar S. (2002) A Meta-Analysis of the Effectiveness of Computer-Assisted Instruction in Science Education. Journal of Research on Technology in Education, vol. 34, no 2, pp. 173-188. https://doi.org/10.1080/15391523.2001.10782 344
Blanco-Fernández Y., López-Nores M., Pazos-Arias J.J., Gil-Solla A., Ramos-Ca-brer M., García-Duque J. (2014) REENACT: A Step Forward in Immersive Learning about Human History by Augmented Reality, Role Playing and Social Networking. Expert Systems with Applications, vol. 41, no 10, pp. 48114828.
Bonde M., Makransky G., Wandall J., Larsen M., Morsing M., Jarmer H., Sommer M. (2014) Improving Biotech Education through gGamified Laboratory Simulations. Nature Biotechnology, vol. 32, no 7, pp. 694-697. DOI:10.1038/nbt.2955.
Bradley M. M., Miccoli L., Escrig M. A., Lang P. J. (2008) The Pupil as a Measure of Emotional Arousal and Autonomic Activation. Psychophysiology, vol. 45, no 4, pp. 602-607.
Calvo R. A., D'Mello S. (2010) Affect Detection: An Interdisciplinary Review of Models, Methods, and their Applications. IEEE Transactions on Affective Computing, vol. 1, no 1, pp. 18-37. DOI :10.1109/T-AFFC.2010.1.
Clark B. D., Tanner-Smith E.E., Killingsworth S. S. (2016) Digital Games, Design, and Learning: A Systematic Review and Meta-Analysis. Review of Educational Research, vol. 86, no 1, pp. 79-122. https://doi.org/10.3102/0034654315582065
Csikszentmihalyi M. (1990) Flow: The Psychology of Optimal Experience. New York: Basic Books.
Danilova N. (2001) Psikhofiziologiya [Psychophysiology]. Moscow: Aspekt.
Dongen van K.W., Ahlberg G., Bonavina L. et al. (2011) European Consensus on a Competency-Based Virtual Reality Training Program for Basic Endoscopic Surgical Psychomotor Skills. Surgical Endoscopy, vol. 25, no 1, pp. 166-171. DOI :10.1007/s00464-010-1151-6.
Eremenko Ju., Ulanovskaya O. (2020) Sovremennye metody i tekhnologii priklad-nogo neyromarketinga [Modern Methods and Technologies of Applied Neuromarketing]. Journal of Marketing in Russia and Abroad, no 2, pp. 37-45.
Ewert D., Schuster K., Johansson D., Schilberg D., Jeschke S. (2014) Intensifying Learner's Experience by Incorporating the Virtual Theatre into Engineering Education. Automation, Communication and Cybernetics in Science and Engineering 2013/2014 (eds S. Jeschke, I. Isenhardt, F. Hees, and K. Henning), Heidelberg, New York, Dordrecht, London: Springer, pp. 255-267.
Fredrickson B. L. (2001) The Role of Positive Emotions in Positive Psychology. American Psychologist, vol. 56, no 3, pp. 218-226. http://dx.doi.org/10.1037/0003-066X.56.3.218
Friedman D., Steed A., Slater M. (2007) Spatial Social Behavior in Second Life. Intelligent Virtual Agents. IVA 2007. Lecture Notes in Computer Science. Vol. 4722. (eds C. Pelachaud, J. C. Martin, E. André, G. Chollet, K. Kar-pouzis, D. Pelé), Berlin, Heidelberg: Springer, pp. 252-363. https://doi. org/10.1007/978-3-540-74997-4_23
Gerjets P., Walter W., Rosenstiel W., Bogdan M., Zander T. O. (2014) Cognitive State Monitoring and the Design of Adaptive Instruction in Digital Environments: Lessons Learned from Cognitive Workload Assessment Using a Passive Brain-Computer Interface Approach. Frontiers in Neuroscience, vol. 8, art. no 386. DOI :10.3389/fnins.2014.00385.
Goetz T., Hall N. C., Frenzel A. C., Pekrun R. (2006) A Hierarchical Conceptualization of Enjoyment in Students. Learning and Instruction, vol. 16, no 4, pp. 323338. DOI :10.1016/j.learninstruc.2006.07.004.
Goldberg J. H., Kotval X. P. (1999) Computer Interface Evaluation Using Eye Movements: Methods and Constructs. International Journal of Industrial Ergonomics, vol. 24, no 6, pp. 631-645.
Granholm E., Steinhauer S. R. (2004) Pupillometric Measures of Cognitive and Emotional Processes. International Journal of Psychophysiology, vol. 52, no 1, pp. 1-6.
Greene T., Noice H. (1988) Influence of Positive Affect upon Creative Thinking and Problem Solving in Children. Psychological Reports, vol. 63, no 3, pp. 895898.
Grobelny J., Jach K., Kulinski M., Michalski R. (2006) Sledzenie wzroku w bada-niach jakosci uzytkowej oprogramowania. Historia i mierniki [Tracking of Eye Movements in Studies of Software Quality. History and Measurement Methods]. Paper presented at Interfejs uzytkownika—Kansei w praktyce Conference (Warszawa 2006). (Unpublished).
Hascher T. (2010) Learning and Emotion: Perspectives for Theory and Research. European Educational Research Journal, vol. 9, no 1, pp. 13-28.
He C., Yao Y., Ye X. (2017) An Emotion Recognition System Based on Physiological Signals Obtained by Wearable Sensors. Wearable Sensors and Robots. Lecture Notes in Electrical Engineering. Vol. 399 (eds C. Yang, G. Virk, H. Yang), Singapore: Springer, pp. 15-25.
Hwang W.-Y., Hu S.-S. (2013) Analysis of Peer Learning Behaviors Using Multiple Representations in Virtual Reality and their Impacts on Geometry Problem Solving. Computers & Education, vol. 62, March, pp. 308-319. DOI:10.1016/j. compedu.2012.10.005.
Immordino-Yang M.H. (2015) Emotions, Learning and the Brain: Exploring the Educational Implications of Affective Neuroscience. New York: W. W. Norton & Co.
Isen A. M., Daubmann K., Nowicki G. (1987) Positive Affect Facilitates Creative Problem Solving. Journal of Personality and Social Psychology, vol. 52, no 6, pp. 1122-1131. http://dx.doi.org/10.1037/0022-3514.52.6.1122
Jennett Ch., Cox A. L., Cairns P., Dhoparee S., Epps A., Tijs T., Walton A. (2008) Measuring and Defining the Experience of Immersion in Games. International Journal of Human-Computer Studies, vol. 66, no 9. P. 641-661. DOI:10.1016/j. ijhcs.2008.04.004.
Kartiko I., Kavakli M., Cheng K. (2010) Learning Science in a Virtual Reality Application: The Impacts of Animated-Virtual Actors' Visual Complexity. Computers & Education, vol. 55, no 2, pp. 881-891.
Kaufmann H., Schmalstieg D., Wagner M. (2009) Construct 3D: A Virtual Reality Application for Mathematics and Geometry Education. Education and Information Technologies, vol. 5, iss. 4, pp. 263-276.
Kennedy R. S., Lane N. E., Berbaum K. S., Lilienthal M. G. (1993) Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness. The International Journal of Aviation Psychology, vol. 3, no 3, pp. 203-220. DOI :10.1207/s15327108ijap0303_3.
Kim J.-Y., Son J.-B., Lee H.-S., Lee S.-H. (2019) Psychophysiological Alteration after Virtual Reality Experiences Using Smartphone-Assisted Head Mount Displays: An EEG-Based Source Localization Study. Applied Sciences, vol. 9, no 12, art. no 2501. DOI:10.3390/app9122501.
Kumar N., Kumar J. (2016) Measurement of Cognitive Load in HCI Systems Using EEG Power Spectrum: An Experimental Study. Procedia—Computer Science, vol. 84, December, pp. 70-78.
Lee E. A.-L., Wong K. W., Fung C. C. (2010) How Does Desktop Virtual Reality Enhance Learning Outcomes? A Structural Equation Modeling Approach. Com-
puters & Education, vol. 55, no 4, pp. 1424-1442. http://doLorg/10.1016/j.com-pedu.2010.06.00
Lewinski P., Uyl T., Butler C. (2014) Automated Facial Coding: Validation of Basic Emotions and FACS AUs in FaceReader. Journal of Neuroscience, Psychology, and Economics, vol. 7, no 4, pp. 227-236.
Lin T.-J., Lan K. (2015) Language Learning in Virtual Reality Environments: Past, Present, and Future. Educational Technology & Society, vol. 18, no 4, pp. 486497.
Makransky G., Terkildsen Th.S., Mayer R. E. (2017) Adding Immersive Virtual Reality to a Science Lab Simulation Causes More Presence but Less Learning. Learning and Instruction, vol. 60, April, pp. 225-236.
Marin-Morales J., Higuera-Trujillo J.L., Greco A., Guixeres J. (2018) Affective Computing in Virtual Reality: Emotion Recognition from Brain and Heartbeat Dynamics Using Wearable Sensors. Scientific Reports, vol. 8, no 1, art. no 3657. DOI :10.1038/s41598-018-32063-4.
Mayer R. E. (2014) Cognitive Theory of Multimedia Learning. The Cambridge Handbook of Multimedia Learning (ed. R. E. Mayer), New York: Cambridge University, pp. 43-71.
Merchant Z., Goetz E., Cifuentes L., Keeney-Kennicutt W., Davis T. (2014) Effectiveness of Virtual Reality-Based Instruction on Students' Learning Outcomes in K-12 and Higher Education: A Meta-Analysis. Computers & Education, vol. 70, no 1, pp. 29-40. D0I:10.1016/j.compedu.2013.07.033.
Moreno R., Mayer R. E. (2000) A Coherence Effect in Multimedia Learning: The Case for Minimizing Irrelevant Sounds in the Design of Multimedia Messages. Journal of Educational Psychology, vol. 92, no 1, pp. 117-125.
Mühl Ch., Jeunet C., Lotte F. (2014) EEG-Based Workload Estimation across Affective Contexts. Frontiers in Neuroscience, vol. 8, art. no 114.
Müns A., Meixensberger J., Lindner D. (2014) Evaluation of a Novel Phantom-Based Neurosurgical Training System. Surgical Neurology International, vol. 5, art. no 173. D0I:10.4103/2152-7806.146346.
Nowak K., Rauh Ch. (2005) The Influence of the Avatar on Online Perceptions of Anthropomorphism, Androgyny, Credibility, Homophily, and Attraction. Journal of Computer-Mediated Communication, vol. 11, no 1, pp. 153-178. DOI :10.1111/j .1083-6101.2006.tb00308.x.
Parsons Th.D., Iyer A., Cosand L., Courtney Ch., Rizzo A. A. (2009) Neurocognitive and Psychophysiological Analysis of Human Performance within Virtual Reality Environments. Paper presented at the 17th Annual Medicine Meets Virtual Reality (MMVR17) (Long Beach, CA, January 19-22, 2009). DOI :10.3233/978-1-58603-964-6-247.
Pausch R., Proffitt D., Williams G. (1997) Quantifying Immersion in Virtual Reality. Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques (Los Angeles, August 03-08, 1997), SIGGRAPH '97, New York, NY: ACM Press/Addison-Wesley, pp. 13-18.
Picard RW. (1997) Affective Computing. Cambridge: MIT.
Poole A., Ball L. J., Phillips P. (2004) In Search of Salience: A Response-Time and Eye-Movement Analysis of Bookmark Recognition. Proceedings of HCI 2004. People and Computers XVIII—Design for Life (eds S. Fincher, P. Markopolous, D. Moore, R. Ruddle), London: Springer-Verlag Ltd, pp. 363-378.
Qin H., Pei-Luen P.R., Salvendy G. (2007) Player Immersion in the Computer Game Narrative. Proceedings of the 6th International Conference "Entertainment Computing—ICEC2007" (Shanghai, China, September 15-17, 2007), pp. 458-461.
Ravaja N., Saari T., Turpeinen M., Laarni J., Salminen M., Kivikangas M. (2006) Spatial Presence and Emotions during Video Game Playing: Does It Matter with Whom You Play? Presence: Teleoperators & Virtual Environments, vol. 15, no 4, pp. 381-392.
Renshaw J. A., Finlay J. E., Tyfa D., Ward R. D. (2004) Understanding Visual Influence in Graph Design through Temporal and Spatial Eye Movement Characteristics. Interacting with Computers, vol. 16, iss. 3, pp. 557-558.
Riva G., Mantovani F., Capideville C.S., Preziosa A., Morganti F., Villani D., Gag-gioli A., Botella C., Alcaniz M. (2007) Affective Interactions Using Virtual Reality: The Link between Presence and Emotions. CyberPsychology & Behavior, vol. 1, no 1, pp. 45-56. http://doi.org/10.1089/cpb.2006.9993
Roussou M. (2009) A VR Playground for Learning Abstract Mathematics Concepts. IEEE Computer Graphics and Applications, vol. 29, no 1, pp. 8285. D0I:10.1109/MCG.2009.1.
Roussou M., Oliver M., Slater, M. (2006) The Virtual Playground: An Educational Virtual Reality Environment for Evaluating Interactivity and Conceptual Learning. Virtual Reality, vol. 10, no 3, pp. 227-240. D0I:10.1007/s10055-006-0035-5.
Rutten N. P.G., van Joolingen W., van der Veen J. T. (2012) The Learning Effects of Computer Simulations in Science Education. Computers & Education, vol. 58, no 1, pp. 136-153. https://doi.org/10.1016/j.compedu.2011.07.017
Salzman M. C., Dede C., Loftin R. B., Chen J. (1999) A Model for Understanding How Virtual Reality Aids Complex Conceptual Learning. Presence: Te-leoperators and Virtual Environments, vol. 8, no 3, pp. 293-316. http://doi. org/10.1162/105474699566242
Selivanov V., Selivanova L. (2014) Virtualnaya realnost kak metod i sredstvo obucheniya [Virtual Reality as a Method and Means of Learning]. Obrazova-telnye tekhnologii i obshchestvo, vol. 17, no 3, pp. 378-391.
Slater M., Sanchez-Vives M.V. (2016) Enhancing our Lives with Immersive Virtual Reality. Frontiers in Robotics and AI, vol. 3, December, art. no 74.
Steinhauer S. R., Boller F., Zubin J., Pearlman S. (1983) Pupillary Dilation to Emotional Visual Stimuli Revisited. Psychophysiology, vol. 20, pp. 472.
Sterman M. B., Mann C. A. (1995) Concepts and Applications of EEG Analysis in Aviation Performance Evaluation. Biological Psychology, vol. 40, no 1-2, pp. 115-130.
Sweller J. (1998) Cognitive Load during Problem Solving: Effects on Learning. Cognitive Science, vol. 12, iss. 2, pp. 257-285. https://doi.org/10.1207/ s15516709cog1202_4
Tyng C. M., Amin H. U. , Saad M. N. M. , Malik A. S. (2017) The Influences of Emotion on Learning and Memory. Frontiers in Psychology, vol. 8, art. no 1454.
Valenza G., Lanata A., Scilingo E. P. (2012) The Role of Nonlinear Dynamics in Affective Valence and Arousal Recognition. IEEE Transactions on Affective Computing, vol. 3, no 2, pp. 237-249. D0I:10.1109/T-AFFC.2011.30.
Wang R., Newton S., Lowe R. (2015) Experiential Learning Styles in the Age of a Virtual Surrogate. Archnet-IJAR: International Journal of Architectural Research, vol. 9, iss. 3, pp. 93-110. https://doi.org/10. 26687/archnet-ijar.v9i3.715
Yarosh O., Kalkova N., Velgosh N., Eremenko Y., Mitina E. (2020) Vizualny neyro-marketing: fundamentalnye i prikladnye issledovaniya [Visual Neuromarketing: Fundamental and Applied Research]. Simferopol: Arial.
Zenkov L. (2001) Klinicheskaya elektroentsefalografiya (s elementami epileptolo-gii) [Clinical Electroencephalography (With Elements of Epileptology)]. Moscow: MEDpress-inform.
Zhang D., Bowman A., Jones C. N. (2019) Exploring Effects of Interactivity on Learning with Interactive Storytelling in Immersive Virtual Reality. Proceedings of the 11th International Conference on Virtual Worlds and Games for Serious Applications (VS-Games) (Vienna, Austria, September 04-06, 2019), pp. 1-8. DOI:10.1109/VS-Games.2019.8864531.
Zhang D., Zhou L., Briggs R., Nunamaker J. F. (2006) Instructional Video in e-Learning: Assessing the Impact of Interactive Video on Learning Effectiveness. Information and Management, vol. 43, no 1, pp. 15-27.
