CC BY
2
УДК 004.5
doi: 10.21685/2227-8486-2024-1-6
УПРАВЛЕНИЕ ПОГРУЖЕНИЕМ ПОЛЬЗОВАТЕЛЯ В ИММЕРСИВНУЮ СРЕДУ НА ПРИМЕРЕ
СИСТЕМЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ С ОБРАТНОЙ СВЯЗЬЮ
А. В. Иващенко1, М. В. Александрова2
1 2 Самарский государственный медицинский университет, Самара, Россия 1 anton.ivashenko@gmail.com, 2 margarita.alexandrowa@mail.ru
Аннотация. Актуальность и цели. Рассматривается актуальная проблема повышения достоверности автоматизированного психологического тестирования за счет контроля глубины погружения пользователей в среду иммерсивной реальности. Материалы и методы. На основе разработанной ранее модели иммерсивной среды предложены алгоритмы управления вовлеченностью пользователя такой среды, позволяющие усиливать глубину погружения и удерживать внимание пользователя под влиянием внешних и внутренних отвлекающих факторов. В качестве основного параметра, характеризующего глубину погружения пользователя в иммерсивную среду, предложено учитывать показатель неустойчивости (рассеянности) внимания. Для привлечения и удержания внимания пользователя на объектах, относящихся к целевой тематике, с учетом наличия в иммерсивной реальности большого количества отвлекающих объектов предложено вводить дополнительные объекты, наиболее релевантные текущему интересу пользователя, а также подбирать адекватную частоту их появления. Результаты. Предложенные алгоритмы были реализованы и исследованы в психодиагностике в рамках программного комплекса психологического тестирования для построения дополнительного контура обратной связи. Для этого в состав системы включена подсистема компьютерного зрения, включающая видеокамеру, средства окулографии (айтрекинга) и программное обеспечение видеоконтроля двигательной активности пациента. Программное обеспечение отслеживает общий объем мимических движений, движений головы, глаз, а также производит идентификацию текущего эмоционального состояния с помощью искусственной нейронной сети. Для обеспечения высокой вовлеченности пользователя предусмотрена персонализация пользовательского интерфейса и тестов. Выводы. Предложенные алгоритмы и реализующий их аппаратно-программный комплекс психологической диагностики и медицинской реабилитации позволяют в отличие от аналогов реализовать обратную связь по мониторингу и контролю вовлеченности пациентов.
Ключевые слова: иммерсивная реальность, дополненная реальность, пользовательские интерфейсы, медицинская реабилитация, акцентная визуализация
Для цитирования: Иващенко А. В., Александрова М. В. Управление погружением пользователя в иммерсивную среду на примере системы психологического тестирования с обратной связью // Модели, системы, сети в экономике, технике, природе и обществе. 2024. № 1. С. 79-93. ао1: 10.21685/2227-8486-2024-1-6
© Иващенко А. В., Александрова М. В., 2024. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
USER IMMERSION CONTROL: THE CASE OF A PSYCHOLOGICAL TESTING SYSTEM WITH FEEDBACK
A.V. Ivaschenko1, M.V. Aleksandrova2
1, 2 Samara State Medical University, Samara, Russia 1 anton.ivashenko@gmail.com, 2 margarita.alexandrowa@mail.ru
Abstract. Background. The paper discusses a challenging problem of increasing the reliability of automated psychological testing by controlling the depth of user immersion in the immersive reality environment. Materials and methods. Based on a previously introduced model of an immersive environment, the article proposes algorithms for managing the user's involvement in such an environment, allowing enhancing the depth of immersion and maintaining the user's attention under the influence of external and internal distractions. It is proposed to consider the indicator of instability (distraction) of attention as the main parameter characterizing the depth of user immersion. To attract and maintain the user's attention to the objects related to the target topic, taking into account the presence of a large number of distracting objects in immersive reality, it is proposed to introduce additional objects that are most relevant to the user's current interest, as well as to select an adequate frequency of their appearance. Results. The proposed algorithms were implemented and studied in psychodiagnostics within the framework of a psychological testing software package to build an additional feedback loop. For this purpose, the system includes a computer vision subsystem, including a video camera, oculography (eye-tracking) tools and software for video monitoring of the patient's motor activity. The software tracks the total volume of facial expressions, head and eye movements, and also identifies the current emotional state using an artificial neural network. To ensure high user involvement, personalization of the user interface and tests is provided. Conclusions. The developed hardware and software complex for psychological diagnostics and medical rehabilitation allows, unlike analogues, to implement feedback on monitoring and control of patient involvement.
Keywords: immersive reality, augmented reality, user interfaces, medical rehabilitation, accented visualization
For citation: Ivaschenko A.V., Aleksandrova M.V. User immersion control: the case of a psychological testing system with feedback. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2024;(l):79-93. (In Russ.). doi: 10.21685/2227-8486-2024-1-6
Введение
Пользовательские интерфейсы современных программных продуктов предоставляют широкие возможности по расширению человеко-компьютер-ного взаимодействия в интерактивной форме. Это особенно актуально в приложениях, требующих высокой концентрации внимания и активной вовлеченности пользователя, например в медицинской реабилитации. Расширение функциональности пользовательских интерфейсов в этом направлении связано также с широким использованием устройств виртуальной и дополненной реальности.
Ситуацию высокого вовлечения пользователя в процесс человеко-ком-пьютерного взаимодействия описывает понятие иммерсивности - способа восприятия, создающего эффект высокого погружения человека в искусственно созданную среду. Традиционно иммерсивная среда создается творческой
силой художественных произведений, однако в настоящее время это понятие связывается с применением аудиовизуальных стимулов.
Поскольку глубина погружения в существенной степени определяется вниманием пользователя, в компьютерных пользовательских интерфейсах сложно обеспечить гарантированный технический результат формирования иммерсивной среды. Даже в случае высокой реалистичности и привлекательности визуальных образов пользователь может потерять интерес, начать отвлекаться на внешние раздражители или некорректно распознать передаваемую ему информацию. Таким образом, в таких приложениях необходимо контролировать неустойчивость (рассеянность) внимания. Субъективная природа восприятия требует реализации персонализированных пользовательских интерфейсов, способных адаптироваться к индивидуальным особенностям пользователя и подстраиваться в случае их изменения.
Для решения этой проблемы была разработана модель иммерсивной среды с управляемой глубиной погружения, на основе которой создана система мониторинга и управления вовлеченностью пользователя в интерактивных пользовательских интерфейсах высокой иммерсивности [1]. В отличие от существующих разработок [2, 3] предлагается оценивать показатель неустойчивости (рассеянности) внимания, характеризуемый объемом движений пользователя, что выполнимо с помощью распространенных видеокамер и систем оку-лографии. Данный подход позволяет реализовать дистанционный контроль без контакта с телом пациента, необходимого для мониторинга дыхания и пульса. Ниже приведены результаты реализации этих разработок на практике с примером применения в программном комплексе психологической реабилитации.
Материалы и методы
Построение пользовательских интерфейсов программных комплексов в последнее время стало самостоятельной научной дисциплиной на стыке компьютерных наук, приборостроения, графического дизайна и психологии. Основные требования к пользовательским интерфейсам включают простоту и удобство использования, адекватность и достоверность отображения информации, эргономику и привлекательность внешнего вида. Сложность построения таких интерфейсов связана с необходимостью удовлетворить большое количество разнообразных пользователей, каждый из которых имеет собственное представление о привлекательности и удобстве использования компьютерных программ. Для того чтобы решить эту задачу, разработаны методы и средства и1/их дизайна [4-6].
Удобство пользовательского интерфейса играет важную роль при построении систем человеко-компьютерного взаимодействия [7, 8], в которых на пользователя действует существенная информационная нагрузка. В таких системах важно найти правильный баланс между подробностью и лаконичностью предоставляемой информации. Важно также подобрать адекватную частоту ее обновления, что позволит обеспечить пользователя данными, необходимыми и достаточными для принятия решений в режиме реального времени.
Повышенная информационная нагрузка, например, свойственна В1-сис-темам [9, 10], в которых на интерактивной информационной панели (дэшборде) большого объема структурированно отображается различная информация по периодически обновляемым показателям и индикаторам. Такие системы
используются для информационной поддержки принятия решений и требуют от пользователя быстрого понимания изменений обстановки и своевременного реагирования. Другой пример - системы виртуальной и дополненной реальности [11, 12], для которых также свойственна повышенная информационная нагрузка на пользователя за счет появления большого количества дополнительных виртуальных объектов, визуализированных в отрыве от ощущения реальности пользователя.
Чтобы оценить степень влияния разных элементов пользовательского интерфейса на пользователя, взаимодействующего с компьютером в интерактивном режиме, необходимо изучать особенности присутствия и восприятия виртуальной среды [13, 14]. Методы и средства частичного или полного погружения человека в искусственно созданную среду объединены понятием им-мерсивности [15, 16]. Иммерсивная среда позволяет обеспечить высокое вовлечение пользователя в интерактивное взаимодействие путем формирования корректных последовательностей аудиовизуальных стимулов, в результате высокореалистичного моделирования, симуляции и визуализации искусственного окружения в контексте естественного и реального опыта конкретного пользователя.
Проблема реализации иммерсивной среды с управляемой глубиной погружения крайне актуальна при реализации аппаратно-программных комплексов психологической диагностики и реабилитации [17], а также в целом при исследовании различных аспектов восприятия виртуальной реальности [18]. Различные внешние факторы, например аудиовизуальные раздражители, могут существенно повлиять на адекватность и результативность психологического тестирования. При этом их влияние часто индивидуально и требует дополнительных усилий врача для распознавания и устранения.
Для решения этой проблемы предлагается оснастить диагностический комплекс системой обратной связи, обеспечивающей контроль вовлеченности пользователей путем управления глубиной погружения. Технически реализовать такую обратную связь можно с помощью интеллектуальной системы компьютерного зрения, распознающей эмоции и мимические движения, а также средств окулографии (айтрекинга), отслеживающих движение глаз и взгляда пользователя [19, 20].
По результатам проведенного анализа существующих разработок в рассматриваемой области можно сделать вывод о высокой актуальности и востребованности программных и аппаратных средств автономного контроля вовлеченности пользователя и глубины его погружения в иммерсивную среду, в связи с чем ниже изложены некоторые предложения.
Задача контроля погружения пользователя в иммерсивную среду
Введем модель иммерсивной среды, с помощью которой опишем основные взаимодействия в интерактивных пользовательских интерфейсах. Обозначим пользователя ui, где i = 1...N - условный порядковый номер (идентификатор) пользователя.
Обозначим событие фиксации взора пользователя в некоторой координате реального или виртуального пространства в течение минимально необходимого интервала времени Д^ = const в виде булевой переменной:
ër,j,k = S,,J,к (u, sj, Uj* ) = {0,1), (1)
где ti,j,k - время наступления события; к - порядковый номер события; sj = (xj, yj, zj) - точка в трехмерном пространстве где j - ee условный порядковый номер в составе траектории взора пользователя.
Обозначим объект реального или виртуального мира в виде b„(tyq), где n = 1...Nb - идентификатор объекта в рамках сквозной нумерации, а событие изменения состояния объекта, вызванное его появлением, перемещением или модификацией в виде
dn,j,m = dn,j,m (bn, S', t'n,j,m ) ={0, 1), (2)
где s'j - координата наступления события; t'n,j,m - время его наступления; m - порядковый номер события изменения состояния объекта.
Тематика рассматриваемого объекта формализована в виде семантического дескриптора П(Ьп) = {(wn,i, wv)} c помощью облака тегов (ключевых слов) Wn,i с весами wn,i, П* - целевая тематика интереса пользователя. Поток событий dn,j,m упорядочен по времени и характеризует появление и перемещение объектов.
Опишем в виде функции событие остановки взора пользователя на конкретном объекте, характеризующее его фокус (внимание) в заданный интервал времени AT:
F (, bn,AT ) = Z Z ( S,,j1,k (, j tU Л,к ) * dn,j2,m (bn, j j )
ji,k ji,m
x°( e (sj ))(( e ((,tn,j2,m+1 ))(( e AT)), (3)
[1, x = true;
где Uni - окрестность точки в пространстве; о( x ) = <
[0, x = false.
Текущий Q(bn(ç0)) и целевой П* интересы пользователя могут не совпадать. Считаем, что в процессе своей деятельности пользователь должен уделять внимание реальным объектам в рамках пространства ф0.
Введенные определения позволяют сформулировать постановку задачи управления погружением пользователя в иммерсивную среду. При реализации иммерсивной реальности в психодиагностике и медицинской реабилитации важно обеспечить минимизацию показателя неустойчивости (рассеянности) внимания.
Количественно оценить данную характеристику можно путем суммирования общего объема движений:
V(u>AT) = ZZ S,,j,k (u,jti,jlA ) • gtjк (u,jti,j2,k2 )x j1,k1 j2,k2
х0(,j1,k, j eAT)*v(Sj1,Sj2 ), (4)
где V(Sj1, Sj2 ) =V(xj2 - xJ1 )2 + (2 - У-А )2 + (Zj2 - Zj1 )2 .
Для обеспечения стабильного внимания пользователя необходимо поддерживать постоянный объем двигательной активности, индивидуальный для каждого отдельного пользователя:
V (, ДТ) const. (5)
Для этого требуется обеспечить контролируемое и надежно закрепленное поведение пациента в ответ на формируемые аудиовизуальные стимулы, выраженное в выполнении определенного порядка действий по заранее известному шаблону.
Обозначим последовательность действий пользователя ui:
a = a j ,h ((, / ,h) ^{0,1} - (6)
где t*ij,h - время действия пользователя; h - порядковый номер действия.
Целевое или ожидаемое поведение пользователя таким образом можно описать в виде шаблона (паттерна) поведения, задающего причинно-следственную зависимость между возникающими стимулами {dn,j,m} и следующими за ними действиями {aij,h} в виде
ep =е p ({(} ,{ai, j,h}) - (7)
Индикатор наблюдаемости шаблона определим в виде
P(,ep,ДТ) = 5(V<^ e e,: 3dn^ ^ V<M e e,: 3a,JJh) = {0,1}, (8)
где {dn,j,m} и {a'ij,h} - типовые модели стимулов и действий соответственно.
С учетом введенных понятий сформируем следующее утверждение: для обеспечения стабильной наблюдаемости шаблонов поведения пользователя иммерсивной среды в ответ на формируемые аудиовизуальные стимулы необходимо и достаточно обеспечить: cуществование и истинность причинно-следственной зависимости между аудиовизуальными стимулами и ожидаемыми действиями, которая обусловлена либо знанием и пониманием закономерности таких действий со стороны пользователя, либо рефлекторными особенностями его психо-эмоционального восприятия возникающих событий с учетом индивидуальной восприимчивости; глубину погружения, необходимую и достаточную для сохранения целевого значения показателя неустойчивости (рассеянности) внимания.
Первая часть утверждения предписывает функциональную полноту и эффективность генерируемых аудиовизуальных стимулов с учетом индивидуальных особенностей восприятия пользователя. В задачах поддержки принятия решений и контроля качества требуется обеспечить уровень компетентности пользователя, достаточный для распознавания и понимания визуализируемой информации. В психодиагностике и реабилитации необходимо применение доказанных методик воздействия.
Вторая часть обусловлена следующими соображениями. Недостаток глубины погружения ведет к росту неустойчивости фокуса и появлению пропусков в распознавании и идентификации происходящих событий, что не позволяет довести аудиовизуальные стимулы до пользователя в нужном объеме. Нарушение целостности контекста влечет недоверие пользователя
к событиям иммерсивной реальности, а также приводит к информационной перегрузке.
Достаточность глубины погружения для формирования результативного управления состоит в ее отношении с эффективностью обратной связи, которая является ключевым требованием наблюдаемости шаблонов поведения. При недостаточном информировании пользователя нарушается логика его действий, что ведет к потере глубины погружения. С другой стороны, глубина погружения зависит от успешности и результативности действий пользователя в иммерсивной среде.
Следствием этого утверждения является зависимость наблюдаемости шаблонов поведения пользователя от его доверия к иммерсивной среде. Для обеспечения своевременной и предсказуемой реакции на аудиовизуальные стимулы от пользователя требуется понимание логики их появления, реалистичность и предсказуемость последствий от взаимодействия с ними. При достаточной глубине погружения данные требования выполняются, и пользователь в достаточной степени вовлечен в систему управления. Нарушения этих требований свидетельствуют о потере глубины погружения и разрушении системы управления поведением пользователя иммерсивной среды.
Алгоритмы управления погружением пользователя в иммерсивную среду
Для решения поставленной задачи были предложены следующие алгоритмы управления глубиной погружения пользователя иммерсивной среды, которые направлены на снижение показателя неустойчивости (рассеянности) внимания и удержание внимания пользователя под влиянием внешних и внутренних отвлекающих факторов.
Для описания алгоритма представим граф, вершины которого представляют объекты виртуальной реальности и упорядочены по оси абсцисс по времени. Шаг алгоритма - перемещение взгляда пользователя в единицу времени между объектами. Перемещение между вершинами обозначается дугами, соединяющими вершины. У каждой дуги определяется вес - вероятность перехода. Алгоритм завершается, когда все вершины посещены.
Алгоритм достижения пользователем глубины погружения и концентрации внимания на объектах, соответствующих целевому интересу, в виде графа представлен на рис. 1. В начальный момент времени (рис. 1,а) взгляд пользователя находится на объекте b1, относящемся к текущему интересу пользователя. Необходимо сместить внимание пользователя на объекты, относящиеся к целевому интересу Q2. Перемещение взгляда пользователя между объектами зависит от частоты появления объектов, а также от релевантности их текущему интересу.
Чтобы сместить фокус пользователя на объект b2, необходимо в поле зрения пользователя ввести дополнительные объекты, релевантность текущему интересу которых выше. Для этого требуется ввести дополнительные уровни интереса, находящиеся между целевым и текущем (рис. 1,6). На графе по оси ординат сгруппируем вершины по тематикам, наиболее релевантным текущему интересу пользователя.
Ь,
о.з о,т У
/ 0,4/'
Ь, 4
а) б)
Рис. 1. Алгоритм увеличения глубины погружения в иммерсивную среду
Алгоритм увеличения глубины погружения:
Шаг 1. Активна вершина Ь1. Рассмотрим случай перехода к вершине Ь2. Данный переход обеспечит увеличение глубины погружения за счет перехода на уровень, на котором располагаются объекты, релевантные целевому интересу пользователя. При переходе к вершине Ь3 глубина погружения останется неизменной.
Шаг 2. Определим вероятность перехода между объектами. Если вероятности перехода между объектами находятся в отношении Ь3>Ь2, произойдет
переход к Шагу 3.
Иначе осуществится переход к Шагу 6.
Шаг 3. Введем дополнительный уровень , переход на который требует меньше усилий, чем переход к уровню целевого интереса. На данном уровне расположим объект Ь4.
Если вероятности перехода между объектами находятся в отношении Ь4 > Ь3 и Ь4 > Ь2, произойдет переход к Шагу 4.
Иначе осуществится переход к Шагу 5.
Если Ь2> Ь3, произойдет переход к Шагу 6.
Шаг 4. Переход в вершину Ь4 .
Если вероятности перехода между объектами находятся в отношении Ь2> Ь3, произойдет переход к Шагу 6. Внимание пользователя будет акцентировано на объектах целевого интереса, что обеспечит увеличение глубины погружения.
Иначе осуществится возвращение к объектам текущего интереса, произойдет переход на Шаг 1.
Шаг 5. Переход в вершину Ь3. Алгоритм начинается заново. Переход к Шагу 1.
Шаг 6. Переход в вершину Ь2. Переход к алгоритму удержания пользователя или выход из системы.
Стимулирующее воздействие на пользователя в виде набора аудиовизуальных стимулов позволяет управлять вниманием пользователя. При вводе дополнительных уровней интереса необходимо учитывать время возникновения того или иного объекта в поле зрения пользователя, а также релевантность текущему интересу.
Алгоритм удержания внимания пользователя на объектах, относящихся к целевой тематике, представлен на рис. 2.
а) б)
Рис. 2. Алгоритм удержания внимания пользователя на объектах, относящихся к целевой тематике: а - начальное состояние; б - введение дополнительного объекта
Алгоритм удержания внимания пользователя:
Шаг 1. Активна вершина Ь2. Уровень соответствует целевому и текущему интересу пользователя.
Рассмотрим случай перехода к вершине Ь4. Данный переход обеспечит возвращение внимания пользователя к объектам, релевантным целевому интересу пользователя. При переходе к вершине Ь3 у пользователя увеличится глубина погружения за счет концентрации на объектах, относящихся к текущему интересу в данный момент времени.
Шаг 2. Определим вероятность перехода между объектами. Если вероятности перехода между объектами находятся в отношении Ь3 > Ь4, произойдет переход к Шагу 3.
Шаг 3. Введем дополнительный уровень с объектом Ь5. Введенный объект Ь5 должен появиться в фокусе пользователя раньше, чем объекты Ь3 и Ь4. Если данное условие выполняется, осуществляется переход к Шагу 3. Если нет, то к Шагу 2.
Шаг 3. Если вероятности перехода между объектами находятся в отношении Ь5 > Ь3 и Ь5 > Ь4, произойдет переход к Шагу 4.
Иначе осуществится переход к Шагу 5.
Если Ь4 > Ь3 и Ь4 > Ь5, осуществится переход к Шагу 6.
Шаг 4. Переход в вершину Ь5 .
Если вероятности перехода между объектами находятся в отношении Ь4> Ь3, произойдет переход к Шагу 6. Внимание пользователя будет акцентировано на объектах целевого интереса.
Иначе осуществится возвращение к объектам текущего интереса, переход на Шаг 1.
Шаг 5. Переход в вершину Ь3. Алгоритм начинается заново. Переход к Шагу 1.
Шаг 6. Переход в вершину Ь4. Переход к алгоритму увеличения глубины погружения или выход из системы.
Для возвращения фокуса пользователя на объекты, соответствующие целевой тематике ^ пользователя, необходимо ввести в иммерсивную реальность новый объект, соответствующий дополнительной тематике, релевантной текущему интересу пользователя (см. рис. 2,6).
Таким образом, для удержания внимания пользователя на объектах, относящихся к целевой тематике, с учетом наличия в иммерсивной реальности большого количества отвлекающих объектов необходимо периодически вводить в иммерсивную реальность дополнительные объекты, наиболее релевантные текущему интересу пользователя. При вводе дополнительных объектов, отвлекающих внимание пользователя, необходимо, чтобы они соотносились с целевым и текущим интересами пользователя, а также была подобрана частота их появления, что обеспечивает достижение баланса между скоростью и вероятностью перехода.
Результаты
Предложенные алгоритмы управления погружением пользователя в им-мерсивную среду были внедрены в психодиагностике при реализации программного комплекса психологического тестирования в рамках построения дополнительного контура обратной связи.
На рис. 3 представлены один из тестов и график неустойчивости (рассеянности) внимания. На графике отображаются объемы движений головы, глаз и мимических движений, позволяющие определять изменение двигательной активности пользователя в ответ на внешние события.
^ Результаты диагностики - тестирование Ы ^
* А2, Таблицы шульте язмчам *
Рис. 3. Пример результатов прохождения теста с графиком, характеризующим неустойчивость (рассеянность) внимания
В рамках проводимого исследования было реализовано два эксперимента на разных группах респондентов, содержащих 11 и 9 человек. Каждая группа проходила по одному тесту из каждого направления: социальный интеллект Гилфорда (группа «Личность»), шкала тревоги Спилбергера (группа «Эмоции») и таблицы Шульте (группа «Восприятие»).
Респонденты первой группы проходили тестирование в спокойной обстановке без отвлекающих факторов. Для респондентов второй группы после начала прохождения первого теста в качестве внешнего раздражителя на отдельном мониторе был запущен новостной видеоролик. Во время прохождения тестирования с помощью программного комплекса фиксировались результаты, время прохождения, а также рассеянность внимания.
На рис. 4 продемонстрованы результаты экспериментов. Можно заметить, что для тестов группы «Восприятие», представленных в данном примере таблицами Шульте, для которых важно внимание пользователя, отвлекающие факторы снижают вовлеченность, что можно отследить по значению предложенного показателя неустойчивости внимания. Для других тестов влияние глубины погружения не настолько значимо.
а) б)
Рис. 4. Результаты тестирования по тестам: а - без отвлечения; б - наличие раздражителя.
Синим цветом обозначен результат тестирования, красным - показатель неустойчивости внимания, значения нормированы по шкале от 0 до 1
При наличии раздражителей фиксируется неустойчивость внимания, и результаты прохождения тестов группы «Восприятие» ухудшаются по сравнению с результатами прохождения тех же тестов без отвлечения.
В случае потери устойчивости внимания необходимо реализовать генерацию визуальных стимулов в соответствии с алгоритмами, предложенными выше. Например, для теста А2 (таблицы Шульте) в случае повышения или снижения неустойчивости (рассеянности) внимания система начинает подсвечивать красным цветом ошибку, синим - текущий выбор, а справа подсказывать следующее число, как показано на рис. 5.
Таким образом, можно сделать вывод о необходимости контроля и управления глубиной погружения пользователей в среду иммерсивной реальности для повышения качества тестирования.
А" Таблицы 'I у'п н
Ти51»цд 1
17 5 8 6 22
Л 4 15 13 12
14 19 13 9 10
3 2 11 24 7
23 1 16 20 26
а) б)
Рис. 5. Пример визуализации теста: а - без подсказок; б - с подсказками
Обсуждение
Внешний контроль двигательной активности обеспечивает поступление дополнительной информации о вовлеченности пользователей интерактивных интерфейсов иммерсивной реальности. В отличие от существующих подходов, основанных на сборе и анализе журналов действий пользователей и треков их активности в пользовательском интерфейсе, данный способ не подвержен влиянию недостатков самого пользовательского интерфейса и более объективен с позиций оценки индивидуальных психологических особенностей пользователей.
Рассмотренный пример контроля неустойчивости внимания пользователей автоматизированных систем психологического тестирования подтверждает необходимость реализации обратной связи на основе систем компьютерного зрения. Результаты тестирования могут быть подвержены влиянию человеческого фактора или внешних раздражителей. Таким образом, объективность диагностики бывает снижена. Дополнительный контроль внимания пользователя позволяет снизить нагрузку на врача, проводящего исследование, и учесть влияющие факторы в ходе поддержки принятия врачебных решений.
Кроме того, в системе психологической диагностики может быть предусмотрена автоматическая подстройка пользовательского интерфейса с учетом индивидуальных особенностей пользователей, что обеспечивает персонализа-цию решения. Рассмотренные примеры сохранения вовлеченности пользователя показывают, как может быть реализовано управление его вниманием для повышения достоверности диагностики и в режиме реального времени.
Предложенный показатель неустойчивости внимания, рассчитываемый по результатам автоматизированного мониторинга объема двигательной активности пользователей с использованием компьютерного зрения, позволяет оценить влияние отвлекающих факторов на глубину погружения пользователя в иммерсивную среду.
Д2. Таблицы Шульге
ТпбгьщА I
Заключение
Формирование иммерсивной среды и обеспечение высокой глубины погружения является важной задачей пользовательских интерфейсов программных систем человеко-компьютерного взаимодействия. Реализация предложенных в данной статье алгоритмов позволяет обеспечить такую возможность и тем самым персонализировать пользовательские интерфейсы с учетом индивидуальных особенностей пользователей.
Приведенная иллюстрация на примере системы психологической диагностики показывает, насколько важно собирать и анализировать информацию о результатах использования программных систем пользователями для оценки степени их вовлеченности. Дальнейшие исследования запланированы в направлении практической апробации предложенных решений и расширения области их внедрения на практике.
Список литературы
1. Иващенко А. В., Александрова М. В. Формирование иммерсивной среды с управляемой глубиной погружения в приложениях дополненной реальности // Модели, системы, сети в экономике, технике, природе и обществе. 2023. № 1. С. 111-124.
2. Бессонова Ю. В., Обознов А. А. Айтрекинг в диагностике правды-лжи // Институт психологии Российской академии наук. Организационная психология и психология труда. 2019. Т. 4, № 1. С. 46-86.
3. Kugurakova V., Elizarov A., Khafizov M. [et al.]. Towards the immersive VR: measuring and assessing realism of user experience // ICAROB 2018 : proceedings of International Conference on Artificial Life and Robotics. 2018. Vol. 23. P. 146-152. doi: 10.5954/ICAROB.2018.GS6-4
4. Roth R. User interface and user experience (UI/UX) design // Geographic Information Science and Technology Body of Knowledge. 2017. doi: 10.22224/gistbok/2017.2.5
5. Nurpalah A., Pasha M., Rhamdhan D. [et al.]. Effect of UI/UX designer on front end // International Journal of Research and Applied Technology. 2021. Vol. 1. P. 335-341.
6. Malewicz M., Malewicz D. Designing user interfaces. Hype, 2020. 419 p.
7. Paluri S. K. Human computer interaction // Proceedings of 10th International Conference on Research Methods and Professional Issues. United Kingdom, 2020. P. 1-7.
8. Dhengre S., Mathur J., Oghazian F. [et al.]. Towards enhanced creativity in interface design through automated usability evaluation // Eleventh International Conference on Computational Creativity ICCC20. 2020. P. 366-369.
9. Седойкина А. А. Аналитическая обработка данных. Обзор BI-платформ // Кон-тентус. 2019. № S11. С. 96-102.
10. Srivastava G., Muneeswari S., Venkataraman R. [et al.]. A review of the state of the art in business intelligence software // Enterprise Information Systems. 2022. Vol. 16, № 1. P. 1-28. doi: 10.1080/17517575.2021.1872107
11. Ejaz A., Ali S. A., Ejaz M. Y., Siddiqui F. A. Graphic user interface design principles for designing Augmented Reality applications // International Journal of Advanced Computer Science and Applications. 2019. Vol. 10. P. 209-216.
12. Тычков А. Ю., Волкова К. Ю., Киселева Д. В., Родионова Е. А. Обзор систем виртуальной реальности // Известия высших учебных заведений. Поволжский регион. Технические науки. 2020. № 2. C. 3-13. doi: 10.21685/2072-3059-2020-2-1
13. Bai H. The exploration of Arnheim's theory of visual perception in the field of art appreciation and review in junior high school // Learning & Education. 2020. Vol. 9. P. 139. doi: 10.18282/l-e.v9i2.1428
14. Величковский Б. Б., Гусев А. Н., Виноградова В. Ф., Арбекова О. А. Когнитивный контроль и чувство присутствия в виртуальных средах // Экспериментальная психология. 2016. Т. 9, № 1. C. 5-20. doi: 10.17759/exppsy.2016090102
15. Cochrane T., Sissons H. An introduction to immersive reality // Pacific Journal of Technology Enhanced Learning. 2019. Vol. 2, № 6. doi: 10.24135/pjtel.v2i1.28
16. Kaplan-Rakowski R., Meseberg K. Immersive media and their future // Educational Media and Technology Yearbook. 2018. Vol. 42. P. 143-153. doi: 10.1007/978-3-030-27986-8_13
17. Иващенко А. В., Александрова М. В., Жейков Д. С. [и др.]. Адаптация интерфейсов виртуальной реальности в приложениях психодиагностики и медицинской реабилитации // Медицинская техника. 2023. № 5. С. 33-35.
18. Александрова М. В., Иващенко А. В., Борисова Т. В. Восприятие времени в среде виртуальной реальности: экзистенциальный, семиотический и онтологические аспекты // Основы экономики, управления и права. 2023. № 2. С. 9-13.
19. Coco M. Eye-tracking: measurements and applications // Encyclopedia of Behavioral Neuroscience. 2nd ed. Elsevier Science Publishing, 2021. doi: 10.1016/B978-0-12-819641-0.00158-4
20. Santhoshikka R., Laranya C. R., Harshavarthini C. [et al.]. Eye tracking and its applications // International Advanced Research Journal in Science, Engineering and Technology. 2021. Vol. 8, iss. 8. P. 126-130. doi: 10.17148/IARJSET.2021.8824
References
1. Ivashchenko A.V., Aleksandrova M.V. Formation of an immersive environment with controlled immersion depth in augmented reality applications. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, and networks in economics, technology, nature, and society. 2023;(1):111-124. (In Russ.)
2. Bessonova Yu.V., Oboznov A.A. Eytracking in the diagnosis of truth-lies. Institut psikhologii Rossiyskoy akademii nauk. Organizatsionnaya psikhologiya i psikhologiya truda = Institute of Psychology of the Russian Academy of Sciences. Organizational psychology and labor psychology. 2019;4(1):46-86. (In Russ.)
3. Kugurakova V., Elizarov A., Khafizov M. et al. Towards the immersive VR: measuring and assessing realism of user experience. ICAROB 2018: proceedings of International Conference on Artificial Life and Robotics. 2018;23:146-152. doi: 10.5954/ ICAR0B.2018.GS6-4
4. Roth R. User interface and user experience (UI/UX) design. Geographic Information Science and Technology Body of Knowledge. 2017. doi: 10.22224/gistbok/2017.2.5
5. Nurpalah A., Pasha M., Rhamdhan D. et al. Effect of UI/UX designer on front end. International Journal of Research and Applied Technology. 2021;1:335-341.
6. Malewicz M., Malewicz D. Designing user interfaces. Hype, 2020:419.
7. Paluri S.K. Human computer interaction. Proceedings of 10th International Conference on Research Methods and Professional Issues. United Kingdom, 2020:1-7.
8. Dhengre S., Mathur J., Oghazian F. et al. Towards enhanced creativity in interface design through automated usability evaluation. Eleventh International Conference on Computational Creativity ICCC20. 2020:366-369.
9. Sedoykina A.A. Analytical data processing. Review of BI-platforms. Kontentus = Con-tentus. 2019;(S11):96-102. (In Russ.)
10. Srivastava G., Muneeswari S., Venkataraman R. et al. A review of the state of the art in business intelligence software. Enterprise Information Systems. 2022;16(1):1-28. doi: 10.1080/17517575.2021.1872107
11. Ejaz A., Ali S.A., Ejaz M.Y., Siddiqui F.A. Graphic user interface design principles for designing Augmented Reality applications. International Journal of Advanced Computer Science and Applications. 2019;10:209-216.
12. Tychkov A.Yu., Volkova K.Yu., Kiseleva D.V., Rodionova E.A. Review of virtual reality systems. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnich-eskie nauki = News of higher educational institutions. The Volga region. Technical sciences. 2020;(2):3-13. (In Russ.). doi: 10.21685/2072-3059-2020-2-1
13. Bai H. The exploration of Arnheim's theory of visual perception in the field of art appreciation and review in junior high school. Learning & Education. 2020;9:139. doi: 10.18282/l-e.v9i2.1428
14. Velichkovskiy B.B., Gusev A.N., Vinogradova V.F., Arbekova O.A. Cognitive control and a sense of presence in virtual environments. Eksperimental'naya psikhologiya = Experimental Psychology. 2016;9(1):5-20. (In Russ.). doi: 10.17759/exppsy.2016090102
15. Cochrane T., Sissons H. An introduction to immersive reality. Pacific Journal of Technology Enhanced Learning. 2019;2(6). doi: 10.24135/pjtel.v2i1.28
16. Kaplan-Rakowski R., Meseberg K. Immersive media and their future. Educational Media and Technology Yearbook. 2018;42:143-153. doi: 10.1007/978-3-030-27986-8_13
17. Ivashchenko A.V., Aleksandrova M.V., Zheykov D.S. et al. Adaptation of virtual reality interfaces in applications of psychodiagnostics and medical rehabilitation. Med-itsinskaya tekhnika = Medical equipment. 2023;(5):33-35. (In Russ.)
18. Aleksandrova M.V., Ivashchenko A.V., Borisova T.V. Perception of time in a virtual reality environment: existential, semiotic and ontological aspects. Osnovy ekonomiki, upravleniya i prava = Fundamentals of Economics, management and law. 2023;(2): 9-13. (In Russ.)
19. Coco M. Eye-tracking: measurements and applications. Encyclopedia of Behavioral Neuroscience. 2nd ed. Elsevier Science Publishing, 2021. doi: 10.1016/B978-0-12-819641-0.00158-4
20. Santhoshikka R., Laranya C.R., Harshavarthini C. et al. Eye tracking and its applications. International Advanced Research Journal in Science, Engineering and Technology. 2021;8(8):126-130. doi: 10.17148/IARJSET.2021.8824
Информация об авторах/Information about the authors
Антон Владимирович Иващенко
доктор технических наук, профессор, директор Передовой медицинской инженерной школы,
Самарский государственный медицинский университет
(Россия, г. Самара, ул. Чапаевская, 89) E-mail: anton.ivashenko@gmail.com
Anton V. Ivaschenko
Doctor of technical sciences, professor,
head of the Higher school
of medical engineering,
Samara State Medical University
(89 Chapayevskaya street, Samara, Russia)
Маргарита Владимировна Александрова
аспирант,
Самарский государственный медицинский университет
(Россия, г. Самара, ул. Чапаевская, 89) E-mail: margarita.alexandrowa@mail.ru
Margarita V. Aleksandrova
Postgraduate student,
Samara State Medical University
(89 Chapayevskaya street, Samara, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 09.01.2024 Поступила после рецензирования/Revised 29.01.2024 Принята к публикации/Accepted 04.03.2024
