CC BY
13
УДК 004.5
doi:l0.2l685/2227-8486-2023-l-7
ФОРМИРОВАНИЕ ИММЕРСИВНОЙ СРЕДЫ С УПРАВЛЯЕМОЙ ГЛУБИНОЙ ПОГРУЖЕНИЯ В ПРИЛОЖЕНИЯХ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
А. В. Иващенко1, М. В. Александрова2
1 2 Самарский государственный медицинский университет, Самара, Россия 1 anton.ivashenko@gmail.com, 2 margarita.alexandrowa@mail.ru
Аннотация. Актуальность и цели. Рассматривается актуальная проблема обеспечения иммерсивности человеко-компьютерного взаимодействия в среде дополненной реальности за счет управления глубиной погружения. Материалы и методы. Предложена модель иммерсивной среды, позволяющая в отличие от аналогов контролировать и управлять глубиной погружения пользователя с учетом его индивидуальных особенностей восприятия дополненной реальности. Отслеживание реакции пользователя производится с помощью системы окулографии (айтрекинга) или путем интеллектуального распознавания эмоций по результатам видеосъемки мимики лица. Модель основана на реализации метода акцентной визуализации и расширяет возможности его практического применения в задачах повышения удобства интерфейсов виртуальной и дополненной реальности, медицинской реабилитации и контроля ручных операций на производстве, в техническом обслуживании и ремонте. Результаты. Модель им-мерсивной среды с управляемой глубиной погружения включает последовательности событий фиксации внимания пользователя и цепочки событий изменения состояния виртуальных и реальных объектов в пространстве и времени, что позволяет реализовать мониторинг базовых параметров, характеризующих восприятие пользователя: фокус, релевантность и неустойчивость. На базе предложенной модели была реализована система управления, обеспечивающая достижение статистического соответствия темпо-ритмов процессов распознавания, классификации и адекватного действия относительно реальных и виртуальных объектов. Выводы. Основные проблемы потери глубины погружения пользователя в среду иммерсионной реальности включают несоответствие контекстов виртуальных и реальных элементов опыту пользователя, различие темпов событий, происходящих в виртуальной реальности темпу реальных событий или готовности пользователя, наличие отвлекающих факторов, влияющих на потерю вовлеченности и снижение восприятия. Выбор направления борьбы с этими проблемами зависит от динамики изменения параметров.
Ключевые слова: иммерсивная реальность, дополненная реальность, пользовательские интерфейсы, медицинская реабилитация, акцентная визуализация
Для цитирования: Иващенко А. В., Александрова М. В. Формирование иммерсив-ной среды с управляемой глубиной погружения в приложениях дополненной реальности // Модели, системы, сети в экономике, технике, природе и обществе. 2023. № 1. С. 111-124. ао1:10.21685/2227-8486-2023-1-7
© Иващенко А. В., Александрова М. В., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
DEVELOPMENT OF IMMERSIVE ENVIRONMENT WITH CONTROLLED DEPTH PERCEPTION IN AUGMENTED REALITY APPLICATIONS
A.V. Ivaschenko1, M.V. Aleksandrova2
1 2 Samara State Medical University, Samara, Russia 1 anton.ivashenko@gmail.com, 2 margarita.alexandrowa@mail.ru
Abstract. Background. The paper discusses an actual problem of ensuring the immer-siveness of human-computer interaction in the Augmented Reality environment by controlling the depth of immersion. Materials and methods. The article proposes a model of an immersive environment, which, unlike analogues, allows controlling and managing the depth of user immersion, taking into account his individual characteristics of Augmented Reality perception. The user's reaction is tracked using the oculography (eye-tracking) system or by intelligent recognition of emotions based on the results of image recognition of facial expressions. The model is based on the implementation of the accented visualization method and expands the possibilities of its practical application in the tasks of improving the convenience of virtual and augmented reality interfaces, medical rehabilitation and control of manual operations in production, maintenance and repair. Results. An immersive environment model with a controlled depth of immersion processes the event chains of user attention fixation and changing the state of virtual and real objects in space and time, which makes it possible to monitor the basic parameters that characterize user perception: focus, relevance, and instability. On the basis of the proposed model, a control system was implemented that ensures the achievement of a statistical correspondence between the tempo-rhythms of the processes of recognition, classification and adequate action in relation to real and virtual objects. Conclusions. The main challenges of losing the depth of user immersion in the immersive reality environment include the discrepancy between the contexts of virtual and real elements and the user experience, the difference between the pace of events taking place in virtual reality and the pace of real events or the user's readiness, and the presence of distractions that affect the loss of involvement and decrease in perception. The choice of the solution depends on the dynamics of changes in parameters.
Keywords: immersive reality, augmented reality, user interfaces, medical rehabilitation, accented visualization
For citation: Ivaschenko A.V., Aleksandrova M.V. Development of immersive environment with controlled depth perception in augmented reality applications. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2023;(1):111-124. (In Russ.). doi:10.21685/2227-8486-2023-1-7
Введение
Применение технологий виртуальной и дополненной реальности крайне востребовано в современных приложениях производственного контроля качества, медицинской реабилитации, интерактивных справочных руководствах, системах компьютерного зрения, в игровой индустрии и т.п. Такие технологии способны существенно расширить возможности пользовательских интерфейсов программно-аппаратных комплексов различного назначения, повышая вовлеченность пользователя и его заинтересованное участие в интерактивном взаимодействии.
Однако на практике реализация таких интерфейсов затруднена в силу усложнения процессов человеко-компьютерного взаимодействия. Включение
виртуальных элементов в реальные сцены приводит к существенному повышению информационной нагрузки на человека, а влияние негативного индивидуального опыта и особенностей восприятия на эффективность применения технологий виртуальной и дополненной реальности может нивелировать преимущества их применения на практике. Кроме этого, необходимость постоянного использования дополнительных специализированных устройств, таких как очки, шлемы дополненной реальности, экраны смартфонов или планшетов, затрудняют внедрение данного вида технологий в оперативной или производственной деятельности.
Для преодоления этой проблемы необходимо построить адаптивную систему управления глубиной погружения, обеспечивающей независимый контроль индивидуальных свойств восприятия каждого отдельного пользователя в режиме реального времени с учетом персональных особенностей его поведения в смешанном пространстве виртуальной и дополненной реальности. Анализ поведения пользователя и его изменений в ответ на появление виртуальных объектов, контроль внимания и мониторинг уставания позволяет внедрить в систему управления интерактивным пользовательским интерфейсом возможности независимой обратной связи.
Такая система управления нужна, например, в аппаратно-программных комплексах контроля качества производственных процессов или медицинской реабилитации, где требуется от пользователя определенная реакция на изменение виртуального пространства или выполнение заданного набора действий. Появление обратной связи в соответствующей системе управления позволяет оценивать и корректировать эффективность воздействия виртуальной среды на пользователя, т.е. адекватность и надежность выполнения необходимого набора действий, путем регулирования количества и сложности виртуальных объектов. В рамках решения этой задачи в данной статье предлагаются оригинальные модель и метод формирования иммерсивной среды с управляемой глубиной погружения в приложениях дополненной реальности.
Материалы и методы
Иммерсивные технологии объединяют различные аудиовизуальные методы и средства частичного или полного погружения человека в искусственно созданную среду [1, 2]. Исторически иммерсивность связывалась с произведениями изобразительного искусства, музыкальными и театральными постановками, предметами архитектуры [3], в которых вовлечение человека обеспечивается за счет высоких конструктивных или эстетических свойств художественного произведения, эмоционального вовлечения зрителя или слушателя либо интерактивного взаимодействия с ним. Современные технологии виртуальной и дополненной реальности [4, 5] предоставляют новые возможности по реализации иммерсивности на техническом уровне путем высокореалистичного моделирования, симуляции и визуализации искусственного окружения в контексте естественного и реального опыта конкретного пользователя.
Важной характеристикой иммерсивности является глубина погружения, на которую влияют индивидуальные особенности восприятия [6, 7]. Погружение в иммерсивную среду характеризуется осознанным переходом человека в состояние присутствия в искусственно созданном альтернативном пространстве,
который связан с преодолением недоверия. Для этого он должен подвергнуться определенному воздействию, которое формально можно представить в виде временной последовательности аудиовизуальных стимулов, призванных захватить и удержать внимание пользователя. На эффективность этих стимулов может влиять накопленный опыт человека и его восприимчивость к определенным визуальным образам и связанным с ними ассоциациям.
Данное воздействие может иметь длительный характер и требовать не только концентрации внимания пользователя, но и сохранения его высокой заинтересованности. При этом он может быть подвергнут отвлекающим воздействиям, характеризующимся информационными или реальными событиями, нарушающими эффект присутствия. Внешний шум, телефонный звонок или появление неудобства от использования шлема виртуальной реальности - все это может привести к снижению восприятия и потере иммерсивности.
В связи с этим в психологии иммерсивность тесно связывается с понятием когнитивного контроля [8, 9] - комплекса исполнительных функций, позволяющих индивиду регулировать поведение согласно текущим задачам. Показано [8], что выраженность чувства присутствия может зависеть от эффективности контрольных функций переключения, подавления интерференции и обновления рабочей памяти. Эффективность когнитивного контроля человека как его индивидуальная особенность восприятия иммерсивной среды оказывает влияние на возникновение чувства присутствия при взаимодействии пользователя с виртуальными сценариями.
Философские аспекты поведения человека в иммерсивной среде [10] также связаны со специфической темпоральностью виртуальной реальности, определяющей интерактивность человеко-компьютерного взаимодействия. Уровень интерактивности непосредственно связывается с глубиной погружения, которая определяется степенью доверия пользователя к наблюдаемым событиям и явлениям. Конечно, в иммерсивной среде не идет речь о полном «вживлении», каждый пользователь находится в сознании и сохраняет способность различать реальные и виртуальные объекты. Однако на уровне восприятия он приобретает способность взаимодействовать с ними единым способом, что характеризует полное погружение.
В качестве характеристик восприятия обычно рассматривают целостность, предметность, константность, избирательность, осмысленность и др. [11]. Эти свойства индивидуальны для каждого человека и в среде иммерсивной реальности могут быть статистически определены на основе взаимного корреляционного анализа временных рядов [12], характеризующих поток формируемых аудиовизуальных стимулов и соответствующие последовательности действий пользователей, фиксируемых системой обратной связи.
Для построения системы обратной связи использовалась система окуло-графии (айтрекинга) [13, 14], система компьютерного зрения для анализа психоэмоционального состояния человека, а также система семантико-статисти-ческого анализа журнала событий, характеризующих действия пользователя в виртуальной среде. Некоторые результаты применения систем обратной связи для анализа поведения пользователей приведены в работах [15, 16].
Здесь же изложен основной метод, на основе которого предлагается построить иммерсивную среду с управляемой глубиной погружения - это метод акцентной визуализации [17, 18] и основанный на нем метод виртуальной
разметки [19]. Суть метода акцентной визуализации заключается в управлении вниманием пользователей на основе комбинирования сценария, фокуса, контекста и оверлейного контекста в рамках одной виртуальной сцены. Это позволяет эффективно генерировать иммерсивные стимулы в виде отметок, напоминаний и других активных элементов пользовательского интерфейса дополненной реальности.
Следует отметить, что рассматриваемые проблемы анализа пользовательского восприятия элементов виртуальной среды достаточно глубоко изучаются в рамках теории эргономики пользовательских интерфейсов [20-22] для повышения удобства человеко-компьютерных интерфейсов и стимулирования творческого потенциала пользователей [23, 24].
На основе приведенных методов и технологий можно реализовать техническую возможность управления глубиной погружения пользователя им-мерсивной среды. В основе системы управления лежит персонализация пользовательских интерфейсов дополненной реальности на основе анализа их активности. Формирование иммерсивной среды производится с помощью смартфонов, видеопанелей или очков виртуальной (дополненной) реальности. Отслеживание реакции пользователя производится с помощью системы оку-лографии (айтрекинга) или путем интеллектуального распознавания эмоций по результатам видеосъемки мимики лица. Интеллектуальное программное обеспечение компьютерного зрения используется также для распознавания изображений реальных объектов и их сравнения с соответствующим описанием в базе знаний. Таким образом, появляется новая возможность анализа особенностей восприятия оператора в интерактивных человеко-компьютер-ных интерфейсах.
Модель иммерсивной среды с управляемой глубиной погружения
Рассмотрим персонифицированную формальную модель иммерсивной среды для пользователя щ, где I = 1... N - условный порядковый номер (идентификатор) пользователя.
Определим координаты взора как sj = ,у-,) - точку в виртуально-реальном трехмерном пространстве ф9, где - - условный порядковый номер
точки в составе траектории взора пользователя. Будем при этом обозначать реальное пространство ф0 - совокупность реальных объектов, наблюдаемых пользователем.
Отметим, что при использовании единственного экрана устройства, на котором формируется виртуальная среда с объектом - зрительным раздражителем, координаты взора определяют как точку пересечения оптической оси глазного яблока и плоскости наблюдаемого объекта или экрана.
Однако в случае виртуальной или дополненной реальности виртуальная среда становится трехмерной, вследствие чего виртуальные и реальные объекты могут перекрывать друг друга и накладываться, пересекаясь в пространстве. Далее будем использовать единую систему координат для реального и всех виртуальных пространств, в противном случае потребуется приведение координат.
Обозначим событие фиксации взора пользователя в некоторой координате реального или виртуального пространства в течение минимально необходимого интервала времени Д^ = const в виде булевой переменной:
g1,J,k = g1,J,k(..j)={0,1J , (1)
где tijk - время наступления события; k - порядковый номер события. Параметр Д^ определяет чувствительность метода.
Последовательность событий привлечения взгляда пользователя, упорядоченная по времени, образует маршрут на графе G = { gi j,k J . Упорядоченность по времени характеризуется условием:
vgj. ^gi,j,k+1:ti,j,k+1 > j;tg1J/-k'*k k'±k+1: j-e((j), (2)
где k - порядковый номер события.
Как мы указывали выше, пользователь способен распознавать реальные и виртуальные объекты и осознает различия между ними. Однако в процессе интерактивного взаимодействия в иммерсивной среде он реагирует на них одинаково, т.е. их распознавание, классификация и адекватное действие занимает сравнительно одинаковые интервалы относительно реальных и виртуальных объектов соответственно.
Обозначим объект реального или виртуального мира в виде bn (ф?),
где n = 1...Nb - идентификатор объекта в рамках сквозной нумерации.
Обозначим событие изменения состояния объекта, вызванное его появлением, перемещением или модификацией в виде
dn,j,m = dn,j,m (bn > s'j , t'n,j,m ) ={0,1J , (3)
где s'j - координата наступления события; t'njm - время его наступления;
m - порядковый номер события изменения состояния объекта.
Поток упорядоченных по времени событий dn j m характеризует появление и перемещение объекта:
Vb : Vd : 3d .2 ,: t .2 , > t , (4)
n n,j1,m n,j2,m+1 n,j2,m+1 n,j!,m ? V /
Опишем в виде функции событие остановки взора пользователя на конкретном объекте, характеризующее его фокус (внимание) в заданный интервал времени ДТ:
F (u,, bn, ДТ ) = XX ( g', j1,k ( u>' sj1' f>,j1,k , j2,m ((, sj2, 'n, j2,m )X j1,kj 2,m
X 5 (s^ 6 (sj 2 ))5 (( 6 ((^ 2,m , tn j ^ ))5 (jU 6 Д T )) , (5)
I 1, x = true;
где - окрестность точки в пространстве; 5(х ) = <
[0, x = false.
При анализе восприятия пользователя кроме фокуса, характеризующего своевременное внимание к заданному объекту, необходимо оценивать релевантность рассматриваемых объектов текущему интересу:
R(, Q*, AT) =
= II (^ i, ji,t (ut, sji, ti, ji,t ,j2,m (bn, Sj2' tn,j2,m )5(Qft, )g Q* )5(( gAT)), (6)
j1,kj 2,m
где Q (bn ) = {(tonl, wnl)} - семантический дескриптор, описывающий тематику рассматриваемого объекта в виде облака тегов (ключевых слов) tt)nl с весами wnj, Q - заданная (целевая) тематика интереса пользователя.
Текущий Q(bn((р0)) и целевой Q* интересы пользователя могут не совпадать. Считаем, что в процессе своей деятельности пользователь должен уделять внимание реальным объектам в рамках пространства р0. Интересы полностью совпадают, если Q(bn )g Q .
Отметим, что интерес пользователя не всегда совпадает с объектами, которым он уделяет внимание. Несмотря на наличие взаимосвязи визуальной системы и сознания человека, заключающейся в том, что фиксация взгляда на рассматриваемом объекте по длительности и интересу соответствует когнитивному процессу, возможно появление скрытого внимания. Скрытое внимание характеризуется треком движения глаз, при котором след взгляда и точки фиксации часто проходят мимо объектов, к которым реально привлекалось внимание.
Важной характеристикой глубины погружения является восприимчивость к отвлекающим воздействиям, т.е. неустойчивость. Количественно оценить данную характеристику можно путем подсчета нерелевантных объектов, попавших в его фокус, т.е. тех, на которые он обращал внимание:
D (и., Q*, AT ) =
= II (s(j2J5(F, bn, AT) 0)5(r(, Q*, AT) = 0))min (7)
j1,kn, j 2,m
Таким образом, модель иммерсивной среды с управляемой глубиной погружения включает последовательности событий фиксации внимания пользователя и цепочки событий изменения состояния виртуальных и реальных объектов в пространстве и времени, что позволяет реализовать мониторинг базовых параметров, характеризующих восприятие пользователя: фокус F (предметность), релевантность R (избирательность) и неустойчивость D (обратная константности).
Результаты
Рассмотрим в качестве объекта управления поведение пользователя в смешанном пространстве иммерсивной реальности, образованным
реальными и виртуальными объектами, которое описывается последовательностью действий, ожидаемых в ответ на внешние события. Основной контролируемый параметр при этом - глубина погружения.
Закон управления в этом случае можно сформулировать следующим образом: если релевантность объектов в фокусе падает, необходимо сформировать адекватную текущему восприятию пользователя последовательность аудиовизуальных стимулов и передать ее пользователю в рамках оверлейного контекста иммерсивной среды.
Для последовательности непересекающихся временных окон
АГ? = (шч, tq ок) величину рассогласования текущего и целевого интереса пользователя можно оценить в виде
4 (, О*, АТ ) = 5 (( (, О*, АТ )< Я (, О*, АГ- ))х
х( (, О*, АТд_,)-Я (, О*, АТд )). (8)
Данный параметр характеризует изменения глубины погружения. При потере внимания необходимо произвести стимулирующее воздействие в виде набора аудиовизуальных стимулов с силой воздействия V*, которое в простейшем случае определяется линейной функцией
V * (, О*, А^ )= кфг, О*, А^). (9)
В рамках предложенной модели закон управления можно представить следующим образом. Набор аудиовизуальных стимулов для включения в оверлейный контекст:
Фов^ э [ь„* (ф0в^)} : Ж(ср0в,q ) = X(V((ф0в ))5(О((ф0в )) О*)х
q п*
X Р (, Ьп (фов), АТч+1 ) V * (, О*, АТЧ), (10)
где V(Ьп (фов)) - ожидаемая или прогнозная эффективность привлечения внимания с помощью виртуального объекта, используемого в качестве аудиовизуального стимула.
Задача включения набора аудиовизуальных стимулов в оверлейный контекст может быть решена как обобщенная задача о назначениях, при этом для выражения (10) может быть несколько вариантов решения. Формирование аудиовизуального стимула способствует синхронизации событий изменения состояния объектов dnjm и фиксации взора пользователя gi ^ к, что характеризует темпо-ритм поведения пользователя в иммерсивной среде.
На базе предложенной модели была реализована система управления глубиной погружения пользователя иммерсивной среды, структура которой представлена на рис. 1.
В качестве основного контролируемого параметра использована неустойчивость восприятия применительно к генерируемым виртуальным
объектам. Основной целью системы управления глубиной погружения является, таким образом, достижение статистического соответствия темпо-ритмов процессов распознавания, классификации и адекватного действия.
Рис. 1. Структура системы управления глубиной погружения пользователя иммерсивной среды
В качестве управляющего воздействия предложено генерировать оверлейный контекст - последовательность аудиовизуальных стимулов, корректирующих темпо-ритм интерактивного взаимодействия пользователя с виртуальной средой с учетом человеческого фактора с целью достижения требуемого уровня иммерсивного погружения и устойчивого сохранения его на длительном интервале времени.
Важным элементом решения является прогнозирование действий пользователя на основе сопоставления его профиля и шаблонов типовых процессов. В результате удается достроить граф событий восприятия реальных и виртуальных объектов в иммерсивной среде с учетом позитивных и негативных ожиданий действий пользователя и повысить эффективность генерации стимулов.
Следует отметить, что частое применение аудиовизуальных стимулов невозможно в связи с риском информационной перегрузки пользователя. Необходимо обеспечивать своевременное и адекватное применение данного инструмента в практических приложениях. В рамках предложенной модели
данное решение производится путем выбора вида функции V (, й , А7^)
и решения задачи (10).
Результаты практического построения иммерсивной среды с управляемой глубиной погружения могут быть проиллюстрированы примером
реализации системы контроля качества производства автомобильных компонентов, разработанной ООО «Самараавтожгут» и ООО «Открытый код» [25]. Модуль контроля факта выполнения операций на этапе сборки и тестирования жгутов (рис. 2) позволяет в режиме реального времени на основании интеллектуального распознавания и видеоаналитики указывать оператору на допущенные ошибки.
Рис. 2. Реализация иммерсивной реальности в системе производственного контроля
Применение современных технологий компьютерного зрения на базе искусственных нейронных сетей позволили идентифицировать погрешности ручных операций и снизить время обработки задач на 30 %, а количество допущенных отклонений - до 1 %. Это достаточно хорошие показатели для интеллектуальной системы контроля качества.
Однако практическое применение такого рода систем связано с необходимостью их адаптации в условиях работы отдельных пользователей, что часто требует индивидуального подхода. Обычно проблемы синхронизации работы человеко-машинных комплексов решаются либо путем повышения доли автоматизации и исключения человека в рамках отдельных технологических операций, либо путем стандартизации и разграничения ролей и конкретных трудовых функций. В данном случае это сделать сложно, поскольку у разных пользователей интеллектуальная система производственного контроля компенсирует разные недостатки.
Кроме этого, в такого рода системах возникает проблема обеспечения напряженной и ритмичной производственной деятельности персонала в течение производственной смены с учетом необходимости постоянного использования устройств компьютерного зрения, виртуальной и дополненной реальности, требующих периодического осмотра и настройки. Программное обеспечение контроля глубины погружения, основанное на предложной в данной статье модели, способно решать такого рода задачи на практике.
Успешность реализации человеко-компьютерного взаимодействия в им-мерсивной среде существенно зависит от особенностей восприятия пользователями результатов комбинации реальных объектов и виртуальных объектов дополненной реальности. На устойчивость интереса, предметность, избирательность и константность восприятия в этом случае существенное влияние оказывает глубина погружения, которая характеризует единство темпо-ритмов процессов распознавания, классификации и адекватного действия относительно реальных и виртуальных объектов.
Глубина погружения может быть оценена путем семантико-статистиче-ского анализа таких параметров пользовательского поведения, как фокус, релевантность и неустойчивость. Эти параметры индивидуальны для конкретного человека и иммерсивной среды и учитывают влияние человеческого фактора на возможности человеко-компьютерного взаимодействия. Применение этих параметров в составе аппаратно-программных комплексов виртуальной и дополненной реальности позволяет обеспечить и сохранить эффект иммерсивности.
Основные проблемы потери глубины погружения пользователя в среду иммерсионной реальности включают несоответствие контекстов виртуальных и реальных элементов опыту пользователя, несоответствие темпа событий, происходящих в виртуальной реальности, темпу реальных событий или готовности пользователя, наличие отвлекающих факторов, влияющих на потерю вовлеченности и снижение восприятия.
Выбор направления борьбы с этими проблемами зависит от динамики изменения параметров. В первую очередь необходимо обеспечить согласование ритмов появления и изменения виртуальных объектов, обеспечив тем самым функционирование в режиме реального времени. Следующим шагом является обеспечение строгого контроля появления отвлекающих факторов для своевременной генерации противодействующих стимулов. Наконец, формирование достаточно информативного оверлейного контекста способно нивелировать отсутствие или недостаток опыта пользователя иммерсивной среды.
Заключение
В статье предложена модель иммерсивной среды, позволяющая в отличие от аналогов контролировать и управлять глубиной погружения пользователя с учетом его индивидуальных особенностей восприятия дополненной реальности. Модель основана на реализации метода акцентной визуализации и расширяет возможности его практического применения в задачах повышения удобства интерфейсов виртуальной и дополненной реальности, медицинской реабилитации и контроля ручных операций на производстве, в техническом обслуживании и ремонте.
Дальнейшее направление исследований связано с изучением психоэмоциональных особенностей восприятия систем и устройств виртуальной и дополненной реальности на основе разработанной модели. Планируется реализация специализированных аппаратно-программных комплексов для повышения эффективности применения технологий дополненной реальности и машинного зрения для контроля качества производства, а также в медицинской реабилитации.
Список литературы
1. Cochrane T., Sissons H. An introduction to immersive reality // Pacific Journal of Technology Enhanced Learning. 2019. Vol. 2. P. 6. doi:10.24135/pjtel.v2i1.28
2. Kaplan-Rakowski R., Meseberg K. Immersive media and their future // Educational Media And Technology Yearbook. 2018. Vol. 42. P. 143-153. doi:10.1007/978-3-030-27986-8_13
3. Bai H. The exploration of Arnheim's theory of visual perception in the field of art appreciation and review in junior high school // Learning & Education. 2020. Vol. 9. P. 139. doi:10.18282/l-e.v9i2.1428
4. Ejaz A., Ali S. A., Ejaz M. Y., Siddiqui F. A. Graphic user interface design principles for designing Augmented Reality applications // International Journal of Advanced Computer Science and Applications. 2019. Vol. 10. P. 209-216.
5. Singh M., Singh M. P. Augmented Reality interfaces // Natural Web Interfaces IEEE Internet Computing. 2013. P. 66-70.
6. Авербух Н. В. Психологические аспекты феномена присутствия в виртуальной среде // Вопросы психологии. 2010. № 5. С. 105-113.
7. Witmer B., Singer M. Measuring presence in virtual environments: A presence questionnaire // Presence. 1998. Vol. 7. P. 225-240.
8. Величковский Б. Б., Гусев А. Н., Виноградова В. Ф., Арбекова О. А. Когнитивный контроль и чувство присутствия в виртуальных средах // Экспериментальная психология. 2016. Т. 9, № 1. С. 5-20. doi:10.17759/exppsy.2016090102
9. Войскунский А. П., Меньшикова Г. Я. О применении систем виртуальной реальности в психологии // Вестник Московского университета. Серия 14. Психология. 2008. № 1. С. 22-36.
10. Кирик Т. А. Виртуальная реальность и ее онтологические прототипы. Курган : Изд-во Курганского гос. ун-та, 2007. 133 с.
11. Любимов В. В. Психология восприятия : учебник. М. : Эксмо : ЧеРо : МПСИ, 2007. 472 с.
12. Прикладной анализ случайных процессов / под ред. С. А. Прохорова. Самара : Издательство СНЦ РАН, 2007. 582 с.
13. Jacob R. J. K., Karn K. S. Eye tracking in human-computer interaction and usability research: ready to deliver the promises // The mind's eye: cognitive and applied aspects of eye movement research. 2003. P. 573-605.
14. Duchowski A. T. A breadth-first survey of eye tracking applications // Behavior Research Methods, Instruments, & Computers (BRMIC). 2002. Vol. 34. P. 455-470.
15. Ivaschenko A. V., Sitnikov P. V., Diyazitdinova A. R. Accented visualization application in interactive manuals for technical training and support // Journal of Physics: Conference Series. 2020. Vol. 1691. P. 1-6. doi:10.1088/1742-6596/1691/1/012122
16. Surnin O., Sitnikov P., Gubinkiy A. [et al.]. Augmented reality implementation for comfortable adaptation of disabled personnel to the production workplace // Proceedings of the 35th Annual European Simulation and Modelling Conference. 2021. P. 64-69.
17. Иващенко А. В., Ситников П. В. Акцентная визуализация в интеллектуальных системах производственного контроля // Модели, системы, сети в экономике, технике, природе и обществе. 2018. № 4. C. 94-102.
18. Ivaschenko A., Sitnikov P., Surnin O. Accented visualization for Augmented Reality // Emerging Topics and Questions in Infocommunication Technologies. 2020. P. 74-97.
19. Ivaschenko A., Krivosheev A. User experience analysis based on a virtual mark-up approach // Communications in Computer and Information Science. 2021. Vol. 1448. P. 575-586. doi:10.1007/978-3-030-87034-8_42
20. Roth R. User interface and user experience (UI/UX) design // Geographic Information Science & Technology Body of Knowledge. 2017. doi:10.22224/gistbok/2017.2.5
21. Nurpalah A., Pasha M., Rhamdhan D. [et al.]. Effect of UI/UX designer on front end // International Journal of Research and Applied Technology. 2021. Vol. 1. P. 335-341.
22. Malewicz M., Malewicz D. Designing user interfaces. Hype, 2020. 419 p.
23. Soegaard M., Dam R. F. The encyclopedia of human-computer interaction. Interaction Design Foundation. 2nd ed. 2014.
24. Dhengre S., Mathur J., Oghazian F. [et al.]. Towards enhanced creativity in interface design through automated usability evaluation // Eleventh International Conference on Computational Creativity ICCC20. 2020. P. 366-369.
25. Sitnikov P., Gubinskiy A., Ivaschenko A., Nikiforova T. Computer vision application for mechanical engineering production manual operations control // AIP Conference Proceedings. 2021. Vol. 2402. P. 40025.
References
1. Cochrane T., Sissons H. An introduction to immersive reality. Pacific Journal ofTechnology Enhanced Learning. 2019;2:6. doi:10.24135/pjtel.v2i1.28
2. Kaplan-Rakowski R., Meseberg K. Immersive media and their future. Educational Media And Technology Yearbook. 2018;42:143-153. doi:10.1007/978-3-030-27986-8_13
3. Bai H. The exploration of Arnheim's theory of visual perception in the field of art appreciation and review in junior high school. Learning & Education. 2020;9:139. doi: 10.18282/l-e.v9i2.1428
4. Ejaz A., Ali S.A., Ejaz M.Y., Siddiqui F.A. Graphic user interface design principles for designing Augmented Reality applications. International Journal of Advanced Computer Science and Applications. 2019;10:209-216.
5. Singh M., Singh M.P. Augmented Reality interfaces. Natural Web InterfacesIEEEInternet Computing. 2013:66-70.
6. Averbukh N.V. Psychological aspects of the phenomenon of presence in a virtual environment. Voprosypsikhologii = Questions of psychology. 2010;(5): 105-113. (In Russ.)
7. Witmer B., Singer M. Measuring presence in virtual environments: A presence questionnaire. Presence. 1998;7:225-240.
8. Velichkovskiy B.B., Gusev A.N., Vinogradova V.F., Arbekova O.A. Cognitive control and a sense of presence in virtual environments. Eksperimental'naya psikhologiya = Experimental Psychology. 2016;9(1):5-20. (In Russ.). doi:10.17759/exppsy.2016090102
9. Voyskunskiy A.P., Men'shikova G.Ya. On the application of virtual reality systems in psychology. Vestnik Moskovskogo universiteta. Seriya 14. Psikhologiya = Bulletin of the Moscow University. Series 14. Psychology. 2008;(1):22-36. (In Russ.)
10. Kirik T.A. Virtual'naya real'nost' i ee ontologicheskie prototipy = Virtual reality and its ontologicalprototypes. Kurgan: Izd-vo Kurganskogo gos. un-ta, 2007:133. (In Russ.)
11. Lyubimov V. V. Psikhologiya vospriyatiya: uchebnik = Psychology of perception: textbook. Moscow: Eksmo: CheRo: MPSI, 2007:472. (In Russ.)
12. Prokhorov S.A. (ed.). Prikladnoy analiz sluchaynykh protsessov = Applied analysis of random processes. Samara: Izdatel'stvo SNTs RAN, 2007:582. (In Russ.)
13. Jacob R.J.K., Karn K.S. Eye tracking in human-computer interaction and usability research: ready to deliver the promises. The mind's eye: cognitive and applied aspects of eye movement research. 2003:573-605.
14. Duchowski A.T. A breadth-first survey of eye tracking applications. Behavior Research Methods, Instruments, & Computers (BRMIC). 2002;34:455-470.
15. Ivaschenko A.V., Sitnikov P.V., Diyazitdinova A.R. Accented visualization application in interactive manuals for technical training and support. Journal of Physics: Conference Series. 2020;1691:1-6. doi:10.1088/1742-6596/1691/1/012122
16. Surnin O., Sitnikov P., Gubinkiy A. et al. Augmented reality implementation for comfortable adaptation of disabled personnel to the production workplace. Proceedings of the 35 th Annual European Simulation and Modelling Conference. 2021:64-69.
17. Ivashchenko A.V., Sitnikov P.V. Accent visualization in intelligent production control systems. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2018;(4):94-102. (In Russ.)
18. Ivaschenko A., Sitnikov P., Surnin O. Accented visualization for Augmented Reality.
Emerging Topics and Questions in Infocommunication Technologies. 2020:74-97.
19. Ivaschenko A., Krivosheev A. User experience analysis based on a virtual mark-up approach. Communications in Computer and Information Science. 2021;1448:575-586. doi:10.1007/978-3-030-87034-8_42
20. Roth R. User interface and user experience (UI/UX) design. Geographic Information Science & Technology Body of Knowledge. 2017. doi:10.22224/gistbok/2017.2.5
21. Nurpalah A., Pasha M., Rhamdhan D. et al. Effect of UI/UX designer on front end. International Journal of Research and Applied Technology. 2021;1:335-341.
22. Malewicz M., Malewicz D. Designing user interfaces. Hype, 2020:419.
23. Soegaard M., Dam R.F. The encyclopedia of human-computer interaction. Interaction Design Foundation. 2nd ed. 2014.
24. Dhengre S., Mathur J., Oghazian F. et al. Towards enhanced creativity in interface design through automated usability evaluation. Eleventh International Conference on Computational Creativity ICCC20. 2020:366-369.
25. Sitnikov P., Gubinskiy A., Ivaschenko A., Nikiforova T. Computer vision application for mechanical engineering production manual operations control. AIP Conference Proceedings. 2021;2402:40025.
Информация об авторах /Information about the authors
Антон Владимирович Иващенко
доктор технических наук, профессор, директор Передовой медицинской инженерной школы, Самарский государственный медицинский университет (Россия, г. Самара, ул. Чапаевская, 89) E-mail: anton.ivashenko@gmail.com
Anton V. Ivaschenko
Doctor of technical sciences, professor, director of the Higher School of Medical Engineering, Samara State Medical University (89 Chapaevskaya street, Samara, Russia)
Маргарита Владимировна Александрова
аспирант,
Самарский государственный медицинский университет (Россия, г. Самара, ул. Чапаевская, 89) E-mail: margarita.alexandrowa@mail.ru
Margarita V. Aleksandrova
Postgraduate student,
Samara State Medical University
(89 Chapaevskaya street, Samara, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 09.01.2023 Поступила после рецензирования/Revised 20.02.2023 Принята к публикации/Accepted 13.03.2023
