CC BY
0
ОБЩИЕ ВОПРОСЫ ФОРМАЛИЗАЦИИ ПРОЕКТИРОВАНИЯ: ОНТОЛОГИЧЕСКИЕ АСПЕКТЫ И КОГНИТИВНОЕ МОДЕЛИРОВАНИЕ
УДК 004.5 Научная статья Б01: 10.18287/2223-9537-2024-14-3-311-323
Семиозис визуальных стимулов в интерактивных пользовательских интерфейсах медицинских приложений
© 2024, А.В. Иващенко1,2^, М.В. Александрова2, Д.С. Жейков2, А.Ю. Нестеров1
1 Самарский национальный исследовательский университет им. академика С.П. Королева, Самара, Россия
2 Самарский государственный медицинский университет (СамГМУ), Самара, Россия
Аннотация
Рассматривается проблема достижения полноты и единства объективной, субъективной и виртуальной реальности применительно к прикладным задачам проектирования интерактивных пользовательских интерфейсов. В рамках построения иммерсивной среды с помощью современных информационных технологий исследована задача формирования онтологии восприятия. Выделена ключевая роль знака в информационном взаимодействии с учётом индивидуальных особенностей его восприятия пользователями виртуальной реальности. В иммерсивной среде виртуальные знаки могут воплощаться как в качестве наблюдаемых объектов с различной степенью реалистичности, так и непосредственно в форме графических и текстовых знаков, получивших определённое расположение в пространстве. Предложенный подход позволяет задать алгоритм визуального воздействия на человека путём динамического формирования последовательности знаков. Формируемые последовательности образуют очередь визуальных стимулов, корректирующих темпо-ритм интерактивного взаимодействия пользователя с компьютерной системой. Наблюдаемые пользователем знаки можно классифицировать как иконические знаки, соответствующие условным обозначениям или пиктограммам, знаки-индексы, выступающие в качестве указателей на другие объекты и позволяющие размечать пространство в целях ориентации, и знаки-символы, сигнализирующие или предупреждающие об изменении объекта, произошедшем событии или явлении. В статье рассмотрены тестовые примеры поведения пользователя в среде виртуальной реальности. Предложенный подход реализован в программном комплексе психологической диагностики и реабилитации. Особенностью комплекса является контроль вовлечённости пациентов на основе анализа динамики движений головы, мимических движений и траектории взгляда с использованием искусственных нейронных сетей. В случае идентификации событий отвлечения внимания или потери интереса компьютерная система производит адаптацию пользовательского интерфейса путём добавления визуальных стимулов в соответствии с заданными прагматическими правилами. Применение полученных результатов позволило обеспечить адаптацию пользовательского интерфейса и создать возможность для персонализированного подхода к оказанию медицинских услуг.
Ключевые слова: иммерсивная среда, виртуальная реальность, управление вниманием, знак, психологическая диагностика, реабилитация.
Цитирование: Иващенко А.В., Александрова М.В., Жейков Д.С., Нестеров А.Ю. Семиозис визуальных стимулов в интерактивных пользовательских интерфейсах медицинских приложений // Онтология проектирования. 2024. Т. 14, №3(53). С.311-323. Б01: 10.18287/2223-9537-2024-14-3311-323.
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Введение
Современные пользовательские интерфейсы (ПИ) предоставляют широкие возможности по реализации интерактивного человеко-компьютерного взаимодействия. В частности, распространённые устройства виртуальной (ВР) и дополненной (ДР) реальности позволяют сформировать иммерсивную среду (ИмС) - виртуальное пространство глубокого погружения, в котором пользователь наблюдает и взаимодействует с реальными и виртуальными объектами одновременно. Многие виртуальные объекты при этом выглядят настолько реалистично, что начинают восприниматься вполне реальными и производят достаточно сильное воздействие на пользователя.
ИмС проектируется разработчиками сферы информационных технологий, исходя из требований назначения: необходимо обеспечить надёжное информационное воздействие на пользователя с учётом индивидуальных особенностей восприятия комбинации виртуальных и реальных элементов наблюдаемой среды. Учитывая характер преимущественно информационного взаимодействия, ИмС должна содержать понятия, близкие, понятные и интересные пользователю. Картина мира пользователя должна соответствовать тематике объединения виртуальных и реальных объектов в ИмС, в противном случае не удастся обеспечить требуемый интерес к этой среде и соответствующую глубину погружения.
Таким образом, задача проектирования ИмС имеет онтологический характер: при разработке соответствующих аппаратно-программных комплексов ВР необходимо обеспечить согласование картины мира пользователя и окружающей среды. Основным предметом онтологии является бытие, которое определяется как полнота и единство всех видов реальности, в т.ч. объективной, субъективной и виртуальной. ВР и объективная реальность не только не должны противоречить субъективной реальности пользователя, но и находиться в динамическом информационном взаимодействии между собой. Обеспечение этого взаимодействия важно, например, в медицинских приложениях, когда особенности восприятия пользователя могут повлиять на результативность лечебных или реабилитационных мероприятий.
Данное исследование находится на стыке медицинских и философских наук и информационных технологий и относится к междисциплинарным. При этом в части изучения особенностей восприятия различных объектов рассматриваемая проблема должна получить достаточное внимание, в частности семиотики, как теории знаков и знаковых систем.
Особая роль отводится знаку как средству передачи информации о происходящих событиях. Знаки, объективно сопутствующие объектам реального мира, сочетаются с искусственно формируемыми знаками ВР и совместно вступают в информационное взаимодействие с системой восприятия пользователя. Это позволяет отнести рассматриваемую прикладную задачу к области семиотики. Корректное использование знаковых систем эффективно и актуально в психологической диагностике и реабилитации, где от формируемой ИмС требуется достижение гарантированного результата при воздействии на пациента. В данной статье предложено возможное решение этой проблемы, основанное на управлении глубиной погружения пользователей ИмС.
1 Знак в ИмС
Формирование ИмС [1] специфично для компьютерных игр и индустрии развлечений, однако в последнее время её создание демонстрирует высокую эффективность в аппаратно-программных комплексах (АПК) медицинской диагностики и реабилитации. Применение технологий ВР и ДР [2] в этой области позволяет осуществить такое воздействие на восприятие человека [3], которое в сочетании с определённой физкультурной нагрузкой, способно
позитивно влиять на восстановление двигательной активности пациентов с различными нарушениями (например, полученными в результате нейродегенеративных заболеваний).
Формирование ИмС в медицине имеет ряд ограничений и трудностей по сравнению с индустрией развлечений. Это связано с необходимостью достижения конкретного результата диагностики и реабилитации. У пользователя соответствующего АПК должно быть сформировано корректное восприятие виртуальных элементов ИмС. Такого результата не всегда удаётся добиться в связи с возрастающей информационной нагрузкой и индивидуальными особенностями восприятия разных объектов отдельными пациентами.
ИмС формируется для пользователя с помощью интерактивного компьютерного интерфейса или устройства ДР. Пользователь наблюдает реальные объекты, которые частично или полностью находятся в области его зрения, а также виртуальные объекты, сгенерированные АПК. В рамках визуального восприятия эти объекты не отличаются друг от друга, однако на основе собственного опыта, или будучи специально обученным для использования АПК, пользователь может ограниченно распознавать реалистичность наблюдаемого.
Для пользователя знак получает новую важную характеристику, свойственную, например, знакам правил дорожного движения. А именно, для знака важным становится его расположение и ориентация в пространстве, он встраивается в систему взаимного расположения других знаков и может изменять или отменять их значение [4].
В этом случае непосредственно реализуются семантическая классификация знаков [5] и особенности пространственного восприятия зрительных знаков [6]. В ИмС важно определить роли знаков во взаимодействии и особенности их восприятия в зависимости от заинтересованности субъекта. Данные понятия приобретают особый интерес, поскольку позволяют задать алгоритм визуального воздействия на человека путём динамического формирования последовательности знаков АПК. Алгоритмический подход с учётом влияния человеческого фактора важен для эффективного человеко-компьютерного взаимодействия. В ИмС виртуальные знаки могут воплощаться как в качестве наблюдаемых объектов с различной степенью реалистичности, так и непосредственно в форме знаков, графических и текстовых, получивших определённое расположение в пространстве.
Отображаемые знаки имеют разную степень реалистичности. Далее рассматриваются знаки, однозначно интерпретируемые пользователем как виртуальные и семантически интерпретируемые. В медицинских приложениях необходимо обеспечить интерпретируемость с достаточной надёжностью, в связи с чем возникает необходимость учёта прагматического измерения семиозиса [7]. Частично можно решить эту проблему путём формирования и корректировки контекста с учётом особенностей человеческого восприятия. Проблемы интерпретации знаков в ИмС известны в области культуры и искусства, например, при рассмотрении диалектики знака и фона [8]. С позиций теории управления задача формирования адекватного ответа на визуальные стимулы усложняется в связи с неопределённостью и субъективностью внимания пользователя. В этом случае рассматривается задача построения онтологии восприятия, заданной относительно наблюдаемых форм и атрибутов [9], с последующим уточнением относительно объектов действительности и ВР.
2 Управление вниманием пользователя в ИмС
Для управления вниманием пользователя в ИмС необходимо исследовать особенности семиозиса в ИмС [10]. Формирование визуальных стимулов в виде специализированных знаков в составе соответствующей системы управления может быть задано в виде прагматических правил и автоматизировано в базе знаний АПК, формирующей ИмС. Например, в приложениях медицинской диагностики и реабилитации [11, 12] для достижения эффекта пер-
сонализированной медицины необходимо сформировать типовую интерпретанту в соответствии с особенностями пользователей и создать визуальный контекст представления воздействующих символов в соответствии с индивидуальными особенностями восприятия.
Для решения этой задачи разработана концепция системы управления вниманием пользователя в ИмС [13, 14], представленная на рисунке 1. Суть метода заключается в управлении вниманием и вовлечённостью пользователей на основе комбинирования фокуса, контекста и оверлейного контекста (ОК) в рамках одной виртуальной сцены. Данные понятия введены и описаны в [15]. Фокус указывает на объект, который обрабатывается пользователем в данный момент времени или привлекает его внимание. Контекст описывает текущую ситуацию и учитывает историю предыдущих действий и событий, которые привели к ней. Оверлейный контекст включает в себя виртуальные объекты (текстовые заметки, метки или выделения), которые привлекают внимание пользователя к необходимым объектам сцены.
Это позволяет эффективно генерировать иммерсивные стимулы в виде отметок, напоминаний и других активных элементов ПИ ДР.
Визуальные стимулы
Интерактивный интерфейс (пример - психологический тест)
Иконические знаки
^.НАИДИ 2 БУКВЫ N ^ ММММММММММММ
мммммиммммми мнмммммнммм ММММММММММММ
^ Знаки-индексы
• Знаки-символы
1
Оверлейный^
Формирование визуальных стимулов
Рисунок 1 - Схема системы управления вниманием пользователя в иммерсивной среде
Оценка вовлечённости может быть произведена с использованием нейросетевых технологий искусственного интеллекта для идентификации эмоций пользователя по данным компьютерного зрения. Для этого в состав АПК включается видеокамера, которая производит видеосъёмку лица человека. Независимую оценку вовлечённости пользователя можно также получить по данным окулографии (айтрекинга), для чего используются специальные устройства отслеживания взгляда человека, синхронизированные с событиями ПИ.
Предлагается построить ИмС с управляемой глубиной погружения, а в качестве контролируемого параметра использовать вовлечённость пользователя, оценка которой производится на основе анализа мимических движений, эмоционального фона и траектории движения взгляда. Для повышения или снижения вовлечённости предлагается использовать визуальные стимулы в виде отметок, напоминаний и уведомлений. Относительно основного ПИ такие стимулы должны восприниматься как дополнительная, «наложенная» информация, в связи с чем для их формирования и отображения вводится виртуальное пространство ОК.
ОК представляет собой дополнительный слой элементов ПИ, накладываемый «поверх» основного слоя и содержащий дополнительные информационные поля и элементы управления. ОК содержит искусственно созданные элементы ВР и служит для повышения иммер-сивности виртуальной среды. В связи с тем, что он используется в целях информационного человеко-компьютерного взаимодействия, пользователь должен осознавать виртуальность
ОК, в нём нет необходимости симулировать высоко реалистичные объекты. Поскольку ОК в силу своего назначения перекрывает визуальную сцену, необходимо добиваться высокой простоты и условности применяемых в нём знаков.
3 Применение знаков в роли стимулов
Применение ОК в системе управления вовлечённостью пользователя состоит в формировании последовательности визуальных стимулов, корректирующих темпо-ритм интерактивного взаимодействия пользователя с АПК. В качестве визуальных стимулов можно предложить знаки различного генезиса с применением семантической классификации знаков [5]. Наблюдаемые пользователем знаки можно классифицировать как иконические знаки, соответствующие условным обозначениям или пиктограммам, знаки-индексы, выступающие в качестве указателей на другие объекты и позволяющие размечать пространство в целях ориентации, и знаки-символы, сигнализирующие или предупреждающие об изменении объекта, произошедшем событии или явлении. В таблице 1 приведены способы применения знаков в зависимости от их типов для управления вниманием пользователя. Например, знаки-индексы рекомендуется применять для привлечения внимания к виртуальным и реальным объектам.
Таблица 1 - Применение знаков в интерактивных пользовательских интерфейсах
Тип знака вовлечённостью Способ управления Применение в качестве стимула
Иконический знак Условное (упрощённое или стилизованное) обозначение, подобное объекту, пиктограмма Замена библиотек знаков для повышения или снижения схематичности (подробности) Снижение визуальной нагрузки, повышение привлекательности (при использовании оригинальных или анимированных знаков)
Знак-индекс Указатель Появление, изменение яркости или цвета текста или фона Привлечение внимания к существующему виртуальному или реальному объекту
Знак-символ Идентификатор объекта или явления Появление в виде текстовой или графической подсказки Информирование об объекте или событии, уведомление, предупреждение, сигнал
Эффективность использования знаков зависит от текущей ситуации. Например, в случае снижения вовлечённости, характеризуемого задержками деятельности и отвлечением на посторонние предметы и события, добавление знаков-индексов и повышение достоверности иконических знаков способны привлечь внимание и сохранить интерес пользователя. Механизмы формирования визуальных символов в разных ситуациях изменения вовлечённости пользователей представлены в таблице 2.
4 Примеры управления глубиной погружения
Рассматриваются примеры поведения пользователя в ИмС в момент достижения максимальной глубины погружения в рамках разной онтологии восприятия. Достижение необходимой и достаточной глубины погружения пользователя определяет высокую степень концентрации пользователя на объектах на определённом промежутке времени.
Каждый пример проиллюстрирован графом, описывающим привлечение интереса определённого пользователя к объектам Ьп, для которых определена тематика От(Ьи). Пусть интерес пользователя как вероятность обращения его взгляда gijk, где г - условный индекс пользователя, ] - координата точки в пространстве вблизи объекта Ьп, к - порядковый номер события привлечения взгляда пользователя. Взгляд пользователя может точно определяться с использованием современных средств окулографии. Пусть вероятность привлечения взгляда
пользователя к наблюдаемому объекту соответствует отношению его к тематике интереса пользователя и может принимать значение от 0 до 1.
Таблица 2 - Семиозис визуальных стимулов для контроля вовлечённости пользователей в интерактивных программных комплексах
Характеристика
динамики вовлечённости
Способ определения
Тип визуального стимула
Приоритетность знаков
Стабильно высокая
Концентрация взгляда на соответствующих объектах, своевременная реакция на изменения, спокойный эмоциональный фон
Снижение визуальной нагрузки, добавление подробностей
в описание
Добавление и замена иконических знаков
Стабильно низкая
Постоянные отвлечения фокуса, потеря внимания, низкий эмоциональный фон_
Привлечение внимания, поиск возможности заинтересовать
Добавление и замена индексов и ико-нических знаков
Повышение вовлечённости
Ускорение движений взгляда, повышенное внимание к появляющимся объектам, возбуждённый эмоциональный фон_
Контроль ошибочных действий, привлечение внимание к актуальным событиям, снижение визуальной нагрузки
Добавление и замена символов, упрощение иконических знаков
Снижение вовлечённости
Всплески потери внимания, отвлечение на второстепенные объекты, задержки деятельности
Поиск нового интереса и адаптация интерфейса и визуального контента
Добавление индексов, повышение достоверности ико-нических знаков
Краткосрочная потеря внимания (отвлечение, сбой)_
Внезапная потеря внимания, единичный длительный взгляд в сторону, задержка деятельности
Привлечение внимания, устранение отвлекающего фактора
Добавление знаков-индексов и знаков-символов
Пример 1. Пусть имеется пользователь, в поле зрения которого находятся объекты Ъ1, Ъ2, Ъ3, релевантные его текущему интересу (см. рисунок 2). Объекты Ъ1 и Ъ2 относятся к тематике О^Ъ^), которая соответствует целевой тематике интереса пользователя на величину 0,8. Объект Ъ3 относится к тематике 02(Ъ3), соотносящейся с целевой тематикой на 0,2. Пусть взгляд пользователя ^дд в момент времени ^111 обращён на объект Ъ1. При этом наблюдается изменение состояния объектов Ъ2 и Ъ3, обозначенное как ^221 и ^3,3,2 соответственно, тогда вероятность перевода взгляда пользователя на объект Ъ2=0,8, а на объект Ъ3=0,2 с учётом соотношения данных объектов с целевым интересом пользователя.
Процесс перевода взгляда пользователя на новый объект определяется вероятностью перехода пользователя из одного состояния в другое в определённый промежуток времени ^(§-122)=Г(01, 02).
Данный процесс соответствует случайному марковскому процессу с дискретным временем и пространством состояний. В этом примере внимание пользователя обращено на объект, который с высокой степенью соответствует текущему интересу пользователя. В таком случае для управления вниманием пользователя в ИмС необходимо поместить объекты, ре-
Рисунок 2 - Пример переключения на новый объект в иммерсивной среде
левантные его текущему интересу. Вероятность смещения внимания пользователя на другие объекты, не относящиеся к текущему интересу пользователя, будет низкой.
Нарушение целостности контекста может привести к недоверию пользователя событиям виртуальной среды, а также потере управления вниманием пользователя, а в результате к потере необходимого уровня глубины погружения. Глубина погружения пользователя может быть оценена путём соотнесения темпо-ритмов происходящих событий, которые отражаются в пользовательском интерфейсе, и траекторий движения взора пользователя в течение заданного интервала времени. Если пользователь своевременно обращает внимание на происходящие события и изменения, фиксируется большая глубина погружения. В противном случае за каждое опоздание или пропуск глубина погружения снижается соответственно.
Пример 2 (см. рисунок 3). Пусть в поле зрения пользователя находятся также объекты Ь\, Ь2, Ь3, при этом объекты Ь1 и Ь3 относятся к тематике О^Ь^), которая соответствует целевой тематике интереса пользователя на 0,3. Объект Ь2 относится к тематике 02(Ь2), соотносящейся с целевой тематикой на 0,7. В момент времени ^1,1,1 взгляд пользователя g1,1,1 был обращён на объект Ь1. Объект Ь2 совершает некоторый набор действий ^2,2,1. Тогда вероятность перемещения взгляда пользователя с объекта Ь1 на объект Ь2 будет равна 0,7. В момент времени ^,2,2 у пользователя возникает выбор: перевести взгляд на объект Ь3, перевести взгляд обратно на объект Ь1 или сохранить концентрацию на объекте Ь2. При этом, учитывая вес тематик, к которым относятся объекты, вероятность осуществления перечисленных действий распределяется следующим образом: вероятность перевода взгляда на объект Ь3 и объект Ь1 равна 0,15, вероятность сохранения внимания на объекте Ь2 в последующие промежутки времени ^,2,3 равна 0,7.
В данном примере изначально внимание пользователя обращено на объект, который относится к тематике с низким уровнем соответствия целевому интересу пользователя. Данный пример иллюстрирует низкий уровень погружения в ИмС. Если в ИмС пользователю разместить объекты, наиболее соответствующие его целевому интересу (например, объект Ь2), то степень погружения пользователя возрастёт. В результате действия пользователя будут стремиться к целевому поведению в данный момент времени.
Пример 3, в котором каждый объект ВР равнозначно соотносится с целевой тематикой (см. рисунок 4). Пусть в момент времени ^1,1,1 взгляд пользователя g1,1,1 зафиксирован на объекте Ъ\.
Рисунок 3 - Повышение вовлечённости Рисунок 4 - Сохранение вовлечённости
В поле зрения пользователя находятся также объекты Ь2 и Ь3, при этом объект Ь2 совершает некоторые действия «1,2,1 «1,3,2. Тогда вероятность перевода взгляда с объекта Ь1 на Ь2
равна 0,5. С вероятностью 0,5 пользователь сохранит внимание на объекте ЪьПри перемещении взгляда на объект Ъ2 возникает равнозначная вероятность как перемещения взгляда на новый объект Ъ3 или возвращения на объект Ъ1, так и концентрации внимания на Ъ2.
Пользователь уделяет равное внимание наблюдаемым объектам, что иллюстрирует высокую степень погружения пользователя в ИмС. При этом возникает возможность управлять вниманием пользователя как внутри текущего интереса 01, размещая в виртуальном пространстве новые объекты, так и между интересами, добавляя в ИмС новые объекты, например, объект Ъ2, относящийся к тематике 02, которая в равной степени соотносится с тематикой о1.
5 Реализация в сфере психологической диагностики и реабилитации
Предложенный подход реализован в АПК психологической диагностики и реабилитации [14], в котором использованы некоторые психодиагностические методики [16]. В данном исследовании применены корректурная проба Бурдона [17, 18], используемая для выявления утомляемости, оценки концентрации и устойчивости внимания, и таблицы Шульте [19, 20], которые используются для исследования свойств внимания и расширения периферического зрения. Особенностью АПК является контроль вовлечённости пациентов на основе анализа динамики движений головы, мимических движений и траектории взгляда с использованием технологий машинного зрения [14]. В случае идентификации событий отвлечения внимания или потери интереса производится адаптация ПИ путём добавления визуальных стимулов в соответствии с таблицей 2.
На рисунке 5 приведён пример реализации знаков-индексов для привлечения внимания пользователя. Корректурная проба Бурдона проводится с помощью набора большого количества похожих знаков, например, букв. Пользователю необходимо в каждой строке найти и выделить заданные символы. АПК каждую минуту отмечает зону текущего внимания пользователя и сообщает ему об этом. Цветовая индикация позволяет использовать знаки - указатели на ответы пользователя (рисунок 5 а). Другой вариант (рисунок 5б) состоит в подсвечивании ошибок и пропусков на активном поле.
а)
АЗ. Тест Бурдона
Время: 02:39
Д м НЭП р с Я к Я И 3 п 3 м В к Е 3 Б
В • О И А р т В к и И А 3 Б Е Е в И к 0
в " з и в я и В р т 3 Е р в м Е Е 3 о л
□о 1 П □ л п с Б к в В 6 в л с В А в о п
В « П В л н в 3 р 3 н н и 3 р м 3 И я А
В з ЗОЯ р Б П в Е В к р н А С К к м 3
В с т Д л н п Р к И п Д к 3 В К 3 в в и
В с о о т 3 л С п А < В 3 в м и А в Б р
01 о Л Е и к Е с к 3 н л о р т 3 А в н 3
в» Б Л С Б Л в н Б к я 3 н р м в п с т
В с Е И М О Б Е к Е и и в Е Б м Н Е л Б
В и Л К т л 3 О 3 О Т А н п В р п т т м
В 3 э т м п С Я в п О Р к к Б м В н Е Е
В з Д н н Е п А 3 О с п р В в к п А Р
Д] я РЕИ О 3 н м п к л и т Р Е в н в П
Д м 3 Я О в К р 3 и Д н 3 л И н т п о Р
Щ н я и с п А 3 и В И Б и 3 Л п О о 3 Л
□ 3 3 3 л Б Я и Е н Р Р А к м 3 в 3 м я
Ь
б)
АЗ. Тест Бурдона
Время: 02:39
Д М | Н | 3 П Р с Я К Я и
Двои А Р т Д к и и
Д Н 3 и в я и Д Р т 3
Д П л с Б К В в
3 к п в л н в 3 Р 3 н
з} 3 3 О Я Р Б П [7] Е В
Щ С Т |Д л н п Р К И п 1
Д с о о Т 3 л С П А Т 1
• ] ОЛЕ К Е С К 3 н
3 В Б Л С Б Л В Н Б к
Д С Е И М О Б Е К Е и
21 н Л К т Л 3 О 3 О т
Щ 3 э т м п С Я | в | п о
Э э□□н н Е ПАЗ о
Л я Р Е И О 3 н м п к
Щ М 3 я о в К Р 3 и в
Дня | и | с п А 3 0В и
Д 3 3 3 | П | Б Я ИЕН р
ш
ЛИН
э л п
а) - знаками-указателями обозначатся выбор буквы; б) - дополнительные знаки (□) указывают
на неправильный выбор или пропуск буквы
Рисунок 5 - Примеры разных знаков-индексов для привлечения внимания пользователя при прохождении психологического теста
318
2024, vol.14, N3, Ontology of Designing
Построение интерактивного ПИ позволяет использовать знаки адаптивно к текущему поведению пользователя. С помощью системы компьютерного зрения и окулографии АПК может фиксировать снижение двигательной активности глаз и изменение мимики, что свидетельствует о снижении вовлечённости пользователя. В этом случае могут дополнительно подсвечиваться ошибки или пропущенные буквы, которые необходимо найти в оставшихся рядах. Цветовая индикация может быть активна до момента возвращения взгляда пользователя на зону тестирования или ограничена по времени.
На рисунке 6 приведён пример использования знаков в таблицах Шульте. Таблица содержит 25 ячеек, расположенных в 5 рядов, в которых беспорядочно вписаны числа от 1 до 25. Необходимо зафиксировать взгляд в центре таблицы и отметить все ячейки с цифрами по порядку без пропусков за минимальное время. Современные средства окулографии позволяют отследить корректность прохождения теста, а применение знаков разного типа - облегчить прохождение теста при необходимости.
Например, знак типа индекс (выделение цветом) и символ (указание следующего значения) обеспечат сохранение вовлечённости пользователя при краткосрочной потере внимания, вызванной внешним раздражителем. Чтобы устранить фактор отвлечения, предлагается при существенной задержке подсвечивать выбранный вариант синим цветом, ошибочный вариант - красным, а также формировать подсказку о следующем номере ячейки.
А2. Таблицы Шульте
Таблица 1
17 5 8
22
А2. Таблицы Шульте
Таблица 1
22 21 14 18
Следующее число: 5
21 4 15 13 12
14 19 ч,_^ 18 9 10
3 2 11 24 ' ^_/ 7
23 1 16 20 25
а)
б)
8 6 5 О 10
3 19 11 о 17
16 25 2 20 9
12 13 15 1 24
а) - классическое представление таблицы Шульте; б) - использование подсказок: выбранный вариант подсвечивается синим цветом (4), а ошибочный - красным (23)
Рисунок 6 - Пример использования знаков типа индекс (выделение цветом) и символ (указание следующего значения) для облегчения прохождения психологического теста с помощью таблицы Шульте
Таким образом, удалось внедрить в систему психодиагностики обратную связь: если пользователь отвлекается от активной зоны теста, то необходимо корректировать внимание за счёт визуальных стимулов. Генерация аудиовизуальных стимулов, дополнительно информирующих пользователя о происходящих событиях и подсказывающих ему необходимые действия, позволяет адаптировать пользовательский интерфейс с учётом индивидуальных особенностей восприятия. Применение такого подхода в медицинских приложениях позволяет реализовать концепцию персонализированной медицины.
Заключение
Исследование особенностей восприятия и воздействия знаков становится актуальной научно-технической задачей в условиях развития интерактивных ПИ. Активное применение
устройств ВР приводит к усложнению ПИ и соответствующему росту информационной нагрузки на пользователя. Применение знаков в качестве визуальных стимулов позволяет повысить эффективность управления вниманием пользователя и усилить глубину погружения в ИмС.
В статье рассмотрены теоретические и практические аспекты применения знаков в интерактивных ПИ для контроля вовлечённости пользователей. Типизация знаков позволяет адекватно формировать визуальные стимулы с учётом особенностей восприятия пользователей и корректировать темпо-ритм интерактивного взаимодействия пользователя с АПК. Такой подход будет полезен разработчикам и специалистам по внедрению интерактивных программных комплексов и систем ВР в рамках построения ИмС.
Список источников
[1] Выборнова А.И. Иммерсивные технологии в телекоммуникациях: обзор и перспективы // Информационные технологии и телекоммуникации. Том 9. № 3. 2021. С.1-10. DOI 10.31854/2307-1303-2021-9-3-1-10.
[2] Величковский Б.Б., Гусев А.Н., Виноградова В.Ф., Арбекова О.А. Когнитивный контроль и чувство присутствия в виртуальных средах // Экспериментальная психология. Том 9. №1. 2016. С.5-20. DOI: 10.17759/exppsy.2016090102.
[3] Гусев А.Н. Ощущение и восприятие // Общая психология в 7 томах. Том 7. М.: Академия. 2007. 414 с.
[4] Фреге Г. Избранные работы. М.: Дом интеллектуальной книги, 1997. 159 с.
[5] Пирс Ч.С. Что такое знак? // Вестник Томского государственного университета. 2009. № 3(7). С.88-95.
[6] Якобсон Р.О. Язык и бессознательное. М.: Гнозис, 1996. 248 с.
[7] Моррис Ч.У. Основания теории знаков. В кн.: Семиотика: Антология. Сост. Ю.С. Степанов. Изд. 2-е, испр. и доп. М.: Академический Проект; Екатеринбург: Деловая книга. 2001. 702 с.
[8] Лотман Ю.М. Статьи по семиотике культуры и искусства, СПб.: Гуманитарное агентство «Академический проект», 2002. 544 c.
[9] Ноговицын О.М. Онтология формы. Восприятие // Философские исследования. Т.7. № 2(14). 2018. С.40-57.
[10] Нестеров А.Ю. Семиотические основания техники и технического сознания. Самара: Издательство Самарской гуманитарной академии, 2017. 155 с.
[11] Карпов О.Э., Даминов В.Д., Новак Э.В. и др. Технологии виртуальной реальности в медицинской реабилитации, как пример современной информатизации здравоохранения // Вестник Национального медико-хирургического Центра им. Н.И. Пирогова, т. 15, № 1. 2020. С. 89-98. DOI: 10.25881/BPNMSC.2020.71.14.017.
[12] Зеленский М.М., Рева С.А., Шадеркина А.И. Виртуальная реальность (VR) в клинической медицине: международный и российский опыт // Российский журнал телемедицины и электронного здравоохранения. 2021. №7(3). С.7-20. DOI: 10.29188/2712-9217-2021-7-3-7-20.
[13] Иващенко А.В., Александрова М.В., Жейков Д.С., Захарова Е.В., Колсанов А.В. Адаптация интерфейсов виртуальной реальности в приложениях психодиагностики и медицинской реабилитации // Медицинская техника. № 5. 2023. С.33-35.
[14] Иващенко А.В., Александрова М.В., Жейков Д.С., Мазанкина Е.В., Захарова Е.В., Колсанов А.В. Реализация программного комплекса психодиагностики с обратной связью на основе компьютерного зрения // Программные продукты и системы, Том 37, № 2, 2024. С.193-200. DOI: 10.15827/0236-235X.142.193-200.
[15] Иващенко А.В., Орлов С.П., Кривошеев А.В. Пользовательские интерфейсы акцентной визуализации в среде дополненной реальности // Математические методы в технике и технологиях: сб. тр. междунар. науч. конф.: в 12 т. Т. 5 / под общ. ред. А. А. Большакова. - СПб.: Изд-во Политехн. ун-та, 2020. С.91-95.
[16] БурлачукЛ.Ф. Психодиагностика: учебник для ВУЗов. СПб.: Питер, 2006. 351 с.
[17] Сидоров К.Р. Количественная оценка продуктивности внимания в методике "корректурная проба" Б. Бур-дона // Вестник Удмуртского университета. Серия Философия. Психология. Педагогика. 2012. №4. С.50-57.
[18] Хохлов Н.А., Фёдорова Е.Д. Стандартизация электронной версии корректурной пробы (теста Бурдона) // Апробация. 2016. № 8 (47). С.66-74.
[19] Худик В.А. Экспериментальное изучение простых сенсомоторных реакций с помощью таблиц Шульте // Коррекционно-педагогическое образование. 2018. № 1(13). С.86-91.
[20] Визерский А.В., Николаева Ю.С. Таблица Горботова-Шульте как средство оценки переключения и распределения внимания // Актуальные проблемы авиации и космонавтики. 2018. Т.3, № 4(14). С.757-759.
Сведения об авторах
Иващенко Антон Владимирович, 1980 г. рождения. Окончил Самарский государственный аэрокосмический университет имени академика С.П. Королева в 2003 г., д.т.н. (2012), профессор (2018). Директор Передовой медицинской инженерной школы СамГМУ. В списке научных трудов более 400 научных работ. Author ID (РИНЦ): 330112; Author ID (Scopus): 42661608400, anton.ivashenko@gmail.com. И
Александрова Маргарита Владимировна, 1998 г. рождения. Окончила Самарский государственный технический университет в 2022 г. Менеджер проектов в ООО «Открытый код». В списке научных трудов около 20 работ. Author ID (РИНЦ): 1143583; Author ID (Scopus): 57970631000, margarita. alexandrowa@mail. ru.
Жейков Денис Сергеевич, 1991 г. рождения. Окончил Самарский государственный медицинский университет в 2015 г., врач-психиатр. Руководитель практики Передовой медицинской инженерной школы СамГМУ. В списке научных трудов около 10 работ. Author ID (РИНЦ): 1009022; Author ID (Scopus): 58844784900, d. s.zhejkov@samsmu. ru.
Нестеров Александр Юрьевич, 1978 г. рождения. Кандидат филологических наук, доктор философских наук. Директор социально-гуманитарного института, заведующий кафедрой философии Самарского национального исследовательского университета имени академика С.П. Королева. Область научных интересов: общая семиотика и герменевтика, философия науки и техники, теория значения. Автор переводов классических трудов Фридриха Дессауэра «Спор о технике», «Человек и космос». Author ID (РИНЦ): 706559; Author ID (Scopus): 57222081807, phil@ssau.ru.
У
ЁЛ
Поступила в редакцию 18.06.2024, после рецензирования 22.07.2024. Принята к публикации 25.07.2024.
I^^JJ^J Scientific article DOI: 10.18287/2223-9537-2024-14-3-311-323
Semiosis of visual stimuli in interactive user interfaces of medical applications
© 2024, A.V. Ivaschenko12^, M.V. Aleksandrova2, D.S. Zheikov2, A.Yu. Nesterov1
1 Samara University (Samara National Research University named after academician S.P. Korolev), Samara, Russia
2 Samara State Medical University, Samara, Russia
Abstract
The problem of achieving completeness and unity of objective, subjective, and virtual reality is considered in relation to the applied tasks of designing interactive user interfaces. Within the framework of constructing an immersive environment using modern information technologies, the problem of forming an ontology of perception is investigated. The key role of a sign in information interaction is highlighted, taking into account the individual characteristics of its perception by users of virtual reality. In an immersive environment, virtual signs can be embodied both as observable objects with varying degrees of realism and directly in the form of signs, both graphic and text, that have a specific location in space. The proposed approach allows for setting an algorithm for visual impact on a person by dynamically forming a sequence of signs. The formed sequences create a queue of visual stimuli that adjust the tempo-rhythm of the user's interaction with the computer system. The signs observed by the user can be classified as iconic signs corresponding to conventional symbols or pictograms, index signs acting as pointers to other objects and marking space for orientation purposes, and symbolic signs signaling or warning about changes in an object, event, or phenomenon. The article considers test examples of user behavior in a virtual reality environment. The proposed approach is implemented in a software system for psychological diagnostics and rehabilitation. A special feature of the system is the control of patient involvement based on the analysis of the dynamics of head movements, facial movements, and gaze trajectory using artificial neural networks. In case of distraction or loss of interest, the computer system adapts the user interface by adding
visual stimuli according to specified pragmatic rules. The application of the obtained results has enabled the adaptation of the user interface and created the possibility for a personalized approach to the provision of medical services.
Keywords: immersive environment, virtual reality, attention management, signs, psychological diagnostics, rehabilitation.
For citation: Ivaschenko AV, Aleksandrova MV, Zheikov DS, Nesterov AYu. Semiosis of visual stimuli in interactive user interfaces of medical applications [In Russian]. Ontology of designing. 2024; 14(3): 311-323. DOI: 10.18287/22239537-2024-14-3-311-323.
Conflict of interest: The authors declare no conflict of interest.
List of figures and tables
Figure 1 - Diagram of a system for controlling user attention in an immersive environment Figure 2 - Example of switching to a new object in an immersive environment Figure 3 - Increased engagement Figure 4 - Maintaining engagement
Figure 5 - Examples of different index signs to attract the user's attention when taking a psychological test Figure 6 - Examples of using signs such as index (highlighting in color) and symbol (indicating the next value) to facilitate passing a psychological test using the Schulte table Table 1 - Use of signs in interactive user interfaces
Table 2 - Semiosis of visual stimuli for monitoring user involvement in interactive software systems
References
[1] Vybornova AI. Immersive technologies in telecommunications: review and prospects [In Russian]. Information technologies and telecommunications. 2021; 9(3): 1-10. DOI 10.31854/2307-1303-2021-9-3-1-10.
[2] Velichkovsky BB, Gusev AN, Vinogradova VF, Arbekova OA. Cognitive control and sense of presence in virtual environments [In Russian]. Experimental psychology. 2016; 9(1): 5-20. DOI: 10.17759/exppsy.2016090102.
[3] Gusev AN. Sensation and perception [In Russian]. General psychology in 7 volumes. Volume 7. Moscow: Academy. 2007. 414 p.
[4] Frege G. Selected works [In Russian]. Moscow: House of intellectual books. 1997. 159 p.
[5] Pierce CS. What is a sign? [In Russian]. Bulletin of Tomsk State University. 2009; 3(7): 88-95.
[6] Jacobson RO. Language and the unconscious [In Russian]. Moscow: Gnosis, 1996. 248 p.
[7] Morris CW. Foundations of the theory of signs [In Russian]. In the book: Semiotics: An Anthology. Comp. Yu.S. Stepanov. Ed. 2nd, rev. and additional. Moscow: Academic Project; Ekaterinburg: Business book. 2001. 702 p.
[8] Lotman YuM. Articles on the semiotics of culture and art [In Russian]. St. Petersburg: Humanitarian Agency "Academic Project". 2002. 544 p.
[9] Nogovitsyn OM. Ontology of form. Perception [In Russian]. Philosophical Studies. 2018; 7(2): 40-57.
[10] Nesterov AYu. Semiotic foundations of technology and technical consciousness [In Russian]. Samara: Publishing House of the Samara Humanitarian Academy, 2017. 155 p.
[11] Karpov OE, Daminov VD, Novak EV. and others. Virtual reality technologies in medical rehabilitation, as an example of modern healthcare informatization [In Russian]. Bulletin of the National Medical and Surgical Center named after N.I. Pirogova. 2020; 15(1): 89-98. DOI: 10.25881/BPNMSC.2020.71.14.017.
[12] Zelensky MM, Reva SA, Shaderkina AI. Virtual reality (VR) in clinical medicine: international and Russian experience [In Russian]. Russian Journal of Telemedicine and Electronic Health Care. 2021; 7(3): 7-20. DOI: 10.29188/2712-9217-2021-7-3-7-20.
[13] Ivaschenko A V, Aleksandrova MV, Zheikov DS, Zakharova EV, Kolsanov A V. Adaptation of virtual reality interfaces in applications of psychodiagnostics and medical rehabilitation [In Russian]. Medical technology. 2023; 5: 33-35.
[14] Ivaschenko AV, Aleksandrova MV, Zheikov DS, Mazankina EV, Zakharova EV, Kolsanov AV. Psychodiagnostics software with computer vision feedback [In Russian]. Software & Systems. 2024; 37 (2): 193-200. DOI: 10.15827/0236-235X.142.193-200.
[15] Ivaschenko AV, Orlov SP, Krivosheev AV User interfaces for accent visualization in an augmented reality environment [In Russian]. Mathematical methods in engineering and technology: St. Petersburg: Polytechnic Publishing House, 2020: 91-95.
[16] BurlachukLF. Psychodiagnostics: textbook for universities [In Russian]. St. Petersburg: Peter, 2006. 351 p.
[17] Sidorov KR. Quantitative assessment of the productivity of attention in the method of "proofreading test" by B. Burdon [In Russian]. Bulletin of the Udmurt University. Series Philosophy. Psychology. Pedagogy. 2012; 4: 5057.
[18] Khokhlov NA, Fedorova ED. Standardization of the electronic version of the proof test (Bourdon test) [In Russian]. Approbation. 2016; 8(47): 66-74.
[19] Khudik VA. Experimental study of simple sensorimotor reactions using Schulte tables [In Russian]. Correctional pedagogical education. 2018; 1(13): 86-91.
[20] Vizersky AV, Nikolaeva YuS. Gorbotov-Schulte table as a means of assessing switching and distribution of attention [In Russian]. Current problems of aviation and astronautics. 2018; 3(4): 757-759.
About the authors
Anton Vladimirovich Ivaschenko (b. 1980) graduated from the Samara State Aerospace University in 2003, Doctor of Technical Sciences (2012), professor (2018). Director of the Higher School of Medical Engineering at the Samara State Medical University. The list of scientific papers includes more than 400 scientific papers. Author ID (RSCI): 330112; Author ID (Scopus): 42661608400, anton.ivashenko@gmail.com. El
Margarita Vladimirovna Aleksandrova (b. 1998) graduated from the Samara State Technical University in 2022. Project Manager at Open Code LLC. The list of scientific papers includes about 20 works. Author ID (RSCI): 1143583; Author ID (Scopus): 57970631000, margarita.alexandrowa@mail.ru.
Denis Sergeevich Zheikov (b. 1991) graduated from the Samara State Medical University in 2015, psychiatrist. Head of practice of the Higher School of Medical Engineering at the Samara State Medical University. The list of scientific papers includes about 10 works. Author ID (RSCI): 1009022; Author ID (Scopus): 58844784900, d. s.zhejkov@samsmu. ru.
Alexander Yurjewich Nesterov (b. 1978) PhD on philology, Doctor (hab.) of philosophy, Director of the Institute of Social Sciences and Humanities, Head of the Department of Philosophy of the Samara National Research University. The areas of scientific interests include: general semiotics and hermeneutics, philosophy of science and technology, theory of meaning. Author of the translations of the classic works of Friedrich Dessauer "The controversy about technology", "Human and cosmos". Author ID (RSCI): 706559; Author ID (Scopus): 57222081807, phil@ssau.ru.
Received June 18, 2024. Revised July 22, 2024. Accepted July 25, 2024.
