CC BY
32
УДК 004.946:004.4'2 Научная статья Б01: 10.18287/2223-9537-2022-12-2-172-185
Комплекс онтологий для виртуальных тренажёров с биологической обратной связью
© 2022, В.В. Грибова1,2, В.О. Стрекалёв1^,
1 Институт автоматики и процессов управления ДВО РАН, Владивосток, Россия
2 Дальневосточный федеральный университет, Владивосток, Россия
Аннотация
В настоящее время активно разрабатываются и внедряются виртуальные тренажёры для решения задач широкого профиля, особое место среди них занимают решения, построенные на основе виртуальной реальности и биологической обратной связи. Использование онтологического подхода и семантического представления информации позволяет оптимизировать процессы обработки, хранения, поиска и анализа данных на всех этапах жизненного цикла виртуальных тренажёров. Представлены основные принципы создания виртуальных тренажёров с биологической обратной связью, которые используются для их создания и сопровождения. Практическое применение виртуальных тренажёров требует описания виртуальной среды, создания сценария работы и управления им на основе индивидуальных параметров пользователя. Предложен комплекс онтологий для виртуальных тренажёров с биологической обратной связью, который состоит из онтологии виртуальной среды, онтологии исследований, онтологии карты пользователя, онтологии оборудования и онтологии знаний о состояниях пользователя. Показано, что применение данного комплекса онтологий позволяет снизить трудозатраты при проектировании виртуальных тренажёров и сформировать информационное представление разрабатываемых решений, упростить создание и внесение изменений. Приведён пример виртуального тренажёра для выполнения работ на высоте, с помощью которого можно провести тестирование человека на акрофобию и профилактику тревожных расстройств с возможностью изменения параметров виртуальной среды в зависимости от состояния пользователя.
Ключевые слова: комплекс онтологий, виртуальная реальность, виртуальный тренажёр, биологическая обратная связь, инструментальный комплекс, виртуальная среда.
Цитирование: Грибова В.В., Стрекалёв В.О. Комплекс онтологий для виртуальных тренажёров с биологической обратной связью // Онтология проектирования. 2022. Т.12, №2(44). С. 172-185. 001:10.18287/2223-9537-2022-12-2-172-185.
Финансирование: Работа выполнена при частичной финансовой поддержке фонда содействия инновациям, договор 269ГУЦЭС8^3/56658, грант РФФИ 20-07-00670.
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Введение
В настоящее время в мире активно применяются информационные технологии для решения различных профессиональных задач и формирования профессиональных компетенций. Особое место среди них занимают системы, построенные на основе виртуальной реальности (ВР) и биологической обратной связи (БОС), которые используются при создании симулято-ров, обучающих тренажёров и других систем. Виртуальные тренажёры (ВТ) позволяют создать широкий набор ситуаций для отработки профессиональных навыков в различных областях: научных исследованиях, бизнес-проектах, спортивных мероприятиях, медицине, строительстве, сфере развлечений и др. [1, 2]. Они имеют широкое применение в обучении. С учётом развития информационных систем и технологий стало возможно реализовывать ВТ, которые сходны с реальными ситуациями по визуализации и восприятию человеком [3]. Разра-
ботка ВТ и систем с БОС является сложной задачей из-за трудоёмкости проектирования, сопровождения и управления. Существующие средства для их разработки ориентированы на высококвалифицированных программистов. Несмотря на то, что основу таких систем составляют предметные знания, включение экспертов как полноправных разработчиков не представляется возможным, а сами предметные знания встроены в код программной системы.
С помощью компьютерных тренажёров [4], обучающиеся могут получить практические навыки в виртуальной среде (ВС) до начала реальной работы, имея возможность «проиграть» различные сценарии возможных ситуаций. Пользователь может виртуально опробовать и проверить свои навыки, наглядно увидеть, какие ошибки он допускал и какие действия делал правильно; посмотреть на себя «со стороны» и оценить, как надо выполнять необходимые действия. Способ адаптации интерактивной электронной среды к особенностям пользователя (знания, навыки, сенсорика, моторика и др.), позволяющий повысить эффективность взаимодействия пользователя с прикладной системой, ориентированной на решение определённого класса задач предложен в [5].
В работе [6] дан детальный обзор состояния исследований в области ВТ и БОС, рассмотрены решения, позволяющие произвести автоматизацию разработки ВТ, управления ими, оценки действий пользователя, включения в процесс разработки экспертов предметной обла-
Целью данной статьи является описание концепции инструментального комплекса для создания, воспроизведения и сопровождения ВТ с БОС и онтологий, входящих в состав программного обеспечения ВТ с БОС.
1 Основные принципы создания ВТ с БОС
Для создания, эксплуатации и сопровождения ВТ с БОС - требуется описание ВС, формирование сценария работы, внесение изменений в тренажёр и т.д. В ВТ с БОС основную роль играет информационное наполнение разрабатываемого тренажёра, в котором сосредоточены ключевые процессы, связанные с описанием и подготовкой ВС.
При функционировании ВТ с БОС используется специализированное оборудование, такое как оборудование ВР и оборудование БОС [7], что создаёт дополнительные сложности, связанные с передачей и хранением данных. Используя ВР, можно произвести воздействие на человека через ощущения (зрительные, слуховые, обонятельные, осязательные и др.) с целью вызвать ответные реакции [8]. С помощью БОС можно описать информацию о состояниях человека, которую в дальнейшем можно использовать в процессе функционирования тренажёра [9].
Под ВТ с БОС понимается программно-аппаратный комплекс с оборудованием ВР и БОС, позволяющий моделировать различные реальные или вымышленные ситуации, проводить визуализацию искусственного окружения с возможностью взаимодействия и управления элементами ВС на основе данных о состоянии человека и объектов. В основу программно-аппаратного комплекса положены следующие ключевые принципы:
■ включение в процесс разработки ВТ специалистов разных профилей (экспертов предметной области, экспертов БОС, дизайнеров, программистов), разделение компетенций между ними с предоставлением средств разработки, ориентированных на их специализацию;
■ обеспечение специализации средств разработки (и разделение компетенций) через соответствующие онтологии, которые отражают существенные для ВТ с БОС свойства его функционирования и управления, и редакторы, управляемые онтологиями;
■ формирование модели ВТ с БОС как совокупности связанных компонентов, каждый из которых формируется на основе онтологии;
■ разработка системы управления - программного модуля, обеспечивающего запуск ВТ с БОС, управление сценарием, мониторинг показателей пользователя на основе компонентов модели;
■ поддержка различных механизмов управления ВТ: автоматического (на основе сценария) и внешнего (экспертом) управления виртуальными объектами и событиями в зависимости от состояния человека на основе БОС.
В рамках реализации указанных принципов в работе [5] предложена архитектура инструментального комплекса для создания, воспроизведения и сопровождения ВТ с БОС.
Для демонстрации представленных решений в данной статье рассматривается пример создания ВТ в виде виртуального окружения (ВС) с изменяемыми параметрами (высота здания, освещение, наличие объектов), позволяющего произвести «погружение» пользователя в данную среду. Для оценки состояния пользователя используются объективные (полученные от специализированного оборудования в составе ВТ) и субъективные (полученные со слов человека) признаки, которые позволяют оценить состояние человека, помещённого в ВС и активно в ней действующего.
Пример 1. ВТ по выполнению работ повышенной опасности «Работа на высоте». Целью данного тренажёра является тестирование человека на акрофобию (страх высоты) и профилактика тревожных расстройств, с возможностью изменения параметров ВС в зависимости от состояния пользователя. В ходе прохождения сценария пользователю ставится задача отработать в ВР навыки выполнения действий на высотных зданиях с постоянным мониторингом физиологических показателей. Такой подход позволяет подготовить пользователя к восприятию факторов виртуального окружения и в дальнейшем минимизировать негативные последствия, которые могут появиться в работе на высоте. Сценарий ВТ включает выполнение следующих этапов.
1) Запуск сеанса.
2) Вызов лифта.
3) Подъём на сконфигурированный этаж.
4) Выход из лифта.
5) Поднятие предмета (на высоте).
6) Изменение этажа.
7) Повтор этапов подъёма и поднятия предмета.
8) Спуск на первый этаж.
9) Завершение сеанса.
Для реализации тренажёра требуется создание ВС. На этом этапе с помощью пакета прикладных программ 3Б моделирования и разработки виртуальных сцен происходит первоначальная компоновка виртуальной сцены с использованием готовых или созданных виртуальных объектов. Для реализации возможности создания различных сценариев и удалённого управления ВТ необходимо сформировать информационную инфраструктуру разрабатываемого ВТ с помощью комплекса онтологий и интегрировать управляемые модули в ВТ.
Созданная ВС включает множество различных объектов, в числе которых ключевыми являются лифт и поднимаемый предмет.
2 Описание используемых онтологий
Использование онтологического подхода и семантического представления информации подразумевает создание набора связанных между собой онтологий:
■ онтология ВС;
■ онтология исследований;
■ онтология карты пользователя;
■ онтология оборудования;
■ онтология знаний о состояниях пользователя.
Комплекс онтологий определяет структуру информационного наполнения ВТ. На его основе могут быть разработаны различные ВТ.
2.1 Онтология ВС
Онтология ВС определяет сцены, объекты, их параметры и функции для формирования сценария работы с ними. На рисунке 1 показаны структура онтологии ВС (а) и её реализация (б) на платформе IACPaaS (Intelligent Applications, Control and Platform as a Service). Каждая ВС содержит Название ВС, Описание ВС и одну или множество Сцен. Каждая сцена представляет собой элемент, имеющий Название сцены, Описание сцены, Параметры сцены, Функции сцены и может иметь группу объектов.
Параметры и функции доступны только в рамках одной сцены. Объекты сцены построены на основе иерархической структуры и при необходимости позволяют внутри себя размещать другие объекты. Структура параметра объекта (а) и функции объекта (б) показаны на рисунке 2. На основе онтологии ВС производится формирование информационного представления ВС.
Виртуальная среда
Название ВС
Описание ВС
Сцена
Название сцены
Описание сцены
Параметр сцены
Функция сцены
Объект
Название объекта
Параметр объекта
Описание объекта
Функция объекта
Объект
(а)
▼ Виртуальная среда {СПИСОК} Название ВС (сорт: строковое) (! 'one') (all) Описание ВС (сорт: строковое) (I 'one') (all) У Сцены (СПИСОК} ¡Т *• Сцена {СПИСОК} (["] 'seqmm') (new) £ Э Название сцены (сорт: строковое) (! 'one') (all) Описание сцены (сорт: строковое) (! 'one') (all) >■ Функции сцены ([=] 'copymm') (ref-new) Параметры сцены {[=] 'copymm'} (new) Т Объекты {СПИСОК} Т Объект {СПИСОК} Название объекта (сорт: строковое) (! 'one') (all) Описание объекта (сорт: строковое) (I 'one') (all) ▼ Параметры объекта {СПИСОК}
> Параметр объекта ([л] 'seqmm') (new) * Функции объекта {СПИСОК}
► Функция объекта (["] 'seqmm') (new) ► >•» Объекты ([=] 'copymm') (ref-new)
(б)
Рисунок 1 - Структура онтологии виртуальной среды (а) и реализация онтологии виртуальной среды (б)
Рисунок 2 - Структуры параметра объекта (а) и функции объекта (б)
Пример 2. Для тренажёра, описанного в Примере 1, имеется всего одна виртуальная сцена «Подъём на лифте». Объектами виртуальной сцены являются: лифт и поднимаемый предмет; внутри объекта лифт имеются такие объекты как кнопка открытия лифта и кнопка подъ-
ёма лифта. Объекты могут быть разных типов, в т.ч. и с иерархической структурой. У каждого объекта могут быть параметры и функции. Например, у объекта лифт имеются параметры «Этаж подъёма» и «Шаг увеличения этажа», а также функции: «Увеличить этаж» и «Уменьшить этаж». Структура виртуальной сцены Примера 2 показана на рисунке 3.
Рисунок 3 - Структуры сцены Примера 2
Реализация онтологий и сформированных на их основе баз данных, знаний и моделей выполнена на платформе ¡АСРааБ [10], которая ориентирована, главным образом, на создание интеллектуальных сервисов, работающих с базами знаний (БЗ) и/или данных в семантическом (графовом) представлении. Платформа имеет редактор для описания терминологии и структуры создаваемых информационных ресурсов (ИР), БЗ и баз данных. На рисунке 4 показан скриншот фрагмента описания объектов и функций ВТ на платформе 1АСРаа8.
1 [Сцена]
0 Главная [Название (сорт: строковое)] Т Объекты ▼ 1 [Объект] 0 Лифт [Название (сорт: строковое)] ▼ Параметры 0 Т 1 [Параметр] 0 Этаж подъема [Название (сорт: строковое)] Список возможных значений
2 [Параметр]
0 Шаг увеличения этажа [Название (сорт: строковое)] ► Список возможных значений * Функции
▼ 1 [Функция]
(О ¡" Увеличить этаж [Название (сорт: строковое)]
▼ 2 [Функция]
0 Уменьшить этаж [Название (сорт: строковое)] ▼ Объекты
▼ 1 [Объект]
0 Кнопка открытия лифта (Название (сорт: строковое)] Функции
▼ 2 [Объект]
0 Кнопка подъема на этаж [Название (сорт: строковое)] Функции ▼ 2 [Объект]
О Поднимаемый предмет [Название (сорт: строковое)] Параметры
Рисунок 4 - Скриншот фрагмента описания объектов и функций ВТ на платформе МСРааБ
2.2 Онтология исследований
Онтология исследований определяет структуру исследований, формируемых на основе ВС. Она задаёт правила, условия, ограничения для работы пользователя в ВС и формирования индивидуального сценария работы. На рисунках 5 и 6 показаны структура и скриншот фрагмента онтологии исследования.
Рисунок 5 - Структура онтологии исследования
» Исследование {СПИСОК} О Название (сорт: строковое) ([!] 'onemm') (all) О Описание (сорт: строковое) ([!] 'onemm') (all) —» Виртуальная среда ([!] 'onemm') (ref)
▼ Контролируемые параметры пользователя (СПИСОК) —> Признак (= copy') (ref-new)
▼ Сценарии {СПИСОК}
▼ » Сценарий (СПИСОК}
О Название (сорт: строковое) ((!] 'onemm') (all) О Описание (сорт: строковое) ([!] 'onemm') (all)
▼ Условия применимости (СПИСОК) > Условие ([Л] 'seqmm') (new)
▼ Элементы сценария {СПИСОК}
ymm') (ref-i
Т » Элемент сценария {СПИСОК} Сцена (I 'one') (ref) Т События {СПИСОК}
Т >. Событие {СПИСОК}
► Условия выполнения ([=] 'copymm') (ref-new)
> Выполняемые действия ([=] 'copymm') (new)
▼ Начальные параметры {СПИСОК} ► Параметр ([Л] 'seqmm') (new)
О » Название (сорт: строковое) (! 'one') (all) О Описание (сорт: строковое) ([!] 'onemm') (all)
Результаты Д=] 'copymm') (new) Противопоказания ([=] 'copymm') (new)
Рисунок 6 - Скриншот фрагмента онтологии исследования на платформе IACPaaS Структура онтологии исследований имеет следующий вид.
Название - имя исследования. Описание - неформальное описание исследования. Ссылка на ВС - указание ВС, которая будет использоваться в исследовании. Контролируемые параметры пользователя - набор признаков пользователя, которые могут повлиять на выбор режима работы с тренажёром. Эта группа признаков может включать как изменяемые во время работы с тренажёром признаки, такие как пульс, частота ды-
хания, температура тела и другие, так и метрики пользователя (рост, массу тела, окружность головы, окружность груди, окружность талии, индекс массы тела и др.), текущее заболевание^), перенесенные заболевания, травмы, операции, вредные привычки с отметкой времени, а также и другие признаки, такие как жалобы, например, наличие болей, слабости, общее состояние и ряд других. Эти признаки необходимы для формирования индивидуального сценария тренажёра, они могут отмечаться пользователем как перед началом работы с тренажером, так и изменяться на протяжении его взаимодействия с тренажёром.
Сценарий - набор возможных сценариев, позволяющих использовать тренажёр с различными вариациями параметров и событий для различных типов пользователей. Каждый сценарий имеет название, описание, условия применимости и включает набор элементов сценария. Элемент сценария имеет ссылку на виртуальную сцену, используемую в этом элементе сценария, начальные параметры объектов при запуске элемента сценария и набор событий. Событие представляет собой структуру для описания-изменения свойств ВС и управления работой тренажёра. Структура события содержит набор условий выполнения и набор выполняемых действий. Условием выполнения может быть значение признака пользователя или значение параметра объекта. Выполняемым действием может быть изменение параметра объекта, вызов функции объекта, а также переход к элементу сценария. Каждому выполняемому действию можно указать параметры повтора выполнения, где указывается количество повторов и интервал между выполнениями.
Результаты исследования - определяют возможные результаты исследования.
Противопоказания - определяют ограничения в использовании исследования.
Блок условий, используемый для реализации проверки характеристик и значений применяемых в комплексе онтологий [11], позволяет описать условия в виде признаков и их значений. На рисунке 7 показан скриншот описания условия.
т Условие {СПИСОК} т >• Тип условия (АЛЬТЕРНАТИВА)
» Блок критериев * {СПИСОК}
Перечень критериев с определенный правилом выбора
Т Критерий (СПИСОК) Т Тип значения {АЛЬТЕРНАТИВА)
▼ Качественные значения {СПИСОК}
0 значение (сорт: строковое) ( + 'set') (all)
▼ Числовые значения {СПИСОК) [ref-new) ft 0
0 нижняя граница (сорт: вещественное) ( 0 верхняя граница (сорт: вещественное) ( 0 единица измерения (сорт: строковое) (! 'one') (new) ! 'one') (new) "one") (clone)
Т Составные значения (СПИСОК) г Характеристика (СПИСОК) Т Тип возможных значений условия (АЛЬТЕРНАТИВА) т Качественные значения (СПИСОК)
О значение (сорт: строковое) ( + 'set') (all)
Т Числовые значения (СПИСОК)
нижняя граница (сорт: вещественное) (1 'one') (new) i верхняя граница (сорт: вещественное) (! 'one') (new) О единица измерения (сорт: строковое) (! 'one') (new-clone)
• Правило выбора {АЛЬТЕРНАТИВА)
О все критерии (тип: строковое) ( = 'copy") (ref-new) О не менее указанного количества (сорт: целое) (! 'one') (all) т Продолжительность присутствия критерия (СПИСОК} О значение (сорт: вещественное) (I 'one') (all) О единица измерения (сорт: строковое) (! 'one') (all)
► ►* Правило выбора (= 'сору') (геГпеи) т Группа блоков * (СПИСОК)
т "
Некоторое количество блоков связанных логической самью: 'И/ИЛИ".
► » Тип условия (■ 'сору') (гейюк)
Т Логическая связь между блоками (АЛЬТЕРНАТИВА)
'1 И (тип: строковое) * (= 'copy') (new} ■'■! ИЛИ (тип: строковое) * { = 'copy') (new)
Рисунок 7 - Скриншот описания условия
Важным компонентом онтологии исследования является формальное описание наборов возможных признаков и их значений (диапазонов значений), которыми выступают жалобы, результаты лабораторных или инструментальных исследований, различные факторы из анамнеза жизни [11]. Структура признака показана на рисунке 8.
»• * Признак {СПИСОК} т Простой признак {СПИСОК} Т Тип возможных значений {СПИСОК} Т Качественные значения * {СПИСОК} эрутт') (new) $ 0
Т =
Кгнестеенные или Интервальные значения
► Значение * ( + 'sel') (all)
► Интегрирующее значение ([*■] 'setaii-n') (ref-new) Норма * ([=] 'copymm') (ref-new)
О срок актуальности (а сут) (сорт: целое) * ([!] 'onemm1) (all) т Числовые значения {СПИСОК} С нижняя граница (сорт: вещественное) (I 'one') (new) О верхняя граница (сорт: вещественное) (! 'ore') (new) О >■ единица измерения (сорт; строковое) (I 'one') (new-clone)
► w Норма ((=] 'copymm') (new)
О * срок актуальности (в сут) (сорт: целое) * ([!) onemm') (all) О вычисляемая персональная норма (тип: строковое) ([=] 'copymm') (ref-new) >■ Интегрирующее значение для чисел (эксперимент) ([!) 'onemm') (ref-new)
► >* Синонимы ([=] 'copymm') (ref-new) т Признак с учетом единицы измерении, возраста и пола {СПИСОК)
► Значения в указанной единице измерения (л 'seq') (new)
► Синонимы ([=] 'copymm') (ref-new) О *- срок актуальности (в сут) (сорт: целое) * {[!] 'onemm') (all)
Т Составной признак {СПИСОК}
► Синонимы ([=] 'copymm') (ref-new) т Характеристика {СПИСОК}
t ~ Тип возможных значений {СПИСОК}
► Числовые значения ([=] 'copymm') (new)
► Качественные значения ((=] 'copymm') (new)
► Значения-Объекты * ([=) 'copymm1) (ref-new) ► а- Синонимы ([-] 'copymm') (ref-new)
► Характеристика (с синонимами) * ([+] 'setmm') (ref-new) ► Признак * (+ "set") (reí)
Ф ед.изм. (сорт: строковое) (I 'one') (all)
Рисунок 8 - Скриншот описания признака
Признак может быть простым или составным. Простые признаки состоят из имени признака и множества его значений. Типы значений проявляемых признаков могут иметь числовые или качественные значения. Примером простого признака являются жалобы больного: головокружение, тошнота, сонливость с вариантами значений «имеется» , «отсутствует» .
Составной признак состоит из имени и набора характеристик. Каждая характеристика описывается множеством вариантов значения этой характеристики. Типы значений характеристик совпадают со значениями простых признаков. Примером составного признака является такая жалоба больного, как головная боль. Признак имеет несколько характеристик: характер, локализация, интенсивность, выраженность и др. Каждая характеристика может иметь одно или несколько различных значений. Например, характеристика характер боли (признака головная боль) имеет значения: острая, тупая, пульсирующая и др. Характеристика интенсивность: слабая, умеренная, сильная и др.
Пример 3. На основе ВС, описанной в Примере 2, можно указать контролируемые объективные и субъективные признаки пользователя. Например, за объективный признак можно принять частоту пульса, а за субъективный - головокружение. Можно определить противопоказания для прохождения исследования, в которых успешное прохождение будет считаться в случае, если (например) частота пульса не превышала 90 ударов в минуту и отсутствовало головокружение. Пример заполнения результатов исследования показан на рисунке 9.
При формировании исследования возможно создание группы сценариев, в рамках которой возможно сформировать сценарий под различные группы пользователей, дифференцируемых по признакам (возраст, рост, вес, наличие заболеваний и т.д.). Каждый сценарий со-
Т Исследование не пройдено [Результат] ▼ Условия
Т Частота пульса [Тип условия]
▼ Блок критериев *
▼ Частота пульса [Критерий] Т Числовые значения
О 90.0 [верхняя граница (сорт: вещественное)]
▼ Головокружение [Критерий]
держит элементы сценария с возможностью перехода между ними; исполнение событий внутри элемента сценария производится на основе условий выполнения.
Пример 4. Анализ блоков элементов сценария, построенного на основе этапов Примера 1. На рисунке 10 показан элемент сценария «Изменение этажа», в котором могут быть исполнены три события: Событие 1 может повторяться и каждый раз приводит к переходу на элемент сценария «Подъём на этаж». Событие 2 при достижении максимально допустимого этажа осуществляет переход к следующему элементу сценария, позволяющему осуществить завершение сеанса. Событие 3 производит завершение сеанса при пульсе в недопустимом диапазоне.
▼ Качественные значения О Присутствует [значение (сорт строковое)]
Рисунок 9 - Пример заполнения результатов исследования
Элемент сценария Подъем на этаж
Элемент сценария Взятие предмета
Элемент сценария: Изменение этажа
Вызов функции "Увеличения этажа"
Переход к элементу сценария "Подъем на этаж"
Переход к элементу сценария "Спуск на первый этаж"
Переход к элементу
сценария "Завершение сеанса"
Элемент сценария: Спуск на первый этаж
Элемент сценария Завершение сеанса
Рисунок 10 - Пример блока элементов сценария с переходами
Пример 5. Используя платформу ¡АСРааБ, можно создать элемент сценария «Подъём на этаж , в котором присутствует только одно событие, при выполнении которого производится вызов функции «Вызов лифта» и переход к элементу сценария «Взятие предмета . На рисунке 11 показан скриншот фрагмента описания исследования ВТ на платформе ¡АСРааБ.
▼ Элементы сценария т 1 [Элемент сценария] ▼ Собьмич ▼ 1 [Событие]
► Условия выполнения V Выполняемые действия ▼ 1 [Действие]
▼ Вызов функции объекта О Вызов лифта [Название (сорт: строковое)] т 2 [Действие]
Т Переход к элементу сценария
0 Взятие предмета [Название (сорт: строковое)]
О >■ Подъем на этаж [Название (сорт: строковое)]
► 2 [Элемент сценария]
► 3 [Элемент сценария]
► 4 [Элемент сценария]
Рисунок 11 - Скриншот фрагмента создания элемента сценария
2.3 Онтология карты пользователя
Онтология карты пользователя определяет структуру хранения истории исследований. На рисунке 12 показана структура онтологии карты пользователя.
Рисунок 12 - Структура онтологии карты пользователя
Карта пользователя включает:
■ идентификатор пользователя (уникальное наименование в информационной системе);
■ ссылку на полную электронную медицинскую карту (ЭМК);
■ набор исследований.
Хранение истории исследований происходит с помощью структуры записи исследований. Каждый проводимый сеанс формирует новую запись об исследовании в рамках определенной структуры. Исследование в истории сеансов имеет следующую структуру.
■ Дата проведения - временная отметка данных записи, в формате ДД.ММ.ГГГГ -чч:мм:сс.ссс.
■ Ссылка на исследование - указание применяемого исследования из базы исследований.
■ Ссылка на сценарий - указание сценария, который будет использоваться в исследовании.
■ Признаки перед исследованием - признаки пользователя перед исследованием. Перед работой пользователя на ВТ фиксируются первоначальное состояние пользователя, определяемое на основе признаков. В зависимости от набора признаков пользователя выбирается режим работы.
■ Данные сеанса содержат информацию о ходе прохождения исследования с привязкой к элементу сценария ссылкой. В сеансе фиксируются: данные пользователя, представленные параметрами пользователя, внутри которых производится запись данных признака, и данные сцены. Такая структура позволяет сохранить данные сеанса в виде параметров пользователя и изменений виртуальной сцены относительно времени. Признаки заполняются в процессе работы пользователя на тренажёре от различного оборудования с БОС (частота пульса, частота дыхания и т.д.). Признаки могут быть использованы для корректировки сценария. На основе признаков могут диагностироваться состояния пользователя, которые могут влиять на сценарий тренажёра.
■ Результаты исследования могут определяться во время взаимодействия пользователя с тренажёром или после прохождения сеанса на тренажёре.
В процессе проведения исследования формируются данные сеанса, которые записываются в карту пользователя как проведённое исследование.
2.4 Онтология оборудования ВР и БОС
Онтология оборудования ВР и БОС описана в структурированной форме, удобной для хранения, понимания, редактирования и использования. Структура онтологии оборудования показана на рисунке 13. Онтология оборудования ВР и БОС содержит:
■ Блок информации об оборудовании, включающий: Название, Описание, Производителя, Модель, Серийный номер.
■ Блок параметров. Каждый параметр вклю-
Рисунок 13 - Структура онтологии оборудования
чает Название, Описание, Диапазон значений и Тип данных.
2.5 Онтология знаний о состояниях пользователя
Онтология знаний о состояниях пользователя построена на основе онтологии медицинской диагностики [11], которая реализована на платформе 1АСРаа8. Особенностью онтологии является возможность описать диагностику одного и того же процесса различными методами, учесть динамику одного или нескольких признаков, объединить процессы в классы с выделением характерных для класса отклонений признаков, описать возможные варианты уточнения одного отклонения. Важным компонентом онтологии является задание нечётких шкал, характеризующих либо значения признака или его характеристики (для составных признаков), либо меру доверия и выраженности признака.
Значения признаков в рассматриваемые моменты или периоды могут быть точными числами или попадать в характерные числовые диапазоны, быть значениями из чётко определяемой качественной шкалы (сухой, влажный) или нечётко различаемой (розоватый, красноватый; повышенный пульс), отражающей термины конкретных экспертов. Признаки могут быть простыми, состоящими из имени признака и множества его значений
В условиях причинно-следственных отношений могут присутствовать внешние факторы или события, относящиеся к различным моментам времени, а также постоянные во времени признаки объекта диагностики, иногда называемые индивидуальными характеристиками.
Например, при диагностике состояния пользователя в качестве условия может выступать частота сердечных сокращений; в некоторых ВТ - температура тела или наличие определённого признака (тошнота, головокружение). Внешними факторами для таких объектов могут быть тип виртуального окружения, индивидуальные характеристики (возраст, пол).
С помощью рассматриваемого комплекса инструментов возможно сформировать знания о диагностике состояний пользователя в зависимости от наличия определённых признаков и их значений с возможностью дифференцированного учёта особенностей пользователей.
Заключение
Предложен комплекс онтологий, позволяющий формировать информационное наполнение разрабатываемого ВТ и описывать ВС. Пользователи, не знакомые с языками програм-
мирования и технологиями разработки программных систем, описывают ВТ в терминах онтологии. Приведён пример ВТ выполнения работ на высоте, с помощью которого можно провести тестирование человека на акрофобию и профилактику тревожных расстройств, с возможностью изменения параметров ВС в зависимости от состояния пользователя.
Доступ к комплексу онтологий осуществляется через веб-интерфейс и в настоящее время используется специалистами для проектирования ВТ.
Список источников
[1] LaValle S.M. Virtual Reality / University of Illinois. Cambridge University Press, 2017. 430 p. http://vr.cs.uiuc.edu/vrbook.pdf.
[2] Vlasov S., Borgest N. Application of VR and AR Technologies in Educational Process // Advances in Intelligent Systems Research. 2020. Vol.174. P.78-81.
[3] Смолин А.А. Системы виртуальной, дополненной и смешанной реальности. СПб.: Изд-во Ун-та ИТМО, 2018. 59 c.
[4] Селиванов В.В., Селиванова Л.Н. Виртуальная реальность как метод и средство обучения. ОТО. 2014. No3. С.378-391.
[5] Мухина О.В., Никитин А.В. Метод адаптивного представления интерактивных электронных сред с погружением // Информационно-управляющие системы. 2010. No 1(44). С. 15-18.
[6] Грибова В.В., Стрекалев В. О. Инструментальный комплекс для иммерсивных виртуальных тренажеров с биологической обратной связью // Вестник компьютерных и информационных технологий. 2020. № 8. С.19-28. DOI: 10.14489/vkit.2020.08. pp.019-028.
[7] Coogan C.G., HeB. Brain-Computer Interface Control in a Virtual Reality Environment and Applications for the Internet of Things, in IEEE Access, vol. 6, pp. 10840-10849, 2018, DOI: 10.1109/ACCESS.2018.2809453.
[8] Воловик М. Г. Технологии виртуальной реальности в комплексной медицинской реабилитации пациентов с ограниченными возможностями (обзор). Современные технологии в медицине. 2018. Т.10, N4. С.173-182.
[9] Аладышев А.В., Субботин Е.А. Функциональное биоуправление с обратной связью - перспективная информационная технология в медицине // Современные наукоемкие технологии. 2005. № 3. С.86-87.
[10] Грибова В.В., Клещев А.С., Москаленко Ф.М., Тимченко В.А., Федорищев Л.А., Шалфеева Е.А. Облачная платформа IACPaaS для разработки оболочек интеллектуальных сервисов: состояние и перспективы развития // Программные продукты и системы. 2018. №3. С.527-536.
[11] Грибова В.В., Петряева М.В., Окунь Д.Б., Шалфеева Е.А. Онтология медицинской диагностики для интеллектуальных систем поддержки принятия решений // Онтология проектирования. 2018. Т.8, №1(27). С.58-73. D0I:10.18287/2223-9537-2018-8-1-58-73.
Сведения об авторах
Грибова Валерия Викторовна, 1965 г.р. Окончила Ленинградский политехнический институт (1989), д.т.н. (2007), член-корр. РАН (2022). Заместитель директора по научной работе, ^НМЪ руководитель лаборатории интеллектуальных систем Института автоматики и процессов Г-* •» управления ДВО РАН, профессор Дальневосточного федерального университета (ДВФУ), Владивостокского государственного университета экономики и сервиса (ВГУЭС). Вице-президент Российской ассоциации искусственного интеллекта. В списке научных трудов более 300 pa6oT.ORCID: 0000-0001-9393-- 351Х; AuthorlD (РИНЦ): '7400; AuthorlD (Scopus): 7801667631. gri-
bova@iacp. dvo. ru. И.
Стрекалёв Вячеслав Олегович, 1993 г. рождения. Окончил Иркутский национальный технический университет (2017). Младший научный сотрудник лаборатории интеллектуальных систем Института автоматики и процессов управления Дальневосточного отделения РАН. AuthorlD (РИНЦ): 1136593; ORCID: 0000-0002-6209-6226; Researcher ID (WoS): AAD-6228-2022. [email protected].
О
ИГ
fsj/,
Поступила в редакцию 05.06.2022. Принята к публикации 25.06.2022.
Scientific article DOI: 10.18287/2223-9537-2022-12-2-172-185
Complex of ontologies for virtual simulators with biofeedback
© 2022, V.V. Gribova12, V.O. Strekalev1^
1 Institute of Automation and Control Processes Far Eastern Branch of the RAS, Vladivostok, Russia
2 Far Eastern Federal University, Vladivostok, Russia
Abstract
Currently, virtual simulators are being actively developed and implemented to solve problems of a wide profile. A special place among them is occupied by solutions based on virtual reality and biofeedback. The use of an ontological approach and semantic representation of information makes it possible to optimize the processing, storing, searching and analyzing data for the implementation of virtual simulators at all stages of their life cycle. The basic principles of creating virtual simulators with biofeedback, which are the basis of the software package for their creation, reproduction and maintenance, are presented. The implementation of virtual simulators requires a description of the virtual environment, the creation of a work scenario and managing it during operation based on individual user parameters. A complex of ontologies for virtual simulators with biofeedback is proposed, which consists of an ontology of the virtual environment, an ontology of research, an ontology of the user's map, an ontology of equipment and an ontology of knowledge about the user's states. It is shown that the use of this complex of ontologies significantly reduces labor costs when designing virtual simulators and to form an information representation of the solutions being developed, to simplify the creation and introduction of changes. To demonstrate the solutions presented, an example of a virtual simulator for performing work at height is presented, with the help of which it is possible to test a person for acrophobia (fear of heights) and prevention of anxiety disorders, with the possibility of changing the parameters of the virtual environment depending on the user's condition.
Key words: complex of ontologies, virtual reality, virtual simulators, biofeedback, instrumental complex, virtual environment.
Citation: Gribova VV, Strekalev VO. Complex of ontologies for virtual simulators with biofeedback [In Russian]. Ontology of designing. 2022; 12(2): 172-185. DOI:10.18287/2223-9537-2022-12-2-172-185.
Financial support: This work was carried out with partial financial support from the Innovation Assistance Fund, contract 269GUCES8-D3/56658' grant RFBR 20-07-00670.
Conflict of interest: The author declares no conflict of interest.
List of figures and table
Figure 1 - The structure of the virtual environment ontology (a) and the implementation of the virtual environment ontology (b)
Figure 2 - The structures of the object parameter (a) and the object function (b) Figure 3 - Example 2 scene structures
Figure 4 - Screenshot of a fragment of the description of virtual simulator objects on the IACPaaS platform Figure 5 - Structure of the research ontology
Figure 6 - Screenshot of a fragment of the research ontology on the IACPaaS platform
Figure 7 - Screenshot of the condition description
Figure 8 - Screenshot of the attribute description
Figure 9 - Example of filling the research results
Figure 10 - Example of a block of script elements with transitions
Figure 11 - Screenshot of a fragment of creating a script element
Figure 12 - Structure of the user's map ontology
Figure 13 - Structure of the equipment ontology
References
[1] LaValle SM. Virtual Reality / University of Illinois. Cambridge University Press, 2017. 430 p. http://vr.cs.uiuc.edu/vrbook.pdf.
[2] Vlasov S., Borgest N. Application of VR and AR Technologies in Educational Process // Advances in Intelligent Systems Research. 2020. Vol.174. P.78-81.
[3] Smolin AA. The systems of virtual, augmented and mixed reality [In Russian]. St. Petersburg: Publishing House of ITMO University, 2018. 59 p.
[4] Selivanov VV, Selivanova LN. Virtual reality as a method and means of teaching [In Russian]. OTO. 2014; 3: 378-391.
[5] Mukhina OV, Nikitin AV. Method of adaptive representation of interactive electronic environments with immersion [In Russian]. Information and control systems. 2010; 1(44): 15-18.
[6] Gribova VV, Strekalev VO. Instrumental complex for immersive virtual simulators with biofeedback [In Russian]. Bulletin of Computer and Information Technologies. 2020; 8: 19-28. DOI: 10.14489/vkit.2020.08.
[7] Coogan CG, He B. Brain-Computer Interface Control in a Virtual Reality Environment and Applications for the Internet of Things, in IEEE Access, vol. 6, pp. 10840-10849, 2018, doi: 10.1109/ACCESS.2018.2809453.
[8] Volovik MG. Virtual reality technologies in complex medical rehabilitation of patients with disabilities (review) [In Russian]. Modern technologies in medicine. 2018; 10(4): 173-182.
[9] Aladyshev A V, Subbotin EA. Functional biofeedback - perspective information technology in medicine [In Russian]. Modern high-tech technologies. 2005; 3: 86-87.
[10] Gribova VV, Kleshchev AS, Moskalenko FM, Timchenko VA, Fedorishchev LA, Shalfeeva EA. IACPaaS cloud platform for the development of intelligent services shells: state and prospects of development [In Russian]. Software products and systems. 2018; 3: 527-536.
[11] Gribova VV, Petryaeva MV, Okun DB, Shalfeeva EA. Medical diagnosis ontology for intelligent decision support systems [In Russian]. Ontology of designing. 2018; 8(1): 58-73. DOI: 10.18287/2223-9537-2018-8-1-58-73.
About the authors
Valeriya Victorovna Gribova (b.1965) graduated from the Leningrad Polytechnic University in 1989, Professor's degree (2007). She is the Head of the Intelligent systems lab in the Institute for Automation & Control Processes of the FEB RAS, Research Deputy Director, an expert of Analytic Center in Government of Russian Federation, a Vice-President of Russian Association of Artificial Intelligence. She is a co-author of more than 250 publications in the fields of AI, informatics, program models, technologies and systems. AuthorID (RSCI): 7400; Author ID (Scopus): 7801667631; ORCID: 0000-0001-9393-351X; Researcher ID (WoS): Q-4250-2016. [email protected].
Vyacheslav Olegovich Strekalev (b. 1993) graduated from the Irkutsk National Technical University in 2017. Junior Research associate of the Intelligent systems lab at the Institute of Automation and Control Processes, Far Eastern Branch of the Russian Academy of Sciences. AuthorID (RSCI): 1136593; ORCID: 0000-0002-6209-6226; Researcher ID (WoS): AAD-6228-2022. [email protected].
Received June 5, 2022. Accepted June 25, 2022.
