CC BY
3
УДК 004.932
Б01: 10.17277/уе81тк.2023.03.рр.363-374
СИСТЕМА УПРАВЛЕНИЯ АДАПТИВНОЙ БЕГОВОЙ ПЛАТФОРМОЙ НА ОСНОВЕ ТЕХНОЛОГИЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ
А. Д. Обухов1, К. И. Патутин2, Е. О. Суркова1, А. Е. Архипов2
Кафедра «Системы автоматизированной поддержки принятия решений» (1), [email protected]; Управление фундаментальных и прикладных исследований (2), ФГБОУВО «ТГТУ», Тамбов, Россия
Ключевые слова: адаптивные беговые платформы; компьютерное зрение; методы позиционирования человека; перемещение в виртуальной реальности.
Аннотация: Рассмотрена проблема выбора оптимального метода управления адаптивной беговой платформой для организации перемещения в виртуальной реальности. Для решения задачи позиционирования пользователя в рамках адаптивной беговой платформы рассмотрен, формализован и реализован подход на основе использования камер и компьютерного зрения. Поставлена задача исследования - выбор оптимального метода управления адаптивной беговой платформой для обеспечения максимального комфорта пользователя при движении на ней, в рамках которой также рассматривается вопрос изолирования платформы от стороннего оборудования и комплексов виртуальной реальности путем применения технологий компьютерного зрения. Проведены сравнительные исследования трех различных функций управления при методе позиционирования на основе компьютерного зрения. Определены лучшие по выбранным метрикам (среднее и максимальное отклонение человека от начальной точки, дисперсия и среднеквадратичное отклонение траектории движения) функции управления.
Введение
Индустрия программного обеспечения, использующего УЯ- и АЯ-техноло-гии, постоянно растет и развивается за счет улучшения качества изображения, использования новых типов контроллеров, создания систем позиционирования пользователя в пространстве без использования базовых станций, снижения стоимости и, следовательно, повышения привлекательности данных технологий для массового сегмента потребления [1]. Однако данная индустрия все еще содержит ряд нерешенных вопросов, одним из которых является проблема реалистичного перемещения в виртуальной реальности [2]. В настоящее время данная задача в большинстве потребительных и промышленных решений реализуется при помощи контроллеров: пользователь может телепортироваться в выбранное место виртуальной сцены либо плавно перемещаться в направлении камеры при нажатии кнопки на контроллере. Оба варианта не являются естественными для человека, вызывают головокружение, тошноту, укачивание и другие негативные эффекты на вестибулярный аппарат и физическое состояние пользователя [3]. При использовании контроллеров для перемещения человек также сталкивается с проблемой взаимодействия с предметами, так как эти два механизма во многих программных продуктах не могут быть реализованы одновременно.
Решение данной проблемы - использование различных беговых платформ и дорожек, позволяющих отделить процесс перемещения в виртуальной реальности от взаимодействия с ней. Однако для их успешной реализации необходимо разработать соответствующую систему управления, реагирующую на действия пользователя.
В рамках данного исследования рассматриваются существующие методы позиционирования человека на активных платформах. Формализованы основные составляющие процесса управления платформой, после чего осуществлена разработка системы управления адаптивной беговой платформой, функционирующей на основе компьютерного зрения.
Анализ подходов к отслеживанию человека на беговой платформе
Одна из важнейших задач организации перемещения на активных беговых платформах - определение точной позиции человека в рамках рабочей зоны, так как от нее зависит режим функционирования платформы. При решении данного вопроса существует несколько подходов, зависящих от конструкции платформы и используемого аппаратного обеспечения: ультразвуковых датчиков; оптических датчиков, состоящих из передатчика и приемника, по наличию или отсутствию сигнала между которыми возможно определение позиции объектов; систем обратной связи, входящих в состав страховочного оборудования либо соединенные с пользователем отдельно; беспроводных датчиков (трекеров), разработанных для комплектов виртуальной реальности (например, HTC Vive Tracker); камер, отслеживающих положение человека с помощью технологий компьютерного зрения.
Анализ подходов показал, что при использовании ультразвуковых датчиков возможно частое получение ошибочных данных из-за смещения человека и низкой точности датчиков. Это приводит к применению большого количества датчиков для покрытия всей рабочей зоны платформы, значительному усложнению программного обеспечения для обработки ошибочных данных и выбора из множества показаний наиболее корректных. Точность данного подхода снижается при удалении человека на противоположный от датчиков край платформы [4].
Оптические датчики отличаются простотой и надежностью, легко интегрируются даже в простейшие системы управления, реализованные на базе микроконтроллеров. Однако при их использовании возможны ситуации, когда человек не активирует своим положением ни одного датчика либо несколько сразу, что потребует дополнительного алгоритмического обеспечения. Также вибрация, возникающая в процессе работы платформы и бега по ней человека, может внести дополнительную погрешность в работу системы.
В системах, основанных на анализе обратной связи, может присутствовать большая погрешность из-за преобразования аналогового сигнала в цифровой [5]. Реализация таких систем связана с высокой сложностью и разработкой систем сбора и обработки данных для последующего управления платформой.
Беспроводные трекеры, предлагаемые, например, компанией High Tech Computer (HTC) Corporation, позволяют посредством открытой библиотеки OpenVR получить данные о положении датчика с высокой частотой (не менее 50 раз в секунду) и точностью (погрешность около 0,7 мм) [6]. Недостаток трекеров - необходимость использования базовых станций для формирования зоны их отслеживания. Кроме того, если платформа не планируется для использования с комплектами виртуальной реальности (например, для подготовки бегунов можно использовать мониторы или проекторы), то трекеры станут лишним элементом, требующим подключения к платформе дополнительного оборудования VR и запуска стороннего программного обеспечения.
Использование камер приводит к значительному росту вычислительной нагрузки на оборудование из-за необходимости получения и обработки видеопотока, однако позволяет значительно расширить возможности программного обеспечения в области анализа характера движений пользователя. В настоящее время также разработано большое количество программных инструментов по распознаванию человека на кадре и отслеживанию его перемещений [7]. Наличие подобного объема информации позволяет комплексно оценить действия человека на платформе, что особенно важно в случае нестандартных ситуаций (резкая остановка пользователя, взаимодействие с виртуальными или реальными предметами). Кроме того, использование камер не требует дополнительного аппаратного обеспечения и проприетарного программного обеспечения для успешного позиционирования. Использование нескольких камер также позволит реализовать дополнительные возможности по отслеживанию человека [8].
Таким образом, проведенный анализ показал перспективность использования камер с технологией компьютерного зрения для решения задачи позиционирования человека на беговой платформе.
Формализация структуры системы управления адаптивной беговой платформой
Для формализации основных компонентов системы управления С8 используем нотацию теории множеств [9]. В рамках данного исследования рассматривается однонаправленная беговая платформа. Тогда получим:
С8 = (Р, Н, ^, ЕР), (1)
где Р - множество параметров платформы
Р = Р^Р ,УГХ, ^, ¿Шах, Lw, Мр ), (2)
здесь ¥р, Рр?1ах- текущая и максимально возможная скорости платформы соответственно, м/с; - размер безопасной зоны (в ней система управления не реагирует на движения пользователя, Ур = 0), м; £шах - максимальная длина платформы (пространства, где может перемещаться пользователь), м; Ь№ = Ьтах - -размер рабочей зоны платформы (пространства, где регулируется скорость платформы), м; Мр - выбранный метод получения позиции человека на платформе, в данном случае - компьютерное зрение;
Н - множество параметров человека
Н = (Сн Ун), (3)
здесь СН - множество позиций человека на дорожке, в случае однонаправленной платформы Сн = {р/} индекс г определяет точку позиционирования (может
быть единственной), / - временной отрезок, соответствующей данной позиции, длиной Д/; Ун - множество скоростей человека, м/с, для каждой г-й точки позиционирования и/-го момента времени скорость уг / рассчитывается по формуле
Др /
V, / = —, (4)
Д
где Дсг,/ - смещение г-й точки, равное сг,/ - /_1;
Е - функция управления скоростью платформы, которая зависит от некоторых параметров человека, например, его текущего положения или скорости в момент времени t,
Е : (Н, tУр ; (5)
Ер - функция позиционирования человека на платформе, определяющая текущее положение человека с, при методе позиционирования Мр в момент времени t,
Ер : (Мр, tси}. (6)
Необходимо отметить, что перемещение платформы оказывает влияние на текущее положение человека: даже если он неподвижен, но платформа движется с некоторой скоростью, то это приведет к смещению пользователя между двумя замерами. В ходе экспериментальных замеров большой интерес представляют исходные данные о траектории движения человека, в которых отсутствует влияние скорости платформы, так как эту информацию можно использовать в качестве исходной для проверки и сравнения различных алгоритмов управления платформы. Для получения исходной траектории человека С^ будем использовать следующее преобразование:
аЬя аЬ. . А I/ с, j = сг j — + Ас,- j + Ур Дt;
сг, j 6 СН . (7)
Таким образом, исходная траектория для каждой /-й точки в j-й момент времени определяется как прибавление к значению предыдущего рассчитанного положения с/^-! смещения Ас, j точки и сдвига платформы при скорости Ур за время А1.
Основной задачей, решаемой в рамках системы управления, будет нахождение отображения Е, при котором пользователь платформы будет перемещаться по ней наилучшим образом. Данная оценка является субъективной и может значительно варьироваться в зависимости от конкретного человека, поэтому для оценки функции Е необходимо ввести ряд объективных метрик. К ним отнесем следующие:
- выборочное среднее /-й точки Сн г (с учетом количества замеров ,/)
- 1 -1
Сн, / —X с-, j; (8)
J j=1
- дисперсия /-й точки В (Сн г), которая является показателем вариации (изменчивости) и характеризует разброс данных в выборке, ее однородность
в (/)=1X (с-, у - СН~); (9)
J -=1
- среднеквадратическое отклонение /-й точки стс г, которое представляет собой квадратный корень из дисперсии,
стс,,-; (10)
- максимальное отклонение тах(Сн г) г-й точки;
- дисперсия скорости платформы 0(Ур), определяемая аналогично (9);
- среднеквадратическое отклонение скорости платформы сту , определяемая аналогично (10).
Все рассмотренные метрики будут использоваться при оценке качества алгоритмов управления, но в качестве основного будем использовать выборочное среднее (8). Тогда задача поиска Я оптимальной функции управления ^ будет иметь следующий вид:
R(F ) = CH, i ^ mm. (11)
Задача решается для выбранной i-й точки (либо их среднего в случае нескольких точек). Таким образом, для успешного решения поставленной задачи необходимо найти такую функцию F, при которой выборочное среднее траектории человека будет минимальным.
Рассмотрим формализованное представление функций управления, используемое при реализации программного обеспечения системы управления, затем особенности функционирования и динамику изменения на некотором отрезке рабочей зоны платформы.
Линейная функция FJl зависит от текущего положения человека Cj и удаленности от границы безопасной зоны Zs и равномерно регулирует скорость на всей длине рабочей области Lw платформы
( ) ( - Zs)max Fл (cj ) = ^-^^ . (12)
LW
Нелинейная функция Fjj основана на более плавном изменении скорости и может иметь различный вид в зависимости от величины значения коэффициента а
(cCj - Zs )aVp
max
Рн Р/ )=*. (13)
%
При значении а > 1 функция отличается недостаточной скоростью реакции и не может выйти на максимальное значение Ур"ах при с, = 1, однако при
0,4 < а < 0,7 она отлично реагирует на изменение положения человека, особенно в начале движения. В качестве предпочтительного значения выбрано среднее а = 0,6, показавшее наилучшие результаты в ходе предварительных испытаний.
Пропорционально-дифференциальная функция ^цд основана на соответствующем законе регулирования и использует информацию о смещении объекта наблюдения (человеке), а также его скорости (производной от этого смещения)
С с _ с/
^ПД(,t + A) = ^ВД(-bt) + k1(cj - cj-1) + k
j —1-v At
(14)
где ^пд (с/, / + Д/) - новое значение скорости для момента времени (/ + Д/) при положении с, человека; ^Пд (с,_1, /) - скорость платформы в предыдущую итерацию при положении с/_1 человека в текущий момент времени /; &1, &2 - попра-
вочные коэффициенты, определяющие влияние пропорциональной и дифференциальной составляющих функции ^Пд •
Неправильно подобранные коэффициенты могут привести к недостаточной или избыточной реакции функции. Так, в ходе предварительных испытаний получено, что при к\ = 2, &2 = 5 платформа значительно запаздывает за передвижением
человека, а при ki = 20, к2 = 40 начинает хаотично регулировать скорость с большой амплитудой, что оказывает негативное влияние на вестибулярный аппарат пользователя. Средние значения ki = 10, к2 = 20 показали достаточно хорошие
результаты при предварительных испытаниях и были выбраны для данного исследования. В ходе дальнейшей работы возможно изучение механизма подбора оптимальных значений коэффициентов в зависимости от характера движения пользователя или свойств платформы.
Формализация и реализация методов позиционирования человека на платформе
При использовании камер и компьютерного зрения для решения задачи позиционирования не требуется установка стороннего программного обеспечения, базовых станций или датчиков на человека. Однако необходимо решение следующих вопросов: обработка кадра, распознавание в кадре человека, определение его координат и величины перемещения.
Основным инструментом для обработки видео с камеры является использование библиотеки OpenCV, которая позволяет с нужными настройками (разрешение и частота кадров) захватить изображение с камеры через интерфейс USB. Данная библиотека также может использоваться для кадрирования, поворота изображений, применения фильтров. В ее состав также входит набор классов OpenCV-Tracker, позволяющих отслеживать с некоторой точностью фрагмент изображения с высокой производительностью (в случае класса TrackerKCF, использование других классов приводило к значительным программным задержкам).
Несмотря на то, что класс TrackerKCF позволяет отслеживать любой выбранный объект на кадре, для его работы необходимо выбрать нужную область на кадре, например, фигуру человека или его ноги. В ходе экспериментальных исследований получено, что оптимальным подходом является позиционирование именно по ногам человека, так как при приближении к камере вплотную (в процессе бега, например) человек не попадает целиком в кадр и занимает большую его часть, что затрудняет его позиционирование на рабочей зоне платформы. Использование двух камер позволило бы решить данную проблему на основе сте-реозрения, однако привело бы к дополнительной вычислительной нагрузке. Обусловлено это тем, что для надежности работы алгоритма потребовалось бы классифицировать объекты в кадре в автоматическом режиме, а решение такой задачи для двух кадров привело бы к двукратному падению производительности, что негативно скажется на работе системы управления в реальном времени. Однако в будущих исследованиях данный вариант может быть рассмотрен, оптимизирован и сравнен с предлагаемым на основе одной камеры.
Для решения задачи определения ног в кадре предлагается использование обученной модели нейронной сети Shoe из библиотеки Media Pipe Objectron, которая позволяет обнаруживать трехмерные объекты в реальном времени. Модель обучена на наборе данных Objectron (15 000 видео и 4 миллиона изображений), среди которых для объекта «обувь» представлено 2116 видео и 557 тысяч изображений. Эффективность распознавания для различной обуви показала высокую точность данной нейронной сети при использовании для распознавания ног человека на платформе (рис. 1).
а)
б)
Рис. 1. Схема получения данных о позиции человека при помощи компьютерного зрения:
а - процесс распознавания ног с помощью нейронной сети Objection; б - выделение прямоугольника для трекинга
Тогда метод позиционирования человека на основе компьютерного зрения будет включать следующие этапы.
1. Захват кадра с камеры библиотеки OpenCV размером IX х IY пикселей (например, для видео разрешением Full HD IX = 1920, IY = 1080).
2. Распознавание I объектов ног на кадре. Каждому объекту c, j в текущий
момент времени соответствует множества точек
где к - десять отслеживаемых точек распознанного объекта c, j, соответствующие девяти вершинам куба, ограничивающего объект, и десятой точке - центру куба. Координаты точек меняются от 0 до 1, где нулю соответствует первый пиксель кадра, 1 - максимальное его значение (1080-й для видео разрешением Full HD). 3. Из десяти точек объекта c, j выбирается четыре точки
PTi ={ptn\n = 1, ...,4}, соответствующие вершинам прямоугольника, полностью
включающим объект ноги пользователя. Так как TrackerKCF работает со значениями, выраженными в пикселях, осуществляется дополнительное преобразование координат по формуле
4. Полученный из множества точек рТг прямоугольник используется для трекинга объекта с, j с применением класса ТгаскегКСР.
5. По значениям точек рТг определяется текущее положение человека на I ' может соответствовать как минимальному значению по оси У
(15)
(16)
(наиболее удаленная от камеры точка), так и максимально-
му c,,j = max(poi k,y)/IY (наиболее близкая к камере точка). Второй вариант
в данном исследовании признан более предпочтительным. Полученные значения положения ci j являются нормированными от 0 до 1.
6. Для расчета скорости платформы можно использовать усредненное значение по всем объектам cj ci jjl, которое будет соответствовать средней
точке между ногами и, следовательно, положению тела человека.
7. Если TrackerKCF продолжает отслеживать объекты {c, j}, то он используется на следующем кадре для определения позиции человека в соответствии с этапом 4. Иначе, если объект потерян, объект заново распознается с помощью модели нейронной сети, начиная с этапа 2.
В данном методе позиционирования трекинг используется по причине его большей производительности относительно нейронной сети Media Pipe Objectron. В ходе экспериментов будет проведено исследование оптимальной частоты вызова модели нейронной сети для обнаружения ног в кадре для наилучшей производительности и точности метода позиционирования.
Так как при работе с камерой присутствуют некоторые искажения, вызванные дисторсией широкоугольной оптики, то необходимо учитывать, что отрезки в начале кадра (максимальном удалении от камеры) и в конце (максимальном приближении) имеют разные размеры при одинаковом размере в пикселях. Для исправления дисторсии возможно преобразование нормированных координат, полученных на этапе 7 метода.
Апробация системы управления на основе компьютерного зрения
Для проведения экспериментальных исследований и апробации предложенного подхода используется адаптивная беговая платформа со следующими характеристиками: длина полотна Lmax= 1,5 м; ширина полотна 0,9 м; минимальная скорость 0,01 м/с; максимальная скорость Fj?iax = 3,57 м/с.
Система управления реализуется на основе языка программирования Python с применением библиотек pySerial (для подключения к аппаратному обеспечению платформы и плате Arduino), OpenVR (для получения данных о положении трекеров), Matplotlib (для построения графиков траекторий движения человека и скорости платформы), PyQt5 (для построения интерфейса системы управления).
Для определения оптимальной функции управления используем записанные траектории перемещения человека без учета влияния скорости дорожки и будем использовать их в качестве входных данных для каждой функции. Таким образом, условия для всех экспериментов будут идентичными, а результаты будут соответствовать перемещению человека при различных функциях управления.
Для оценки функций управления будем использовать следующие показатели: выборочное среднее положения человека CH , дисперсия положения человека D(CH), среднеквадратическое стс и максимальное max(C^) отклонение положения человека, дисперсия D(Vp) и среднеквадратическое отклонение о у скорости платформы.
Для определения положения человека будет использоваться нейронная сеть Objectron, вызываемая при запуске системы управления и в случае потери любой из ног пользователя, в остальное время для отслеживания координат ног применяется класс TrackerKCF.
Таблица 1
Сравнение функций управления при позиционировании на основе компьютерного зрения
Функция управления Сн тах(Сн) о Сн) В(УР)
Линейная 0,340 0,814 0,037 0,186 0,447 0,645
Нелинейная 0,315 0,751 0,03 0,164 0,435 0,642
Пропорционально-дифференциальная 0,315 0,773 0,03 0,166 0,520 0,694
При использовании позиционирования с помощью камер отметим, что функции получают данные о положении человека реже, чем при использовании трекеров, что приводит к необходимости более резкого регулирования. Полученные значения метрик для каждой функции в ходе теста представлены в табл. 1.
В рамках теста получено, что выбранные функции в целом показывают сравнимые результаты. Наилучшие показатели имеют в порядке убывания нелинейная, пропорционально-дифференцируемая и линейная функции.
На основе тестов получены следующие выводы по функциям управления при методе позиционирования на основе компьютерного зрения:
- линейная функция отлично показала себя по ряду метрик, отличается простотой реализации и стабильностью, кроме того, пользователи платформы отметили, что она наиболее комфортна при данном методе позиционирования; данный эффект может быть обусловлен наличием дисторсии в камере, что после обработки изображения и получения координат человека добавляет нелинейность и улучшает поведение линейной функции при использовании позиционирования на основе компьютерного зрения;
- нелинейная функция показывает отличные значения метрик, за счет более быстрого увеличения скорости максимальное отклонение от начальной позиции по сравнению с линейной функцией снижено;
- пропорционально-дифференциальная функция обеспечивает своевременную реакцию на действия человека и отличные показания метрик.
Таким образом, при позиционировании на основе компьютерного зрения в ходе экспериментальных исследований получено, что оптимальной функцией является нелинейная, однако остальные варианты также пригодны для использования.
Заключение
В данной работе рассматривается задача организации управления адаптивной беговой платформой для обеспечения максимального удобства пользователя при перемещении по ней с использованием технологий компьютерного зрения. Для ее решения проведен сравнительный анализ различных функций управления для адаптивных беговых платформ. В сравнении участвовало три различных по типу функций: линейная, нелинейная, пропорционально-дифференциальная. В качестве критериев оценки качества перемещения используются среднее и максимальное положение человека на платформе, дисперсия и среднеквадратичное отклонение траектории пользователя и скорости платформы. Оптимальные результаты показала нелинейная функция управления. Дальнейшие исследования по данному направлению связаны с улучшением рассмотренных функций управления, а также реализации новых, более универсальных и эффективных функций. Полученные в работе результаты могут использоваться для реализации систем
управления беговыми платформами различного типа, а также решения задачи перемещения в виртуальной реальности с использованием подобного рода платформ.
Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ в рамках гранта Президента РФ МК-857.2022.1.6.
Список литературы
1. Hsieh, M. C. Preliminary Study of VR and AR Applications in Medical and Healthcare Education / M. C. Hsieh, J. J. Lee // Journal of Nursing and Health Studies. -2018. - V. 3, No. 1. - Р. 1 - 5.
2. Nilsson, N. C. Natural Walking in Virtual Reality: A Review / Nilsson N. C., Serafin S., Steinicke F., Nordahl R. // Computers in Entertainment (CIE). - 2018. -V. 16, No. 2. - P. 1 - 22. doi: 10.1145/3180658
3. Saredakis, D. Factors Associated with Virtual Reality Sickness in Head-Mounted Displays: a Systematic Review and Meta-Analysis / D. Saredakis, A. Szpak, B. Birckhead, H. A. D. Keage, A. Rizzo, T. Loetscher // Frontiers in Human Neuroscience. - 2020. - V. 14. - Article 96. doi: 10.3389/fnhum.2020.00096
4. Rosdi, M. H. A. B. Investigation on Accuracy of Sensors in Sensor Fusion for Object Detection of Autonomous Vehicle Based on 2d Lidar and Ultrasonic Sensor / M. H. A. B. Rosdi, A. S. Abdul Ghani // In book: Recent Trends in Mechatronics Towards Industry 4.0: Selected Articles from iM3F 2020, Malaysia. - Springer Singapore, 2022. - P. 761 - 770. doi: 10.1007/978-981-33-4597-3_68
5. Gembalczyk, G. Mechatronic Treadmill for Gait Reeducation with Control Algorithm of Treadmill Speed Adaptation / G. Gembalczyk, S. Duda, S. Kciuk, D. G^siorek, A. M^zyk // Proceedings of the Institution of Mechanical Engineers, Part C: Journal of Mechanical Engineering Science. - 2019. - V. 233, No. 7. -P. 2239 - 2247. doi: 10.1177/0954406218790279
6. Ikbal, M. S. Dynamic Pose Tracking Performance Evaluation of HTC Vive Virtual Reality System / M. S. Ikbal, V. Ramadoss, M. Zoppi //IEEE Access. - 2020. -V. 9. - P. 3798 - 3815. doi: 10.1109/ACCESS.2020.3047698
7. Wang, L. Recent Developments in Human Motion Analysis / L. Wang, W. Hu, T. Tan // Pattern Recognition. - 2003. - V. 36, No. 3. - P. 585 - 601. doi: 10.1016/S0031-3203(02)00100-0
8. Tsutsui, H. Optical Flow-Based Person Tracking by Multiple Cameras / H. Tsutsui, J. Miura, Y. Shirai // Conference Documentation International Conference on Multisensor Fusion and Integration for Intelligent Systems. MFI 2001 (Cat. No. 01TH8590). - IEEE, 2001. - P. 91 - 96. doi: 10.1109/MFI.2001.1013514
9. Краснянский, М. Н. Система управления адаптивной беговой платформой для перемещения в виртуальной реальности / М. Н. Краснянский, А. Д. Обухов, Д. Л. Дедов // Автоматика и телемеханика. - 2022. - №. 3. - С. 69 - 83. doi: 10.31857/S0005231022030060
Adaptive Running Platform Control System Based on Computer Vision Technology
A. D. Obukhov1, K I. Patutin2, E. O. Surkova1, A. E. Arkhipov2
Department of Automated Decision Support Systems (1), [email protected]; Department of Fundamental and Applied Research (2), TSTU, Tambov, Russia
Keywords: adaptive running platforms; computer vision; human positioning methods; moving in virtual reality.
Abstract: The paper considers the problem of choosing the optimal method to control an adaptive running platform for moving in virtual reality. To solve the problem of user positioning on an adaptive running platform, an approach based on using cameras and computer vision technologies was formalized and implemented. The research task was to choose the optimal method for controlling an adaptive running platform to ensure maximum user comfort when moving on it; this involved exploring the issue of isolating the platform from third-party equipment and virtual reality complexes through the use of computer vision technologies. A computer vision-based positioning method was applied for comparative studies on three different control functions. This enabled to identify the best control functions according to the selected metrics (average and maximum deviation of a person from the starting point, dispersion and standard deviation of the movement trajectory).
References
1. Hsieh M.C., Lee J.J. Preliminary study of VR and AR applications in medical
and healthcare education, Journal of Nursing and Health Studies, 2018, vol. 3, no. 1, pp 1-5
2. Nilsson N.C., S. Serafin, F. Steinicke, R. Nordahl R. Natural walking in virtual reality: A review, Computers in Entertainment (CIE), 2018, vol. 16, no. 2, pp. 1-22. doi: 10.1145/3180658
3. Saredakis D., Szpak A., Birckhead B., Keage H. A. D., Rizzo A., Loetscher T. Factors associated with virtual reality sickness in head-mounted displays: a systematic review and meta-analysis, Frontiers in Human Neuroscience, 2020, vol. 14, Article 96. doi: 10.3389/fnhum.2020.00096
4. Rosdi M.H.A.B., Abdul Ghani A.S. Investigation on accuracy of sensors in sensor fusion for object detection of autonomous vehicle based on 2D lidar and ultrasonic sensor, In book: Recent Trends in Mechatronics Towards Industry 4.0: Selected Articles from iM3F 2020, Malaysia. Springer Singapore, 2022, pp. 761-770. doi: 10.1007/978-981-33-4597-3_68
5. Gembalczyk G., Duda S., Kciuk S., G^siorek D., M^zyk A. Mechatronic treadmill for gait reeducation with control algorithm of treadmill speed adaptation, Proceedings of the Institution of Mechanical Engineers, Part C: Journal of Mechanical Engineering Science, 2019,vol. 233, no. 7, pp. 2239-2247. doi: 10.1177/ 0954406218790279
6. Ikbal M.S., Ramadoss V., Zoppi M. Dynamic pose tracking performance evaluation of htcvive virtual reality system, IEEE Access, 2020, vol. 9, pp. 3798-3815. doi: 10.1109/ACCESS.2020.3047698
7. Wang L., Hu W., Tan T. Recent developments in human motion analysis, Pattern Recognition, 2003, vol. 36, no. 3, pp. 585-601. doi: 10.1016/S0031-3203(02)00100-0
8. Tsutsui H., Miura J., Shirai Y. Optical flow-based person tracking by multiple cameras, Conference Documentation International Conference on Multisensor Fusion and Integration for Intelligent Systems. MFI2001 (Cat. No. 01TH8590). - IEEE, 2001, pp. 91-96. doi: 10.1109/MFI.2001.1013514
9. Krasnyansky M.N., Obukhov A.D., Dedov D.L. [Control system for adaptive running platform for movement in virtual reality], Avtomatika i telemekhanika [Automation and Remote Control], 2022, no. 3, pp. 69-83. doi: 10.31857/S0005231022030060 (In Russ., abstract in Eng.)
Steuersystem der adaptiven Laufplattform basierend auf Computer-Vision-Technologien
Zusammenfassung: Es ist das Problem der Auswahl der optimalen Methode zur Steuerung einer adaptiven Laufplattform zur Bewegungsorganisation in der virtuellen Realität betrachtet. Um das Problem der Benutzerpositionierung im Rahmen einer adaptiven Laufplattform zu lösen, ist ein Ansatz, der auf dem Einsatz von Kameras und Computer Vision basiert, betrachtet, formalisiert und implementiert. Die Forschungsaufgabe ist gestellt - die Wahl der optimalen Methode zur Steuerung einer adaptiven Laufplattform, um maximalen Benutzerkomfort beim Bewegen darauf zu gewährleisten, in deren Rahmen die Frage der Isolierung der Plattform von Drittgeräten und Virtual-Reality-Komplexen berücksichtigt ist. Auch der Einsatz von Computer-Vision-Technologien ist in Betracht gezogen. Es sind Vergleichsstudien zu drei verschiedenen Steuerungsfunktionen in der auf Computer Vision basierenden Positionierungsmethode durchgeführt. Es sind die besten Kontrollfunktionen gemäß den ausgewählten Metriken (durchschnittliche und maximale Abweichung einer Person vom Ausgangspunkt, Streuung und Standardabweichung der Bewegungstrajektorie) ermittelt.
Système de commande de la plate-forme de course adaptative basé sur la technologie de vision par ordinateur
Résumé: Est abordé le problème du choix de la méthode optimale de commande de la plate-forme de course adaptative pour l'organisation du déplacement dans la réalité virtuelle. Pour relever le défi de positionnement de l'utilisateur dans le cadre d'une plateforme de course adaptative, est examinée une approche basée sur les caméras et la vision par ordinateur; cette approche est formalisée et mise en œuvre. L'objectif de l'étude est de choisir la méthode optimale de commande de la plate-forme de course adaptative afin de maximiser le confort de l'utilisateur. lors de la conduite, Est examinée la question de l'isolement de la plate-forme des équipements tiers et des complexes de réalité virtuelle par l'utilisation de la technologie de vision par ordinateur. Sont réalisées des études comparatives de trois fonctions de commande différentes dans le cadre d'une méthode de positionnement basée sur la vision par ordinateur. Sont définies les fonctions de commande à partir des mesures sélectionnées (déviation moyenne et maximale d'une personne par rapport au point de départ, variance et déviation quadratique moyenne de la trajectoire).
Авторы: Обухов Артем Дмитриевич - доктор технических наук, доцент кафедры «Системы автоматизированной поддержки принятия решений»; Патутин Кирилл Игоревич - младший научный сотрудник «Управление фундаментальных и прикладных исследований»; Суркова Екатерина Олеговна - студент; Архипов Алексей Евгеньевич - младший научный сотрудник «Управление фундаментальных и прикладных исследований», ФГБОУ ВО «ТГТУ», Тамбов, Россия.
