CC BY
10
DOI 10.36622/VSTU.2022.18.5.006 УДК 681.518
ОПРЕДЕЛЕНИЕ ШАБЛОНА ДВИЖЕНИЯ ПОЛЬЗОВАТЕЛЯ НА ТРЕНАЖЕРЕ
А.А. Сиухин, С.В. Карпушкин Тамбовский государственный технический университет, г. Тамбов, Россия
Аннотация: подготовка и тестирование специалистов горнодобывающей промышленности требует использования специальных устройств на базе беговых тренажеров. Тренажеры должны обеспечивать реалистичные условия передвижения в процессе тестирования, но наличие запаздывания реакции бегового тренажера препятствует своевременной реакции аппаратного обеспечения на действия пользователя. Несвоевременная реакция тренажера выводит пользователей из равновесия, особенно при использовании средств визуального сопровождения - шлемов виртуальной реальности. Описан принцип поиска и использования шаблонов движения пользователя для систем адаптивного управления тренажеров с камерами-наблюдателями, в основе которого - поиск закономерностей в последовательных кадрах от наблюдателей. Закономерности с одинаковым количеством кадров используются для формирования шаблона движения пользователя. Выбор кадров для шаблона осуществлялся по величине среднего модального значения, характеризующего изображение в кадре, поэтому шаблон движения пользователя собирается из кадров, ранее полученных от наблюдателей. Представлен шаблон движения пользователя, полученный в результате реализации описанных принципов. Использование представленного подхода требует внедрения модуля предварительного анализа кадров и не требует изменения конструкции тренажера с камерами-наблюдателями. Описаны перспективы использования найденного шаблона для решения задачи компенсации запаздывания реакции бегового тренажера
Ключевые слова: алгоритм, система управления, беговой тренажер, машинное зрение, компенсация запаздывания, шаблоны действий
Благодарности: исследование выполнялась в соответствии с проектом РФФИ «Разработка модели прогнозирования перемещения человека с использованием мультиагентной системы и цепей Маркова» («Аспиранты») договор № 20-37-90041\20 от 25.08.2020.
Введение
Подготовка и тестирование физического состояния специалистов горнодобывающей промышленности требует применения специальных тренажеров - устройств имитации физических нагрузок (УИФН). Подобные устройства создаются на основе беговых тренажеров и позволяют имитировать наклон местности и контролировать скорость движения бегового полотна.
Эксплуатируемые УИФН имеют схожую конструкцию: беговой тренажер - устройство, с которым взаимодействует пользователь; устройство управления, с которым взаимодействует оператор; наблюдатели -устройства для контроля положения пользователя на беговом тренажере. Часто подобные тренажеры используются с устройствами визуального сопровождения -шлемами и очками виртуальной реальности [15].
Наиболее перспективным направлением развития УИФН являются тренажеры с системами адаптивного управления (САУ)
© Сиухин А.А., Карпушкин С.В., 2022
скоростью бегового полотна. Угол наклона бегового полотна в таких тренажерах определяется согласно наклону местности в устройстве визуального сопровождения, а скорость бегового полотна должна изменяться согласно движению пользователя [6-7].
Адаптация скорости полотна к движению пользователя позволяет выявить отличительную особенностью предметной области беговых тренажеров: пользователь создает внешнее воздействие, на основе которого САУ тренажера рассчитывает управляющее воздействие и задает его беговой платформе, которая создает реакцию на пользователя. Процесс управления беговым тренажером сводится к изменению реакции беговой платформы тренажера на внешнюю среду (т.е. на действия пользователя) [8-14].
Системный анализ предметной области
Системный анализ показал, что при использовании средств визуального
сопровождения пользователей нельзя нагружать дополнительным навесным оборудованием, препятствующим свободе его движений, что ограничивает выбор наблюдателей, которые осуществляют сбор данных положения
пользователя.
УИФН, применяемые при подготовках и тестировании специалистов горнодобывающей промышленности, имеют размеры бегового полотна от 1.5 метров и сложную систему для обеспечения угла наклона, поэтому устанавливаются в отдельных специально оборудованных помещениях. Доступ к тренажеру в процессе подготовки имеет только пользователь.
Для решения задачи контроля пользователя без навесного оборудования на нем могут использоваться только два распространенных типа наблюдателей: ультразвуковой и камеры.
Принцип действия ультразвукового наблюдателя: в устройстве вывода датчика создается ультразвуковая волна, которая отражается от пользователя и должна попасть в устройство ввода датчика. По продолжительности цикла поиска волны определяется расстояние до объекта. Ультразвуковой датчик имеет ограниченную область определения от 0.3-1 метра, при выходе пользователя из этой области, датчик не может адекватно определять его положение. Также этот датчик восприимчив к материалу одежды пользователя - необходимо чтобы материал отражал достаточное количество звуковых волн
[15, 16].
Принцип действия камер-наблюдателей: по кадрам в области определения специальное программное обеспечение определяет положение пользователя и скорость бегового полотна. Камеры позволяют визуально контролировать объекты. Область определения камер от 0.5-5 метров. В отличие от ультразвуковых датчиков, камеры требуют написание специального программного обеспечения для анализа кадров и поиска на них пользователя. Для определения положения пользователя в кадре используются наиболее простые приемы - использование формы пользователя цветом, отличающейся от фона [2, 5, 8-10, 12-14, 17].
Учитывая достаточную область
определения камер, их использование более оправдано для обеспечения контроля положения пользователя на беговом полотне тренажера УИФН. Обеспечение отличия от фона в процессе подготовки обеспечивается простой подготовкой рабочего помещения, например, покраской стен в определенный цвет или установкой хромакея, а также равномерным освещением.
Камеры-наблюдатели передают в УИФН
кадры, на которых его САУ определяет положение пользователя путем сравнения реального кадра положения с кадром положения в состоянии покоя. САУ тренажера определяет пользователя по контрасту с окружающими объектами, далее определяется центр массы пользователя и в беговую платформу передается реакция для совмещения цента массы пользователя с заранее определенной точкой, скорость в которой равняется нулю (состояние покоя). Следовательно, управление скоростью бегового полотна эксплуатируемых тренажеров с камерами наблюдателями осуществляется только по кадрам, получаемым от наблюдателей.
Запаздывание реакции беговой платформы тренажера
Адаптация скорости беговой платформы тренажера требует анализа данных положения пользователя в реальном времени. Определение положения пользователя и расчет скорости бегового полотна приводит к запаздыванию реакций тренажера, которое негативно влияет на вестибулярный аппарат пользователя, препятствуя его естественному перемещению [2, 5, 12-17].
Запаздывание реакции тренажера — это промежуток времени от момента фиксации положения пользователя наблюдателем до приведения скорости тренажера в соответствующее значение. Решение задачи компенсации запаздывания реакции тренажера является актуальной задачей управления беговыми платформами тренажеров.
Результаты исследований, направленных на минимизацию запаздывания реакции тренажера представлены в таблице.
Результаты исследования запаздывания
Исследователь Запаздывание Скорость поль-
реакции САУ, зователя до
сек остановки, м/сек
Hedjazi N. 0.43-0.57 1.2
Lee Н. 0.80 3.0
DeLuca А. 2.00 0.5
Руо S. 2.00 2.5
Описанные работы направлены на минимизацию запаздывания реакции беговых платформ тренажеров путем оптимизации программного и аппаратного обеспечения. Минимальное достигнутое значение 0.43 сек недостаточно для естественного передвижения пользователя на беговой платформе. Корректировки скорости с запаздыванием
бегового полотна негативно влияют на вестибулярный аппарат тренируемого, что препятствует процесс подготовки [8, 10-12, 14].
Шаблоны движения пользователя на беговом тренажере
Ввиду того, что управление осуществляется по кадрам от наблюдателей, а пользователь осуществляет множество одинаковых действий в процессе тренировки необходимо определить шаблоны его действий в виде последовательности кадров от наблюдателей. Использование шаблонов позволит определить продолжительность траектории движения пользователя на несколько кадров вперед. Если продолжительность шаблона больше времени запаздывания реакции тренажера, то шаблон можно использовать для компенсации запаздывания: передавать в САУ тренажера кадры, соответствующие будущему положению пользователя согласно шаблону его действий. Шаблон состоит из кадров и определяется на основе данных, полученных на прошлых тренировках пользователя.
На основе представленной информации сформулирована вербальная постановка задачи исследования: необходимо определить шаблон движения пользователя в виде
последовательности кадров с наблюдателей. Шаблон должен отражать движение пользователя на временном промежутке, превышающем запаздывания реакции тренажера.
Постановка задачи исследования
На основе изложенного материала разработано математическая модель САУ тренажера:
ACS = {{dataj,...},datar,©0} ^{datac,...} ^
где (datai, ■ ■■} — множество ранее зафиксированных кадров пользователя с порядковым номером, полученных от наблюдателей; datar — кадр пользователя в реальном времени; @0 — запаздывание реакции тренажера, измеренное датчиком - является постоянной величиной для каждого тренажера (согласно таблице, ©mm = 0.43 с, ©max = 2 с); {dataa„.} — последовательность кадров положения пользователя из шаблона, передаваемых в САУ вместо datar.
На основе представленной информации сформулирована математическая постановка
задачи структурно-параметрического синтеза шаблона движения пользователя: используя множество ранее зафиксированных кадров
положения пользователя (data1, сформировать шаблон его движения tr:
trr ={dataIд,.••}
Г ç {data1,...}
■}
(2)
продолжительность tri должна превышать запаздывание реакции тренажера ©0:
T ( Г )>©a
T ( Г ) = \trt\
Подготовка кадров
(3)
(4)
Кадры от наблюдателей передаются в виде массивов пикселей, размерность массива зависит от разрешения камеры, каждый пиксель является массивом из трех значений [Я., G, В] и отражает цвет (рис. 1).
Рис. 1. Исходное изображение
Использование наблюдателей предполагает наличие различных физических дефектов -искажения линз, блики света и т.п., которые препятствуют анализу положения пользователя.
Для анализа кадра предлагается привести каждый кадр к единственному значению, характеризующему изображение на нем.
В исследовании использовались камеры наблюдатели с частотой передачи 30 кадров/с, которые передали в алгоритм поиска закономерностей видео, состоящее из 9000 кадров (рис. 1).
Первым этапом является удаление дефектов наблюдателей путем размытия изображений. Для этого используется стандартный метод Averaging из библиотеки анализа изображений OpenCV позволяющий убрать резкость изображений. Фильтр осуществляет вычисление нового значения пикселя в центре квадратной матрицы, учитывающее значение соседних
пикселей. Размеры квадратной матрицы заданы оператором вручную, и зависят от величины помех в кадрах.
Вторым этапом является приведение полученного изображения в черно-белый вид. Эта операция также осуществляется стандартными методами OpenCV, которые позволяют перевести изображение вначале в градации серого, потом в черно-белый вид. При переводе изменяется количество элементов в массивах, характеризующих пиксели: входной пиксель и после размытия [R, G, B], где R, G, B е [0, 255]; в градации серого [Gray], Gray е [0, 255]: в черно-белом формате [BW], BW е [0, 1].
После второго этапа, полученное изображение содержит всего два цвета пикселей 0 (белый) и 1 (черный).
Третьим этапом является формирование шаблона-изображения фона. Фон в УИФН является стационарным, что позволяет использовать его изображение для исключения из анализа в кадрах (рис. 2).
.Jl^lll i ¡1
Рис. 2. Шаблон фона
Четвертым этапом из полученного черно-белого изображения пользователя исключается шаблона-изображения фона (рис. 3).
Рис. 3. Результатирующий кадр поиска пользователя
Оставшееся изображение отражает пользователя и некоторые дефекты, удаление которых требует более сложных и долгих операций, проведение которых не обязательно для решения поставленной задачи.
Анализ потока кадров
Для анализа кадров использовались характеристики - количество пикселей в результирующем кадре поиска пользователя. После поиска характеристик был получен график (рис. 4), на котором представлены точки характеристик: оригинальные - полученные на исходном изображении без размытия; после удаления дефектов - после размытия. Как видно, размытие позволило уменьшить количество черных пикселей, а также убрать значительное количество дефектов наблюдателей.
На рис. 5 представлен увеличенный фрагмент визуализации характеристики положения пользователя. На представленном графике видно определенные закономерности положения точек между точками максимума.
54k
42к О ЮОО 2000 ЗООО 4000 5000 бООО 7000 8000 9000
Номер кадра
° Оригинальные ■ После удаления дефектов Рис. 4. Визуализация характеристик положения пользователя
4Й50 2500 2550 2600 2650 2700 2750 2800 2850 2900
Номер кадра
° Оригинальные ■ После удаления дефектов
Рис. 5. Фрагмент визуализации характеристик положения пользователя
Закономерности рп предполагают повторяющие последовательности одинакового количества кадров и имеющие незначительные различия в значениях характеристик:
Рп ={datan^datan,
где datan1, datan,2 - элементы п-й закономерности, выбранные на основе характеристик из множества ранее зафиксированных кадров положения пользователя (datah ...}; если такие закономерности обнаружены, на их основе можно сформировать шаблон движения пользователя в виде последовательности кадров.
Для поиска значения характеристики, с которой начинаются закономерности k, предлагается:
- методом перебора всех значений определить значение k, которое является максимальным значением характеристики в закономерностяхрп на каждой итерации;
- определить продолжительность Т кадров во фрагменте между ближайшими значениями k;
- не учитывать закономерности, продолжительность которых меньше запаздывания реакции тренажера (3). Для расчета минимального количества кадров в закономерности использовалась формула:
Tmm =®0 •v (кадров); (6)
- определить количество закономерностей п одинаковой продолжительности;
- найти закономерности рп, использующие как можно больше входных кадров, согласно формуле:
K =
T ( Рп )
T ({data^...})
max
; (7)
- из кадров закономерности, удовлетворяющей условию (6), сформировать шаблон движения пользователя.
Определение шаблона движения пользователя
В ходе исследования были также использованы ограничения: п > 1 — если алгоритм определил все входные данные как одну закономерность, что ошибочно, она исключалась, определяется следующее к; в качестве величины запаздывания реакции тренажера использовались данные, полученные в результате системного анализа О0 = 0Шп = 0.43 с ^ ТМг1 = 13 кадров.
В результате поиска последовательностей, при значении к = 47 987 пикселей, была найдена 21 закономерность, продолжительностью Т = 29 кадров каждая (рис. 6 столбцы «Зак. 1-21») с значением К = 0.79 %.
Ввиду того, что каждому значению характеристики соответствует не просто число, а кадр от наблюдателя, значения характеристик в шаблон движения пользователя выбирается из имеющихся кадров. Для решения поставленной задачи выбран первый кадр, соответствующий среднему модальному значению в каждом последовательном кадре закономерностей
продолжительности
с
одинаковой максимальным К:
\datai b = moda í datal b ,...,\datan b )
, (8)
где b - номер кадра.
В результате был получен шаблон движения пользователя продолжительностью Т = 29 кадров (рис. 6 столбец «Шаблон»).
Учитывая разброс значений характеристик каждого кадра в закономерности, кадры, которые будут получены от наблюдателей в процессе тестирования пользователей, необходимо сравнивать не с единственным значением использованном в шаблоне, а с областью значений в каждом кадре (рис. 6 столбец «Область значений»). Область значений представляет промежуток между минимальным и максимальным значениями закономерностей рп, полученными в каждом кадре.
n
Зак. II Зап. №2 Зап. и
Зак. №21 Шаблон Область значений
If i 46981 47399 47005 ... 47907 46927 [46927, 479521
2 45992 46324 46146 ... 47460 45992 [45992, 47817J
3 46106 46524 46063 ... 46477 46063 [46063, 47808]
4 46428 46240 45990 ... 46319 45990 [45990, 47644]
5 46769 46210 45714 ... 45769 45714 [45714, 47906]
6 46624 45798 45636 ... 45687 45636 [45636, 47897]
7 46584 45922 45870 ... 45787 45787 [45787, 47658]
8 46117 45898 46296 ... 45834 46117 [45834, 47666]
9 45990 46239 46445 ... 45295 45295 [45295, 47583]
10 45716 46511 46812 ... 45153 45153 [45153, 47684]
jg 45501 47046 46880 ... 45480 45480 [45480, 47964]
12 45857 47454 47669 ... 46581 45857 [45857, 47723]
13 46991 47318 47200 ... 46921 46184 [46184, 47862]
14 46981 47782 47204 ... 46955 46981 [46095, 47978]
15 47138 47675 46479 ... 47083 45861 [45861, 47881]
16 47040 47434 46517 ... 46884 45543 ¡45543, 47889]
ÏI 46492 47454 45993 ... 46102 44878 [44878, 47494]
18 46510 47178 45266 ... 46207 43814 [43814, 47178]
19 .46604 46307 45074 ... 45095 43829 [43829, 46978]
20 46325 45594 44797 ... 43820 43820 [43820, 46578]
21 45165 45333 44502 ... 44043 43909 [43909, 46268]
22 44680 45177 44292 ... 43591 43591 [43591, 4605Г]
23 44939 44953 44236 ... 43610 43610 ¡43610, 45967]
24 44521 45368 44965 ... 43739 43739 [43739, 460651
25 44629 45655 45325 ... 43957 43957 [43957, 46387]
26 45105 46175 45940 ... 44399 44399 [44399, 47082]
27 45926 46979 46900 ... 44955 44955 [44955, 47599]
28 46877 47477 47070 ... 46089 45738 [45738, 47856]
29 47557 47675 47787 ... 47077 46339 [46339, 47928]
Рис. 6. Результат поиска закономерностей и траектории
Из множества ранее зафиксированных кадров положения пользователя (datai, ■ ■■} (которые также использованы при формировании закономерностей рп) в шаблон движения пользователя выбирается кадр с найденным значением характеристики, а также полученная область значений. Полученный шаблон движения пользователя имеет вид: tr = {{dataa, [46927,47952]}, ...,{data. 29, [46339,47928]}} datan,...,datai 29 e \data1...}
? v"/
где datai,1 - кадр, выбранный из множества {data1, ■..} в палитре [R, G, B], Idata^l = 46927, остальные аналогично.
Найденный шаблон движения пользователя (9) добавляется в базу данных для последующего использования при подготовках и тестированиях пользователя.
Перспективы исследования
Использование шаблонов движения пользователя при тестировании позволяет компенсировать запаздывание САУ тренажера: полученный от наблюдателя кадр пользователя в реальном времени datar сравнивается со значениями первой области определений каждого найденного шаблона движения пользователя, если обнаружено совпадение, то следующий кадр сравнивается со следующей областью значений. Не соответствующие
шаблоны исключаются из сравнения (но остаются в базе данных). Процесс сравнения повторяется, пока входные кадры не будут соответствовать единственному шаблону движения пользователя. Далее, т.к. шаблон содержит кадры, отражающие движение пользователя на некотором промежутке времени, это дает возможность передавать в САУ тренажера кадры будущего положения пользователя, что позволит САУ тренажера своевременно приводить его аппаратное обеспечение к необходимым параметрам (например, своевременно изменять скорость бегового полотна). Передача будущего кадра пользователя из шаблона вместо его реального кадра позволит минимизировать запаздывание реакции тренажера.
Методы исследования
При решении задачи были использованы методы системного анализа, математического моделирования, теории множеств.
Достоверность полученных результатов основана на экспериментальных данных.
Заключение
математическая структурно-движения движение времени, реакции
В представленной работе:
1. Впервые предложена постановка задачи параметрического синтеза шаблона пользователя, описывающего пользователя на промежуток превышающий запаздывание тренажера;
2. Описан алгоритм формирования шаблона движения пользователя на беговой платформе тренажёра с наблюдателями, в основе которого 21 закономерность, найденная в собранных ранее данных;
3. Представлен критерий, позволяющий оценить соответствие найденного шаблона движения пользователя, исходным данным, использованным для его формирования;
4. Представлены результаты тестирования программной реализации поиска шаблона движения пользователя.
Литература
1. Schofield D. The use of virtual simulators for emergency response training in the mining industry // Journal of Emergency Management. 2010. Т. 8. № 2. Р. 45-56.
2. Minetti A. A feedback-controlled treadmill (treadmill-on-demand) and the spontaneous speed of walking and running in humans // Journal of Applied Physiology. 2003. Т. 95. № 2. Р. 838-843.
3. Iwata H. Walking about virtual environments on an
infinite floor // Proceedings IEEE Virtual Reality - IEEE. 1999. P. 286-293.
4. Iwata H., Fujii T. Virtual perambulator: a novel interface device for locomotion in virtual environment // Proceedings of the IEEE 1996 Virtual Reality Annual International Symposium. IEEE. 1996. P. 60-65.
5. Souman J.L. CyberWalk: Enabling unconstrained omnidirectional walking through virtual environments // ACM Transactions on Applied Perception (TAP). 2008. Vol. 8. № 4. P. 1-22.
6. Von Zitzewitz J., Bernhardt M., Riener R. A novel method for automatic treadmill speed adaptation // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2007. Vol. 15. № 3. P. 401-409.
7. Kikuchi T., Sakai K., Ishiya K. Gait Analysis with Automatic Speed-Controlled Treadmill // Journal of Robotics and Mechatronics. 2015. Vol. 27. № 5. P. 528-534.
8. Hedjazi N. An omnidirectional platform design: application to posture analysis // XIV Mediterranean Conference on Medical and Biological Engineering and Computing 2016. Springer, Cham, 2016. P. 602-607.
9. Schwaiger M.C., Thummel T., Ulbrich H. 2d-motion platform: The cybercarpet // Second Joint EuroHaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (WHC'07). IEEE, 2007. P. 415-420.
10. Pyo S.H. Development of an fast-omnidirectional treadmill (f-odt) for immersive locomotion interface // 2018 IEEE International Conference on Robotics and Automation
(ICRA). IEEE, 2018. p. 760-766.
11. Pyo S.H., Lee H., Yoon J. Development of a novel omnidirectional treadmill-based locomotion interface device with running capability // Applied Sciences. 2021. Vol. 11. №. 9. P. 4223.
12. Lee H. Design of the omni directional treadmill based on an omni-pulley mechanism // 2016 13th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI). IEEE, 2016. P. 889-894.
13. Souman J.L. Making virtual walking real: Perceptual evaluation of a new treadmill control algorithm // ACM Transactions on Applied Perception (TAP). 2010. Vol. 7. №. 2. P. 1-14.
14. De Luca A. Motion control of the cybercarpet platform // IEEE Transactions on Control Systems Technology. 2012. P. 410-427.
15. Yoon J., Manurung A., Kim G.S. Impedance control of a small treadmill with sonar sensors for automatic speed adaptation // International Journal of Control, Automation and Systems. 2014. Vol. 12. №. 6. P. 1323-1335.
16. Auralius M., Yoon J.W. An automatic speed control system of a treadmill with ultrasonic sensors // Journal of Institute of Control, Robotics and Systems. 2011. Vol. 17. №. 5. P. 505-511.
17. De Luca A. Control design and experimental evaluation of the 2D CyberWalk platform // 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2009. P. 5051-5058.
Поступила 05.09.2022; принята к публикации 17.10.2022 Информация об авторах
Сиухин Александр Андреевич - аспирант кафедры «Компьютерно-интегрированные системы в машиностроении», Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская 106), е-mail: [email protected], ORCID: https://orcid.org/0000-0002-2810-8932
Карпушкин Сергей Викторович - д-р техн. наук, профессор, профессор кафедры «Компьютерно-интегрированные системы в машиностроении», Тамбовский государственный технический университет (392000, Россия г. Тамбов, ул. Советская 106), е-mail: [email protected], ORCID: https://orcid.org/0000-0001-6886-0646
DETERMINING THE USER'S MOVEMENT PATTERN ON A SIMULATOR A.A. Siukhin, S.V. Karpushkin Tambov State Technical University, Tambov, Russia
Abstract: training and testing of mining industry specialists require the use of special devices based on running simulators. Simulators should provide realistic conditions of movement during testing, but the presence of a delay in the reaction of the running simulator prevents the timely response of the hardware to the user's actions. The untimely reaction of the simulator throws users off balance, especially when using visual aids - virtual reality helmets. The paper describes the principle of searching and using user's movement patterns for adaptive control systems of simulators with observer cameras, which is based on the search for patterns in successive frames from observers. Patterns with the same number of frames are used to form the user's movement pattern. The choice of frames for the template was carried out by the value of the average modal value characterizing the image in the frame, so the user's movement pattern is collected from frames previously received from observers. The paper presents a user movement pattern obtained as a result of the implementation of the described principles. The use of the presented approach requires the introduction of a preliminary frame analysis module and does not require changes in the design of the simulator with observation cameras. The prospects for using the found template for solving the problem of compensating for the reaction delay of a running simulator are described
Key words: algorithm, control system, running simulator, machine vision, delay compensation, action patterns
Acknowledgements: the study was carried out in accordance with the RFBR project "Development of a model for predicting human movement using a multi-agent system and Markov chains" ("Graduate students") contract No. 20-37-90041\20 dated 08.25.2020.
References
1. Schofield D. "The use of virtual simulators for emergency response training in the mining industry", Journal of Emergency Management, 2010, vol. 8, no. 2, pp. 45-56.
2. Minetti A. "A feedback-controlled treadmill (treadmill-on-demand) and the spontaneous speed of walking and running in humans", Journal of Applied Physiology, 2003, vol. 95, no. 2, pp. 838-843.
3. Iwata H. "Walking about virtual environments on an infinite floor", Proc. of IEEE Virtual Reality - IEEE, 1999, pp. 286-293.
4. Iwata H., Fujii T. "Virtual perambulator: a novel interface device for locomotion in virtual environment", Proc. of the IEEE 1996 Virtual Reality Annual International Symposium - IEEE, 1996, pp. 60-65.
5. Souman J.L. "CyberWalk: Enabling unconstrained omnidirectional walking through virtual environments", ACM Transactions on Applied Perception (TAP), 2008, vol. 8, no. 4, pp. 1-22.
6. Von Zitzewitz J., Bernhardt M., Riener R. "A novel method for automatic treadmill speed adaptation", IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2007, vol. 15, no. 3, pp. 401 -409.
7. Kikuchi T., Sakai K., Ishiya K. "Gait analysis with automatic speed-controlled treadmill", Journal of Robotics and Mechatronics, 2015, vol. 27, no. 5, pp. 528-534.
8. Hedjazi N. "An omnidirectional platform design: application to posture analysis", XIV Mediterranean Conference on Medical and Biological Engineering and Computing 2016, Springer, Cham, 2016, pp. 602-607.
9. Schwaiger M.C., Thummel T., Ulbrich H. "2d-motion platform: The cybercarpet", Second Joint EuroHaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (WHC'07). IEEE, 2007, pp. 415-420.
10. Pyo S.H. "Development of a fast-omnidirectional treadmill (f-odt) for immersive locomotion interface", 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018, pp. 760-766.
11. Pyo S.H., Lee H., Yoon J. "Development of a novel omnidirectional treadmill-based locomotion interface device with running capability", Applied Sciences, 2021, vol. 11, no. 9, pp. 4223.
12. Lee H. "Design of the omni directional treadmill based on an omni-pulley mechanism", 201613th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI). IEEE, 2016, pp. 889-894.
13. Souman J.L. "Making virtual walking real: Perceptual evaluation of a new treadmill control algorithm", ACM Transactions on Applied Perception (TAP), 2010, vol. 7, no. 2, pp. 1-14.
14. De Luca A. "Motion control of the cybercarpet platform", IEEE Transactions on Control Systems Technology, 2012, pp. 410427.
15. Yoon J., Manurung A., Kim G.S. "Impedance control of a small treadmill with sonar sensors for automatic speed adaptation", International Journal of Control, Automation and Systems, 2014, vol. 12, no. 6, pp. 1323-1335.
16. Auralius M., Yoon J.W. "An automatic speed control system of a treadmill with ultrasonic sensors", Journal of Institute of Control, Robotics and Systems, 2011, vol. 17, no. 5, pp. 505-511.
17. De Luca A. "Control design and experimental evaluation of the 2D CyberWalk platform", 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2009, pp. 5051-5058.
Submitted 05.09.2022; revised 17.10.2022 Information about the authors
Aleksandr A. Siukhin, graduate student, Tambov State Technical University (106 Sovetskaya Str., Tambov 392000, Russia), e-mail: mr. [email protected], orcid. org/0000-0002-2810-8932
Sergey V. Karpushkin, Dr. Sci. (Technical), Professor, Tambov State Technical University (106 Sovetskaya Str., Tambov 392000, Russia), e-mail: Karpushkin. [email protected], orcid.org/0000-0001-6886-0646
