Отслеживание и классификация движения головы по данным нашлемного инерциального измерительного модуля Текст научной статьи по специальности «Компьютерные и информационные науки»

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2017 Том 17 № 5 ISSN 2226-1494 http://ntv.i1mo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2017 Vol. 17 No 5 ISSN 2226-1494 http://ntv.ifmo.ru/en

УДК 681.5; 004.5

ОТСЛЕЖИВАНИЕ И КЛАССИФИКАЦИЯ ДВИЖЕНИЯ ГОЛОВЫ ПО ДАННЫМ НАШЛЕМНОГО ИНЕРЦИАЛЬНОГО ИЗМЕРИТЕЛЬНОГО МОДУЛЯ

А.И. Щеколдин", Н.Ю. Дема", А.Д. Шевяков", С.А. Колюбин"

a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: s.kolyubin@corp.ifmo.ru Информация о статье

Поступила в редакцию 10.07.17, принята к печати 31.08.17 doi: 10.17586/2226-1494-2017-17-5-798-804 Язык статьи - русский

Ссылка для цитирования: Щеколдин А.И., Дема Н.Ю., Шевяков А.Д., Колюбин С.А. Отслеживание и классификация движения головы по данным нашлемного инерциального измерительного модуля // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 5. С. 798-804. doi: 10.17586/2226-1494-2017-17-5-798-804

Аннотация

Предмет исследования. Представлен метод классификации и отслеживания движения головы оператора на основе данных, получаемых от инерциального измерительного модуля (IMU), установленного в шлеме виртуальной реальности. Проведена экспериментальная апробация полученного алгоритма, предложен способ его использования для управления мобильным роботом с шестью степенями свободы. Метод. Задача решена с помощью комплексной фильтрации поступающих сигналов с гироскопа с использованием фильтра Калмана и нелинейного фильтра. Определение шаблона движения головы оператора основывается на вычислении коэффициента детерминации и сравнения его с пороговым уровнем. Полученные результаты. В ходе работы был получен алгоритм однозначной оценки шаблона движения головы оператора, который система управления может интерпретировать как сигнал управления. Практическая значимость. Полученные в работе алгоритмы могут быть использованы в широком классе систем, например, для управления мобильными роботами телеприсутствия, которые оснащены отдельным подвесом для управления направлением камеры и управляются с помощью шлема виртуальной реальности. Также разработанный алгоритм будет применяться в реализации мобильной роботизированной платформы, оснащенной системами технического зрения, навигации и дополненной реальности, создание которой планируется в рамках практико-ориентированной научно-исследовательской и опытно-конструкторской работы в Университете ИТМО. Ключевые слова

распознавание движений, фильтрация сигналов, фильтр Калмана, нелинейный фильтр, робот телеприсутствия

TRACKING AND CLASSIFICATION OF HEAD MOVEMENT BY INERTIAL

MEASUREMENT UNIT DATA A.I. Shchekoldin", N.Yu. Dema", A.D. Shevyakov", S.A. Kolyubin"

a ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: s.kolyubin@corp.ifmo.ru Article info

Received 10.07.17, accepted 31.08.17 doi: 10.17586/2226-1494-2017-17-5-798-804 Article in Russian

For cation: Shchekoldin A.I., Dema N.Yu., Shevyakov A.D., Kolyubin S.A. Tracking and classification of head movement by inertial measurement unit data. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2017, vol. 17, no. 5, pp. 798-804 (in Russian). doi: 10.17586/2226-1494-2017-17-5-798-804

Abstract

Subject of Rese"rch. We present the algorithm for tracking and classification of the operator's head movement according to the data obtained from an IMU (inertial measuring unit) installed in the helmet of virtual reality. We performed experimental testing of the developed algorithm and proposed the way of its application for control of mobile robot with six degrees of freedom. Method. The problem is solved by complex filtering of input signals from the gyroscope with the Kalman filter and the dead-zone filter. The definition of the operator's head movement pattern is based on determination coefficient calculation and its comparison with the threshold level. M"in Results. We have developed an algorithm for unambiguous evaluation of the operator's head movement that can be interpreted by the control system as a control signal. Practic"! Relev"nce. Presented algorithms can be used in a wide range of systems, for example, for controlling mobile telepresence robots that have special suspension for camera guidance control and are controlled with the use of virtual reality helmet. The

developed algorithm will be applied also in the implementation of mobile robotic platform, equipped with computer vision systems, navigation and augmented reality, that is planned to be created in the framework of practice-oriented research and development work at ITMO University. Keywords

motion detection, signal filtering, Kalman filter, death-zone filter, telepresence robot

В настоящий момент все большую популярность получают шлемы дополненной, виртуальной и смешанной реальностей. Область их применения начинается от развлекательных [1] и образовательных [2] целей и заканчивается применением в промышленности [3] и военном деле [4]. Подобные шлемы являются крайне удобным и перспективным интерфейсом для взаимодействия с пользователем и все чаще применяются в робототехнике [5, 6].

В настоящей работе предложен способ отслеживания и классификации движения головы оператора по данным, получаемым с нашлемного инерциального измерительного модуля. Системы отслеживания положения головы оператора широко применяются в авиации [7-9], в частности, в военных целях для целеуказания [10]. В то же время существует ряд задач, где исключительно отслеживания движения недостаточно, а требуется его классификация. В настоящей работе отдельное внимание уделяется именно вопросам классификации движений головы оператора.

Задачи классификации решаются различными способами [11, 12]. Например, в видеоиграх для классификации движений головы оператора нередко используют отдельные системы, такие как Kinect [13]. Авторами предлагается имплементировать метод, основанный на вычислении коэффициента детерминации и сравнении его с пороговым уровнем. Получаемые данные могут быть использованы, в частно -сти, в роботехнических системах телеприсутствия. Существуют роботы, использующие шлемы виртуальной реальности как один из пользовательских интерфейсов [14]. Одно из самых ранних упоминаний подобных проектов - это VERDEX Project [15].

Если рассматривать управление роботами телеприсутствия, то в них зачастую необходимо одновременно контролировать 3 степени свободы самой мобильной платформы и 3 дополнительные степени свободы подвеса камеры. При этом в ряде приложений виртуальной и дополненной реальности [3] руки оператора не могут быть задействованы для этого, например, если с помощью жестов подаются вспомогательные команды или, помимо робота и камеры, нужно управлять установленными на борту манипуляторами, т.е. команды должны обрабатываться на основе анализа движений головы.

Таким образом, использование данных, получаемых от нашлемного инерциального измерительного модуля, их интерпретирование в зависимости от шаблонов движений головы оператора и преобразование в команды управления движением представляет собой крайне актуальную задачу.

Отслеживание движения. Для классификации и отслеживания движения головы оператора на первом шаге необходимо получить соответствующую динамическую модель. Система может быть упрощенно описана как перевернутый маятник на сферическом шарнире (рис. 1). Модельным допущением в данном случае является наличие точки фиксации ниже сферического шарнира.

Модель движения головы оператора при этом будет описываться дифференциальным уравнением второго порядка:

Введение

Постановка задачи

Рис. 1. Схематичное представление системы

M (q )q + C (q, q )q = F,

(1)

где q = [ x, y, z, 0, y, X]7 - вектор обобщенных координат, включающий три линейные ( x, y, z ) и три угловые координаты: углы крена y, тангажа 0 и рыскания X ; M (q) - матрица инерции; C (q, q) - матрица кориолисовых и центробежных сил; F - вектор внешних сил и моментов. Подробный вывод M ( q), C (q, q), F для подобной системы отражен в работах [16-18].

При рассмотрении движения головы человека нам необходимо ограничить изменение обобщенных координат q. Ограничения будут варьироваться от человека к человеку в связи с уникальными физическими данными (длина шеи, рост, физическая подготовка и т.д.) [19]. Опишем их следующими неравенствами:

-5 см < x < 5 см;

0 см < y < 10 см;

z = 0;

-45o < 0 < 45o;

-45o < y < 45o;

-90o < X < 90o.

Обработка измерений. При рассмотрении сигналов, получаемых с инерциального измерительного модуля, нас интересуют показания угловых скоростей 0 , y, X. Программное обеспечение используемого в работе шлема виртуальной реальности способно выдавать отфильтрованные измерения угловых координат, однако такой способ - очень медленный (около 100 мс). При этом можно получать данные, отражающие изменение угловых скоростей, значительно быстрее, но эти сигналы не могут быть использованы без предварительной фильтрации, так как имеют высокий уровень аналогового шума (рис. 2, а):

0 = 0 + е0,

y = y + ey ,

X = X + 8x ,

где £(— обозначает соответствующий аддитивный шум. Аналогичные уравнения верны и для линейных скоростей:

x = x+ex, y=y+£y, z=z + £z .

Шум в сигналах инерциального измерительного модуля может быть не гауссовым, состоять из нескольких компонентов, таких как случайное блуждание угла, фликкер-шум, дрейф [20, 21]. Исходя из этого, мы не можем использовать фильтр низких частот, фильтр высоких частот или полосовой фильтр, так как шумы не имеют явного частотного распределения.

Алгоритм отслеживания и классификации движения головы оператора

Главной задачей разработанного алгоритма является формирование команд управления, используя данные об угловой скорости головы оператора. Для классификации движения головы оператора авторы использовали легкие для запоминания и интуитивно понятные шаблоны движения головы.

- Шаблон 1. «Поворот» - медленный поворот головы оператора в сторону поворота платформы с одновременным наклоном макушки в ту же сторону.

- Шаблон 2. «Остановка» - запрокидывание головы назад выше определенного угла.

- Шаблон 3. «Движение вперед» - вращение головы, описывающее символ бесконечности.

Первым этапом при распознавании шаблонов движения головы оператора является фильтрация поступающих сигналов.

Первичная фильтрация сигнала происходит в каскаде фильтров. Первый фильтр в каскаде - это фильтр Калмана [22], а второй - нелинейный фильтр [23]. Нормальные векторы, рассчитанные по необработанным данным датчика MEMS, унаследовали помехи и шумы из разных источников и поэтому не могут использоваться непосредственно для представления позиции. Исходя из этого, фильтр Калмана используется впоследствии для оценки состояния наблюдений. В частности, это позволяет также применять концепцию слияния датчиков, если используется более одного датчика, например, для контроля наклона или ускорения. Фильтр Калмана представляет собой набор математических уравнений, в которых используется рекурсивное средство для оценки основного состояния системы путем минимизации сред-неквадратической ошибки. В настоящее время фильтр Калмана и его расширенная версия широко используются в отслеживании целей, навигации и других соответствующих областях обработки данных.

Первым шагом фильтра Калмана является построение модели, представляющей серию данных. Переменная состояния х рассматривается как выражение дискретного линейного стохастического разностного уравнения, а измеренное значение г описывается как линейная функция от х:

хк = Ак-1 + Вик + «к,

2к = Щ + Ук ,

где А - матрица перехода состояния, связывающая состояние на предыдущем временном шаге к-1 с состоянием на текущем шаге к, выводится на основе линеаризации уравнения (1); ик - дополнительный вход управления; В - матрица входов; - вектор шума процесса; Н - матрица измерений; Ук - вектор шума измерений.

Используя фильтр Калмана, получаем точное представление угловых скоростей (б^,\(/^,X^).

Фиксированные параметры фильтра выбираются на основании шумовых характеристик отдельного датчика. На выходе фильтра на пиках амплитуд сигналов датчиков во время движений человека мы избавляемся от высокочастотного шума. Для точного разделения высокоамплитудных движений и случайных поворотов используется нелинейный фильтр. Все сигналы с амплитудным значением ниже определенного уровня обрезаются, так как их амплитудная характеристика не может быть действительной для определенного движения. Пороговое значение определяется при первоначальной настройке системы. На рис. 2, б, показан сигнал без измерений в зоне нечувствительности.

-10000

-I-1-г

7000 8000 9000

Время, мс

■ х-сигнал у-сигнал г-сигнал

а

1-1-1-г

10000 7000 8000 9000

Время, мс Отфильтрованный сигнал б

10000

Рис. 2. Данные об угловой скорости, получаемые с гироскопа шлема виртуальной реальности: первичный сигнал без фильтрации (последовательность) (а); сигнал после прохождения фильтра

Калмана и всего каскада фильтров (б)

После начала движения и до его окончания отклонение амплитуды сигнала от нулевого значения может быть использовано для обнаружения движения. Значения отклонения могут быть разными для каждой оси. Эти параметры настраиваются в процессе обучения.

Исходным сигналом для определения жеста являются данные движения для каждой оси и список идеальных паттернов. Подготовка данных содержит следующие операции: удаление нулевого интервала по сигналу для каждой оси, нормировка сигналов по амплитуде в диапазоне от -1 до 1, нормировка сигналов по времени в интервале от 0 до 1.

Нормировка сигнала по уровню может быть представлена следующим образом. Пусть х, - уровень сигнала в момент времени , тогда максимальное значение во всей последовательности измерений, соответствующей конкретному жесту длительности, равно

ЫI = тах( х1,| Хг|,...,| хп |).

В соответствии с этим сигнал подвергается следующему преобразованию:

х.

Х =Д|-. (2)

В результате сигналы для каждой оси будут находиться в интервале от -1 до 1.

Кроме того, сигналы должны быть нормированы по времени в интервале от 0 до 1. Пусть изначально сигнал от измерительного преобразователя регистрируется на интервале времени от ta до 4 и представляется дискретной последовательностью из / точек, где / - частота измерений. Тогда уровень сигнала в произвольный момент времени может быть рассчитан с использованием метода линейной интерполяции по формуле

I. -1

х = ха + (хЬ - ха ) у-у ,

где xa и xb - уровни сигнала в моменты времени ta и tb соответственно, пересчитанные по формуле (2), причем

?п = ИР

где \\t\\x = tb -ta - длительность сигнала.

В результате предыдущих операций измерения угловых скоростей по каждой из осей движения представляются в интервале времени от 0 до 1 и интервале значений от -1 до 1, а далее агрегируются в

виде последовательностей y = | y1, y2,..., yf J.

Для сравнения нормализованного сигнала движения головы и сигнала идеального жеста используется метод, основанный на коэффициенте детерминации. Метод основывается на определении доли полного изменения входного сигнала по сравнению с моделью. Исходными сигналами для сравнения являются нормализованные данные датчиков и идеальные сигналы жестов, которые имеют одинаковые амплитуду и размерность (длину). Для сравнения этих сигналов коэффициент определения может быть рассчитан с использованием следующего выражения:

R2 ^ 1 - SSres, j

j SS,, '

tot

f 2 f

где SSres, j = £(y, - у/) - сумма квадратов остатков регрессии; SSo = ^(y, - y )2 - общая сумма квад-

i=1 ,-=1

_ 1 f „ . г„ . „ . „

ратов, пропорциональная дисперсии данных, y =—^y,, а yj =| y/,y2j,...,y/ I - последовательность

f ,=1

измерений эталонного сигнала, где j = 1, 2,3 - индекс соответствующего паттерна (шаблона).

После каждого вычисления R2 = max. (R2) (оно должно быть больше 0,5) будет отображаться наиболее похожий шаблон. Если R2 > 0,7, то жесты аналогичны [24]. Другие шаблоны менее похожи, но, если есть другие Rj^, > 0,5, то они могут использоваться в дополнение к основному шаблону, что

обеспечивает адаптивность алгоритма [25].

Результаты экспериментов с разными людьми представлены в таблице.

Шаблон Количество экспериментов min (Я2) max (R2)

1 16 0,7245 0,9621

2 10 0,8032 0,9914

3 10 0,7655 0,9921

Таблица. Результаты эксперимента по распознаванию шаблонов движения Имплементирование полученного алгоритма для управления роботизированной платформой

В качестве примера использования полученного алгоритма можно рассматривать систему мобильного робота с управляемым подвесом для камеры. Данная система обладает шестью степенями свободы, и для полного управления всеми степенями свободы мы должны распознавать шаблонные движения головы оператора.

Мобильная роботизированная платформа, на примере которой будет рассматриваться работа алгоритма, состоит из движущей части, навигационной системы с сенсорным оснащением, бортового компьютера и электромеханического подвеса для контроля и стабилизации направления стереокамеры. Пользовательский интерфейс состоит из шлема виртуальной реальности Oculus Rift [26], который предполагается использовать как основной интерфейс управления. В шлеме виртуальной реальности оси IMU-сенсора математически сдвинуты от датчика к центру головы оператора [27].

Данные с гироскопа фильтруются и передаются в блок распознавания шаблонов движений и интегратор. Блок управления базой принимает на вход нормированные от нуля к единице параметры K = {kf, ks, ki, kr}, характеризующие распознаваемые движения (kf - команда вперед, ks - стоп, k - влево и kr - вправо) и максимальную амплитуду угла поворота шлема вокруг вертикальной оси при распознавании команды «вперед», нормированную от нуля к единице, где единица - соответствующий максимальному значению скорости угол поворота головы. Также на вход данного блока поступают данные с лазерного сканирующего дальномера.

Задающие команды в виде линейной иЬ и угловой юЬ скорости рассчитываются следующим обра-

зом:

_ ) i n max >

ub =

l-ßn

I 0,

kf > 0 kf = 0 ' ks > 0 и vb > 0 иначе

0, к, = 0 и к = 0

I у иначе

^ I п >

где рп и уп - углы тангажа и крена головы соответственно, также нормированные к единице.

Заключение

В данной работе авторами был предложен и разработан алгоритм распознавания шаблонов движения головы оператора, исходя из данных, получаемых с инерциального измерительного модуля шлема виртуальной реальности, и описано применение алгоритма при реализации управления мобильным роботом. При работе алгоритма распознавания шаблонов мы анализируем данные, получаемые с гироскопов, и используем эти данные для однозначного определения команды управления. Полученные алгоритмы могут быть использованы для контроля мобильных роботов, управляемых при помощи шлема виртуальной реальности, и при реализации системы управления большинства роботов телеприсутствия.

10.

11.

12.

Литература

Kade D., Aksit K., Urey H., Ozcan O. Head-mounted mixed reality projection display for games production and entertainment // Personal and Ubiquitous Computing. 2015. V. 19. N 3-4. P. 509-521. doi: 10.1007/s00779-015-0847-y Chow J., Feng H., Amor R., Wunsche B.C. Music education using augmented reality with a head mounted display // Proc. 4th Australasian User Interface Conference (AUIC2013). Adelaide, Australia, 2013. V. 139. P. 73-79.

Caudell T.P., Mizell D.W. Augmented reality: an application of heads-up display technology to manual manufacturing processes // Proc. 25th Hawaii Int. Conf. on System Sciences. Kauai, USA, 1992. V. 2. P. 659-669. doi: 10.1109/hicss.1992.183317 Livingston M.A. et al. An augmented reality system for military operations in urban terrain. Proc. Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC'02). Orlando, Florida, 2002. P. 1-8.

Kot T., Novak P. Utilization of the Oculus Rift HMD in mobile robot teleoperation // Applied Mechanics and Materials. 2014. V. 555. P. 199-208. doi:

10.4028/www.scientific.net/amm.555.199 Choi W.H., Kim D.U., Jie M.S. Development of 3-dimensional motion recognition based wireless transceiver for HMD // Advanced Science and Technology Letters. 2016. V. 140. P. 129-133. doi: 10.14257/astl.2016.140.25

Грабовская Е.Ю., Павлова С.В. Анализ стратегий информационного обеспечения интерфейсов пилот-самолет // Кибернетика и вычислительная техника. 2013. №1. С. 78-88. Карпов А.А., Ронжин А.Л., Усов В.М. Инструментальная методика тестирования интерактивного бесконтактного человеко-машинного взаимодействия при использовании шлема виртуальной реальности // Пилотируемые полеты в космос. 2015. № 3(16). С. 43-53.

Кучерявый А.А. Бортовые информационные системы. Курс лекций / Под ред. В.А. Мишина, Г.И. Клюева. 2-е изд. Ульяновск: УлГТУ, 2004. 504 с.

Себряков Г.Г., Бурлак Е.А., Набатчиков А.М. Адаптивные алгоритмы программного управления визирными устройствами ДПЛА // XII всероссийское совещание по проблемам управления ВСПУ-2014. Москва, 2014. С. 64086413.

Priandani N.D., Tolle H., Utaminingrum F. Real time advanced head movement recognition for application controller based on Android internal gyroscope sensor // International Journal of Advances in Soft Computing and its Applications. 2017. V. 9. N 1. P. 70-87.

Raisy C.D., Vashisth S., Salhan A.K. Real time acquisition of

10.

11

References

Kade D., Aksit K., Urey H., Ozcan O. Head-mounted mixed reality projection display for games production and entertainment. Personal and Ubiquitous Computing, 2015, vol. 19, no. 3-4, pp. 509-521. doi: 10.1007/s00779-015-0847-y Chow J., Feng H., Amor R., Wunsche B.C. Music education using augmented reality with a head mounted display. Proc. 4th Australasian User Interface Conference, AUIC2013. Adelaide, Australia, 2013, vol. 139, pp. 73-79. Caudell T.P., Mizell D.W. Augmented reality: an application of heads-up display technology to manual manufacturing processes. Proc. 25th Hawaii Int. Conf. on System Sciences. Kauai, USA, 1992, vol. 2, pp. 659-669. doi: 10.1109/hicss.1992.183317

Livingston M.A. et al. An augmented reality system for military operations in urban terrain. Proc. Interservice/Industry Training, Simulation, and Education Conference, I/ITSEC'02. Orlando, Florida, 2002, pp. 1-8. Kot T., Novak P. Utilization of the Oculus Rift HMD in mobile robot teleoperation. Applied Mechanics and Materials, 2014, vol. 555, pp. 199-208. doi: 10.4028/www.scientific.net/amm.555.199 Choi W.H., Kim D.U., Jie M.S. Development of 3-dimensional motion recognition based wireless transceiver for HMD. Advanced Science and Technology Letters, 2016, vol. 140, pp. 129-133. doi: 10.14257/astl.2016.140.25 Grabovskaya E.Yu., Pavlova S.V. Analysis of strategies of proving information to pilot/airplane interface. Kibernetika i Vychislitel'naya Tekhnika, 2013, no. 1, pp. 78-88. (In Russian)

Karpov A.A., Ronzhin A.L., Usov V.M. Instrumental methods of testing contactless human-machine interaction when using a helmet-mounted display. Pilotiruemye Polety v Kosmos, 2015, no. 3, pp. 43-53. (In Russian)

Kucheryavyi A.A. On-Board Information Systems. Lecture Course. Eds. V.A. Mishin, G.I. Klyuev. 2nd ed. Ul'yanovsk, UlSTU Publ., 2004, 504 p. (In Russian) Sebryakov G.G., Burlak E.A., Nabatchikov A.M. Adaptive algorithms for software control of sighting devices of remotely-piloted aircrafts. Proc. XII All-Russia Meeting on Control Problems. Moscow, 2014, pp. 6408-6413. (In Russian)

Priandani N.D., Tolle H., Utaminingrum F. Real time advanced head movement recognition for application controller based on Android internal gyroscope sensor. International Journal of Advances in Soft Computing and its Applications, 2017, vol. 9, no. 1, pp. 70-87.

EMG signal and head movement recognition // International Journal of Computer Applications. 2013. V. 73. N 1. P. 19-22. doi: 10.5120/12705-9501

13. Lee D., Lim H. Virtual reality contents using the OculusLift and Kinect // Proceedings of the MCSI. 2015. V. 8. P. 102-105.

14. Curtis D., Mizell D., Gruenbaum P., Janin A. Several devils in the details: making an AR application work in the airplane factory // Proc. IEEE Workshop on Augmented Reality (IWAR'98). San Francisco, USA, 1998. P. 47-60.

15. Stone R. Virtual reality and telepresence // Robotica. 1992. V. 10. N 5. P. 461-467. doi: 10.1017/S0263574700010663

16. Angeli D. Almost global stabilization of the inverted pendulum via continuous state feedback // Automatica. 2001. V. 37. N 7. P. 1103-1108. doi: 10.1016/s0005-1098(01)00064-4

17. Zampieri G. Nonholonomic versus vakonomic dynamics // Journal of Differential Equations. 2000. V. 163. N 2. P. 335347. doi: 10.1006/jdeq.1999.3727

18. Yoon M.G. Dynamics and stabilization of a spherical inverted pendulum on a wheeled cart // International Journal of Control, Automation and Systems. 2010. V. 8. N 6. P. 1271-1279. doi: 10.1007/s12555-010-0612-y

19. LoPresti E., Brienza D.M., Angelo J. Computer head control software to compensate for neck movement limitations // Proc. 2000 Conf. on Universal Usability, UCC. Arlington, USA, 2000. P. 147-148. doi: 10.1145/355460.355551

20. Zhang P., Gu J., Milios E.E., Huynh P. Navigation with IMU/GPS/digital compass with unscented Kalman filter // IEEE Int. Conf. on Mechatronics and Automation. Niagara Falls, Canada, 2005. V. 3. P. 1497-1502. doi: 10.1109/icma.2005.1626777

21. Sukkarieh S., Nebot E.M., Durrant-Whyte H.F. A high integrity IMU/GPS navigation loop for autonomous land vehicle applications // IEEE Transactions on Robotics and Automation. 1999. V. 15. N 3. P. 572-578. doi: 10.1109/70.768189

22. Julier S.J., Uhlmann J.K. New extension of the Kalman filter to nonlinear systems // Proc. SPIE. 1997. V. 3068. doi: 10.1117/12.280797

23. Xie L., Soh Y.C., de Souza C.E. Robust Kalman filtering for uncertain discrete-time systems // IEEE Transactions on Automatic Control. 1994. V. 39. N 6. P. 1310-1314. doi: 10.1109/9.293203

24. Nagelkerke N.J.D. A note on a general definition of the coefficient of determination // Biometrika. 1991. V. 78. N 3. P. 691-692. doi: 10.2307/2337038

25. Dougherty E.R., Kim S., Chen Y. Coefficient of determination in nonlinear signal processing // Signal Processing. 2000. V. 80. N 10. P. 2219-2235. doi: 10.1016/s0165-1684(00)00079-7

26. Hilfert T., Konig M. Low-cost virtual reality environment for engineering and construction // Visualization in Engineering. 2016. V. 4. N 1. P. 2. doi: 10.1186/s40327-015-0031-5

27. Lavalle S.M., Yershova A., Katsev M., Antonov M. Head tracking for the Oculus Rift // Proc. IEEE Int. Conf. on Robotics and Automation. 2014. P. 187-194. doi: 10.1109/icra.2014.6906608

Авторы

Щеколдин Алексей Игоревич - заведующий лабораторией, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, AShchekoldin@gmail.com

Дема Николай Юрьевич - инженер, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Nicko_Dema@protonmail. com

Шевяков Александр Дмитриевич - программист, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ashevyakov@corp. ifmo.ru

Колюбин Сергей Алексеевич - доцент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, s.kolyubin@corp.ifmo.ru

12. Raisy C.D., Vashisth S., Salhan A.K. Real time acquisition of EMG signal and head movement recognition. International Journal of Computer Applications, 2013, vol. 73, no. 1, pp. 19-22. doi: 10.5120/12705-9501

13. Lee D., Lim H. Virtual reality contents using the OculusLift and Kinect. Proceedings of the MCSI, 2015, vol. 8, pp. 102-105.

14. Curtis D., Mizell D., Gruenbaum P., Janin A. Several devils in the details: making an AR application work in the airplane factory. Proc. IEEE Workshop on Augmented Reality, IWAR'98. San Francisco, USA, 1998, pp. 47-60.

15. Stone R. Virtual reality and telepresence. Robotica, 1992, vol. 10, no. 5, pp. 461-467. doi: 10.1017/S0263574700010663

16. Angeli D. Almost global stabilization of the inverted pendulum via continuous state feedback. Automatica, 2001, vol. 37, no. 7, pp. 1103-1108. doi: 10.1016/s0005-1098(01)00064-4

17. Zampieri G. Nonholonomic versus vakonomic dynamics. Journal of Differential Equations, 2000, vol. 163, no. 2, pp. 335-347. doi: 10.1006/jdeq.1999.3727

18. Yoon M.G. Dynamics and stabilization of a spherical inverted pendulum on a wheeled cart. International Journal of Control, Automation and Systems, 2010, vol. 8, no. 6, pp. 1271-1279. doi: 10.1007/s12555-010-0612-y

19. LoPresti E., Brienza D.M., Angelo J. Computer head control software to compensate for neck movement limitations. Proc. 2000 Conf. on Universal Usability, UCC. Arlington, USA, 2000, pp. 147-148. doi: 10.1145/355460.355551

20. Zhang P., Gu J., Milios E.E., Huynh P. Navigation with IMU/GPS/digital compass with unscented Kalman filter. IEEE Int. Conf. on Mechatronics and Automation. Niagara Falls, Canada, 2005, vol. 3, pp. 1497-1502. doi: 10.1109/icma. 2005.1626777

21. Sukkarieh S., Nebot E.M., Durrant-Whyte H.F. A high integrity IMU/GPS navigation loop for autonomous land vehicle applications. IEEE Transactions on Robotics and Automation, 1999, vol. 15, no. 3, pp. 572-578. doi: 10.1109/70.768189

22. Julier S.J., Uhlmann J.K. New extension of the Kalman filter to nonlinear systems. Proc. SPIE, 1997, vol. 3068. doi: 10.1117/12.280797

23. Xie L., Soh Y.C., de Souza C.E. Robust Kalman filtering for uncertain discrete-time systems. IEEE Transactions on Automatic Control, 1994, vol. 39, no. 6, pp. 1310-1314. doi: 10.1109/9.293203

24. Nagelkerke N.J.D. A note on a general definition of the coefficient of determination. Biometrika, 1991, vol. 78, no. 3, pp. 691-692. doi: 10.2307/2337038

25. Dougherty E.R., Kim S., Chen Y. Coefficient of determination in nonlinear signal processing. Signal Processing, 2000, vol. 80, no. 10, pp. 2219-2235. doi: 10.1016/s0165-1684(00)00079-7

26. Hilfert T., Konig M. Low-cost virtual reality environment for engineering and construction. Visualization in Engineering, 2016, vol. 4, no. 1, pp. 2. doi: 10.1186/s40327-015-0031-5

27. Lavalle S.M., Yershova A., Katsev M., Antonov M. Head tracking for the Oculus Rift. Proc. IEEE Int. Conf. on Robotics and Automation, 2014, pp. 187-194. doi: 10.1109/icra.2014.6906608

Authors

Aleksey I. Shchekoldin - Head of the laboratory, ITMO University, Saint Petersburg, 197101, Russian Federation, AShchekoldin@gmail.com

Nikolay Yu. Dema - engineer, ITMO University, Saint Petersburg, 197101, Russian Federation, Nicko_Dema@protonmail.com

Alexander D. Shevyakov - programmer, ITMO University, Saint Petersburg, 197101, Russian Federation,

ashevyakov@corp.ifmo.ru

Sergey A. Kolyubin - Associate Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, s.kolyubin@corp.ifmo.ru