Научная статья на тему 'Технология распознавания жестов Leap Motion'

Технология распознавания жестов Leap Motion Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

CC BY
215
80
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
LEAP MOTION / API / РАСПОЗНАНИЕ ЖЕСТОВ / LEAP VIEWER

Аннотация научной статьи по электротехнике, электронной технике, информационным технологиям, автор научной работы — Пшеничная Е.О.

В данной статье рассматривается технология Leap Motion. Особое внимание уделено системе показателей, которые дают подробную информация о руках, пальцах, предметах, находящихся в руке. Описываются основные показатели: как угол поворота, углы в продольном и поперечном направлении руки, кривизна руки и т.д. Также было выделено четыре типа жестов управления контроллером. В качестве примера приведено приложение Leap Viewer.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Технология распознавания жестов Leap Motion»

При этом происходит концентрация интеллектуальных и финансовых ресурсов на создании широко тиражируемых высококачественных учебных материалов и программ, обусловливающих высокий уровень профессионализма прошедших обучение, что экономически выгодно для всего общества. В рамках создания описанного контента развивается концепция непрерывного образования и образования взрослых. Представленная технология определяет основные направления в развитии новой образовательной системы, которая ориентирована на реализацию высокого потенциала компьютерных и телекоммуникационных технологий [9].

Список литературы:

1. Бендукидзе А.Д. Золотое сечение / А.Д. Бендукидзе // Квант. - 1973. -№ 8. - С. 20.

2. Логачёв М.С. Корпоративные информационные системы и системы поддержки образовательного контента: сб. тезисов. - М.: МГУП, 2011.

3. Побединский А. Освещение при студийной фотосъемке / А. Победин-ский [Электронный ресурс]. - Режим доступа: http://www.photoline.ru.

4. Полат Е.С. Педагогические технологии дистанционного обучения: учеб. пособие / Е.С. Полат, М.В. Моисеева, А.Е. Петров; под ред. Е.С. Полат. - М.: Академия, 2006. - 392 с. - (Высшее профессиональное образование. Педагогические специальности).

5. Солдаткин В.И. Основы открытого образования. Т. 1 / А.А. Андреев, С.Л. Каплан; отв. ред. В.И. Солдаткин. - М.: НИИЦ РАО, 2002. - 676 с.

6. Стародуб Д.О. Азбука фотографии. - М.: Искусство, 1990. - 304 с.

7. Филиппович Ю.Н. Семантика информационных технологий: опыты словарно-тезаурусного описания / Ю.Н. Филиппович, А.В. Прохоров. - М.: МГУП, 2002. - 200 с. - (Компьютерная лингвистика).

8. Хуторской А.В. Дистанционное обучение и его технологии / А.В. Хуторской // Компьютерра. - 2002. - № 36. - С. 32.

9. Чванова М.С. Факторы перехода дистанционных технологий подготовки специалистов на новый уровень // Вестник ТГУ - 2010. - № 5. - С. 5-10.

ТЕХНОЛОГИЯ РАСПОЗНАВАНИЯ ЖЕСТОВ LEAP MOTION

© Пшеничная Е.О.*

Институт космических и информационных технологий Сибирский федерального университета, г. Красноярск

В данной статье рассматривается технология Leap Motion. Особое внимание уделено системе показателей, которые дают подробную ин-

* Студент кафедры Информационных систем.

формация о руках, пальцах, предметах, находящихся в руке. Описываются основные показатели: как угол поворота, углы в продольном и поперечном направлении руки, кривизна руки и т.д. Также было выделено четыре типа жестов управления контроллером. В качестве примера приведено приложение Leap Viewer.

Ключевые слова Leap Motion, API, распознание жестов, Leap Viewer.

В настоящее время технологии направлены на разработку устройств, обеспечивающих управление цифровой техникой при помощи жестикуляции. Можно сказать, что управление жестами в воздухе становится реальностью, но пока находится только на начальном этапе. Одним из ярких представителей является устройство The Leap от компании Leap Motion.

Leap Motion представляет собой технологию, основанную на «захвате» движения для взаимодействия человека с компьютером. The Leap - это периферийное USB-устройство ввода, которое позволяет пользователям взаимодействовать с ПО через жесты. Принцип работы контроллера простой -Leap Motion создает 3Б-область взаимодействия объемом около 227 куб. дц., в которой располагаются руки для работы [1].

Подробную информацию о руках пользователя, пальцах, предметах, находящихся в руке (например, ручка), а также жестах, расположенных в пределах примерно полусферического объема от 25 до 600 мм выше центра контроллера, дают API сведения.

Позиционная информация рассчитывается в миллиметровых единицах по отношению к этой центральной точке устройства, используя левостороннюю систему координат (как на рис. 1), с пространственной точностью около 0,01 мм.

Набор направленной, скоростной и вращательной информации является доступным. Например, возможно прочитать скорость ладони руки, ее вектор

Рис. 1. Центр контроллера и оси [2]

направления относительно пальцев и ее угла вращения по часовой стрелке вокруг того вектора (использование правила правой руки). Информация вращения может быть извлечена в матричной форме или как угол поворота, угол в продольном направлении и угол в поперечном направлении, как на рис. 2.

+Y

Рис. 2. Угол поворота, углы в продольном

и поперечном направлении руки [2]

На рис. 1 и 2 изображена только одна действующая рука, однако Leap Motion способен к обработке жестов нескольких рук (т.е. 2 и более), пока они находятся в пределах рабочего пространства

Изгибы ладоней выражаются в терминах центр и радиус сферы, которые соответствует изгибу (рис. 3).

Рис. 3. Изгибы ладоней [2]

Как показано на рис. 3, сфера уменьшается в размерах, когда пользователь сгибает свои пальцы.

Leap собирает информацию в кадры, что позволяет рассчитывать скорость и другие данные, зависимые от времени (например, жесты), как последовательную смену кадров, зависящую от частоты кадров. Этот параметр можно регулировать на панели управления Leap, однако «сбалансированные» значения отслеживания по умолчанию Windows7 подаёт 10 кадров в секунду со средним временем обработки кадра 4 миллисекунды. Кадр собирается из изображений, полученных с двух камер и трёх инфракрасных светодиодов внутри контроллера.

Leap способен различать пальцы и инструменты (которые длиннее, тоньше и прямее, чем палец); пример из руководство пользователя показывает руки, держащие палочку. Пальцы и инструменты имеют много свойств, которые отображаются в API, создавая классы «Палец» и «Инструмент». Информация включает длину, ширину, положение кончика, направление и скорость.

Каждой обнаруженной руке, пальцу, инструменту или жесту присваивается уникальный идентификатор. Это может быть использовано на уровне программирования для отслеживания отдельного объекта между кадрами. Например, если палец на мгновение исчез от датчиков Leap от остальной части руки, то будет присвоен новый идентификатор, когда она наблюдается рядом.

В настоящее время API поддерживает четыре типа жестов:

- окружность - палец описывает окружность;

- взмах - линейное движение руки;

- ключевое нажатие - постукивающее движение пальцем, подобно нажатию клавиши на клавиатуре;

- экранное нажатие - постукивающее движение, подобное нажатию на вертикальную поверхность, типа экрана.

Примеры показаны на рис. 4.

Жесты

Circle

Swipe

Key Тар

Screen Тар

Рис. 4. Жесты Leap [2]

«Ключевое» и «экранное» нажатия не требуют от пользователя нажатия клавиши или на экране. Жест рассматривает с точки зрения последовательности движения пальцев.

Другие пространственные представления

Наиболее позиционные данные представляются в миллиметрах x-, y- и z-расстояния относительно центра контроллера, которые показаны на рис. 1. Однако, можно использовать три другие системы координат: экран, поле взаимодействия и зона касания.

Класс API - «Экран» описывает положение и ориентацию пользовательского монитора относительно системы координат Leap. Данные включают нижний левый угол экрана, направление векторов для горизонтальной и вертикальной осей экрана, и нормальный вектор экрана. Класс предлагает несколько пересечений методов, которые рассчитывают, как направление вектора руки пересекается с экраном. Точки пересечения определяются с помощью нормализованных координат экрана.

Исходные данные экрана считываются с положения в нижнем левом углу, с правого верхнего угла нормализуется и становится (1,1). Это означает, что x- и y-значения точки пересечения должны находиться в пределах от 0 до 1 (его z-значение всегда 0).

Поле взаимодействия представляет собой прямоугольное пространство над Leap, которое падает полностью в видимое пространство (рис. 5).

+Y

Стандартная координата Leap (т.е. одна определенная точка относительно центра Leap) может быть сопоставлена с точкой по отношению к полю. Значение масштабируется таким образом, чтобы объем поля рассматривался как единица куба с его началом отсчета минимального угла (самый левый, меньший и самый отдаленный угол по отношению к пользователю).

Зона касания может быть использована с объектов (т.е. палец или инструмент) для реализации поведения контакта, как без необходимости фактически коснуться любой физической поверхности (например, экран). Зона контакта разделена на парение и касание зон, которые определены расстоянием касания, располагающее между -1 и 1, как на рис. 6.

Рис. 6. Зоны парения и касания [2]

Например, расстояние вытянутой руки для пальцев на рис. 6 будет около 0,5 с указанием того, что он был в режиме зоны парения.

Информация о тех или иных значениях рассмотренных показателей отображается в приложении Leap Viewer.

Информация разделена на три широкие группы: кадр, рука и жесты. Рис. 7 указывает, что пользователь в настоящее время взмахнул рукой слева направо над Leap. Видны все пять пальцев, и рука находится в плоскости согласно уровню вращения детали (угол поворота, углы в продольном и поперечном направлении).

[A| Letp Controller Viewer | a

Frame Info

ID: [367239 ~| Timestamp: |334-93803579 No. Hands: [7j No. Fingers: [Fj No.Tools: |Fj No. Gestures: |Fj Hand Info

No. Fingers: |s | Avg.TIp Pos: 1(82 123.5 14.7) I Palm Pos; |(-B.1.126.7. 55.4) Box Palm Pos: 1(0.5.11.1.11.9)

Pitch (around x-axIs}: |17 | Yaw [around y-axls}: |17 Roll (around z-axls): |-9 | Radius: [ Touching:

Gestures Into

□ Circle ID: | | № | Mo.Circuits: | | Radius: | Angle: | State: | 0 Swipe ID; |376 | Pos: |(95.8.145.1. -11.9) | Dir: 1(0.9.-0.2.0.4) I Speed: [561.0 J State; |ST.ATE_UPDATE

□ Screen Tap ID; | Pos: ^^^^ Dir: | | State: | | Finger ID: |

□ Key Tap lit | Pos: Dir: | | State: | | Finger ID: |

Рис. 7. Leap Viewer [2]

Данные обновляются примерно каждые 100 мс. Небольшое количество информации по-прежнему идет на стандартный вывод, в том числе некоторые параметры конфигурации и детали о «экранном» и «ключевом» нажатиях, которые в противном случае, происходят слишком быстро, чтобы быть прочитанными из текстовых полей с графическим интерфейсом.

Leap Motion способен распознавать руку, вычленяя пальцы, а также регистрировать жесты, выполняемые рукой. Добавление третьей оси координат расширило функционал устройства. Данные преимущества делают устройство наиболее привлекательным для специалистов, работающих в области моделирования.

Список литературы:

1. Leap Motion [Электронный ресурс] // Википедия - свободная энциклопедия. - Режим доступа: http://ru.wikipedia.org/wiki/Leap_Motion.

2. Andrew Davidson. Java Prog. Techniques for Games [Электронный ресурс]. - 2013. - Режим доступа: http://fivedots.coe.psu.ac.th/~ad/jg/nui14a/ leapMotion.pdf.

ОЦЕНКА ХАРАКТЕРИСТИК ТРАНСПОРТНЫХ ПОТОКОВ НА ОСНОВЕ ДАННЫХ МОНИТОРИНГА

© Филимонов Р.Н.*

Институт космических и информационных технологий Сибирского федерального университета, г. Красноярск

Рассматривается проблема регулирования и управления транспортными потоками в связи с повышением нагрузки на дорожно-транспортную сеть. Изучаются современные методы и подходы анализа транспортных потоков на основе использования данных пространственного и временного мониторинга. Проводится сравнительный анализ детерминированных и стохастических моделей. Для оценки характеристик транспортного потока, имеющих стохастический характер, предлагается использовать интервальный и гистограммный подходы, применение которых способствуют снижению уровня неопределенности в данных и позволяют получать дополнительную информацию об изучаемых параметрах в условиях неопределенности. Приводятся численные примеры.

Ключевые слова: транспортный поток, мониторинг данных, стохастические модели, интервальный и гистограммный подходы, интервальная и гистограммная арифметика.

В настоящее время исследование транспортных потоков представляет собой важную задачу. В современных мегаполисах задача регулирования и

* Магистрант кафедры Информационных систем.

i Надоели баннеры? Вы всегда можете отключить рекламу.