CC BY
14Решетнеескцие чтения. 2015
УДК 004.93'12
РАЗРАБОТКА ПРОГРАММНОЙ СИСТЕМЫ ДЛЯ ТРЕНИРОВКИ ДВИГАТЕЛЬНОЙ АКТИВНОСТИ И ИДЕНТИФИКАЦИИ ЖЕСТОВ МЕЛКОЙ МОТОРИКИ РУК, СЧИТЫВАЕМЫХ С ПЕРЧАТКИ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ
Л. А. Маслешов
Специальное конструкторско-технологическое бюро «Наука» КНЦ СО РАН Российская Федерация, 660049, г. Красноярск, просп. Мира, 53 E-mail: [email protected]
Рассматривается процесс разработки программной системы, способной более эффективно влиять на процесс реабилитации космонавтов после полёта. Описана архитектура системы, математическая модель, выявлено ее влияние на процесс реабилитации пациентов.
Ключевые слова: нейрофизиология, геймификация, реабилитация, двигательная активность, динамические системы.
DEVELOPMENT OF SOFTWARE SYSTEM FOR THE TRAINING OF MOTOR ACTIVITY AND IDENTIFICATION OF HAND GESTURE FINE MOTOR SKILLS, READ WITH GLOVES
OF VIRTUAL REALITY
L. A. Masleshov
Special Designed Technological Bureau "Nauka" KSC SB RAS 53, Mira Av., Krasnoyarsk, 660049, Russian Federation E-mail: [email protected]
The paper considers the process of developing a software system, capable to provide more effective influence on the process of rehabilitation of cosmonauts after a flight. It describes the architecture of the system, the mathematical model; the research reveals the influence on the process of rehabilitation ofpatients.
Keywords: neurophysiology, gamification, rehabilitation, motor activity, dynamical systems.
В 2010 году американские ученые из Университета Маркетт в американском штате Висконсин выявили, что время, проведенное в невесомости, приводит к деградации мышц космонавта [1]. Эта проблема не нова. Еще в 1989 году доктор психологических наук В. И. Лебедев писал о крайне плохом физическом состоянии космонавтов, вернувшихся на Землю, а также о том, что процессы их реабилитации и реадаптации к земному притяжению занимают продолжительное время [2].
Группой ученых кафедры нейрофизиологии КГМУ в 1992-1995 гг. было сделано открытие: пациент, получающий специфическую обратную связь в виде звуковых, световых и прочих сигналов, способен довольно быстро и во многих случаях практически полностью восстанавливать расстроенные функции речи и/или двигательной активности [3]. Такой подход возможно применить в процессе восстановления космонавтами утерянных двигательных функций, в частности, при нарушениях мелкой моторики рук. Целью данного проекта является разработка программной системы, которая решает проблему нарушений мелкой моторики рук.
Работа программы осуществляется за счет использования перчатки виртуальной реальности. Данная программная система позволяет считывать информа-
цию о позиционировании и ориентации элементов пальцев и кисти рук путем обработки и анализа данных сенсорных датчиков, расположенных на перчатке, распознавать паттерны мелкой моторики рук, назначать в соответствии с паттернами двигательной активности команды тренажерной программы и осуществлять управление самими тренажерными программами. Продукт использует специализированную библиотеку, в основе которой лежит математическая модель распознавания динамических паттернов двигательной активности.
В основе архитектуры программного продукта лежит трехуровневая модель, позволяющая отделить клиентский, логический уровни и уровень данных. Такой подход удобен при разработке и поддержке приложений, так как позволяет разрабатывать компоненты приложений независимо друг от друга [4].
Структурная схема приложения отображена на рисунке.
Координаты всех подвижных элементов руки формируют общую структуру данных для кинематики кисти StructCommon:
((х, у, 7), (А, В, Г), (Б11, Б12, Б13, Б14, Б15), (Б21, Б22, Б23, Б24, Б25), (Б31, Б32, Б33, Б34, Б35), (А12, А23, А34, А45)).
Программные средства и информационные технологии
Структурная схема программной системы
1. Координаты тыльной стороны ладони (6DOF сенсор):
а) координаты (x, y, z);
б) эйлеровы углы (А, В, Г).
2. Углы сгиба первого сустава пальцев в плоскости сгиба (F11 - большой, F12 - указательный, F13 -средний, F14 - безымянный, F15 - мизинец).
3. Углы сгиба второго сустава пальцев в плоскости сгиба (F21 - большой, F22 - указательный, F23 -средний, F24 - безымянный, F25 - мизинец).
4. Углы сгиба третьего сустава пальцев в плоскости сгиба (F31 - большой, F32 - указательный, F33 -средний, F34 - безымянный, F35 - мизинец).
5. Относительные углы абдоминальных движений пальцев (A12 - угол между большим и указательным пальцем, А23 - угол между указательным и средним пальцем, А34 - угол между средним и безымянным пальцем, А45- угол между безымянным пальцем и мизинцем).
Включение в модель описания кинематики движения предплечья и плеча потребует ввести блок координат, описывающий 6DOF для соответствующих отделов конечности [5]. Кинематика каждого из подвижных отделов руки не является независимой, поэтому при наложенных связях у кисти и предплечья независимыми будут только углы ориентации. Но в данный момент такие движения мы не рассматриваем.
В результате опытной эксплуатации прототипа системы наблюдался значительный прогресс в восстановлении двигательной активности рук.
Библиографические ссылки
1. Ежедневная деловая газета РБК Daily [Электронный ресурс]. URL: http://www.rbcdaily.ru/autonews/ 562949978984680 (дата обращения: 5.09.2013).
2. Лебедев В. И. Личность в экстремальных условиях. М. : Политиздат, 1989. C. 266-277.
3. Руднев В. А., Прокопенко С. В. Новые принципы реабилитации двигательных и речевых функций человека. Красноярск : Гротеск, 1999. С. 50-53.
4. Microsoft Developer Network - MSDN [Электронный ресурс]. URL: https://msdn.microsoft.com/en-us/library/bb384398.aspx (дата обращения: 5.09.2015).
5. 6DOF - Simulation and Finite Elements Web Portal [Электронный ресурс]. URL: http://www. 6dof.com/ (дата обращения: 5.09.2015).
References
1. Ezhednevnaya delovaya gazeta RBK Daily. Available at: http://www.rbcdaily.ru/autonews/5629499 78984680 (accessed: 5.09.2013).
2. Lebedev V. I. Lichnost' v ekstremal'nykh usloviyakh. Moscow : Politizdat, 1989. Рp. 266-277.
Решетнееские чтения. 2015
3. Rudnev V. A., Prokopenko S. V. Novye printsipy reabilitatsii dvigatel'nykh i rechevykh funktsiy cheloveka. Krasnoyarsk : Grotesk, 1999. Рр. 50-53.
4. Microsoft Developer Network - MSDN. Available at: https://msdn.microsoft.com/en-us/library/bb384398. aspx (accessed: 5.09.2015).
5. 6DOF - Simulation and Finite Elements Web Portal. Available at: http://www.6dof.com/ (accessed: 5.09.2015).
© Маслешов Л. А., 2015
УДК 004.932.2
ИДЕНТИФИКАЦИЯ ПЛОСКИХ ПОВЕРХНОСТЕЙ В ПОМЕЩЕНИИ ПО ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
П. В. Мовчан, А. С. Петров
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Представлен метод оценки алгоритмов определения геометрии сцены по данным одной камеры. Предложен вариант алгоритма, а также приведены результаты работы и быстродействия алгоритма.
Ключевые слова: трехмерная структура по движению, анализ сцены, визуальное ориентирование.
IDENTIFICATION OF INDOOR FLAT SURFACES USING VIDEOSEQUENCE
P. V. Movchan, A. S. Petrov
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
Method of algorithm estimation for determining a scene geometry using single camera is represented. Variant of algorithm is proposed and the results of the work and performance of the algorithm are also analyzed.
Keywords: structure from motion, scene analysis, visual orientation.
При возникновении чрезвычайных ситуаций (ЧС) часто появляется необходимость произвести спасательные работы в опасной зоне. Обычно для выполнения работ в такой зоне используют дистанционно управляемых роботов, но при работе в помещениях возникают затруднения в поддержании постоянной связи с таким роботом - стены ограничивают использование радиосигнала, а использование передающего кабеля значительно уменьшает мобильность системы. Возникает необходимость в автономной работе такого робота. Для автономной работы необходимо, используя данные камеры и других датчиков, определять геометрические параметры окружающего пространства.
Для определения базовой геометрии окружающего пространства возможно использование одной камеры. В этом случае производится анализ трёхмерной структуры на основе движения камеры [1] (Structure from Motion, SfM): при изменении положения камеры меняется угол обзора на наблюдаемый объект, благодаря чему возможно определение относительного расположения точек на поверхности объекта.
Для решения задачи на основе SfM используется определённая последовательность действий. В первую очередь необходимо выделить на изображении ключевые точки, относительное положение которых и будет определяться в итоге. Для этого возможно применение какого-либо детектора особых точек.
Используя два соседних изображения, необходимо соотнести одинаковые выделенные точки. В этих целях используется одновременно два подхода: возможно соотнести пары точек на изображениях, используя какой-либо дескриптор (например SURF [2]), а затем отфильтровать полученные пары по какому-либо ограничению. Для фильтрации возможно использовать алгоритм RANSAC [3] как проверенный и хорошо изученный алгоритм. Ограничение подбирается в соответствии с выбранной моделью камеры, модель камеры используется и для преобразования массива пар точек в массив трёхмерных точек. Различные модели камеры используют различное количество внутренних настроечных параметров. Модель аффинной камеры использует только один параметр -масштаб, и потому подходит для простейших случаев
