CC BY
60
4. Semenov V.V. Televizionnyy analizator aerozoley [TV analyzer aerosols], Vysokie tekhnologii, issledovaniya, promyshlennost': Sbornik trudov Devyatoy Mezhdunarodnoy nauchno-prakticheskoy konferentsii «Issledovanie, razrabotka i primenenie vysokikh tekhnologiy v promyshlennosti» [High technology, research, industry: proceedings of Ninth International scientific-practical conference "Research, development and application of high technologies in industry"]. Vol. 2. Sankt-Peterburg 22.04-23.04.2010. St. Peterburg: Izd-vo Politekhn. un-ta, 2010, pp. 260-261.
5. Semenov V. V., Shandra A.S., Yukhnov V.I. Televizionnyy analizator razmerov i form aerozoley [V analyzer sizes and shapes of aerosols], Sovremennye problemy radioelektroniki: Sbornik nauchnykh trudov chetvertoy mezhdunarodnoy nauchnoy konferentsii [Modern problems of radio electronics: proceedings of the fourth international scientific conference]. Rostov-na-Donu, 24 maya 2012 g., Rostov-on-Don. RIO RTIST FGBOU VPO "YuRGUES", 2012, pp. 175-178.
6. Semenov V.V., Khanzhonkov Yu.B., Astsaturov Yu.G. Otsenka potentsial'noy opasnosti vozniknoveniya pollinozov televizionnym analizatorom aerozoleyx [Assessment of potential risk of allergic rhinitis TV analyzer aerosols], Inzhenernyy vestnikDona [Journal of Engineering Don], 2012, No. 4 (Parte 1). Available at: http://www.ivdon.ru/magazine/archive/ n4p1y2012/1278 (dostup svobodnyy).
7. Gonsales R., Vuds R. Tsifrovaya obrabotka izobrazheniy [Digital image processing]. Moscow: Tekhnosfera, 2005, 1072 p.
8. Svidetel'stvo o gosudarstvennoy registratsii programmy dlya EVM. Opredelenie parametrov vzveshennykh chastits proizvol'noy formy [The certificate of state registration of computer programs. Determination of parameters of suspended particles of arbitrary shape], Semenov V.V., Danilenko I.N.; pravoobladatel' FGBOU VPO DGTU, № 2014612128 ot 19.02.2014, zayavka №2014610125 ot 09.01.2014 g.
Статью рекомендовал к опубликованию д.т.н., профессор А.А. Сапронов.
Семенов Владимир Владимирович - Институт сферы обслуживания и предпринимательства филиал Донского государственного технического университета; e-mail: vvsemenov@mail.ru, г. Шахты, ул. Шевченко, 147; тел.: 89185021828; кафедра радиоэлектронных систем; к.т.н.; доцент.
Semenov Vladimir Vladimirovich - Institute of the service sector and entrepreneurship Branch Don State Technical University; e-mail: vvsemenov@mail.ru; 147, Shevchenko street, Shakhty, Russia; phone: +79185021828; the department of radio electronic systems; cand. of eng. sc.; associate professor.
УДК 531.15:612.087
А.Н. Бобылев, П.А. Кручинин, В.А. Чертополохов
СОВМЕСТНАЯ ОБРАБОТКА ПОКАЗАНИЙ ИНЕРЦИАЛЬНОГО БЛОКА И СИСТЕМЫ ВИДЕОАНАЛИЗА*
Рассматривается задача определения параметров относительного расположения осей чувствительности инерциального измерительного блока и маркеров системы видеоанализа, закрепленных на твердом теле. Такая задача актуальна при построении аппаратно-программных комплексов совместной обработки данных видеоанализа движений человека и инерциальных сенсоров при измерениях для биомеханических систем. Предполагается, что маркеры видеоанализа и блок инерциальных сенсоров закреплены на части тела человека, которая моделируется недеформируемым твердым телом. Для определения параметров относительного положения осей чувствительности инерциального измерительного блока и маркеров системы видеоанализа используется «калибровочный» участок из-
* Работа выполнена при поддержке РФФИ (грант № 12-01-00839).
мерений с интенсивными движениями. Записаны уравнения математической модели, которые используют кинематические соотношения сложного пространственного движения, и связывают показания измерительных систем. В число определяемых параметров введены неизвестные систематические и случайные погрешности измерений. Предложен алгоритм идентификации параметров, использующий метод наименьших квадратов с применением технологии мер оцениваемости. Алгоритм опробован экспериментально на макете, имитирующем описанную ситуацию. При тестировании точность решения задачи определения компонент матрицы взаимной ориентации соответствовала повороту на 3°.
Математическая модель; система видеоанализа; инерциальный блок.
A.N. Bobylev, P.A. Kruchinin, V.A. Chertopolokhov
INTEGRATION OF INERTIAL MEASUREMENT UNIT AND MOTION CAPTURE SYSTEM INDICATIONS
In this study we consider the identification of positional relationship parameters for inertial unit and motion capture system axes fixed on a solid body. This problem is topical with creation of hardware-software complexes of joint data processing of human motion capture and inertial sensors in biomechanics. It is supposed that the motion capture system markers and the inertial sensor block are fixed on a human limb modeled by a rigid body. The "calibration" interval of measurements with active motion of body part is used to identify spatial relation parameters of the sensors sensitivity axes for inertial unit and motion capture system markers. The mathematical model equations using kinematic equations for combined motion and integrating different measurement systems indications are given. Both fixed and random errors of sensors measurements are included in this model. The parameter identification algorithm based on iterative least squares method and the technique of estimation measures is suggested. The algorithm has been tested experimentally using the model imitating the described situation. The accuracy of the problem solution to define the mutual orientation matrix components was corresponded to spin displacement of 3 degrees.
Mathematical model; motion capture system; inertial unit.
Современные экспериментальные методы в биомеханике активно используют различные виды измерительных систем, использующих акселерометры, силовые платформы и др. Особенно широкое распространение в последние годы получила технология, основанная на анализе видеоизображений движения [1-3] . Эта технология распространена в спортивной медицине, при обследовании больных с нарушениями опорно-двигательной системы и других смежных областях. Одна из традиционных схем исследования движений человека с использованием системы видеоанализа заключается в следующем. На характерные точки на теле человека наклеиваются светоотражающие маркеры (катафоты). Человек совершает движения, записываемые несколькими видеокамерами. При компьютерной обработке видеозаписи определяются координаты этих характерных точек. Эти координаты могут использоваться для вычисления углов в суставах скелетного многозвенника и дальнейшего анализа движений человека.
Анализ движений с помощью каждой системы в отдельности могут затруднить значительные инструментальные погрешности и неточности в определении некоторых параметров [4]. В частности, недостатком системы видеоанализа является наличие сбоев при обработке изображений [1 . Сбои возникают, например, если видеокамеры не видят одного из маркеров или не могут распознать два маркера при их расположении вблизи оси объектива одной из камер. Тогда возникает задача восстановления утерянных показаний системы видеоанализа на интервале времени сбоев. В этом случае может применяться подход состоящий в комплекси-ровании нескольких наборов измерений разной природы с использованием мате-магических моделей движения [5-7]. Для комплексирования с измерениями систем видеоанализа предлагается использовать современные малогабаритные легкие
блоки инерциальных МЭМС датчиков [7] . Важность задачи развития методов совместной обработки показаний системы видеоанализа и инерциальных датчиков подтверждается актуальностью проблемы реконструкции информации о движении человека [1-3, 8].
Примером применения подобных методов может также служить задача восстановления показаний системы видеоанализа при совместной обработке с измерениями акселерометра [7] . При этом обязательной подзадачей является определение значений ряда параметров математической модели, в том числе систематических погрешностей сенсоров, с использованием полного набора измерений всех датчиков на интервале времени, не содержащем сбоев. Родственная задача возникает в связи с разработкой аппаратуры для исследования движения головы космонавта на орбите при решении проблемы компенсации нарушений вестибулярного аппарата.
Пусть на голову испытуемого может плотно одеваться шлем с инерциальным блоком, включающем трехкомпонентные акселерометр и датчик угловой скорости, закрепленном в произвольном месте (рис. 1). На шлеме и голове в характерных точках размещаются несколько маркеров, так чтобы с высокой точностью было известно их относительное расположение с осями вестибулярного аппарата. Координаты маркеров в неподвижных осях комнаты измеряются системой видеоанализа. Требуется смоделировать в лаборатории на Земле показания акселерометра при движении в невесомости в проекциях на оси чувствительности вестибулярного аппарата. Для этого моделирования необходимо вычесть из показаний трехкомпонентного акселерометра вектор удельной силы тяжести. Это возможно, так как предварительная калибровка системы видеоанализа выставляет одну из осей комнаты вертикально. Тогда задача сводится к определению параметров, задающих положение маркеров в осях датчиков инерциального блока.
Маркеры системы видеоанализа
Трехкомпонентный динамический блок
Рис. 1. Устройство шлема, оснащенного динамическим блоком
Пусть на твердом теле жестко закреплены трехкомпонентный динамический блок и группа маркеров, неподвижных относительно друг друга. Предполагается, что система видеоанализа способна распознать группу маркеров как тестовое твердое тело, однозначным образом связать с ним систему координат мхм ум гм и определить её ориентацию Т0 (1) и координаты центра г0 в неподвижных осях
комнаты Ох°у°. С осями чувствительности датчиков инерциального блока свял А А А л ^
зан трехгранник Ах у г , где А - центр чувствительной массы акселерометра.
Относительное расположение и ориентация трехгранников Мхмумгм и АхлуАгА могут быть произвольными.
Пользуясь теоремой Кориолиса о сложении ускорений, можно получить выражения для векторов ускорения ^ точки А и угловой скорости ^ трехгранника
Лxлyлzл в осях хАуА:
ГА = ГА(Т.г,г°,а,аа) , ^ = fa(T,а,а), (1)
где а(1) = а(Т° (1)) - углы поворота Крылова, Т - матрица перехода от осей Хлу,м2л к осям хА уА , г - вектор мА в осях хмум2м. Т иг - неизвестные параметры,
Показания акселерометра и датчика угловой скорости ^, fa содержат неизвестные заранее систематические А^, Ает и случайные , погрешности:
= ^ + АА + , 4 = Ъ + К + (2)
Аналогично значения углов а , вычисленные по показаниям системы видеоанализа, содержат случайные ошибки : ~ = а + .
Подстановка выражений (1) в (2) дает нелинейные соотношения, связывающие измерения акселерометра, ДУС и системы видеоанализа. В отсутствие автоматической синхронизации по времени записей показаний измерительных систем необходимо ввести синхронизирующий параметр т :
а (1 + т) = fA (Т, г, а°, а®, а (1), Й(1)) + А А + % А (О,
+ т) = ^(Т, а(0, а (1)) + Аа+ Ш-Соотношения (3) можно рассматривать, как уравнения относительно неизвестных параметров: матрицы Т и вектора р = (гт, А Ат, Атт ,т).
Значения параметров могут быть получены путем сведения исходной задачи к линейной и использования итерационного алгоритма оценивания. Для этого параметры представляются в виде суммы априорных значений Т , р и малых отклонений:
Т = Т + уТ„ = (Е + у)Т„, р = Ра + рд, (4)
где Е + у - матрица малого поворота на углы у. Такое представление матрицы Т сохраняет ее ортогональность. Подстановка (4) в (3) и линеаризация уравнений по
малым независимым параметрам q = 1 ^ I, дает соотношения, которые будучи
1.РД )
записанными для каждого момента времени, формируют переопределенную линейную систему:
,~(1), (~(1), ¿¿(1), ~ (0,~>М = с(~°, а®, а®, ггс/),?А (о,Ш)+п , (5)
где п - вектор, зависящий от случайных ошибок %А,%а.
Оценка вектора q доставляется решением системы (5) методом наименьших квадратов с применением метода сингулярного разложения [9] для случая, если одна или несколько компонент вектора окажется ненаблюдаемой. По компонентам вектора q вычисляются оценки T , p , используемые в качестве опорных значений на следующей итерации алгоритма.
Проведение численного моделирования с анализом сингулярных чисел матрицы B позволило разработать набор движений, обеспечивающих наилучшую наблюдаемость для параметров. Эти движения состоят из последовательных поворотов с ускорением вокруг каждой оси чувствительности акселерометра и ДУС.
Разработанный алгоритм оценки параметров опробован на результатах эксперимента, в котором движение головы моделировалось поворотами платформы (рис. 2). На платформу жестко крепился инерциальный блок ADIS16405 фирмы Analog Devices, оснащенный трехкомпонентным акселерометром и датчиком угловой скорости с совпадающими осями чувствительности. Также на платформе закреплялась жесткая конструкция с набором светоотражающих маркеров, положение которой отслеживалось системой видеотрекинга ARTtrack2 производства фирмы A.R.T. GmbH (Германия), состоящей из восьми инфракрасных видеокамер и вычислителя. Платформа устанавливалась на штатив со сферическим шарниром. Выполнялись плавные колебательные повороты платформы в окрестности каждой из трех осей. Проводилась запись показаний системы видеоанализа и инерциального блока. Грубая синхронизация данных измерительных систем выполнялась вручную по моментам времени фиксации импульсных движений в начале и конце записи. Измерения подвергались предварительному сглаживанию с помощью окна Ханна шириной 1 с.
Рис. 2. Экспериментальный макет
В соответствии с предложенным алгоритмом после трех итераций были получены оценки ~ . Анализ компонентов сингулярного разложения матрицы В показал, что наилучшие оценки удается получить для углов поворота у и ошибки ручной синхронизации т .
Оценки T иг сравнивались со значениями, полученными на основе предварительных измерений расстояний между маркерами и характерными точками на корпусе инерциального блока. Матрица T ориентации определяется с точность до поворота на ~3° , при этом ошибка определения вектора г превышала 20 %. Такая информация представляется достаточной для решения задачи восстановления сбойной информации систем видеоанализа с угловыми погрешностями ~1°. Для оценки ускорений движений головы информация представляется грубой, и требует разработки уточненных процедур.
Таким образом предлагаемая процедура позволяет вычислять ориентацию с приемлемой точностью и не позволяет корректно определять радиус вектор, соединяющий начала координатных осей. Этот вывод подтверждается сингулярным разложением матрицы B . Следует отметить, что аналогичная процедура оценивания T при использовании априорных значений для вектора г позволяет определять ориентацию с той же точностью с применением упрощенного алгоритма. Одним из возможных резервов повышения точности может являться использование более аккуратных процедур сглаживания данных сенсоров типа [10] .
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Piazzal T., Lundström J., Kunz A., Fjeld M. Predicting Missing Markers in Real-Time Optical Motion Capture // Lecture Notes in Computer Science. - 2009. - Vol. 5903. - P. 125-136.
2. Воронов А.В., Доценко В.И., Титаренко Н.Ю. Трёхмерный (объёмный) компьютерный видеоанализ движений в оценке прогноза и эффективности нейрореабилитации пациентов с резидуальным нейромоторным дефицитом // Медицинский алфавит. - 2010.
- T. 21, № 4. - С. 10-15.
3. Померанцев А.А., Коршиков В.М., Воробьев Г.А. Алгоритмизация реконструкции пространственных координат для кинематического анализа техники спортивных движений, выходящих из фронтальной плоскости с использованием одной видеокамеры // Вестник спортивной науки. - 2010. - № 2. - C. 15-20.
4. Кручинин П.А. О моделях погрешностей при обработке измерений в биомеханике // Известия ЮФУ. Технические науки. - 2010. - № 9 (110). - С. 21-25.
5. Kuo A.D. A Least-Squares Estimation Approach to Improving the Precision of Inverse Dynamics Computations // Journal of Biomechanical Engineering. - 1998. - Vol. 120, Feb.
- P. 148-159.
6. Мишанов А.Ю., Кручинин П.А. Меры оцениваемости в задаче восстановления показаний системы видеоанализа движений человека по измерениям нормальной реакции опоры // Российский журнал биомеханики. - 2008. -T. 12, № 3. - C. 58-73.
7. Бобылев А.Н., Болотин Ю.В., Воронов А.В., Кручинин П.А. О двух модификациях метода наименьших квадратов в задаче восстановления утерянной информации системы видеоанализа по показаниям акселерометра // Российский журнал биомеханики. - 2012.
- T. 16, № 1.- C. 89-101.
8. Tautges J., Zinke A., Krüger B., Baumann J., Weber A., Helten T., Müller M., Seidel H.-P., Eberhardt B. Motion Reconstruction Using Sparse Accelerometer Data // ACM Trans. Graph.
- 2011. - Vol. 30, № 3. -P. 18:1-18:12.
9. Александров В.В. и др. Оптимальное управление движением. - М.: Физматлит, 2005. -376 c.
10. Бугров Д., Лебедев А., Чертополохов В. Оценка угловой скорости вращения тела при помощи системы трекинга // Вестник Московского университета. Сер. 1. Математика и механика. - 2014. - № 1. - С. 68-71.
REFERENCES
1 Piazzal T., Lundström J., Kunz A., Fjeld M. Predicting Missing Markers in Real-Time Optical Motion Capture, Lecture Notes in Computer Science, 2009, Vol. 5903, pp. 125-136.
2 Voronov A.V., Dotsenko V.I., Titarenko N.Yu. Trekhmernyy (ob"emnyy) komp'yuternyy videoanaliz dvizheniy v otsenke prognoza i effektivnosti neyroreabilitatsii patsientov s rezidual'nym neyromotornym defitsitom [Three-dimensional (volumetric) computer analysis of movements in the assessment of prognosis and the effectiveness of neurorehabilitation of patients with residual neuromotor deficit], Meditsinskiy alfavit [Medical alphabet], 2010, Vol. 21, No. 4, pp. 10-15.
3 Pomerantsev A.A., Korshikov V.M., Vorob'ev G.A. Algoritmizatsiya rekonstruktsii pro-stranstvennykh koordinat dlya kinematicheskogo analiza tekhniki sportivnykh dvizheniy, vykhodyashchikh iz frontal'noy ploskosti s ispol'zovaniem odnoy videokamery [Algorithmic reconstruction of the spatial coordinates for the kinematic analysis techniques of sports movements, leaving the frontal plane using a single camera], Vestnik sportivnoy nauki [Herald Sports Science], 2010, No. 2, pp. 15-20.
4 Kruchinin P.A. O modelyakh pogreshnostey pri obrabotke izmereniy v biomekhanike [About models of errors when processing measurements in biomechanics], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2010, No. 9 (110), pp. 21-25.
5 Kuo A.D. A Least-Squares Estimation Approach to Improving the Precision of Inverse Dynamics Computations, Journal of Biomechanical Engineering, 1998, Vol. 120, Feb, pp. 148-159.
6 Mishanov A.Yu., Kruchinin P.A. Mery otsenivaemosti v zadache vosstanovleniya pokazaniy sistemy videoanaliza dvizheniy cheloveka po izmereniyam normal'noy reaktsii opory [Measures activemode in the restoration of evidence system video analysis of human movements from measurements of the normal reaction support], Rossiyskiy zhurnal biomekhaniki [Russian journal of biomechanics], 2008, Vol. 12, No. 3, pp. 58-73.
7 Bobylev A.N., Bolotin Yu.V., Voronov A.V., Kruchinin P.A. O dvukh modifikatsiyakh metoda naimen'shikh kvadratov v zadache vosstanovleniya uteryannoy informatsii sistemy video-analiza po pokazaniyam akselerometra [About two modifications of the method of least squares in the problem of lost data recovery video Analytics on the accelerometer readings], Rossiyskiy zhurnal biomekhaniki [Russian journal of biomechanics], 2012, Vol. 16, No. 1, pp. 89-101.
8 Tautges J., Zinke A., Krüger B., Baumann J., Weber A., Helten T., Müller M., Seidel H.-P., Eberhardt B. Motion Reconstruction Using Sparse Accelerometer Data, ACM Trans. Graph, 2011, Vol. 30, No. 3, pp. 18:1-18:12.
9 Aleksandrov V.V. i dr. Optimal'noe upravlenie dvizheniem [Optimal control of movement]. Moscow: Fizmatlit, 2005, 376 p.
10 Bugrov D., Lebedev A., Chertopolokhov V. Otsenka uglovoy skorosti vrashcheniya tela pri pomoshchi sistemy trekinga [Estimation of the angular speed of rotation of the body through a system of tracking], Vestnik Moskovskogo universiteta. Ser. 1. Matematika i mekhanika [Bulletin of Moscow University. Series 1. Mathematics and mechanics], 2014, No. 1, pp. 68-71.
Статью рекомендовал к опубликованию д.ф.-м.н., профессор Ю.В. Болотин.
Бобылев Алексей Николаевич - Московский государственный университет им. М.В. Ломоносова; e-mail: balex89@gmail.com; 119992, г. Москва, Ленинские горы; тел.: 84959393383; аспирант.
Кручинин Павел Анатольевич - e-mail: pkruch@mech.math.msu.su; к.ф.-м.н.; доцент.
Чертополохов Виктор Александрович - e-mail: andorantes@gmail.com; ассистент.
Bobylev Aleksey Nikolaevich - Moscow Lomonosov State university; e-mail: balex89@gmail.com; Lenin hills, Moscow, 119992, Russia; phone: +74959393383; postgraduate student.
Kruchinin Pavel Апа^Иеу^ - e-mail: pkruch@mech.math.msu.su; cand. of phis.-math. sc.; associate professor.
Chertopolokhov Victor Aleksandrovich - e-mail: andorantes@gmail.com; assistant professor.
