CC BY
29. Романов А.В. О вариационном принципе Лагранжа микрополярной теории упругости в случае трансвер-сально-изотропной среды // Вестн. Моск. ун-та. Матем. Механ. 2022. № 4. 35-39.
10. Романов А.В. О вариационном принципе Лагранжа микрополярной теории упругости в случае ортотроп-ной среды // Вестн. Моск. ун-та. Матем. Механ. 2023. № 1. 68-72.
11. Романов А.В. О вариационном принципе Лагранжа микрополярной теории упругости при неизотермических процессах // Вестн. Моск. ун-та. Матем. Механ. 2023. № 2. 64-68.
12. Кунин И.А. Теория упругих сред с микроструктурой: Нелокальная теория упругости. М.: Наука, 1975.
13. Эринген А.К. Теория микрополярной упругости. Разрушение / Под ред. Г. Либовица. Т. 2. Математические основы теории разрушения. М.: Мир, 1975. 646-751.
14. Zienkiewicz O.C., Taylor R.L., Zhu J.Z. The Finite Element Method: Its Basis and Fundamentals. 7th ed. Oxford: Butterworth-Heinemann, 2013.
15. Романов А.В. Применение метода редуцированного и селективного интегрирования в задачах микрополярной теории упругости // Вестн. Моск. ун-та. Матем. Механ. 2024. № 1. 65-69.
16. Lakes R.S. Experimental methods for study of Cosserat elastic solids and other generalized continua // Continuum Models for Materials with Micro-structure / Ed. by H. Muhlhaus. N.Y.: J. Wiley, 1995. 1-22.
17. Lakes R.S. Experimental microelasticity of two porous solids // Int. J. Solids and Struct. 1986. 22, N 1. 55-63.
18. Lakes R.S. Cosserat micromechanics of structured media: Experimental methods // Proc. Amer. Soc. Composites. 3rd Technical Conf. Sept. 25-29. Seatle, 1988. 505-516.
Поступила в редакцию 14.06.2023
УДК 53.088.4
ОПРЕДЕЛЕНИЕ НАЧАЛА ПОВОРОТА ГОЛОВЫ
В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ ПРИ ПОМОЩИ ИНЕРЦИАЛЬНЫХ ДАТЧИКОВ
А. А. Петров1, В. В. Латонов2, А. П. Кручинина3
Отслеживание движений человека и определение их особенностей часто необходимо при разработке устройств, которые человек носит на себе или использует в производстве. В связи с этим задача детектирования начала вращения представляется актуальной и имеет множество приложений в бионавигации и биомеханике. Одна из главных сложностей в этих задачах — минимизация задержки обнаружения детектируемого движения. В работе рассматривается задача детектирования момента начала поворота головы при помощи закрепленных на ней инерциальных датчиков — трехосных акселерометра и датчика угловых скоростей. Необходимость определения начала поворота головы возникает при попытке решения задачи дополнения вестибулярной информации в специальных условиях, например для решения проблемы вестибулосенсорного конфликта, возникающего в состоянии невесомости.
Ключевые слова: космический эксперимент, поворот головы, акселерометр, датчик угловых скоростей, инерциальные датчики, вестибулярный аппарат.
Human movements capture and determining their features is often necessary in the development of devices worn by a person or used by him in development. In this regard, the problem of detecting the beginning of rotation seems to be relevant and has many applications in bionavigation and biomechanics. One of the main difficulties in these tasks — minimizing the
1 Петров Александр Андреевич — студ. ф-та космических исследований МГУ, e-mail: [email protected].
Petrov Alexandr Andreevich — Student, Lomonosov Moscow State University, Faculty of Space Research.
2Латонов Василий Васильевич — канд. физ.-мат. наук, ст. науч. сотр. Научного центра мирового уровня "Сверхзвук", e-mail: [email protected].
Latonov Vasiliy Vasilevich — Candidate of Physical and Mathematical Sciences, Senior Research Scientist оf World-Class Scientific Center "Supersonic".
3Кручинина Анна Павловна — канд. физ.-мат. наук, ассист. каф. прикладной механики и управления мех.-мат. ф-та МГУ, e-mail: [email protected].
Kruchinina Anna Pavlovna — Candidate of Physical and Mathematical Sciences, Assistant, Lomonosov Moscow State University, Faculty of Mechanics and Mathematics, Chair of Applied Mechanics and Control.
© Петров А. А., Латонов В. В., Кручинина А. П., 2024 © Petrov A. A., Latonov V.V., Kruchinina A. P., 2024
delay in detecting the detected motion. In this paper the problem of detecting the head turn beginning by inertial sensors data fixed on it — three-axis accelerometer and CRS — is considered. The requirement to determine the head turn beginning appears when trying to solve the problem of supplementing vestibular information under special conditions, for example, to solve the problem of the vestibulo-sensory conflict that occurs in a state of weightlessness.
Key words: space experiment, head rotation, accelerometer, angular velocity sensor, inertial sensors, vestibular apparatus.
DOI: 10.55959/MSU0579-9368-1-65-4-8
1. Введение. Известно, что совместное движение глаз и головы при длительном полете претерпевает значительные изменения [1]. Информация, поступающая от полукружных каналов, оказывается рассогласованной с информацией от отолитовых органов. В условиях Земли при повороте головы существует типовой паттерн информации (которая может быть формализована вектором в R6 или в пространстве большей размерности). Из-за нестандартного для человека состояния невесомости наблюдается разнобой в информации, поступающей в нервную систему от разных частей вестибулярного аппарата. Рассогласование вестибулярной информации — одна из причин возникновения болезни движения, в биологической и медицинской литературе данное явление называют вестибулосенсорным конфликтом. Из-за этого явления возникают рассогласования в управлении движениями глаз, которые влекут за собой нарушения условий четкого видения. При резком повороте головы стабилизация взора космонавтом в условиях невесомости реализуется не тем же набором механизмов, что в условиях Земли.
Исследования [2] показывают, что существует возможность корректировки числа возбужденных первичных афферентных вестибулярных нейронов с помощью гальванического тока малой силы. Значительный интерес представляет возможность коррекции подобных движений в условиях орбитального полета, когда вес тел равен нулю. Особенность невесомости в том, что воспроизвести ее на поверхности Земли пока не удается. Для проверки гипотезы, что коррекция вестибулярной информации в условиях невесомости возможна с помощью гальванической стимуляции, необходимо как можно более точно определять начало движения, во время которого предполагается осуществлять коррекцию.
Быстрый поворот головы можно отнести к целевым движениям. Такие движения успешно моделируются решением задачи быстродействия. Получаемая математическая модель может использоваться как для сглаживания сигналов при исследовании таких движений, так и для прогнозирования движения.
Отслеживание движений человека и определение их особенностей часто необходимо при разработке устройств, которые человек носит на себе или использует в производстве. В частности, алгоритмы детектирования поворота предназначены для применения различных носимых человеком устройств, которые должны реагировать на поворот как можно быстрее. В связи с этим задача детектирования начала вращения с наименьшей задержкой представляется актуальной и имеет множество приложений в бионавигации и биомеханике.
Одна из главных сложностей в этих задачах — минимизация задержки обнаружения детектируемого движения. В работе [3] рассматривалась задача автоматического определения приема пищи посредством акселерометра, носимого на кисти руки и на голове пользователя. Детектирование приема пищи — это важный инструмент, помогающий контролировать вес при помощи ряда приложений. Авторы этой работы использовали измерения акселерометра для обнаружения движения головы при жевании, а также жестов "рука ко рту" во время еды. Разработанный алгоритм продемонстрировал точность обнаружения 97%.
В работе [4] исследована возможность детектирования поворотов головы, корпуса и ног человека в режиме реального времени. Для решения задачи использовались датчики угловых скоростей (ДУС). Детектирование поворота осуществлялось с помощью двух критериев — ориентации конечностей и их угловой скорости. Выяснилась возможность применения этих двух источников информации как по отдельности, так и в комплексе для детектирования поворота конечностей. Результаты исследования показали, что комбинирование двух критериев обеспечивает более быстрое детектирование поворота, чем каждый из критериев по отдельности.
В работе [5] использовалось множество различных алгоритмов для решения задачи распознавания жестов головы. Источником информации служил блок инерциальных датчиков, закрепленный на голове пользователя. При рассмотрении задачи классификации жестов было испытано девять алгоритмов прогноза и пять алгоритмов глубокого обучения. Результаты исследования показали, что точность классификации предложенного в работе метода может достигать 99,48 % при исполь-
зовании моделей прогноза и 87,23 % при использовании глубоких нейронных сетей. Также рассматривалась возможность быстрой классификации жестов в случае ускорения распознавания за счет преимуществ алгоритмов.
2. Описание эксперимента. Для оценки работы акселерометров в условиях орбитального полета был проведен космический эксперимент (КЭ) "Вектор-МБИ-1". Сессии эксперимента представляют собой записи активности трех типов: повороты головы, занятия на бегущей дорожке и повседневная типовая деятельность. Движения головы участвуют во всех типах активности.
Повороты головы происходили по следующему сценарию. Космонавт, зафиксировав свое тело относительно МКС, производил серию из девяти быстрых поворотов головы: вправо-влево, вверх-вниз, от плеча к плечу. Темп поворотов выбирался космонавтом исходя из его состояния и субъективной оценки "быстро". Затем те же движения повторялись в более медленном темпе. Во время сеанса КЭ описанный набор повторялся при свободном положении тела космонавта относительно станции.
Стоит отметить, что амплитуда линейных ускорений и угловых скоростей изменяется в сопоставимых с ними значениях в условиях поверхности Земли. Например, пиковое значение линейного ускорения при быстром повороте может превосходить 2 м/с2. Плоскость, в которой выполняется поворот, несильно влияет на характерные значения угловой скорости головы и линейного ускорения в области лба. Наблюдается небольшое снижение пиковых значений при поворотах от плеча к плечу. В целом можно считать, что типовой рисунок поворота для модуля ускорений не зависит от плоскости поворота и в рамках эксперимента "Вектор-МБИ-1" значимых различий между записями участников не наблюдается.
Для построения критерия был проанализирован сигнал, регистрируемый шестикомпонентным инерциальным датчиком, располагаемым на лбу космонавта. Для анализа были выбраны быстрые повороты головы.
3. Математическая постановка задачи. Обозначим через а дискретный цифровой сигнал, поступающий с трехосного акселерометра, а через ш — сигнал, поступающий с трехосного датчика угловых скоростей. Частота дискретизации обоих сигналов одинакова и равна О. Предполагается, что сигнал может содержать случайные и постоянные погрешности.
Сигнал поступает в режиме реального времени. Каждое измерение я и ш — трехмерный вектор. Обозначим через ак вектор измерений акселерометра на к-м такте: ак = а(Ьк) = (ах (Ьк), ау(Ьк)а(Ьк)), а через шк = ш(Ьк) = (шх(Ьк),шу(Ьк),шг(Ьк)) — вектор измерений ДУС. Будем обозначать буфер из N измерений акселерометра, полученных с нулевого по (Ж — 1)-й такт, через а(Ж) = а0,...,аN-1, а буфер из N измерений ДУС через ) = ш0,...,шN-ь В этих буферах измерение с индексом 0 самое свежее, а с индексом N — 1 — самое раннее. Найдем такую функцию
при минимальном возможном N. Требуется минимизировать число ложноотрицательных и ложно-положительных значений функции Ф(а(^),ш(^)) при минимально возможной временной задержке. Здесь число ложноотрицательных и ложноположительных значений функции $(a(N),w(N)) является более приоритетным для оптимизации параметром, чем задержка во времени. Предполагается проводить верификацию на данных, записанных в ходе испытаний в условиях длительной невесомости. Рассматриваются две оценки качества работы алгоритма: 1) доля детектированных алгоритмом поворотов (TPR) среди всех реальных поворотов и 2) доля ложноположительных срабатываний (FDR) среди всех срабатываний. Таким образом, у идеального алгоритма первая метрика должна быть равна единице, а вторая — нулю.
4. Эвристический алгоритм. Рассмотрим фильтр с конечной импульсной характеристикой. Обозначим нормы рассматриваемых векторов через
Ф(а^),w(N)), что
1, если это начало или конец поворота в рассматриваемый момент; 0 иначе
Определим оператор взятия среднего за N тактов:
N-1
к=0
где х(М) — последовательность измерений. Также определим операцию расчета среднеквадратичного отклонения за N тактов:
5 (хN)N =
\
М-1
N
^((\хк \-Е(хN ),Щ))2■
к=0
Построим бинарный фильтр при помощи эвристического подхода. Дадим определение начала и конца поворота головы для этого метода. Будем считать, что поворот головы начинается или заканчивается, когда линейное ускорение а за несколько последних измерений начало резко изменяться, не успев при этом выйти на большую скорость изменения. Определим параметры бинарного фильтра. Обозначим через Атщ нижнее значение, при котором бинарный фильтр должен возвращать единицу, а через Атах — наибольшее значение. Через Утах обозначим максимальное значение модуля угловой скорости, при котором бинарный фильтр возвращает единицу. Тогда функция бинарного фильтра имеет следующий вид:
Ф(а^ ),ш(^) =
1, Ат1п < 5 (аN) N < А тах М < Ут 0 иначе,
где \ ш0 \ — норма первого вектора измерений в буфере ш^), самого свежего. Здесь следует отметить, что при необходимости детектировать окончание поворота потребовалось бы использовать \ шм-1 \ и сравнивать с константой не сверху, а снизу. Далее представлен пример применения алгоритма к данным, полученным в ходе сессии эксперимента "Вектор-МБИ-1". На рис. 1 изображены модуль показаний акселерометра и модуль показаний ДУС в течение временного промежутка, соответствующего одному повороту. Вертикальным линиям соответствуют срабатывания алгоритма на совместных данных акселерометра и ДУС (сплошная кривая) и только на данных ДУС (пунктир). В задаче детектирования лишь по угловой скорости считалось, что поворот обнаружен, если \ ш0 \ > Утт, УшП — некоторая оптимальная константа. Видно, что по модулю показаний акселерометра начало поворота можно визуально определить раньше, чем по ДУС, благодаря чему и алгоритм на данных акселерометра срабатывает раньше.
Рис. 1. Пример поворота: пунктирная линия — линейное ускорение \ а \, сплошная — угловая скорость \ ш \. Вертикальные линии — моменты срабатывания алгоритма: сплошная при использовании линейных ускорений и угловых скоростей, пунктирная — только угловых скоростей
В ходе разработки алгоритма на данных акселерометра было замечено большое количество ложных срабатываний, некоторые из которых сохраняются и при совместном использовании данных ДУС и акселерометра, из-за большой чувствительности акселерометра к линейным ускорениям, даже когда основное движение — поворот. Для борьбы с ложными срабатываниями в исходный алгоритм как раз был включен верхний порог Атах, благодаря которому фильтровались сильные случайные всплески, и была добавлена проверка на окончание поворота, так как в конце поворота часто бывают небольшие всплески на кривой модуля показаний акселерометра из-за процесса стабилизации головы.
5. Логистическая регрессия. Помимо эвристического алгоритма для решения задачи использовалась логистическая регрессия, описываемая в [6]. Это модель, предсказывающая вероятность принадлежности измерения к одному из двух классов — 0 и 1. В логистической регрессии предполагается, что логарифм отношения вероятностей принадлежности измерения к классам линейно зависит от некоторых параметров, называемых предикторами.
Возьмем в качестве предикторов показания инерциальных датчиков. Обозначим предикторы через х 1, х2,■■■, хт. Зависимая переменная будет бинарной, обозначим ее у. Она будет означать начало поворота при значении 1 и 0 в остальных случаях. Логистическая функция используется
1
для преобразования линейной комбинации предикторов в интервале [0, 1]. Формула логистической регрессии выглядит следующим образом:
д(г) = 1
1 + е-г
где z — линейная комбинация предикторов и их коэффициентов, выраженная формулой
z = bo + bi Xi + b2X2 + ... + bm xm.
Здесь b0,bi,b2,...,bm — это коэффициенты, которые необходимо оценить. Для нахождения оптимальных значений коэффициентов используется метод максимального правдоподобия. Его цель состоит в максимизации функции правдоподобия, которая выражает вероятность получения наблюдаемых значений. Оптимизация проводится на тренировочной выборке, а качество оценивается на тестовой. Для отыскания оптимальных значений коэффициентов логистической регрессии проводилась ручная разметка: был выбран набор отрезков тактов времени, внутри которых мы считаем, что g(z) = 1, а вне которых g(z) = 0. Важно отметить, что здесь не используется строгое определение начала поворота, вместо этого начало и конец поворота определяются как начало и конец отрезков разметки.
При тестировании логистической регрессии было задано пороговое значение g = 0,5 и все наблюдения z, такие, что g(z) > g, классифицировались как 1, в противном случае как 0.
6. Сравнительный анализ. Для вычисления метрик TPR и FDR, определенных ранее, была составлена ручная разметка серии поворотов на основании описания эксперимента и визуального анализа, благодаря которым для каждого поворота был получен временной промежуток начала этого поворота. Срабатывание алгоритма считалось корректным, если момент срабатывания попадал в этот промежуток. Для эвристического алгоритма при использовании совместных данных ДУС и акселерометра наилучшие значения метрик среди всех размеченных записей поворотов следующие: TPR = 0,97, FDR = 0,24.
Таким образом, можно сделать вывод о целесообразности совместного использования данных ДУС и акселерометра для детектирования начала поворота, так как в этом случае качество оказалось в целом не хуже, чем при учете только ДУС или только акселерометра, притом скорость детектирования поворота увеличилась на 0,5 • 10-3 с в среднем на один поворот.
Для логистической регрессии на совместных данных ДУС и акселерометра наилучшие значения метрик среди всех размеченных записей поворотов следующие: TPR = 1, FDR = 0,02. Эти результаты были получены при задержке, равной 6 • 10-3 с. В таблице приведены характеристики качества и задержка во времени при использовании алгоритма на ДУС и акселерометре в случае логистической регрессии.
Количество тактов 0 2 4 6 8 10 12 14 16 18 20
TPR 0,85 0,91 0,93 0,96 0,98 0,99 1 1 1 1 1
FDR 0,3 0,2 0,16 0,12 0,09 0,07 0,05 0,04 0,03 0,03 0,02
Задержка, с -0,006 -0,005 -0,004 -0,003 -0,001 0,001 0,002 0,003 0,004 0,005 0,006
Столбец с количеством тактов, равным нулю, соответствует использованию только последнего замера данных. Значения метрик логистической регрессии при задержке, аналогичной задержке эвристического алгоритма, следующие: TPR = 1, FDR = 0, 05. Таким образом, при одинаковых задержках логистическая регрессия показывает существенно лучший результат. На рис. 2 приведен пример записи, пропущенной через оба разработанных алгоритма. Видно, что логистическая регрессия обнаруживает поворот в 100% случаев, в отличие от эвристического алгоритма. Также видно, что логистическая регрессия не дала ложного срабатывания в конце записи.
7. Выводы. Совместное использование данных ДУС и акселерометра для детектирования начала поворота головы оказалось наиболее целесообразным. Это позволило улучшить качество фильтра и увеличить скорость детектирования по сравнению с использованием только ДУС или только акселерометра.
Были предложены два алгоритма детектирования начала поворота — эвристический алгоритм и логистическая регрессия. Последняя показала существенно лучшие результаты, чем эвристический алгоритм. Наиболее значимым достижением является 100%-е детектирование поворотов. Это позволяет оценивать времена срабатывания алгоритмов детектирования относительно реального начала выполнения программы движения, что играет большую роль при коррекции вестибулярной информации.
Рис. 2. Сравнение эвристического алгоритма и логистической регрессии на примере графика модуля угловой скорости: пунктирные линии — моменты срабатывания алгоритмов
Верификация алгоритма на основе данных космического эксперимента "Вектор-МБИ-1" показала его пригодность для применения в условиях орбитального полета. Это открывает возможности для дальнейших исследований влияния невесомости на вестибулярную систему и разработки методов коррекции вестибулярной информации, в том числе гальванической вестибулярной стимуляции.
В настоящей работе расчеты проводились для измерений, выполненных с помощью специфической модели датчиков, выбранной для записи. При использовании других моделей датчиков предложенная методика также применима для разработки фильтра детектирования поворота головы.
Публикация подготовлена в рамках реализации Программы создания и развития научного центра мирового уровня "Сверхзвук" на 2020-2025 годы при финансовой поддержке Минобрнауки России (распоряжение Правительства РФ от 24 октября 2020 г. № 2744-р) и в рамках исследований, выполненных в КЭ "Вектор-МБИ-1" на российском сегменте Международной космической станции.
СПИСОК ЛИТЕРАТУРЫ
1. Tomilovskaya E.S., Rukavishnikov I.V., Kofman I.S., Kitov V.V., Kozlovskaya I.B. Human eye and head movements in microgravity: Changes during long-duration spaceflight //J. Gravitational Physiology. 2016. 23, N 1. 1-14.
2. Soto E., Vega R., Delgado-Garcia J.M. Modulation of the vestibulo-ocular reflex by galvanic stimulation // Vestibular Research. 2006. 16, N 1-2. 39-45.
3. Ye X, Chen G, Cao Y. Automatic eating detection using head-mount and wrist-worn accelerometers // IEEE 17th Int. Conf. on e-Health Networking, Applications and Services (Healthcom): Short and Demo Papers. 2015.
4. Novak D., Gorsic M, Podobnik J., Munih M. Toward real-time automated detection of turns during gait using wearable inertial measurement units // Sensors. 2014. 14, N 10. 18800-18822.
5. Severin I.-C, Dobrea D.-M. 6DOF Inertial IMU head gesture detection: Performance analysis using Fourier transform and jerk-based feature extraction // 2020 IEEE Workshop on Microwave Theory and Techniques in Wireless Communications. 118-123.
6. Cramer J.S. The origins of logistic regression (Technical report). Vol. 119. Tinbergen Institute, 2002. 167-178.
Поступила в редакцию 01.09.2023
