CC BY
7
ИНФОРМАТИКА
Известия Саратовского университета. Новая серия. Серия: Математика. Механика. Информатика. 2023. Т. 23, вып. 4. С. 531-543 Izvestiya of Saratov University. Mathematics. Mechanics. Informatics, 2023, vol. 23, iss. 4, pp. 531-543 mmi.sgu.ru
https://doi.org/10.18500/1816-9791-2023-23-4-531-543 EDN: WNESNS
Научная статья УДК 004.048
Алгоритм выделения движений и классификации походки по данным акселерометра мобильного телефона
Н. В. Дорофеев10, А. В. Греченева12
1 Владимирский государственный университет имени А. Г. и Н. Г. Столетовых, Россия, 600000, г. Владимир, ул. Горького, д. 87 2Российский государственный аграрный университет — МСХА имени К. А. Тимирязева, Россия, 127434, г. Москва, ул. Тимирязевская, д. 49
Дорофеев Николай Викторович, доктор технических наук, заведующий кафедрой «Управление и контроль в технических системах», dorofeevnv@yandex.ru, https://orcid.org/0000-0002-1636-7654, АиШогГО: 232176
Греченева Анастасия Владимировна, кандидат технических наук, 1 доцент кафедры «Управление и контроль в технических системах»; 2доцент кафедры прикладной информатики, grechenevaav@yandex.ru, https://orcid.org/0000-0002-7341-5237, Аи^^О: 821738
Аннотация. В работе кратко описывается развитие информационно-технических средств с применением биометрических данных, в частности параметров походки человека. Описываются проблемы оценки параметров походки с помощью акселерометра мобильного телефона в реальных условиях. Обосновывается актуальность настоящего исследования в области разработки алгоритмов оценки биометрических показателей походки по данным носимых устройств. Рассматриваются основные подходы к обработке данных акселерометра носимых устройств, указываются основные недостатки и проблемы при повышении качества оценки параметров походки. Описывается алгоритм обработки данных акселерометра мобильного телефона. В предлагаемом алгоритме отбор шаблонов движений при походке в регистрируемых данных осуществляется на основе статистической информации в рамках «плавающего» временного окна (частотная компонента с максимальным вкладом в спектре сигнала акселерометра, длительностью отбираемых
Научный отдел
временных сегментов), а также на основе значения коэффициента корреляции, отбираемых временных сегментов. На этапе сегментации данных временное окно для поиска сегментов движений, а также допустимые пороги отбора движений по их длительности изменяются в зависимости от индивидуальных особенностей походки и активности человека. Классификация отобранных сегментов по характеру движений походки осуществляется на основе нейронной сети прямого распространения. В качестве функции активации для скрытых слоев в работе применялся сигмоид, а для выходного слоя — нормализованная экспоненциальная функция. Обучение нейронной сети происходило методом градиентного обратного спуска с кросс-энтропией в качестве критерия оптимизации. За счет отбора сегментов с высоким коэффициентом корреляции классификация данных показывает качество различения движений выше 95%.
Ключевые слова: алгоритм, походка, движения, выделение, классификация, акселерометр, мобильный телефон, носимое устройство
Благодарности: Работа выполнена при финансовой поддержке гранта Президента Российской Федерации (проект № МК-1558.2021.1.6).
Для цитирования: Дорофеев Н. В., Греченева А. В. Алгоритм выделения движений и классификации походки по данным акселерометра мобильного телефона // Известия Саратовского университета. Новая серия. Серия: Математика. Механика. Информатика. 2023. Т. 23, вып. 4. С. 531-543. https://doi.org/10.18500/1816-9791-2023-23-4-531-543, EDN: WNESNS Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0)
Article
Algorithm for motion detection and gait classification based on mobile phone accelerometer data
N. V. Dorofeev10, A. V. Grecheneva12
1 Vladimir State University, 87 Gorky St., Vladimir 600000, Russia
2Russian State Agrarian University — Moscow Agricultural Academy named after K. A. Timiryazev, 49 Timiryazevskaya St., Moscow 127434, Russia
Nikolay V. Dorofeev, dorofeevnv@yandex.ru, https://orcid.org/0000-0002-1636-7654, AuthorlD: 232176 Anastasya V. Grecheneva, grechenevaav@yandex.ru, https://orcid.org/0000-0002-7341-5237, AuthorlD: 821738
Abstract. This paper briefly describes the development of information technology tools using biometric data, in particular, human gait parameters. The problems of assessing gait parameters using a mobile phone accelerometer in real conditions are briefly described. The relevance of this research is substantiated in the field of developing algorithms for assessing biometric gait indicators based on data from wearable devices. The main approaches to the processing of wearable device accelerometer data are considered, the main shortcomings and problems in improving the quality of gait parameter estimation are indicated. The algorithm for processing data from a mobile phone accelerometer is described. In the proposed algorithm, the selection of movement patterns during gait in the recorded data is carried out on the basis of statistical information within the "floating" time window (frequency component with the maximum contribution to the spectrum of the accelerometer signal, the duration of the selected time segments), as well as on the basis of the value of the correlation coefficient, selected time segments. At the stage of data segmentation,
the time window of searching of movement segments, as well as the allowable thresholds of selecting movements by their duration, change depending on the individual characteristics of the gait and human activity. The classification of the selected segments according to the nature of gait movements is carried out on the basis of a feed-forward neural network. The sigmoid was used as the activation function for the hidden layers, and the normalized exponential function was used for the output layer. The neural network was trained using the gradient backdescent method with cross entropy as an optimization criterion. Due to the selection of segments with a high correlation coefficient, the classification of data shows the quality of distinguishing movements above 95%.
Keywords: algorithm, gait, movements, selection, classification, accelerometer, mobile phone, wearable device
Acknowledgements: The work was carried out with the financial support of a grant from the President of the Russian Federation (project No. MK-1558.2021.1.6).
For citation: Dorofeev N. V., Grecheneva A. V. Algorithm for motion detection and gait classification based on mobile phone accelerometer data. Izvestiya of Saratov University. Mathematics. Mechanics. Informatics, 2023, vol. 23, iss. 4, pp. 531-543 (in Russian). https://doi.org/ 10.18500/1816-9791-2023-23-4-531-543, EDN: WNESNS
This is an open access article distributed under the terms of Creative Commons Attribution 4.0 International License (CC-BY 4.0)
Введение
Развитие информационных технологий и электроники позволяет по-новому взглянуть на решение многих задач, в частности сбора и обработки биометрической информации. Одним из типов биометрической информации является походка человека. Несмотря на то что исследование особенностей походки человека и разработка информационно-технических средств регистрации и оценивания параметров походки осуществляются не первое десятилетие, данное направление по-прежнему является актуальным. Защита данных и аутентификация, персонализированная медицина, игровая индустрия и другие направления гражданской и военной отрасли используют данные о параметрах походки человека [1-3]. Причем все большее внимание уделяется не только распознаванию различных видов деятельности (совершаемых движений), но и их цикличности, зависимости результатов оценки параметров движений от различных факторов. Увеличиваются требования к достоверности оценивания [1,4-6].
Существуют различные подходы к регистрации параметров походки: видеокамеры, система из нательных датчиков, в том числе стационарные системы, датчики носимых устройств [7-12]. Такие носимые устройства, как мобильный телефон или смарт-браслеты, имеют в своем составе датчики акселерометра или гироскопа и находятся в постоянном контакте с человеком, что позволяет осуществлять постоянный мониторинг движений человека на основе встроенных датчиков в скрытом («прозрачном») для человека режиме. Одними из особенностей измерения и недостатками систем контроля движений человека, построенных на основе носимого устройства, являются наличие одного измерительного датчика (измерение в одной точке пространства в один момент времени) и влияние различных факторов на результаты измерения [1,13]. К таким факторам относятся: произвольное месторасположение и случайная смена местоположения телефона; отсутствие жесткой фиксации мобильного телефона к телу человека (имеются работы с жесткой фиксацией мобильного телефона, но они не получили дальнейшего практического внедрения); конструктивные особенности телефона (место расположения и ориентация датчика внутри телефона); метроло-
гические характеристики датчика и регистрация изменения ускорения свободного падения (косвенные измерения параметров движения). Поскольку при совершаемых движениях (походке) задействуется большое количество мышц, связок, суставов, участков нервной системы и при моделировании описывается многопараметрической моделью движения, то задача оценки параметров походки и возможных особенностей функционирования костной и нервно-мышечной системы (в частности, постановка диагноза заболевания) по ограниченному набору датчиков (для носимых устройств — по одному датчику) является некорректной, что усложняет процесс оценки движений и физиологических параметров человека. Таким образом, задача разработки новых алгоритмов автоматизированного сбора и обработки данных с датчиков носимых устройств для повышения качества оценки параметров движений и физиологических особенностей человека по-прежнему актуальна.
Целью данной работы является повышение качества оценки движений (походки) по данным акселерометра мобильного телефона за счет разработки алгоритма на основе нейросетевых технологий.
1. Подходы к обработке данных
В общем виде алгоритмы обработки данных походки на основе акселерометра мобильного телефона сводятся к следующим шагам: предварительная обработка, включая распознавание активности и фильтрацию сигнала от помех, затем выполняется процедура выделения границ повторяющихся движений (сегментация) с нормализацией, после нее осуществляется анализ отобранных сегментов и сравнение с персональной моделью. Применяемые подходы характеризуются вычислительной сложностью и, соответственно, скоростью распознавания (получения результатов).
Получаемые с акселерометрического датчика временные ряды несут в себе высокочастотные шумы, которые получаются в результате случайного перемещения мобильного телефона, ошибки смещения и т.п., поэтому на этапе предварительной обработки применяют фильтрацию на основе оконного усреднения или вейвлет-разложения и реконструкции [14]. Однако, как отмечается в работе [1], положительный эффект от предварительной фильтрации носит ограниченный характер и для устранения шумов требуется системный подход более высокого уровня.
Распознавание активности зачастую совмещается с процедурой сегментации и направлено на выделение во временных радах движений, относящихся к походке человека, исключая другие типы движения. Распознавание активности осуществляется по пороговым критериям в рамках временного окна, на основе различных классификаторов по базовым признакам регистрируемых сигналов и автокорреляции.
Сегментация выполняется по циклически появляющимся паттернам при повторении одних и тех же движений (при цикличности) или на основе временных окон (фреймов). К первому типу сегментации относят алгоритмы, основанные на обработке экстремумов в рамках временного окна, пересечении нуля, вектора значимости, фазы движений, корреляции и динамических вариаций. После выделения сегментов уточняют размер временного окна и нормализуют выделенные сегменты по времени (наиболее часто с применением процедуры динамической деформации времени ОШТ). Сегментация на основе фреймов позволяет выделять циклические движения на коротких временных интервалах (малом количестве цикличных движений), однако у данного подхода имеется недостаток, связанный с четкой границей временных окон, — они не учитывают временные изменения походки и фазу движений.
На основе выделенных шаблонов движений на этапе сегментации формируется мо-
дель походки человека. Наилучшим образом зарекомендовали себя методы построения моделей на основе полученных признаков походки во временной, частотной области или описанные статистическими показателями. На основе полученных моделей осуществляется дальнейшее различение и классификация регистрируемых движений. Для различения и классификации движений выполняют сравнение входных последовательностей с имеющимися шаблонами или применяют методы машинного обучения [15].
Особое внимание при оценке параметров походки по данным акселерометра мобильного устройства уделяется влиянию различных факторов на результаты оценки. Б. Брга§ег и М. В. Липс [1] отмечают два аспекта изменения индивидуальной модели походки. Первый связан с физиологическими изменениями (бессознательные изменения) и психологическими (контролируемые и неконтролируемые [16-18]). Второй аспект связан с внешними факторами (одежда, поверхность дороги, дополнительная нагрузка на костно-мышечную систему организма). По нашему мнению, следует различить факторы, приводящие к изменению самой походки человека, и факторы, связанные с погрешностями измерений, которые искажают представление о походке [12]. В первом случае изменения походки должны учитываться в индивидуальной модели походки, а во втором случае необходима компенсация влияния внешних факторов для повышения точности оценки индивидуальных показателей походки. В системах безопасности на этапе аутентификации пользователя влияние внешних факторов может быть учтено в индивидуальной модели. В системах персонализированной медицины, наоборот, необходимо точно оценивать индивидуальные особенности походки без мешающих факторов. Задача компенсации мешающих факторов является непростой. К примеру, на рис. 1 показано влияние перемещения мобильного устройства на результаты измерения в зависимости от типа штанов, а на рис. 2 — изменение походки в зависимости от типа обуви. Как видно из представленных на рисунках данных, погрешности измерений существенно влияют на точность оценки параметров походки — при неизменной походке (измерения проводились друг за другом, накопленные данные усреднялись) форма регистрируемых сигналов с акселерометра мобильного телефона изменяется. На рис. 1 и 2 представлены данные для одного испытуемого, остальные испытуемые имеют собственные коэффициенты отклонения, но общий тренд изменений соответствует приведенным результатам.
£ 0,7
~ 0,9 0,8
g 0,6
° 0,5
1 0,4 я 0,3
2 0,2
9>
0
Tight pants
Medium fit pants Clothing type
Wide pants
Рис. 1. Влияние типа штанов на результаты оценки походки Fig. 1. Influence of pants type on gait scores
Рис. 2. Влияние типа обуви на результаты оценки походки Fig. 2. Effect of shoe sole type on gait scores
В большинстве исследований анализ походки по данным мобильного телефона проходил в лабораторных условиях, при которых измерения осуществлялись в контролируемых условиях с минимизацией внешних факторов, присутствующих при походке в повседневной жизни. На практике акселерометр мобильного телефона кроме походки человека очень часто фиксирует шумы, которые связаны с движениями человека, не относящимися к походке (перемещение телефона в пространстве, движения при стоянии на месте и другие двигательные действия). На рис. 3 эти мешающие движения отражены слева и справа, а сама походка фиксируется в середине. В процедуре сегментации попадаются временные интервалы, которые по локальным минимумам и длительности интерпретируются как полезные движения (рис. 4 — красные отметки указывают на времена определения полезных движений).
Также на практике возможны ситуации, когда во временных рядах появляются два близких отчета, относящиеся к одному движению, но принадлежащие двум соседним временным окнам (фреймам). В этом случае появляется вероятность включения в результат сегментации двойных шаблонов (рис. 5 — среднее движение определилось дважды, что отражено в плоском пике красной отметки начала сегмента).
Рис. 3. Пример исходных данных для обработки (цвет онлайн) Fig. 3. Example of initial data for processing (color online)
2 4 6 8 10 12 14 16 18 20
Time, sec
Рис. 4. Пример ложного принятия решений о присутствии движения человека (левая часть графика) (цвет онлайн) Fig. 4. Example of false decision making about the presence of human movement (left side of the graph) (color online)
п Л 1\
I А i / и / л Г л I / ЧЛ, \ 11 А лЛ II № \ V д/Ч
1 (Д V \ V ы_ 1 1 Л / ч I V 111_ 11/ ^ Л \ rJ\ ЦТ \f_ _ЦУУ_ \ hJ V 1 X 1 \М 1 1 и _м J V v
1г 1 1 I 1 I ж
II у К
1 1 Y
46 46.5 47 47.5 48 48.5 49
Time, sec
Рис. 5. Пример двойного отбора сегмента данных (средний пик красного цвета) (цвет онлайн) Fig. 5. Example of double sampling of a data segment (middle peak in red) (color online)
2. Алгоритм обработки
В качестве алгоритма обработки данных акселерометра мобильного телефона для оценки параметров походки предлагается алгоритм, представленный на рис. 6. Поскольку время оценки биометрических показателей походки не сильно критично задержкам (как для процедуры аутентификации, так и для медицинской диагностики), т.е. с учетом большого количества негативных факторов, оказывающих влияние на результаты оценки, задержка в получении оценочных данных в несколько минут допускается (важно качество получаемых оценок), то осуществляется накопление данных в рамках временного окна Т. В качестве критерия функционирования алгоритма выступает критерий отбора наиболее «удачных» шаблонов, которые имеют наименьшие искажения (резкие всплески, смены движений и т. п.) от кратковремен-
ных факторов. Отбор шаблонов с наименьшими искажениями, которые наиболее четко отражают индивидуальные особенности походки, а не шумы, позволяет качественнее осуществлять процедуры коррекции индивидуальной модели, кластеризации и классификации.
( End )
Рис. 6. Алгоритм обработки / Fig. 6. Processing algorithm
В рамках временного окна Т удаляется постоянная составляющая и по спектру сигнала определяются частотная составляющая с максимальным вкладом Fsr, соответствующий ей период Tsr, а также по временной последовательности — сред-неквадратическое отклонение STD и локальное временное окно Temp для поиска локальных минимумов при сегментации данных. Временное окно Temp формируется в два раза больше основного периода колебаний (движений) с целью попадания в Temp всего движения. Локальное временное окно рассчитывается по следующей формуле:
Temp =]2 х Tsr х Fd[, (1)
где Fd — частота дискретизации.
Далее скользящим окном Temp (с шагом, равным величине окна Temp) по временной последовательности Т осуществляется процедура сегментации на основе поиска локальных экстремумов (в зависимости от выбранных настроек по минимумам или максимумам) внутри окна Temp. Модуль значения найденного экстремума сравнивается со среднеквадратическим отклонением STD, и в случае превышения значения STD фиксируется время появления экстремума U, шаблон движения (как сегмент данных между предыдущим и текущим экстремумом) sh и длительность шаблона tsi. Сравнение величины экстремума со среднеквадратическим отклонением позволяет отбросить сегменты с присутствием случайных всплесков и других случайных движений. Модуль берется для отрицательных значений (минимумов). Это позволяет сохранять индивидуальные особенности сегментов (движений) и не искажать форму сигнала в отличие от алгоритмов с фильтрацией на основе скользящего среднего.
Полученные наборы ^, . tsi сортируются по возрастанию относительно набора tsi, по которому далее определяют значение медианы БЯ. Использование медианы вместо среднего значения позволяет снизить количество выбросов (сегментов, которые по длительности не характерны длительностям основной массы отобранных сегментов) в отобранных сегментах. На основании медианы рассчитывается допустимый интервал отклонения длительности сегментов А от медианы как
±Д = SR±
SR х Int 100
(2)
где Int — допустимый процент отклонения длительности движений от медианы в процентах. Коэффициент Int индивидуален для каждого человека, на начальном этапе обучения алгоритма может составлять 10%.
Отбор сегментов по длительности осуществляется на основе выражения SR — А < < tsi < SR + А. Сегменты (и информация о них), не удовлетворяющие данному критерию, отбрасываются. Среди отобранных сегментов определяется сегмент sh с минимальной длительностью min(tsi), до которой осуществляется процедура децимации остальных отобранных сегментов. После децимации вычисляется значение корреляции между полученными сегментами и отбрасываются сегменты, которые имеют корреляцию с большинством сегментов менее установленного порога (в работе применялся порог 0.9).
3. Результаты и выводы
Практическая проверка предложенного алгоритма показала повышение качества отбора сегментов (рис. 7), которые относятся непосредственно к движениям человека (походке).
ё "10 £
-15
11 1
i I 1 if I № (-1 К_ К\ ^—v/J V р 1 ÜJ к \ 'Ч Н' д/то 1 ши 1ц| 1 VI 1 I 1 II'1
1 1
10
12
14
Time, sec
Рис. 7. Пример отбора информативных временных отрезков
предложенным алгоритмом (цвет онлайн) Fig. 7. An example of the selection of informative time intervals by the proposed algorithm (color online)
В результате применения предложенного алгоритма исключаются случаи перепу-тывания мешающих движений с полезными движениями, дублирование сегментов. За счет отбора по значению коэффициента корреляции удаляется часть сегментов, имеющих существенные искажения в данных, — к ним относятся движения, зарегистрированные при разных местоположениях мобильного телефона, или «некорректно» выполненные движения (спотыкания, резкая остановка или смена вида движения
и т.п.), а также случайные всплески в данных, вызванные действием случайных кратковременных факторов.
В качестве нейросетевого классификатора в работе применялась сеть прямого распространения. На входы классификтора подаются отобранный сегмент, коэффициент корреляции, среднее значение и среднеквадратическое отклонение значений ускорения (данных с датчика акселерометра) в сегменте. Классификатор оценивает принадлежность сегмента к одному из движений и принадлежность самого движения к человеку, на модели (данных) которого обучался классификатор. В случае положительного решения классификатора анализируется тренд изменения оцениваемых параметров и при необходимости осуществляется перестройка индивидуальной модели с переобучением классификатора.
Обучение нейросетевого классификатора (рис. 8) выполнялось методом градиентного обратного спуска с кросс-энтропией в качестве критерия оптимизации. На рис. 8 зеленые блоки показывают процент правильного различения событий (номер
строки означает номер класса на выходе нейронной сети и равняется номеру столбца, означающему ожидаемый номер класса на выходе нейронной сети до принятия решения о принадлежности к классу), красные блоки — процент пе-репутывания события (номер класса на выходе нейронной сети не соответствует ожидаемому номеру класса).
В качестве функции активации использовались сигмоид для скрытых слоев и нормализованная экспоненциальная функция для выходного слоя. Вероятность правильного различения сигналов классификатором составляла 0.95 при количестве скрытых слоев не менее 100. При снижении количества скрытых слоев до 10 вероятность правильного различения данного классификатора снижалась
Рис. 8. Результаты классификации на 4 группы до °-9. Различение только собственных (цвет онлайн) движений испытуемого составляло 100%.
Fig. 8. Classification results into 4 groups Таким образом, предложенный алгоритм (color online) кроме отбора информативных временных
отрезков (относящихся к движениям) с датчика акселерометра осуществляет отбор сегментов с наилучшей корреляцией в рассматриваемом временном интервале с целью наполнения базы данных шаблонов движения человека. Благодаря коррекции границ допуска на этапе сегментации появляется возможность отслеживать изменения в скорости походки и корректировать интервалы временного окна в процедуре сегментации. На основе применения нейросетевого классификатора осуществляется оценка типа движения и устанавливается принадлежность движения определенному человеку.
О
S 2
irs ю ей
3
3 3 о
Matrix of errors of the neural network classifier at the testing stage
397 15,1% 1 0,0% 2 0,1% 0 0,0% 99,3% 0,7%
94 3,6% 623 23,7% 25 1,0% 2 0,1% 83,7% 16,3%
38 1,4% 15 0,6% 667 25,4% 13 0,5% 91,0% 9,0%
40 1,5% 3 0,1% 4 0,2% 700 26,7% 93,7% 6,3%
69,8% 30,2% 97,0% 3,0% 95,6% 4,4% 97,9% 2,1% 91,0% 9,0%
2 3 4 Expected class number
1
4
1
Список литературы
1. 2.
3.
4.
5.
6.
7.
8.
9. 10.
11.
12.
13.
14.
15.
16.
Sprager S., Juric M. B. Inertial Sensor-Based Gait Recognition: A Review // Sensors.
2015. Vol. 15. P. 22089-22127. https://doi.org/10.3390/s150922089
Connor P., Ross A. Biometric recognition by gait: A survey of modalities and features //
Computer Vision and Image Understanding. 2018. Vol. 167. P. 1-27. https://doi.org/10.
1016/j.cviu.2018.01.007
Guelta B, Tlemsani R., Chouraqui S., Benouis M. An improved behavioral biometric system based on gait and ECG signals // International Journal of Intelligent Engineering & Systems. 2019. Vol. 12, iss. 6. P. 147-156. https://doi.org/10.22266/ijies2019/1231.14 Ren Y., Chuah M. C. User verification leveraging gait recognition for smartphone enabled mobile healthcare systems // IEEE Transactions on Mobile Computing. 2015. Vol. 14, iss. 9. P. 1961-1974. https://doi.org/10.1109/TMC.2014.2365185
Khabir K. M., Siraj Md. S., Ahmed M., Ahmed M. U. Prediction of gender and age from inertial sensor-based gait dataset // Joint 2019 8th International Conference on Informatics, Electronics & Vision (ICIEV) & 3rd International Conference on Imaging, Vision & Pattern Recognition (IVPR), Eastern Washington University, May 30-June 4, 2019, pp. 371-376. https://doi.org/10.1109/ICIEV.2019.8858521
Shema-Shiratzaky S., Beer Y., Mor A., Elbaz A. Smartphone-based inertial sensors technology — Validation of a new application to measure spatiotemporal gait metrics // Gait & Posture. 2022. Vol. 93. P. 102-106. https://doi.org/10.1016/j-.gaitpost.2022.01.024 Garufov D., Bours P. User authentication based on foot motion // SIViP. 2011. Vol. 5. P. 457-467. https://doi.org/10.1007/s11760-011-0249-1
Reyes O. C., Vera-Rodriguez R., Scully P. J., Ozanyan K. B. Analysis of spatio-temporal representations for robust footstep recognition with deep residual neural networks // IEEE Transaction on Pattern Analysis and Machine Intelligence. 2018. Vol. 4. P. 1-13. https://doi.org/10.1109/TPAMI.2018.2799847
Соколова А. И., Конушин А. С. Методы идентификации человека по походке в видео // Труды института системного программирования РАН. 2019. Т. 31, вып. 1. С. 69-82. https://doi.org/10.15514/ISPRAS-2019-31(1)-5, EDN: PGFXZW
Хельвас А. В., Беляйкина Н. Г., Гиля-Зетинов А. А., Черникова Д. Д., Шабунин В. М., Япрынцев Е. О. Распознавание жестов с помощью нейронной сети и применение этого подхода для создания игровых гаджетов нового поколения // Труды МФТИ. 2017. № 2 (34). C. 1-7. EDN: ZBMXML
Teh P.S., Zhang N., Tan S.-Y., Shi Q., Khoh W.H., Nawaz R. Strengthen user authentication on mobile devices by using user's touch dynamics pattern // Journal of Ambient Intelligence and Humanized Computing. 2020. Vol. 11, iss. 10. P. 4019-4039. https://doi.org/10.1007/ s12652-019-01654-y
Zhang X., Yao L., Huang C., Gu T., Yang Z., Liu Y. DeepKey: A multimodal biometric authentication system via deep decoding gaits and brainwaves // ACM Transactions on Intelligent Systems and Technology. 2020. Vol. 11, iss. 4. Art. 49. https://doi.org/10.1145/ 3393619
Grecheneva A. V., Dorofeev N. V., Goryachev M. S. Estimation of human biomechanics during registration with a wearable device // Journal of Physics Conference Series. 2021. Vol. 2096, iss. 1. Art. 012117. https://doi.org/10.1088/1742-6596/2096/1/012117 Lu H., Huang J., Saha T., Nachman L. Unobtrusive gait verification for mobile phones // Proceedings of the 2014 ACM International Symposium on Wearable Computers. Seattle, WA, USA, Sept. 13-17, 2014. P. 91-98. https://doi.org/10.1145/2634317.2642868 Oguz A., Ertugrul O. F. Human identification based on accelerometer sensors obtained by mobile phone data // Biomedical Signal Processing and Control. 2022. Vol. 77. Art. 103847. https://doi.org/10.1016/j-.bspc.2022.103847
Tandon R., Javid P., Giulio I. D. Mobile phone use is detrimental for gait stability in
young adults // Gait & Posture. 2021. Vol. 88. P. 37-41. https://doi.org/10.1016/j-.gaitpost. 2021.05.001
17. Pierce A., Ignasiak N. K., Eiteman-Pang W. K., Rakovsky C. Mobile phone sensors can discern medication-related gait quality changes in Parkinson's patients in the home environment // Computer Methods and Programs in Biomedicine Update. 2021. Vol. 1, Art. 100028. https://doi.org/10.1016/j-.cmpbup.2021.100028
18. Lunardini F., Malavolti M., Pedrocchi A. L. G., Borghese N. A., Ferrante S. A mobile app to transparently distinguish single-from dual-task walking for the ecological monitoring of age-related changes in daily-life gait // Gait & Posture. 2021. Vol. 86. P. 27-32. https://doi.org/10.1016/j-.gaitpost.2021.02.028
References
1. Sprager S., Juric M. B. Inertial Sensor-Based Gait Recognition: A Review. Sensors, 2015, vol. 15, pp. 22089-22127. https://doi.org/10.3390/s150922089
2. Connor P., Ross A. Biometric recognition by gait: A survey of modalities and features. Computer Vision and Image Understanding, 2018, vol. 167, pp. 1-27. https://doi.org/10. 1016/j.cviu.2018.01.007
3. Guelta B., Tlemsani R., Chouraqui S., Benouis M. An improved behavioral biometric system based on gait and ECG signals. International Journal of Intelligent Engineering & Systems, 2019, vol. 12, iss. 6, pp. 147-156. https://doi.org/10.22266/ijies2019/1231.14
4. Ren Y., Chuah M. C. User verification leveraging gait recognition for smartphone enabled mobile healthcare systems. IEEE Transactions on Mobile Computing, 2015, vol. 14, iss. 9, pp. 1961-1974. https://doi.org/10.1109/TMC.2014.2365185
5. Khabir K. M., Siraj Md. S., Ahmed M., Ahmed M. U. Prediction of gender and age from inertial sensor-based gait dataset. Joint 2019 8th International Conference on Informatics, Electronics & Vision (ICIEV) & 3rd International Conference on Imaging, Vision & Pattern Recognition (IVPR), Eastern Washington University, May 30-June 4, 2019, pp. 371-376. https://doi.org/10.1109/ICIEV.2019.8858521
6. Shema-Shiratzaky S., Beer Y., Mor A., Elbaz A. Smartphone-based inertial sensors technology - Validation of a new application to measure spatiotemporal gait metrics. Gait & Posture, 2022, vol. 93, pp. 102-106. https://doi.org/10.1016/j-.gaitpost.2022.01.024
7. Garufov D., Bours P. User authentication based on foot motion. SIViP, 2011, vol. 5, pp. 457-467. https://doi.org/10.1007/s11760-011-0249-1
8. Reyes O. C., Vera-Rodriguez R., Scully P. J., Ozanyan K. B. Analysis of spatio-temporal representations for robust footstep recognition with deep residual neural networks. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2018, vol. 4, pp. 1-13. https://doi.org/10.1109/TPAMI.2018.2799847
9. Sokolova A. I., Konushin A. S. Methods of gait recognition in video. Proceedings of the Institute for System Programming of the RAS, 2019, vol. 31, iss. 1, pp. 69-82 (in Russian). https://doi.org/10.15514/ISPRAS-2019-31(1)-5, EDN: PGFXZW
10. Helvas A. V., Belyaikina N. G., Gilya-Zetinov A. A., Chernikova D. D., Shabunin V. M., Yapryntsev E. O. Gesture recognition using a neural network and the application of this approach to create a new generation of gaming gadgets. Proceedings of Moscow Institute of Physics and Technology, 2017, iss. 2 (34). pp. 1-7 (in Russian). EDN: ZBMXML
11. Teh P. S., Zhang N., Tan S.-Y., Shi Q., Khoh W. H., Nawaz R. Strengthen user authentication on mobile devices by using user's touch dynamics pattern. Journal of Ambient Intelligence and Humanized Computing, 2020, vol. 11, iss. 10, pp. 4019-4039. https://doi.org/10.1007/s12652-019-01654-y
12. Zhang X., Yao L., Huang C., Gu T., Yang Z., Liu Y. DeepKey: A multimodal biometric authentication system via deep decoding gaits and brainwaves. ACM Transactions on Intelligent Systems and Technology, 2020, vol. 11, iss. 4, art. 49. https://doi.org/10.1145/ 3393619
13. Grecheneva A. V., Dorofeev N. V., Goryachev M. S. Estimation of human biomechanics during registration with a wearable device. Journal of Physics Conference Series, 2021, vol. 2096, iss. 1, art. 012117. https://doi.org/10.1088/1742-6596/2096/1/012117
14. Lu H., Huang J., Saha T., Nachman L. Unobtrusive gait verification for mobile phones. Proceedings of the 2014 ACM International Symposium on Wearable Computers. Seattle, WA, USA, Sept. 13-17, 2014, pp. 91-98. https://doi.org/10.1145/2634317.2642868
15. Oguz A., Ertugrul O. F. Human identification based on accelerometer sensors obtained by mobile phone data. Biomedical Signal Processing and Control, 2022, vol. 77, art. 103847. https://doi.org/10.1016/j.bspc.2022.103847
16. Tandon R., Javid P., Giulio I. D. Mobile phone use is detrimental for gait stability in young adults. Gait & Posture, 2021, vol. 88, pp. 37-41. https://doi.org/10.1016/j-.gaitpost.2021. 05.001
17. Pierce A., Ignasiak N. K., Eiteman-Pang W. K., Rakovsky C. Mobile phone sensors can discern medication-related gait quality changes in Parkinson's patients in the home environment. Computer Methods and Programs in Biomedicine Update, 2021, vol. 1, art. 100028. https://doi.org/10.1016/jj.cmpbup.2021.100028
18. Lunardini F., Malavolti M., Pedrocchi A. L. G., Borghese N. A., Ferrante S. A mobile app to transparently distinguish single-from dual-task walking for the ecological monitoring of age-related changes in daily-life gait. Gait & Posture, 2021, vol. 86, pp. 27-32. https: //doi.org/10.1016/j.gaitpost.2021.02.028
Поступила в редакцию / Received 05.10.2022 Принята к публикации / Accepted 07.04.2023 Опубликована / Published 30.11.2023
