CC BY
24УДК 796.853 DOI:10.36028/2308-8826-2021-9-1-36-42
ИССЛЕДОВАНИЕ КИНЕМАТИКИ УДАРОВ РУКАМИ В КАРАТЭ НА ОСНОВЕ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ
И.Я. Хасаншин
Финансовый университет при Правительстве Российской Федерации, Москва, Россия
Аннотация
Целью работы было изучение автоматизации измерения скоростных качеств спортсменов каратэ на основе искусственной нейронной сети с использованием инерциальных измерительных модулей (англ. Inertial Measurement Unit - IMU).
Методы и организация исследования. Для распознавания ударов руками спортсменов каратэ была разработана модель на основе искусственной нейронной сети в форме многослойного персептро-на. Входными параметрами искусственной нейронной сети были абсолютные линейная и угловая скорости удара, для измерения которых на кисти рук спортсменов были закреплены инерциальные измерительные модули. Вместе с IMU в корпусе были установлены микроконтроллер для управления процессами и беспроводной передатчик, который по каналу Bluetooth передавал на компьютер данные для анализа при помощи искусственной нейронной сети. Вес коробки с IMU, микроконтроллером, беспроводным передатчиком составил 35 граммов. Эксперимент проводился для трех групп спортсменов с разным уровнем подготовки. Эти группы также были разделены на подгруппы - одна для сбора кинематических данных, вторая была контрольной и использовалась для оценки точности модели.
Результаты исследования и их обсуждение. В результате точность модели составила: 1-я группа со стажем до 1 года обучения - 86,5±5,23%, 2-я группа (2-3 года обучения) - 95,52±2,26%, 3-я группа (более 5 лет обучения) - 92,08±3,4%.
Заключение. Эксперименты показали, что применение нейронных сетей значительно облегчает сбор данных кинетических характеристик ударов спортсменов, позволяет автоматизировать этот процесс. Такие параметры ударов, как скорость, ускорение можно определять в ходе боя с тенью, при этом происходит идентификация вида удара и его параметров.
Ключевые слова: каратэ, скоростные качества ударов, искусственная нейронная сеть, многослойный персептрон, инерциальный измерительный модуль.
RESEARCH OF KINEMATICS OF KARATE PUNCHES BASED ON AN ARTIFICIAL NEURAL NETWORK
Khasanshin I.Y., iykhasanshin@fa.ru, ORCID: 0000-0003-3809-8624
Financial University under the Government of the Russian Federation, Moscow, Russia
Abstract
The aim of the study was to investigate the automation of measuring the speed characteristics of karate athletes based on an artificial neural network with the use of Inertial Measurement Units (IMU). Methods and organization of the research. A model based on an artificial neural network in the form of a multilayered perceptron was developed to recognize karate athletes' punches. The input parameters of the artificial neural network were absolute linear and angular velocities. The measurement was carried out with the use of Inertial Measurement Units (IMU) fixed on the athletes' hands. Along with the IMU in the case, a microcontroller for process control and a wireless transmitter were installed. The transmitter transferred data to the computer via Bluetooth for analysis using an artificial neural network. Weight of the package with IMU, microcontroller, and wireless transmitter was 35 grams. Three groups of athletes with different levels of training participated in the experiment. These groups were divided into subgroups - one for collecting kinematic data, the second was a control group and was used to assess the accuracy of the model. Research results and discussion. As a result, the accuracy of the model was: the 1st group with a maximum of 1 year of training experience - 91.89 ± 3.45%, the 2nd group (2-3 years of training experience) - 95.33 ± 2.51%, the 3rd group (over 5 years of training experience) - 92.93 ± 4.33%.
Conclusion. Experiments revealed that the application of neural networks greatly facilitates the collection of
data on the kinetic characteristics of athletes' punches, and allows automating the process. Such parameters of punch as velocity and acceleration can be determined during the fight with shadow, while identifying the type of punch and its parameters.
Keywords: karate, speed characteristics of punches, artificial neural network, multilayered perceptron, iner-tial measurement unit.
ВВЕДЕНИЕ
Скорость ударов в каратэ зависит от многих взаимосвязанных факторов, поэтому требует комплексных тренировочных мероприятий по их развитию и непрерывного мониторинга. Однако постоянный контроль связан с большим количеством измерений скорости, ускорения ударов, а это большая нагрузка на тренеров, которые тренируют десятки спортсменов. Эти измерения особенно трудно проводить в условиях реального боя или тренировок типа «бой с тенью», хотя именно эти параметры ударов наиболее интересны. Кроме того, изучение скоростных параметров ударов в таком быстротекущем процессе, как реальный бой в каратэ может быть связан с человеческими ошибками [1]. Целью данной работы было исследование автоматизации измерения скоростных качеств спортсменов каратэ с использованием инерциальных измерительных модулей на основе искусственной нейронной сети. В задачи исследования входили: сбор данных при помощи инерциальных измерительных модулей; разработка, обучение и валидация искусственной нейронной сети для распознавания видов ударов. В работе использовались инерциальные измерительные модули, включавшие в себя акселерометр и гироскоп. Для анализа кинематических свойств и техники ударов спортсменов-единоборцев в современных условиях используются различные методы и средства: инерциальные измерительные модули, видеозахват движений, эк-зоскелеты и роботизированные решения [2]. Часто можно найти сложные решения, когда несколько методов применяются одновременно [3].
В то же время нельзя упускать из виду реальные потребности тренеров, поэтому в данной работе для измерения скоростных параметров ударов использовались инерциальные измерительные модули; другие решения явля-
ются дорогостоящими, требуют сложных математических моделей распознавания ударов и высокой вычислительной мощности, так как они связаны с обработкой видео [1]. Движения человека имеют сложный характер, и построить математическую модель, описывающую движение человека с учетом взаимодействия всех двигательных структур, которые также во многом индивидуальны для разных людей, очень сложно [4]. Альтернативным методом анализа движений человека является использование методов искусственных нейронных сетей. Искусственные нейронные сети предоставляют множество возможностей для анализа данных в спорте и повышения эффективности движений спортсменов. Неудивительно, что это стало основой для взрывного роста исследований в этой области. В работе [5] был проведен обзор основных направлений исследований по использованию нейронных сетей в области спорта, таких как анализ движения, оценка эффективности спортсменов, сбор спортивных данных, формирование программ питания, планирование тренировок, прогнозирование результатов соревнований, анализ спортивных данных, поддержка принятия решений. В работе [6] представлены основные методы анализа данных в спорте, основанные на методах машинного обучения и искусственных нейронных сетях: многослойный персептрон, рекуррентные нейронные сети, LSTM (Long short-term memory) сети, свёрточные нейронные сети. Конечно, модель, полученная с помощью искусственной нейронной сети, по сути, будет «черным ящиком», однако эта модель будет полезна для практических целей автоматизации спортивных тестов вместе с определением динамики и кинематики движений. В связи с этим авторы [1] отмечают, что использование искусственных нейронных сетей для автоматизации сбора кинематических данных в спорте имеет большие перспективы.
Существует множество научных исследований, посвященных тому или иному аспекту кинематики и динамики движений в единоборствах, однако применение нейронных сетей для изучения динамики ударной техники в боевых искусствах еще недостаточно развито. К примеру, в обзоре литературы [1] показано, что из 52 публикаций только три работы посвящены анализу данных ударов в спортивных единоборствах на основе машинного обучения. В работе [8] показано, что за пятнадцать лет до 2019 года из 36 публикаций, посвященных использованию IMU в боевых искусствах, только в четырех работах используется машинное обучение.
МЕТОДЫ
И ОРГАНИЗАЦИЯ ИССЛЕДОВАНИЯ
Общая схема эксперимента показана на рисунке 1. На каждом запястье спортсменов при помощи эластичных бинтов были закреплены инерциальные измерительные модули, в состав которых входят гироскоп и акселерометр, позволяющие отслеживать вращательные и поступательные движения рук. Вместе с IMU в корпусе устройства были установлены микроконтроллер для управления процессами и беспроводной передатчик, который по каналу Bluetooth передавал на компьютер данные для анализа при помощи искусственной нейронной сети. Коробка с IMU, микроконтроллером, беспроводным передатчиком весила 35 грамм. Удары наносились в режиме
боя с тенью. При достижении определенного порога абсолютного значения ускорения IMU начинали передавать данные на компьютер каждую 1 миллисекунду. Измерительные модули закреплялись на запястье таким образом, что ось Y акселерометра располагалась вдоль направления удара, ось X — вдоль линии большого пальца (см. рисунок 2). Положительное направление угловой скорости вокруг каждой оси также показано на рисунке 2.
Технические характеристики акселерометра: чувствительность — ±16g, нелинейность — 0,2%. Характеристики гироскопа: чувствительность — ±2000°/сек, нелинейность — 0,5%.
Измерительный модуль был соединен с микроконтроллерным устройством. Так как акселерометры и гироскопы отличаются большим шумом данных, в микроконтроллере производилась обработка данных акселерометра и гироскопа при помощи фильтра Калмана. Микроконтроллер управлял также передачей данных от IMU на компьютер по каналу Bluetooth. На компьютер передавались следующие данные: aabs (абсолютное ускорение), gabs (абсолютная угловая скорость) каждые 1 миллисекунду в течение времени пока длится удар.
Для анализа кинематических данных ударов использовалась нейросетевая модель в виде многослойного персептрона [18]. В качестве входных данных использовались
Рисунок 1 - Общая схема
эксперимента
Figure 1 - General design
of the experiment
600 значений абсолютных ускорений и угловых скоростей, то есть данные IMU за 300 миллисекунд от начала удара. Топология искусственной нейронной сети в данной работе была следующей: входной слой — 600 узлов (значения абсолютных ускорений и угловых скоростей); скрытые слои (512, 256, 128, 64 узла); выходной слой — 4 узла (прямой удар рукой, боковой удар, апперкот, передвижения без ударов).
Обработка данных производилась при помощи библиотеки глубокого обучения Keras, написанной на языке программирования Python и работающей поверх платформы машинного обучения TensorFlow[19]. Функция активации определяет выходное значение нейрона в зависимости от результата взвешенной суммы входов и порогового значения. В данной работе на каждом слое была применена функция активации в виде сигмоиды. При обучении нейронной сети выполнялась минимизация функции потерь. Так как в нашем случае данные имеют категориальную форму, была использована функция потерь «категориальная перекрестная энтропия» (англ. sparse categorical crossentropy). Для построения модели был использован алгоритм оптимизации Adam, метод стохастического градиентного спуска, основанный на адаптивной оценке моментов первого и второго порядков [19]. В процессе обучения сеть в определённом порядке просматривает обучающую выборку. Один полный проход
по выборке называется эпохой обучения. Для обучения моделей было применено 100 эпох. Классификация производилась по четырем категориям: прямой удар рукой, боковой удар, апперкот, передвижения без ударов. Категория «передвижения без ударов» была введена, так как при перемещениях спортсмены часто производят довольно резкие движения рукой и их нужно было отличать от собственно ударов.
В эксперименте принимали участие три категории добровольцев, занимающихся каратэ стилевого направления сёто-кан. 1-я группа спортсменов — первый год обучения, 2-я группа — 2-3-й годы. В этих группах было по 20 человек (10 человек — основная часть, 10 человек — контрольная), 3-я группа — от 5 лет обучения, 15 человек (10 человек — основная часть, 5 человек — контрольная). Все спортсмены были мужского пола, их возраст составлял от 18 до 27 лет. Основная часть группы должна была участвовать в наборе данных для обучения модели, контрольная участвовала в апробации обученной модели. Было проведено 2 серии экспериментальных исследований.
В 1-й серии экспериментов для сбора данных для обучения искусственной нейронной сети каждый спортсмен наносил одиночные удары по каждой из категорий (прямой, боковой, апперкот), а также проводил перемещения, имитируя бой с тенью без ударов. Удары не дифференцировались по тому, какой именно рукой
они наносились — правой или левой. Спортсменам было дано указание наносить удары максимально быстро и сильно, как во время реального боя. Для обучения модели каждый спортсмен нанес 3000 ударов обеими руками в каждой категории. 1000 ударов были использованы для формирования тестового набора данных, которые применялись для проверки модели. Затем эти данные были использованы для обучения искусственной нейронной сети для каждой категории ударов и каждой группы спортсменов. Также была обучена искусственная нейронная сеть, в которой использовались данные всех групп спортсменов, после чего все обученные модели были «заморожены». 2-я серия экспериментов (контрольная) состояла из 1000 ударов обеими руками в каждой категории. В этой серии экспериментов участвовали контрольные части каждой группы, то есть те, кто не участвовал в обучении модели. Серия предназначалась для верификации обученных моделей. Для верификации применялись модели, которые были обучены для каждой отдельной группы, и универсальная, обученная на основе данных всех групп.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ
1-я серия экспериментов. После полного набора данных был проведено обучение моделей для каждой группы спортсменов. Для оценки эффективности моделей применялись функции потерь и точности.
В результате эксперимента уже к 80-90-й эпохе точность приближалась к 1, а потери стремились к нулю.
2-я серия экспериментов. В данной серии анализ ударов и распознавание вида ударов происходили для групп, которые не участвовали в серии обучения модели. Дифференциации по видам ударов не производилось, определялся общий уровень распознавания по всем ударам. Уровень распознавания ударов вычислялся по формуле:
Количество верно Уровень _ распознанных ударов
распознавания '100% — Количество неверно ' распознанных ударов
В первой группе спортсменов уровень распознавания ударов в среднем составил
86,5±5,23% (рисунок 3, а). Уровень распознавания довольно высокий, но из графика легко заметить большой разброс значений, который можно объяснить тем, что техника ударов у этой категории спортсменов еще не устоялась. У группы 2 уровень распознавания ударов — 95,52±2,26%, это самый высокий результат из всех трех групп и самый маленький разброс результатов. Уровень распознавания ударов 3-й группы — 92,08±3,4%, это ниже, чем у второй группы; можно предположить, что у спортсменов высокого уровня появляется своеобразная техника выполнения ударов.
Трудно было предполагать, но уровень распознавания ударов по универсальной модели оказался выше у всех трех групп: 1-я группа — 92,32±3,01% (рисунок 3, б); у второй группы распознавание ударов по универсальной модели увеличилось, хотя и незначительно, и составило 95,67±1,58%; на графике эксперимента 3-й группы спортсменов по универсальной модели так же, как и для 1-й группы, можно видеть, что уровень распознавания ударов чуть выше — 92,93±4,33%. Полученный уровень распознавания ударов сопоставим с данными работ, выполненных ранее. В работе [3], где для набора данных использовались 9 человек, а 20% из них составляли контрольную группу, точность распознавания варьировалась для разных типов ударов от 87 до 99%. В работе [9] для классификации ударов применялся анализ видеоданных и метод опорных векторов. Экспериментальные результаты показали точность 97,3% для спортсменов тренировочной группы и 96,2% — для спортсменов контрольной. Следует отметить, что в нашей работе точность спортсменов из группы, на данных которых обучалась искусственная нейронная сеть, составила 100%. В работе [22], основанной на видеозахвате движения с использованием свёрточных нейронных сетей, точность распознавания движения составила около 78%.
ЗАКЛЮЧЕНИЕ
1. При обучении искусственная нейронная сеть показала хорошую эффективность по
Уровень распознавания (Level of recognition, % ОСЛОСЯОШОСЛ Модель группы (Group model) Уровень распознавания (Level of recognition, % N s со a e io о О Ol О Ol О Ol о Универсальная (Universal model)
И?--»'*/
•к --- N / \ .. m'Je Y* / ^—
4
\ • /
2 4 6 8 10 12 Спортсмены (Athletes) 2 4 e 8 10 12 Спортсмены (Athletes)
' а) б)
Рисунок 3 - Графики уровня распознавания ударов - 1-я группа, - 2-я группа, - 3-я группа Figure 3 - Graphs for the punch tracking level - 1st group, - 2nd group, - 3rd group
функциям точности и потерь. Уже к 80-90-й эпохе обучения функция точности становилась равной 1.
2. Искусственная нейронная сеть, построенная на входных значениях акселерометра и гироскопа, закрепленных на кисти спортсмена, дает высокую степень точности предсказания типа удара.
3. Эксперименты показали, что применение нейронных сетей значительно облегчает сбор данных кинетических характеристик ударов спортсменов каратэ, позволяет автоматизировать этот процесс. Такие параметры ударов, как скорость, ускорение можно определять в ходе боя с тенью, при этом происходит идентификация вида удара и его параметров.
ЛИТЕРАТУРА
1. Emily E Cust, Alice J Sweeting, Kevin Ball & Sam Robertson (2019) Machine and deep learning for sport-specific movement recognition: a systematic review of model development and performance, Journal of Sports Sciences, 37:5, 568-600, DOI: 10.1080/02640414.2018.1521769
2. Polak, Ewa & Kulasa, Jerzy & VencesBrito, Antonio & Castro, Maria António & Fernandes, Orlando. (2016). Motion analysis systems as optimization training tools in combat sports and martial arts. Revista de Artes Marciales Asiáticas. 10. 105 - 123. 10.18002/ rama.v10i2.1687.
3. Malawski, Filip & Kwolek, Bogdan. (2018). Recognition of Action Dynamics in Fencing Using Multimodal Cues. Image and Vision Computing. 75. 10.1016/j. imavis.2018.04.005.
4. Schöllhorn, Wolfgang & Jäger, Jörg & Janssen, D. (2008). Artificial neural network models of sports motions. Routledge Handbook of Biomechanics and Human Movement Science. 50-64.
5. Robson Bonidia, Luiz A. L. Rodrigues, Anderson P. Avila-Santos, Danilo Sipoli Sanches, Jacques Brancher: Computational Intelligence in Sports: A Systematic Literature Review. Adv. Hum. Comput. Interact. 2018: 3426178:1-3426178:13 (2018).
6. Rajsp, A.; Fister, I., Jr. A Systematic Literature Review of Intelligent Data Analysis Methods for Smart Sport
Training. Appl. Sci. 2020, 10, 3013.
7. Zhang, X.; Shan, G.; Wang, Y.; Wan, B.; Li, H. Wearables, Biomechanical Feedback, and Human Motor-Skills' Learning & Optimization. Appl. Sci. 2019, 9, 226.
8. Worsey MT, Espinosa HG, Shepherd JB, Thiel DV. Inertial Sensors for Performance Analysis in Combat Sports: A Systematic Review. Sports (Basel). 2019; 7(1):28. Published 2019 Jan 21. doi:10.3390/sports7010028
9. Kasiri-Bidhendi, S., Fookes, C., Morgan, S., Martin, D. T., & Sridharan, S. (2015). Combat sports analytics: Boxing punch classification using overhead depth imagery. In 2015 IEEE International Conference on Image Processing (ICIP) (pp. 4545-4549). Quebec City, Canada: IEEE. https://doi.org/10.1109/ ICIP.2015.7351667
10. Kasiri, S., Fookes, C., Sridharan, S., & Morgan, S. (2017). Fine-grained action recognition of boxing punches from depth imagery. Computer Vision and Image Understanding, 159, 143-153. https://doi. org/10.1016/j.cviu.2017.04.007
11. Hachaj, T., Ogiela, M. R., & Koptyra, K. (2015). Application of assistive computer vision methods to Oyama karate techniques recognition. Symmetry, 7(4), 1670-1698. https://doi.org/10.3390/sym7041670
12. Shen, Yijun & Wang, He & Ho, Edmond & Yang, Longzhi & Shum, Hubert. (2017). Posture-based and Action-based Graphs for Boxing Skill Visualization. Computers & Graphics. 69. 10.1016/j.cag.2017.09.007.
REFERENCES
1. Emily E Cust, Alice J Sweeting, Kevin Ball & Sam Robertson (2019) Machine and deep learning for sport-specific movement recognition: a systematic review of model de-
velopment and Performance, Journal of Sports Sciences, 37:5, 568-600, DOI: 10.1080/02640414.2018.1521769 2. Polak, Ewa & Kulasa, Jerzy & VencesBrito, Antonio & Castro, Maria Antonio & Fernandes, Orlando. (2016).
Motion analysis systems as optimization training tools in combat sports and martial arts. Revista de Artes Marciales Asiáticas. 10. 105 - 123. 10.18002/rama. v10i2.1687.
3. Malawski, Filip & Kwolek, Bogdan. (2018). Recognition of Action Dynamics in Fencing Using Multimodal Cues. Image and Vision Computing. 75. 10.1016/j.im-avis.2018.04.005.
4. Schöllhorn, Wolfgang & Jäger, Jörg & Janssen, D. (2008). Artificial neural network models of sports motions. Routledge Handbook of Biomechanics and Human Movement Science. 50-64.
5. Robson Bonidia, Luiz A. L. Rodrigues, Anderson P. Avila-Santos, Danilo Sipoli Sanches, Jacques Brancher: Computational Intelligence in Sports: A Systematic Literature Review. Adv. Hum. Comput. Interact. 2018: 3426178:1-3426178:13 (2018).
6. Rajsp, A.; Fister, I., Jr. A Systematic Literature Review of Intelligent Data Analysis Methods for Smart Sport Training. Appl. Sci. 2020, 10, 3013.
7. Zhang, X.; Shan, G.; Wang, Y.; Wan, B.; Li, H. Wearables, Biomechanical Feedback, and Human Motor-Skills' Learning & Optimization. Appl. Sci. 2019, 9, 226.
8. Worsey MT, Espinosa HG, Shepherd JB, Thiel DV. Inertial Sensors for Performance Analysis in Combat Sports: A Systematic Review. Sports (Basel). 2019; 7(1):28. Published 2019 Jan 21. doi:10.3390/sports7010028
9. Kasiri-Bidhendi, S., Fookes, C., Morgan, S., Martin, D. T., & Sridharan, S. (2015). Combat sports analytics: Boxing punch classification using overhead depth imagery. In 2015 IEEE International Conference on Image Processing (ICIP) (pp. 4545-4549). Quebec City, Canada: IEEE. https://doi.org/10.1109/ICIP.2015.7351667
10. Kasiri, S., Fookes, C., Sridharan, S., & Morgan, S. (2017). Fine-grained action recognition of boxing punches from depth imagery. Computer Vision and Image Understanding, 159, 143-153. https://doi.org/10.1016/j. cviu.2017.04.007
11. Hachaj, T., Ogiela, M. R., & Koptyra, K. (2015). Application of assistive computer vision methods to Oyama karate techniques recognition. Symmetry, 7(4), 1670-1698. ht-tps://doi.org/10.3390/sym7041670
12. Shen, Yijun & Wang, He & Ho, Edmond & Yang, Longzhi & Shum, Hubert. (2017). Posture-based and Action-based Graphs for Boxing Skill Visualization. Computers & Graphics. 69. 10.1016/j.cag.2017.09.007.
СВЕДЕНИЯ ОБ АВТОРЕ:
Хасаншин Ильшат Ядыкарович - кандидат технических наук; Финансовый университет при Правительстве РФ; 125993 (ГСП-3), г. Москва, Ленинградский просп., 49; e-mail: iykhasanshin@fa.ru; ORCID: 0000-0003-3809-8624
Поступила в редакцию 19 января 2021 г. Принята к публикации 5 февраля 2021 г.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Хасаншин, И.Я. Исследование кинематики ударов руками в каратэ на основе искусственной нейронной сети / И.Я. Хасаншин // Наука и спорт: современные тенденции. - 2021. - Т. 9, № 1. - С. 36-42. DOI: 10.36028/2308-8826-2021-9-1-36-42
FOR CITATION
Khasanshin I.Y. Research of kinematics of karate punches based on an artificial neural network. Science and sport: current trends, 2021, vol. 9, no. 1, pp. 36-42 (in Russ.) DOI: 10.36028/2308-8826-2021-9-1-36-42
