CC BY
9УДК 796.853 DOI: 10.36028/2308-8826-2021-9-4-58-64
ПОСТРОЕНИЕ МОДЕЛЕЙ УДАРОВ КАРАТЭ НА ОСНОВЕ РАЗЛИЧНЫХ ВИДОВ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
И.Я. Хасаншин, П.В. Никитин
Финансовый университет при Правительстве Российской Федерации, Москва, Россия
Аннотация
Цель работы состояла в построении моделей распознавания ударов на основе многослойного персеп-трона и сверточных нейронных сетей.
Методы и организация исследования. Для исследования кинематики ударов были применены инер-циальные измерительные модули (англ. Inertial Measurement Unit - IMU), с помощью которых производилось измерение ускорений ударных сегментов тела. IMU были закреплены на запястьях спортсменов. Исследования проводились для ударов каратэ: гяку-цуки, маваши-цуки, агэ-цуки, уракен. Также был добавлен класс движений без ударов. Для разработки моделей ударов были применены следующие методы глубокого обучения: многослойный персептрон (англ. Multilayer Perceptron - MLP), 1-и 2-размерная сверточная нейронная сеть (англ. Convolution Networks - CNN). Для оценки моделей была применена F-метрика.
Результаты исследования. Исследования показали, что для модели MLP были получены хорошие результаты, к примеру, лучший результат по F-метрике - 0,95 для удара уракен, худший - 0,86 для движения без ударов. Разница между точностью обучения и проверки разработанной модели в форме MLP может являться результатом переобучения модели. 1-мерная модель свертки, рекомендованная авторами Z. Wang, W. Yan [6], показала худшие результаты, видимо, она плохо подходит для распознавания ударов. Точность составила около 0,8, а точность тестовой выборки составляла всего 0,65 и была нестабильна. Худший результат по F-метрике - 0,11 для маваши-цуки, лучший результат - 0,81 для класса без ударов. Сверточная модель с 2 слоями показала себя лучше, примерно на уровне MLP. Лучший показатель F-метрики составил 0,93 для гяку-цуки, а худший - 0,9 для уракен. Заключение. Сравнительный анализ разработанных моделей искусственных нейронных сетей для распознавания ударов руками в каратэ показал, что многослойный персептрон является наиболее простой и эффективной моделью.
Ключевые слова: кинематика удара каратэ, искусственная нейронная сеть, многослойный персеп-трон, сверточная нейронная сеть, распознавание ударов каратэ.
DEVELOPMENT OF KARATE KICK MODELS BASED ON VARIOUS TYPES OF ARTIFICIAL NEURAL NETWORKS
I.Y. Khasanshin, iykhasanshin@fa.ru, ORCID: 0000-0003-3809-8624 P.V. Nikitin, PVNikitin@fa.ru, ORCID: 0000-0001-8866-5610
Financial University under the Government of the Russian Federation, Moscow, Russia Abstract
The work was aimed to develop punch recognition models based on a multilayer perceptron and convolutional neural networks.
Methods and organization of the study. To study the kinematics of punch, inertial measurement modules (IMU) were used, with the help of which the accelerations of the punch segments of the body were measured. IMUs were fixed on the wrists of athletes. Studies were conducted for karate punches: gyaku-tsuki, mawashi-tsuki, age-tsuki, uraken. A class of movements without punches was also added. To develop punch models, the following deep learning methods were used: multilayer perceptron (MLP), 1-d and 2-d convolutional neural network (CNN). The F-score was used to evaluate the models.
The results of the study. Studies have shown that good results were obtained for the MLP model, for example, the best result for the F-score is 0.95 for the uraken, the worst is 0.86 for the movement without punches. The difference between the accuracy of training and testing the developed model in the form of MLP may be the result of overfitting the model. The 1-d CNN model showed the worst results, apparently, it is poorly suited for recognizing bumps. The accuracy was about 0.8, and the accuracy of the test dataset was only 0.65 and was unstable. The worst result on the F-score is 0.11 for the mawashi-tsuki, the best result is 0.81 for the class
without punches. The convolutional model with 2 layers performed better, approximately at the MLP level. The best indicator of the F-score was 0.93 for gyaku-tsuki, and the worst was 0.9 for uraken. Conclusion. A comparative analysis of the developed various models of artificial neural networks for recognizing punches in karate has shown that the multilayer perceptron is the simplest and most effective model. Keywords: artificial neural network, multilayer perceptron, convolutional neural network, karate punch recognition.
ВВЕДЕНИЕ
Каратэ — это традиционное японское боевое искусство, завоевавшее популярность во всем мире. По каратэ проводятся спортивные соревнования национального и мирового уровня. Популярность каратэ как вида спорта растет, и в связи с этим методы подготовки спортсменов каратэ все больше приобретают научный характер. Для разработки эффективных методов тренировки тренерам необходимо понимать кинематику и динамику ударов каратэ. Поэтому наше исследование было направлено на разработку и анализ различных видов искусственных нейронных сетей для распознавания ударных действий. Однако построение моделей ударов в каратэ требует включения в нее множества различных факторов, поэтому в настоящее время активно развиваются исследования ударных моделей на основе технологий глубокого обучения [1-10]. Для решения задач исследования использовались инерциальные измерительные модули (IMU). IMU были прикреплены к запястьям спортсменов. M.T. Worsey, H.G. Espinosa, J.B. Shepherd, D.V. Thiel [2] считают, что использование IMU было связано с тем, что в спорте и боевых искусствах они оказались эффективным инструментом для анализа кинематики и биомеханики движений человека. Различные модели искусственных нейронных сетей (англ. Artificial Neural Network — ANN) используются для анализа кинематики ударов в боевых искусствах, особенно в условиях недостатка данных. Как следует из обзора E. E. Cust, A. J. Sweeting, K. Ball, S. Robertson [1], преимущества ANN привели к тому, что они активно используются в спорте и боевых искусствах. Например, D. K Kimm, D. Thiel [3] пришли к выводу, что по данным акселерометра трудно определить время, когда рука боксера начинает возвращаться после удара. Можно
предположить, что использование методов ANN может справиться с этой проблемой. I. Khasanshin [11] разработал ANN в виде многослойного персептрона с целью автоматизации сбора данных об ударах боксеров. Входными данными для ANN были данные IMU, которые были прикреплены к запястью боксеров. Точность распознавания ударов варьировалась от 87,2 ± 5,4 % до 95,33 ± 2,51%. M.T. Worsey, H.G. Espinosa, J.B. Shepherd, D.V Thiel [12] исследовали шесть различных моделей глубокого машинного обучения для распознавания ударов боксеров. IMU были установлены в двух вариантах: (1 — IMU был прикреплен к обоим запястьям; 2 — IMU был прикреплен к обоим запястьям и третьему грудному позвонку). Точность прогноза составила: для версии 1 — 0,90 ± 0,12, для версии 2 — 0,87 ± 0,09. Для версии 1 лучше всего работала модель метода опорных векторов (точность — 0,96), для версии 2 — многослойного персептрона (точность — 0,98).
МЕТОДЫ И ОРГАНИЗАЦИЯ ИССЛЕДОВАНИЯ
В экспериментах принимали участие 16 спортсменов (12 мужчин, 4 женщины, возраст — 22±3 года, вес — 70±14 кг, рост — 165±21 см, опыт тренировок — 3-7 лет). На запястьях спортсменов были закреплены устройства, которые включали микроконтроллер, IMU и модули Bluetooth. Спортсмены наносили удары в режиме боя с тенью. Данные IMU (ускорение) первоначально передавались по каналу Bluetooth на устройство Android и сохранялись на нем в виде файлов для каждого типа удара. Затем эти данные обрабатывались на компьютере. Устройство сбора данных представляло собой коробку размером 50x20x10 мм, содержащую три модуля — микроконтроллер stm32f103, IMU типа MPU6050 и модуль Bluetooth.
Рисунок 1 - Приблизительные траектории ударов: (a) - гяку-цуки; (b) - маваши цуки; (с) - аге-цуки; (d) - уракен Figure 1 - Approximate trajectories of the punches: (a) - Gyaku Tsuki; (b) - Mawashi Tsuki; (c) - Age Tsuki; (d) - Uraken
Датасет состоял из 1912 ударов, классы ударов и движений: гяку-цуки (YT), маваши-цуки (MT), аге-цуки (AT); уракен (U), перемещения без ударов (NP). На рисунке 1 стрелкой показаны приблизительные траектории ударов. Предварительная обработка данных проводилась с помощью пакетов Python: numpy, sklearn. Визуализация была выполнена с помощью пакета matplotlib, нейросетевые модели построены с помощью tensorflow. keras. В экспериментах были разработаны 3 модели: многослойный персептрон; 1-мерная сверточная сеть; 2-мерная сверточная сеть.
Оценка классификации для различных факторов была произведена на основе F-метрики (англ. — F-score). Данная метрика также была проведена на основе библиотеки skearn.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ обсуждение
Многослойный персептрон состоял из 5 слоев (450, 450, 1024, 256, 128, 5). Применялись пакетная нормализация, сигмоидная функция активации и усеченное линейное преобразование (англ. Rectified Linear Unit, ReLU).
После 100 эпох обучения были получены уровни точности: 0,99 для датасета обучения и 0,87 для проверочного датасета. Показатели классификации приведены в таблице 1.
Матрица ошибок представлена на рисунке 2. Процесс обучения модели сопровождался разницей между точностью обучения и проверки. Можно предположить, что линейная модель была «переобучена». Чтобы избежать
Таблица 1 - Показатели классификации MLP Table 1 - MLP classification metrics
Вид удара / Punch class Точность/ Precision Чувствительность/Recall F1-метрика/F1-score
YT 0,87 0,93 0,91
MT 0,97 0,90 0,93
AT 0,83 0,90 0,87
U 0,92 0,96 0,94
NP 0,88 0,79 0,83
Рисунок 2 - Матрица ошибок MLP Figure 2 - Confusion matrix MLP
Рисунок 3 - Матрица ошибок 1-мерной сверточной нейронной сети (CNN) Figure 3 - Confusion matrix 1-d CNN
этого, была разработана более сложная модель — сверточная нейронная сеть по рекомендациям Z. Wang, W Yan, T. Oates. [13]. Разработанная 1-мерная сверточная сеть состояла из 3 отдельных слоев. Применялась функция активации ReLU и оптимизатор Adam. После 100 эпох обучения была получена точность 0,81 для обучающей выборки и 0,62 для тестовой выборки. Показатели классификации приведены в таблице 2. Матрица ошибок представлена на рисунке 3. Можно видеть небольшую точность обучения, нестабильную точность тестовых проверок и большие потери. Можно предположить, что эта модель свертки непригодна для классификации ударов.
Была разработана 2-мерная сверточная сеть, которая состояла из 2 отдельных слоев. Применялась функция активации ReLU и оптимизатор Adam. После 100 эпох обучения была получена точность 0,97 для обучаю-
Рисунок 4 - Матрица ошибок 2-мерной сверточной
нейронной сети (CNN)
Figure 4 - Confusion matrix 2-d CNN
щей выборки и 0,93 для тестовой выборки. Показатели классификации приведены в таблице 3.
Матрица ошибок представлена на рисунке 4.
Таблица 3 - Показатели классификации 2-мерной CNN Table 3 - 2-d CNN classification metrics
Вид удара/Punch class Точность/ Precision Чувствительность/Recall F1-метрика/F1-score
YT 0,81 1,00 0,89
MT 1,00 0,94 0,97
AT 0,90 0,85 0,88
U 0,96 0,98 0,97
NP 1,00 0,81 0,90
Результаты экспериментов хорошо согласуются с работами других авторов, которые проводили аналогичные исследования. Можно отметить, что другие авторы, проводившие исследования по распознаванию и классификации ударов, не использовали такой класс, как «движение без ударов». Многослойный персептрон, несмотря на свою простоту, показал хорошие результаты. Лучший результат по Fl-метрике — 0,95 для уракена, худший — 0,86 для движения без ударов. I. Khasanshin [11] провел исследования по распознаванию ударов боксеров с использованием MLP. I. Khasanshin [4] получил уровень распознавания 92,93±4,33% для высококвалифицированных боксеров.
Разница между точностью обучения и проверки разработанной модели в форме пер-септрона является результатом переобучения модели. Увеличение числа обучающих выборок может решить эту проблему. 1-мерная модель свертки, которая рекомендована Z. Wang, W Yan, T. Oates [13], работает плохо и не подходит для распознавания ударов. Точность составила около 0,8, а точность тестовой выборки составляла всего 0,65 и была нестабильна. Худший результат по Fl-метрике — 0,11 для маваши-цуки, лучший результат — 0,81 для класса без ударов. Потеря после 100 эпох обучения составляет всего около 0,3. Как и можно было предположить, 2D-модель свертки с 2 слоями работает лучше. Уровень показателей почти такой же, как у многослойного персептро-на: лучший показатель F1-метрики составляет 0,93 для гяку-цуки, а худший — 0,90 для уракен. Небольшой разрыв между кривыми точности обучения и проверки говорит о некотором переобучении.
ЗАКЛЮЧЕНИЕ
В задачи исследования входила разработка различных нейросетевых моделей таких ударов каратэ, как гяку-цуки, маваши-цу-ки, аге-цуки, уракен. Также был введен тип
классификации — «движение без ударов», который не встречается в исследованиях, хотя этот подход поможет в будущем отличать удары от финтов.
Исследования показали, что для модели MLP были получены хорошие результаты, к примеру, лучший результат по F-метрике — 0,95 для удара уракен, худший — 0,86 для движения без ударов. Разница между точностью обучения и проверки разработанной модели в форме MLP может являться результатом переобучения модели. 1-мерная модель свертки, рекомендованная авторами Z. Wang, W Yan [6], показала худшие результаты, видимо, она плохо подходит для распознавания ударов. Точность составила около 0,8, а точность тестовой выборки составляла всего 0,65 и была нестабильна. Худший результат по F-метрике — 0,11 для маваши-цуки, лучший результат — 0,81 для класса без ударов. Сверточная модель с 2 слоями показала себя лучше, примерно на уровне MLP. Лучший показатель по F-метрике составил 0,93 для гяку-цуки, а худший — 0,9 для уракен. Удары каратэ имеют сложную кинематику и динамику, поэтому разработанная модель была ограничена изучением одиночных ударов, то есть модель не включала серии ударов и финтов. Кроме того, модель не включала данные гироскопа и магнитометра, что, вероятно, ограничивает ее применимость и точность из-за сложных траекторий удара. Все эти ограничения являются областями будущих исследований. Предмет этих исследований, призванных ответить на множество актуальных вопросов: разработка моделей для распознавания ударов в комбинациях; распознавание удара в реальном спарринге, когда два спортсмена взаимодействуют; включение в модель входных параметров, таких как данные гироскопа и магнитометра; создание моделей ударов при совместном изучении видеозахвата и кинематических данных, полученных от IMU.
ЛИТЕРАТУРА
1. Cust E. E., Sweeting A. J., Ball K., Robertson S. Machine and deep learning for sport-specific movement recognition: a systematic review of model development and performance, Journal of Sports Sciences, 2019; Volume 37, Issue 5, pp. 568-600, DOI: 10.1080/02640414.2018.1521769.
2. Dinu D., Millot B., Slawinski J., Louis J. An Examination of the Biomechanics of the Cross, Hook and Uppercut between Two Elite Boxing Groups. Proceedings, 2020, vol. 49, pp. 61, doi: 10.3390/pro-ceedings2020049061.
3. Filip M., Bogdan K. Recognition of action dynamics in fencing using multimodal cues, Image and Vision Computing, 2018, vol. 75, pp. 1-10, doi: 10.1016/j. imavis.2018.04.005.
4. Haralabidis N., Saxby DJ., Pizzolato C., Needham L., Cazzola D., Minahan C. Fusing Accelerometry with Videography to Monitor the Effect of Fatigue on Punching Performance in Elite Boxers. Sensors 2020, vol. 20, pp. 5749, doi: 10.3390/s20205749.
5. Howard R. Wireless Sensor Devices in Sports Performance. IEEE Potentials, vol. 35, no. 4, pp. 40-42, July-Aug. 2016, doi: 10.1109/MP0T.2015.2501679.
6. Hulsmann F., Gopfert J., Hammer B., Kopp S., Botsch M. Classification of motor errors to provide realtime feedback for sports coaching in virtual reality. A case study in squats and Tai Chi pushes. Com-put. Graph, 2018, vol. 76, pp. 47-59, doi: 10.1016/j. cag.2018.08.003.
7. Kasiri S., Fookes C., Sridharan S., Morgan S. Finegrained action recognition of boxing punches from
REFERENCES:
1. Cust E. E., Sweeting A. J., Ball K., Robertson S. Machine and deep learning for sport-specific movement recognition: a systematic review of model development and performance, Journal of Sports Sciences, 2019; Volume 37, Issue 5, pp. 568-600, DOI: 10.1080/02640414.2018.1521769.
2. Dinu D., Millot B., Slawinski J., Louis J. An Examination of the Biomechanics of the Cross, Hook and Uppercut between Two Elite Boxing Groups. Proceedings, 2020, vol. 49, pp. 61, doi: 10.3390/pro-ceedings2020049061.
3. Filip M., Bogdan K. Recognition of action dynamics in fencing using multimodal cues, Image and Vision Computing, 2018, vol. 75, pp. 1-10, doi: 10.1016/j. imavis.2018.04.005.
4. Haralabidis N., Saxby DJ., Pizzolato C., Needham L., Cazzola D., Minahan C. Fusing Accelerometry with Videography to Monitor the Effect of Fatigue on Punching Performance in Elite Boxers. Sensors 2020, vol. 20, pp. 5749, doi: 10.3390/s20205749.
5. Howard R. Wireless Sensor Devices in Sports Performance. IEEE Potentials, vol. 35, no. 4, pp. 40-42, July-Aug. 2016, doi: 10.1109/MP0T.2015.2501679.
6. Hulsmann F., Gopfert J., Hammer B., Kopp S., Botsch M. Classification of motor errors to provide realtime feedback for sports coaching in virtual reality. A case study in squats and Tai Chi pushes. Com-put. Graph, 2018, vol. 76, pp. 47-59, doi: 10.1016/j. cag.2018.08.003.
depth imagery, Computer Vision and Image Understanding, 2017, vol. 159, pp. 143-153, doi: 10.1016/ j.cviu.2017.04.007.
8. Khasanshin I. Application of an Artificial Neural Network to Automate the Measurement of Kinematic Characteristics of Punches in Boxing. Appl. Sci, 2021; Volume 11, pp. 1223. https://doi. org/10.3390/app11031223.
9. Kimm D. K., Thiel D. Hand Speed Measurements in Boxing. Procedia Engineering, 2015; Volume 112, pp. 502-506. https://doi.org/10.1016/j.pro-eng.2015.07.232.
10. Wang Z., Yan W., Oates T. Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline. cs. LG, 2016, arXiv:1611.06455.
11. Worsey M.T., Espinosa H.G., Shepherd J.B., Thiel D.V. An Evaluation of Wearable Inertial Sensor Configuration and Supervised Machine Learning Models for Automatic Punch Classification in Boxing. loT, 2020; Volume 1, pp. 360-381, doi:10.3390/ iot1020021.
12. Worsey M.T., Espinosa H.G., Shepherd J.B., Thiel D.V. Inertial Sensors for Performance Analysis in Combat Sports: A Systematic Review. Sports (Basel), 2019; Volume 7(1), pp. 28. doi:10.3390/ sports7010028.
13. Zhang X., Chen X., Li Y., Lantz V., Wang K., Yang J. A Framework for Hand Gesture Recognition Based on Accelerometer and EMG Sensors. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, vol. 41, no. 6, pp. 1064-1076, Nov. 2011, doi: 10.1109/TSMCA.2011.2116004.
7. Kasiri S., Fookes C., Sridharan S., Morgan S. Fine-grained action recognition of boxing punches from depth imagery, Computer Vision and Image Understanding, 2017, vol. 159, pp. 143-153, doi: 10.1016/j.cviu.2017.04.007.
8. Khasanshin I. Application of an Artificial Neural Network to Automate the Measurement of Kinematic Characteristics of Punches in Boxing. Appl. Sci, 2021; Volume 11, pp. 1223. https://doi. org/10.3390/app11031223.
9. Kimm D. K., Thiel D. Hand Speed Measurements in Boxing. Procedia Engineering, 2015; Volume 112, pp. 502506. https://doi.org/10.1016/j.proeng.2015.07.232.
10. Wang Z., Yan W., Oates T. Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline. cs. LG, 2016, arXiv:1611.06455.
11. Worsey M.T., Espinosa H.G., Shepherd J.B., Thiel D.V. An Evaluation of Wearable Inertial Sensor Configuration and Supervised Machine Learning Models for Automatic Punch Classification in Boxing. IoT, 2020; Volume 1, pp. 360-381, doi:10.3390/iot1020021.
12. Worsey M.T., Espinosa H.G., Shepherd J.B., Thiel D.V. Inertial Sensors for Performance Analysis in Combat Sports: A Systematic Review. Sports (Basel), 2019; Volume 7(1), pp. 28. doi:10.3390/sports7010028.
13. Zhang X., Chen X., Li Y., Lantz V., Wang K., Yang J. A Framework for Hand Gesture Recognition Based on Accelerometer and EMG Sensors. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, vol. 41, no. 6, pp. 1064-1076, Nov. 2011, doi: 10.1109/TSMCA.2011.2116004.
СВЕДЕНИЯ ОБ АВТОРАХ:
Хасаншин Ильшат Ядыкарович (Khasanshin Ilshat Yadikarovitch) - кандидат технических наук, Финансовый университет при Правительстве РФ, 125993 (ГСП-3), г. Москва, Ленинградский просп., 49, e-mail: iykhasanshin@fa.ru, ORCID: 0000-0003-3809-8624.
Никитин Петр Владимирович (Nikitin Petr Vladimirovitch) - кандидат педагогических наук, Финансовый университет при Правительстве РФ, 125993 (ГСП-3), г. Москва, Ленинградский просп., 49, e-mail: PVNikitin@fa.ru, ORCID: 0000-0001-8866-5610.
Поступила в редакцию 11 октября 2021 г. Принята к публикации 15 ноября 2021 г.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Хасаншин, И.Я., Никитин, П.В. Построение моделей ударов каратэ на основе различных видов искусственных нейронных сетей / И.Я. Хасаншин, П.В. Никитин // Наука и спорт: современные тенденции. - 2021. - Т. 9, № 4. -С. 58-64. DOI: 10.36028/2308-8826-2021-9-4-58-64
FOR CITATION
Khasanshin I.Y,. Nikitin P.V. Development of karate kick models based on various types of artificial neural networks, 2021, vol. 9, no.4, pp. 58-64 (in Russ.) DOI: 10.36028/2308-8826-2021-9-4-58-64
