CC BY
14УДК 612.769/004.93 DOI: 10.36028/2308-8826-2022-10-4-16-24
КОНТРОЛЬ СИНЕРГИЙ МЕЛКОЙ МОТОРИКИ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ MEDIAPIPE HANDS И ПРИНЦИПА FINGERFIT
А.А. Померанцев1, В.Э. Беспяткин1, Д.А. Травков2, О.С. Бетехтина1
1Липецкий государственный педагогический университет имени П.П. Семенова-Тян-Шанского, Липецк, Россия
2Липецкая областная клиническая больница, Липецк, Россия
Аннотация
Согласованная работа пальцев рук является показателем здоровья человека и залогом профессионального мастерства. Целью работы было создание метода контроля качества синергий мелкой моторики на основе компьютерного зрения.
Методы и организация исследования. В основе предлагаемого метода лежит использование фреймворка с открытым исходным кодом MediaPipe, а именно нейронной сети Mediapipe Hands, позволяющей определять жест человека на основе анализа видеопотока. Используя нейронную сеть и авторский способ оценки мелкой моторики, разработали компьютерное приложение FingerFit 4.0, позволяющее отслеживать и анализировать изменение жестов и синергий в автономном режиме. В апробации разработанного метода приняла участие девочка 7 лет, не имеющая отклонений в состоянии здоровья или задержек в развитии.
Результаты исследования и их обсуждение. Исследование показало, что компьютерное зрение способно быстро и точно определять малейшие изменения жеста. Тест, включающий 32 неповторяющихся жеста одной руки, предъявляемых в случайном порядке, позволил выявить и оценить 145 синергий. Основываясь на скорости построения жестов, выполнили ранжирование синергий от самой простой до самой сложной. Показано, что каждая производная синергия нижних уровней вносит свой вклад в формирование сложности синергии высшего уровня, хотя это явление нельзя объяснить простым сложением синергетической нагрузки или увеличением количества участвующих в синергии пальцев. Заключение. Предложенный метод контроля синергий мелкой моторики является простым в использовании, не требующим дополнительного дорогостоящего оборудования. Программное приложение, загруженное на обычный компьютер с web-камерой, позволяет стандартизированно и объективно оценивать состояние мелкой моторики.
Ключевые слова: нейронная сеть, Mediapipe Hands, FingerFit, компьютерное зрение, мелкая моторика, жест, синергия.
THE TESTING OF FINE MOTOR SKILLS SYNERGIES BASED ON THE MEDIAPIPE
HANDS NEURAL NETWORK AND THE FINGERFIT PRINCIPLE
A.A. Pomerantsev1, e-mail: a.pomerantsev1981@gmail.com, ORCID: 0000-0003-4197-2183
V.E. Bespyatkin1, e-mail: unchristed@gmail.com, ORCID: 0000-0002-3888-1662
D.A. Travkov2, e-mail: docdat@ro.ru, ORCID: 0000-0003-4457-3911
O.S. Betekhtina1, e-mail: larkina.olia2014@yandex.ru, ORCID: 0000-0002-3406-3822
1Lipetsk State Pedagogical P. Semenov-Tyan-Shansky University, Lipetsk, Russia 2Lipetsk Regional Clinical Hospital, Lipetsk, Russia
Abstract
The coordinated work of fingers is an indicator of human health and the key to professional skill. The research purpose was to create a method for testing of fine motor synergy based on computer vision. Methods and organization of the research. The proposed method is based on the use of the MediaPipe open source framework, namely the Mediapipe Hands neural network, which allows determining a person's gesture based on the analysis of the video stream. Using a neural network and the author's method of assessing fine motor skills, we created a computer application FingerFit 4.0. That program allows tracking and analyzing changes
in gestures and synergies in vivo. A 7-year-old girl, who has no health abnormalities or developmental delays, took part in the testing of the developed method.
Results and discussion. The research showed that computer vision is able quickly and accurately detect the slightest changes in gesture. The test, which included 32 non-repeating gestures of one hand presented in random order, allowed identifying and evaluating 145 synergies. Based on the speed of gesture construction, synergies were ranking from the simplest to the most complex. Each derived synergy of the lower levels contributes to the formation of the synergy complexity of the highest level, although this phenomenon cannot be explained by simply adding up the synergetic load or increasing the number of fingers involved in the synergy. Conclusion. The proposed method of fine motor synergy testing is easy to use and does not require additional expensive devices. A software application downloaded to a standard computer with a webcam allows a standardized and objective assessment of the state of fine motor skills.
Keywords: neural network, MediaPipe Hands, FingersFit, computer vision, fine motor skills, gesture, synergy.
ВВЕДЕНИЕ
Машинное зрение и автономный анализ видеопотока применяются для решения различных задач. В спорте подобные технологии используются для анализа движений [3] и контроля технико-тактических действий [4]. Нейронная сеть Mediapipe Hands в настоящее время применяется для обучения языку глухонемых [2], контроля правильности ответов в классной работе в школе [11], выявления неврологических заболеваний [17], управления различными механизмами и устройствами [8], навигации в компьютерных играх [7, 14].
Исследование мелкой моторики актуально в различном возрасте и с различными целями. В дошкольном возрасте мелкая моторика позволяет судить о степени готовности ребенка к школе. Многократно доказано, что когнитивные способности, память, речь, логика, математические способности, концентрация внимания, образное мышление развиваются параллельно с мелкой моторикой. Наиболее отчетливо взаимосвязь мелкой моторики с другими способностями прослеживается у детей, имеющих отставания в развитии и различные дисфункции [15, 16].
Мелкая моторика определяет уровень мастерства во многих профессиях. Музыканты (дирижеры, пианисты, аккордеонисты), медики (стоматологи, хирурги), киберспортсмены, IT-специалисты, ювелиры и представители многих других профессий имеют хорошо развитую и вместе с тем специфическую мелкую моторику. Мелкая моторика является информативным показателем в медицине, позволяя диагностировать многие заболевания в неврологии.
Уровень проявления мелкой моторики определяется способностью к слаженной работе пальцев рук, основанной на мышечных синергиях. Таким образом, под синергиями мы понимаем согласованное функционирование мышц для решения возникшей двигательной задачи. Известно несколько аппаратных способов контроля синер-гий, но все они требуют использования уникального оборудования и сложны в проведении [9, 12].
МЕТОДЫ И ОРГАНИЗАЦИЯ ИССЛЕДОВАНИЯ
Для написания компьютерного приложения контроля синергий мы использовали фреймворк с открытым исходным кодом MediaPipe. Данный фреймворк представляет собой крос-сплатформенное решение по созданию муль-тимодальных конвейеров машинного обучения для анализа потокового видео. Решение MediaPipe для определения жеста человека
Рисунок 1 - Топология узловых точек модели MediaPipe Hand Figure 1 - Topology of node points of the MediaPipe Hand model
базируется на модели MediaPipe Hand , которая основана на архитектуре сверточной нейронной сети (https://google.github.io/mediapipe/ solutions/hands.html).
Фреймворк MediaPipe распространяется в соответствии с лицензией — Apache License 2.0, которая допускает использование разработки в любых целях с обязательным указанием названия продукта. Используемая нейронная сеть была обучена на 30 000 реальных изображений. После обнаружения области ладони в кадре сверточная нейронная сеть выполняет локализацию 21 узловой точки (рисунок 1). Если происходит перекрытие точек, например, при сжатии руки в кулак, нейронная сеть, используя функцию регрессии, способна с высокой точностью спрогнозировать их местоположение. На основе языка программирования Python было разработано компьютерное приложение с рабочим названием FingerFit 4.0. Тестирование мелкой моторики с использованием компьютерного зрения выполнялось по авторскому методу [1]. На экране компьютера появлялась жест-команда. Тестируемый должен был сформировать правильный жест-ответ, который состоял из противоположной комбинации согнутых и выпрямленных пальцев рук, то есть с использованием определенной синергии (рисунок 2). Правильность ответа и время реакции фиксировались с помощью нейронной сети, оценивающей видеопоток с камеры. Если изменение жеста происходило не одновременно с участием всех задействованных в синергии пальцев, синергия не засчитывалась и компьютер предлагал повторить операцию. Тестируемому предъявлялись 32 возможные комбинации согнутых и выпрямленных пальцев одной руки в случайном порядке. В предыдущих версиях правильность выполнения жеста определял оператор, который нажатием на клавишу мыши фиксировал время построения жеста. Корректность тестирования полностью зависела от правильной работы оператора. Компьютерное зрение, реализованное в программе FingerFit 4.0, сделало оценку мелкой моторики более объективной и избавило от необходимости иметь подготовленного оператора. На рисунке 3 представлен рабочий интерфейс программы для оценки мелкой моторики за счет выявления и оценки синергий: слева сверху схематично представлен жест-команда,
9
21
10
17
24 7
11
12
13
14
15
Рисунок 2 - Комбинации комплементарных зеркальных жестов: жест-команда - жест-ответ Figure 2 - Combinations of complementary mirror gestures: gesture-command - gesture-response
Рисунок 3 - Интерфейс программы FingerFit 4.0 Figure 3 - FingerFit 4.0 computer application interface
слева снизу — жест-ответ, автоматически определяемый на основе видеопотока и непрерывно сопоставляемый с правильным ответным жестом; справа — видеопоток в режиме реального времени. До того момента, пока не будет представлен правильный жест-ответ, идет накопление времени. Таким образом, эффективность реализации движения оценивается на основе времени,
s
затраченного на согласование работы мышц при построении необходимого жеста. После написания и отладки программы в целях апробации метода было проведено тестирование мелкой моторики девочки 7 лет подготовительной группы детского сада по программе тестирования FingerFit 4.0. Девочка не имела отклонений в психическом и физическом развитии. На исследование было получено письменное разрешение ее родителей.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ
При смене жестов в процессе тестирования за-действуется та или иная синергия. Если формализовать каждый жест как комбинацию согнутых (0) и выпрямленных пальцев (1), то синергетиче-скую нагрузку можно определить по количеству пальцев, включенных в работу (таблица 1). Возможное сочетание выпрямленных и со-
гнутых пальцев одной руки составляет 25—32, а количество комбинаций смены жестов равно п—25х25=210—32х32—1024. Из этого количества необходимо исключить 32 повторяющихся жеста и 160 жестов, когда в работу вовлекается только один палец. Таким образом, количество синергий высшего уровня составляет 832. Однако следует учитывать, что каждая синергия высшего уровня включает синергии низшего уровня. Например, синергия, образованная пятью пальцами, включает комбинации синер-гий четырех, трех и двух пальцев. Комбинаторика показывает, что при смене жеста одной руки потенциально возможно проявление 1322 возможных синергий всех уровней [5]. Ниже в качестве примера анализируются результаты тестирования мелкой моторики правой руки девочки 7 лет, не имеющей отклонений или задержек в развитии. Общее время прохождения теста составило 467 с (таблица 2).
Таблица 1 - Пример определения синергетической нагрузки при смене жеста в тесте FingerFit Table 1 - Example of determining the synergetic load during changing the gesture in the FingerFit test
P i med a min
Исходный жест The initial gesture 1 1 0 0 1
Конечный жест The final gesture 1 1 1 0 0
Синергетическая нагрузка Synergetic load 0 0 1 0 1
Примечание. Обозначения пальцев приводятся в соответствии с их латинскими названиями: p - большой палец (pollex), i - указательный палец (index), med - средний (digitus medius), a - безымянный палец (annularis), min- мизинец (digitus minimus) Note. Finger designations are given in accordance with their Latin names: p - thumb (pollex), i - index finger (index), med - middle finger (digitus medius), a - ring finger (annularis), min - pinky finger (digitus minimus)
Таблица 2 - Результаты тестирования мелкой моторики с помощью приложения FingerFit 4.0 Table 2 - Results of testing fine motor skills using the FingerFit 4.0 application
№ Жест Gesture Время Time № Жест Gesture Время Time № Жест Gesture Время Time № Жест Gesture Время Time
1 3 9 9 0 3 17 9 20 25 1 5
2 20 7 10 10 20 18 12 11 26 24 9
3 4 6 11 8 7 19 30 7 27 5 14
4 17 7 12 22 21 20 2 11 28 14 11
5 15 7 13 28 8 21 21 75 29 13 41
6 31 7 14 25 12 22 19 7 30 27 13
7 7 40 15 16 4 23 6 10 31 29 11
8 23 5 16 18 11 24 11 12 32 26 36
Примечание. № - порядок появления жестов в тесте, жест - номер жеста в соответствии с рисунком 2
Note. № - the order of appearance of gestures in the test, gesture - the number of the gesture in accordance with Figure 2
В результате случайного появления жестов было выявлено 145 синергий, в том числе синергий высшего уровня: к4 — 7, к3 — 8, к2 — 11; всего си-нергий нижнего и верхнего уровней: к4 — 12; к3 — 46, к2 — 87 (таблица 3). Из этого видно, что тест позволил выявить только около 10% от воз-
можного количества синергий. Для определения и оценки всех синергий потребуется 10-кратное увеличение количества жестов и, как следствие, 10-кратное увеличение времени прохождения теста. Такое решение является неоправданным, так как ведет к утомлению испытуемого.
Таблица 3 - Формализация жестов и синергий по результатам тестирования Table 3 - Formalization of gestures and synergies based on test results
Жест / Gesture Синергия / Synergy Нагрузка Syn. load
№ P i med a min P i med a min
1 0 0 0 1 1 1 1 1 1 1 5
2 1 0 1 0 0 1 0 1 1 1 4
3 0 0 1 0 0 1 0 0 0 0 1
4 1 0 0 0 1 1 0 1 0 1 3
5 0 1 1 1 1 1 1 1 1 0 4
6 1 1 1 1 1 1 0 0 0 0 1
7 0 0 1 1 1 1 1 0 0 0 2
8 1 0 1 1 1 1 0 0 0 0 1
9 0 0 0 0 0 1 0 1 1 1 4
10 0 1 0 1 0 0 1 0 1 0 2
11 0 1 0 0 0 0 0 0 1 0 1
12 1 0 1 1 0 1 1 1 1 0 4
13 1 1 1 0 0 0 1 0 1 0 2
14 1 1 0 0 1 0 0 1 0 1 2
15 1 0 0 0 0 0 1 0 0 1 2
16 1 0 0 1 0 0 0 0 1 0 1
17 0 1 0 0 1 1 1 0 1 1 4
18 0 1 1 0 0 0 0 1 0 1 2
19 1 1 1 1 0 1 0 0 1 0 2
20 0 0 0 1 0 1 1 1 0 0 3
21 1 0 1 0 1 1 0 1 1 1 4
22 1 0 0 1 1 0 0 1 1 0 2
23 0 0 1 1 0 1 0 1 0 1 3
24 0 1 0 1 1 0 1 1 0 1 3
25 0 0 0 0 1 0 1 0 1 0 2
26 1 1 0 0 0 1 1 0 0 1 3
27 0 0 1 0 1 1 1 1 0 1 4
28 0 1 1 1 0 0 1 0 1 1 3
29 0 1 1 0 1 0 0 0 1 1 2
30 1 1 0 1 1 1 0 1 1 0 3
31 1 1 1 0 1 0 0 1 1 0 2
32 1 1 0 1 0 0 0 1 1 1 3
Оценить качество синергий высшего уровня достаточно просто, для этого необходимо сопоставить синергию и время ответной реакции. Мы исходили из того, что более сложная синергия будет приводить к увеличению времени ответной реакции (таблица 4).
Понять «механизм» формирования сложности синергий высшего уровня можно из анализа входящих синергий нижних уровней. В качестве примера рассмотрим набор произ-
водных синергий от наиболее сложной синергии 4-го уровня (+p+med-a+min). Каждая из производных синергий вносит вклад в синергию высшего уровня, однако сложность нельзя объяснить простым сложением вложенных синергий или увеличением количества пальцев.
В тесте только жесты 29 и 31 были образованы синергиями высшего порядка и не являлись производными от более высоких синергий.
Таблица 4 - Ранжирование по сложности синергией высшего уровня из четырех пальцев Table 4 - Ranking by complexity of the high-level synergy of four fingers
Синергия / Synergy Время, с / Time, sec
+px+med-a+min 75
+p-i+med+ax 21
-p+ix-a+min 20
+px+med-a+min 14
+px+med-a-min 7
-p+i+med+ax 7
-px-med-a-min 3
Код синергии Synergy Code Жест, по порядку в тесте Gesture, in order in the test
Исходная синергия высшего уровня Initial high-level synergy +P +med -a +min 21
Производные синергии третьего уровня Third-level synergy derivatives +P +med -a 2, 21
+P +med +min 1, 21
+P -a +min 21
+med -a +min 21
Производные синергии второго уровня Derivatives of the second-level synergy +P +med 1, 2, 12, 21
+P -a 2, 21
+P +min 1, 4, 21
+med -a 2, 21, 31
+med +min 1, 21, 27
-a +min 17, 21, 29
Примечание. Обозначение пальцев подобно таблице 1; знак «+», стоящий перед обозначением пальца, говорит о его разгибании; знак «-» - о сгибании; символ «х» означает, что пропущенный в формуле палец не участвует в синергии; на фото представлен наглядный пример выполнения наиболее сложной синергии
Note. The designation of the fingers is similar to Table 1; the "+" sign standing in front of the finger designation indicates its extension; the "-" sign indicates flexion; the "x" symbol means that the finger omitted in the formula, does not participate in synergy; the photo shows a clear example of the most complex synergy
Таблица 5 - Все возможные производные синергии от высшей синергии четвертого уровня +p+med-a+min Table 5 - All possible derivatives of synergy from the high synergy of the fourth level +p+med-a+min
Рисунок 4 - Схема формирования сложности синергии из четырех пальцев, пример для синергии (+p+med-a+min) Figure 4 - Diagram of the formation of the complexity of the synergy of four fingers, an example for synergy (+p+med-a+min)
Схема формирования сложности синергии четвертого уровня представлена на рисунке 4: вопросительный знак означает, что в случайном наборе жестов при тестировании комбинация данной синергии не встречалась, серым выделены синергии высшего уровня. Сложность синергий высокого уровня определяется сложностью входящих в нее производных синергий более низкого уровня. В примере с наиболее сложной синергией 4-го уровня на жест, включающий вовлечение данной четверной синергии 75 с, значительную сложность определила синергия — а+тт, выполненная за 41 с.
ЗАКЛЮЧЕНИЕ
На основе фреймворка MediaPipe и принципа FmgerFit был разработан тест оценки мелкой моторики. В основе теста лежит определение
ЛИТЕРАТУРА
1. Патент 2717365 С1 Российская Федерация. Способ оценки мелкой моторики рук: № 2018147383: за-явл. 27.12.2018: опубл. 23.03.2020 /А. А. Померанцев, А. Н. Старкин; заявитель и патентообладатель Липецкий гос. пед. ун-т. имени П. П. Семенова-Тян-Шанского. -№ 2018147383: заявл. 27.12.2018: опубл. 23.03.2020.
2. Субботин, А. А. Использование машинного обучения в задачах по распознаванию жестов / А. А. Субботин, Л. И. Воронова // Телекоммуникации и информационные технологии. - 2022. - Т. 9, № 1. - С. 58-64.
3. Хасаншин, И. Я. Исследование кинематики ударов руками в каратэ на основе искусственной нейронной сети / И. Я. Хасаншин // Наука и спорт: современные тенденции. - 2021. - Т. 9, № 1. - С. 36-42.
4. Хасаншин, И. Я. Применение технологий машинного зрения для распознавания одиночных прямых ударов в
и контроль качества синергий. В апробации метода приняла участие девочка 7 лет, не имеющая отклонений в состоянии здоровья или задержек в развитии. Всего было выявлено и оценено 145 синергий, в том числе синергий высшего уровня: к — 7, кз — 8, К — 11. Произведено ранжирование синергий по сложности и показан пример формирования сложности синергии высшего уровня из производных си-нергий. Представленный метод будет целесообразно использовать для контроля профессиональных навыков, оценки готовности ребёнка к школе, а также диагностики неврологических заболеваний. Накопленные результаты тестирования в будущем позволят устанавливать границы нормы и делать объективные выводы об уровне развития мелкой моторики с учетом возраста и профессии.
боксе / И. Я. Хасаншин, Д. С. Уткин, Д. Н. Дербин // Наука и спорт: современные тенденции. - 2022. - Т. 10, № 2. -С. 43-48. - DOI 10.36028/2308-8826-2022-10-2-43-48.
5. Холл, М. Комбинаторика / М. Холл; под ред. А. О. Гель-фонд, В. Е. Тараканова; пер. с англ. С. А. Широковой. -М. : Мир, 1970. - 423 с.
6. Evaluation of Finger Force Control Ability in terms of Multi-finger Synergy / M. Lee, J. Lee, J. Shin, J. Bae // IEEE Transactions on Neural Systems and Rehabilitation Engineering. - 2019. - 1-11. doi:10.1109/tnsre.2019.2932440
7. Hand Gesture Mapping Using MediaPipe Algorithm / R. K. Veluri, S. R. Sree, A. Vanathi, et al // Proceedings of Third International Conference on Communication, Computing and Electronics Systems . Lecture Notes in Electrical Engineering. - 2022. - vol 844. doi: 10.1007/978-981-16-8862-1_39
8. Indriani. Applying Hand Gesture Recognition for User Guide Application Using MediaPipe / Indriani, M. Harris,
A. S. Agoes // Proceedings of the 2nd International Seminar of Science and Applied Technology (ISSAT 2021). -P 101-108 https://doi.org/10.2991/aerk.211106.017
9. Kim, K. Effect of Kinetic Degrees of Freedom on Multi-Finger Synergies and Task Performance during Force Production and Release Tasks / K. Kim, D. Xu, J. Park // Scientific Reports. - 2018. - № 8, 12758. https://doi.org/10.1038/ s41598-018-31136-8
10. Latash, M. L. One more time about motor (and non-motor) synergies / M. L. Latash // Experimental Brain Research. -2021. Oct. - 239(10). - P. 2951-2967. doi:10.1007/s00221-021-06188-4
11. Lim, K. Y. Computer Performance Evaluation for Virtual Classroom with Artificial Intelligence Features / K. Y. Lim, H. Joan, Y. Tew // International Conference on Digital Transformation and Applications (ICDXA). - 2021, P. 85-94, doi: https://doi.org/10.56453/icdxa.2021.1008.
12. Madarshahian, S., Latash, M. L. Synergies at the level of motor units in single-finger and multi-finger tasks / S. Madarshahian, M. Latash, L. // Experimental Brain Research. - 2021. - 239(9). - P. 2905-2923 .doi:10.1007/ s00221-021-06180-y
REFERENCES
1. Patent 2717365 C1 Russian Federation. [A method for assessing fine motor skills of hands]: № 2018147383: A.A. Pomerancev, A.N. Starkin; Lipetsk State Pedagogical P. Semenov-Tyan-Shansky University. - № 2018147383.
2. Subbotin, A. A., Voronova L. I. [The use of machine learning in gesture recognition tasks]. Telecommunications and information technology, 2022, Vol. 9, № 1, pp. 58-64.
3. Hasanshin, I. YA. [Investigation of the kinematics of punches in karate based on an artificial neural network]. Science and sport: current trends, 2021, Vol. 9. № 1, pp. 36-42.
4. Hasanshin, I. YA. [Application of machine vision technologies for recognition of single straight blows in boxing]. Science and sport: current trends, 2022, Vol. 10. № 2, pp. 43-48. - DOI 10.36028/2308-8826-2022-10-2-43-48.
5. Hall, M. [Combinatorics]. Moscow, Mir. - 1970. - 423 p.
6. Evaluation of Finger Force Control Ability in terms of Multi-finger Synergy. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2019, pp. 1-11. doi:10.1109/tnsre.2019.2932440
7. Veluri, R.K., Sree, S.R., Vanathi, A., et al. Hand Gesture Mapping Using MediaPipe Algorithm. Proceedings of Third International Conference on Communication, Computing and Electronics Systems . Lecture Notes in Electrical Engineering, 2022, Vol. 844. doi: 10.1007/978-981-16-8862-1_39
8. Indriani, Harris, M., Agoes, A. S. Applying Hand Gesture Recognition for User Guide Application Using Media-Pipe. Proceedings of the 2nd International Seminar of Science and Applied Technology (ISSAT 2021), pp. 101108 https://doi.org/10.2991/aer.k.211106.017
9. Kim, K., Xu, D., Park, J. Effect of Kinetic Degrees of Freedom on Multi-Finger Synergies and Task Performance during Force Production and Release Tasks. Scientific Reports, 2018, № 8, 12758. https://doi.org/10.1038/ s41598-018-31136-8
13. Multi-finger synergies and the muscular apparatus of the hand / C. Cuadra, A. Bartsch, P.Tiemann, S. Reschechtko, M. L. Latash // Experimental Brain Research. - 2018. -236(5). - P. 1383-1393. doi:10.1007/s00221-018-5231-5
14. SHREC 2021: Skeleton-based hand gesture recognition in the wild / A. Caputo, A. Giachetti, S. Soso et al. // Computers & Graphics. - 2021. - 99. - 201-211. doi:10.1016/j. cag.2021.07.007
15. Top, E. Fine motor skills and attention level of individuals with mild intellectual disability getting education in inclusive classrooms and special education schools / E. Top // International Journal of Developmental Disabilities, - 2021. - 1-8. doi:10.1080/20473869.2021.1953940
16. The Classification of Abnormal Hand Movement to Aid in Autism Detection: Machine Learning Study / A. Lak-kapragada, A. Kline, O.C. Mutlu et al. // JMIR Biomedical Engineering. - 2022. - 7(1). - e33771. doi: 10.2196/33771
17.Video-Based Hand Movement Analysis of Parkinson Patients before and after Medication Using High-Frame-Rate Videos and MediaPipe / G. Güney, T.S. Jansen, S. Dill, J.B. Schulz et al. // Sensors. - 2022. - 22. - 7992. https:// doi.org/10.3390/s22207992
10. Latash, M. L. One more time about motor (and nonmotor) synergies. Experimental Brain Research, 2021. Oct., 239(10), pp. 2951-2967. doi:10.1007/s00221-021-06188-4
11. Lim, K.Y., Joan, H., Tew, Y. Computer Performance Evaluation for Virtual Classroom with Artificial Intelligence Features. International Conference on Digital Transformation and Applications (ICDXA), 2021, pp. 85-94. doi: https://doi.org/10.56453/icdxa.2021.1008
12. Madarshahian, S., Latash, M. L. Synergies at the level of motor units in single-finger and multi-finger tasks. Experimental Brain Research, 2021, 239(9), pp. 2905-2923. doi:10.1007/s00221-021-06180-y
13. Cuadra, C., Bartsch, A., Tiemann, P., Reschechtko, S., Latash, M. L. Multi-finger synergies and the muscular apparatus of the hand. Experimental Brain Research, 2018, 236(5), pp. 1383-1393. doi:10.1007/s00221-018-5231-5
14. Caputo, A., Giachetti, A., Soso, S. et al. SHREC 2021: Skeleton-based hand gesture recognition in the wild. Computers & Graphics, 2021, 99, pp. 201-211. doi:10.1016/j. cag.2021.07.007
15. Top, E. Fine motor skills and attention level of individuals with mild intellectual disability getting education in inclusive classrooms and special education schools. International Journal of Developmental Disabilities, 2021, pp. 1-8. doi:10.1080/20473869.2021.1953940
16. Lakkapragada, A., Kline, A., Mutlu, O.C. et al. The Classification of Abnormal Hand Movement to Aid in Autism Detection: Machine Learning Study. JMIR Biomedical Engineering, 2022, 7(1), e33771. doi: 10.2196/33771
17.Güney, G., Jansen, T.S., Dill, S., Schulz, J.B. et al. Video-Based Hand Movement Analysis of Parkinson Patients before and after Medication Using High-Frame-Rate Videos and MediaPipe. Sensors, 2022, 22, 7992. https:// doi.org/10.3390/s22207992
СВЕДЕНИЯ ОБ АВТОРАХ:
Померанцев Андрей Александрович (Pomerantsev Andrey ALeksandrovich) - кандидат педагогических наук, доцент; Липецкий государственный педагогический университет имени П.П. Семенова-Тян-Шанского; 398020, г. Липецк, ул. Ленина, д. 42; e-maiL: a.pomerantsev1981@gmaiL.com; ORCID: 0000-0003-4197-2183.
Беспяткин Владимир Эдуардович (Bespyatkin Vladimir Eduardovich) - студент Института культуры и искусства; Липецкий государственный педагогический университет имени П.П. Семенова-Тян-Шанского. 398020, г. Липецк, ул. Ленина, д. 42. E-maiL: unchristed@gmaiL.com, ORCID: 0000-0002-3888-1662.
Травков Дмитрий Анатольевич (Travkov Dmitry AnatoLievich) - врач-нейрохирург; Липецкая областная клиническая больница, Липецк, e-maiL: docdat@ro.ru, ORCID: 0000-0003-4457-3911.
Бетехтина Ольга Сергеевна (Betekhtina OLga Sergeevna) - магистрант института физической культуры и спорта; Липецкий государственный педагогический университет имени П.П. Семенова-Тян-Шанского. 398020, г. Липецк, ул. Ленина, д. 42. E-maiL: Larkina.oLia2014@yandex.ru, ORCID: 0000-0002-3406-3822.
Поступила в редакцию 4 ноября 2022 г. Принята к публикации 25 ноября 2022 г.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Померанцев, А.А. Контроль синергий мелкой моторики на основе нейронной сети Mediapipe Hands и принципа FingerFit / А.А. Померанцев, В.Э. Беспяткин, Д.А. Травков и др. // Наука и спорт: современные тенденции. - 2022. -Т. 10, № 4 - С. 16-24. DOI: 10.36028/2308-8826-2022-104-16-24
FOR CITATION
Pomerantsev A.A., Bespyatkin V.E., Travkov D.A., Betekhtina O.S. The testing of fine motor skills synergies based on the Mediapipe Hands neural network and the FingerFit principle. Science and sport: current trends., 2022, vol. 10, no.4, pp. 16-24 (in Russ.) DOI: 10.36028/2308-88262022-10-4-16-24
