НЕПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ ДВИЖЕНИЙ ГЛАЗ СПОРТСМЕНОВ-БОРЦОВ С ПРИМЕНЕНИЕМ ДИФФЕРЕНЦИАЛЬНОЙ НЕЙРОННОЙ СЕТИ

Мухамедов А.М.; Леонов С.В.; Поликанова И.С.; Чертополохов В.А.; Якушина А.А.; Исаев А.В.; Чернозубов Д.Я.; Чаирез И.О.

Мухамедов А.М., Леонов С.В., Поликанова И.С., Чертополохов В.А., Якушина А.А., Исаев А.В., Чернозубов Д.Я., Чаирез. И.О. Непараметрическая идентификация движений глаз спортсменов-борцов с применением дифференциальной нейронной сети. Российский журнал биомеханики, 2023, № 2, С. 75-84 DOI: 10.15593/RZhBiomeh/2023.2.07

РОССИИСКИИ ЖУРНАЛ БИОМЕХАНИКИ № 2,2023

RUSSIAN JOURNAL OF BIOMECHANICS

https ://ered.pstu. ru/index.php/rjb

Научная статья

Б01: 10.15593/Н2ЬБюшеЬ/2023.2.07 УДК 531/534: [57+61]

НЕПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ ДВИЖЕНИЙ ГЛАЗ СПОРТСМЕНОВ-БОРЦОВ С ПРИМЕНЕНИЕМ ДИФФЕРЕНЦИАЛЬНОЙ НЕЙРОННОЙ СЕТИ

А.М. Мухамедов 1, С.В. Леонов 1, И.С. Поликанова 1, В.А. Чертополохов 1, А.А. Якушина 1, А.В. Исаев 1, Д.Я. Чернозубов 1, И.О. Чаирез 2

1 Московский государственный университет имени М.В. Ломоносова, Москва, Россия

2 Монтеррейский институт технологий и высшего образования, Монтеррей, Мексика

О СТАТЬЕ АННОТАЦИЯ

В настоящее время существуют различные современные технологии, позволяющие изучать корреляты развития профессионально важных качеств спортсменов. Одной из таких технологий, активно использующихся в спортивной практике, является технология отслеживания движения глаз, или окулография (eye-tracking). В статье показано применение окулографии в тестировании спортсменов-единоборцев с помощью демонстрации виртуальной среды в шлеме HTC Vive Pro Eye. Одной из существенных проблем при использовании, встроенных в шлем окулографов становится их низкая частота дискретизации и возможные потери зрачка в процессе работы. Для борьбы с этими эффектами можно применять фильтрацию, в том числе фильтр Калмана и аналоги. Для решения задачи оценивания с использованием данных фильтров обычно требуется наличие адекватной математической модели в пространстве состояний. Обычно по экспериментальным данным входных и выходных сигналов строится параметрическая либо непараметрическая модель рассматриваемой системы. В случае наличия информации об уравнениях модели задача обычно сводится к идентификации параметров системы. Далеко не всегда удается дать адекватное математическое описание процессов, происходящих в системе, либо сама система может представляться «черным ящиком». К подобным системам можно отнести и глазодвигательную систему. В таких случаях применима непараметрическая идентификация, то есть идентификация динамики системы. В данной работе предлагается идентифицировать динамику системы, используя дифференциальные нейронные сети.

Они обладают хорошими аппроксимирующими свойствами для нелинейных систем. Стандартная сигмоидальная функция активации была заменена на функцию активации Ижикевича, описываемую дифференциальными уравнениями. Результатом работы нейросетевого идентификатора стала приближенная система, описывающая динамику движения глаза. Проведено численное моделирование. Исследована работоспособность модели на нескольких наборах данных, полученных при записи глазодвигательной реакции спортсменов-борцов на визуальные стимулы в виртуальной среде, показана эффективность работы законов обучения нейросети.

_© ПНИПУ

Эта статья доступна в соответствии с условиями лицензии Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)

Получена: 11 апреля 2023 Одобрена: 12 июня 2023 Принята к публикации: 15 июня 2023

Ключевые слова:

окулография, глазодвигательный отклик, дифференциальные нейронные сети, виртуальная реальность

Введение

В настоящее время все большую популярность приобретает технология виртуальной реальности (VR), в том числе в исследованиях глазодвигательных паттернов у спортсменов [1]. VR предлагает новые возможности для изучения и понимания человеческого восприятия и действий, обеспечивая при этом высокую экологическую валидность. Методология in situ является наиболее реалистичным методом предъявления стимуляции, однако она не позволяет качественно стандартизировать стимульный материал, поскольку атлеты не могут в точности повторять одни и те же движения несколько раз. Недостатком видеопрезентаций является

нереалистичное представление относительно глубины зрения и ограничение поля зрения. Виртуальная реальность предлагает возможность показать такие естественные спортивные ситуации, с одной стороны, максимально реалистично, а с другой стороны, такой подход обеспечивает стандартизацию стимульного материала [4]. В работе [4] на примере гандбола изучалось поведение между вратарем и полевым игроком в двух ситуациях: в одном случае полевой игрок был реальный (ситуация in situ), в другом -виртуальный. Авторы проанализировали жесты и движения вратаря в обоих ситуациях и сделали вывод о том, что VR-презентация атакующего игрока воспринимается так же, как ситуация in situ.

В работе по изучению восприятия и антиципации с использованием зрительной окклюзии [3], показано, что благодаря информации о пространственной глубине, спортсмены испытывали более реалистичные ощущения в виртуальной среде, чем в двухмерной видеопрезентации. В результате они могли лучше реагировать на атаки противника.

В работе Петри и соавт. [23] показано, что дополнительные VR-тренировки приводят к улучшению реакции.

Эти исследования доказывают обоснованность использования VR, в том числе для изучения глазодвигательных стратегий у спортсменов [12]. А интеграция в системы VR дополнительных измерительных систем, таких как окулограф [6; 22; 25]

или электроэнцефалограмма [26] открывает новые возможности для более глубокого понимания обработки визуальной информации.

Тем не менее существенной проблемой в применении гарнитур виртуальной реальности совместно с регистрацией движения глаз стало требование к применению специализированных окулографов, встроенных в шлем. По этой причине становится невозможным применять высокочастотные окулографы, а качество получаемых данных существенно уступает стационарным аналогам [7]. Дополнительные трудности в окулографии связаны с необходимостью точной калибровки системы, ошибки в которой могут привести к существенным погрешностям.

Одним из возможных методов компенсации данного недостатка становится фильтрация. Фильтр Калмана стал общепринятой основой для большинства алгоритмов фильтрации показаний промышленных датчиков; все подобные системы имеют высокую точность и эффективность, но можно выделить и ряд недостатков. Они довольно сложно реализуются, что отражено в многочисленных решениях, замеченных в тематической литературе [9; 27]. Итерации линейной регрессии, фундаментальные для данного алгоритма, требуют частоты дискретизации, намного превышающей допустимую полосу пропускания записи движения глаз. Кроме того, требуется наличие качественной модели динамики системы, что становится затруднительно при моделировании биологического процесса вроде глазодвигательного отклика на разнородный визуальный сигнал.

Эмпирические модели, характеризующие корреляции между длительностью, амплитудой и максимальной скоростью глазного движения во время саккад, получили широкое распространение [11]. Математические модели, такие как [10], можно рассматривать как метод анализа движения глаз. Хорошие результаты были получены при решении задачи оптимального времени при моделировании саккадических движений глаз [8; 18]. Для воссоздания динамики каждого глаза в рамках этих исследований применялась динамическая модель, основанная на мышечной модели Фельдмана [8]. В ряде

исследований было установлено, что связь между длительностью и амплитудой саккад можно представить в виде линейной аппроксимации экспериментальных данных [11; 17]. В работе [13] также представлена модель, основанная на мышечной динамике, но связывающая движения глаз с поведением мышц шеи и головы. Компоненты этой модели связывались решением обратных задач кинематики и динамики.

Альтернативным подходом является

представление системы в виде динамической, описываемой дифференциальными и разностными уравнениями. Пример такого подхода приведен в работе [5], где используется билатеральная модель глаз. Эта модель воссоздает динамику движения глаз на основе активности экстраокулярных мышц, ассоциированных с правой и левой сторонами глаза. Поскольку эти мышцы более чувствительны к положительной разнице, их активность увеличивается при негативной разнице [28]. Однако эта модель имеет свои ограничения: описываемое ею поведение мышц зависит от большого числа параметров, что обусловливает необходимость использования генетических алгоритмов для повышения точности модели [2].

Модели, основанные на дифференциальных нейронных сетях (ДНС), могут быть хорошо настроены для представления динамики глаза [15; 16].

Выбор функции активации для подобной нейронной сети становится важной задачей, поскольку сигмовидная или любая другая монотонная функция не может полноценно описывать сложный электрофизиологический глазодвигательный отклик. В качестве решения можно предложить использовать физиологически обоснованные модели нейрона [14; 16; 20]. В исследовании [24] приведен вариант применения модели нейрона Ижикевича в структуре дифференциальной нейронной сети и показано преимущество в качестве идентификации по сравнению с сигмоидальным нейроном.

В данном исследовании импульсная дифференциальная нейронная сеть (ИДНС) была применена на окулографических данных, записанных на спортсменах-борцах. Показана эффективность законов обучения нейросети и малость погрешности идентификации по сравнению с характерными угловыми расстояниями, на которые перемещается глаз.

Описание и математическая модель системы

Архитектура ДНС подразумевает, что вектор состояния движения глаза представлен как

С = (хфе Уеуе) , но для реального применения

требуется его расширить до С = .)'„, .>'„,)' • где

С - функция времени; х , у - координаты точки

взгляда в пространстве трекера, а л-, г,, ут -

соответствующие проекции скоростей. Таким образом, имеется вектор состояния системы С и

управление и е Як, получаемое как некоторая функция, связанная с видеопотоком. Модель имеет неопределенную динамику, которую может описать следующее дифференциальное уравнение:

а

аг

С(г) = /(С(г),и(г)) + л(г).

(1)

Так как вектор состояния С определен как функция времени, предложенная вектор-функция / : Я4 х Як —Я4 описывает неточную динамику движения глаз, вызванного движением головы. Функция / удовлетворяет условию Липшица по первому аргументу с положительной константой ¿У > 0. Вектор управления и влияет на движение

глаз. Вектор ^ е Я4 характеризует эффект внешних воздействий, оказываемых на систему, которые не учитываются при построении модели. Допустимый класс воздействий принадлежит

следующему множеству: ||т|||2 , где

■Л0 - положительное число.

Рассмотрим структуру ИДНС, описанную следующим соотношением, которое будет использоваться как корректное приближение вестибуло-окулярной электрофизиологической

системы с неточной математической моделью (1):

а С (г ) = АС( г) + < ф, (С (г)) +

(2)

Вектор Се Я4 обозначает состояние ИДНС;

/'. - ошибка идентификации. Матрица

А е Я4х 4 используется для учета линейной части динамики системы. Матрица выбрана как Гурвицева, чтобы ввести степень ограниченности для состояния С . Идентификатор формируется из первой матрицы

весов 0 е Я4х А и вектора активационных функций

Ф : Я4 —)ЯА , состоящих из искусственных нейронов

Ижикевича.

Функция активации ф может быть описана следующим образом:

а

¿г

с, (г ) = У0 (с, (г) ,С( г)),

fo (с, (t))) =

0.04v,2 + 5v,. - u +140 + ZTÇ

ai (bivi - U )

неравенства

(3)

Если v ^ 30мВ, то

v, = c,

(4)

I щ = щ + di

Здесь v и и - безразмерные переменные; a, b, c и d -безразмерные параметры. Переменная v представляет мембранный потенциал нейрона, а и - переменную восстановления мембраны. На пике 30 мВ переменные сбрасываются, как показано в (4). Zi е R4 - вектор

входных весов. Выход этой модели ф.г = [1,0] с

описывает ответ искусственного нейрона, который участвует в основной динамике ИДНС (2). В уравнении (2) : R4 х R —)R4 представляет

собой ограниченную (Q = {/j ||/j|2 < /0|, где скаляр

/0 > 0) ошибку приближения, произведенную выбранным конечным числом нейронов Ижикевича.

Приближенная модель для глазодвигательного отклика может быть представлена следующим образом:

d С (t) = 4 (t) + W (t) ф, (С (t)), С (0) = с0 е R4 (5)

Полагаем, что вектор С определяет приближенную вариацию вектора состояния по времени. В результате правая часть системы (5) является приближением системы (2) с точностью до возмущений и ошибок. W изменяется в соответствии с законами обучения, обеспечивающими устойчивость траекторий, получаемых из системы (5), относительно реальной траектории (1).

Введем разницу А = С, - С,, называемую ошибкой идентификации. Приведем такой закон изменения W, чтобы ошибка идентификации в начале координат имела практически устойчивую точку равновесия:

limsupj sup ||Д(Г)||21<у. (6)

Т^ со [neE,/,eQ J

Здесь матрица P е R4х 4 положительно определена, у - положительный скаляр. Тогда можно записать уравнение динамики ошибки:

t +

(с (0)+/.(')+МО

(7)

Теорема. Пусть существуют такие положительно определенная матрица A > 0 и положительное ограниченное число а > 0, что у матричного

Ric(P,а) : = P\A +-I,/A | +

I Л а г

+1 A + -1.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

P + PRP + Q,

(8)

Л: = #1(А-1)/4х4,е: = 2/4х4 +

+ЬК, Яге (Р, а)< 0, есть хотя бы одно решение, удовлетворяющее условиям Р = Рт > 0 и Р е Я4х 4.

Тогда использование законов обучения в виде

— Wl (t) = -¿"'Ц (/) + a Wx {t) ; Ц (t) = PA (t)ф[ (Ç (t)) W (0) = Wi

(9)

приводит к практической устойчивости нулевого положения равновесия для ошибки идентификации А в уравнении (7), т.е. ошибка сходится к шару с центром в начале координат с предельной границей:

^0 + /о

у<-

а

(10)

Здесь kt - положительное число и И'\ = W["" - И7,, где Wt — произвольная матрица, удовлетворяющая

Доказательство теоремы базируется на поиске функции Ляпунова в виде

¿ = 1|Д||+*Я и позволяет показать практическую устойчивость ошибки идентификации. Итоговый вид работы сети изображен на рис. 1.

Проведение эксперимента и сбор данных

Предложенная приближенная модель была использована в эксперименте, который собирает данные от добровольцев с использованием инструментального устройства подачи визуальных стимулов. Эти данные записывались с заранее определенной частотой, а затем вводились (в автономном режиме) в предложенный идентификатор на основе ИДНС. В этом разделе подробно описаны все аспекты эксперимента.

В рамках исследования с использованием камеры 180 градусов была осуществлена видеозапись от первого лица нескольких ключевых приемов вольной борьбы с участием профессионального тренера (мастер спорта международного класса, чемпион мира по вольной борьбе) (рис. 2). Эта запись далее была адаптирована под систему виртуальной реальности HTC Vive Pro Eye. Результирующая глазная реакция и динамика головы были записаны, а затем обработаны

T

с. =

0

для моделирования с помощью предлагаемой ИДНС. Программное обеспечение SRanipal собирает данные, предоставляемые встроенной системой отслеживания взгляда, и выводит исходную точку обзора и вектор направления для обоих глаз с максимальной частотой 120 Гц. Система сбора данных построена на базе гарнитуры виртуальной реальности HTC Vive Pro Eye. Положение гарнитуры и кватернион ее ориентации в

фиксированной системе координат были получены из системы отслеживания SteamVR.

Экспериментальный процесс выглядит

следующим образом. Сначала на испытуемого надевают гарнитуру и регулируют ее так, чтобы она оставалась фиксированной на голове на протяжении всего эксперимента (рис. 3). Затем окулограф

Рис. 1. Схема работы предложенной нейронной сети

Рис. 2. Запись видео от первого лица, снятого на камеру 180°

калибруется в соответствии с документацией и инструкциями SRanipal. После завершения процедуры калибровки испытуемому не разрешается регулировать гарнитуру. В противном случае эксперимент будет сброшен.

В дальнейшем испытуемому демонстрируют визуальный контент, представляющий собой видеозапись от 1-го лица нескольких ключевых приемов борьбы. В видеоролике для каждого приема происходит подготовка и выведение борца на прием. Непосредственно перед проведением технического останавливается, и на экране 3 варианта возможных действий. Выбор ответа с помощью лазерной указки (джойстика). Выбор момента остановки демонстрации видео приема проводился с учетом экспертного мнения двух профессиональных тренеров. Ответ фиксируется и испытуемому предъявляется окончание ролика. Таким же образом испытуемому по очереди предъявляются все ролики видеоряда (рис. 4).

Вектор направления взгляда преобразуется из системы координат, привязанной к гарнитуре, в горизонтальный и вертикальный углы поворота глаза относительно передней оси. Данные о координатах

приема ролик предъявляются контратакующих осуществляется

головы отбирались с меньшей частотой, чем информация слежения за глазами, поэтому они были сглажены с помощью фильтра Гаусса. Кватернион ориентации головы был преобразован в углы Эйлера.

Результаты

Полученная информация была использована для тестирования ИДНС. Были обработаны записи глазодвигательного отклика семи спортсменов, проведено обучение ИДНС. На рис. 5 сравнивается запись движений глаз одного из спортсменов с результатами работы нейроидентификатора (по горизонтальной и вертикальной осям).

Видно, что идентификатор показывает достаточно хорошую аппроксимацию экспериментальных данных. Важно отметить импульсную работу функций активации Ижикевича, которая совпадает с быстрыми движениями глаз (рис. 6).

Динамика весов также отражает импульсный характер движения, видны резкие изменения, совпадающие с изменением направления движения глаза (рис. 7). На полном наборе данных (7 спортсменов) были построены метрики качества:

Рис. 3. Положение испытуемого во время проведения эксперимента

Рис. 4. Визуализация приема в ВР и пример вопроса о выборе действия

и с и с

Рис. 5. Сравнение экспериментальной записи движения глаз с результатом работы идентификатора: вертикальная

ось (слева), горизонтальная ось (справа)

30 40

Рис. 6. Пример работы функции активации Ижикевича

Рис. 7. Изменение матричной нормы

1) Средняя величина среднеквадратичной ошибки составила 0,0026 радиан с отклонением 0,0008 радиан на всей выборке,

2) Средняя величина средней абсолютной ошибки составила 0,015 радиан с отклонением 0,0034 радиан на всей выборке.

Эти величины показывают, что полученная ИДНС одинаково эффективно работает на записях, полученных с разных спортсменов.

Обсуждение

Результаты показывают, что подход, основанный на применении дифференциальных нейронных сетей с импульсной функцией активации, может использоваться для построения приближенной модели глазодвигательного отклика.

Хотя модель, представленная в [13], основана на реальной взаимосвязи мышц и способна обеспечить повышенную точность идентификации, ее применение к данным, полученным от людей, оказывается сложным из-за необходимости измерения или оценки большого количества параметров тела для правильного указания длин мышц. Кроме того, данная модель не способна справиться с последовательностью нистагмов. Аналогичное ограничение, связанное с большим количеством параметров, присутствует и в работе [5; 19; 21].

Модель, предложенная в данном исследовании, отличается тем, что она непараметрическая и успешно работает на нескольких испытуемых. Применение модели Ижикевича дополнительно обеспечивает лучшую аппроксимацию саккадических движений глаз.

С другой стороны, в данной работе рассматривается более простая модель нейросетевого идентификатора — в отличие от [24] в предложенной модели отсутствует блок с управлением. Это было

Список литературы

1. Akba S.A., Marszalek W., Kamieniarz A., Polecho'nski J., Slomka K.J., Juras G. Application of virtual reality in competitive athletes-a review // Journal of human kinetics. - 2019. - Vol. 69, No. 1. - P. 5-16.

2. Akman, O.E., Avramidis, E. Optimisation of an exemplar oculomotor model using multi-objective genetic algorithms executed on a GPU-CPU combination // BMC Systems Biology. - 2017. - Vol. 11. - P. 40-59.

3. Bandow N., Emmermacher P., Stucke C, Masik, S., Witte K. Comparison of a video and a virtual based environment using the temporal and spatial occlusion technique for studying anticipation in karate // International Journal of Computer Science in Sport (International Association of

мотивировано предположением о том, что визуальный стимул и необходимость анализа происходящего будут оказывать большее влияние на динамику глаз, чем малые колебания головы и тела. Тем не менее добавление дополнительных компонентов в структуру сети может потенциально улучшить работу идентификатора. Аналогично использование функций активации нескольких типов одновременно с представленными в данной работе может позволить объединить их преимущества и снизить влияние недостатков, что также может привести к более высокой точности идентификации.

Заключение

Была построена нейросетевая модель биомехатронной системы: глаза человека, реагирующего на подаваемое в шлеме виртуальной реальности изображение. Непараметрический идентификатор в виде дифференциальной нейронной сети использует импульсную функцию активации Ижикевича, которая позволяет учитывать в модели быстрые саккадические движения глаза. Предложены законы обучения, описывающие динамику весов нейросети. Приведена теорема, показывающая, что описанные законы обучения приводят к практической устойчивости ошибки идентификации относительно нуля. Описаны экспериментальные результаты, полученные путем записи движений глаз спортсменов-борцов, которым демонстрировали запись борьбы в шлеме виртуальной реальности. Показано, что предложенный идентификатор обеспечивает достаточно хорошее приближение экспериментальных данных.

Полученная модель может применяться для дальнейшего анализа глазодвигательных паттернов у спортсменов-борцов, а также спортсменов в других видах спорта.

Computer Science in Sport). - 2014. - Vol. 13, No. 1. -P. 79-89.

4. Bideau B., Kulpa R., Menardais S., Fradet L., Multon F., Delamarche P., Arnaldi B. Real handball goalkeeper vs. virtual handball thrower // Presence. -2003. - Vol. 12, No. 4. - P. 411-421.

5. Broomhead, D., Akman, O., Abadi, R. Eye movement instabilities and nystagmus can be predicted by a nonlinear dynamics model of the saccadic system // Journal of Mathematical Biology. - 2005. - Vol. 51. - P. 661-694.

6. Cohen M.A., Botch T.L., Robertson C.E. The limits of color awareness during active, real-world vision // Proceedings of the National Academy of Sciences. -

2020. - Vol. 117, No. 24. - P. 13821-13827. DOI: 10.1073/pnas.1922294117

7. Ehinger B. V. et al. A new comprehensive eye-tracking test battery concurrently evaluating the Pupil Labs glasses and the EyeLink 1000 // Peer J. - 2019. - Vol. 7. -P. e7086.

8. Feldman A.G. Once More on the Equilibrium-Point Hypothesis (X Model) for Motor Control // Journal of Motor Behavior. - 1986. - Vol. 18. - P. 17-54.

9. Haid M., Breitenbach J. Low-cost inertial orientation tracking with Kalman filter //Applied Mathematics and Computation. - 2004. - Vol. 153, No. 2. - P. 567-575.

10. Happee R. Time optimality in the control of human movements // Biological cybernetics. - 1992. - Vol. 66. -P. 357-366.

11. Harwood M.R., Mezey L.E., Harris C.M. The Spectral Main Sequence of Human Saccades // The Journal of Neuroscience. - 1999. - Vol. 19, No. 20. - P. 9098-9106.

12. Heilmann F., Witte K. Perception and Action under Different Stimulus Presentations: A Review of Eye-Tracking Studies with an Extended View on Possibilities of Virtual Reality //Applied Sciences. - 2021. - Vol. 11, No. 12. - P. 5546-5559. DOI: 10.3390/app11125546

13. Iskander J., Hossny M., Nahavandi S. Simulating eye-head coordination during smooth pursuit using an ocular biomechanic model //2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC). - IEEE, 2017. - P. 3356-3361.

14. Izhikevich E. Simple Model of Spiking Neurons //IEEE Transactions on Neural Networks. - 2003. - Vol. 14, No. 6. DOI: 10.1109/TNN.2003.820440

15. Kahloul A. A., Sakly A. Constrained parameterized optimal control of switched systems based on continuous Hopfield neural networks //International Journal of Dynamics and Control. - 2018. - Vol. 6. - P. 262-269.

16. Kahloul A.A., Sakly A. Constrained parameterized optimal control of switched systems based on continuous Hopfield neural networks // International Journal of Dynamics and Control. - 2018. - Vol. 6, - P. 262-269.

17. Kruchinina A.P., Yakushev, A.G. Statistical study of the single saccade eye movement forms // Journal of Mathematical Sciences. - 2018. - Vol. 74, No. 4. -P. 97-100.

18. Kruchinina A.P., Yakushev A.G. A mathematical model of optimal saccadic eye movement by a pair of muscles // Biophysics. - 2018. - Vol. 63, No. 2. - P. 241-247.

19. Kumar V. V., Raghunath K.K., Rajesh N., Venkatesan M., Joseph R.B., Thillaiarasu N. Paddy plant disease

recognition, risk analysis, and classification using deep convolution neuro-fuzzy network //Journal of Mobile Multimedia. - 2022. - P. 325-348-325-348.

20. Lapicque L. Recherches quantitatives sur l'excitation electrique des nerfs traitee comme une polarization // Journal de physiologie et de pathologie générale. - 1907. -Vol. 9. - P. 620-635.

21. Liu B., Liu Z., Zhang T., Yuan T. Non-differentiable saddle points and sub-optimal local minima exist for deep ReLU networks // Neural Networks. - 2021. - Vol. 144 -P. 75-89.

22. Pastel S., Chen C.H., Martin L., Naujoks M., Petri K., Witte K. Comparison of gaze accuracy and precision in real-world and virtual reality // Virtual Reality. - 2021. -Vol. 25. - P. 175-189. DOI: 10.1007/s10055-020-00449

23. Petri K., Bandow N., Masik S., Witte K. Petri K. et al. Improvement of early recognition of attacks in karate kumite due to training in virtual reality // Journal Sport Area. - 2019. - Vol. 4, No. 2. - P. 294-308. DOI: 10.25299/sportarea.2019.vol4(2).3370

24. Prud V. et al. Non-parametric spiking neural network modelling of the eye-movement response to enforced controlled accelerations //IFAC-PapersOnLine. - 2021. -Vol. 54, No. 13. - P. 311-316.

25. Roth T., Weier M., Hinkenjann A., Li Y., Slusallek P. A quality-centered analysis of eye tracking data in foveated rendering // Journal of eye movement research. -2017. - Vol. 10, No. 5. D0I:10.16910/jemr.10.5.2

26. Tauscher J.-P., Schottky F.W., Grogorick S., Bittner P.M., Mustafa M., Magnor M. Immersive EEG: evaluating electroencephalography in virtual reality // 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). - IEEE, 2019. - P. 1794-1800. DOI: 10.1109/VR.2019.8797858

27. Valenti R. G., Dryanovski I., Xiao J. A linear Kalman filter for MARG orientation estimation using the algebraic quaternion algorithm // IEEE Transactions on Instrumentation and Measurement. - 2015. - Vol. 65, No. 2. - P. 467-481.

28. van Opstal, A., van Gisbergen, J. Scatter in the metrics of saccades and properties of the collicular motor map // Vision Research. - 1989. - Vol. 29. - P. 1183-1196.

Финансирование. Работа выполнена при поддержке гранта РНФ № 19-78-10134 Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

NONPARAMETRIC IDENTIFICATION OF WRESTLERS' EYE MOVEMENTS USING A DIFFERENTIAL NEURAL NETWORK

A.M. Mukhamadov 1, S.V. Leonov, I.S. Polikanova1, V.A. Chertopolokhov1, A.A. Yakushina1, A.V. Isaev1, D.Ya. Chernozubov1, I.O. Chairez2

1 Lomonosov Moscow State University, Moscow, Russia

2 Monterrey Institute of Technology and Higher Education, Monterrey, Mexico

ARTICLE INFO ABSTRACT

This article presents the results of applying oculography to the task of testing martial arts athletes using a virtual environment demonstration in the HTC Vive Pro Eye helmet. Oculographs integrated into a VR-helmet often have a low sampling rate, and are also characterized by possible pupil loss during recording. To combat these effects, it is possible to apply filtering, includi ng the Kalman filter and analogues. In this case, an adequate mathematical model in the state space is required. Usually, a parametric or nonparametric model of the system in question is created. It is not always possible to give an adequate mathematical description of the processes occurring in the system, or the system itself can be represented as a "black box". The oculomotor system may also be referred to such systems. In such cases, nonparametric identification is applicable, that is, identification of the dynamics of the system. In this paper, it is proposed to identify the dynamics of the sys-tem using differential neural networks.

The standard sigmoidal activation function was replaced by the Izhikevich activation function described by differential equations. The result of the work of the neural network identifier was an approximate system describing the dynamics of the movement of the eye. A computational modeling was carried out. The workability of the model is investigated on several data sets obtained by recording the oculomotor reaction of athletes-wrestlers to visual stimuli in a virtual environment, the effectiveness of the neural network learning laws is shown.

©PNRPU

Received: 11 April 2023 Approved: 12 June 2023 Accepted for publication: 15 June 2023

Key words:

oculography, oculomotor response, differential neural networks, virtual reality

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Мухамедов А.М., Леонов С.В., Поликанова И.С., Чертополохов В.А., Якушина А.А.

NONPARAMETRIC IDENTIFICATION OF WRESTLERS' EYE MOVEMENTS USING A DIFFERENTIAL NEURAL NETWORK

Текст научной работы на тему «НЕПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ ДВИЖЕНИЙ ГЛАЗ СПОРТСМЕНОВ-БОРЦОВ С ПРИМЕНЕНИЕМ ДИФФЕРЕНЦИАЛЬНОЙ НЕЙРОННОЙ СЕТИ»