ОПРЕДЕЛЕНИЯ ЭФФЕКТИВНОСТИ ПРОЦЕССА ГЕЙМИФИКАЦИИ В ОБРАЗОВАНИИ МЕТОДОМ ЭКСПЕРТНЫХ ОЦЕНОК Текст научной статьи по специальности «Науки об образовании»

Определения эффективности процесса геймификации в образовании методом экспертных оценок

Е.А. Зарипов, С.Б. Плотников

Аннотация — На сегодняшний день о геймификации не рассуждает только ленивый. В эпоху цифровизации применение информационных технологий в образовании является неотъемлемой частью образования. Но сложно оставаться замотивированным во время обучения. Геймификация как раз имеет все основания решить эту проблему. Зачастую люди путают понятие «геймификация образования» с понятием «видеоигры в образовании/ игровое обучение». Геймификация - это процесс, который направлен на достижение образовательных целей, видеоигры же являются инструментом. Геймификация в образовании (по-другому «серьезные игры») базируются на желании обучающихся, она не несет прямые образовательные цели, а как бы «упаковывает» их и создает атмосферу, мотивирующую к обучению, то есть геймификация фасилитирует обучающий процесс. Игра же в свою очередь может быть изначально с (или без) обучаемого контекста, игроки чаще всего в ходе игрового обучения развивают полезные навыки, даже если изначально игра создана не с целью обучить. Людям нравится получать различные впечатления и эмоции, погружаться с головой в сюжет, именно это и является залогом успешности в обучении. Любопытен тот факт, что, собственно, благодаря геймифицированной системе обучающийся познает себя с новой стороны, открывает новые грани и возможности.

В статье посредством метода экспертных оценок и анализа рассматривается актуальность «процесса геймификации в образовании», выявление основных интересующих вопросов при выборе игр.

Ключевые слова — геймификация, метод экспертных оценок, виртуальная среда, высшее образование, исследование, компьютерные игры, вовлеченность обучающихся.

I. Введение

В современном мире, когда при помощи искусственного интеллекта, компьютеров и других современных технологий, человек пытается максимально облегчить себе жизнь, автоматизируя различные рабочие процессы. Это коснулось и системы

Статья получена 9 апреля 2013.

Евгений Андреевич Зарипов, Кафедра инструментального и прикладного программного обеспечения, Российский технологический университет МИРЭА, Москва, Россия (e-mail: e.a.zaripov@ya.ru)

Сергей Борисович Плотников, Кафедра инструментального и прикладного программного обеспечения, Российский технологический университет МИРЭА, Москва, Россия (e-mail: plotnikovsb@mail.ru)

образования. Использование информационных технологий позволяет значительно расширить образовательный процесс и предоставляет обучающимся возможность самосовершенствоваться, а значит, и повысить уровень их подготовки, освоить новые навыки и способы использования новых технологий, успешнее адаптироваться в социальной среде, внести вклад в развитие страны и прогресса.

Психологи говорят, что человек не помнит, какую именно информацию нам сообщают, но зато он запоминает эмоции и ощущения, которые испытал во время этого общения. Но что делать, когда в ходе развития информационного общества традиционные подходы к передаче знаний уходят в прошлое? Студент XXI не хочет «сидеть и слушать унылые лекции», поэтому отдает предпочтение телефону/компьютеру нежели «серьезному» делу. Пренски М. называет поколение информационного мира «цифровыми аборигенами», которое привыкло воспринимать поток информации очень быстро, которым нравится одновременно делать несколько дел. Эти люди предпочитают «красивую визуализацию» текстам, с развитием различных мессенджеров - привыкли получать мгновенную обратную связь, и, конечно, обязательно их «результаты» должны поощряться.

Таким образом, возникает вопрос: как сохранить и развивать учебную мотивацию обучающихся? В контексте рассматриваемого вопроса, понятие «геймифицированные виртуальные образовательные среды» начинает приобретать значительный вес: а что изменится, если использовать интересы современных студентов и начать применять «серьезные игры»?

II. Методология исследования

Цель исследования - оценить востребованность использования геймификации, в виде инструмента повышения эффективности образовательного процесса, и выявить наиболее важные аспекты для будущего создания «геймифицированных виртуальных образовательных сред».

В ходе исследования использовался метод экспертных оценок. Этот метод заключается в сборе и обработке полученной экспертами информации путем интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. За решение проблемы принимается общее мнение экспертов, полученное в результате проработки.

Было проведено анкетирование, в котором приняло участие 15 экспертов: 4 женщины и 11 мужчин. Из них

13 человек были в возрасте 18-24 лет и по 1 человеку -25-34, 45-54. Анкета состояла из 14 вопросов. При разработке анкеты были учтены особенности, которые способствуют созданию высококачественной анкеты, то есть: 1) вопросы представлены так, чтобы они были понятны даже людям, не разбирающимся в вопросах геймификации; 2) вопросы, представленные в анкете, воспринимаются однозначно и не вводят участников анкетирования в заблуждение.

Анкета включала в себя следующие вопросы:

1. Как Вы относитесь к компьютерным играм?

2. Сколько времени в день Вы тратите (тратили) на игры?

8. Насколько вас удовлетворяют в настоящее время традиционные методы обучения? (классические уроки, лекции, практики, где нужно слушать преподавателя и конспектировать)

9. Используете ли Вы во время обучения технические средства? (запись конспекта урока/лекции/практики на смартфон или другие технические средства)

10. Приходилось ли Вам сталкиваться во время обучения с серьезными играми? (имеется ввиду полноценная игра, во время прохождения которой Вы изучали материалы дисциплины)

11. Понравился ли вам приобретенный опыт во время обучения с использованием серьезных игр? (имеется ввиду полноценная игра, во время

3. Как часто Вы играете в компьютерные игры?

4. Хорошо ли Вы запоминаете то, что происходило во время игры?

5. Как Вы относитесь к отечественным разработчикам игр?

6. Игра в видеоигры является для Вас приоритетным занятием перед выполнением повседневных задач? (например, уход за домом/ учеба/ работа)

7. Если во время игры Вы потеряете свое снаряжение/ ваш игровой партнер уйдет/ случится что-то "негативное", это повлияет на Ваше настроение или повседневную жизнь?

прохождения которой Вы изучали материалы дисциплины)

12. Хотели бы Вы чтобы в процессе обучения присутствовали "серьезные игры"?

13. Может ли, по Вашему мнению, "серьезная игра" стать эффективным способом обучения?

14. Как Вы считаете, как могут повлиять на процесс обучения "серьезные игры"?

I. Анализ результатов

Информация, полученная от опрошенных экспертов, была сведена в таблицу 1 , где по вертикали указан номер эксперта, а по горизонтали - номер вопроса:

Таблица 1. Оценки экспертов

1 2 3 4 5 6 7 8 9 10 11 12 13 14

1 5 3,33 4,16 5 3 2 4 4 5 0 2,5 5 5 5

2 4 3,33 3,33 4 3 2 2 5 5 5 2,5 5 5 4

3 4 3,33 4,16 3 2 1 3 3 5 0 5 5 5 4

4 5 2,5 2,5 4 5 2 3 3 2,5 0 2,5 2,5 2,5 3

5 5 3,33 5 3 4 3 2 3 5 2,5 5 5 5 5

6 5 3,33 5 4 4 2 2 2 5 2,5 2,5 5 5 4

7 5 3,33 5 5 4 2 2 3 5 0 2,5 5 5 4

8 5 3,33 4,16 5 3 4 2 3 5 2,5 5 5 5 3

9 5 3,33 2,5 5 3 2 1 1 5 5 5 5 5 5

10 4 4,16 5 3 2 3 3 2 5 0 2,5 0 0 3

11 4 3,33 4,16 5 3 2 3 2 5 2,5 0 5 5 4

12 5 2,5 4,16 3 4 2 2 1 5 0 2,5 5 5 4

13 5 3,33 4,16 5 4 3 4 2 5 0 2,5 5 5 5

14 3 2,5 5 4 3 3 3 3 5 0 2,5 5 5 4

15 5 2,5 3,33 4 3 4 2 2 2,5 0 2,5 5 5 5

Чаще всего у экспертов при оценке объектов нет единого мнения. Чтобы более обоснованно трактовать причины разногласий нужно количественно оценить уровень согласованности между ними. В связи с этим необходимо количественно оценить уровень согласия между экспертами, это поможет более аргументированно истолковать причины разногласий.

Оценка непротиворечивости мнений экспертов основана на использовании понятия компактности, где геометрическая интерпретация результатов будет служить визуальным представлением. Все специализированные суждения индивидуально представлены в виде точки в неком пространстве, где сразу появляется такое понятие как расстояние. Хорошим совпадением мнений экспертов будет, если точки, которые характеризуют всех экспертов, находятся друг от друга на небольшом расстоянии (другими словами, если они образуют компактную группу). Консенсус экспертов будет же низок, если

точки в заданном пространстве будут располагаться на значительном расстоянии относительно друг друга. Случается и такое, когда возникают две или несколько компактных групп. Это происходит, если в пространстве точки распределились «несколькими группами» — это означает, что у экспертов соответственно этих точек сложилось существенно различающиеся точки зрения при оценивании объектов.

Дисперсионный коэффициент конкордации используется как мера согласованности мнений группы экспертов. Расчеты были проверены на такие критерии как:

1) Критерий экспертной самокритики;

2) Критерий профессиональной компетентности;

3) Ранжирование объектов (вопросы).

Критерий экспертной самокритики. Для возможности расчета по этому критерию опрошенным экспертам было предложено поставить себе индивидуальную

самооценку в баллах от 0 до 10. Полученные данные отображены в таблице 2.

Таблица 2. Критерий самооценки

№ Эксперта Коэффициент самооценки Корректировки

1 10 0.5

2 7 0,35

3 8 0.4

4 7 0,35

5 10 0.5

б 8 0.4

7 10 0.5

8 10 0.5

9 8 0.4

10 8 0.4

11 7 0,45

12 7 0,35

13 9 0,45

14 8 0.4

15 7 0,35

Поскольку каждый вопрос оценивался по пятибалльной шкале, соответственно был

скорректирован и коэффициент самооценки. Сначала по формуле 1 находим средний групповой рейтинг - сумму коэффициента самооценки по отношению к количеству экспертов.

у1= , _

Жгрртп = ' = 0,42 [/ = 1,15); где] — это номер эксперта, а х^ -оценка самооценки

(1)

Теперь по формуле 2 рассчитаем среднее значение рейтинга вопроса — это сумма рейтинга вопроса по рейтингу каждого эксперта по отношению к количеству экспертов.

5; ср — ^^15 ''' р где IV — это оценка / экпрета относительно вопроса I

Результаты представлены в таблице 3.

Таблица 3. Среднее значение оценки относительно вопросов

i 1 2 3 4 5 6 7 8 9 10 1 1 12 13 14

4, 3,16 4,10 4,26 3,33 2,46 2,53 2, 4,66 1,33 3 4, 4, 4,13

6 4 8 7 3 7 3 6 7 3 5 5 3

Третий шаг - расчет средневзвешенной оценки спроса у !з 117 у

- суммы произведений коэффициента самооценки на ''' ' ('_; = 1. 15,; = 1.14) (3)

уровень спроса по отношению к сумме коэффициентов самооценки. Результаты представлены в таблице 4.

Таблица 4. Средневзвешенная оценка по вопросам

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

S tJi ср.вз 4,619 3,192 4,163 4,341 3,333 2,484 2,556 2,627 4,722 1,329 3,036 4,544 4,544 4,151

Четвертый шаг - найдем медиану. Результаты нахождения медианы отражены в таблице 5.

_Таблица 5. Медиана

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Mi 5 3,3 4,1 4 3 2 2 3 5 0 2,5 5 5 4

3 6

Далее находим коэффициент вариации по формуле 4.

А' = TZ- (4)

групп)2, где i = 1Д 4,J = 1,15

Таблица 6. Коэффициент вариации

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Kiv 0,32 7 0,44 0 0,49 3 0,43 5 0,66 8 0,71 1 1,07 4 1,03 0 0,41 9 3,42 6 1,06 2 0,72 5 0,72 5 0,47 9

Согласно матрице, коэффициенты компетентности рассчитываются как относительные веса экспертов по формуле 5.

, __xst

s ~ V™ Vm Z

¿■5=1 Lit= 1

(s = 1, d) ;

(5)

где к; - коэффициент компетентности s-го эксперта, d - количество экспертов (размерность патрицы ||xi:t ||).

Таблица i

. Критерий

компетентности

№ Эксперта Коэффициент компетентности

1 0,070

2 0,065

3 0,056

4 0,061

5 0,070

6 0,070

7 0,070

8 0,070

9 0,056

10 0,070

11 0,065

12 0,065

13 0,070

14 0,070

15 0,070

I

5 = 1

ft, = 1

(6)

Смысл коэффициентов компетентности,

рассчитанных по данным таблицы ||>:зД ||. заключается в том, что сумма единиц (количество «голосов»), отданных за &-го эксперта, вычисляется и делится на общую сумму все единицы.

Таким образом, коэффициент профессиональной компетентности определяется как относительное количество экспертов, высказавшихся за включение в-ш эксперта в список экспертной группы.

Сначала находим средний балл по группе (формула 7) - сумму коэффициента компетентности по отношению к количеству экспертов.

'■групп

^fe = 0,0667 0' = 1Д5) ;

(7)

где} — это номер эксперта, а г, — оценка компетентности

Давайте теперь посчитаем среднее значение рейтинга вопроса — это сумма рейтинга вопроса по рейтингу каждого эксперта по сравнению с количеством экспертов (формула 8). Результат отражен в таблице 9.

Коэффициенты профессиональной компетентности нормированы таким образом, что их сумма равна единице:

ср.

V45, W ■ 15

(8)

где W — это оценка j экпрета относительно вопроса (j = 1,15; i = 1Д4)

Таблица 9. Среднее значение оценки относительно вопросов

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

S: qï 4,6 3,164 4,108 4,267 3,333 2,467 2,533 2,6 4,667 1,333 3 4,5 4,5 4,133

Третий шаг заключается в расчете средневзвешенной оценки востребованности - суммы произведений соотношения компетенций на уровень востребованности по отношению к сумме коэффициентов самооценки (формула 9).

(9)

Результаты средневзвешенной оценки по вопросам представлены в таблице 10.

Таблица 10. Средневзвешенная оценка по вопросам

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

S tJi ср.вз 4,603 3,167 4,148 4,280 3,341 2,505 2,547 2,612 4,673 1,297 2,967 4,498 4,498 4,136

Далее найдем медиану:

Таблица 11. Медиана

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

M, 5 3,33 4,16 4 3 2 2 3 5 0 2,5 5 5 4

Далее находим коэффициент вариации по формуле 10.

(7,

г: —

= l^, Wii (Xi1 _хгр?пп)2 ' где 1 = !'14'J =

Результаты полученных коэффициентов вариаций (10) можно посмотреть в таблице 12.

Таблица 12. Коэффициент ва

риации

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Kiv 0,134 0,178 0,198 0,175 0,263 0,285 0,411 0,416 0,181 1,398 0,411 0,304 0,304 0,189

Коэффициент вариации равен нулю при наибольшем совпадении экспертных оценок (все оценки одинаковы). С увеличением значения коэффициента вариации степень согласия между экспертами снижается. Поэтому предлагается ввести следующую шкалу изменения коэффициента вариации. Если значение коэффициента вариации 0-11%. то это соответствует очень высокой

Как часто Вы играете в компьютерные игры?

22 ответа

качественной характеристике, если 11-22% - высокой. 22-33 % - умеренной, >33 % - недостаточной (слабой).

Вопросы 1-6, 9, 12-14 относительно критерия компетентности высоко и умеренно согласованы между экспертами, подчеркивая, что темы, затронутые в этих вопросах, являются наиболее актуальными, рис. 1-3.

О

\ 9,1%

13,6% А

# 1-2 раза в месяц

# 1 раз в неделю 2-3 раза в неделю

#4-5 раз в неделю Ф Играю каждый день 9 Не играю

Рисунок 1. Диаграмма - Вопрос 9

На каких из нижеуказанных устройств Вы играли в видеоигры за [0 Копировать

последние 30 дней?

ПК/Ноутбук

Смартфон/Планшет

Игровая приставка (PlayStation, Xbox, Nintendo и ТА)

Ни один из перечисленных вариантов

14 (63,6%)

18(81,8%)

Рисунок 2. Вопрос 12 Почему Вы играете(играли) в игры?

[О Копировать

Игры развивают мою реак Расслабляюсь во время игры Общаюсь с другими людьми Игры - это увлекательные .. Коротаю время будь то до...

Не играю

Считаю, что каадая игра н 1(4,5

0 5

18(81,8?

19(86,4 %)

10

15

20

Рисунок 3. Вопрос 13

Вопросы 7,8,10,11в, относящиеся к критерию вопросах, в силу своей индивидуальности требуют компетентности, слабо согласованы среди экспертов, тщательного изучения при реализации, рис. 4-5. что говорит о том, что вопросы, поднятые в этих

Как Вы относитесь к компьютерным играм? [Л Копировать

0 (0 %)

0 (0%)

Рисунок 4. Вопрос 8

Б какие игры из списка ниже Вы играете(играли)?

22 ответа

Стратегам Приключения Аркады Action(LUyTepbi) Гонки RPG Онлайн MMO Симуляторы Головоломки

[О Копировать

I 14 (6-3.6 %)

■ 18(81,8%)

17 (77.3%) ■ 18(81,8%)

I 13(59,1%) ^■-14(63.6%)

-11 (50%) В-12 ¡54 5 ?

■ 17(77.3%) 15 20

Рисунок 5. Вопрос 11

Ранжирование объектов (1вопросы). Рассмотрим матрицу ранжирования результатов гп заданий группой из (1 экспертов ||г1Е || (л = 1,15 I = 1,14). где - ранг, которому £ эксперт присвоил 1 объект. Вычислим суммы рангов для каждой строки. В результате получаем вектор с компонентами (формула 11).

В таблице 13 представлен суммарный ранг по вопрос а_м. 15

S=1

rls ,(i = 1,14)

Таблица 13. Суммарный ранг по вопроса_м

i 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Г; 69 47,46 61,62 64 50 37 3S 39 70 20 45 67,5 67,5 62

(П)

Будем рассматривать значения п как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию наименьшей средней адратичной ошибки оценка дисперсии определяется по формуле 12.

14

г)2 = 239,261

(=i

W = DjDma:s. = 0,065765

l2(m - 1) 12(14 - i)

= 0,060765

Введем обозначение

14 15

S = rÉ -f)2 = 3110,398

i=i

Запишем оценку дисперсии в виде: 1

D =-7S

m — 1

Подставляя формулы и сокращая на множитель (m -1). запишем окончательное выражение для коэффициента конкордации.

W =

12* S

dz(m3 — m)

(IS)

(12)

где г - оценка математического ожидания, равная 14

'-1 (13)

Коэффициент дисперсии конкордации опреде.тяется как отношение оценки дисперсии к максимальному значению этой оценки.

Эта формула определяет коэффициент согласованности для случая несвязанных рангов. Однако в нашем случае они есть, максимальное значение дисперсии в знаменателе становится меньше, чем при отсутствии связанных рангов. Доказано, что при наличии равных рангов коэффициент конкордации рассчитывается по формуле 19.

(14)

W =

12 'S

12 - 3110,39e

Йг6"® - in) - d ' 1Ь2(143 - 14) - 15 < 3102 (19)

Коэффициент конкордации изменяется от нуля до единицы, поскольку 0 < D < D^ Максимальное значение дисперсии равно:

Где:

S

= = 3102

k 1

(20)

(Ii)

(16) (17)

ТЕ - показатель связанных рангов в в-й ранжировке. Нг - число групп равных рангов в з-й ранжировке. Ь: -число равных рангов в к-й группе связанных рангов при ранжировке е-м экспертом. Если совпадающих рангов нет. то Н4 = 0. Ы: = 0 и. следовательно, =0.

Коэффициент конкордации равен 1, если все рейтинги экспертов одинаковы, и равен нулю, если все рейтинги разные. Коэффициент согласованности является оценкой истинного значения коэффициента и. следовательно, является случайной величиной. Для определения значимости оценки коэффициента конкордации необходимо знать частотное распределение для различных значений количества экспертов с1 и количества объектов т. Распределение частот для \¥ при различных значениях ш и (1 можно определить по известным статистическим таблицам. При числе объектов ш > 7 справедливость коэффициента конкордации может основываться на критерии у2 с V = т-1 степенями свободы и имеет значение:

rf*m*(m+ D-^^ZSLlTi

12 « 3110,398 ---- 12,82029

15 ' 14* (14 + 1) - 14_ 1 *3102

При этом число степеней свободы V = 13. Табличное значение у2 для V = 13 и 50% уровня значимости у2 в табл. = 12,3. Поскольку 12.3 < 12.82029, принимается гипотеза экспертного согласия в ранжировании.

IV. Заключение Применение информационных технологий в образовании позволяет не только создавать различные типы информационного взаимодействия между участниками образовательных процессов, благодаря чему существенно расширяется возможность образовательного процесса, улучшается его качество и облегчается управление учебным процессом, но и повышается уровень возможностей использования информационных технологий и ИТ-инструментария, интеграция динамической концепции изменения знаний в процессе обучения посредством геймифицированных виртуальных образовательных сред позволит усовершенствовать исследовательское, проектное, учебное и управленческое мышление специалистов, поможет им научиться чувствовать себя самостоятельными и ответственными за результаты своей деятельности в сфере информационных технологий.

Библиография

[1] Moro C., Phelps C., Stromberga Z. Utilizing serious games for physiology and anatomy learning and revision / C. Moro, C. Phelps, Z. Stromberga // Advances in Physiology Education. - 2020. -№44(3). - P. 505-507.

[2] Акчелов Е.О., Галанина Е.В. Новый подход к геймификации в образовании [Текст] / Е.О. Акчелов, Е.В. Галанина // Векторы благополучия: экономика и социум. - 2019. - №1 (32). - С. 117119

[3] Зарипов Е.А. Выбор концепции применения IT-инструментария для геймификации сквозного проектного обучения / С.Б. Плотников, Е.А. Зарипов, А.С. Волчкова // Всероссийская научная конференция молодых исследователей с международным участием "Социально- гуманитарные проблемы образования и профессиональной самореализации" (Социальный инженер-2021): сб. материалов Часть 1. - М.: ФГБОУ ВО "РГУ им. А.Н. Косыгина", 2021. - С. 172-175.

[4] Зарипов Е.А. Информационная совместимость на основе стандартизации в задачах игрофикации процесса обучения / С.Б. Плотников, Е.А. Зарипов, А.С. Волчкова // сб. трудов XI Международной научной конференции "ИТ - СТАНДАРТ 2021" - М.: Издательство "Проспект", 2022. - C. 94-99"

[5] Зида М. От визуального моделирования до виртуальной реальности и игр / М. Зида // Компьютер. - 2005. - .№38 (9). - С. 25-32.

Determining the effectiveness of the gamification process in education by the method of expert assessments

E.A. Zaripov, S.B. Plotnikov

Abstract — To date, only the lazy do not talk about gamification. In the era of digitalization, the use of information technology in education is an integral part of education. But it is difficult to stay motivated during training. Gamification has every reason to solve this problem. Often people confuse the concept of "gamification of education" with the concept of "video games in education/ game training". Gamification is a process that aims to achieve educational goals, while video games are a tool. Gamification in education (in other words, "serious games") is based on the desire of students, it does not carry direct educational goals, but rather "packs" them and creates an atmosphere that motivates learning, that is, gamification facilitates the learning process. The game, in turn, can be initially with (or without) a learning context, players most often develop useful skills during game training, even if the game was not originally created for the purpose of teaching. People like to get different impressions and emotions, plunge headlong into the plot, this is what is the key to success in learning. It is a curious fact that, in fact, thanks to the gamified system, the student learns about himself from a new side, opens up new facets and opportunities.

The article examines the relevance of the "gamification process in education" through the method of expert assessments and analysis, identifying the main issues of interest when choosing games.

Keywords — gamification, expert evaluation method, virtual environment, higher education, research, computer games, student involvement.

References

[1] Moro C., Phelps C., Stromberga Z. Utilizing serious games for physiology and anatomy learning and revision / C. Moro, C. Phelps, Z. Stromberga // Advances in Physiology Education. - 2020. - №44(3). - P. 505-507.

[2] Akchelov E.O., Galanina E.V. A new approach to gamification in education [Text] / E.O. Akchelov, E.V. Galanina // Vectors of well-being: economics and society. -2019. - №1 (32). - Pp. 117-119

[3] Zaripov E.A. Choosing the concept of using IT tools for gamification of end-to-end project training / S.B. Plotnikov, E.A. Zaripov, A.S. Volchkova // All-Russian scientific conference of young researchers with international participation "Socio-humanitarian problems of education and professional self-realization" (Social engineer-2021): collection of materials Part 1. - M.: Kosygin Russian State University, 2021. - pp. 172-175.

[4] Zaripov E.A. Information compatibility based on standardization in the tasks of gamification of the learning process / S.B. Plotnikov, E.A. Zaripov, A.S. Volchkova // Proceedings of the XI International Scientific Conference "IT - STANDARD 2021" - Moscow: Prospect Publishing House, 2022. - C. 94-99"

[5] Zida M. From visual modeling to virtual reality and games / M. Zida // Computer. - 2005. - №38 (9). - Pp. 25-32.