CC BY
94
Перспективы Науки и Образования
Международный электронный научный журнал ISSN 2307-2334 (Онлайн)
Адрес выпуска: https://pnojournal.wordpress.com/2022-2/22-04/ Дата публикации: 31.08.2022 УДК 378; 51-77
П. В. Никитин, Р. И. Горохова, В. Г. Абашин
Совершенствование системы онлайн-обучения средствами искусственного интеллекта
Введение. Онлайн обучение применяется в системе образования с каждым годом все больше и больше. Во многих программах и курсах основная часть учебной деятельности перемещается из классных комнат в индивидуальную работу. Взаимодействие между студентом и преподавателем уменьшается, что негативно влияет на качество обучения.
Целью исследования является разработка методики и алгоритмов выявления психоэмоционального состояния обучаемых и их вовлеченность в учебный процесс при онлайн обучении и определения их влияния на эффективность обучения.
Материалы и методы. В исследовании приняли участие более 100 студентов Российского государственного аграрного университета - МСХА имени К.А. Тимирязева и Финансового университета. При онлайн обучении измерялись следующие характеристики: вовлеченность в учебный процесс, психоэмоциональное состояние студента. Для построения обучающих алгоритмов определения вовлеченности студентов при онлайн обучении использовался модернизированный датасет DAiSEE; психоэмоционального состояния -датасет fer2013. В качестве алгоритмов моделей - сверточные нейронные сети. В качестве метрик качества обучения моделей - кривая ROC и точность (accuracy). При анализе мультиколлинеарности признаков был использован тест Фаррара-Глоубера. Для доказательства эффективности применения разработанных методов - статистические критерии F-Фишера и t-Стьюдента.
Результаты исследования. Разработанные модели показали очень хорошее качество обучения. Точность распознавания вовлеченности студентов в учебный процесс - более 90%, точность определения эмоций при онлайн обучении - более 90%. Внедрение данных алгоритмов в систему онлайн обучения показало свою эффективность. Доказано, что контрольная (23 студента) и экспериментальная (25 студентов) группы различаются статистически значимо (t = 2,53; p < 0,05). Доказано, что вовлеченность обучаемых, испытываемые эмоции и наличие знаний в предметной области не проявляют сильной связи друг с другом (FG =3,61 < FG =7,81).
v эмп ' крит ' '
Заключение. Доказано, что внедрение систем искусственного интеллекта в процесс обучения позволило корректировать систему онлайн обучения с учетом полученных рекомендаций о психоэмоциональном состоянии студента и его вовлеченности в учебный процесс. Таким образом, взаимодействие между студентом и преподавателем хоть и уменьшается в сравнении с очным обучением, но тем не менее остается на достаточно высоком уровне и позволяет влиять на мотивацию и настроение студентов, что приводит к повышению качества обучения.
Ключевые слова: образование, онлайн обучение, искусственный интеллект, вовлеченность в учебный процесс, психоэмоциональное состояние, нейронные сети
Ссылка для цитирования:
Никитин П. В., Горохова Р. И., Абашин В. Г. Совершенствование системы онлайн-обучения средствами искусственного интеллекта // Перспективы науки и образования. 2022. № 4 (58). С. 522-539. doi: 10.32744^е.2022.4.31
Perspectives of Science & Education
International Scientific Electronic Journal ISSN 2307-2334 (Online)
Available: https://pnojournal.wordpress.com/2022-2/22-04/ Accepted: 31 April 2022 Published: 31 August 2022
P. V. Nikitin, R. I. Gorokhova, V. G. Abashin
Improving online learning system by means of artificial intelligence
Introduction. Online learning is applied in the educational system more and more actively every year. The bulk of learning activities in many programmes and courses is shifting from the classroom towards individual work. The interaction between the student and the teacher is decreasing, which negatively affects the quality of education.
The aim of the research is the development of methods and algorithms for assessing the psycho-emotional state of learners and their involvement in the teaching process in online education, as well as evaluation of their impact on the efficiency of training.
Materials and methods. More than 100 students of Russian State Agrarian University - Moscow Timiryazev Agricultural Academy and Financial University took part in the survey. The following characteristics were measured during the online teaching: involvement in the educational process, students' psycho-emotional state. In order to build the training algorithms assessing students' engagement in online learning, the modernised dataset DAiSEE was used; for assessing the psycho-emotional state - the dataset fer2013. Convolutional neural networks were used as model algorithms. The ROC curve and accuracy parameters were used as metrics for model training quality. The Farrar-Glauber test was used for the analysis of multicollinearity of parameters. To prove the efficiency of the developed methods, the statistical criteria - Fisher's F-test and Student's t-test - were used.
Results and discussion. The developed models demonstrated an excellent quality of training. The accuracy of recognising student engagement in the learning process exceeded 90%, the accuracy of identifying the emotions in online learning was over 90%. The inculcation of the said algorithms in the online learning system showed due efficiency. It was proved that the control group (23 students) and the experimental group (25 students) differed significantly in statistical terms (t = 2.53; p < 0.05). The learners' involvement, their emotions and the actual knowledge of the subject area did not show any strong correlation with each other (FG =3.61 < FG =7.81).
v emp crit '
Conclusion. It was proved that the introduction of artificial intelligence systems in the learning process made it possible to adjust the online learning system with regard for the obtained recommendations on the student's psycho-emotional state and his/her involvement in the training process. Thus, the interaction between the student and the teacher, although weakened in comparison with face-to-face training, nevertheless remains at a sufficiently high level and allows influencing the students' motivation and mood, which leads to improved quality of education.
Keywords: education, online learning, artificial intelligence, involvement in learning process, psycho-emotional state, neural networks
For Reference:
Nikitin, P. V., Gorokhova, R. I., & Abashin, V. G. (2022). Improving online learning system by means of artificial intelligence. Perspektivy nauki i obrazovania - Perspectives of Science and Education, 58 (4), 522-539. doi: 10.32744/pse.2022.4.31
_Введение
Система образования в настоящее время вступает в новые реалии, диктуемые современным состоянием общества в период пандемии COVID-19. В экстренном порядке вводится онлайн обучение на всех ступенях образования от начальной школы до системы высшего образования, дополнительного образования детей и взрослых, системы повышения квалификации и переподготовки кадров. Предпринимаются поиски методов и способов, позволяющих найти решение данной проблемы. Первые шаги оказались очень сложными как со стороны технической реализации, так и со стороны психоэмоционального состояния всех участников образовательного процесса. Техническая составляющая достаточно быстро была найдена и очень активно стала использоваться в организации процесса обучения: teams.microsoft.com, zoom.us, skype.com, и др. В данном процессе в первую очередь возникли сложности у преподавателей, большинство из которых испытывало трудности в применении новых для них программных продуктов. Обучающиеся к применению программных продуктов в системе онлайн обучения достаточно быстро адаптировались. Однако переход на онлайн обучение оказал свое влияние на качество образования, на психологическое состояние, эмоциональное состояние, изменение отношения к обучению и проведению занятий.
Онлайн обучение ставит систему образования в новые условия, связанные с определением вовлеченности обучаемых в процесс получения знаний, освоения новых умений и навыков, организации и проведения контроля и самоконтроля. В вынужденных новых условиях отсутствует вербальный контакт, эмоциональные составляющие, поведенческие оценки, адекватная оценка качества обучения. Эти изменения ставят перед педагогической наукой необходимость разработки новой методологии, учитывающей происходящие изменения. Особая роль отводится психоэмоциональной составляющей процесса онлайн обучения. Предпринимаются поиски методов и способов, позволяющих найти решение данной проблемы.
Период обучения ребенка в школе совпадает с рядом важнейших этапов развития человека. Каждый этап характеризуется своими особенностями и сложностями, требующими внимания со стороны старшего поколения. На этот процесс накладывается очень серьезная учебная нагрузка. Нагрузка возрастает по мере взросления обучаемого. Кроме учебной нагрузки в школах приветствуется дополнительное образование школьников. Получается, что большую часть активного времени ребенок проводит в школе, а родители видят его только вечером. В сложившейся ситуации существенная часть родительских функций делегирована учителям школьного и педагогам дополнительного образования.
Пандемия COVID-19 с вынужденной самоизоляцией поставила эксперимент по изменению уклада жизни каждой семьи. Ученики перешли на дистанционное обучение, и те функции, которые были делегированы родителями школьным учителям, вернулись обратно. Результатом стало как общее снижение успеваемости школьников, так и увеличение разрыва между успеваемостью внутри класса и между школами. Это означает, что большая часть учеников за отведенное время не могут или не успевают решить те задачи, которые с успехом решали их предшественники.
Для определения критериев, которые влияют на качество усвоения учебного материала при онлайн обучении, авторы изучили ряд публикаций.
Л. В. Мамедова и В. В. Никифорова определили влияние перехода на дистанционное обучение на процесс формирования личностных качеств детей [1]. Отсутствие живого общения, жизненных ситуаций, которые могут возникнуть только в школе, и почвы для формирования личности ребенка, может в будущем оказать на эту личность негативное влияние. Возможность этого, а также возможности оказания позитивного влияния на формирование личностных качеств у младших школьников в период дистанционного обучения рассмотрен в данной публикации.
Н. Ю. Марчук, исследуя психолого-педагогические особенности дистанционного обучения, утверждает, что оно способно преодолеть недостатки традиционного обучения [2]. С точки зрения автора, современные технологии способствуют развитию творческих способностей обучающегося, стремлению узнавать новое, потому что им доступно больше источников информации.
На удовлетворенность процессов обучения с точки зрения усваивания материала влияет качество составления упражнений и заданий, выполняемых как в классе (дистанционно с учителем), так и дома. J.Wang и X.Lu [3] сравнили характеристики математических упражнений при тщательном изучении содержания школьных учебников математики в десяти странах. Исследователи изучили количество, тип, открытость и уровень сложности заданий, а также их сходства и отличительные особенности. Исследователи рассмотрели открытость выводов, разделив все упражнения на «закрытые» и «открытые». Тип упражнения - это еще одна особенность, которая делит упражнения на группы в зависимости от типа вопросов. Исследователи описали шесть типов вопросов, таких как вопросы с множественным выбором или вопросы с решением. Для определения сложности упражнения был применен подход, основанный на факторном анализе [4].
M. Mohseny et al. [5] изучали влияние киберсреды на психическое здоровье студентов. В рамках международного исследования исследователи использовали комплексную анкету для получения многих жизненно важных характеристик школьников. Исследователи изучили такие важные области, как домашняя и школьная среда, включая безопасность, взаимодействие с учителями, школьным сообществом и выполнение домашних заданий.
Выделением параметров, влияющих на учебный процесс, занимались авторы статьи C. Masci et al. [6] Они исследовали различные параметры, влияющие на учебный процесс в рамках концепции школы с добавленной стоимостью. Исследователи изучили влияние занятий в Италии на успеваемость школьников по чтению и математике. Для этого исследователи предложили новый статистический метод и рассматривали различия и сходства классовых эффектов.
Достаточно большое внимание уделяется оптимизации учебного процесса. O.D. Marsenaro-Gutierrez et al. [7] предложили подход к многокритериальной оптимизации дистанционного процесса обучения. Они учитывали такие характеристики, как средний балл по математике, средний балл по чтению и уровни достижения определенных успехов в математике и чтении. Исследователи сравнили указанные характеристики с удовлетворенностью студентов, измеренной в баллах, и использовали регрессионные модели для решения проблемы с помощью многокритериального программирования.
T. Shehab et al. [8] сосредоточили свои усилия на изучении образовательной среды американской системы K-12, особенно безопасности учебных помещений. При разра-
ботке решения для оптимизации качества обучения исследователи учитывали такие характеристики, как количество обслуживаемых студентов, количество изучающих английский язык, тип обучения и количество студентов из малообеспеченных семей.
А. Д. Иванова и Неустроева Е. Н. [9] в своей статье ставят целью исследования раскрытие проблемы развития личностных качеств младших школьников в условиях дистанционного обучения. Для решения поставленных задач авторы считают, что необходимы эффективные педагогические условия организации онлайн-уроков. Только при соблюдении определенных педагогических условий может быть достигнут положительный результат.
COVID-19 внес коррективы в отлаженную систему обучения на всех ступенях образования. Повсеместно произошел переход на дистанционное обучение с его особенностями и требованиями к организации учебного процесса. Дистанционное обучение вводилось в режиме локдауна очень быстро и зачастую не совсем подготовлено ^^ и внесло свои коррективы в систему знаний и учебный опыт обучаемых по всему миру [10].
По оценкам ЮНЕСКО, из-за пандемии COVID-19, закрытие образовательных учреждений и перевод на дистанционное обучение затронуло 1 миллиард студентов [11]. Дистанционное обучение ставит систему образования в новые условия, связанные с определением вовлеченности обучаемых в процесс получения знаний, освоения новых умений и навыков, организации и проведения контроля и самоконтроля. В новых условиях оказываются и обучаемые, и преподаватели. В новых условиях отсутствует вербальный контакт, эмоциональные составляющие, поведенческие оценки, адекватная оценка качества обучения. Особую роль приобретает психоэмоциональное состояние всех сторон процесса обучения, но главным является именно состояние обучаемых. Эти изменения ставят перед педагогической наукой необходимость разработки новой методологии, учитывающей происходящие изменения. Предпринимаются поиски методов и способов, позволяющих найти решение данной проблемы. Особое место в оценке психоэмоционального состояния принимает вовлеченность обучаемых в процесс обучения. Особое место отводится технологии искусственного интеллекта «компьютерное зрение». Изучению вопросов применения компьютерного зрения для решения задач классификации, распознавания, кластеризации объектов посвящен целый ряд исследований.
Применение компьютерного зрения в измерении вовлеченности студентов рассмотрено в работе P. Vanneste et al. [12]. В этом исследовании описывается методика измерения вовлеченности студентов, использующая как индивидуальный (на уровне студента), так и коллективный (классный) подход. В работе рассмотрено применение компьютерного зрения для фиксации поведенческого компонента взаимодействия. Представлена методика распознавания поведения человека и определение индивидуальной и коллективной вовлеченности учащихся в гибридном виртуальном классе. Авторы рассматривали также и самооценку обучаемых и пришли к выводу, что ни один из исследованных показателей индивидуального поведения не коррелирует в значительной степени с самооценкой вовлеченности студентов. Коллективная вовлеченность «устанавливает слабую, но значимую связь между вовлеченностью в классе, с одной стороны, и коллективным поведением студентов, и пересечением взглядов студентов, с другой». Методы компьютерного зрения позволяют нам распознавать индивидуальное поведение с разумной точностью и точностью, а также могут количественно определять коллективное поведение с помощью неконтролируемой кластеризации. Авторы, основываясь на полученных ими выводах и неко-
торых других исследований, рекомендуют не использовать методы компьютерного зрения для оценки вовлеченности студентов. Их недостаточно для адекватной всесторонней оценки и необходимо обязательно добавить оценку эмоционального и когнитивного компонентов.
Исследование перехода на экстренное дистанционное обучение проведено в работе G. I. Hidalgo et al. [13]. Авторы рассматривали взаимосвязь между такими показателями как успеваемость студентов и их отношение к проводимым занятиям. Основной целью исследования было изучение мнения студентов о методиках преподавания и обучения, используемых во время экстренного дистанционного обучения. В исследовании применен кластерный анализ для изучения различий между студентами в их приспособленности и отношению к дистанционному обучению. Определение кластера обучаемого проводилось в режиме анкетирования и не учитывало объективность самооценки. Поэтому данное исследование имеет ряд ограничений: в выборке присутствует систематическая ошибка, поскольку учащиеся с более высокими оценками участвовали в опросе чаще; у студентов не было опыта дистанционного обучения; нет возможности оценить психоэмоциональное состояние студентов.
Исследования в области применения компьютерного зрения продолжаются и рассматривают различные точки зрения и подходы в самых разных областях. Применение в медицинских исследованиях технологии компьютерного зрения является очень важным для выявления аномалий в поведении испытуемых и последующем выявлении отклонений. S. Jaiswal et al. своем исследовании применяли технологию компьютерного зрения с применением сверточной нейронной сети глубокого обучения (CNN) [14]. Изучались видеозаписи участников с расстройством аутистического спектра и синдрома дефицита внимания и гиперреактивности из контрольной группы, записанные с помощью современных RGBD-сенсоров. По результатам исследования был предложили новый полностью автоматический подход для прогнозирования синдрома дефицита внимания и гиперреактивности с расстройством аутистического спектра по видеозаписям. В данном исследовании авторами установлены взаимосвязи между выражением лица, жестами и нейросостояниями обучаемых.
Выражения лиц участников с биполярным расстройством, депрессией вызванные эмоциональными видеоклипами были изучены в исследовании M. H. Su et al. [15]. На основании полученных данных авторами был разработан и представлен подход к классификации аффективных расстройств с помощью колебаний лицевых мускулов с применением методов рекуррентных нейронных сетей с долгой краткосрочной памятью (LSTM) и Автоэнкодера - нейронной сети, направленной на обучение новым представлениям данных, которые восстанавливают исходные данные на выходе.
A. Dawood, S. Turner, P. Perepa [16] проводили сбор данных о мимике, движениях головы и взгляда с помощью веб камер у студентов с подтвержденным синдромом Аспергера и без него. Используя в качестве методов сбора и обработки сверточные нейронные сети глубокого обучения (CNN) и рекуррентные нейронные сети с долгой краткосрочной памятью (LSTM) авторами были распознаны аффективно-когнитивные состояния студентов с синдромом Аспергера в режиме реального времени. Это исследование подтверждает возможности технологии компьютерного зрения по выявлению отклонений и опровержению аномалий.
Авторы B. H. Prasetio, H. Tamura, K. Tanno провели исследование по определению метода распознавания уровня стресса у испытуемых [17]. В данном исследовании сверточные нейронные сети глубокого обучения (CNN) использовались для обработки
и кластеризации фотографий лиц участников с разным уровнем стресса. Отдельно обрабатывался каждый из извлеченных признаков изображений, разделенных на три части (глаза, нос, рот). Авторами в результате проведенного исследования разработан новый метод распознавания стресса по фронтальному изображению лица по трем классам: отсутствие стресса, низкий уровень, высокий уровень.
Двухуровневая сеть (TSDNet) с использованием Resnet и LSTM применялась в исследовании H. Zhang et al. [18]. Проводился анализ видеозаписи участников, собранных с помощью инфракрасных камер при просмотре различных видеоклипов. Результатом данной работы является возможность идентификации стресса участников эксперимента. Представлена двухуровневая сеть обнаружения стресса на основе видео (TSDNet), в которой используются выражений лица и движения для идентификации стресса.
Направление взгляда студентов также используется в качестве показателя вовлеченности. A.Barbadekar, V.Gaikwad, S.Patil, T.Chaudhari, S.Deshpande, S.Burad, R.Godbole [19] проанализировали, обращены ли головы учащихся непосредственно к учителю, и, если да, предполагалось, что учащиеся заняты. D. Canedo, A. Trifan, A.J.R. Neves [20] создали прототип для отслеживания лиц учащихся и направления их взглядов, предполагая при этом, что чем больше взгляды учащихся отличаются от направления камеры (местоположение учителя, доски или слайдов), тем ниже уровень их внимания.
Исследователи также попытались обнаружить действия, указывающие на отстранённость, такие как зевота. W. Li, F. Jiang, R. Shen [21] исследовали обнаружение сна и применяли его к набору данных, содержащему 3000 изображений учащихся в реальной обстановке в классе, включая 5000 жестов сна, их точность достигла 75%.
Что касается эмоционального аспекта взаимодействия, то наиболее часто используемым методом является анализ выражения лица учащихся. Поскольку большинство исследований сосредоточенно на выражении семи универсальных эмоций на лице, существует меньше знаний о других, более тонких и многогранных эмоциональных или когнитивных состояний состояниях, таких как вовлеченность, которые обычно менее выражены на лице.
O.M. Nezami et al. [22] анализировал более чем 4600 образцов лиц студентов с точки зрения эмоциональной и поведенческой вовлеченности. Студенты были помечены как вовлеченные, если они смотрели на экран или клавиатуру. Точность около 72% была достигнута в ходе этого исследования.
Помимо анализа отдельных учащихся, некоторые исследователи также использовали коллективный подход, анализируя группы учащихся в целом. В исследовании [23] авторы измеряли уровень внимания на основе синхронизации действий студентов и времени реакции. В работе проверяют существует ли корреляция между средним сообщаемым уровнем внимания и скоростью реакции, полученный путем анализа графиков интенсивности движения.
Часто упоминаемое действие - это поднятие рук. Данный жест исследовался во множестве работ. Например, W. Liao et al. [24] разработали двухэтапный метод, состоящий из оценки позы тела и обнаружения поднятия рук, и достигли точности до 95%. J. Lin, F. Jiang, R. Shen [25] проанализировали крупномасштабный набор данных, состоящий из 40 000 примеров жестов поднятия рук, и достигли 85% общей точности обнаружения.
R. Böheim, M. Knogler, C. Kosel, T. Seidel [26] использовали не компьютерное зрение, а людей наблюдателей с целью изучения связи между поднятием рук и мотивацией,
которая в значительной степени связана с вовлеченностью. В целом, их результаты показали, что компьютерное зрение может хорошо обнаружить поднятие рук, а также что существует связь между поднятием руки и вовлеченности в учебный процесс.
Таким образом, можно сделать вывод, что данная тема является актуальной и рассматривается в целом ряде исследованиях. Ее необходимо развивать, так как онлайн обучение в настоящее время становится нормой. Требуется изучение и дальнейшее развитие методики оценки состояния учащихся в онлайн обучении.
_Материалы и методы
Методы, основанные на компьютерном зрении, используются для оценки предполагаемой вовлеченности учащихся, то есть вовлеченности, оцениваемой внешним наблюдателем. Поскольку учителя полагаются на предполагаемую вовлеченность, чтобы адаптировать свое преподавательское поведение в обычной классной комнате, автоматизация определения предполагаемой вовлеченности, вероятно, будет полезна для онлайн обучения.
В системе обнаружения вовлеченности на основе компьютерного зрения видеопотоки захватываются с помощью веб-камеры или камеры наблюдения, где камера обеспечивает определенный вид учащихся, участвующих в учебной деятельности. Система стремится определить область интересов (ОИ) (например, лицо, жесты, позы или глаза) учащихся в потоке видео в реальном времени. Как правило, обнаружение взаимодействия в такой системе выполняется с использованием подхода отслеживания и классификации. Сначала система выполняет сегментацию, чтобы изолировать ОИ, используя модуль обнаружения в каждом кадре. Для каждого ОИ объекты затем извлекаются в модуле извлечения объектов и выбираются в шаблоны для инициирования отслеживания и классификации. Модуль классификации используется для сопоставления входных шаблонов с шаблонами, извлеченными из обучающего набора данных, и генерирует оценки классификации. Модуль отслеживания предназначен для отслеживания движения или изменений в ОИ в последовательных кадрах и генерирует траектории отслеживания. Наконец, модуль принятия решений объединяет оценки классификации по траекториям для вывода списка уровней вовлеченности учащихся во входном видеопотоке.
Мы обнаружили, что наиболее часто используемыми модальностями в методах, основанных на компьютерном зрении, являются выражения лица, жесты и позы, а также движения глаз и определение эмоций. Таким образом, мы дополнительно рассмотрим методы обнаружения вовлеченности, сосредоточив внимание на этих модальностях.
Оценка вовлеченности
В качестве датасета был выбран набор данных DAiSEE, состоящий из 9068 фрагментов видео, снятых у 112 пользователей (32 женщины и 80 мужчин). DAiSEE содержит видеофрагменты, записанные «in the wild», то есть без предварительной подготовки для улучшения видео, например, в комнатах с различными источниками света, переполненных помещениях. Видео снимается с разрешением 1920 х 1080 пикселей со скоростью 30 кадров в секунду с помощью веб-камеры full HD, установленной на компьютере, фокусирующейся на студентах, просматривающих какой-то видеоурок.
Эксперты аннотируют видеоролики к четырем различным аффективным состояниям, то есть к вовлеченности, скуке, замешательству и разочарованию. Видео с комментариями дополнительно оцениваются на основе интенсивности эмоционального состояния, которое пользователь продемонстрировал в видео, в диапазоне от 0 до 3.
В наших экспериментах эффективность предлагаемого метода измеряется для различения трех уровней взаимодействий: не вовлеченный, нормально вовлеченный и сильно вовлеченный. Чтобы приспособить набор данных DAiSEE к нашему приложению, мы изменили исходные метки изображений лиц. Для трехуровневого определения вовлеченности (не вовлеченный, нормально вовлеченный и сильно вовлеченный) изображениям вовлеченных лиц с интенсивностью 1 и 2 присваивается метка нормально вовлеченный. Изображениям вовлеченных лиц с интенсивностью 3 присваивается метка «сильно вовлеченные». Изображениям лиц с надписями «скучающий», «смущенный» и «разочарованный» присваивается ярлык «не вовлеченный».
На входных изображениях ROI лиц были обнаружены с использованием алгоритма Виолы-Джонса и масштабированы до общего размера 32 х 32 пикселей. Трекер на основе IVT используется для отслеживания движения лица, где количество точек, перемещения по оси x и y, поворот, масштабирование, соотношение сторон и изменения направления наклона устанавливаются на 9, 9, 0.05, 0.05, 0.005, и 0,001, соответственно. Коэффициент забывания и размер пакета для обновления моделей лиц галереи в IVT установлены равными 0,99 и 5 соответственно. Были использовали All-CNN, Min-CNN и VD-CNN для трех уровней вовлеченности (не вовлеченный, нормально вовлеченный и сильно вовлеченный). Полные конфигурации для всех моделей представлены в таблице 1.
Таблица 1
Характеристики уровней вовлеченности
Уровень вовлеченности Уровень Характеристики
Не вовлечен 1 Не смотрит в камеру, глаза закрыты
Нормально вовлечен 2 Едва открытые глаза, опущенные брови
Сильно вовлечен 3 Веки напряжены, ямочки на губах
Для реализации моделей CNN мы использовали язык программирования Python. В экспериментах мы применили k-кратную (где k = 5) кросс-валидацию с 1500 изображениями лиц для обучения и 300 изображениями лиц для тестирования классификатора в каждом раунде и сообщили о средних показателях скорости распознавания. Решение о классификации принимается путем аккумуляции решений каждого кадра по скользящей рамке размера W, где мы устанавливаем W = 5.
Определение эмоций
В качестве обучающих данных для распознавания эмоций по видеопотоку был выбран датасет fer2013 (https://www.kaggle.com/msambare/fer2013). Датасет включает в себя набор из 35887 изображений, в которых отображаются 7 категорий: 0 = гнев, 1 = отвращение, 2 = страх, 3 = счастье, 4 = грусть, 5 = удивление, 6 = нейтральная эмоция.
Предлагаемый метод основан на двухуровневой структуре CNN. Первый рекомендуемый уровень - это удаление фона, так чтобы осталось только лицо. Здесь для извлечения первичного вектора выражения (EV) используется обычный сетевой модуль
CNN. Вектор выражения генерируется путем отслеживания соответствующих важных точек лица. Вектор выражения напрямую связан с изменениями экспрессии и получается с использованием базового блока персептрона, нанесенного на удаленное фоновое изображение лица. В используемой модели также есть слой персептрона без сверток в качестве последнего этапа. Каждый из сверточных слоев получает входные данные (или изображение), преобразует их, а затем выводит на следующий уровень. Это преобразование является операцией свертки. Все используемые сверточные слои способны обнаруживать паттерны. В каждом сверточном слое использовались четыре фильтра. Входное изображение, подаваемое в CNN первой части (используется для удаления фона), обычно состоит из форм, краев, текстур и объектов вместе с лицом. Фильтры детектора краев, детектора кругов и детектора углов используются в начале сверточного слоя 1. Как только лицо обнаружено, фильтр CNN второй части улавливает черты лица, такие как глаза, уши, губы, нос и щеки. Сверточная нейронная сеть во второй части состоит из слоев с матрицей ядра 3x3. Изначально эти числа выбираются в диапазоне от 0 до 1. Эти цифры оптимизированы для обнаружения вектора выражения на основе имеющейся у нас информации в наборе данных для обучения надзору. Здесь используется декодирование с минимальной ошибкой для оптимизации значений фильтра. Как только фильтр настроен с помощью обучающего контроля, он затем применяется к лицу, удаленному с фона, то есть на выходном изображении первого уровня сверточной нейронной сети, для обнаружения различных частей лица (например, глаз, губ. нос, уши).
Для создания матрицы векторов выражения всего извлекаются 24 различных черты лица. Вектор признаков вектора выражения - это не что иное, как значения нормализованного евклидова расстояния между каждой частью лица.
Используемая модель работает как с изображением, так и с видео. В случае, когда входным сигналом для модели является видео, вычисляется разница между соответствующими кадрами. Максимально стабильные кадры возникают всякий раз, когда разница внутри кадра равна нулю. Затем для всех этих стабильных кадров был применен алгоритм Кэнни, а затем была рассчитана совокупная сумма белых пикселей. После сравнения агрегированных сумм для всех стабильных кадров выбирается кадр с максимальной агрегированной суммой, поскольку этот кадр содержит максимальную детализацию по краям (чем больше краев, тем больше деталей). Затем этот кадр выбирается в качестве входного сигнала для модели. Логика выбора этого изображения заключается в том, что размытые изображения имеют минимальные края или вообще не имеют краев.
Как только входное изображение получено, алгоритм определения тона кожи применяется для извлечения частей человеческого тела из изображения. Это выходное изображение с определением тона кожи является двоичным изображением и используется в качестве функции для первого слоя CNN для удаления фона (также называемого CNN первой части в этой рукописи). Это определение тона кожи зависит от типа входного изображения. Если изображение является цветным изображением, то можно использовать цветовой порог YCbCr. Для толщины кожи значение Y должно быть больше 80, Cb должно находиться в диапазоне от 85 до 140, значение Cr должно быть от 135 до 200. Для повышения точности при удалении фона CNN также использует фильтр «круги в круге». Эта операция фильтрации использует значения преобразования Хафа для каждого обнаружения круга. Для поддержания однородности независимо от типа входного изображения преобразование Хафа всегда использовалось в
качестве второй функции ввода для удаления фона CNN. Формула, используемая для преобразования Хафа, приведена в уравнении:
/•00 /.00
Н(в,р)= I I А(х, у)8(р — xcosd — у sin 6)dxdy
J — 00 J — 00
Для каждой операции свертки все изображение делится на перекрывающиеся матрицы 3 х 3, а затем соответствующий фильтр 3 х 3 свертывается по каждой матрице 3 х 3, полученной из изображения. Операция скольжения и взятия точечного произведения называется «сверткой» и, следовательно, называется «сверточный фильтр». Во время свертки точечное произведение обеих матриц 3х3 вычисляется и сохраняется в соответствующем месте, например, (1,1) на выходе. Как только вся выходная матрица вычислена, этот вывод передается на следующий уровень CNN для еще одного раунда свертки. Последний слой извлечения функций лица CNN - это простой персептрон, который пытается оптимизировать значения масштабного коэффициента и показателя степени в зависимости от отклонения от основной истины.
Определение положения головы
Оценка положения головы - одна из существующих задач компьютерного зрения. В этой задаче мы хотим узнать положение объекта по его перемещению и вращению.
Эта задача имеет множество применений. Например, можно определить, обращает ли водитель внимание на дорогу или нет. Мы будем определять по этой характеристике вовлеченность обучаемого.
Для решения задачи нам необходимо трехмерное изображения, однако мы имеем только двумерное. Мы можем использовать решение, называемое Перспективной n-точкой (Perspective-n-Point (PnP)).
Уравнение задачи PnP выглядит следующим образом:
и- Г fx У и0- ги Г±2 Пз til
V — 0 fy v0 r21 Г22 r23 t2
1- -0 0 1- -*3i Г32 r33 *3-
-X-
У
z
.1.
Опишем параметры:
Первый из них - это координационный центр. Мы можем получить фокусную точку (f и f), взяв ширину изображения.
х у
Второй параметр, который мы возьмем, - это параметр skew (у). Для этого параметра мы устанавливаем значение 0.
Третий параметр - это центральная координата нашего изображения. Мы установим u0 с шириной изображения, установим v0 с высотой изображения.
Из этого уравнения мы можем извлечь матрицы поворота и перехода. Но прежде чем мы получим эти матрицы, это уравнение должно принять три входных параметра, таких как:
• 2D координаты в пространстве изображения;
• Трехмерные координаты в мировом пространстве;
• Параметры камеры, такие как фокусные точки, центральная координата и параметр наклона.
Из этого уравнения мы получаем две основные проблемы: как мы можем получить эти входные данные; как мы можем оценить позу объекта на основе этих входных данных?
Для решения этой задачи будут использоваться библиотеки Python mediapipe для определения ключевых точек лица и библиотеку OpenCV для оценки положения головы.
Сначала будет проведена инициализация нескольких объектов:
• Объект Face Mesh из библиотеки Mediapipe будет обнаруживать грани, а также ключевые точки на одной или нескольких гранях.
• Объект видеозаписи из библиотеки OpenCV будет использоваться для получения изображений с веб-камеры. Мы задаем параметру объекта значение 0 для получения изображений с веб-камеры.
После инициализации необходимо обработать входные данные (изображения). Обратим внимание, что OpenCV и библиотека Mediapipe по-разному считывают свое изображение. В библиотеке OpenCV изображение находится в цветовом пространстве BGR. Между тем, библиотеке mediapipe требуется изображение с цветовым пространством RGB. Поэтому нам нужно сначала преобразовать цветовое пространство в RGB, применить распознавание лицевых ориентиров, а затем преобразовать его обратно в цветовое пространство BGR.
После того, как мы обработаем изображение, следующим шагом будет получение координат ключевой точки. Для оценки положения головы нам не обязательно использовать все ключевые точки. Вместо этого мы выбираем 6 точек, которые, по крайней мере, могут представлять лицо. Эти точки находятся на краю глаз, носа, подбородка и края рта. Для доступа к этим точкам мы обращаемся к индексу, который использовался в модели Blaze Face.
Теперь извлекаются ключевые точки, причем для 2D-координат используются координаты по осям x и y, а для 3D-координат - все оси. Однако перед этим необходимо домножить ось x на ширину изображения, а ось y на высоту изображения. Кроме того, мы возьмем координаты носа. Мы делаем это, чтобы отобразить проекцию нашего носа в пространстве изображения.
Для определения движения головы мы создаем линию, чтобы увидеть проекцию нашего носа на пространство изображения.
В качестве метрик обучения моделей были взяты классические метрики для задач классификации: кривая ROC и точность (accuracy). По каждой из моделей были достигнуты очень хорошие результаты. На рисунке 1 представлены метрики предсказания эмоций.
J0
08
il
g
BE
V 06
I
•л
S. fi
02 00
00 02 04 06 OS 10
False Positive Rate
Рисунок 1 Качество предсказания эмоций
ROC Curves_
s
/
HOC curve oi cias-s 0 (area ■ 0 96) ROC curve of class 1 (area » 0 94) ROC curve of eta» 2 (area * 0 94) ROC curve of class 3 (area - 0 94) ROC curve of class 4 (area = 0 &9) ROC curve of ctass 5 (area - 0 66) ROC curve of class 6 (area * 0 93) mi<to-avera&e ROC curve (area « 0 92) macro-average ROC curve (area - 0 92)
_Результаты исследования
Описанные выше алгоритмы определения вовлеченности обучаемых в учебный процесс и определения их психоэмоциональных состояний при онлайн обучении были апробированы в Финансовом университете при Правительстве РФ и Российском государственном аграрном университете - МСХА имени К.А. Тимирязева.
Эксперимент проводился как при объяснении нового материала, так и при семинарских занятиях и промежуточного контроля по дисциплинам «Технологии анализа данных и машинное обучении» и «Интеллектуальный анализ данных» при онлайн обучении. На основе записи с онлайн занятия производилась оценка вовлеченности студентов по положению головы и состоянию глаз, а также распознавание доминирующей эмоции обучающегося (см. рис. 2).
Рисунок 2 Оценка психоэмоционального состояния студента
Эффективность внедрения данной методики определения вовлеченности студентов в учебный процесс и их психоэмоционального состояния при онлайн обучении была доказана педагогическим экспериментом.
Качество обучения измерялось при проведении онлайн экзамена по дисциплине «Технологии анализа данных и машинного обучения». Всего в эксперименте приняло участие более 100 студентов. В качестве экспериментальной группы (25 чел.) взяты студенты, где при онлайн обучении измерялись их психоэмоциональные состояния и вовлеченность в учебный процесс. Контрольную группу (23 чел.) представляли студенты, где данных измерений не было.
В таблицах 2 и 3 представлены статистические расчеты критериев Фишера и Стью-дента для разных дисперсий.
Таблица 2
Результаты применения F-критерия Фишера
Характеристики Экспериментальная группа Контрольная группа
Среднее 4,24 3,52
Дисперсия 0,94 0,99
Р 0,951
Ркритическое 0,499
Таблица 3
Результаты применения ^критерия Стьюдента
Характеристики Экспериментальная группа Контрольная группа
Среднее 4,24 3,52
Дисперсия 0,94 0,99
^статистика 2,531
1 критическое 2,014
Получили, что (2,531) > ^рит (2,014). Следовательно, выборки различаются статистически значимо и можно сделать вывод, что определение вовлеченности студентов в учебный процесс и их психоэмоционального состояния при онлайн обучении влияет на качество обучения.
Важно отметить, что вовлеченность учащихся, испытываемые эмоции и наличие знаний в предметной области не проявляют сильной связи друг с другом.
Для доказательства построим матрицу коэффициентов парной корреляции для выбранных факторов. В ситуации, где абсолютное значение коэффициента корреляции больше 0,7, будем полагать, что между данными наблюдается сильная линейная зависимость. Данные с приемлемой линейной зависимостью в матрице выделены зеленым (см. табл. 4).
Таблица 4
Корреляционная матрица зависимости данных
Голова/Глаза Эмоция Знание
Голова/Глаза 1 0,245 0,385
Эмоция 0,245 1 0,206
Знание 0,385 0,206 1
Сравним результат с выводами, полученными при анализе мультиколлинеарности посредством проведения теста Фаррара-Глоубера.
Данный тест позволяет определить наличие мультиколлинеарности по определителю матрицы (Хт X), где Х - матрица данных по всем рассматриваемым объясняющим переменным. Если он близок к нулю, имеет место быть тесная связь между переменными. Тест содержит три вида статистических критериев проверки присутствия мультиколлинеарности:
• Массива в целом (критерий хи-квадрат);
• Каждой переменной с другими ^-критерий);
• Каждой пары регрессоров ^-критерий).
Полученная статистика Фаррара-Глоубера FG=3,61 < FGкрит=7,81, согласно критерию Хи-квадрат, указывает на отсутствие мультиколлинеарности в массиве рассматриваемых данных.
По результатам F-критерия (для Fкрит=3,34 при у_1=3,у_2=14) в представленной статистике отсутствует переменная, не зависящая ни от одного другого предложенного фактора. Результаты сравнения ^критерия для каждой пары факторов с критическим уровнем 2,014 представлены в таблице 5, где М - мультиколлинеарность между факторами существует, НМ - мультиколлинеарности нет.
Таблица 5
Тест Фаррара-Глоуберга
Голова/Глаза Эмоция Знание
Голова/Глаза НМ НМ
Эмоция НМ НМ
Знание НМ НМ
Следовательно, вовлеченность обучаемых, испытываемые эмоции и наличие знаний в предметной области не проявляют сильной связи друг с другом
_Обсуждение результатов
Анализируя особенности организации и проведения онлайн-обучения следует отметить важность учета комплекса факторов, который включает в себя в обязательном порядке сформированность знаний в предметной области как основополагающей составляющей учебного процесса. Система онлайн-обучения в силу своих особенностей делает необходимым учет психоэмоциональных факторов исследуемых в работе. Мы согласны с авторами [2; 7; 14], что изучение испытываемых эмоций является важной составляющей для исследования удовлетворенности студентов процессом обучения и уровня восприятия получаемых знаний.
Полученные нами данные согласуются с мнением авторов [12; 19-21] о необходимости исследования вовлеченности обучаемых с применением компьютерного зрения для фиксации поведенческого компонента взаимодействия. Результаты сравнения средних значений психоэмоционального состояния и вовлеченности в учебный процесс с применением критериев Фишера и Стьюдента подтвердили влияние этих показателей на качество онлайн-обучения. Результаты в контрольной и экспериментальной группах различаются статистически значимо (^мп (2,531) > ^ (2,014)).
В соответствии с исследованиями [22] мы рассмотрели знаниевую составляющую, эмоциональную и поведенческую вовлеченность как взаимосвязь между значениями показателей факторов Голова/Глаза, Эмоция, Знание. В результате анализа получили слабую корреляционную зависимость. Следовательно, вовлеченность обучаемых, испытываемые эмоции и наличие знаний в предметной области не проявляют сильной связи друг с другом.
Проведение анализа наличия мультиколлинеарности посредством проведения теста Фаррара-Глоубера подтвердило отсутствие мультиколлинеарности в массиве рассматриваемых данных ^=3,61 < FGкрит=7,81), что свидетельствует об отсутствии взаимосвязи между показателями.
В то же время проведенное исследование согласуется с результатами исследования [2] о том, что учет психолого-педагогических особенностей дистанционного обучения способствует преодолению недостатков традиционного обучения.
Результаты представленного исследованиями согласуются с исследованиями [2426] в которых показано, что компьютерное зрение может хорошо определять уровень вовлеченности в учебный процесс.
В целом, педагогический эксперимент позволяет сделать вывод о том, что проведение комплексной и систематической оценки психоэмоциональных особенностей
студентов в виде удовлетворенности процессом обучения и уровня восприятия получаемых знаний при проведении онлайн-обучения положительно влияет на повышение качества получаемых знаний.
Материалы проведенного исследования направлены на повышение качества образования и уменьшения негативного влияния обстоятельств, связанных с коронави-русом, при организации активного внедрения онлайн-обучения в силу сложившихся обстоятельств.
Заключение
Данное исследование доказало, что онлайн-обучение является неотъемлемой частью образовательного процесса. Традиционная модель очного обучения уже не способна удовлетворить все образовательные потребности общества. Для удовлетворения этого разнообразия необходимо внедрить новые, более эффективные и гибкие формы обучения и оценки. В приведенном выше исследовании была предпринята положительная попытка повышения качества онлайн-обучения.
Были предложены методики и алгоритмы определения вовлеченности студентов в учебный процесс и определения их психоэмоционального состояния. Педагогический эксперимент показал эффективность внедрения данных методик в онлайн-обучения. В дальнейшем необходимо разработать методологию и внедрить в практику обучения информационно-интеллектуальную систему, которая позволит корректировать систему онлайн-обучения с учетом полученных рекомендаций системы. Появится возможность определить проблемы обучаемых по каждому из состояний: психическому, когнитивному, поведенческому. Представленные рекомендации позволят внести коррективы в обучение группы в целом и, что самое главное, в обучение конкретного обучаемого. Внедрение информационно-интеллектуальной системы позволит значительно повысить качество онлайн-обучения.
REFERENCES
1. Mammadova, L.V., Nikiforova, V.V. The influence of distance learning on the formation of personal qualities of younger schoolchildren. Modern pedagogical education, 2020. no. 10, pp. 100-104.
2. Marchuk, N.Yu. Psychological and pedagogical features of distance learning. Pedagogical education in Russia, 2013. no. 4, pp. 73-85.
3. Wang, J., Lu, X. Selection of content in high school mathematics textbooks: an international comparison. ZDM, 2018, vol. 50(2). DOI: 10.1007/s11858-018-0977-6.
4. Wang, J. International comparative study on exercises in high school mathematics textbooks. In school textbooks of mathematics in China. Comparative Studies and Beyond; Wang, J., Ed.; World Scientific Publishing Co. Pte. Ltd.: 5 Toh Tuck Link, Singapore, Scientific Reports of East China Normal University, 2021. no. 2(10). pp. 347-373.
5. Mohseny, M., Zamani, Z., Akhondzadeh Basti, S., Sohrabi, M., Najafi, A. Exposure to Cyberbullying, Cybervictimization, and Related Factors Among Junior High School Students. Iranian Journal of Psychiatry and Behavioral Sciences, 2020, vol. 14(4): e99357. DOI: 10.5812/ijpbs.99357.
6. Masci, C., Ieva, F., Agasisti, T. et al. Evaluating class and school effects on the joint student achievements in different subjects: a bivariate semiparametric model with random coefficients. Computational Statistics, 2021, vol. 36, pp. 2337-2377. DOI: 10.1007/s00180-021-01107-1
7. Marsenaro-Gutierrez, O.D., Gonzalez-Gallardo, S., Luque, M. Evaluation of a potential compromise between student satisfaction and school performance using evolutionary multicriteria optimization. RAIRO-Oper, 2021, 55: S1051-S1067, DOI: 10.1051/ro/2020027.
8. Shehab, T., Haghighat, R., Sajjan, K. K., Balali, V. Prioritization of K-12 School Maintenance Construction Projects
Using Genetic Algorithm and Dynamic Programming Models. ITcon, 2021, vol. 26, pp. 112-127, DOI: 10.36680/j. itcon.2021.007.
9. Ivanova, A.D., Neustroeva, E.N. Questions of the development of personal qualities of a junior student in the conditions of distance learning. Global Scientific Potential, 2021. no. 7 (124), pp. 9-21.
10. Hodges, S., Moore, S., Locke B., Trust T., Bond A. The difference between Emergency Distance Learning and Online learning. Education 2020. Available at: https://er.educause.edu/articles/2020/3/the-difference-between-emergency-remote-teaching-and-online-learning (accessed 1 November 2021).
11. UNESCO 2021. Global Education Coalition: A Response to COVID-19 Education. Available at: https://en.unesco.org/ covid19/educationresponse/globalcoalition (accessed 1 November 2021).
12. Vanneste, P., Oramas, J., Verelst, T., Tuytelaars, T., Raes, A., Depaepe, F., Van den Noortgate, W. Computer Vision and Human Behaviour, Emotion and Cognition Detection: A Use Case on Student Engagement. Mathematics, 2021, vol. 9(3), p. 287. DOI: 10.3390/math9030287.
13. Hidalgo, G.I., Sanchez-Carrasedo, F., Romero-Portillo, D. COVID-19 Opinions on Emergency distance learning and undergraduate student performance: Analysis of profiles of 4 students. Case Study. Mathematics, 2021. no. 9: 2147. DOI: 10.3390/matematika9172147.
14. Jaiswal, S., Valstar, M.F., Gillott, A., Daly, D. Automatic detection of ADHD and ASD by expressive behavior in RGBD data. 12th IEEE Int. Conference on Automatic Face and Gesture Recognition, 2017. pp. 762-769. DOI: 10.1109/ FG.2017.95.
15. Su, M.H., Wu, K.H., Huang, K.Y., Hong, K.B., Wang, H.M. Study of microscopic fluctuations of facial expression for the classification of mood disorders. International Conference on Orange Technologies (ICOT), 2017, pp. 65-69. DOI: 10.1109/ICOT.2017.8336090.
16. Dowd, A., Turner, S., Perepa, P. Affective computational model for extracting natural affective states of students with Asperger's syndrome (AS) in a computer learning environment. Access to IEEE 6: 67026-67034. DOI: 10.1109/ ACCESS.2018.2879619.
17. Prasetio, B.H., Tamura, H., Tanno, K. Facial stress recognition based on signs of a multihistogram and convolutional neural network. IEEE Int. Conference on Systems, Man and Cybernetics (SMC), pp. 881-887. DOI: 10.1109/ SMC.2018.00157.
18. Zhang, H., Feng, L., Li, N, Jin, Z., Cao, L. Video-based stress detection using deep learning. Sensors, 2020. no. 20: 5552. DOI: 10.3390/s20195552
19. Barbadekar, A., Gaikwad, V., Patil, S., Chaudhari, T., Deshpande, S., Burad, S., Godbole, R. Engagement Index for Classroom Lecture using Computer Vision. In Proceedings of the 2019 Global Conference for Advancement in Technology (GCAT), Bangalore, India, 18-20 October 2019, pp. 1-5.
20. Canedo, D., Trifan, A., Neves, A.J.R. Monitoring Students' Attention in a Classroom through Computer Vision. In Highlights of Practical Applications of Agents, Multi-Agent Systems, and Complexity: The PAAMS Collection. PAAMS 2018. Communications in Computer and Information Science; Springer: Cham, Switzerland, 2018, vol. 887, pp. 371-378.
21. Li, W., Jiang, F., Shen, R. Sleep Gesture Detection in Classroom Monitor System. In Proceedings of the (ICASSP 2019) 2019 IEEE International Conference on Acoustics, Speech and Signal Processing, Brighton, UK, 12-17 May 2019; pp. 7640-7644.
22. Nezami, O.M., Dras, M., Hamey, L., Richards, D., Wan, S., Paris, C. Automatic Recognition of Student Engagement Using Deep Learning and Facial Expression. In Proceedings of the Joint European Conference on Machine Learning and Knowledge Discovery in Databases, Dublin, Ireland, 10-14 September 2018, pp. 273-289.
23. Raca, M., Tormey, R., Dillenbourg, P. Sleepers' lag—study on motion and attention. In Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK '14), Indianapolis, IN, USA, 24-28 March 2014, pp. 36-43.
24. Liao, W., Xu, W., Kong, S., Ahmad, F., Liu, W. A Two-stage Method for Hand-Raising Gesture Recognition in Classroom. In Proceedings of the 2019 8th International Conference on Educational and Information Technology (ICEIT2019), Cambridge, UK, 2-4 March 2019, pp. 38-44.
25. Lin, J., Jiang, F., Shen, R. Hand-Raising Gesture Detection in Real Classroom. In Proceedings of the 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, AB, Canada, 15-20 April 2018; pp. 6453-6457.
26. Boheim, R., Knogler, M., Kosel, C., Seidel, T. Exploring student hand-raising across two school subjects using mixed methods: An investigation of an everyday classroom behavior from a motivational perspective. Learning and Instruction, 2020, no. 65, 101250.
Информация об авторах Никитин Петр Владимирович
(Российская Федерация, Москва) Доцент, кандидат педагогических наук, доцент Департамента анализа данных и машинного обучения
Финансовый университет при Правительстве Российский Федерации E-mail: pvnikitin@fa.ru ORCID ID: 0000-0001-8866-5610 Scopus Author ID: 57193445599 ResearcherlD: J-1263-2014
Information about the authors Petr V. Nikitin
(Russian Federation, Moscow) Associate Professor, Cand. Sci. (Educ.), Associate Professor of the Department of Data Analysis and
Machine Learning Financial University under the Government of the Russian Federation E-mail: pvnikitin@fa.ru ORCID ID: 0000-0001-8866-5610 Scopus Author ID: 57193445599 Researcher ID: J-1263-2014
Горохова Римма Ивановна
(Российская Федерация, Москва) Доцент, кандидат педагогических наук, доцент Департамента анализа данных и машинного обучения
Финансовый университет при Правительстве Российский Федерации E-mail: rigorokhova@fa.ru ORCID ID: 0000-0001-7818-8013 Scopus Author ID: 57201383213 ResearcherID: AAC-1616-2020;
Абашин Валерий Геннадьевич
(Российская Федерация, Москва) Доцент, кандидат технических наук, доцент Департамента анализа данных и машинного обучения
Финансовый университет при Правительстве Российский Федерации E-mail: vgabashin@fa.ru ORCID ID: 0000-0002-1306-2396
Rimma I. Gorokhova
(Russian Federation, Moscow) Associate Professor, Cand. Sci. (Educ.), Associate Professor of the Department of Data Analysis and
Machine Learning Financial University under the Government of the Russian Federation E-mail: rigorokhova@fa.ru ORCID ID: 0000-0001-7818-8013 Scopus Author ID: 57201383213 Researcher ID: AAC-1616-2020;
Valery G. Abashin
(Russian Federation, Moscow) Associate Professor, Cand. Sci. (Tech.), Associate Professor, Department of Data Analysis and Machine Learning
Financial University under the Government of the Russian Federation E-mail: vgabashin@fa.ru ORCID ID: 0000-0002-1306-2396
