CC BY
0
УДК 004.3.049.77
DOI: 10.24412/2071-6168-2023-12-447-448
СУЩЕСТВУЮЩИЕ ПОДХОДЫ ОЦЕНКИ ВОВЛЕЧЕННОСТИ ПРИ ДИСТАНЦИОННОЙ СИСТЕМЕ ОБУЧЕНИЯ
С.И. Тимаков
В статье рассмотрены существующие подходы для определения вовлеченности пользователя в процесс обучения. Рассмотрены методы, лежащие в основе подходов идентификации вовлеченности, такие как ручные, полуавтоматические и автоматические. Произведен сравнительный анализ существующих систем, основанных на рассмотренных методах, определена их механика, выявлены достоинства и недостатки. Также определена проблема и предложен способ ее решения. Дальнейшие работы будут проводиться с целью решения выделенной проблемы.
Ключевые слова: вовлеченность в процесс обучения, искусственный интеллект, компьютерное зрение, методы идентификации вовлеченности.
Актуальность и проблематика. Развитие технологий компьютерного зрения, искусственного интеллекта и машинного обучения позволяет автоматизировать и упростить процессы в различных сферах деятельности. Масштабная пандемия, вызванная инфекцией СОУГО-19, мотивировала активное внедрение и использование цифровых технологий при организации дистанционной формы обучении по всему миру. Несмотря на техническую готовность к внедрению подобных форм обучения в учебных учреждениях, система образования сталкивается с проблемой готовности учителей и обучающихся к такому виду проведения занятий. Одним из основных проявлений данной проблемы выступает феномен вовлеченности студента в учебную деятельность. Данная проблема возникает из-за невозможности применения или низкой эффективности применения методики классического общения между учи-телем-обучающимся для определения уровня вовлеченности обучающимися. Такое ограничение ставит перед исследователями актуальную задачу, требующую оперативного решения. Низкая вовлеченность обучающихся пагубно влияет на качество усвоения преподаваемого материла, что в дальнейшем приводит к снижению уровня образованности и увеличению процента отчислений из техникумов/ВУЗов. [1]
Типы оценки вовлеченности. Для мониторинга вовлеченности и корректировки ее уровня, существуют специальные подходы, основанные на различных методах. Такие подходы можно разделить на три основные категории, по принципу зависимости от стратегии и типа вовлеченности пользователей в процесс: автоматические, полуавтоматические и ручные.
Описание подходов. Ручной подход разделяется на два типа проведения: самоотчет и контрольный список вопросов. Тип проведения «самоотчет» представляет большой интерес для многих исследователей вовлеченности, так как данный процесс прост в реализации, хоть и не является самым эффективным. Механика такого подхода состоит в заполнении самими обучающимися специальных анкет, в которых акцент на идентификацию вовлеченности может быть не ярко выражен, завуалирован. Недостатком такого подхода является физическое участие обучающегося в процессе идентификации его уровня вовлеченности, что может отвлекать непосредственно от процесса обучения. Также достоверность получаемых результатов зависит напрямую от желания студента отвечать искренне, на что исследователь не может повлиять. Тип проведения «контрольный список вопросов» подразумевает отсутствие физического взаимодействия с обучающимися и реализуется посредством внешнего наблюдения за ними. Наблюдатель анализирует как поведение обучающихся, так и их результаты труда. Недостатки такого метода заключаются в том, что показатели наблюдений не всегда могут быть связаны с вовлеченностью. Еще одним серьезным ограничением как для самоотчета, так и для контрольного списка вопросов является то, что они требуют много времени и усилий как от обучающихся, так и от наблюдателей при выявлении их вовлеченности.
Подход из категории полуавтоматических не является распространённым в онлайн-обучении, но он широко используется в интеллектуальных системах обучения (ИТС). Механика его работы заключается анализе исследователем времени и точности ответов обучающихся на практические задачи и тестовые вопросы. Для оценки времени и точности используется вероятностный вывод, который остается согласованным с вовлеченным или отстраненным обучающимся, где очень короткое время ответа на простые вопросы указывает на то, что обучающиеся не вовлечены в процесс и просто дают случайные ответы без каких-либо усилий.
Подход из категории автоматических считается перспективным и постоянно развиваются. Механика заключается в автоматическом анализе получаемой информации из различных источников, которые в свою очередь делятся на лог-файлы, внешние и внутренние источники. К внешним источникам относится получение визуальной информации, с фотографий и видео, используя технические средства, такие как камера. К внутренним источникам относятся специальные датчики, возможная, получаемая с них информация: ЭКГ, давление, ритм пульса и т.д. Источником лог-файлов является специальное ПО в виде платформ для дистанционного обучения, так как по умолчанию они записывают все действия пользователя, осуществляемые на ней, которые в дальнейшем анализируются. Методы автоматического подхода самостоятельно извлекают необходимые характеристики и не мешают обучающемуся в процессе идентификации уровня вовлеченности. [2]
Важность определения вовлеченности. В связи с тем, что дистанционное образование не позволяет преподавателю в полной мере получать четкое понимание о заинтересованности студентов за счет отсутствия зрительного контакта с каждым из обучающихся, то необходимо, чтобы это было возможным определять на техническом уровне. Соответственно, комплекс программ, используемый при обучении студентов, должен иметь интегрированный автоматизированный механизм идентификации вовлеченности, отвечающий множеству критериев для получения достоверной картины заинтересованности. Так как условия, при которых выполняется анализ вовлеченности, не могут быть идеальными, то есть высокий риск потери необходимых данных, что приведет к низкой эффективности анализа. Идеальными условиями для проведения вычислений является положение объекта непосредственно перед камерой, где ничего не закрывает обзор его лица и тела. Однако, человеческий фактор и недостатки техники могут мешать при распознавании. Критериями для успешной оценки вовлеченности являются:
447
- низкая ограниченность по количеству человек, воспринимаемых системой с одного объектива;
- независимость распознавания от расы;
- наличие механизма работы с обучающимися имеющими инвалидность;
- беспрепятственное предоставление обзора к лицу и положению тела обучающегося;
- обеспечение достаточного освещения;
- ведения учета типов проводимых мероприятий на занятиях;
- обеспечение корректной ориентации камеры. [3]
Существующие технологии распознавания объектов позволяют фиксировать в рамках видимости одного объектива то количество лиц, которое физически может захватить угол обзора с учетом их корректного расположения относительно друг друга. Независимость от расы реализована в системах идентификации лиц за счет наличия наборов данных, содержащих фотографии и видео внешнего вида людей различных рас, что позволяет получить большое количество параметров, характеризующих индивидуальные внешние признаки людей определенных групп, для обучения нейронных сетей. Третий критерий по ограничению инвалидности является задачей для специальных комплексов и образовательных учреждений, имеющих на это уклон, что не включается в обязательное требование систем общеобразовательных учреждений, поэтому этим ограничением можно пренебречь. Последние четыре критерия являются актуальными так как не являются полностью решеными до сих пор, о чем упоминается в источнике [3].
Существующие системы. Автоматизация процессов в обучении, в том числе идентификации вовлеченности, осуществляется за счет разработки специальных комплексов, платформ и программного обеспечения к ним. Такие системы используют различные подходы и их методы для взаимодействия с пользователями. Для определения этих методов был проведен поиск популярных систем. Согласно информации, полученной из источников [4-8], можно выделить следующие платформы на российском рынке, которые используются в образовательном процессе:
- Moodle и подобные LMS системы;
- система онлайн прокторинга «Экзамус»;
- образовательная платформа IBASE А1;
- облачный сервис Финансового университета.
Все вышеуказанные системы используются для управления обучением, однако они имею разные механизмы взаимодействия с обучаемыми. В связи с этим их можно разделить на использующие и не использующие компьютерное зрение. Так как системы, не имеющие в комплексе технологию компьютерного зрения, не могут автоматически распознавать вовлеченность студентов, то в дальнейшей работе они рассматриваться не будут. Оставшиеся системы из списка осуществляют определение вовлеченности пользователя, используя технологию компьютерного зрения.
Система прокторинга «Экзамус» — это система контроля за ходом дистанционного испытания, которая отвечает жестким критериям, указанным выше. «Экзамус» не только определяет вовлеченность человека, система прокторинга анализирует поведение пользователя с помощью данных с веб-камеры, рабочего стола, микрофона, что способствует идентификации нарушений при проведение важных мероприятий, таких как: ГИА, ГОСы и прочие экзамены. Подходы, используемые в данной системе, делятся на режимы использования: автоматический, асинхронный и синхронный.
Асинхронный режим использует искусственный интеллект в автоматическом режиме для отслеживания запрещенных действий: отсутствие в кадре студента; второй человек в кадре; разговоры во время экзамена; использование наушников и телефонов; подключение второго монитора. В процессе тестирования ведется видеозапись с веб-камеры студента и рабочего стола его компьютера. Пост-проверку видео осуществляет человек-проктор, который либо подтверждает нарушение правил, либо признаёт экзамен сданным честно и без подсказок. Такой метод является комбинированием ручного и автоматического подходов, что улучшает эффективность идентификации вовлеченности.
Синхронный режим прокторинга обычно используется на письменных экзаменах. Такой режим так же является коллаборацией автоматического и ручного подходов. В связке с ИИ в режиме реального времени за пользователем наблюдает специально обученный человек - проктор. Он проводит идентификацию личности, контролирует соблюдение всех процедур и может комментировать действия, экзаменуемого в специальном чате.
Автоматический режим работы обеспечивает полное исключение участие человека, осуществляющего прокторинг. Достоинствами такого режима является: наименее затратный вид прокторинга - он практически не требует вовлечения человеческих ресурсов, за исключением техподдержки. Минусами такого подхода является: в одиночку ИИ способен видеть лишь часть запрещенных действий и может ошибочно идентифицировать некоторые эпизоды. [5]
Однако, эта система не является полноценной платформой для обучения, с помощью нее возможно только проведение экзаменационных мероприятий.
Следующей системой для рассмотрения является образовательная платформа IBASE А1. Система использует обнаружение положения тела, распознавание лиц и идентификацию поведения для отслеживания девяти различных типов поведения, таких как активное слушание, и шести эмоций, таких как счастье, гнев или страх.
Платформа использует анализ изображений ИИ для мониторинга и анализа поведения, а также успеваемости учащихся в классе. Анализ направлен на предоставление учителям и руководителям данных в режиме реального времени об уровне вовлеченности обучающихся. Платформа классифицирует их по спектру проявляемых эмоций — от антипатии до радости и вовлеченности. Он запрограммирован на запись различных действий и ситуаций, таких как письмо, чтение, поднятие рук и даже засыпание. Это не только помогает преподавателям выявлять невнимательных студентов, но и дает учителям сигнал изменить свой стиль преподавания, чтобы получить более положительный результат. [6,7]
Образовательная платформа отвечает некоторым вышеуказанным критериям, за исключением: обеспечения беспрепятственного обзора к лицу и положению тела обучающегося. Также весомым недостатком данной платформы является ее локальное применение. Данная система не подразумевает дистанционное обучение. IBASE А1 состоит из системного блока и набора камер, которые устанавливаются внутри учебного заведения непосредственно в аудиториях.
Следующей системой, подлежащей рассмотрению, стала созданная в Финансовом университете система обработки видеопотоков с установленных в учебных аудиториях камер. Она позволяет визуализировать агрегированные данные и средствами машинного обучения измерять уровень вовлеченности студентов в учебный процесс. Данная система также, как и предыдущая имеет локальное применение в университете. Идентификация вовлеченности осуществляется с учетом указанных выше важных критериев, однако технологическая особенность программы не позволяет выполнять все критерии. Выполнение таких критериев, как: беспрепятственное предоставление обзора к лицу и положению тела обучающегося и ведение учета типов проводимых мероприятий на занятиях - не выполняются. А также особенность данной системы заключается в использовании фотографий и личных номеров обучающихся, взятых для идентификации из базы данных университета. [8]
Все вышеуказанные ограничения, выявленные в найденных системах, за исключением локальности использования комплекса, что является скорее спецификой разработанного комплекса, снижают идентификации вовлеченности в процесс обучения.
Сводная таблица характеристик существующих разработок. В таблице представлена сводная информация по рассмотренным выше критериям и платформам.
Системы идентификации вовлеченности
Критерии Название системы №1 Название системы №2 Название системы №3
система онлайн прокторинга «Экзамус» [5] образовательная платформа ¡БАЗЕ А1 [6, 7] облачный сервис Финансового университета [8]
низкая ограниченность по количеству человек воспринимаемых системой с одного объектива - персональное использование, исключая много пользовательскую идентификацию в кадре - возможность оповещения о присутствии лишних людей в кадре - отслеживание присутствия и отсутствия объекта в кадре - использование в аудитории - идентификация вовлеченности большого количества людей одновременно - использование в аудитории - идентификация вовлеченности большого количества людей одновременно
независимость распознавания от расы - системы не имеют привязанность к расе обучающихся и беспрепятственно осуществляют идентификацию мимики лица различных этнических групп
беспрепятственное предоставление обзора к лицу и положению обучающегося - оповещение в случае ошибки идентификации, связанной с ограниченным обзором идентификационных частей объекта - разбор ошибки наблюдателя в индивидуальном порядке - пропуск объекта анализа в случае невозможности его идентификации - пропуск объекта анализа в случае невозможности его идентификации
обеспечение достаточного освещения - освещение обеспечивается самостоятельно - оповещение и отказ работы системы при недостаточном освещении - качество освещенности гарантируется стационарной установкой системы в аудитории - качество освещенности гарантируется стационарной установкой системы в аудитории
ведения учета типов проводимых мероприятий на занятиях - строгий учет проводимых занятий - не имеет учета типов занятий - не имеет учета типов занятий
обеспечение корректной ориентации камеры - контроль расположения объекта в кадре - установка камер с расчётом площади помещения - максимальный обзор аудитории - не гарантирует распознавание всех обучающихся - установка камер с расчётом площади помещения - максимальный обзор аудитории - не гарантирует распознавание всех обучающихся
замечания - система предназначена исключительно для проведения тестирования - узкая направленность системы обеспечивает четкую работу в малом спектре функций - платформа не предназначена для проведения дистанционного обучения. - система является стационарной, локально установленной в аудитории и не предусматривает использование оборудования для дистанционного обучения - система является локальной и используется только в университете - сервисы распознавания эмоций используют фотографии и идентификаторы обучающихся из кампусной базы данных.
Проанализировав полученную информацию, можно сделать вывод, что большинство распространённых на отечественном ранке систем являются для использования внутри образовательных учреждений, подразумевая очное посещение, либо имеют очень узкий функционал для дистанционного использования. Так же в рассмотрение не вошли платформы онлайн образования такие как Moodle и т.д., в связи с тем, что они не имеют возможности определения вовлеченности обучающихся по средствам компьютерного зрения.
Выводы по проделанной работе. Проанализировав методы определения вовлеченности, используемые в современных платформах дистанционного обучения, можно сформировать полученные ограничения по существующим подходам. Наиболее точные результаты получаются в процессе объединения работы по идентификации вовлеченности людьми и ИИ, однако такие процессы являются более ресурсозатратными. Менее точными, но более быстрыми являются полностью автоматические подходы. В связи с тем, что все стремится к автоматизации, то автоматические подходы являются перспективными и для развития их необходимо решать текущие проблемы. Среди таких проблем можно выделить: проблемы идентификации при закрытии лица посторонними объектами; проблемы иден-
тификации при плохом освещении; проблемы идентификации в неоднозначных ситуациях, когда действие пользователя не соответствует текущему заданию; проблемы идентификации при неверной ориентация камеры. Из полученных ограничений выбрана проблема идентификации вовлеченности при несоответствии действий пользователя заданию, так как данное ограничение снижает процент распознавания. Ситуации, которые невозможно однозначно идентифицировать, удаляются из набора для идентификации, тем самым теряется часть необходимой информации, в том числе для обучения нейронной сети. Чтобы устранить это ограничение, тем самым увеличить точность распознавания, в дальнейшем мои исследования будут посвящены данной проблеме.
Уровень развития систем идентификации вовлеченности в процесс обучения на отечественном рынке возможно оценить на примере системы, разработанной сотрудниками Финансового университета при Правительстве РФ система определения вовлеченности проходит пилотную эксплуатацию в двух его учебных корпусах. В результате работы системы идентификации вовлеченности, были получены следующие метрики качества: доля правильных ответов (Accuracy) оказалась равна 84,8%, точность (Presision) — 0,825, полнота (Recall) — 81,5%, F-мера (F1 Score) — 82,0%, площадь под ROC-кривой (AUC) — 91,2% [8]. Благодаря разработке метода автоматического подхода, расширяющего возможность использования различных наборов параметров идентификации, предполагается уменьшить вероятность ошибок определения вовлеченности обучающихся в спорных ситуациях, тем самым увеличить долю верных распознаваний.
Список литературы
1. Артищева Л.В., Устин П.Н., Попов Л.М., Алишев Т.Б. Нейросетевая оценка динамики вовлеченности студентов в образовательный процесс в условиях дистанционного обучения // Психология. Историко-критические обзоры и современные исследования. 2022. Т. 11. No 2А. С. 103-112. DOI: 10.34670/AR.2022.47.96.008
2. Dewan, M.A.A., Murshed, M. & Lin, F. Engagement detection in online learning: a review. Smart Learn. Environ. 6, 1 (2019). D0I:10.1186/s40561-018-0080-z
3. Mohammad Nehal Hasnine, Huyen T.T. Bui, Thuy Thi Thu Tran, Ho Tran Nguyen, Gokhan Akfapinar, Hiro-shi Ueda, Students' emotion extraction and visualization for engagement detection in online learning, Procedia Computer Science, Volume 192, 2021. P. 3423-3431. DOI: 10.1016/j.procs.2021.09.115.
4. Сравнение систем электронного обучения / Software. [Электронный ресурс] URL: https://soware.ru/categories/e-learning-systems (дата обращения: 15.10.2023).
5. Система онлайн прокторинга «Экзамус» // Examus. [Электронный ресурс] URL: https://ru.examus.net (дата обращения: 17.10.2023).
6. Erica Stevens. Ed Tech Personalizes Student Engagement // Insight.tech. [Электронный ресурс] URL: https://www.insight.tech/education/ed-tech-personalizes-student-engagement (дата обращения: 20.10.2023).
7. Комплексное решение на основе искусственного интеллекта для глубокого обучения и периферийных вычислений, разработанное для сферы образовательных услуг - AIER1000 // ProSoft. [Электронный ресурс] URL: https://www.prosoft.ru/products/vstraivaemye-i-magistralno-modulnye-sistemy/vstraivaemye-kompyutery/platforma-s-iskusstvennym-intellektom-dlya-sistemy-obrazovaniya (дата обращения: 20.10.2023).
8. В. Соловьев, Д. Куклина, А. Славгородский, И. Пухов, М. Титко. Мониторинг вовлеченности студентов в учебный процесс / OSP. [Электронный ресурс] URL: https://www.osp.ru/os/2018/2/13054177 (дата обращения: 20.10.2023).
Тимаков Сергей Игоревич, аспирант, [email protected], Россия, Тула, Тульский государственный университет
EXISTING APPROACHES FOR ASSESSING ENGAGEMENT IN DISTANCE LEARNING SYSTEM
S.I. Timakov
The article discusses existing approaches for determining user involvement in the learning process. The methods underlying engagement identification approaches, such as manual, semi-automatic and automatic, are reviewed. A comparative analysis of existing systems based on the considered methods was carried out, their mechanics were determined, and advantages and disadvantages were identified. The problem is also identified and a method to solve it is proposed. Further work will be carried out to solve the identified problem.
Key words: involvement in the learning process, artificial intelligence, computer vision, methods for identifying involvement.
Timakov Sergey Igorevich, postgraduate, [email protected], Russia, Tula, Tula State University
