CC BY
24к р s rA в г " шш
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ INFORMATION SYSTEM AND TECHNOLOGIES
УДК 37.018.43 DOI: 10.18413/2518-1092-2020-5-4-0-7
Исмагилова А.Ф. Дудина Д.С. Алейников С.А.
РАЗРАБОТКА СРЕДСТВ ОЦЕНКИ УРОВНЯ УДОВЛЕТВОРЕННОСТИ СТУДЕНТОВ ПРОЦЕССОМ ДИСТАНЦИОННОГО ОБУЧЕНИЯ ПОСРЕДСТВОМ ВИДЕОКОНФЕРЕНЦСВЯЗИ_
Федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский национальный исследовательский университет информационных технологий,
механики и оптики», Кронверкский пр., д. 49, г. Санкт-Петербург, 197101, Россия
e-mail: is.adel.far@yandex.ru, darinadudina@gmail.ru, aleynikov.sergey.a@gmail.com Аннотация
В настоящее время все большее распространение находят автоматизированные средства для распознавания эмоций. Подобные сервисы нашли себе применение в различных организациях: в судах, медицине, учебных учреждениях и так далее. Наша задача заключается в разработке программного средства оценки психоэмоционального состояния студентов и преподавателей на основе видеоданных занятия, записанных с видеоконференцсвязи. На сегодняшний день уже существуют программно-аппаратные средства для распознавания эмоций, такие как FaceReader [4], eMotion Software [5], Affectiva Affdex [6] и так далее. Однако данные средства не позволяют выполнять анализ эмоционального состояния большого количества студентов с использованием видеоконференцсвязи, а также не подразумевают в себе составление дальнейшей индивидуальной рекомендательной системы.
В данной статье введено понятие удовлетворенности студентов, которая определяется процессом дистанционного обучения посредством видеоконференцсвязи, обоснована актуальность разработки программного средства оценки уровня удовлетворенности студентов. Рассмотрены существующие методы и средства оценивания психоэмоционального состояния обучающихся на основе текстовых, аудио- и видеоданных занятий с целью улучшения качества дистанционного обучения.
Ключевые слова: программное средство; видеоконференцсвязь; дистанционное обучение; удовлетворенность; психоэмоциональное состояние.
UDC 37.018.43
Ismagilova A.F. Dudina D.S. Aleynikov S.A.
DEVELOPMENT OF MEANS FOR ASSESSING THE LEVEL OF STUDENT SATISFACTION WITH THE DISTANCE LEARNING PROCESS THROUGH VIDEO CONFERENCING
Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, 49 Kronverkskiy prospekt, St. Petersburg, 197101, Russia
e-mail: is.adel.far@yandex.ru, darinadudina@gmail.ru, aleynikov.sergey.a@gmail.com
Abstract
Nowadays automated tools for emotion recognition are becoming more and more widespread. Such services have found their application in various organizations: in courts, medicine, educational institutions and so on. Our task is to develop a software tool to assess the psychoemotional state of students and teachers on the basis of video data of a class recorded from video conferencing. To date, there already exist software and hardware tools for emotion recognition, such as FaceReader[4], eMotion Software[5], Affectiva Affdex[6] and so on. However, these tools do not allow the analysis of the emotional state of a large number of
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
students using videoconferencing, nor do they imply the compilation of a further individualized recommendation system.
This article introduces the concept of student satisfaction, which is determined by the process of distance learning through videoconferencing, justifies the relevance of developing a software tool to assess the level of student satisfaction. The existing methods and tools for assessing the psycho-emotional state of students based on text, audio and video data from classes in order to improve the quality of distance learning are considered.
Keywords: software tool; video conferencing; distance learning; satisfaction; psycho-emotional state.
ВВЕДЕНИЕ
Формирование системы оценки качества образования является важнейшим элементом в управлении образовательным процессом. С переходом на дистанционной формат обучения возникла необходимость в использовании новых методов оценки качества удовлетворенности студентов образовательным процессом.
Программное обеспечение для оценивания уровня удовлетворенности студентов процессом дистанционного обучения через онлайн-платформы (например, Zoom) позволит повысить качество образовательного процесса в дистанционном формате путём разработки оценочно-рекомендательной системы регулирования работы преподавателя.
Целью исследования является учет условия работы преподавателя и иных факторов, оказывающих наибольшее влияние на эффективность управления образовательным процессом в дистанционном формате. Для оценки данных факторов использован программный модуль распознавания психофизиологического и эмоционального состояний обучающихся и преподавателя на основе текстовых, аудио- и видеофайлов занятия, проводимых посредством видеоконференцсвязи; программный модуль интеллектуальной обработки полученных данных; анализ влияния внешних факторов на состояние обучающихся.
Проведенный на их основе анализ качества дистанционного обучения позволит разработать программное средство оценки уровня удовлетворенности студентов процессом дистанционного обучения и составить индивидуальные рекомендации преподавателю по повышению качества учебного процесса.
ФОРМАТЫ ОБУЧЕНИЯ В УЧЕБНЫХ ЗАВЕДЕНИЯХ
В настоящее время мир переживает период пандемии короновирусной инфекции, в результате чего все учебные заведения начали переходить на дистанционное обучение. В связи с этим возникла острая необходимость в повышении качества образовательного процесса в онлайн формате.
Основным отличием дистанционного и очного обучения является то, что в занятиях с группами в аудитории преподаватель передает все необходимые знания напрямую через общение, а при онлайн подключении студентам необходимо изучать большую часть информации самостоятельно с использованием сети Интернет. Таким образом, при дистанционном обучении обучающиеся получают способность к самообразованию и мотивацию к изучению новой информации, поскольку преподаватель выполняет лишь роль координатора [1].
К достоинствам онлайн-обучения можно отнести возможность проводить и посещать занятия при любом местонахождении, в результате чего студентам и преподавателям нет необходимости тратить время на дорогу до своего учебного заведения и не стоит бояться заражения вирусом.
Однако к недостаткам можно отнести то, что контакт между студентами и преподавателями становится минимальным или же может отсутствовать вовсе. Следовательно, возникает острая необходимость в нахождении способа и методов улучшения качества дистанционного образования путем улучшения взаимосвязи между преподавателем и обучающимися [2].
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
ПОНЯТИЕ УРОВНЯ УДОВЛЕТВОРЕННОСТИ СТУДЕНТОВ
Прежде чем начать разработку программного средства по оценке уровня удовлетворенности студентов, необходимо выполнить анализ окружения и определить какие составляющие он в себе содержит.
Определим компоненты и выполним сбор статистических данных на основе анкетирования: студентам предлагается оценить удовлетворенность обучением по заданным метрикам по 5 балльной шкале. В опросе участвовали 10 студентов бакалавриата, в качестве метрик использовалось качество преподавания, время и место проведение занятия и погодные условия. Полученные результаты введем в Таблицу 1.
Таблица 1
Оценка степени удовлетворенности студентов
Table 1
Assessment of the degree of student satisfaction
Метрика % опрошенных, давших оценку Степень
5 4 3 2 1 0 удовлетворенности
Качество преподавания 0,5 0,3 0,1 0,05 0,05 0 4,15
Время проведения занятия 0,3 0,4 0,15 0,1 0,05 0 3,8
Комфортное местоположение 0,3 0,25 0,25 0,1 0,1 0 3,55
Погода 0,25 0,2 0,3 0,25 0 0 3,45
Разработаем коэффициент «удовлетворенности студентов» и запишем его в виде формулы:
где Kv„cт - коэффициент компонента «удовлетворенности студентов»;
УД-ст
п - Количество опрошенных студентов; 1 - Номер опрошенного студента; У; - Процент опрошенных студентов; К. - Оценка по 5 б шкале.
По данным с опроса студентов, результаты которого были введены в Таблицу 1, были рассчитаны значения коэффициента компонента «удовлетворенности студентов». По результатам можно определить, что динамика компоненты непостоянна и ее значения меняются в связи с условиями внешних факторов и имеют сильную зависимость от качества преподавания и образования в целом.
ПОНЯТИЕ КАЧЕСТВЕННОГО ОБРАЗОВАНИЯ
Под качественным образованием подразумевают организацию взаимодействия преподавателя и студентов, которая отражает степень соответствия учебного процесса нормативным требованиям и удовлетворяющая личностным и общественным запросам [3].
Основные его понятия характеризуют достижение поставленных целей, имея определенный уровень квалификации: способность работать с информацией, степень овладения знаниями в предметной области, мотивация самообразования.
Разработаем коэффициент «качественного образования» и запишем его в виде формулы:
где Ккач о6 - коэффициент «качественного образования»;
- среднее количество недовольных студентов в группе; К[Т - количество студентов в группе; К- - количество студентов в потоке;
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
К- - максимально
возможное количество недовольных студентов в группе (определяется эмпирическим путем).
Благодаря коэффициентам «удовлетворенности студентов» и «качественного образования» можно проводить анализ качества дистанционного обучения позволит разработать средство оценки уровня удовлетворенности студентов процессом дистанционного обучения и составить индивидуальные рекомендации преподавателю по повышению качества учебного процесса.
АНАЛИЗ СУЩЕСТВУЮЩИХ АНАЛОГОВ
В настоящее время все большее распространение находят автоматизированные средства для распознавания эмоций. Подобные сервисы нашли себе применение в различных организациях: в судах, медицине, учебных учреждениях и так далее. Наша задача заключается в разработке программного средства оценки психоэмоционального состояния студентов и преподавателей на основе видеоданных занятия, записанных с платформы Zoom.
На сегодняшний день уже существуют программно-аппаратные средства для распознавания эмоций, такие как FaceReader [4], eMotion Software [5], Affectiva Affdex [6], NuraLogix [7], Emovu [8] и так далее. Рассмотрим каждый из аналогов поподробнее.
• FaceReader [4] занимается созданием модели лица по контрольным точкам на основе обученных нейронных сетей (рис.1). Сервис способен определять 7 базовых эмоций и нейтральное состояние, а также возраст, пол и этническую принадлежность. FaceReader может распознавать эмоции с точностью до 80% при условии, что считывать лица придется последовательно и среди участников не будет детей до 5 лет.
Рис. 1. Интерфейс сервиса FaceReader Fig. 1. FaceReader service interface
• eMotion Software [5] позволяет определить шесть базовых эмоций (гнев, печаль, страх, удивление, отвращение и счастье) и создавать 3D модели лица с помощью выявлений 12 ключевых областей.
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
Рис. 2. Интерфейс системы eMotion Software Fig. 2. eMotion Software system interface
• Affectiva Affdex [6] отслеживает эмоции на базе мобильного приложения и позволяет обрабатывать полученные данные непосредственно в самом смартфоне. Данный комплекс содержит в себе базу данных, которая состоит из более 5 млн изображений лиц, что позволяет определять 7 базовых эмоций. Распознавание выполняется за счет записи изображения лица (рис. 3), вейвлет-преобразования и сравнения с образами на основе SIFT-дескрипторов.
Рис. 3. Результат работы комплекса Affectiva Affdex Fig. 3. The result of the Affectiva Affdex complex
• NuraLogix [7], который способен распознавать скрытые эмоции на основе цвета подкожного узора кровеносных сосудов лица (изменению цвета пикселя). Для того, чтобы заметить изменения кровотока, ученые использовали трансдермальные оптические изображения (TOI), а алгоритм измеряет концентрацию гемоглобина, который входит в состав крови (рис. 4).
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
Рис. 4. Результат работы NuraLogix Fig. 4. The result of the work of NuraLogix
• Бшоуи [8], занимается определением заинтересованностью контентом в видеопотоке с использованием глубоких нейронных сетей и методов компьютерного зрения. Данный сервис позволяет выполнять анализ большого набора признаков (моргания, айтрекинг, наклоны головы и так далее), благодаря чему выполняется считывание эмоциональной вовлеченности человека контентом.
©
Рис. 5. Принцип работы Emovu Fig. 5. The result of the work of Emovu
Однако данные средства не позволяют выполнять анализ эмоционального состояния большого количества пользователей с использованием средств видеоконференцсвязи, а также не подразумевают в себе составление дальнейшей индивидуальной рекомендательной системы. Таким образом, предлагаемая разработка позволит повысить качество дистанционного обучения в университетах путем создания оценочно-рекомендательной системы регулирования работы преподавателя на основе многомодальных данных занятия, проводимого в режиме видеоконференцсвязи.
ПРЕДЛАГАЕМЫЕ МЕТОДЫ РЕАЛИЗАЦИИ СРЕДСТВА ОЦЕНКИ УРОВНЯ УДОВЛЕТВОРЕННОСТИ СТУДЕНТОВ ПРОЦЕССОМ ДИСТАНЦИОННОГО ОБУЧЕНИЯ
Процесс анализа аудиопотока включается в себя анализ интенсивности и скорости речи, частоты основного тона, голосовой гармонизации. Основными методами для определения психоэмоционального состояния диктора являются методы цифровой фильтрации и вейвлет-анализ шумовых сигналов [9] с использованием нейросетевой классификации.
Архитектуры сверточных нейронных сетей, системы OpenPose [10] и Агисо [11] позволят распознать психоэмоциональное состояние на основе видеоданных. В основе лежит алгоритм детектирования людей на полученном изображении, оценку положения во времени человеческого тела в пространстве, которая позволяет обнаружить ключевые точки тела (в основном лица) и записать их координаты во времени, а также локализацию людей в системе координат внутри помещения.
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством Р |—/ I | | | видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5,
и ,. ч I Л „ : И „ I . I I №4, 2020
Для анализа психофизиологического и эмоционального состояний на основе текстовых сообщений целесообразно использовать рекуррентные нейронные сети [12]. Содержащиеся в них языковые модели позволяют получить векторное представление слов, благодаря которым облегчается процесс обучение и записи оценки эмоциональной тональности текста.
Для оценки влияния факторов внешней среды проводится анализ геолокации, погодных условий и расписания обучающихся.
Распишем процесс разработки средств оценивания уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи более подробно.
Данные, полученные с видео-, аудиопотока и текстовых сообщений с чата, сохраняются в текстовом формате для дальнейшего анализа. С записанной информации выполняется более точное определение психоэмоционального и эмоционального состояния человека на основе рекомендаций психологов. Далее осуществляется изучение влияния факторов внешней среды на студентов и преподавателя, исходя от которых разрабатывается методика учета индивидуальных условий обучения. Имея все необходимые данные, разрабатывается индивидуальная оценочно-рекомендательная система для преподавателя, благодаря которой планируется повысить качество образовательного процесса в дистанционном формате.
На рисунке 6 представлена часть работы программного обеспечения по определению психоэмоционального и эмоционального состояния по видеоданным.
Рис. 6. Определение эмоционального состояния по видеоданным Fig. 6. Determining Emotional State from Video Data
ЗАКЛЮЧЕНИЕ
В результате выполненной работы будут разработаны алгоритмы и программное обеспечение для распознавания психофизиологического и эмоционального состояния на основе аудио-, видеопотока и текстовых сообщений чата проводимого занятия в системе видеоконференцсвязи. На основе полученных данных будет выполняться интеллектуальный анализ качества дистанционного обучения с учетом влияния факторов внешней среды на пользователя и составление индивидуальных рекомендаций по повышению уровня удовлетворенности студентов.
Список литературы
1. Маслова М.А., Лагуткина Т.В. Анализ и выявление положительных и отрицательных сторон внедрения дистанционного обучения // Научный результат. Информационные технологии. - Т.5, №2, 2020. http://rrinformation.ru/media/information/2020/2/%D0%98%D0%A2_8.pdf
2. Chris Panagiotakopoulos, Antonis Lionarakis, Michalis Xeno: Open and Distance Learning: Tools of Information and Communication Technologies for Effective Learning (2003).
3. Станкевич Е.Ю. К вопросу оценки качества образования // Гуманитарные научные исследования - 2013. - №1. [Электрон. ресурс] URL: http://human.snauka.ru/2013/01/2215 (дата обращения: 16.11.2020)
4. M.J. den Uyl, H. van Kuilenburg. The FaceReader: Online Facial Expression Recognition (2005).
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
5. Shunji Mitsuyoshi. Emotion recognizing method, sensibility creating method, device, and software
(2008).
6. Daniel McDuff, Abdelrahman Mahmoud, Mohammad Mavadati, May Amr, Jay Turcot, Rana El Kaliouby. AFFDEX SDK: A Cross-Platform Real-Time Multi-Face Expression Recognition Toolkit. CHI EA '16: Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems, pp.3723-3726(2016)
7. Kang Lee,Evgueni Kabakov, Phil Levy. System and method for camera-based heart rate tracking
(2018)
8. Toon De Pessemier, Damien Verlee and Luc Martens. Enhancing Recommender Systems for TV by Face Recognition. In Proceedings of the 12th International Conference on Web Information Systems and Technologies (WEBIST 2016, vol. 2, pp. 243-250 (2016)
9. Белов Ю.С., Нифонтов СВ., Азаренко К.А. ПРИМЕНЕНИЕ ВЕЙВЛЕТ-ФИЛЬТРАЦИИ ДЛЯ ШУМОПОДАВЛЕНИЯ В РЕЧЕВЫХ СИГНАЛАХ // Фундаментальные исследования. - 2017. - № 4-1. -С. 29-33. [Электрон. ресурс] - URL: http://www.fundamental-research.ru/ru/artide/view?id=41430 (дата обращения: 16.11.2020).
10. Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, Yaser Sheikh. OpenPose: Realtime MultiPerson 2D Pose Estimation using Part Affinity Fields.Computer Vision and Pattern Recognition (2018).
11. Rodrigo S. Xavier; Bruno M. F. da Silva; Luiz M. G. Goncalves. Accuracy Analysis of Augmented Reality Markers for Visual Mapping and Localization. 2017 Workshop of Computer Vision (WVC) - 2017. DOI: 10.1109/WVC.2017.00020
12. Бендерская Е.Н., Никитин К.В. Рекуррентная нейронная сеть как динамическая система и подходы к ее обучению // Научно-технические ведомости СПбГПУ - 2013. - №4. - с.29-40.
References
1. Maslova M.A., Lagutkina T.V. Analysis and identification of positive and negative aspects of the introduction of distance learning // Reserch result. Information technologies. - Т.5, №2, 2020. http://rrinformation.ru/media/information/2020/2/%D0%98%D0%A2_8.pdf
2. Chris Panagiotakopoulos, Antonis Lionarakis, Michalis Xeno: Open and Distance Learning: Tools of Information and Communication Technologies for Effective Learning (2003).
3. Stankevich E.Y. To the question of assessing the quality of education // Humanitarian scientific research - 2013. - №1. Available at: http://human.snauka.ru/2013/01/2215 (Accessed: 16.11.2020)
4. M.J. den Uyl, H. van Kuilenburg. The FaceReader: Online Facial Expression Recognition (2005).
5. Shunji Mitsuyoshi. Emotion recognizing method, sensibility creating method, device, and software
(2008).
6. Daniel McDuff, Abdelrahman Mahmoud, Mohammad Mavadati, May Amr, Jay Turcot, Rana El Kaliouby. AFFDEX SDK: A Cross-Platform Real-Time Multi-Face Expression Recognition Toolkit. CHI EA '16: Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems, pp. 37233726 (2016).
7. Kang Lee,Evgueni Kabakov, Phil Levy. System and method for camera-based heart rate tracking
(2018)
8. Toon De Pessemier, Damien Verlee and Luc Martens. Enhancing Recommender Systems for TV by Face Recognition. In Proceedings of the 12th International Conference on Web Information Systems and Technologies (WEBIST 2016, vol. 2, pp. 243-250 (2016)
9. Belov Y.S., Nifontov S.V., Azarenko K.A. Applying Wavelength-Filtering for Noise Reduction in Speech Signals // Fundamental Research. - 2017. - № 4-1. - pp. 29-33. Available at: http://www.fundamental-research.ru/ru/article/view?id=41430 (Accessed: 16.11.2020).
10. Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, Yaser Sheikh. OpenPose: Realtime MultiPerson 2D Pose Estimation using Part Affinity Fields.Computer Vision and Pattern Recognition (2018).
11. Rodrigo S. Xavier; Bruno M. F. da Silva; Luiz M. G. Goncalves. Accuracy Analysis of Augmented Reality Markers for Visual Mapping and Localization. 2017 Workshop of Computer Vision (WVC) - 2017. DOI: 10.1109/WVC.2017.00020
12. Benderskaya E.N., Nikitin K.V. Recurrent neural network as a dynamic system and approaches to its training // Scientific and Technical Bulletin of SPbSPU - 2013. - №4. - pp.29-40.
Исмагилова А.Ф., Дудина Д.С., Алейников С.А. Разработка средств оценки уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи // Научный результат. Информационные технологии. - Т.5, №4,2020
Исмагилова Аделина Фаритовна, студент Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики
Дудина Дарина Сергеевна, студент Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики
Алейников Сергей Андреевич, аспирант Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики
Ismagilova Adelina Faritovna, student of Saint Petersburg National Research University of Information Technologies, Mechanics and Optics
Dudina Darina Sergeevna, student of Saint Petersburg National Research University of Information Technologies, Mechanics and Optics
Aleynikov Sergey Andreevich, post-graduate student of Saint Petersburg National Research University of Information Technologies, Mechanics and Optics
