CC BY
11Автоматизация и моделирование в проектировании и управлении. 2023. № 1 (19). С. 51-62.
ISSN 2658-3488 print, ISSN 2658-6436 online Automation and modeling in design and management. 2023. № 1 (19). P. 51-62.
Управление в организационных системах
Научная статья
Статья в открытом доступе
УДК 004.89
DOI 10.30987/2658-6436-2023-1 -51 -62
ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ ПРИ ОКАЗАНИИ ПЕРСОНАЛИЗИРОВАННЫХ УСЛУГ С ПРИМЕНЕНИЕМ ЭМОЦИОНАЛЬНОГО ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Диана Радиковна Богданова , Виталий Александрович Котельников2, Аделина Рамилевна Юламанова
1 2 3 «-» „
, , Уфимский университет науки и технологий, г. Уфа, Россия
1 dianochka7bog@mail.ru, https://orcid.org/0000-0001-9887-2875
2 vit kot@mail.ru, https://orcid.org/0000-0002-0062-0328
3 adel551155@mail.ru
Аннотация. Описывается подход к персонализированному оказанию услуг, основанный на применении технологий аффективных вычислений. Предлагаемый подход состоит из учета эмоциональных состояний клиентов и их индивидуальных особенностей в процессе оказания услуг. Процесс оказания услуг дополняется этапами формализации эмоциональных состояний и эмоциональной поддержки клиента. В качестве предметной области исследования в работе рассматривается дистанционное образование. Приведено общее описание процесса дистанционного обучения. Делается вывод об отсутствии коррекции эмоционального состояния обучающихся во время занятия. Выявлена зависимость уровня знаний обучающихся от их эмоционального состояния. Приведен обзор существующих подходов к учету эмоциональных состояний обучающихся в процессе дистанционного обучения. Проанализирована специфика поведения обучающихся во время занятия. Также рассмотрены особенности академических эмоций. Поставлена задача повышения эффективности дистанционного обучения за счет учета эмоциональных состояний обучающихся и их индивидуальных особенностей и осуществления эмоциональной поддержки в процессе обучения. Предлагается подход к формализации эмоциональных состояний обучающихся на основе применения движений мышц лица в качестве универсального способа распознавания эмоций. Также подробно описываются стадии распознавания эмоций обучающихся во время занятия. Поставлена задача подбора эмоциональной поддержки на основе классификации обучающихся по эмоциональному состоянию и их индивидуальным особенностям с применением метода ближайшего соседа.
Ключевые слова: персонализированные услуги, аффективные вычисления, распознавание эмоций обучающихся, дистанционное обучение, распознавание мимики, классификация, метод ближайшего соседа Финансирование: работа выполнена при поддержке гранта РНФ №22-19-00471.
Для цитирования: Богданова Д.Р., Котельников В.А., Юламанова А.Р. Поддержка принятия решений при оказании персонализированных услуг с применением эмоционального искусственного интеллекта // Автоматизация и моделирование в проектировании и управлении. 2023. №1 (19). С. 51-62. doi: 10.30987/2658-64362023-1-51-62.
Original article Open Access Article
DECISION SUPPORT IN PROVIDING PERSONALIZED SERVICES USING EMOTIONAL ARTIFICIAL INTELLIGENCE
Diana R. Bogdanova1 H , Vitaly A. Kotelnikov2, Adelina R. Yulamanova3
1,2,3 Ufa University of Science and Technology, Ufa, Russia
1 dianochka7bog@mail.ru, https://orcid.org/0000-0001-9887-2875
2 vit kot@mail.ru, https://orcid.org/0000-0002-0062-0328
3 adel551155@mail.ru
© Богданова Д.Р., Котельников В.А., Юламанова А.Р., 2023
51
Abstract. An approach to personalized service rendering based on using affective computing technologies is described. The proposed approach consists of considering clients' emotional states and their individual characteristics in the process of providing services. Rendering services is supplemented by the formalization stages of the client's em o-tional state and emotional support. The paper considers online learning as the subject area of research. A general description of the online learning process is given. It is concluded that there is no correction of the learners' emotional state during the lesson. The dependence of the learners' knowledge level on their emotional state is revealed. A review of existing approaches to considering learners' emotional states in the process of online learning is given. Learners' specific behaviour during the lesson is analysed. The features of academic emotions are also considered. The objective is set to increase the online learning effectiveness by taking into account learners' emotional states and their individual characteristics and by providing emotional support in the learning process. An approach is proposed to formalise learners' emotional states based on using facial muscle movements as a universal way of recognizing emotions. The stages of recognizing learners' emotions during the lesson are also described in detail. The task is set to select emotional support based on the learners' classification according to their emotional state and their individual characteristics using the nearest neighbour method.
Keywords: personalized services, affective computing, learners' emotion recognition, online learning, facial expression recognition, classification, nearest neighbour method
Funding: The work was supported by the Russian Science Foundation grant No. 22-19-00471.
For citation: Bogdanova D.R., Kotelnikov V.A., Yulamanova A.R. Decision support in providing personalized services using emotional artificial intelligence. Automation and modeling in design and management, 2023, no. 1(19). pp. 51-62. doi: 10.30987/2658-6436-2023-1-51-62.
Введение
Персонализированное оказание услуг основывается на концепции индивидуального подхода к клиенту. Эта концепция базируется на учете индивидуальных особенностей и предпочтений клиента в процессе оказания ему услуг. Особенно важной концепция персонализированных услуг становится, когда речь идет о социально значимых сферах, таких как медицина и образование. При персонализации услуг важно учитывать индивидуальные особенности клиентов и их эмоциональные состояния. Эмоции людей не поддаются формализации традиционными методами, поэтому в данном случае можно использовать технологии эмоционального искусственного интеллекта, позволяющие распознавать, обрабатывать и интерпретировать человеческие эмоции. Под эмоциональным искусственным интеллектом в работе понимается область искусственного интеллекта, которая исследует и разрабатывает информационные системы, обладающие возможностью учитывать эмоции людей. Для распознавания и учета эмоционального состояния предлагается использовать технологию нейронных сетей и классификацию методом ближайшего соседа.
Дистанционное образование весьма актуально в последние годы. Оно неотъемлемо вошло в жизнь современного человека и сделало ее проще. Дистанционным видом обучения в настоящее время пользуются не только студенты и школьники, но и работники различных сфер, так как современная экономика диктует необходимость постоянного совершенствования своих знаний и навыков. Такой формат обучения позволяет получать знания удаленно с помощью различных технических средств и информационных систем. У дистанционного обучения есть множество достоинств, но при этом нельзя назвать его идеальным методом получения знаний, так как упускается такая важная деталь как эмоции обучающихся.
Одной из педагогических функций преподавателя является коррекция эмоционального состояния обучающихся. Данный аспект играет важную роль в процессе обучения, но при дистанционном формате он теряется. Таким образом, стоит задача повышения эффективности дистанционного обучения за счет его персонализации, адаптации к индивидуальным особенностям и эмоциональным состояниям обучающихся и организации эмоциональной поддержки обучающихся. Аффективные вычисления как междисциплинарная область исследований, охватывающая сферы информатики, психологии и когнитивных наук, дает мощный инструментарий для изучения и учета эмоциональных состояний пользователей в различных технических и информационных системах.
В работе предлагается подход к персонализации процесса дистанционного обучения, основанный на учете эмоциональных состояний обучающихся и их индивидуальных особенностей в процессе оказания услуг. Соответственно, процесс оказания услуг дополняется эта-
пами формализации эмоциональных состояний и эмоциональной поддержки. В первом разделе приведен обзор существующих исследований в области применения технологий аффективных вычислений в дистанционном образовании. Рассмотрена специфика задачи формализации и распознавания эмоций обучающихся. Во втором разделе приводится постановка задачи повышения эффективности дистанционного обучения за счет учета эмоциональных состояний обучающихся и их индивидуальных особенностей и осуществления эмоциональной поддержки в процессе обучения. В третьем разделе предлагается подход к формализации эмоциональных состояний обучающихся на основе применения движений мышц лица в качестве универсального способа распознавания эмоций. В четвёртом разделе рассматривается задача подбора эмоциональной поддержки на основе классификации обучающихся по эмоциональному состоянию и их индивидуальным особенностям с применением метода ближайшего соседа.
Степень разработанности темы исследования
Правильные эмоции придают обучающимся мотивации, повышают внимание и помогают облегчить запоминание материала. В [1] проводится натурный эксперимент с участием 167 обучающихся. Эксперимент показал, что обучающиеся, которые испытывают негативные эмоции или же не испытывают эмоций во время занятия, склонны к совершению действий, направленных на разрыв с учебным процессом. Обучающиеся могут опаздывать, разговаривать с соседом или отвлекаться на телефон. Цель - создать наиболее благоприятную к получению знаний атмосферу. Учитывая эмоциональное состояние, психотип и другие личностные особенности обучающегося, есть возможность сделать его обучение более результативным.
Существует множество исследований, направленных на выявление влияния эмоционального состояния на процесс обучения. В статье [2] анализируется вовлеченность обучающихся в процесс дистанционного обучения. Было реализовано интеллектуальное приложение, которое позволяет определять эмоции обучающихся во время занятия по видеозаписи и оценивать их уровень вовлеченности в процессе лекционного занятия. Данное приложение основано на методах компьютерного зрения, эмоции обучающихся распознаются с помощью сверточной нейронной сети.
В [3] реализован метод дистанционного обучения с подкреплением, который позволяет спрогнозировать эмоциональное состояние обучающихся в онлайн режиме. Данный метод использует физиологические сигналы, поскольку они достоверно отражают перемену эмоционального состояния обучающегося. Были проведены эксперименты с наборами искусственных и реальных данных. Результаты эксперимента наглядно показывают эффективность предложенного метода.
Распознавание эмоций необходимо для построения естественного взаимодействия между программой и пользователем. Однако эмоциональное состояние обучающегося можно распознавать не только по фото или видео. В исследовании [4] рассматривается распознавание эмоционального состояния обучающегося с помощью непрерывной речи. Авторами была предложена информационная система, которая определяет речевую активность обучающегося, сегментирует ее и обрабатывает, выделяя признаки для классификации эмоций и определяя частоты эмоций. Был проведен эксперимент, который показал эффективность разработанной системы со средней точностью 90 % с заранее записанным набором данных и 78,78 % с набором данных в реальном времени. Система позволяет сделать процесс обучения персонализированным.
В [5] рассматривается важность влияния эмоционального состояния обучающихся на учебный опыт при дистанционном обучении. Также изучается уровень связи между преподавателями и обучающимися. Отдельное внимание уделяется индивидуализации обучения за счет учета эмоционального состояния. Следует отметить, что обучающимся оказывается эмоциональная поддержка, необходимая при дистанционном обучении.
Дистанционное обучение лишает обучающихся возможности публично выражать свои эмоции, особенно невербально. В [6] исследуется использование социальных сигналов в качестве выражения эмоций обучающимися во время дистанционного обучения. В результате исследования было выявлено, что обучающиеся используют три определенных невербальных сигнала для демонстрации испытываемых эмоций.
Эмоциональное состояние напрямую влияет на уровень успеваемости и на отношения с другими обучающимися. Автор [7] делает акцент на важности эмоций при дистанционном обучении. В данной работе подробно описывается, какие потери несут обучающиеся при онлайн занятиях, которые не учитывают их эмоциональное состояние.
В работе [8] рассматривается возможность внедрения метода, позволяющего определить уровень понимания учебного материала во время дистанционного обучения. Данный метод основан на распознавании эмоций обучающихся и состоит из трех этапов. На первом этапе происходит выделение необходимых признаков, затем - разделение на подмножество признаков, а после классификация эмоций. Результаты, полученные в процессе экспериментов, доказывают, что предложенный метод эффективно работает при дистанционном обучении.
Автор [9] проводит исследование методов распознавания эмоций обучающихся при дистанционном обучении. Выявляются их преимущества и недостатки относительно проведения занятий в онлайн формате. По результатам исследования делается вывод, что наиболее подходящими являются методы считывания эмоций по мимике, жестам и сообщениям обучающихся.
В статье [ 10] авторы раскрывают важность влияния эмоций обучающихся и преподавателей на учебный процесс. В качестве технологии распознавания эмоций используются методы машинного обучения. Описываются разнообразные этапы распознавания лиц обучающихся. Также поднимается вопрос объединения различных методов распознавания эмоций обучающихся в образовательные подходы. Среди рассматриваемых методов есть локальные, глобальные и гибридные.
В [11] описывается система дистанционного обучения, основанная на распознавании эмоций обучающихся с помощью электроэнцефалографии. Данный способ регистрирует биоэлектрическую активность головного мозга и исследует его состояние. Разработанная система с высокой точностью распознает эмоции и анализирует их в онлайн формате.
В статье [12] проведено исследование, направленное на разработку модели аффективного дистанционного обучения. Данный инструмент используется для распознавания эмоционального состояния обучающегося в отношении уровня успеваемости. Была проведена работа по созданию опросника эмоций достижений, который подходит для использования в среде дистанционного обучения.
В работе [13] ведется рассуждение о проблеме отсутствия взаимодействия между преподавателем и обучающимся во время дистанционного обучения. В качестве решения данной проблемы предлагается разработанная модель распознавания эмоций при дистанционном обучении, в основе которой лежит сверточная нейронная сеть. Модель направлена на обеспечение обратной связи, которая могла бы помочь преподавателю вносить необходимые изменения в учебный процесс на основе данных об эмоциональном состоянии обучающихся.
В работе [14] проводится анализ сообщений обучающихся на форуме дистанционного обучения для выявления их эмоционального состояния. Было проанализировано более миллиона сообщений. При этом доля негативно окрашенных сообщений составила 6,35 %, а доля позитивных 27,02 %. Результаты анализа оказались малосодержательными, поскольку в большинстве случаев эмоции обучающихся были нейтральными. Это может быть связано со спецификой академических эмоций и тем, что данные для анализа были взяты с официального форума, где общепринято выражаться более официально. Используемый метод является широко распространённым и зарекомендовавшим себя в рассматриваемой области.
В [15] исследуется эмоциональное состояние при дистанционном обучении в классах с большим количеством обучающихся, а также обратная связь, получаемая преподавателем.
Проводится анализ различий между эмоциями, которые испытывает человек в обычной жизни и теми эмоциями, которые он испытывает во время обучения, так называемыми академическими эмоциями. С помощью глубокого обучения был собран набор данных с академическими эмоциями при дистанционном обучении.
В [16] рассматривается обязательность распознавания эмоций обучающихся во время дистанционных занятий. В статье подробно описываются возможные выражения лица и жесты обучающихся, с помощью которых проводят классификацию. В качестве инструментов используют компьютерное зрение и методы глубокого обучения.
В работе [17] рассматривается эффективность методики поведенческого вмешательства, позволяющей детям дошкольного возраста получать эмоциональное образование. Разработанное приложение по распознаванию эмоций и управлению гневом имеет непосредственное влияние на психическое здоровье пользователей. Мобильное приложение является игровым и при этом интерактивным, чтобы привлечь внимание ребенка. Было проведено тестирование на детях дошкольного возраста. Эксперимент показал, что 55 % детей могут вспомнить как минимум одну технику по управлению гневом. Распознавание и управление эмоциями являются важным шагом на пути к эффективному и здоровому взаимодействию с другими людьми.
В работе [18] исследуется создание онлайн-базы данных, содержащей различные эмоции обучающихся во время дистанционного обучения, при этом на фото присутствует окклюзия рук. Обучающиеся часто рефлекторно прикрывают лицо руками во время дистанционного обучения, что, естественно, пагубно влияет на уровень распознавания их эмоций. Собранная онлайн-база данных направлена на решение данной проблемы. База содержит изображения с четырьмя видами окклюзии рук и семью видами эмоций, которые может испытывать обучающийся во время обучения. Также в данной работе представлен метод автоматического распознавания эмоций обучающихся с помощью сетей регионального внимания (RAN). Данный метод показал точность 89 % на собранной тестовой выборке.
Окклюзия рук является не единственной проблемой при распознавании эмоций. В статье [19] также учитываются разнообразные позы головы и освещение при съемке. В данном случае также не хватает достаточно полного набора данных для обучения модели. Но автор предложил использовать концепцию метаобучения при помощи прототипных сетей. На практике данный метод показал хорошие результаты достигнув точности 90 % на базе данных изображений CMU Multi-PIE.
В [20] изучают взаимосвязь эмоционального состояния обучающихся и специфических оценок ожидаемой ценности. Проводились исследования на 95 обучающихся университета при дистанционном обучении в период одного семестра. Эксперимент показал прямую связь положительных эмоций с оценкой ценности ожидания.
Проанализировав труды по вопросам влияния эмоций на процесс обучения, можно сказать, что в этом направлении ведутся серьезные исследования. Но при более детальном рассмотрении становится очевидно, что у приведенных методов есть серьезные недостатки. На практике при большом количестве обучающихся реализовать и эффективно использовать многие из предложных подходов фактически невозможно. Многие из приведенных методов имеют довольно серьёзные ограничения. Рассмотренные подходы не учитывают личностные характеристики обучающихся. А также большинство исследователей не пытается повлиять на эмоциональное состояние обучающихся после выявления эмоций. Наиболее популярные методы распознавания эмоций с помощью мимики и жестов при дистанционном обучении сталкиваются с различными сложностями из-за специфики использования веб-камеры.
Постановка задачи исследования
Как известно, эмоции обучающегося могут повлиять на мотивацию, восприятие, внимание и усвоение информации. Это означает, что эмоции напрямую связаны с уровнем обучения. В этом случае важен индивидуальный подход к каждому обучающемуся, а также стоит учитывать зависимость эмоций от психотипа человека. Однако при дистанционном обу-
чении корректировать эмоциональное состояние обучающихся весьма сложно и трудоемко, поскольку при распознавании эмоций необходимо учитывать, что поведение обучающихся во время обучения имеет свою специфику. Обучающиеся зачастую неосознанно прикрывают лицо руками или же поворачивают голову под углом, не возможным для распознавания. Предугадать положение рук сложно из-за привычек движения обучающихся. Также не стоит забывать, что эмоции, которые испытывает человек в обычной жизни, отличаются от академических эмоций в процессе обучения. Академические эмоции выражаются не так ярко и открыто из-за существующих правил и норм поведения во время учебного занятия. Учебный процесс требует от обучающегося дисциплины и серьезности. Именно поэтому обучающимся приходится сдерживать свои эмоции.
Таким образом, стоит задача разработать подход к повышению эффективности процесса дистанционного обучения, который будет основан на учете эмоциональных состояний и индивидуальных особенностей обучающихся и на оказании эмоциональной поддержки в процессе обучения. На первом этапе проводится распознавание и формализация эмоционального состояния обучающихся. В рамках данного этапа определяется множество характеристик обучающегося, на основе которых будет определен вектор эмоционального состояния обучающегося во время дистанционного обучения Х(£) = {х1(р\х2(р'),...,хп(р')}. При этом п - количество распознаваний эмоционального состояния за одно занятие в течение времени
Формализацию эмоционального состояния можно представить как задачу распознавания образов:
Я = {А,Б,Р}, (1)
где: А = {Ак},к = 1,...,К - алфавит классов - множество возможных эмоциональных состояний обучающегося; 5 = = 1 ,...,к - словарь признаков - множество движений мышц лица; Р = {Р^Л = 1,... ,Ь - множество алгоритмов распознавания.
Задача второго этапа предлагаемого подхода - определить вид эмоциональной поддержки обучающегося на каждом временном интервале в течение занятия. Формальная постановка задачи повышения эффективности процесса дистанционного обучения представлена на рис. 1.
Рис. 1. Формальная постановка задачи повышения эффективности процесса дистанционного обучения Fig. 1. Formal problem statement of increasing the efficiency of the distance learning process
Первый шаг - распознавание эмоций обучающегося. В качестве исходных данных принимается эмоциональное состояние обучающегося. Выходными данными являются результаты распознавания. В качестве управляющей информации выступают данные лицевых шаблонов. Представлены следующие механизмы: обучающийся и программно-технические средства.
Второй шаг - формализация выявленных эмоций обучающегося. В качестве исходных данных принимаются результаты распознавания. Выходными данными являются формализованные эмоции обучающихся. Программно-технические средства выступают в роли механизмов.
Третий шаг - подбор эмоциональной поддержки. В качестве исходных данных принимаются формализованные эмоции обучающихся. Выходными данными является вид эмоциональной поддержки.
Подход к формализации эмоционального состояния обучающегося
При решении задачи используется пять базовых эмоций, которые испытывает обучающийся во время обучения. Это радость, интерес, страх, печаль и гнев. Люди выражают свои эмоции с помощью мимики, так как это универсальный способ их проявления. Под мимикой понимаются выразительные движения мышц лица (рис. 2).
Рис. 2. Лицевые движения Fig. 2. Facial movements
Этот способ является универсальным, поскольку мимика не зависит от социальной или расовой принадлежности. Она может быть как произвольной, так и непроизвольной. При решении задачи рассматривается второй случай, поскольку это рефлекторный процесс, который проявляется бессознательно. Поэтому в качестве метода выявления эмоций используется распознавание мимики человека по лицу. Стадии распознавания эмоций обучающихся представлены в табл. 1.
Таблица 1
Стадии распознавания эмоций обучающихся
Table 1
Stages of recognition of students' emotions
Номер стадии распознавания Описание проводимых действий
1 Распознавание присутствия лица обучающегося
2 Определение черт лица обучающегося
3 Наложение на лицо обучающегося предопределенных шаблонов
4 Анализ полученного изображения и выявление ключевых лицевых точек
Первые два этапа связаны с обнаружением лица на изображении. Третий этап необходим для последующего выявления ключевых лицевых точек. Данные точки являются модификацией системы кодирования лицевых движений (FACS) [21].
Этапы решения задачи распознавания представлены на рис. 3.
Рис. 3. Этапы решения задачи распознавания Fig. 3. Stages of solving the recognition problem
Этапы содержат три обязательных компонента — это алфавит классов, словарь признаков и алгоритмы распознавания. Для формирования этих компонентов на первом этапе проводится анализ задачи, а последним этапом является оценка эффективности распознавания.
Подбор эмоциональной поддержки при обучении
После формализации выявленных эмоций проводится классификация обучающихся по эмоциональному состоянию. Одной из главных особенностей данной задачи является корректировка эмоционального состояния обучающегося с помощью оказания ему эмоциональной поддержки. В качестве метода подбора эмоциональной поддержки используется метод ближайшего соседа. В [22] также рассматривается задача сегментации на основе интеллектуальных технологий.
При подборе эмоциональной поддержки первым шагом этого метода является определение степени схожести нового наблюдения с ретроспективными данными обучающихся. Вторым шагом идет отнесение нового наблюдения к классу с наибольшей степенью схожести. Степень схожести определяется следующим образом:
Задано b - количество классов и r - количество параметров, влияющих на выбор вида эмоциональной поддержки. К параметрам обучающегося относится эмоциональное состояние во время занятия и тип личности.
Значения параметров нового обучающегося при этом обозначаются следующим обра-
Z — fzi, ..., zr\.
(2)
Значения параметров классов получены с помощью ретроспективных данных обучающихся и обозначаются следующим образом:
где ц Е {1, 2,..., Ь\
Пусть V = [У1г Уг}~ степень сходства значений параметров. Приоритет того или иного параметра задаётся с помощью весов: ^
Степень принадлежности нового обучающегося к одному из классов проверяем по формуле:
Тип личности напрямую воздействует на эмоциональное состояние обучающихся. Психотип обучающегося может подсказать, как он будет себя вести в различных ситуациях и какие эмоции будет при этом испытывать. Базовым методом выявления психологического типа личности обучающегося является опросник Айзенка. По результатам данного опросника выделяется один из четырех типов личности: сангвиник, флегматик, холерик или меланхолик. Подробно решение поставленной задачи подбора эмоциональной поддержки авторы описывают в [23]. На этапе проектирования системы поддержки принятия решений (СППР) в соответствии с эмоциональным состоянием обучающегося и психотипом личности на основе экспертных оценок профессиональных педагогов психологов составляется матрица соответствия типов эмоциональной поддержки. На основе предложенной матрицы осуществляется автоматический подбор эмоциональной поддержки в зависимости от выявленного эмоционального состояния обучающегося и психотипа его личности.
Апробация предложенного подхода
Для оценки эффективности предложенного подхода разработана система поддержки принятия решений, интегрирующая электронно-образовательный ресурс для дистанционного обучения. Проведен натурный эксперимент в Юридическом колледже г. Уфы, показавший, что количество случаев, когда обучающиеся испытывали положительные эмоции, было больше на 20 % с использованием СППР. Уровень знаний студентов, использовавших разработанную систему поддержки принятия решений, после обучения был выше. Количество студентов, успешно сдавших тестирование, было на 12,5 % больше с использованием СППР.
Так же предложенная система применялась в ФГБОУ ВО «УГАТУ» в период пандемии и дистанционного обучения для поддержки обучения студентов с инвалидностью и ограниченными возможностями здоровья (ОВЗ). Результаты применения предложенного подхода при дистанционном обучении студентов с инвалидностью и ОВЗ были направлены на конкурс лучших практик работы со студентами с ОВЗ, проводимом Министерством науки и образования РФ. Разработанная система поддержки принятия решений стала победителем данного конкурса.
Заключение
Предлагается подход к персонализированному оказанию услуг, основанный на применении технологий аффективных вычислений. Он состоит из учета эмоциональных состояний клиентов и их индивидуальных особенностей в процессе оказания услуг. Процесс оказания услуг дополняется этапами формализации эмоциональных состояний и эмоциональной поддержки клиента. В качестве предметной области исследования в работе рассматривается дистанционное обучение. Дистанционное обучение является одним из основных способов получения знаний и имеет серьезный недостаток в виде отсутствия коррекции эмоционального состояния обучающихся. Благоприятная в эмоциональном плане атмосфера во время занятий облегчает запоминание материала, повышает мотивацию и внимание обучающихся. Анализ специфики поведения обучающихся во время дистанционного обучения показал, что эмоции, которые испытывает человек в обычной жизни, отличаются от академических эмоций в процессе обучения. В процессе распознавания эмоций также существует ряд проблем,
связанных с тем, что обучающиеся часто рефлекторно прикрывают лицо руками во время дистанционного обучения. Также в процессе распознавания необходимо учитывать разнообразные позы головы и освещение при съемке. Проведенный анализ существующих исследований в данной области показал необходимость разработки моделей и методов повышения эффективности процесса дистанционного обучения за счет формализации и корректировки эмоционального состояния обучающихся с учетом их индивидуальных особенностей.
Поставлена задача повышения эффективности дистанционного обучения, состоящая из двух этапов. На первом этапе проводится распознавание и формализация эмоционального состояния обучающихся во время занятия. Распознавание эмоций обучающихся происходит с помощью мимики, которая кодируется системой лицевых движений. На втором этапе проводится подбор эмоциональной поддержки с помощью классификации обучающихся по формализированным эмоциям и типу личности. В качестве метода классификации предлагается использовать метод ближайшего соседа. Проведен натурный эксперимент в Юридическом колледже г. Уфы, показавший, что количество случаев, когда обучающиеся испытывали положительные эмоции, было больше на 20 % с использованием СППР. Уровень знаний студентов, использовавших разработанную систему поддержки принятия решений, после обучения был выше. Количество студентов, успешно сдавших тестирование, было на 12,5 % больше с использованием СППР.
Список источников:
1. Пырьев Е.А. Эмоции в структуре мотивации учебно-профессиональной деятельности студентов вуза // Вестник Костромского государственного университета. Серия: Педагогика. Психология. Социокинетика. 2016. №1.
2. Mohammad Nehal Hasnine, Huyen T.T. Bui, Thuy Thi Thu Tran, Ho Tran Nguyen, Gokhan Akgapinar, Hiroshi Ueda, Students' emotion extraction and visualization for engagement detection in online learning, Procedia Computer Science. 2021. Vol. 192. P. 3423-3431.
3. Weifeng Liu, Lianbo Zhang, Dapeng Tao, Jun Cheng, Reinforcement online learning for emotion prediction by using physiological signals. Pattern Recognition Letters. 2018. Vol. 107. P. 123-130.
4. Ling Cen, Fei Wu, Zhu Liang Yu, Fengye Hu, Chapter 2 - A Real-Time Speech Emotion Recognition System and its Application in Online Learning, Edi-tor(s): Sharon Y. Tettegah, Martin Gartmeier, In Emotions and Technology, Emotions, Technology, Design, and Learning. Academic Press. 2016. P. 27-46.
5. Aimee L. Whiteside, Amy Garrett Dikkers, Chapter 11 - Leveraging the Social Presence Model: A Decade of Research on Emotion in Online and Blended Learning, Editor(s): Sharon Y. Tettegah, Michael P. McCreery, In Emotions and Technology, Emotions, Technology, and Learning, Academic Press. 2016. P. 225-241
6. Krystle Phirangee, Jim Hewitt, Chapter 4 -Loving this Dialogue: Expressing Emotion Through the Strategic Manipulation of Limited Non-Verbal Cues in Online Learning Environments, Editor(s): Sharon Y. Tettegah, Michael P. McCreery, In Emotions and Technology, Emotions, Technology, and Learning, Academic Press. 2016. P. 69-85.
7. Mathew Swerdloff, Chapter 8 - Online Learning, Multimedia, and Emotions, Editor(s): Sharon Y. Tettegah, Michael P. McCreery, In Emotions and Technology, Emotions, Technology, and Learning, Academic Press. 2016. P. 155-175.
References:
1. Pyriev E.A. Emotions in the Motivation Structure of Educational and Professional Activities of University Students. Vestnik of Kostroma State University. Series: Pedagogy. Psychology. Sociokinetics. 2016;1.
2. Hasnine M.N., Bui H.T.T., Tran T.T.T., Nguyen H.T., Akgapinar G., Ueda H. Students' Emotion Extraction and Visualization for Engagement Detection in Online Learning, Procedia Computer Science. 2021;192:3423-3431.
3. Liu W., Zhang L., Tao D., Cheng J. Reinforcement Online Learning for Emotion Prediction by Using Physiological Signals. Pattern Recognition Letters. 2018;107:123-130.
4. Cen L, Wu F, Yu ZhL, Hu F. A Real-Time Speech Emotion Recognition System and Its Application in Online Learning. In: Tettegah SY, Gartmeier M, editors. Emotions and Technology, Emotions, Technology, Design, and Learning. Academic Press; 2016. Chapter 2, p. 27-46.
5. Whiteside AL, Dikkers AG. Leveraging the Social Presence Model: A Decade of Research on Emotion in Online and Blended Learning. In: Tettegah ShY, McCreery MP, editors. Emotions and Technology, Emotions, Technology, and Learning. Academic Press; 2016. Chapter 11, p. 225-241.
6. Phirangee Kr, Hewitt J. Loving this Dialogue: Expressing Emotion through the Strategic Manipulation of Limited Non-Verbal Cues in Online Learning Environments. In: Tettegah ShY, McCreery MP, editors. Emotions and Technology, Emotions, Technology, and Learning. Academic Press; 2016. Chapter 4, p. 69-85.
7. Swerdloff M. Online Learning, Multimedia, and Emotions. In: Tettegah ShY, McCreery MP, editors. Emotions and Technology, Emotions, Technology, and Learning. Academic Press; 2016. Chap-ter 8, p. 155-175.
8. D. Yang, Abeer Alsadoon, P.W.C. Prasad,
A.K. Singh, A. Elchouemi, An Emotion Recognition Model Based on Facial Recognition in Virtual Learning Environment, Procedia Computer Science. 2018. Vol. 125. P. 2-10.
9. Maryam Imani, Gholam Ali Montazer, A survey of emotion recognition methods with emphasis on E-Learning environments, Journal of Network and Computer Applications. 2019. Vol. 147. 102423.
10. M. Bouhlal, K. Aarika, R. Ait Abdelouahid, S. Elfilali, E. Benlahmar, Emotions recognition as innovative tool for improving students' performance and learning approaches, Procedia Computer Science. Vol. 175.
2020. P. 597-602.
11. X. Song and Y. Song, "Research and Implementation of Online Learning System Based on Electroencephalogram Emotion Computing," 2020 5th International Conference on Mechanical, Control and Computer Engineering (ICMCCE). 2020. pp. 1663-1666.
12. T. C. Sandanayake and A. P. Madurapperuma, "Affective e-learning model for recognising learner emotions in online learning environment," 2013 International Conference on Advances in ICT for Emerging Regions (ICTer). 2013. pp. 266-271.
13. C. Ma, C. Sun, D. Song, X. Li and H. Xu, "A Deep Learning Approach for Online Learning Emotion Recognition," 2018 13th International Conference on Computer Science & Education. 2018. pp. 1-5.
14. X. Zhang, C. Luo, T. He, X. Yang, Z. Lu and
B. Huang, "Online learner emotional analysis based on big dataset of online learning forum," 2017 10th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). 2017. pp. 1-5.
15. J. Min Han Pang, T. Connie and G. Kah Ong Michael, "Recognition of Academic Emotions in Online Classes," 2021 9th International Conference on Information and Communication Technology (ICoICT).
2021. pp. 445-450.
16. A. Jain, H. R. Sah and A. Kothari, "Study for Emotion Recognition of Different Age Groups Students during Online Class," 2021 8th International Conference on Computing for Sustainable Global Development (INDIACom). 2021. pp. 621-625.
17. Iolie Nicolaidou, Federica Tozzi, Athos Antoniades, A gamified app on emotion recognition and anger management for pre-school children, International Journal of Child-Computer Interaction. Vol. 31. 2022. 100449.
18. Li Lyu, Ya Zhang, Meng-Ya Chi, Fei Yang, Shu-Gang Zhang, Peng Liu, Wei-Gang Lu, Spontaneous facial expression database of learners' academic emotions in online learning with hand occlusion, Computers & Electrical Engineering, Vol. 97. 2022. 107667.
19. Soumya Kuruvayil, Suja Palaniswamy, Emotion recognition from facial images with simultaneous occlusion, pose and illumination variations using meta-learning, Journal of King Saud University - Computer and Information Sciences. 2021.
20. Belinda Berweger, Sebastian Born, Julia Dietrich, Expectancy-value appraisals and achievement emotions in an online learning environment: Within- and between-person relationships, Learning and Instruction.
2022. Vol. 77. 101546.
8. Yang D., Alsadoon A., Prasad P.W.C., Singh
A.K., Elchouemi A. An Emotion Recognition Model Based on Facial Recognition in Virtual Learning Environment. Procedia Computer Science. 2018;125:2-10.
9. Imani M., Montazer Gh.A. A Survey of Emotion Recognition Methods with Emphasis on E-Learning Environments. Journal of Network and Computer Applications. 2019;147:102423.
10. Bouhlal M., Aarika K., Abdelouahid R.A., El-filali S., Benlahmar E. Emotions Recognition as Innovative Tool for Improving Students' Performance and Learning Approaches. Procedia Computer Science. 2020;175:597-602.
11. Song X, Song Y. Research and Implementation of Online Learning System Based on Electroencephalogram Emotion Computing. In: Proceedings of the 5th International Conference on Mechanical, Control and Computer Engineering (ICMCCE); 2020. p. 1663-1666.
12. Sandanayake TC, Madurapperuma AP. Affective E-Learning Model for Recognising Learner Emotions in Online Learning Environment. In: Proceedings of International Conference on Advances in ICT for Emerging Regions (ICTer); 2013. p. 266-271.
13. Ma C, Sun C, Song D, Li X, Xu H. A Deep Learning Approach for Online Learning Emotion Recognition. In: Proceedings of the 13 th International Conference on Computer Science & Education; 2018. p. 1-5.
14. Zhang X, Luo C, He T, Yang X, Lu Z, Huang
B. Online Learner Emotional Analysis Based on Big Dataset of Online Learning Forum. In: Proceedings of the 10th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI); 2017. p. 1-5.
15. Pang JMH, Connie T, Michael GKO. Recognition of Academic Emotions in Online Classes. In: Proceedings of the 9th International Conference on Information and Communication Technology (ICoICT); 2021. p. 445-450.
16. Jain A, Sah HR, Kothari A. Study for Emotion Recognition of Different Age Groups Students during Online Class. In: Proceedings of the 8th International Conference on Computing for Sustainable Global Development (INDIACom); 2021. p. 621-625.
17. Nicolaidou I., Tozzi F., Antoniades A. A Gami-fied App on Emotion Recognition and Anger Management for Pre-School Children. International Journal of Child-Computer Interaction. 2022;31: 100449.
18. Lyu L., Zhang Y., Chi M-Y., Yang F., Zhang Sh-G., Liu P., Lu W.-G. Spontaneous Facial Expression Database of Learners' Academic Emotions in Online Learning with Hand Occlusion. Computers & Electrical Engineering. 2022;97:107667.
19. Kuruvayil S., Palaniswamy S. Emotion Recognition from Facial Images with Simultaneous Occlusion, Pose and Illumination Variations Using Meta-Learning. Journal of King Saud University - Computer and Information Sciences. 2021.
20. Berweger B., Born S., Dietrich J. Expectancy-Value Appraisals and Achievement Emotions in an Online Learning Environment: Within- and between-Person Relationships, Learning and Instruction. 2022;77:101546.
21. Экман П., Фризен В. В. Система кодирования лицевых движений: метод измерения движений лица. // Консультации психологов Пресс, Пало-Альто. Калифорния. 1978.
22. Якупова А. В., Сметанина О. Н., Сазонова Е. Ю. Программное решение задачи сегментирования на основе интеллектуальных технологий // Вестник УГАТУ. 2021. Т. 25. № 3(93). С.132-144.
23. Iulamanova A., Bogdanova D., Kotelnikov V. Decision Support in the Automated Compilation of Individual Training Module Based on the Emotional State of Students // IFAC-PapersOnLine series. 2021. Vol. 54. Issue 13. P. 85-90.
Информация об авторах:
Богданова Диана Радиковна
кандидат технических наук, доцент кафедры вычислительной математики и кибернетики (ВМиК) Уфимского университета науки и технологий (УУ-НиТ), ORCID 0000-0001-9887-2875, Research- ID-Web of Science ABD-4816-2020., Author-ID-РИНЦ 182812
Котельников Виталий Александрович
кандидат технических наук, доцент кафедры вычислительной математики и кибернетики (ВМиК) Уфимского университета науки и технологий (УУ-НиТ), ORCID 0000-0002-0062-0328, Author-ID-РИНЦ 942512
Юламанова Аделина Рамилевна
магистрант кафедры вычислительной математики и кибернетики (ВМиК) Уфимского университета науки и технологий (УУНиТ)
21. Ekman P., Friesen V.V. Facial Action Coding System: a Technique for the Measuring of Facial Movements. Palo Alto (Cal): Consultations of Psychologists Press; 1978.
22. Yakupova A.V., Smetanina O.N., Sazono-va E.Yu. Software Solution of Segmentation Problem Based on Intelligent Technologies. Vestnik of Ufa State Aviation Technical University. 2021;25(3-93):132-144.
23. Iulamanova A., Bogdanova D., Kotelnikov V. Decision Support in the Auto-mated Compilation of Individual Training Module Based on the Emotional State of Students. IFAC-PapersOnLine Series. 2021;54(13):85-90.
Information about authors:
Bogdanova Diana Radikovna
сandidate of Technical Sciences, Associate Professor of Department "Computational Mathematics and Cybernetics" of Ufa University of Science and Technology, ORCID: 0000-0001-9887-2875, Research-ID-Web of Science: ABD-4816-2020, Author-ID-RSCI: 182812
Kotelnikov Vitaly Alexandrovich
сandidate of Technical Sciences, Associate Professor of the Department "Computational Mathematics and Cybernetics" of Ufa University of Science and Technology, ORCID: 0000-0002-0062-0328, Author-ID-RSCI 942512
Yulamanova Adelina Ramilevna
master student of the Department "Computational Mathematics and Cybernetics" of Ufa University of Science and Technology.
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации.
Contribution of the authors: the authors contributed equally to this article.
Авторы заявляют об отсутствии конфликта интересов.
The authors declare no conflicts of interests.
Статья поступила в редакцию 11.03.2022; одобрена после рецензирования 31.03.2022; принята к публикации 07.04.2022.
The article was submitted 11.03.2022; approved after reviewing 31.03.2022; accepted for publication 07.04.2022.
Рецензент - Подвесовский А.Г., кандидат технических наук, доцент, Брянский государственный технический университет.
Reviewer - Podvesovskij A.G., Candidate of Technical Sciences, Associate Professor, Bryansk State Technical University.
