CC BY
41
УДК 004.932.2
Н. Н. Бич, Б. А. Ассанович
Гродненский государственный университет имени Янки Купалы
АДАПТИВНЫЙ ПОДХОД ОЦЕНИВАНИЯ ЗНАНИЙ УЧАЩИХСЯ НА ОСНОВЕ ИНДЕКСА ИХ ПОЛОЖИТЕЛЬНЫХ ЭМОЦИЙ
Разрабатан автоматизированный программный комплекс, основанный на инновационном программно-аппаратном обеспечении (объектно-ориентированном языке программирования С#, системе управления базами данных MySQL, открытой библиотеке компьютерного зрения Open-Face), по обработке признаков выразительности лица, для диагностики эмоциональных психических состояний студентов во время проведения тестовых теоретических испытаний с целью решения проблемы оптимизации учебного процесса. В результате проведенного исследования описана детальная характеристика принципа оценки эмоционального состояния студентов на основе индекса их положительных эмоций и схемы принципов работы компьютерной системы.
Ключевые слова: мимика, двигательные единицы, компьютерное зрение, показатель психической готовности, адаптивное тестирование.
N. N. Bich, B. A. Assanovich
Yanka Kupala State University of Grodno
IMPLEMENTATION OF RECOGNITION AND ESTIMATION OF PARAMETERS BIOMEDICAL IMAGES THE CELLULAR LEVEL
An automated software application to process the face expressiveness for diagnostics of the emotional mental states of students during the examination tests in order to optimize the educational process has been studied. The introduction reveals the problem relevance of recognizing the person's expressiveness, sets goals and objectives for achieving them. The main part of paper contains an overview of the methods to solve the tasks, based on the innovative hardware and software (object-oriented programming language С#, database management system MySQL, open source computer vision library OpenFace); a description of the object and the subject of study. As a result of research performed, the detailed characteristics of the emotional students' state evaluation principle based on the index of their positive emotion with necessary diagrams and description of its application is described. The estimation of accuracy and completeness of the received research is carried out.
Key words: facial expressions, motor units, computer vision, mental readiness index, adaptive testing.
Введение. Лицо - это важный показатель не только человеческой внешности, но и его внутреннего психологического состояния. Поэтому научно-информационная база о лице методически пополняется новыми данными благодаря регулярным исследованиям специалистов разных областей науки [1].
Научные сведения о лице можно разбить на два типа.
Первый тип содержит информацию анатомо-физиологического (о форме, строении, очертаниях, структуре лица), а второй - клинического характера (признаки заболеваний, касающихся элементов и органов лица, а также внутренних систем человеческого организма) [1].
Фундаментальные телословные особенности оказывают непосредственное влияние на организацию лица человека, но участие психических факторов в этом процессе тоже не стоит исключать.
Подвергаясь некоторым воздействиям окружающего мира, человек, сам того не желая, испытывает изменения в эмоциональном состоянии. В этот момент все свои чувства и ощуще-
ния он может спроецировать на лицо, тем самым продемонстрировать особенности пластичности лицевых мышц [1], другими словами - мимику.
Мимика (физиономия) - это второй тип в направлении исследования лица.
Физиономия является одним из основных индикаторов человеческого настроения и одной из самых сложных сигнальных систем, доступных научному изучению. Психическое состояние программирует выражение лица, невербально сигнализируя приближение некоторого внутреннего состояния человека как эустресса, так и глубокой депрессии. Поэтому важно своевременно предугадать наступление такого напряженного душевного состояния, как паника, страх, шок, чтобы помочь избежать нежелаемых последствий.
На сегодняшний день для многих ученых (криминалистов, психологов, педагогов), врачей (психиатров, нейрохирургов, гинекологов и др.) вопросы, связанные с анализом неосознанных мимических реакций, весьма актуальны. Оценка и дефиниция психического самочувствия человека в данный момент времени без явного
участия специалиста, который бессознательно может оказывать давление на объект анализа, возможна благодаря созданию математических моделей сложных процессов и систем, а также совершенствованию методов в области искусственного интеллекта. В современных образовательных системах существует достаточное множество моделей как адаптивного контроля знаний, так и создания тестов для учащихся [2]. Однако использование адаптационной информационной системы распознавания уровня положительных эмоций учащихся при выполнении заданий с обратной связью для организации оценивания знаний единично.
Целью данной публикации является разработка автоматизированной интеллектуальной системы оценки состояния уверенности в успехе учащегося на основе распознавания положительных эмоций в возникающей мимике его лица и наращивания при выполнении учебного задания сложности адаптивных тестов системы оценки знаний.
Для достижения поставленной цели необходимо было выполнить следующие задачи: разработать таблицу комбинаций двигательных единиц (Аи) как отдельных эмоций; создать блок-схему программы; написать программный код для детектирования области лица человека и определения его выразительности; определить на основе распознанных эмоций уровень уверенности испытуемого на основе индекса уровня положительных эмоций; провести оценку функциональности алгоритма написанной программы.
Разработанный программный комплекс можно аккомодировать в любой области науки и техники, в частности в образовательном процессе, с целью предоставления учащимся информационной среды, которая в процессе обучения автоматически адаптируется к их личным возможностям, способностям и предпочтениям, предварительным знаниям, навыкам и компетенциям.
Основная часть. Участники исследования -студенты, выполняющие экзаменационные задания в виде тестов. Тесты состоят из трех тем. Каждая тема включает четырнадцать вариантов. Все варианты содержат по десять заданий. Задания для каждой темы делятся по мере сложности на четыре группы. Первая группа вопросов рассчитана на оценки «десять»-«девять», вторая -«восемь»-«семь», третья «шесть»-«пять», четвертая - «четыре». Задания студент выполняет по порядку. Время на выполнение одного задания ограничено, составляет семь минут. Для того чтобы перейти к следующему вопросу и ознакомиться с его содержанием, дополнительно выделяется минута [3].
Тестирование проводится за персональным компьютером, является интерактивно адаптивным [4] и представляет собой альтернативу существующим устному и письменному экзаменам по таким дисциплинам, которые служат компонентом учебного высшего образования (УВО), например информатика. Стратегия проведения такого испытания заключается в проверке и адекватной оценке реальных знаний и умений обучаемого по пройденному материалу на основании организации опросного процесса касательно степени подготовленности учащегося в период учебы.
Экзамен даже в такой демократичной форме, как тестирование, - это в любом случае волнение для испытуемого. Есть категория студентов, которые проходят тестирование без особых трудностей, прибывая в положительном психическом состоянии на протяжении всего экзамена, чувствуя при этом радость, удовольствие. Такие студенты чаще всего отдают предпочтения заданиям посложнее. Встречаются учащиеся, приступающие к экзамену в отрицательном эмоциональном состоянии. На лице у них отражена тревога, грусть. Эти негативные переживания блокируют умственно активную деятельность участника теста, не давая приступить к выполнению заданий [5].
Поэтому актуальным является разработка программной технологии, позволяющей выбрать задания на основании анализа мимики студента в процессе его тестирования. Положительные эмоции на лице учащегося сигнализируют о том, чтобы система сделала выбор в сторону усложнения вопросов, чтобы студент в дальнейшем не терял заинтересованности, настойчивости, сосредоточенности. Отрицательные выражения лица подталкивают систему дать задания попроще, тем самым помочь восстановить состояние психической готовности учащегося, сориентировать его в направлении «получается - хочу продолжить -могу продолжать».
Для осуществления описанного выше испытания разработан аппаратно-программный комплекс, включающий в себя две web-камеры, установленные на персональный компьютер студента, выполняющие в процессе тестирования видеонаблюдение за движением на его лице мимических мышц; программное приложение, написанное на языке С#; систему управления базами данных MySQL для тестовых заданий и подсказок; библиотеку OpenFace. Входными сигналами являются видеопотоки, поступающие на web-камеры, а затем обрабатывающиеся в программе с помощью библиотеки OpenFace [6].
OpenFace - открытая библиотека компьютерного зрения для распознавания ориентиров лиц. Заложенный в ней инструментарий позволяет определить положение головы, найти двигательные единицы (Action Union (AU)), установить направление взгляда. Алгоритмы OpenFace способны анализировать фотоизображения и видеопотоки [7], основываясь на обнаружении шестидесяти восьми лицевых точек и распознавании подмножества двигательных единиц.
Для определения эмоционального состояния человека используются приемы исследования мимической мускулатуры, представляющие собой множество двигательных единиц, выраженные системой кодирования лицевых действий (FACS). FACS - это всецело стандартизованная система классификации выражений лица для экспертных человеческих кодеров на основе анатомических особенностей [7]. В системе FACS конкретная двигательная единица (AU) зашифровывает определенное анатомическое выражение лица.
OpenFace определяет большинство двигательных единиц, указанных в табл. 1.
Таблица 1
Список распознаваемых двигательных единиц
Аи Расшифровка
01 Приподнята внутренняя часть брови
02 Приподнята внешняя часть брови
03 Опущена бровь
04 Приподнято верхнее веко
05 Приподнята внутренняя часть брови
06 Приподнята щека
07 Сужены веки
08 Сморщивание носа
09 Поднятие верхней губы
10 Поднятие уголка губы
12 Ямочка на щеке
14 Опущен уголок губы
15 Приподнят подбородок
17 Сморщивание носа
20 Опущены губы
23 Натянуты губы
25 Губы разведены
26 Опущена челюсть
28 Втягивание губ
45 Моргание
В качестве объекта исследования выбран цифровой снимок образца семенного канальца. Существуют два показателя, использующиеся для описания двигательной единицы. Оба параметра присутствуют в библиотеке ОрепРасе. Первый параметр - это наличие либо неналичие Аи во входном информационном видеопотоке,
то есть присутствие или отсутствие соответствующего на лице мимического действия. «Отсутствие» кодируется нулем, «наличие» - единицей. Если первый параметр равен единице, то имеет место второй показатель - это интенсивность присутствия Аи, измеряемая по пятибалльной шкале от единицы (зафиксировано наличие мимической единицы с минимальной интенсивностью) до пяти (регистрация максимальной интенсивности лицевого действия).
Двигательные единицы, описанные в табл. 1, показывают подвижность лица, отображающую мимику. Большинство совокупностей мимических движений репродуцируют проявление эмоций. При детектировании эмоциональных выражений используется набор определенных двигательных единиц, равнозначных соответствующей эмоциональной информации. Например, счастье представлено комбинациями Аи06 (поднятие щеки) и АШ2 (поднятие уголка губы). В табл. 2 приведен полный список этих сочетаний и отвечающих им эмоций [8].
Таблица 2
Эмоциональная система кодирования
Эмоция Двигательные единицы
Счастье 06 + 12
Печаль 01 + 04 + 15
Удивление 01 + 02 + 05 + 26
Гнев 04 + 05 + 07 + 23
Отвращение 09 + 15 + 16
Для регистрации эмоции, зафиксированной программой, введем в рассмотрение такую характеристику, как показатель психической готовности, описывающий уровень положительной настроенности учащегося в момент прохождения тестирования.
Все время проведения испытания сопровождается умственной сосредоточенностью. Напряженное эмоциональное состояние во время тестирования вызывает параллельно у студента определенные психические переживания, которые несут в себе как элементы стрессового характера (тревожность, панику, фрустрацию), «в тех случаях, когда забывается что-то хорошо известное, а отложить воспроизведение нельзя, или не понимается смысл предлагаемой ему задачи и делаются большие усилия, чтобы осознать суть проблемы», так и положительные чувства (радость, триумф, ощущение победы), когда студент готов к борьбе за правильный ответ, уверен в себе и своих знаниях [9].
Для учета вышеперечисленных эмоциональных переживаний служит индикатор Smile-Index, разработанный программный инструмент
в рамках данной статьи, отвечающий временному интервалу, в течение которого учащийся «улыбается» - испытывает положительные эмоции.
Вычисляется Smile-Index по следующей формуле:
SmileIndex = (Happy + Neutral /2) Total, (1)
где Happy - период времени, в течение которого было обнаружено счастье; Neutral - период времени, в течение которого было обнаружено нейтральное состояние; Total - интервал времени, за которое измеряются значения уровня эмоций.
Чтобы эффективно управлять психическим состоянием, необходимо не только измерять, но и оценивать значения Smile-Index. Для оценки Smile-Index рекомендуется использовать таблицу пороговых значений эмоционального настроения (табл. 3).
В результате поставленных целей спроектирован программно-аналитический комплекс, генерирующий тестовые задания с адаптацией к уровню знаний тестируемого. Описание разработанного приложения приведено ниже.
Главное окно программы состоит из двух рабочих зон. Левая зона содержит изображения со всех добавленных пользователем видеокамер. На изображении можно наблюдать количество кадров в секунду и точечное детерминирование лица. Правая зона используется для
детального анализа изображения с видеокамеры. Она позволяет видеть не только кадры в секунду и уверенность обнаружения, но и найденные опорные точки, значение каждой из пяти эмоций и график изменения индекса качества обслуживания. Также существует возможность поставить на паузу видеопоток, перемотать изображение на несколько кадров.
При запуске программа ожидает от пользователя выбора видеокамеры. После чего создается новый поток и объявляются объекты классов ОрепБасе для распознавания лиц, опорных точек и двигательных единиц. Поверх изображения накладываются показатели кадров в секунду и уверенность в распознавании.
При выборе пользователем камеры для детального анализа в правой зоне приложения отображается изображение с видеокамеры, а поверх него опорные точки.
Пользователь может запустить анализ эмоций для всех выбранных видеокамер. Все данные мимики и уровня психической напряженности станут записываться в память. После остановки анализа эмоционального выражения формируется .С8У файл (рис. 1), который содержит время начала и окончания анализа, название камер, значение уровня удовлетворенности, среднее значение эмоций, величину выборки и долю времени, в течение которого происходила подача видеопотока.
Таблица 3
Таблица пороговых значений эмоционального настроения
Счастье Радость (надежда на успех) Озабоченность Тревожность Паника
1,00 0,75 0,50 0,25 0,00
Время, в течении которого перед камерой были лица
1 А 6 С р Е г 5 it / J к.
<jLbrubrjl i nacional РкГиге
г gflHllftSiM - 2-1.да?;]?
3
А у ------------- i-nils.lndffi Hjppintií üdntn OUguS] Surprlt Fur Umpl« Ulllliilion
CiW ass 0,7? 0,1¿3 М15 0.3113 1J» №
д ■jyebcím toj«t«H CITO ) 0.1Í2 Ц5М5 C.lü 0,12 J1C2 4«
J Í - V J
Y
9
1С Среднее значение эмоций
11
\2 \ /
" N 7 Л
14 неличина выоорки
II Имя камеры \ / ■ (чем больше, тем
1 точнее результат)
LÍ Индекс положительных
ЭМОЦИИ
milt 0 < |
ово
Рис. 1. Файл с данными анализа эмоций
Выбор —► Создание нового —► Создание объекта OpenFace Захват кадра
камеры потока для распознавания с камеры
Цикл 1 от 1 до количества лиц И
Детектирование опорных точек и Единиц Действия
Отображение кадра с камеры
V
Визуализация
эмоций +
Визуализация на графике индекса положительных эмоций
Рис. 2. Блок схема алгоритма программы
Таким образом, измерив Smile-Index, программа оценит степень «равновесного» состояния студента относительно его учебной готовности, подберет вариант заданий наиболее подходящий по эмоциональной ситуации. Например, если Smile-Index принадлежит диапазону (0,375; 0,625] [10], это значит, что испытуемый ощущает озабоченность. В этом случае программа выберет в качестве следующего задания по рейтингу сложности менее сложное.
Блок-схема алгоритма программы распознавания эмоционального состояния лица человека и индекса психической готовности представлена на рис. 2.
В данном приложении реализовано несколько пользовательских элементов управления для визуализации и взаимодействия с пользователем (CameraSelection.xaml разработана для выбора и визуализации; MultiBarGraph-Horz.xaml - для визуализации названия и уровня эмоций; AxesTimeSeriesPlot.xaml - для визуализации графика индекса психической готовности и др.). Пример работы приложения и визуализация графика приведены ниже (рис. 3).
Для оценки результатов работы было проведено тридцать опытов для каждой из пяти эмоции. Опыты проводились с участием учащихся различных возрастов (от двенадцати до тридцати).
На основе полученных данных были подсчитаны точность и полнота по формулам (2):
точность = ТР / (ТР + FP);
полнота = ТР/ (ТР + FN). ( )
4 Распознавание эмоиий
Рис. 3. Пример работы приложения
Точность можно интерпретировать как долю объектов, названных классификатором положительными, при этом они действительно являются положительными, а полнота показывает, какую долю объектов из всех объектов положительного класса нашел алгоритм.
Результаты расчетов точности и полноты представлены в табл. 4.
Таблица 4 Оценка детектирования эмоций
Эмоция Точность Полнота
Радость 0,96 0,94
Печаль 0,86 0,85
Удивление 0,91 0,94
Гнев 0,83 0,84
Отвращение 0,82 0,81
В табл. 4 содержится информация о том, сколько раз система приняла верное и неверное решения по документам заданного класса, а именно: True Positive (истинно-положительное решение) - те эмоции, которые мы ожидали увидеть и получили на выходе; True Negative (истинно-отрицательное решение) - эмоции, которые мы не предполагали увидеть и на выходе анализатора их тоже не оказалось; False Positive (ложно-положительное решение) - эмоции, которых на выходе быть не должно, но анализатор их ошибочно вернул; False Negative (ложно-отрицательное решение) - ожидаемые эмоции, которые анализатор не определил.
Заключение. Представленная методика и технология распознавания эмоций лица человека в видеопотоке и получения индекса положительных эмоций позволяет реализовать управление процессом проверки знаний учащихся с целью дифференциации заданий с учетом их способно-
стей и степени подготовленности. Система позволяет в интерактивном режиме собрать информацию относительно мимики студента в процессе тестирования; определить эмоциональное состояние человека; рассчитать индекс его психической готовности к экзамену, зачету или тесту; на основе этих данных реализовать адаптивный тест с высокой долей объективности оценки знаний.
На основе полученных результатов (табл. 4), точность работы программы достигает порядка 96%. Программа на основе библиотеки Open-Face способна распознавать людей в очках и с бородой.
В проекте использованы актуальные алгоритмы компьютерного контроля знаний, использование которых в комплексе с методами адаптивного обучения окажет плодотворное воздействие на организацию учебного процесса с возможностью дифференцированного обучения и контроля знаний.
Литература
1. Куприянов В. В., Стовичек Г. В. Лицо человека: анатомия, мимика. М.: Медицина, 1988. 272 с.
2. Мазорчук М. С., Добряк В. С., Кочура А. Р. Технология адаптивного тестирования в среде R // Открытые информационные и компьютерные интегрированные технологии. 2017. № 75. С.215-230.
3. Объективный структурированный клинический экзамен, интегрированный с биомедицинскими дисциплинами / А. В. Куркин [и др.] // Международный журнал экспериментального образования. 2017. № 3 (часть 1). С. 30-33.
4. Лихтенвальд Э. К. Модель генерации адаптивных тестов по уровню их сложности // Вестник Красноярского государственного педагогического университета им. В. П. Астафьева. 2012. № 2. С. 205-209.
5. Льдокова Г. М., Панфилов А. Н. Психические состояния студентов в усложненных условиях учебной деятельности // Концепт. 2013. № 1. С. 1-11.
6. Ekman P. Facial Action Coding System (FACS). USA: A Human Face, 2002. 343 с.
7. Baltrusaitis T. OpenFace. URL: https://github.com/TadasBaltrusaitis/OpenFace (date of access: 21.06.2018).
8. Baltrusaitis T., Robinson P., Morency L.-Ph. OpenFace: an open source facial behavior analysis toolkit // IEEE Winter Conference on Applications of Computer Vision (WACV). Lace Placid, 2016. Р. 1-10.
9. Белоус Н. В., Куцевич И. В. Модель адаптивного контроля знаний // Радюэлектрошка, шфор-матика, управлшня. 2010. № 1. С. 39-45.
10. Гмурман В. Е. Руководство к решению задач по теории вероятностей и математической статистике. М.: Высш. шк., 2010. 400 с.
References
1. Kupriyanov V. V., Stovichek G. V. Litso cheloveka: anatomiya, mimika [Human face: anatomy, facial expressions]. Moscow, Meditsina Publ., 1988. 272 p.
2. Mazorchuk M. S., Dobryak V. S., Kochura A. R. Adaptive Testing Technology in the R Environment. Otkrytyye informatsionnyye i komp'yuternye integrirovannyye tekhnologii [Open information and computer integrated technologies], 2017, no. 75, pp. 215-230 (In Russian).
3. Kurkin A. V., Esimova P. Zh., Dzhumabaeva S. K., Nurseitova K. T. Objective structured clinical examination integrated with biomedical disciplines. Mezhdunarodnyy zhurnal eksperimental'nogo obrazovaniya [International Journal of Experimental Education], 2017, no. 3 (part 1), pp. 30-33 (In Russian).
4. Likhtenval'd E. K. Model of adaptive tests generation by their level of complexity. Vestnik Krasno-yarskogo gosudarstvennogo pedagogicheskogo universiteta im. V. P. Astafjeva [Bulletin of Krasnoyarsk State Pedagogical University named after V. P. Astafyev], 2012, no. 2, pp. 205-209 (In Russian).
5. L'dokova G. M., Panfilov A. N. Mental states of students in the complicated conditions of educational activity. Kontsept [Concept], 2013, no. 1, pp. 1-11 (In Russian).
6. Ekman P. Facial Action Coding System (FACS). USA, A Human Face, 2002. 343 p.
7. Baltrusaitis Т. OpenFace. Available at: https://github.com/TadasBaltrusaitis/OpenFace (accessed 21.06.2018).
8. Baltrusaitis T., Robinson P., Morency L.-Ph. OpenFace: an open source facial behavior analysis toolkit. IEEE Winter Conference on Applications of Computer Vision (WACV). Lace Placid. 2016, pp. 1-10.
9. Belous N. V., Kutsevich I. V. A model of adaptive control of knowledge. Radioelektronika, in-formatyka, upravlinnya [Radio electronics, computer science, management], 2010, no. 1, pp. 39-45 (In Russian).
10. Gmurman V. E. Rukovodstvo k resheniyu zadach po teorii veroyatnostey i matematicheskoy statis-tike [The management to the solution of tasks in probability theory and mathematical statistics]. Moscow, Vysshaya shkola Publ., 2010. 400 p.
Информация об авторах
Бич Наталья Николаевна - кандидат физико-математических наук, инженер-программист кафедры информационных систем и технологий. Гродненский государственный университет имени Янки Купалы (230000, г. Гродно, ул. БЛК, 5, Республика Беларусь). E-mail: [email protected]
Ассанович Борис Алиевич - кандидат технических наук, доцент, доцент кафедры информационных систем и технологий. Гродненский государственный университет имени Янки Купалы, (230000, г. Гродно, ул. БЛК, 5, Республика Беларусь). E-mail: [email protected]
Information about the authors
Bich Natalya Nikolaevna - PhD (Physics and Mathematics), softweare engineer, the Department of Information Systems and Technologies. Yanka Kupala State University of Grodno (5, BLK str., 230000, Grodno, Republic of Belarus). E-mail: [email protected]
Assanovich Boris Alievich - PhD (Engineering), Associate Professor, Assistant Professor, the Department of Information Systems and Technologies, Yanka Kupala Grodno state University of Grodno (5, BLK str., 230000, Grodno, Republic of Belarus). E-mail: [email protected]
Поступила 03.12.2018
